當前位置:首頁 » 存儲配置 » 開源企業存儲

開源企業存儲

發布時間: 2023-01-05 17:53:44

Ⅰ gatehub香港能用嗎

能用。GitHub會把伺服器放在中國大陸附近,比如中國香港地區或新加坡,中國香港能用。這家美國公司是截止到2022年9月14日全球最大的開源軟體存儲庫,它提供了至關重要的數字基礎架構,全世界有數十億美元的軟體業務中,許多都依賴GitHub基礎架構。

Ⅱ 「東數西算」全面啟動:數據大遷徙背後,看見存儲產業的未來輪廓

近日,國家發展改革委等部門聯合印發文件,同意在京津冀、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏啟動建設國家算力樞紐節點,並規劃了10個國家數據中心集群。至此,全國一體化大數據中心體系完成總體布局設計,「東數西算」已成為國家級戰略工程,浩浩盪盪地站上了 歷史 舞台。

「東數西算」被認為是繼「南水北調」「西電東送」「西氣東輸」之後的又一重大基礎設施工程,將成為「新基建」的新抓手。具體而言,「東數西算」就是將東部產生的數據和需求,放到西部數據中心去計算和處理。這有利於為數據中心提供源源不斷的可再生能源,大幅降低其運行維護成本,同時能夠推動中國數字經濟和西部地區發展。

乘著「東數西算」的政策東風,存儲、計算產業也將迎來巨大的發展機遇。其中,基於分布式存儲架構的SDS(軟體定義存儲)作為先鋒力量、「熱門選手」,天生具有可擴展性以及靈活性,必然會為新基建時代帶來革命性的數據儲存手段。

然而,機遇往往與挑戰並存,一個不能忽略的問題是,隨著東數西算工程縱深推進,存儲需求激增,同時5G、AI、雲等技術加速更迭的背景下,與之相伴而生的SDS由於還在沿用十年前的技術,也必然需要同頻進化。

01

被行業擁簇的SDS(軟體定義存儲)

2013年,「軟體定義一切」被首次提出時,還是個令人懷疑的技術暢想。尤其是當它與存儲綁定在一起,在一些傳統儲存廠商眼裡是不著邊際的。但事實證明,SDS(軟體定義存儲)的誕生,不僅優化了傳統存儲的弊端,並在日後的十年裡逐漸繁榮。

根據IDC公布的2021年三季度中國軟體定義存儲(SDS)市場報告顯示,前三季度中國SDS市場獲得高速增長,市場規模同比增長54%,成為中國存儲市場的增長引擎。早就發布過軟體定義是趨勢的Gartner預測,到2024年,全球50%的存儲容量將以軟體定義存儲的形式部署,包括本地部署或在公有雲上。

SDS在市場上的狂飆突進,一方面是基於創新技術。近幾年,由於數據爆炸式增長,存儲系統的軟硬體緊耦合設計嚴重地限制了存儲技術的發展,而軟體定義存儲則可以實現軟硬解耦,讓硬體成本盡可能的降低,使得軟體發揮更大價值。通過軟體的設計,來決定存儲的性能和邊界,不用再受硬體設備、伺服器的限制。其方向在於幫助用戶在傳統數據中心或雲內實現存儲資源的池化和服務化,以及在多雲之間實現數據的統一管理和自由流動。

另一方面,是源於 歷史 的進程,被時代選擇。隨著雲計算、大數據和人工智的發展,非結構數據爆發式增長——文本、圖像、影視、超媒體等,面對這些數據,傳統存儲方式難以招架,而SDS存儲正是包含針對文件的存儲、對象的存儲,自然就成了相關行業的首選。此外,企業雲化在近幾年成為了主流。在上雲浪潮下,不同種類業務在池化的資源池中拿到相匹配的資源。這種業務場景天然適合軟體定義存儲的分布式架構、軟體定義、水平擴展、基於統一存儲引擎向上提供多種介面等特性。



02

SDS已站在新十年的轉彎處

帶著這樣的優勢,伴隨著行業的擁簇,SDS轉眼已來到新十年的轉彎處。周遭環境飛速變化,數字浪潮奔騰洶涌,一些廠商、企業赫然發現,這個階段的SDS竟然依然處於1.0時代,還在沿用十年前的開源技術,基於舊的硬體架構設計,似乎已無法更好的應對未來的新興需求。

例如,與10多年前相比,現在的存儲硬體、網路以及相關的技術方案已經發生了很多的變化,如果在軟體層面不做出新的變革,數據存儲系統就無法發揮出最大的價值。

還有介質方面,存儲已經實現了大規模的從機械硬碟向SSD固態硬碟的過渡,由此帶來了超高的IOPS、超低的時延;網路的提升更是驚人,100G已經司空見慣,400G也已經漸行漸近。

當然,也面臨著「雲」的追趕。我們都知道,目前,企業雲化已經成為必答題,雲的發展日新月異,從私有雲到多公有雲、邊緣雲、分布式雲,企業選擇上雲的部署方式越來越多元,數據可能存放在任意的地理位置,存儲平台需要構建全局統一的存儲資源池,讓數據在多數據中心、混合多雲和邊緣中按需流動,這都是目前SDS1.0需要突破的挑戰。



03

觸摸存儲未來的輪廓,ExponTech搶先邁向SDS2.0

作為數據基礎設施整體解決方案提供商—ExponTech華瑞指數雲率先提出SDS2.0概念。在ExponTech看來,SDS從1.0需要邁向2.0時代,進化為2.0後,會為行業帶來眼前一新的改變。

比如,SDS 2.0將支持可組合式架構,整合私有雲、多個公有雲,邊緣雲中的存儲資源,提供不同IO模型,不同性能和可靠性要求以及許多種協議介面(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由組合及靈活部署使用。

還有,SDS2.0將與雲原生高度協同。無論在計算、網路、數據亦或業務的層面,都可以按照雲原生的架構模式、部署模式和運營模式,實現與時俱進的進化。SDS 2.0需要按照雲原生的方式,支持和適配企業雲原生應用的發展。

最後,具備向上服務能力。SDS2.0在做好基礎存儲的服務、流動的同時,還會向上管理資料庫,分發數據,幫助企業解決數據孤島問題。

不僅如此,ExponTech認為,SDS2.0未來近乎要實現一個飛躍式的革新,是需要在引擎和架構方面做出全新的設計。

由此,ExponTech前瞻性地發布自主研發的新一代分布式數據存儲引擎WiDE。和其他存儲相比, WiDE既可以提供多池架構下的IO調度和數據流動,企業可以存儲海量非結構數據,也能存儲要求高性能高可靠的結構化數據,還可以做高性能的數據分析,真正實現數據原生於一個數據平台上,只保留一份數據卻可以被各類應用以各種介面訪問,避免各種數據孤島和數據復制拷貝帶來的問題。

此外,WiDE還全面覆蓋數據新基建創新型應用場景。在覆蓋現有分布式存儲產品SDS1.0的主流業務場景之外, WiDE能在高性能數據分析HPDA、高性能雲主機、高性能資料庫底座、混合多雲數據平台等業務場景發揮作用,彌補之前高端應用場景下吞吐和時延的缺陷。

引擎WiDE的問世,將會在SDS2.0時代更好地幫助企業應對數字化時代面臨的業務快速迭代升級的需求,推動企業智能化。未來,ExponTech也將會打造更多前沿存儲產品,助力國內數據存儲和國產系統軟體的發展。

伴隨著對SDS2.0的展望和引擎WiDE的無限可能性,未來之窗的紗簾正在緩緩拉開,我們對於數字世界廣闊前景的想像,變得更為具體可感了。

END

Ⅲ 雲計算平台有哪些

雲計算平台可以劃分為3類:以數據存儲為主的存儲型雲平台,以數據處理為主的計算型雲平台以及計算和數據存儲處理兼顧的綜合雲計算平台

雲計算平台是雲計算時代兵家爭奪激烈的地方。

1.開源雲計算平台

(1)AbiCloud(Abiquo公司)

AbiCloud是一款用於公司的開源的雲計算平台,使公司能夠以快速、簡單和可擴展的方式創建和管理大型、復雜的IT基礎設施(包括虛擬伺服器、網路、應用、存儲設備等)

(2)Hadoop(Apache基金會)

該計劃是完全模仿Google體系架構做的一個開源項目,主要包括Map/Rece和HDFS文件系統

(3)Eucalyptus項目(加利福尼亞大學)

創建了一個使企業能夠使用它們內部IT資源(包括伺服器、存儲系統、網路設備)的開源界面,來建立能夠和Amazon EC2兼容的雲

(4)MongoDB(10gen)

MongoDB是一個高性能、開源、無模式的文檔型資料庫,它在許多場景下可用於替代傳統的關系型資料庫或鍵/值存儲方式

(5)Enomalism彈性計算平台

它提供了一個功能類似於EC2的雲計算框架。Enomalism基於linux,同時支持Xen和Kernel Virtual Machine(KVM)。與其他純IaaS解決方案不同的是,Enomalism提供了一個基於Turbo Gears Web應用程序框架和Python的軟體棧

(6)Nimbus(網格中間件Globus)

Nimbus面向科學計算需求,通過一組開源工具來實現基礎設施即服務(IaaS)的雲計算解決方案

2.雲計算平台廠商

(1)微軟

技術特性:整合其所用軟體及數據服務

核心技術:大型應用軟體開發技術

企業服務:Azure平台

開發語言:.NET

(2)Google

技術特性:儲存及運算水平擴充能力

核心技術:平行分散技術MapRece,BigTable,GFS

企業服務:Google AppEngine,應用代管服務

開發語言:Python,Java

(3)IBM

技術特性:整合其所有軟體及硬體服務

核心技術:網格技術,分布式存儲,動態負載

企業服務:虛擬資源池提供,企業雲計算整合方案

(4)Oracle

技術特性:軟硬體彈性虛擬平台

核心技術:Orackle的數據存儲技術,Sun開源技術

企業服務:EC2上的Oracle資料庫,OracleVM,Sun xVM

(5)Amazon

技術特性:彈性虛擬平台

核心技術:虛擬化技術Xen

企業服務:EC2、S3,SimpleDB、SQS

開發語言:

(6)Saleforce

技術特性:彈性可定製商務軟體

核心技術:應用平台整合技術

企業服務:Force.com

開發語言:Java,APEX

(7)EMC

技術特性:信息存儲系統及虛擬化技術

核心技術:Vmware的虛擬化技術,一流存儲技術

企業服務:Atoms雲存儲系統,私有雲解決方案

(8)阿里巴巴

技術特性:彈性可定製商務軟體

核心技術:應用平台整合技術

企業服務:軟體互聯平台,雲電子商務平台

(9)中國移動

技術特性:堅實的網路技術豐富的帶寬資源

核心技術:底層集群部署技術,資源池虛擬技術,網路相關技術

了解更多開源相關,去LUPA社區看看吧。

Ⅳ 科技公司鍾愛的50款開源工具

大數據
1. Hadoop

Apache主持的這個項目是最廣為人知的大數據工具。眾多公司為Hadoop提供相關產品或商業支持,包括亞馬遜網路服務、Cloudera、Hortonworks、IBM、Pivotal、Syncsort和VMware。知名用戶包括:阿里巴巴、美國在線、電子港灣、Facebook、谷歌、Hulu、領英、Spotify、推特和雅虎。

支持的操作系統:Windows、Linux和OS X

相關網站:http://hadoop.apache.org

2. Hypertable

Hypertable在互聯網公司當中非常流行,它由谷歌開發,用來提高資料庫的可擴展性。用戶包括網路、電子港灣、Groupon和Yelp。它與Hadoop兼容,提供商業支持和培訓。

支持的操作系統:Linux和OS X

相關網站:http://www.hypertable.com

3. Mesos

Apache Mesos是一種資源抽象工具,有了它,企業就可以鞀整個數據中心當成一個資源池,它在又在運行Hadoop、Spark及類似應用程序的公司當中很流行。使用它的企業組織包括:Airbnb、歐洲原子核研究組織(CERN)、思科、Coursera、Foursquare、Groupon、網飛(Netflix)、推特和優步。

支持的操作系統:Linux和OS X

相關網站:http://mesos.apache.org

4. Presto

Presto由Facebook開發,自稱是「一款開源分布式sql查詢引擎,用於對大大小小(從GB級到PB級)的數據源運行互動式分析查詢。」Facebook表示,它將Presto用於對300PB大小的數據倉庫執行查詢,其他用戶包括Airbnb和Dropbox。

支持的操作系統:Linux

相關網站:https://prestodb.io

5. Solr

這種「快若閃電」的企業搜索平台聲稱高度可靠、擴展和容錯。使用它的公司包括:AT&T、Ticketmaster、康卡斯特、Instagram、網飛、IBM、Adobe和SAP Hybris。

支持的操作系統:與操作系統無關

相關網站:http://lucene.apache.org/solr/

6. Spark

Apache Spark聲稱,「它在內存中運行程序的速度比Hadoop MapRece最多快100倍,在磁碟上快10倍。」Spark「支持」的企業組織包括:亞馬遜、網路、Groupon、日立解決方案、IBM、MyFitnessPal、諾基亞和雅虎。

支持的操作系統:Windows、Linux和OS X

相關網站:http://spark.apache.org

7. Storm

正如Hadoop用來處理批量數據,Apache Storm用來處理實時數據。官方網站上顯示用戶包括:天氣頻道、推特、雅虎、WebMD、Spotify、威瑞信(Verisign)、Flipboard和Klout。

支持的操作系統:Linux

相關網站:https://storm.apache.org

雲計算
8. Cloud Foundry

Cloud Foundry提供用於構建平台即服務的開源工具。它聲稱「由行業領袖為行業領袖構建」,其支持者包括IBM、 Pivotal、惠普企業、VMware、英特爾、SAP和EMC。

支持的操作系統:Linux

相關網站:https://www.cloudfoundry.org

9. CloudStack

這個交鑰匙IaaS解決方案構成了許多公共雲和私有雲的基礎。它的用戶極多,包括阿爾卡特-朗訊、蘋果、Autodesk、英國電信、冠群科技、思傑、Cloudera、戴爾、富士通、SAP和韋里遜。

支持的操作系統:與操作系統無關

相關網站:http://cloudstack.apache.org

10. OpenStack

這種很受歡迎的雲計算平台聲稱,「世界上成百上千個大品牌」每天依賴它。支持者包括:AT&T、Ubuntu、惠普企業、IBM、英特爾、Rackspace、紅帽、SUSE、思科、戴爾、EMC、賽門鐵克及另外許多知名科技公司。

支持的操作系統:與操作系統無關

相關網站:http://www.openstack.org

11. Scalr

這種雲管理平台備受市場研究公司的好評,它簡化了管理多個雲環境的過程。知名用戶包括Expedia、三星、美國宇航局噴氣推進實驗室、埃森哲、索尼和Autodesk。

支持的操作系統:Linux

相關網站:http://www.scalr.com

容器
12. Docker

Docker在相對新興的容器領域迅速確立起了主導平台這一地位。科技界的許多大牌公司在構建或提供擴展或使用Docker技術的產品,包括亞馬遜、微軟、IBM、惠普企業、紅帽、Rackspace和Canonical。

支持的操作系統:Windows、Linux和OS X

相關網站:https://www.docker.com

輸入標題 內容管理
13. DNN

這款內容管理解決方案之前名為DotNetNuke,承諾構建豐富的互動式網站時,只要花較少的精力,就能收到顯著的成效。用戶包括佳能、時代華納有線電視、德州儀器和美國銀行。

支持的操作系統:Windows

相關網站:http://www.dnnsoftware.com

14. Drupal

Drupal聲稱,98000多個開發人員在為這個極其流行的內容管理系統積極貢獻代碼。支持者包括微軟、Zend、Fastly和New Relic,其內容市場有數百家公司參與其中,它們提供了相關的產品和服務。

支持的操作系統:與操作系統無關

相關網站:https://www.drupal.org

15. Joomla

Joomla為數百萬個網站提供平台,其下載量超過了5000萬人次。許多用戶當中就有這些公司:電子港灣、巴諾書店、MTV和標致。

支持的操作系統:與操作系統無關

相關網站:https://www.joomla.org

16. MediaWiki

MediaWiki以維基網路使用的軟體而出名,它還為網路、Vistaprint、Novell、英特爾和美國宇航局支持網站。它是構建可編輯網頁的不錯選擇,許多企業組織用它來構建內部知識庫。

支持的操作系統:Windows、Linux/Unix和OS X

相關網站:https://www.mediawiki.org/wiki/MediaWiki

資料庫
17. Cassandra

這種NoSQL資料庫由Facebook開發,其用戶包括蘋果、歐洲原子核研究組織(CERN)、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、網飛、Reddit及其他科技公司。它支持極其龐大的數據集,聲稱擁有非常高的性能和出色的耐用性和彈性。可通過第三方獲得支持。

支持的操作系統:與操作系統無關

相關網站:http://cassandra.apache.org

18. CouchDB

CouchDB為Web而開發,這種NoSQL資料庫將數據存儲在JSON文檔中,這類文檔可通過HTTP來加以查詢,並用JavaScript來處理。Cloudant現在歸IBM所有,它提供一款專業人員支持的軟體版本,用戶包括:三星、Akamai、Expedia、微軟游戲工作室及其他公司。

支持的操作系統:Windows、Linux、OS X和安卓

相關網站:http://couchdb.apache.org

19. MongoDB

MongoDB是一種NoSQL資料庫,聲稱「針對關鍵任務型部署環境進行了優化」,用戶包括Foursquare、《福布斯》、Pebble、Adobe、領英、eHarmony及其他公司。提供收費的專業版和企業版。

支持的操作系統:Windows、Linux、OS X和Solaris

相關網站:http://www.mongodb.org

20. MySQL

MySQL自稱是「世界上最流行的開源資料庫」,備受眾多互聯網公司的青睞,比如YouTube、貝寶、谷歌、Facebook、推特、電子港灣、領英、優步和亞馬遜。除了免費社區版外,它還有多款收費版。最新更新版聲稱速度比老版本快三倍。

支持的操作系統:Windows、Linux、Unix和OS X

相關網站:http://www.mysql.com

21. Neo4j

Neo4J自詡為「世界上領先的圖形資料庫」,用於欺詐檢測、推薦引擎、社交網站、主數據管理及更多領域。用戶包括電子港灣、沃爾瑪、思科、惠普、埃森哲、CrunchBase、eHarmony、Care.com及另外許多企業組織。

支持的操作系統:Windows和Linux

相關網站:http://neo4j.com

開發工具
22. Bugzilla

Bugzilla是開源社區的寵兒,用戶包括Mozilla、Linux基金會、GNOME、KDE、Apache、LibreOffice、Open Office、Eclipse、紅帽、Novell及其他公司。這款軟體缺陷追蹤系統(bugtracker)的重要功能包括:高級搜索功能、電子郵件通知、預定報告、時間追蹤、出色的安全及更多特性。

支持的操作系統:Windows、Linux和OS X

相關網站:https://www.bugzilla.org

23. Eclipse

Eclipse項目最為知名的是,它是一種大受歡迎的面向Java的集成開發環境(IDE),它還提供面向C/C++和PHP的IDE,此外提供另外一大批開發工具。主要支持者包括冠群科技、谷歌、IBM、甲骨文、紅帽和SAP。

支持的操作系統:與操作系統無關

相關網站:http://www.eclipse.org

24. Ember.js

這種框架用於「構建野心勃勃的Web應用程序」,旨在為JavaScript開發人員提高工作效率。官方網站上顯示用戶包括雅虎、Square、Livingsocial、Groupon、Twitch、TED、網飛、Heroku和微軟。

支持的操作系統:與操作系統無關

相關網站: http://emberjs.com

25. Grunt

Grunt是一種JavaScript任務運行工具,有助於自動處理重復性的開發任務。使用它的知名科技公司包括:Adobe、推特、Mozilla、Cloudant和WordPress。

支持的操作系統:與操作系統無關

相關網站:http://gruntjs.com

26. LoopBack

這個Node.js框架旨在讓用戶很容易構建REST API,並連接到後端數據存儲區。知名用戶包括GoDaddy、美國能源部和賽門鐵克。

支持的操作系統:Windows、Linux、OS X、安卓和iOS

相關網站:http://loopback.io

27. Node.js

Node.js的成名之處在於,它讓開發人員可以使用JavaScript,編寫伺服器端應用程序。開發工作之前由Joyent管控,現在交由Node.js基金會監管。用戶包括IBM、微軟、雅虎、SAP、領英、貝寶和網飛。

支持的操作系統:Windows、Linux和OS X

相關網站:https://nodejs.org/en/

28. PhoneGap

Apache Cordova是一種開源框架,讓開發人員可以使用HTML、CSS和JavaScript等Web技術,構建移動應用程序。PhoneGap是最受歡迎的Cordova發行版。使用某一種Cordova發行版的科技公司包括:維基網路、Facebook、 Salesforce、IBM、微軟、Adobe和黑莓。

支持的操作系統:Window、Linux和OS X

相關網站:http://phonegap.com

29. React Native

React Native由Facebook開發,這種框架可用於使用JavaScript和React JavaScript庫(同樣由Facebook開發),構建原生移動應用程序。其他用戶包括:《探索》頻道和CBS體育新聞網。

支持的操作系統:OS X

相關網站:http://facebook.github.io/react-native/

30. Ruby on Rails

這個Web開發框架在開發人員當中極其流行,它聲稱「為確保編程員滿意和持續高效地工作進行了優化」。用戶包括Basecamp、推特、Shopify和GitHub等公司。

支持的操作系統:Windows、Linux和OS X

相關網站:http://rubyonrails.org

31. Sencha Touch

Sencha Touch自稱是「一種用於構建通用移動應用程序的領先的跨平台移動Web應用程序框架,基於HTML5和JavaScript」。它既有開源許可證版本,也有商業許可證版本。據官方網站聲稱,《財富》100強中60%使用它。

支持的操作系統:與操作系統無關

相關網站:https://www.sencha.com/procts/touch/

32. ZK

索尼、Sun、IBM、Adobe、電子港灣、富士通、夢工廠和優利系統等公司使用這種Java Web框架來構建Web和移動應用程序。提供收費支付及相關工具。

支持的操作系統:與操作系統無關

相關網站:http://www.zkoss.org

中間件
33. JBoss

紅帽的JBoss中間件包括各種輕量級、對雲計算友好的工具,同時結合、集成和自動化各個企業應用程序和系統。用戶包括:橡樹嶺國家實驗室、日產、思科、冠群科技、AMD及其他公司。

支持的操作系統:Linux

相關網站:http://www.redhat.com/en/technologies/jboss-middleware

操作系統
34. 紅帽企業版Linux

紅帽最知名的產品就是其旗艦Linux發行版,這需要付費訂購。據該公司聲稱,《財富》全球500強公司中超過90%在使用紅帽產品。

相關網站:http://www.redhat.com/en/technologies/linux-platforms/enterprise-linux

35. SUSE Linux企業版

這款面向企業的Linux發行版同樣備受大企業的追捧,它也需要付費訂購。該公司聲稱,它有13000多個企業用戶,包括倫敦證券交易所、SAP、天睿(Teradata)和沃爾格林連鎖葯店(Walgreens)。

相關網站:https://www.suse.com

36. Ubuntu

Ubuntu提供廣受歡迎的Linux發行版,有多個版本:桌面版、伺服器版、雲版、手機版、平板電腦版和物聯網版。聲稱用戶包括亞馬遜、IBM、維基網路和英偉達。

相關網站:http://www.ubuntu.com/index_kylin

項目管理
37. Project Libre

這個屢獲獎項的項目是微軟Project的替代者,下載量已有近200萬人次。它有一大批用戶,包括IBM、埃森哲、美國能源部、思科、ATI和AMD。

支持的操作系統:Windows、Linux和OS X

相關網站:http://www.projectlibre.org

存儲
38. FreeNAS

這款開源網路附加存儲(NAS)軟體聲稱,它備受聯合國、迪士尼互動媒體集團、路透社和Dr. Phil等用戶的「喜愛」。它可以安裝到幾乎任何硬體上,而TrueNAS提供的預先構建的設備就基於該技術。

支持的操作系統:FressBSD

相關網站:http://www.freenas.org

39. Gluster

Gluster是一種可高度擴展的網路文件系統,適合雲計算環境。紅帽提供一款基於該技術的收費產品,用戶包括卡西歐和Intuit。

支持的操作系統:Linux

相關網站:http://www.gluster.org

40. Lustre

Lustre是另一種可高度擴展的文件系統,旨在支持高性能計算(HPC)環境。一些最早採用它的用戶包括美國的幾大國家實驗室:勞倫斯·利物莫爾國家實驗室、桑迪亞國家實驗室、橡樹嶺國家實驗室和洛斯阿拉莫斯國家實驗室。

支持的操作系統:Linux

相關網站:http://lustre.org

系統管理工具
41. Ansible

Ansible現在歸紅帽所有,它自稱是「一種異常簡單的IT自動化引擎,可以使雲服務配置、配置管理、應用程序部署、服務內部的編排以及其他許多IT操作實現自動化。」使用它的科技公司包括:思科、瞻博網路、Evernote、推特、威瑞信、GoPro、EA Sports、Atlassian和韋里遜。它既有免費版,也有收費版。

支持的操作系統:Linux

相關網站:http://www.ansibleworks.com

42. Chef

作為另一款自動化工具,Chef支持開發運維方法,同時改善了速度、協作和安全性。擁有免費版和收費版。官方網站上顯示用戶包括:塔吉特(Target)、諾德斯特龍(Nordstrom)、Facebook、Etsy、IGM、雅虎和彭博社。

支持的操作系統:Windows、Linux和OS X

相關網站:https://www.chef.io/chef/

43. Hudson

Hudson在使用敏捷和開發運維方法的企業當中很流行,它是一種可擴展的持續集成伺服器系統,可以監控重復作業的執行。這個項目得到了Eclipse基金會、甲骨文、Atlassian和YourKit的支持。

支持的操作系統:與操作系統無關

相關網站:http://hudson-ci.org

44. Puppet

Puppet號稱「使用最廣泛的開源IT管理系統」,它包括40多個基礎設施管理方面的開源項目。除了開源版本外,它還有一款收費的企業版本。它聲稱,用戶包括25000多家企業,比如迪士尼、沃爾瑪、1-800-Flowers.com、Heartland Payment Systems、蓋蒂圖片社(Getty Images)和Yelp。

支持的操作系統:Windows、Linux、Unix和OS X

相關網站:https://puppetlabs.com/puppet/open-source-projects

版本控制
45. Bazaar

Bazaar由Canonical管理,被許多開源項目所使用,包括Ubuntu、 GNU基金會、Linux基金會、MySQL、Bugzilla、 Debian和Maria DB。它簡單易學,支持任何工作流程和工作區間模式,承諾存儲效率很高、速度很快。

支持的操作系統:Windows、Linux和OS X

相關網站:http://bazaar.canonical.com/en/

46. Git

這個版本控制系統已變得極受歡迎,這一方面歸功於GitHub服務的使用日益廣泛。使用它的公司和項目包括:谷歌、Facebook、微軟、推特、領英、網飛、Perl、PostgreSQL、安卓、Rails、QT、Gnome和Eclipse。

支持的操作系統:Windows、Linux和OS X

相關網站:http://git-scm.com

47. Mercurial

Mercurial是一種分布式源代碼控制管理工具,專注於幫助團隊更輕松、更快速地協同工作。用戶包括OpenJDK和NetBeans等各大項目。

支持的操作系統:Windows、Linux和OS X

相關網站:https://www.mercurial-scm.org

48. Subversion

這個企業級版本控制系統得到Apache的支持,首次發布於2000年。使用它的企業組織包括Apache軟體基金會自己、Hobby Lobby、Mono、Plone和GNU Enterprise。

支持的操作系統:Windows、Linux和OS X

相關網站:http://subversion.apache.org

Web伺服器
49. Apache HTTP Server

Apache至今已有20年多的歷史,專利是自1996年以來互聯網上最受歡迎的Web伺服器系統。據W3Techs聲稱,目前所有網站中55.3%是由Apache支持的。

支持的操作系統:Windows、Linux和OS X

相關網站:http://httpd.apache.org

50. Nginx

Nginx的人氣也極旺,它被互聯網上所有網站中的大約四分之一所使用。除了俄羅斯許多訪問量很大的網站外,用戶還包括網飛和WordPress.com。

支持的操作系統:Windows、Linux和OS X

相關網站:http://nginx.org

Ⅳ 有沒有開源的數據倉庫

Infobright是一款基於獨特的專利知識網格技術的列式資料庫。Infobright是開源的MySQL數據倉庫解決方案,引入了列存儲方案,高強度的數據壓縮,優化的統計計算(類似sum/avg/group by之類),infobright 是基於mysql的,但不裝mysql亦可,因為它本身就自帶了一個。mysql可以粗分為邏輯層和物理存儲引擎,infobright主要實現的就是一個存儲引擎,但因為它自身存儲邏輯跟關系型資料庫根本不同,所以,它不能像InnoDB那樣直接作為插件掛接到mysql,它的邏輯層是mysql的邏輯層加上它自身的優化器。


Infobright特徵

優點:

  • 大數據量查詢性能強勁、穩定:百萬、千萬、億級記錄數條件下,同等的SELECT查詢語句,速度比MyISAM、InnoDB等普通的MySQL存儲引擎快5~60倍。高效查詢主要依賴特殊設計的存儲結構對查詢的優化,但這里優化的效果還取決於資料庫結構和查詢語句的設計。

  • 存儲數據量大:TB級數據大小,幾十億條記錄。數據量存儲主要依賴自己提供的高速數據載入工具(百G/小時)和高數據壓縮比(>10:1)

  • 高數據壓縮比:號稱平均能夠達到 10:1 以上的數據壓縮率。甚至可以達到40:1,極大地節省了數據存儲空間。高數據壓縮比主要依賴列式存儲和 patent-pending 的靈活壓縮演算法.

  • 基於列存儲:無需建索引,無需分區。即使數據量十分巨大,查詢速度也很快。用於數據倉庫,處理海量數據沒一套可不行。不需要建索引,就避免了維護索引及索引隨著數據膨脹的問題。把每列數據分塊壓縮存放,每塊有知識網格節點記錄塊內的統計信息,代替索引,加速搜 索。

  • 快速響應復雜的聚合類查詢:適合復雜的分析性SQL查詢,如SUM, COUNT, AVG, GROUP BY

Ⅵ 小型企業搭建內部網路文件存儲伺服器有哪幾種方法

貴公司可以嘗試一下幾個方案,當然各有各的優勢,具體的還要根據貴公司的具體情況來定
1、使用電腦主機或者伺服器搭建FTP/SAMBA/NFS服務
2、使用NAS網路存儲伺服器
3、使用啟耘Box作為網路文件存儲伺服器
祝貴公司發展越來越好,望貴公司採納。

Ⅶ Kubernetes 幾種存儲方式性能對比 (轉載)

原文來自:

https://blog.fleeto.us/post/kubernetes-storage-performance-comparison/

摘要

本文展示了一個簡單的存儲對比,使用未經性能優化的多種存儲提供的存儲卷進行測試和比較。

忽略 Azure 的原生 PVC 或hostPath,我們可以得出如下測試結果:

1. Portworx 是 AKS 上最快的容器存儲。

2. Ceph 是私有雲集群上最快的開源存儲後端。對公有雲來說,其操作太過復雜,這些多餘的復雜性並沒有能提供更好的測試表現。

3. OpenEBS 的概念很棒,但是其後端需要更多優化。

如果你正在運行 Kubernetes,你可能正在使用,或者准備使用動態供給的塊存卷 ,而首當其沖的問題就是為集群選擇合適的存儲技術。這個事情並不能用一個簡單的測試來做出簡單的回答,告訴你目前市面上最好的技術是什麼。存儲技術的選擇過程中,集群上運行的負載類型是一個重要的輸入。對於裸金屬集群來說,需要根據實際用例進行選擇,並集成到自己的硬體之中。公有雲中的託管 K8s,例如 AKS、EKS 或者 GKE,都具有開箱可用的塊存儲能力,然而這也不見得就是最好的選擇。有很多因素需要考慮,比如說公有雲的 StorageClass 的故障轉移時間太長。例如在 一個針對 AWS EBS 的故障測試中,載入了卷的 Pod 用了超過五分鍾才成功的在另一個節點上啟動。Portworx 或者 OpenEBS 這樣的雲原生存儲產品,正在嘗試解決這類問題。

本文的目標是使用最常見的 Kubernetes 存儲方案,進行基本的性能對比。我覺得在 Azure AKS 上使用下列後端:

AKS 原生 Storageclass:

1.Azure native premium

2.使用 cStor 後端的 OpenEBS

3.Portworx

4.Heketi 管理的 Gluster

5.Rook 管理的 Ceph

Ⅷ 開源資料庫有哪些

MSSQL伺服器、MySQL、Oracle、PostgreSQL、MongoDB等等。眾所周知,其中MySQL是目前使用最廣泛最好的免費開源資料庫,此外,還有一些你不知道或者沒用過但又非常出色的開源資料庫,例如PostgreSQL、MongoDB、HBase、Cassandra、Couchbase、Neo4j、Riak、Redis、Firebird等。

Ⅸ 開源推薦-C++開發的微服務框架Tars

Tars致力於建設微服務技術生態,在底層基礎設施、服務框架、上層應用以及DevOps等方面,都做了較為深入的研發。

2020年3月10日,Linux基金會正式宣布旗下的TARS開源項目成立TARS子基金會。這是一個 專注於微服務領域 的開源基金會,致力於幫助企業擁抱微服務體系架構,解決在使用微服務方面可能出現的問題。這是首個 起源於中國開源項目 的國際開源基金會,也是Linux基金會下 唯一聚焦微服務技術生態 的子基金會。

Tars基金會里目前收錄了9個項目,分為5部分:工具集(Tars Lab)、服務治理(Service Governance)、微服務開發框架(Development Framwork)、存儲(DCache)和基礎設施(Infrustructure)。

1、Tars Lab

Tars Lab項目提供了壓力測試TarsJMeter,基準測試集TarsBenchmark和一些開發工具包。TarsJavaStart,可以生成服務端和客戶端的TarsJava腳手架,快速開始Tars服務的開發。TarsTools,是一款支持多種IDE的JetBrains插件,為實現編輯Jce/Tars文件使用的(支持Intellij IDEA、Android Studio、PhpStorm、WebStorm、GoLand、CLion等)。

2、服務治理

服務治理包含了2個項目:TSeer專注於處理服務注冊與發現;TarsGateway是基於Tars框架開發的微服務網關,除具備網關的基礎功能外,還可以自動將HTTP轉換成Tars-RPC協議。

3、微服務開發框架

這部分只包含Tars一個項目,核心模塊由C++開發,提供了多語言開發框架,默認rpc調用,是Tars基金會的核心項目。其他項目都是圍繞這個項目研發的。

4、微服務存儲

這部分只包含DCache一個項目,它是基於Tars框架開發的 分布式共享內存存儲系統 ,支持常用的kv數據結構、支持二級索引、支持在線擴縮容、支持自動持久化到後端db等特性。DCache依賴Tars框架的運行,但也得益於Tars,使得存儲服務的運維成本幾乎為0。

5、微服務基礎設施

這是一個將Tars與K8S融合使用的項目,致力於將Tars融入到K8S生態中。

在這方面還有一個更優秀的項目K8SFramework,致力於將Tars與K8S深度融合,相信未來會納入到基金會中。

| Tars的前世今生

Tars的前身是騰訊內部的TAF框架,已經經過了10年的驗證,穩定運行與1.6w+伺服器,100多個業務線中。

據統計, Tars已在超過 120 家公司、 261200 台伺服器上穩定運行。

在分布式環境下,所有的微服務(包括DCache的服務)都可以通過框架自帶的控制台-TarsWeb進行管理, 可以做到所有服務狀態可監控,可以在控制台上進行啟停、修改配置、執行運維指令等操作。

在分布式部署的情況下,可以通過Web控制台實現一鍵升級、回退。

Tars自帶配置中心,分級配置,可以統一修改配置,做到「一點修改,全局生效」。

在服務部署時,可以在界面上填寫要發布的節點,一鍵部署、擴容。

框架提供了狀態監控的能力,可以監控服務的調用質量,如流量情況,平均耗時、超時率和異常率。

框架狀態可以在控制台上一鍵核查。

Tars提供配套的性能測試工具,這也是Tars基金會的子項目。性能測試工作不再依賴專業的測試人員。

| Tars優勢

1、原生RPC調用

Tars使用自研的RPC協議通信,服務之間建立長連接,在通信頻繁的場景下具備顯著的性能優勢。

2、多語言支持

除C++和Java外,Tars還支持NodeJs,PHP,Go等語言,提供了相應的SDK。當團隊技術棧多樣化時,可以多語言協同開發,無縫對接,開發者可以選擇自己熟悉的語言進行開發,提升團隊整體效率。

在這方面,Spring Cloud想要支持異構語言,需要藉助SideCar構建Service Mesh。 業界現在有一些比較流行的服務網格解決方案,但是 並沒有形成統一的標准 可移植性不高 。比較常見的像Istio,由於是代理模式,而且非長連接,會存在 更大的延遲 。另一方面,Istio的部署和運維都非常 復雜 ,需要更多的學習成本和運維成本。

3、內置服務治理功能

Tars框架內嵌了豐富的服務治理功能,包括熔斷、限流、負載均衡、認證、加密等。同時,在服務監控、數據採集,以及灰度部署、跨機房部署等方面,都原生支持,集成度高。

Spring Cloud要支持這些功能,要麼需要集成其他組件,要麼需要設計開發來實現。都需要付出額外的學習成本和研發成本。

4、運維監控

Tars為使用者提供了一體化的運維管理控制台,我們可以在Web上進行一鍵部署、擴容、升級、回退等運維操作。

Spring Cloud並沒有配套的工具。要實現Web管控, 需要藉助K8S和容器,同樣需要付出額外的成本。

5、國產化

Tars是國內公司主導的開源項目,這一點就不多說什麼了。

6、「套裝」優勢

Tars框架提供了微服務相關的一體化解決方案,常規情況下不需要再去集成其他組件,不存在兼容性問題。這就好比MacBook和兼容機的區別,兼容機你可能需要付出更多的試錯成本才能達到想要的效果。

| 劣勢

1、項目熱度

Tars開源較晚,到目前只有5年多時間,項目熱度不如Spring Cloud,應用也沒Spring Cloud廣泛。

2、Tars的雲原生之路

Tars和K8s的深度融合也開源不久(2020年7月,K8SFramework),還有待落地驗證。這個項目現在的更新頻率較高,不建議在生產中使用。但是從這一點也可以看到社區工作者對Tars與K8S融合的高漲熱情,相信未來這個項目一定會大放異彩!

Tars在微服務開發、運維、監控等方面提供了一體化的解決方案,可以幫助我們低成本構建企業級微服務。適用於各種規模的團隊,各種規模的系統。

在做技術選型時,如果團隊中有C++開發人員,或者有多語言開發的情況,而且團隊規模、資源有限的情況下,建議選擇Tars。它在運維、監控、測試等方面會為我們節約大量成本。

未來,隨著 K8SFramework 項目的日漸成熟,相信Tars生態會被更多的團隊熟知和使用。

Ⅹ iOS進階——微信開源存儲框架MMKV(一)

MMKV是微信開源的數據持久化框架,現在已經支持Android/iOS/PC 平台。該框架是基於mmap映射內存的key—value組件,使用protobuf實現數據的序列化和反序列化,性能高,穩定性強。微信在2015就在微信應用上使用了該框架。實驗證明MMKV是數據持久化的首選。

ProtoBuf是由google公司用於數據交換的序列結構化數據格式,具有跨平台、跨語言、可擴展特性,類型於常用的XML及JSON,但具有更小的傳輸體積、更高的編碼、解碼能力,特別適合於數據存儲、網路數據傳輸等對存儲體積、實時性要求高的領域。

優點:空間效率搞,時間效率要高,對於數據大小敏感,傳輸效率高的。
缺點:消息結構可讀性不高,目前使用不廣泛。

MMKV維護了一個<String,AnyObject>的dic,在寫入數據時,會在dit和mmap映射區寫入相同的數據,最後由內核同步到文件。因為dic和文件數據同步,所以讀取時直接去dit中的值。MMKV數據持久化的步驟:mmap 內存映射 -> 寫數據 -> 讀數據 -> crc校驗 -> aes加密。
在MMKV的源碼中,是怎麼樣內存映射的呢?

熱點內容
買無線監控家用戶外要什麼配置 發布:2025-07-28 04:23:19 瀏覽:53
電腦微信代理伺服器怎麼用 發布:2025-07-28 04:20:53 瀏覽:855
java核心技術卷i 發布:2025-07-28 04:20:12 瀏覽:736
找不到編譯動態表達式 發布:2025-07-28 04:19:20 瀏覽:365
updatereplacesql 發布:2025-07-28 04:15:06 瀏覽:930
軟體編程畫圖 發布:2025-07-28 04:04:02 瀏覽:310
我的世界伺服器沒光影了 發布:2025-07-28 04:03:52 瀏覽:900
sqlserver2008存儲文件 發布:2025-07-28 03:49:23 瀏覽:626
pythonurllibhttps 發布:2025-07-28 03:48:36 瀏覽:238
plc的編程器 發布:2025-07-28 03:44:25 瀏覽:667