對象存儲開源框架

⑴ Minio鏋舵瀯綆浠

鎻寮Minio鐨勭炵橀潰綰憋細涓涓鍗撹秺鐨勫紑婧愬硅薄瀛樺偍緋葷粺

Minio錛屼竴涓涓撲負澶ц勬ā鏁版嵁瀛樺偍鑰岀敓鐨勪簯瀛樺偍瑙ｅ喅鏂規堬紝浠ュ叾鐙鐗圭殑浼樺娍鑴遍栬屽嚭銆傚畠鐨勮捐＄悊蹇電畝鍗曡屽彲闈狅紝閲囩敤鍘諱腑蹇冨寲鐨勬灦鏋勶紝涓虹＄悊甯︽潵浜嗗墠鎵鏈鏈夌殑鐏墊椿鎬у拰楂樺彲鐢ㄦс傞氳繃浜戝師鐢熺殑鐗規э紝Minio鏃犵紳鋙嶅叆Kubernetes絳夌紪鎺掔郴緇燂紝閮ㄧ講嫻佺▼杞繪澗楂樻晥錛屾棤闇棰濆栫殑鍏冩暟鎹鏁版嵁搴擄紝瀹岀編鍏煎笰mazon S3鎺ュ彛錛岃╂搷浣滃彉寰楁洿鍔犵洿瑙傚拰渚挎嵎銆

Minio鐨勬牳蹇冩槸鍏跺幓涓蹇冨寲鐨勫瓨鍌ㄦā鍨嬶紝鏁版嵁鍒嗘暎瀛樺偍騫惰嚜鍔ㄨ礋杞藉潎琛★紝紜淇濆湪浠諱綍鎯呭喌涓嬮兘鑳芥彁渚涘己澶х殑鎬ц兘銆傞氳繃緇熶竴鐨勫懡鍚嶇┖闂達紝鏃犺烘槸鏈鍦板垎甯冨紡閮ㄧ講榪樻槸鑱旂洘妯″紡錛岄兘鑳藉疄鐜版棤緙濊塊棶錛屼負鐢ㄦ埛甯︽潵涓鑷寸殑浣撻獙銆

瀵逛簬鏁版嵁涓鑷存э紝Minio閲囩敤鍒嗗竷寮忛攣綆＄悊鏈哄埗錛岄氳繃dsync瀹炵幇錛屽敖綆″湪32鑺傜偣鐨勯檺鍒朵笅錛屽畠鑳界『淇濇暟鎹鍦ㄥ氳妭鐐歸棿鐨勫悓姝ワ紝浠ュ疄鐜伴珮鍙鐢ㄦс傚叾鏁版嵁緇撴瀯娓呮櫚錛屽熀浜庣熸埛-妗-瀵硅薄鐨勬ā鍨嬶紝緇嗚嚧鐨勬潈闄愮＄悊紜淇濇暟鎹瀹夊叏銆

鏁版嵁淇濇姢涓庢仮澶嶇殑鍗撹秺瀹炶返

ErasureCode鏄疢inio鐨勬暟鎹瀹堟姢鑰咃紝鍗充嬌鍦ㄩ儴鍒嗙‖鐩樻晠闅滅殑鎯呭喌涓嬶紝涔熻兘閫氳繃Reed-Solomon緙栫爜榪涜屾暟鎹鎮㈠嶃傚湪鍒嗗竷寮忕幆澧冧腑錛屼繚鎸丯/2鑺傜偣鍦ㄧ嚎鏄鏁版嵁瀹夊叏鐨勫熀紜錛岃屽啓鎿嶄綔鍒欓渶瑕丯/2+1鑺傜偣鍙備笌銆備笂浼犳枃浠舵椂錛屽厓鏁版嵁鍜屾暟鎹鍒嗙墖鐨勭粨鍚堬紝閫氳繃HighwayHash鎶鏈紜淇濇暟鎹鐨勫畬鏁存у拰涓鑷存с

鏅鴻兘鎵╁睍涓庡囦喚

Minio鍐呯疆鐨凩ambda璁＄畻鍔熻兘鏀鎸佷簨浠墮氱煡錛屾瘡褰撳硅薄涓婁紶銆佷笅杞芥垨鍒犻櫎鏃訛紝閮借兘瑙﹀彂鐩稿簲鐨勬墿灞曟搷浣滐紝涓虹敤鎴鋒彁渚涗簡寮哄ぇ鐨勬暟鎹澶囦喚絳栫暐錛屽疄鐜板為噺澶囦喚錛屾弧瓚沖姩鎬佹墿灞曢渶奼傘

鏃犵紳闆嗘垚錛屾墿灞曞瓨鍌ㄨ竟鐣

浣滀負瀵硅薄瀛樺偍緗戝叧錛孧inio灝哊AS鍜孒DFS絳変紶緇熺郴緇熸棤緙濋泦鎴愶紝閫氳繃S3 API鎻愪緵緇熶竴鎺ュ彛錛屾瘮濡傚湪澶勭悊GCS璇鋒眰鏃訛紝瀹為檯涓婃槸閫氳繃GCS SDK鎿嶄綔錛屼嬌寰椾笉鍚岀郴緇熺殑鐢ㄦ埛閮借兘浜鍙楀埌Minio鐨勯珮鏁堝拰渚挎嵎銆

鎬葷粨鏉ヨ達紝Minio鍑鍊熷叾寮哄ぇ鐨勫姛鑳姐佺伒媧葷殑鏋舵瀯鍜屽嚭鑹茬殑鏁版嵁淇濇姢鏈哄埗錛屾垚涓轟紒涓氬拰寮鍙戣呭瓨鍌ㄥ拰綆＄悊嫻烽噺鏁版嵁鐨勭悊鎯抽夋嫨銆傚湪榪欎釜鐭ヨ瘑鍏變韓鐨勬椂浠ｏ紝璁╂垜浠鍏卞悓鎺㈢儲Minio甯︽潵鐨勬棤闄愬彲鑳斤紝鎺ㄥ姩鎶鏈榪涙ワ紝鏋勫緩鏇存櫤鑳界殑鏁板瓧涓栫晫銆

⑵ MinIO對象存儲介紹

MinIO是一款基於Apache License v2.0的開源對象存儲解決方案。以下是關於MinIO對象存儲的詳細介紹：

1. 開發背景與語言：

   • 創始人：由GlusterFS的創始人之一Anand Babu Periasamy推出。
   • 開發語言：採用Golang語言開發。

2. 客戶端支持：

   • 多種編程語言：客戶端支持Java、Python、JavaScript和Golang等多種編程語言。

3. 主要目標與適用場景：

   • 私有雲對象存儲首選：Minio旨在成為私有雲對象存儲的首選方案。
   • 非結構化數據存儲：適用於存儲大量非結構化數據，如圖片、視頻、文檔等。
   • 文件大小范圍：支持的文件大小范圍從幾kb到5T不等。

4. 元數據存儲與數據分布：

   • 非獨立元數據存儲：Minio中的元數據存儲非獨立，與底層的本地文件系統緊密相連。
   • Bucket與對象存儲：每個bucket對應文件系統中的一個目錄，對象則在bucket目錄下有子目錄存放數據和元數據。
   • 數據冗餘與可靠性：通過Erasure Set確保數據的冗餘和可靠性。

5. 性能與限制：

   • 小文件處理性能較差：在處理大量小文件時，由於多次目錄和文件創建操作，性能可能較差。
   • 數據讀寫模式：僅支持EC模式的數據讀寫，不支持副本或集群擴容。
   • 集群規模確定：集群規模需要在部署時確定，缺乏靈活性。
   • Federation模式：雖然可以通過Federation模式整體擴容整個集群，但不適用於單集群的擴展。

6. 其他功能：

   • Bucket和對象標簽：提供對bucket和對象的標簽支持。
   • Minio gateway：可以對接其他存儲系統。
   • 多租戶支持：支持多租戶環境。
   • Bucket quota和replication：提供bucket的配額管理和復制功能。
   • 存儲級別：支持兩種存儲級別。
   • Disk Cache功能：支持Disk Cache以提高性能。
   • Bucket通知：支持bucket通知以同步事件到外部系統。

7. 適用場景：

   • 大文件場景：Minio更適合大文件場景。
   • 海量小文件應用：對於海量小文件應用，其性能和靈活性可能不是最佳選擇。

綜上所述，MinIO是一款功能強大的開源對象存儲解決方案，適用於存儲大量非結構化數據，但在處理大量小文件和集群擴容方面存在限制。