对象存储开源框架

⑴ Minio鏋舵瀯绠浠

鎻寮Minio镄勭炵橀溃绾憋细涓涓鍗撹秺镄勫紑婧愬硅薄瀛桦偍绯荤粺

Minio锛屼竴涓涓扑负澶ц勬ā鏁版嵁瀛桦偍钥岀敓镄勪簯瀛桦偍瑙ｅ喅鏂规堬纴浠ュ叾镫鐗圭殑浼桦娍鑴遍栬屽嚭銆傚畠镄勮捐＄悊蹇电亩鍗曡屽彲闱狅纴閲囩敤铡讳腑蹇冨寲镄勬灦鏋勶纴涓虹＄悊甯︽潵浜嗗墠镓链链夌殑𨱔垫椿镐у拰楂桦彲鐢ㄦс傞氲繃浜戝师鐢熺殑鐗规э纴Minio镞犵绅铻嶅叆Kubernetes绛夌紪鎺掔郴缁燂纴閮ㄧ讲娴佺▼杞绘涧楂樻晥锛屾棤闇棰濆栫殑鍏冩暟鎹鏁版嵁搴掳纴瀹岀编鍏煎笰mazon S3鎺ュ彛锛岃╂搷浣滃彉寰楁洿锷犵洿瑙傚拰渚挎嵎銆

Minio镄勬牳蹇冩槸鍏跺幓涓蹇冨寲镄勫瓨鍌ㄦā鍨嬶纴鏁版嵁鍒嗘暎瀛桦偍骞惰嚜锷ㄨ礋杞藉潎琛★纴纭淇濆湪浠讳綍𨱍呭喌涓嬮兘鑳芥彁渚涘己澶х殑镐ц兘銆傞氲繃缁熶竴镄勫懡钖岖┖闂达纴镞犺烘槸链鍦板垎甯冨纺閮ㄧ讲杩樻槸镵旂洘妯″纺锛岄兘鑳藉疄鐜版棤缂濊块梾锛屼负鐢ㄦ埛甯︽潵涓镊寸殑浣挞獙銆

瀵逛簬鏁版嵁涓镊存э纴Minio閲囩敤鍒嗗竷寮忛挛绠＄悊链哄埗锛岄氲繃dsync瀹炵幇锛屽敖绠″湪32鑺傜偣镄勯檺鍒朵笅锛屽畠鑳界‘淇濇暟鎹鍦ㄥ氲妭镣归棿镄勫悓姝ワ纴浠ュ疄鐜伴珮鍙鐢ㄦс傚叾鏁版嵁缁撴瀯娓呮榈锛屽熀浜庣熸埛-妗-瀵硅薄镄勬ā鍨嬶纴缁呜嚧镄勬潈闄愮＄悊纭淇濇暟鎹瀹夊叏銆

鏁版嵁淇濇姢涓庢仮澶岖殑鍗撹秺瀹炶返

ErasureCode鏄疢inio镄勬暟鎹瀹堟姢钥咃纴鍗充娇鍦ㄩ儴鍒嗙‖鐩樻晠闅灭殑𨱍呭喌涓嬶纴涔熻兘阃氲繃Reed-Solomon缂栫爜杩涜屾暟鎹鎭㈠嶃傚湪鍒嗗竷寮忕幆澧冧腑锛屼缭鎸丯/2鑺傜偣鍦ㄧ嚎鏄鏁版嵁瀹夊叏镄勫熀纭锛岃屽啓镎崭綔鍒欓渶瑕丯/2+1鑺傜偣鍙备笌銆备笂浼犳枃浠舵椂锛屽厓鏁版嵁鍜屾暟鎹鍒嗙墖镄勭粨钖堬纴阃氲繃HighwayHash鎶链纭淇濇暟鎹镄勫畬鏁存у拰涓镊存с

鏅鸿兘镓╁𪾢涓庡囦唤

Minio鍐呯疆镄凩ambda璁＄畻锷熻兘鏀鎸佷簨浠堕氱煡锛屾疮褰揿硅薄涓娄紶銆佷笅杞芥垨鍒犻櫎镞讹纴閮借兘瑙﹀彂鐩稿簲镄勬墿灞曟搷浣滐纴涓虹敤鎴锋彁渚涗简寮哄ぇ镄勬暟鎹澶囦唤绛栫暐锛屽疄鐜板为噺澶囦唤锛屾弧瓒冲姩镐佹墿灞曢渶姹伞

镞犵绅闆嗘垚锛屾墿灞曞瓨鍌ㄨ竟鐣

浣滀负瀵硅薄瀛桦偍缃戝叧锛孧inio灏哊AS鍜孒DFS绛変紶缁熺郴缁熸棤缂濋泦鎴愶纴阃氲繃S3 API鎻愪緵缁熶竴鎺ュ彛锛屾瘆濡傚湪澶勭悊GCS璇锋眰镞讹纴瀹为檯涓婃槸阃氲繃GCS SDK镎崭綔锛屼娇寰椾笉钖岀郴缁熺殑鐢ㄦ埛閮借兘浜鍙楀埌Minio镄勯珮鏁埚拰渚挎嵎銆

镐荤粨𨱒ヨ达纴Minio鍑鍊熷叾寮哄ぇ镄勫姛鑳姐佺伒娲荤殑鏋舵瀯鍜屽嚭镩茬殑鏁版嵁淇濇姢链哄埗锛屾垚涓轰紒涓氩拰寮鍙戣呭瓨鍌ㄥ拰绠＄悊娴烽噺鏁版嵁镄勭悊𨱍抽夋嫨銆傚湪杩欎釜鐭ヨ瘑鍏变韩镄勬椂浠ｏ纴璁╂垜浠鍏卞悓鎺㈢储Minio甯︽潵镄勬棤闄愬彲鑳斤纴鎺ㄥ姩鎶链杩涙ワ纴鏋勫缓镟存櫤鑳界殑鏁板瓧涓栫晫銆

⑵ MinIO对象存储介绍

MinIO是一款基于Apache License v2.0的开源对象存储解决方案。以下是关于MinIO对象存储的详细介绍：

1. 开发背景与语言：

   • 创始人：由GlusterFS的创始人之一Anand Babu Periasamy推出。
   • 开发语言：采用Golang语言开发。

2. 客户端支持：

   • 多种编程语言：客户端支持Java、Python、JavaScript和Golang等多种编程语言。

3. 主要目标与适用场景：

   • 私有云对象存储首选：Minio旨在成为私有云对象存储的首选方案。
   • 非结构化数据存储：适用于存储大量非结构化数据，如图片、视频、文档等。
   • 文件大小范围：支持的文件大小范围从几kb到5T不等。

4. 元数据存储与数据分布：

   • 非独立元数据存储：Minio中的元数据存储非独立，与底层的本地文件系统紧密相连。
   • Bucket与对象存储：每个bucket对应文件系统中的一个目录，对象则在bucket目录下有子目录存放数据和元数据。
   • 数据冗余与可靠性：通过Erasure Set确保数据的冗余和可靠性。

5. 性能与限制：

   • 小文件处理性能较差：在处理大量小文件时，由于多次目录和文件创建操作，性能可能较差。
   • 数据读写模式：仅支持EC模式的数据读写，不支持副本或集群扩容。
   • 集群规模确定：集群规模需要在部署时确定，缺乏灵活性。
   • Federation模式：虽然可以通过Federation模式整体扩容整个集群，但不适用于单集群的扩展。

6. 其他功能：

   • Bucket和对象标签：提供对bucket和对象的标签支持。
   • Minio gateway：可以对接其他存储系统。
   • 多租户支持：支持多租户环境。
   • Bucket quota和replication：提供bucket的配额管理和复制功能。
   • 存储级别：支持两种存储级别。
   • Disk Cache功能：支持Disk Cache以提高性能。
   • Bucket通知：支持bucket通知以同步事件到外部系统。

7. 适用场景：

   • 大文件场景：Minio更适合大文件场景。
   • 海量小文件应用：对于海量小文件应用，其性能和灵活性可能不是最佳选择。

综上所述，MinIO是一款功能强大的开源对象存储解决方案，适用于存储大量非结构化数据，但在处理大量小文件和集群扩容方面存在限制。