云存储中心建设方案
A. 如何搭建私有云存储
虚拟化技术在企业私有云IT基础架构中仍然占据重要地位,同时,为了进一步提升应用效率,越来越多的生产环境也正在逐步变革,从以虚拟机为中心的架构向以容器和微服务为中心的云原生架构过渡,在这个过程中,存储如何有效支撑各种云主机应用与微服务应用,对于企业的私有云数据中心提出了新的挑战。
企业面临的问题
存储设施七国八制,硬件锁定缺少弹性
多种云平台对于存储的要求各不相同,块/文件/对象存储对应不同类型的应用,对外提供不同的服务接口,一种存储设备无法满足多种类型的云平台存储需求,而且传统存储在扩展性方面不能满足云时代大规模云平台对存储在线弹性扩容的需求,在可维护性方面则面临硬件架构绑定、运维复杂、难以维保等问题,而且这些问题会随着存储设备种类和数量的增多进一步放大。
业务调度变更频繁,资源不能共享
随着开发测试虚拟机以及容器、微服务平台在企业私有云平台的上线,大型企业的应用快速迭代、频繁发布对存储系统的支撑提出了严峻挑战,不同业务的数据保存在不同厂商的存储设备中,数据流动性差,不仅导致存储空间及性能资源浪费严重,数据灾备方案也很难统一化。
开源产品难以维护,不能实现企业级产品化
基于开源虚拟化技术的云平台如OpenStack为众多客户提供了快速构建私有云基础设施的能力,但是存储部分却不一样,开源的存储系统如Ceph虽然可以小规模部署试用, 但在大规模商用时会遇到很多问题:与硬件和企业级应用生态融合程度不高,严重依赖人工开发运维,在性能和服务质量方面不能满足核心业务的需求
杉岩私有云存储解决方案
杉岩私有云存储解决方案充分发挥了杉岩统一存储平台(USP)的云适配、开放等优势,支持各种复杂的应用负载,可灵活支撑私有云的虚拟化平台,如VMware、Citrix、OpenStack等虚拟化和云平台,以及通过Kubernetes软件一致性认证的所有容器云平台,如:Rancher、Openshift、Kubernetes等。
通过杉岩统一存储平台,用户可快速构建能够兼容所有主流虚拟化平台与容器微服务平台的统一存储资源池,面对各种虚拟机和微服务需求,池化的存储平台为大规模云环境提供了可靠的存储基础架构支撑,帮助用户从纷繁复杂的基础架构运维工作中解放出来,更关注于私有云上运行的业务本身。
客户价值
资源整合,链接企业信息孤岛
单资源池提供块、文件、对象多种存储服务,支持虚拟化平台和数据库应用;强大的存储资源生命周期管理能力,跨云平台在线迁移数据,实现数据共享和提高资源利用率;存储卷QoS等级和性能优先级在线调整,可根据企业资源和业务需求合理配置资源。
开放兼容,适配多种私有云平台
通过VMware VAAI和Citrix Ready认证,针对主流虚拟化平台优化I/O性能,大幅提升虚拟机访问的性能。通过OpenStack Cinder认证,可提供块和对象存储基础架构支撑支持容器平台CSI接口认证,为Kubernetes生态的容器应用提供块和文件存储服务。
智能管理,解决规模化运维难题
向导式安装部署和自助扩容配置,极大提升易用性和可维护性,管理自动化降低运维成本;针对大规模集群优化的可靠性管理,检测和修复硬盘软错误的专利技术,节约用户硬件投资。存储视角的管理功能,可视化展示主机、容器与存储的映射关系和性能监控协助管理员快速定位和解决问题。
B. 10TB超大容量不限速!个人云存储有这一个就够了
数据的重要性是不言而喻的,所以我们需要把电脑、手机上日积月累的数据进行保存、备份,甚至对重要的数据进行加密避免隐私泄露。由于产生的数据量更大,此前使用的U盘、小容量硬盘等已经无法满足需求,而且随着智能设备的发展,人们还需要把一些数据分享出去,所以更大容量、能分享的云存储方案成为人们关注的焦点。但是目前常用的第三方网络存储,一方面受到容量的限制,另一方面也受到网速的限制,而且在成本的投入上也是持续的,即便如此,对于数据的安全和隐私也无法得到保障。所以,联想最近推出了一款个人云存储设备,最大支持10TB存储容量,上传下载不限速,还能够实现多设备数据存储,数据集中管理,实时备份和分享,完成多场景下的数据自由传输,为我们提供了无缝连接数字生活与工作的存储解决方案。
联想个人云存储提供了无盘版、4TB单盘版和4TB*2双盘版,售价分别为999元、1799元和2899元。除了硬件上的一次性投入,在功能上与网络网盘有着非常相似的使用体验,但是在容量、传输速度以及数据的私密性上,联想个人云存储有着先天的优势。究竟这两款设备该选谁?不妨让我们来做个对比。
由于联想个人云存储是以物理硬件的方式存在,而网络网盘只需要安装应用即可,所以这里我们首先来看看联想个人云存储的设备是怎样的,之后再进行功能对比。
联想个人云存储包装与外观特点
智能安全、智能健康、智能娱乐、智能办公学习,是联想SIoT战略的四大细分场景,定位家庭级智能存储设备的联想个人云存储,承担着智能化数据管理以及完善联想智能化布局的主要一环。
沉甸甸的包装内部除了一个联想个人云存储主机,还包括一块全新的2.5英寸4TB SATA 3.0接口的机械硬盘,配件包括电源适配器、一根网线、固定硬盘用的螺丝钉,一把十字起子和一个简易说明书。主机和硬盘都采用了较厚的泡沫棉保护,确保运输中的万无一失。
联想个人云存储机身为白色,采用竖纹理设计,这样的设计能够减少机身厚度,同时利于散热。正面看机身犹如罗马殿堂的柱子,庄严而典雅。顶部的盖子和底座采用了金色点缀,增添了时尚色彩,能够与家庭家居完美地融合。
接口位于机身后部,从上到下为 RESET 孔、2 个 USB 3.0接口、千兆网线接口和圆形的电源插口。2个USB 3.0还可以外接个人云伴侣(磁盘阵列存储),将空间轻松扩展至128TB,所以对于家庭用户来说,无须担心容量不够用。
在连接与速度方面,联想个人云存储不受条件限制,可穿透各种防护网络,支持全球内外网访问。在安装与部署方面,相较于传统复杂的NAS流程,联想个人云存储只需要连接网线、电源,下载APP后绑定、格式化硬盘,轻松几步就能完成,无需专业的网络、硬件技能。
开启顶盖后可以看到内部的A、B 两个硬盘托架,能够同时放下两块 2.5'' 的 HDD,抽屉式的托架,取出后安装好硬盘再放下去插紧就OK了,非常简单。硬盘支持RAID及LARGE模式,上盖内里印有设备绑定二维码,用来绑定APP(管理员)。但是这里也提醒一下,硬盘托架可能会很紧,取出或插入时需要用一些力。同时也建议在下一代能设计成弹出式,或者改进一下抽拉时的顺畅感。
可能很多网友也会疑问为什么不用固态硬盘?简单的说,一方面是成本,大容量的固态硬盘价格依然居高不下;另一方面众所周知的使用寿命和数据可恢复性,机械硬盘目前还是最佳的选择。但并不是说联想个人云存储设备就不能使用固态硬盘,用户仍然可以自行安装SATA接口的SSD。
由于联想个人云存储设备是长期在线使用,尤其是长时间的数据读写时,硬盘还是会产生热量,所以还在机身底部设计了散热风扇,并通过底座隐藏的散热口排出,而且在噪音控制方面也做的很好,即便是放在卧室的床头边也不会被干扰。
简单了解完联想个人云存储设备的外观和基本功能,大家更加关注的是这个设备究竟能做什么?与一些网盘相比有哪些优点?所以我们接下来就以使用者众多的网络网盘为例来做个对比,看看联想个人云存储是否值得购买。
客户端:无缝连接 支持平台广泛
目前能够连接网络的设备越来越多,除了电脑和手机,还包括平板电脑、电视等,可以说有屏幕的地方就有江湖。在操作系统上分为Windows、Linux、iOS和安卓系统,联想个人云存储和网络网盘都对各平台和系统进行适配,实现无缝连接,尤其是在布局智慧家庭方面,联想个人云存储结合的更加紧密。
联想个人云存储的数据守护者APP界面与网络网盘功能基本类似,包括对文件的自动分类,但是联想个人云存储还支持对网络网盘的数据存取和离线下载,所以在兼容性和文件管理方面,联想个人云存储更加贴心。
安装数据守护者app可以轻松的在手机上存取资料和管理文件,以及用于配置个人云存储设备,这也是与网络网盘不太一样的地方。图形化的界面,以及指引绑定、设置,即便是新手也能轻松胜任,非常人性化。但是需要提醒大家的是,联想个人云存储设备支持RAID1和Large两种模式,两者只能选择其一,中途如果想要切换模式,则会对磁盘进行重新格式化,会删除所有数据,所以需要谨慎操作。
除了常规文件的存取,网络网盘app还加入了笔记、小说、冲印商城等第三方合作应用,在个人服务方面更加多样化,毕竟网络网盘已经做了很多年,也有着庞大的用户群,在用户体验方面积累了更多的经验。
除了作为存储,网盘最大的功能特色就是分享,联想个人云存储APP在分享功能上支持好友分享和链接分享,其中链接分享还支持1天和7天期限。网络的分享功能相对要全面,包括微信、朋友圈、QQ、微博,以及私密链接和二维码等多种方式,同样支持分享的有效期。
客户端的对比方面,差别并不是很大,只是在分享方面,数据守护者相对弱一些,以及暂时不支持压缩包的在线解压缩等。网络网盘APP对非会员的限制比较多,比如想要在线解压缩,需要超级会员;此外,如果用户想要在线播放音乐、视频,由于非会员限速问题,网络网盘的体验要差很多。而联想个人云存储,我们可以看做是“点对点”的读取,没有中间的转换,所以读取会流畅的多。
容量对比:联想个人云存储最大支持10TB容量 还可扩展
以目前个人或家庭对存储容量的需求,GB级别不够用,但是上升到TB、数个TB的时候就足够用了。
联想个人云存储内置双硬盘位,最大支持10TB容量,相当于可容纳200万张高清照片,或100万首无损音乐,或1万部高清影片。如果你是骨灰级玩家,对容量有更大的需求,那么这款个人云存储还可以通过2个USB 3.0高速接口外接个人云伴侣(磁盘阵列存储),就能轻松扩展至128TB。正是因为采用的是物理硬盘,联想个人云存储理论上可以无限扩展,但毕竟是定位家庭、个人云存储,能达到10TB容量需求的用户已经极少,所以我们几乎可以忽略空间的限制。
简而言之,联想个人云存储一次投入,容量无限。
网络网盘初始免费容量是根据完成一定任务量来决定的,普通会员提供2TB容量。需要注意的是,网络在2018年底宣布此前注册用户至2019年底没有登录过的免费用户,将调整至100GB,超级会员可以扩展至最大5TB容量,连续包年的会员费为263元。
实际上5TB的容量对于大多用户也足够使用,但是却以会员年费为代价,而且一旦不续费,您的文件可能就不再是您的文件,对功能的限制也是颇多。如果只是作为小文件的备份,比如手机图片、办公文档等,网络网盘也是足够使用。但是对于较大的文件、尤其是高清影视,无论从容量还是上传、下载的速度等方面,并不建议使用网络网盘收藏。
所以两者对比很明显,联想个人云存储成本更低、容量更大、并具有无限可扩展性,更是作为资料收藏的绝佳存储方案;而网络网盘容量和功能受会员限制,具有很多不确定性,推荐存储较小文件、临时性文件,如果是重要资料且需要永久收藏的,就要慎重考虑网络存储的方案。
传输速度比拼:联想个人云存储不限速
对于大多数用户来说,使用网盘或个人云存储,最多的行为就是上传和下载文件。
首先说说网络网盘,相信所有免费用户在使用网络网盘上传下载文件时,都会体会到那种龟速到痛不欲生吧。不管你是百兆宽带,还是光纤,只要不充值,网络网盘限速能限到你哭。
图:网络网盘非会员限速
如果你存储的文件很大,或者是朋友分享给你一个很大的文件,或者是数百张图片,而且你还不是超级会员,那千万不要用网盘分享,还不如用QQ发送来的快。此外,对于非会员,传输的文件还不能超过4GB。
图:非会员限制不能超过4GB
但如果你是长期网盘依赖用户,那就不妨充个超级会员,上传和下载的速度还是有保障的。
图:超级会员可解除限速
如果把网络网盘看作是公有云,那么联想个人云存储就是私有云。联想个人云存储不仅能够适应各种网络环境,包括身处海外也能轻松连接使用。上传和下载速度方面,得益于联想的全球网络节点支持,无论是内外网访问或是海外访问,联想个人云存储都拥有高速上传下载加速系统,能够无缝连接用户的数字生活与工作。需要说明的是,在上传或下载时,联想个人云存储最多支持5个文件多任务同时进行,单文件上传、下载速度最快。
图:多文件上传时,网速被优先级分配
图:单文件上传时速度最快
图:单文件下载时速度最快
在上传和下载的网速对比方面,联想个人云存储在整个传输过程中不参与任何数据交换,所以文件传输不受限制,也就有着绝对的优势,你的网速有多快就能上传、下载多快。但是在使用中,我们也发现联想个人云存储客户端,暂时还不支持文件、文件夹的拖拽,只能通过一级一级的路径选择,相信在升级版本中会添加这一快捷功能。
安全与隐私
个人数据的安全和隐私性越来越受到人们的重视,但是存储在公有云上的数据,实际上是保存在人家服务器上,尽管各家都声称绝不会泄露,但是谁知道呢?你把宝贝放在别人家柜子里总是不让人放心吧。
而联想个人云存储是您的“私有云”,所有的数据都是保存在您私人的硬盘之上,从根本上避免了公有云端隐私泄露的问题。同时还采用SDVN技术加密传输,所有应用数据均在虚拟化层上传输,确保数据在内网或互联网上的安全可靠,有效保护个人数据安全和隐私问题。
此外,联想个人云存储设立多账户管理机制,一台主机多人共享的同时,还能够设定公共空间和私密空间。通过管理员设置不同权限,将家庭账户进行空间隔离,并配置加密保险箱技术,进行二次保护,管理员也无法访问他人账户,方便多人共享数据的同时,又能够保护个人数据隐私。
实际上很容易理解,保存在你个人硬盘上的数据永远都是你的,保存在网上的资料不一定就是你的,哪怕是交了费。
体验总结:
综合来看,联想个人云存储在更大容量、更快速度、更加私密等方面都具有无可比拟的优势,而网络网盘仅仅是对续费的超级会员提供最多5TB容量、不限速的服务,但是在数据的私密性和安全性上,尤其上长远来看,网络网盘还是存在不少后顾之忧。
个人云存储无论在数据传输方面、数据安全和用户隐私方面,以及在未来智慧家居的构建上,都将逐渐成为家庭的数据中心,成为每个家庭的刚需的智能设备。所以相对于建立在公有云上的网盘,联想个人云存储可以说已经先入为主,并将主导未来。还是那句话,一次性投入,就能拥有一个永久、安全的个人数据中心。
C. 企业内网云存储是怎么创建的
企业内网云存储的创建涉及到多个方面,首先必须对当前网络能力与容量有深刻理解,评估网络延迟的可能性。对于特定的内部云解决方案,需融入最佳实践以确保实施顺利。在评估新技术时,考虑管理与实施的简便性同样重要,尤其是依赖现有团队进行部署的场景。明确所需角色与职责分配,以及所需时间,是提高团队整体效率的关键步骤。
决定企业是否适合采用云存储,需要细致分析。首先,评估数据中心内的数据,确定哪些数据可以迁移到云。然后,IT人员需判断数据以何种方式迁移至云。简单数据迁移可能如同复制过程,而复杂数据可能需要特定工具来保证迁移后符合政策要求。
考虑云存储经济可行性也至关重要。对于对现有存储成本敏感且风险规避的公司,外部云可能是理想选择。反之,对成本与风险敏感的公司可能更倾向于部署内部云。外部云服务基于存储数据量和合约期限定价,而内部云则需考虑总拥有成本,与其它内部存储方式类似。
D. 如何建立单位内部云存储服务器
看云存储的需求,是做云盘,做大文件存储,小文件存储,或者块读写等等。
开源系统就不少,自己建的话,省钱就用开源。
OpenStack里面有Swift,是一个对象存储,适合于存放比较小的,以对象为单位的文件。
SeaFile开源云存储系统平台是由国人开发的新一代的开源云存储系统软件,SeaFile提供丰富的文件同步和管理功能,搭个网盘是比较方便的。
还有GlusterFS,是一个集群的文件系统,支持 PB 级的数据量。
Ceph,分布式文件系统,支持作为块设备进行读写访问。
按照教程来,搭建起来不难。当然,要深入使用,解决生产运行中的各种坑,还是需要一定时间的积累的。
我们就是选择的Swift,然后在此基础上开发的文档管理系统。
E. 如何部署云存储
如何部署云计算中的云存储?本文将从七个方面介绍,希望对大家有所帮助。 在公共云和私有云之间做出选择 明确你的选择:私有云还是公共云,哪种最符合你的机构呢?用最简单的方法来描述这两种云:公共云,即可以在互联网上,存储你的信息和运行应用程序;私有云,是在企业内部局域网中具有以上功能,相比之下具有更大的灵活性、可控制和安全性。 全面的虚拟化策略 当你明确选择之后,就要将更全面的虚拟化策略,选择数据中心最恰当的位置进行部署。将计算能力和存储资源虚拟起来是使云计算真正运作的关键。业界认为首要是虚拟化的服务器,但IT数据中心也同样需要虚拟化存储。反之,如果没有云计算,将大大降低企业在应用层上所能做的。 根据云特点提供最佳服务 当部署了云之后,就要知道何时使用公共云和私有云,以最经济的方式,提供给终端用户最恰当的服务。 对现有系统进行测试和研发,也许是最好的解决之道。私有云的优势是部署速度和安全优势,以虚拟化技术为基础建立的私有存储云,可以兼容多种服务器和桌面虚拟化平台。如果是风险较低的商业应用,则可建立公共服务的主机上。 云存储的两大好处 那么云存储能带给我们哪些好处呢?我们知道,选择一个云存储环境,提供一些必要工具,诸如自动存储分层和自动精简配置,以应对自动化的共同复杂任务。这一切都始于虚拟存储,它使得系统能够在正确的存储资源,以合适的时机,自动迁移工作量。如果没有它,则不能运行这些先进的功能。 存储架构选择要谨慎 此外,确定公司的数据存储解决方案,足以应对快速、无计划的数据增长之需求。选择一种存储架构,允许在任何方向存在合理有序增减比例。先要问问自己:需要给SAN增添哪些功能?如果不仅要停机,还要加之很多工作人员的重视和维护。那么说明,从这套系统中,也许你并没有得到真正最佳的应用价值。 云存储的功能广受业内推崇 云存储在业内逐步被推广,其功能得以广泛的认知。建立管理工具和报告功能,不可忽视SRM工具,如存储扣款和使用准确地收益性分析。 三种环境适合采用云存储 以下三种环境,最适合采用云存储。其实也正是这些实际需求,催生了云存储,也为云存储的发展提供了可能。 首先,判定是否存在着这种相关性,就是软硬件升级的费用和系统"无限"的可扩展性密切关联。此时就要注意了:当系统的能力受到限制后,一些架构隐含着惊人的再次认证许可费用。例如:你是否受到软件许可费的困扰呢?当你不得不再次增加驱动器或存储阵列的数量,这种做法实际上已超出了边际的最优成本。 其次,在系统维护过程中或软硬件重新配置时,确认存储环境是否在线、数据是否可用。包括软硬件,所有的存储系统有可能随时需要升级。当更新时,一定要知道在系统上会产生哪些影响。 最后,如果选择数据和灾难备份产品,如自动让快照和复制。但要提醒的是,提防一些隐性成本,如带宽要求。它可能限制一些快照的次数或复制(即每次都要更改或整个复制的容量)。
F. 如何通过智能路由搭建家庭存储中心
智能路由器+移动硬盘的优点和不足
智能路由器+移动硬盘,这个方案最大的优势自然是省钱。不过,总让人觉得不太“专业”,实际上,不少智能路由器已经对存储方案进行了优化,像迅雷脱机下载,几乎是每个智能路由器的标配。而在文件共享方面,这一方案主要取决于智能路由器的固件或插件对于文件共享的支持程度如何。
随着云存储重要性的提升,大多数智能路由器也在这方面进行了改善,这样,文件多平台共享、远程操作等也都可以实现。当然,这一方案也存在不足,即其传输速率略显不足,尤其在在使用中低端智能路由器时。由于路由处理器的性能较低,文件传输速度在5MB/s甚至更低,这样的速度,在面对多设备访问或者有高码率的高清视频播放需求时,还是略显不足。所以,有这方面需求的用户,在使用这一方案时要注意。
智能路由+移动硬盘方案组建难度不高
如果只从硬件角度考虑,智能路由器+移动硬盘方案实现起来非常简单,只需要将移动硬盘插入智能路由器的USB接口,顶多在供电不足时,考虑外接供电就可以了。而在移动设备端,一般只需要安装路由的应用或是ES文件管理器这样的第三方管理器,就可以顺利访问移动硬盘上的内容。但由于各种路由器设置有所差异,我们很难统一说清各种智能路由器的共享设置。但一般来说,只要在智能路由器的设置中,找到文件共享选项,并设置硬盘上的共享目录就可以了,操作起来是比较简单的。
注意散热性和移动硬盘的接口
要用移动硬盘构建家庭云存储中心,除了基本的路由功能外,智能路由器还必须拥有USB接口,才能接入移动硬盘。当然,我们还要注意智能路由器是否在固件或插件上提供对存储和文件共享的支持,以减少搭建家庭云存储中心时的波折。另外,智能路由器的散热也必须重点考虑,要知道,在接上移动硬盘并开启文件共享后,路由处理器的负载将加重,从而导致路由器发热量增加,对于那些只要温度一高,稳定性就立马降低甚至死机的路由器来说,那可是不可承受之重。当然,从智能路由器的官方信息,我们难以得知其散热表现,但我们可以在电商网站或者产品论坛,看看使用者对其评价如何,尤其是在夏季时,是否有网友反映其频繁死机等,这样就可以粗略得知某款智能路由器的散热设计能力。
虽然从搭建家庭云存储中心的角度考虑,USB2.0端口并非性能瓶颈,但考虑到USB3.0接口的移动硬盘价格已与USB 2.0接口的相差无几,且移动硬盘往往有独立使用的需求,因此现阶段购买移动硬盘,还是优选USB3.0接口的。如果家里有USB2.0接口的硬盘,就放心使用吧,它不会成为系统瓶颈的。
当然,这也不是说家庭云系统对移动硬盘全无要求,实际上,不少家庭云存储都是7×24小时工作,这就要求移动硬盘有良好的散热和稳定性。在这种情况下,选择使用铝合金外壳的移动硬盘或选择品牌移动硬盘,更有利于让移动硬盘长时间工作。
G. 数据湖系列之二 | 打造无限扩展的云存储系统,元数据存储底座的设计和实践
海量数据的存储挑战与解决方案
在数据湖存储系统中,元数据面作为核心底层系统,直接决定了系统的扩展性。本文旨在揭秘云存储系统的元数据面存储底座,探讨如何设计支撑无限扩展的存储容量。
随着互联网、物联网和AI技术的发展,数据量呈指数级增长,预测未来全球数据量将从33ZB增长至175ZB。云存储系统的扩展性面临巨大挑战。
云存储系统由数据面和元数据面构成,数据面用于存储用户数据,元数据面存储数据对应的元信息。元数据面的扩展性直接影响整个存储系统的性能。
TafDB是网络沧海·存储的统一元数据底座,支撑网络智能云对象存储和文件系统元数据存储,提供万亿级元数据规模和千万级QPS的存储能力,满足海量数据湖存储的扩展性需求。
本文首先介绍元数据面技术的演进趋势,从层级和平坦命名空间两类技术架构入手。
层级命名空间适用于文件系统,支持文件和目录操作,而平坦命名空间则适用于对象存储。随着对HDFS语义的支持,对象存储也开始支持层级命名空间。
接着,本文详细阐述层级命名空间的技术演进,包括文件属性、目录树结构等元数据信息的维护,以及支持的文件操作。
平坦命名空间主要存储对象文件块的位置信息,通过分布式事务数据库解决扩展性问题。当前主流方案如AWS、Google的对象存储,元数据分别存放在Dynamodb和Spanner。
通过分析命名空间技术演进,可以发现分布式事务数据库在解决扩展性问题上具有优势,能够支持层级和平坦命名空间,满足万亿级元数据底座需求。
本文深入探讨元数据底座的技术选型,分析分布式事务数据库流派,最终决定自主研发一套类Spanner架构的数据库作为元数据底座,以适应网络沧海·存储的元数据场景。
TafDB面向元数据场景设计,作为网络沧海·存储统一的元数据底座,支撑网络智能云对象存储BOS和文件存储CFS的元数据存储,提供万亿级别元数据规模、千万级别QPS的元数据存储能力。
TafDB系统架构基于RocksDB实现单机存储,Multi Raft协议保障副本数据一致性。该系统解决了元数据操作ACID的同时降低分布式事务开销、提供高性能写操作的同时保证范围查询性能、以及消除数据流程单点,提供极致扩展性和可用性。
实现上述功能的分布式事务数据库系统面临挑战,主要包括ACID保证下的性能开销、范围查询性能优化和数据流程的单点消除。本文通过优化事务处理、垃圾数据管理、分布式时钟方案和多维度系统统计,解决了这些挑战,实现了高性能、高扩展性和高可用性的元数据存储系统。
TafDB在文件系统Namespace存储中应用,实现线性扩展,降低延迟,满足传统应用及AI场景的需求。在对象存储Namespace存储中,单Bucket容量提升至万亿级别,显着提升图片类业务的上传和下载体验。
TafDB通过优化设计和实现,提供了一套功能完备、性能卓越的元数据存储系统,简化了多套系统带来的复杂性,满足了海量数据存储和处理的需求。