开源企业存储
Ⅰ gatehub香港能用吗
能用。GitHub会把服务器放在中国大陆附近,比如中国香港地区或新加坡,中国香港能用。这家美国公司是截止到2022年9月14日全球最大的开源软件存储库,它提供了至关重要的数字基础架构,全世界有数十亿美元的软件业务中,许多都依赖GitHub基础架构。
Ⅱ “东数西算”全面启动:数据大迁徙背后,看见存储产业的未来轮廓
近日,国家发展改革委等部门联合印发文件,同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。至此,全国一体化大数据中心体系完成总体布局设计,“东数西算”已成为国家级战略工程,浩浩荡荡地站上了 历史 舞台。
“东数西算”被认为是继“南水北调”“西电东送”“西气东输”之后的又一重大基础设施工程,将成为“新基建”的新抓手。具体而言,“东数西算”就是将东部产生的数据和需求,放到西部数据中心去计算和处理。这有利于为数据中心提供源源不断的可再生能源,大幅降低其运行维护成本,同时能够推动中国数字经济和西部地区发展。
乘着“东数西算”的政策东风,存储、计算产业也将迎来巨大的发展机遇。其中,基于分布式存储架构的SDS(软件定义存储)作为先锋力量、“热门选手”,天生具有可扩展性以及灵活性,必然会为新基建时代带来革命性的数据储存手段。
然而,机遇往往与挑战并存,一个不能忽略的问题是,随着东数西算工程纵深推进,存储需求激增,同时5G、AI、云等技术加速更迭的背景下,与之相伴而生的SDS由于还在沿用十年前的技术,也必然需要同频进化。
01
被行业拥簇的SDS(软件定义存储)
2013年,“软件定义一切”被首次提出时,还是个令人怀疑的技术畅想。尤其是当它与存储绑定在一起,在一些传统储存厂商眼里是不着边际的。但事实证明,SDS(软件定义存储)的诞生,不仅优化了传统存储的弊端,并在日后的十年里逐渐繁荣。
根据IDC公布的2021年三季度中国软件定义存储(SDS)市场报告显示,前三季度中国SDS市场获得高速增长,市场规模同比增长54%,成为中国存储市场的增长引擎。早就发布过软件定义是趋势的Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署,包括本地部署或在公有云上。
SDS在市场上的狂飙突进,一方面是基于创新技术。近几年,由于数据爆炸式增长,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,而软件定义存储则可以实现软硬解耦,让硬件成本尽可能的降低,使得软件发挥更大价值。通过软件的设计,来决定存储的性能和边界,不用再受硬件设备、服务器的限制。其方向在于帮助用户在传统数据中心或云内实现存储资源的池化和服务化,以及在多云之间实现数据的统一管理和自由流动。
另一方面,是源于 历史 的进程,被时代选择。随着云计算、大数据和人工智的发展,非结构数据爆发式增长——文本、图像、影视、超媒体等,面对这些数据,传统存储方式难以招架,而SDS存储正是包含针对文件的存储、对象的存储,自然就成了相关行业的首选。此外,企业云化在近几年成为了主流。在上云浪潮下,不同种类业务在池化的资源池中拿到相匹配的资源。这种业务场景天然适合软件定义存储的分布式架构、软件定义、水平扩展、基于统一存储引擎向上提供多种接口等特性。
02
SDS已站在新十年的转弯处
带着这样的优势,伴随着行业的拥簇,SDS转眼已来到新十年的转弯处。周遭环境飞速变化,数字浪潮奔腾汹涌,一些厂商、企业赫然发现,这个阶段的SDS竟然依然处于1.0时代,还在沿用十年前的开源技术,基于旧的硬件架构设计,似乎已无法更好的应对未来的新兴需求。
例如,与10多年前相比,现在的存储硬件、网络以及相关的技术方案已经发生了很多的变化,如果在软件层面不做出新的变革,数据存储系统就无法发挥出最大的价值。
还有介质方面,存储已经实现了大规模的从机械硬盘向SSD固态硬盘的过渡,由此带来了超高的IOPS、超低的时延;网络的提升更是惊人,100G已经司空见惯,400G也已经渐行渐近。
当然,也面临着“云”的追赶。我们都知道,目前,企业云化已经成为必答题,云的发展日新月异,从私有云到多公有云、边缘云、分布式云,企业选择上云的部署方式越来越多元,数据可能存放在任意的地理位置,存储平台需要构建全局统一的存储资源池,让数据在多数据中心、混合多云和边缘中按需流动,这都是目前SDS1.0需要突破的挑战。
03
触摸存储未来的轮廓,ExponTech抢先迈向SDS2.0
作为数据基础设施整体解决方案提供商—ExponTech华瑞指数云率先提出SDS2.0概念。在ExponTech看来,SDS从1.0需要迈向2.0时代,进化为2.0后,会为行业带来眼前一新的改变。
比如,SDS 2.0将支持可组合式架构,整合私有云、多个公有云,边缘云中的存储资源,提供不同IO模型,不同性能和可靠性要求以及许多种协议接口(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由组合及灵活部署使用。
还有,SDS2.0将与云原生高度协同。无论在计算、网络、数据亦或业务的层面,都可以按照云原生的架构模式、部署模式和运营模式,实现与时俱进的进化。SDS 2.0需要按照云原生的方式,支持和适配企业云原生应用的发展。
最后,具备向上服务能力。SDS2.0在做好基础存储的服务、流动的同时,还会向上管理数据库,分发数据,帮助企业解决数据孤岛问题。
不仅如此,ExponTech认为,SDS2.0未来近乎要实现一个飞跃式的革新,是需要在引擎和架构方面做出全新的设计。
由此,ExponTech前瞻性地发布自主研发的新一代分布式数据存储引擎WiDE。和其他存储相比, WiDE既可以提供多池架构下的IO调度和数据流动,企业可以存储海量非结构数据,也能存储要求高性能高可靠的结构化数据,还可以做高性能的数据分析,真正实现数据原生于一个数据平台上,只保留一份数据却可以被各类应用以各种接口访问,避免各种数据孤岛和数据复制拷贝带来的问题。
此外,WiDE还全面覆盖数据新基建创新型应用场景。在覆盖现有分布式存储产品SDS1.0的主流业务场景之外, WiDE能在高性能数据分析HPDA、高性能云主机、高性能数据库底座、混合多云数据平台等业务场景发挥作用,弥补之前高端应用场景下吞吐和时延的缺陷。
引擎WiDE的问世,将会在SDS2.0时代更好地帮助企业应对数字化时代面临的业务快速迭代升级的需求,推动企业智能化。未来,ExponTech也将会打造更多前沿存储产品,助力国内数据存储和国产系统软件的发展。
伴随着对SDS2.0的展望和引擎WiDE的无限可能性,未来之窗的纱帘正在缓缓拉开,我们对于数字世界广阔前景的想象,变得更为具体可感了。
END
Ⅲ 云计算平台有哪些
云计算平台可以划分为3类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台
云计算平台是云计算时代兵家争夺激烈的地方。
1.开源云计算平台
(1)AbiCloud(Abiquo公司)
AbiCloud是一款用于公司的开源的云计算平台,使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施(包括虚拟服务器、网络、应用、存储设备等)
(2)Hadoop(Apache基金会)
该计划是完全模仿Google体系架构做的一个开源项目,主要包括Map/Rece和HDFS文件系统
(3)Eucalyptus项目(加利福尼亚大学)
创建了一个使企业能够使用它们内部IT资源(包括服务器、存储系统、网络设备)的开源界面,来建立能够和Amazon EC2兼容的云
(4)MongoDB(10gen)
MongoDB是一个高性能、开源、无模式的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键/值存储方式
(5)Enomalism弹性计算平台
它提供了一个功能类似于EC2的云计算框架。Enomalism基于linux,同时支持Xen和Kernel Virtual Machine(KVM)。与其他纯IaaS解决方案不同的是,Enomalism提供了一个基于Turbo Gears Web应用程序框架和Python的软件栈
(6)Nimbus(网格中间件Globus)
Nimbus面向科学计算需求,通过一组开源工具来实现基础设施即服务(IaaS)的云计算解决方案
2.云计算平台厂商
(1)微软
技术特性:整合其所用软件及数据服务
核心技术:大型应用软件开发技术
企业服务:Azure平台
开发语言:.NET
(2)Google
技术特性:储存及运算水平扩充能力
核心技术:平行分散技术MapRece,BigTable,GFS
企业服务:Google AppEngine,应用代管服务
开发语言:Python,Java
(3)IBM
技术特性:整合其所有软件及硬件服务
核心技术:网格技术,分布式存储,动态负载
企业服务:虚拟资源池提供,企业云计算整合方案
(4)Oracle
技术特性:软硬件弹性虚拟平台
核心技术:Orackle的数据存储技术,Sun开源技术
企业服务:EC2上的Oracle数据库,OracleVM,Sun xVM
(5)Amazon
技术特性:弹性虚拟平台
核心技术:虚拟化技术Xen
企业服务:EC2、S3,SimpleDB、SQS
开发语言:
(6)Saleforce
技术特性:弹性可定制商务软件
核心技术:应用平台整合技术
企业服务:Force.com
开发语言:Java,APEX
(7)EMC
技术特性:信息存储系统及虚拟化技术
核心技术:Vmware的虚拟化技术,一流存储技术
企业服务:Atoms云存储系统,私有云解决方案
(8)阿里巴巴
技术特性:弹性可定制商务软件
核心技术:应用平台整合技术
企业服务:软件互联平台,云电子商务平台
(9)中国移动
技术特性:坚实的网络技术丰富的带宽资源
核心技术:底层集群部署技术,资源池虚拟技术,网络相关技术
了解更多开源相关,去LUPA社区看看吧。
Ⅳ 科技公司钟爱的50款开源工具
大数据
1. Hadoop
Apache主持的这个项目是最广为人知的大数据工具。众多公司为Hadoop提供相关产品或商业支持,包括亚马逊网络服务、Cloudera、Hortonworks、IBM、Pivotal、Syncsort和VMware。知名用户包括:阿里巴巴、美国在线、电子港湾、Facebook、谷歌、Hulu、领英、Spotify、推特和雅虎。
支持的操作系统:Windows、Linux和OS X
相关网站:http://hadoop.apache.org
2. Hypertable
Hypertable在互联网公司当中非常流行,它由谷歌开发,用来提高数据库的可扩展性。用户包括网络、电子港湾、Groupon和Yelp。它与Hadoop兼容,提供商业支持和培训。
支持的操作系统:Linux和OS X
相关网站:http://www.hypertable.com
3. Mesos
Apache Mesos是一种资源抽象工具,有了它,企业就可以鼗整个数据中心当成一个资源池,它在又在运行Hadoop、Spark及类似应用程序的公司当中很流行。使用它的企业组织包括:Airbnb、欧洲原子核研究组织(CERN)、思科、Coursera、Foursquare、Groupon、网飞(Netflix)、推特和优步。
支持的操作系统:Linux和OS X
相关网站:http://mesos.apache.org
4. Presto
Presto由Facebook开发,自称是“一款开源分布式sql查询引擎,用于对大大小小(从GB级到PB级)的数据源运行交互式分析查询。”Facebook表示,它将Presto用于对300PB大小的数据仓库执行查询,其他用户包括Airbnb和Dropbox。
支持的操作系统:Linux
相关网站:https://prestodb.io
5. Solr
这种“快若闪电”的企业搜索平台声称高度可靠、扩展和容错。使用它的公司包括:AT&T、Ticketmaster、康卡斯特、Instagram、网飞、IBM、Adobe和SAP Hybris。
支持的操作系统:与操作系统无关
相关网站:http://lucene.apache.org/solr/
6. Spark
Apache Spark声称,“它在内存中运行程序的速度比Hadoop MapRece最多快100倍,在磁盘上快10倍。”Spark“支持”的企业组织包括:亚马逊、网络、Groupon、日立解决方案、IBM、MyFitnessPal、诺基亚和雅虎。
支持的操作系统:Windows、Linux和OS X
相关网站:http://spark.apache.org
7. Storm
正如Hadoop用来处理批量数据,Apache Storm用来处理实时数据。官方网站上显示用户包括:天气频道、推特、雅虎、WebMD、Spotify、威瑞信(Verisign)、Flipboard和Klout。
支持的操作系统:Linux
相关网站:https://storm.apache.org
云计算
8. Cloud Foundry
Cloud Foundry提供用于构建平台即服务的开源工具。它声称“由行业领袖为行业领袖构建”,其支持者包括IBM、 Pivotal、惠普企业、VMware、英特尔、SAP和EMC。
支持的操作系统:Linux
相关网站:https://www.cloudfoundry.org
9. CloudStack
这个交钥匙IaaS解决方案构成了许多公共云和私有云的基础。它的用户极多,包括阿尔卡特-朗讯、苹果、Autodesk、英国电信、冠群科技、思杰、Cloudera、戴尔、富士通、SAP和韦里逊。
支持的操作系统:与操作系统无关
相关网站:http://cloudstack.apache.org
10. OpenStack
这种很受欢迎的云计算平台声称,“世界上成百上千个大品牌”每天依赖它。支持者包括:AT&T、Ubuntu、惠普企业、IBM、英特尔、Rackspace、红帽、SUSE、思科、戴尔、EMC、赛门铁克及另外许多知名科技公司。
支持的操作系统:与操作系统无关
相关网站:http://www.openstack.org
11. Scalr
这种云管理平台备受市场研究公司的好评,它简化了管理多个云环境的过程。知名用户包括Expedia、三星、美国宇航局喷气推进实验室、埃森哲、索尼和Autodesk。
支持的操作系统:Linux
相关网站:http://www.scalr.com
容器
12. Docker
Docker在相对新兴的容器领域迅速确立起了主导平台这一地位。科技界的许多大牌公司在构建或提供扩展或使用Docker技术的产品,包括亚马逊、微软、IBM、惠普企业、红帽、Rackspace和Canonical。
支持的操作系统:Windows、Linux和OS X
相关网站:https://www.docker.com
输入标题 内容管理
13. DNN
这款内容管理解决方案之前名为DotNetNuke,承诺构建丰富的交互式网站时,只要花较少的精力,就能收到显着的成效。用户包括佳能、时代华纳有线电视、德州仪器和美国银行。
支持的操作系统:Windows
相关网站:http://www.dnnsoftware.com
14. Drupal
Drupal声称,98000多个开发人员在为这个极其流行的内容管理系统积极贡献代码。支持者包括微软、Zend、Fastly和New Relic,其内容市场有数百家公司参与其中,它们提供了相关的产品和服务。
支持的操作系统:与操作系统无关
相关网站:https://www.drupal.org
15. Joomla
Joomla为数百万个网站提供平台,其下载量超过了5000万人次。许多用户当中就有这些公司:电子港湾、巴诺书店、MTV和标致。
支持的操作系统:与操作系统无关
相关网站:https://www.joomla.org
16. MediaWiki
MediaWiki以维基网络使用的软件而出名,它还为网络、Vistaprint、Novell、英特尔和美国宇航局支持网站。它是构建可编辑网页的不错选择,许多企业组织用它来构建内部知识库。
支持的操作系统:Windows、Linux/Unix和OS X
相关网站:https://www.mediawiki.org/wiki/MediaWiki
数据库
17. Cassandra
这种NoSQL数据库由Facebook开发,其用户包括苹果、欧洲原子核研究组织(CERN)、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、网飞、Reddit及其他科技公司。它支持极其庞大的数据集,声称拥有非常高的性能和出色的耐用性和弹性。可通过第三方获得支持。
支持的操作系统:与操作系统无关
相关网站:http://cassandra.apache.org
18. CouchDB
CouchDB为Web而开发,这种NoSQL数据库将数据存储在JSON文档中,这类文档可通过HTTP来加以查询,并用JavaScript来处理。Cloudant现在归IBM所有,它提供一款专业人员支持的软件版本,用户包括:三星、Akamai、Expedia、微软游戏工作室及其他公司。
支持的操作系统:Windows、Linux、OS X和安卓
相关网站:http://couchdb.apache.org
19. MongoDB
MongoDB是一种NoSQL数据库,声称“针对关键任务型部署环境进行了优化”,用户包括Foursquare、《福布斯》、Pebble、Adobe、领英、eHarmony及其他公司。提供收费的专业版和企业版。
支持的操作系统:Windows、Linux、OS X和Solaris
相关网站:http://www.mongodb.org
20. MySQL
MySQL自称是“世界上最流行的开源数据库”,备受众多互联网公司的青睐,比如YouTube、贝宝、谷歌、Facebook、推特、电子港湾、领英、优步和亚马逊。除了免费社区版外,它还有多款收费版。最新更新版声称速度比老版本快三倍。
支持的操作系统:Windows、Linux、Unix和OS X
相关网站:http://www.mysql.com
21. Neo4j
Neo4J自诩为“世界上领先的图形数据库”,用于欺诈检测、推荐引擎、社交网站、主数据管理及更多领域。用户包括电子港湾、沃尔玛、思科、惠普、埃森哲、CrunchBase、eHarmony、Care.com及另外许多企业组织。
支持的操作系统:Windows和Linux
相关网站:http://neo4j.com
开发工具
22. Bugzilla
Bugzilla是开源社区的宠儿,用户包括Mozilla、Linux基金会、GNOME、KDE、Apache、LibreOffice、Open Office、Eclipse、红帽、Novell及其他公司。这款软件缺陷追踪系统(bugtracker)的重要功能包括:高级搜索功能、电子邮件通知、预定报告、时间追踪、出色的安全及更多特性。
支持的操作系统:Windows、Linux和OS X
相关网站:https://www.bugzilla.org
23. Eclipse
Eclipse项目最为知名的是,它是一种大受欢迎的面向Java的集成开发环境(IDE),它还提供面向C/C++和PHP的IDE,此外提供另外一大批开发工具。主要支持者包括冠群科技、谷歌、IBM、甲骨文、红帽和SAP。
支持的操作系统:与操作系统无关
相关网站:http://www.eclipse.org
24. Ember.js
这种框架用于“构建野心勃勃的Web应用程序”,旨在为JavaScript开发人员提高工作效率。官方网站上显示用户包括雅虎、Square、Livingsocial、Groupon、Twitch、TED、网飞、Heroku和微软。
支持的操作系统:与操作系统无关
相关网站: http://emberjs.com
25. Grunt
Grunt是一种JavaScript任务运行工具,有助于自动处理重复性的开发任务。使用它的知名科技公司包括:Adobe、推特、Mozilla、Cloudant和WordPress。
支持的操作系统:与操作系统无关
相关网站:http://gruntjs.com
26. LoopBack
这个Node.js框架旨在让用户很容易构建REST API,并连接到后端数据存储区。知名用户包括GoDaddy、美国能源部和赛门铁克。
支持的操作系统:Windows、Linux、OS X、安卓和iOS
相关网站:http://loopback.io
27. Node.js
Node.js的成名之处在于,它让开发人员可以使用JavaScript,编写服务器端应用程序。开发工作之前由Joyent管控,现在交由Node.js基金会监管。用户包括IBM、微软、雅虎、SAP、领英、贝宝和网飞。
支持的操作系统:Windows、Linux和OS X
相关网站:https://nodejs.org/en/
28. PhoneGap
Apache Cordova是一种开源框架,让开发人员可以使用HTML、CSS和JavaScript等Web技术,构建移动应用程序。PhoneGap是最受欢迎的Cordova发行版。使用某一种Cordova发行版的科技公司包括:维基网络、Facebook、 Salesforce、IBM、微软、Adobe和黑莓。
支持的操作系统:Window、Linux和OS X
相关网站:http://phonegap.com
29. React Native
React Native由Facebook开发,这种框架可用于使用JavaScript和React JavaScript库(同样由Facebook开发),构建原生移动应用程序。其他用户包括:《探索》频道和CBS体育新闻网。
支持的操作系统:OS X
相关网站:http://facebook.github.io/react-native/
30. Ruby on Rails
这个Web开发框架在开发人员当中极其流行,它声称“为确保编程员满意和持续高效地工作进行了优化”。用户包括Basecamp、推特、Shopify和GitHub等公司。
支持的操作系统:Windows、Linux和OS X
相关网站:http://rubyonrails.org
31. Sencha Touch
Sencha Touch自称是“一种用于构建通用移动应用程序的领先的跨平台移动Web应用程序框架,基于HTML5和JavaScript”。它既有开源许可证版本,也有商业许可证版本。据官方网站声称,《财富》100强中60%使用它。
支持的操作系统:与操作系统无关
相关网站:https://www.sencha.com/procts/touch/
32. ZK
索尼、Sun、IBM、Adobe、电子港湾、富士通、梦工厂和优利系统等公司使用这种Java Web框架来构建Web和移动应用程序。提供收费支付及相关工具。
支持的操作系统:与操作系统无关
相关网站:http://www.zkoss.org
中间件
33. JBoss
红帽的JBoss中间件包括各种轻量级、对云计算友好的工具,同时结合、集成和自动化各个企业应用程序和系统。用户包括:橡树岭国家实验室、日产、思科、冠群科技、AMD及其他公司。
支持的操作系统:Linux
相关网站:http://www.redhat.com/en/technologies/jboss-middleware
操作系统
34. 红帽企业版Linux
红帽最知名的产品就是其旗舰Linux发行版,这需要付费订购。据该公司声称,《财富》全球500强公司中超过90%在使用红帽产品。
相关网站:http://www.redhat.com/en/technologies/linux-platforms/enterprise-linux
35. SUSE Linux企业版
这款面向企业的Linux发行版同样备受大企业的追捧,它也需要付费订购。该公司声称,它有13000多个企业用户,包括伦敦证券交易所、SAP、天睿(Teradata)和沃尔格林连锁药店(Walgreens)。
相关网站:https://www.suse.com
36. Ubuntu
Ubuntu提供广受欢迎的Linux发行版,有多个版本:桌面版、服务器版、云版、手机版、平板电脑版和物联网版。声称用户包括亚马逊、IBM、维基网络和英伟达。
相关网站:http://www.ubuntu.com/index_kylin
项目管理
37. Project Libre
这个屡获奖项的项目是微软Project的替代者,下载量已有近200万人次。它有一大批用户,包括IBM、埃森哲、美国能源部、思科、ATI和AMD。
支持的操作系统:Windows、Linux和OS X
相关网站:http://www.projectlibre.org
存储
38. FreeNAS
这款开源网络附加存储(NAS)软件声称,它备受联合国、迪士尼互动媒体集团、路透社和Dr. Phil等用户的“喜爱”。它可以安装到几乎任何硬件上,而TrueNAS提供的预先构建的设备就基于该技术。
支持的操作系统:FressBSD
相关网站:http://www.freenas.org
39. Gluster
Gluster是一种可高度扩展的网络文件系统,适合云计算环境。红帽提供一款基于该技术的收费产品,用户包括卡西欧和Intuit。
支持的操作系统:Linux
相关网站:http://www.gluster.org
40. Lustre
Lustre是另一种可高度扩展的文件系统,旨在支持高性能计算(HPC)环境。一些最早采用它的用户包括美国的几大国家实验室:劳伦斯·利物莫尔国家实验室、桑迪亚国家实验室、橡树岭国家实验室和洛斯阿拉莫斯国家实验室。
支持的操作系统:Linux
相关网站:http://lustre.org
系统管理工具
41. Ansible
Ansible现在归红帽所有,它自称是“一种异常简单的IT自动化引擎,可以使云服务配置、配置管理、应用程序部署、服务内部的编排以及其他许多IT操作实现自动化。”使用它的科技公司包括:思科、瞻博网络、Evernote、推特、威瑞信、GoPro、EA Sports、Atlassian和韦里逊。它既有免费版,也有收费版。
支持的操作系统:Linux
相关网站:http://www.ansibleworks.com
42. Chef
作为另一款自动化工具,Chef支持开发运维方法,同时改善了速度、协作和安全性。拥有免费版和收费版。官方网站上显示用户包括:塔吉特(Target)、诺德斯特龙(Nordstrom)、Facebook、Etsy、IGM、雅虎和彭博社。
支持的操作系统:Windows、Linux和OS X
相关网站:https://www.chef.io/chef/
43. Hudson
Hudson在使用敏捷和开发运维方法的企业当中很流行,它是一种可扩展的持续集成服务器系统,可以监控重复作业的执行。这个项目得到了Eclipse基金会、甲骨文、Atlassian和YourKit的支持。
支持的操作系统:与操作系统无关
相关网站:http://hudson-ci.org
44. Puppet
Puppet号称“使用最广泛的开源IT管理系统”,它包括40多个基础设施管理方面的开源项目。除了开源版本外,它还有一款收费的企业版本。它声称,用户包括25000多家企业,比如迪士尼、沃尔玛、1-800-Flowers.com、Heartland Payment Systems、盖蒂图片社(Getty Images)和Yelp。
支持的操作系统:Windows、Linux、Unix和OS X
相关网站:https://puppetlabs.com/puppet/open-source-projects
版本控制
45. Bazaar
Bazaar由Canonical管理,被许多开源项目所使用,包括Ubuntu、 GNU基金会、Linux基金会、MySQL、Bugzilla、 Debian和Maria DB。它简单易学,支持任何工作流程和工作区间模式,承诺存储效率很高、速度很快。
支持的操作系统:Windows、Linux和OS X
相关网站:http://bazaar.canonical.com/en/
46. Git
这个版本控制系统已变得极受欢迎,这一方面归功于GitHub服务的使用日益广泛。使用它的公司和项目包括:谷歌、Facebook、微软、推特、领英、网飞、Perl、PostgreSQL、安卓、Rails、QT、Gnome和Eclipse。
支持的操作系统:Windows、Linux和OS X
相关网站:http://git-scm.com
47. Mercurial
Mercurial是一种分布式源代码控制管理工具,专注于帮助团队更轻松、更快速地协同工作。用户包括OpenJDK和NetBeans等各大项目。
支持的操作系统:Windows、Linux和OS X
相关网站:https://www.mercurial-scm.org
48. Subversion
这个企业级版本控制系统得到Apache的支持,首次发布于2000年。使用它的企业组织包括Apache软件基金会自己、Hobby Lobby、Mono、Plone和GNU Enterprise。
支持的操作系统:Windows、Linux和OS X
相关网站:http://subversion.apache.org
Web服务器
49. Apache HTTP Server
Apache至今已有20年多的历史,专利是自1996年以来互联网上最受欢迎的Web服务器系统。据W3Techs声称,目前所有网站中55.3%是由Apache支持的。
支持的操作系统:Windows、Linux和OS X
相关网站:http://httpd.apache.org
50. Nginx
Nginx的人气也极旺,它被互联网上所有网站中的大约四分之一所使用。除了俄罗斯许多访问量很大的网站外,用户还包括网飞和WordPress.com。
支持的操作系统:Windows、Linux和OS X
相关网站:http://nginx.org
Ⅳ 有没有开源的数据仓库
Infobright是一款基于独特的专利知识网格技术的列式数据库。Infobright是开源的MySQL数据仓库解决方案,引入了列存储方案,高强度的数据压缩,优化的统计计算(类似sum/avg/group by之类),infobright 是基于mysql的,但不装mysql亦可,因为它本身就自带了一个。mysql可以粗分为逻辑层和物理存储引擎,infobright主要实现的就是一个存储引擎,但因为它自身存储逻辑跟关系型数据库根本不同,所以,它不能像InnoDB那样直接作为插件挂接到mysql,它的逻辑层是mysql的逻辑层加上它自身的优化器。
Infobright特征
优点:
大数据量查询性能强劲、稳定:百万、千万、亿级记录数条件下,同等的SELECT查询语句,速度比MyISAM、InnoDB等普通的MySQL存储引擎快5~60倍。高效查询主要依赖特殊设计的存储结构对查询的优化,但这里优化的效果还取决于数据库结构和查询语句的设计。
存储数据量大:TB级数据大小,几十亿条记录。数据量存储主要依赖自己提供的高速数据加载工具(百G/小时)和高数据压缩比(>10:1)
高数据压缩比:号称平均能够达到 10:1 以上的数据压缩率。甚至可以达到40:1,极大地节省了数据存储空间。高数据压缩比主要依赖列式存储和 patent-pending 的灵活压缩算法.
基于列存储:无需建索引,无需分区。即使数据量十分巨大,查询速度也很快。用于数据仓库,处理海量数据没一套可不行。不需要建索引,就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放,每块有知识网格节点记录块内的统计信息,代替索引,加速搜 索。
快速响应复杂的聚合类查询:适合复杂的分析性SQL查询,如SUM, COUNT, AVG, GROUP BY
Ⅵ 小型企业搭建内部网络文件存储服务器有哪几种方法
贵公司可以尝试一下几个方案,当然各有各的优势,具体的还要根据贵公司的具体情况来定
1、使用电脑主机或者服务器搭建FTP/SAMBA/NFS服务
2、使用NAS网络存储服务器
3、使用启耘Box作为网络文件存储服务器
祝贵公司发展越来越好,望贵公司采纳。
Ⅶ Kubernetes 几种存储方式性能对比 (转载)
原文来自:
https://blog.fleeto.us/post/kubernetes-storage-performance-comparison/
摘要
本文展示了一个简单的存储对比,使用未经性能优化的多种存储提供的存储卷进行测试和比较。
忽略 Azure 的原生 PVC 或hostPath,我们可以得出如下测试结果:
1. Portworx 是 AKS 上最快的容器存储。
2. Ceph 是私有云集群上最快的开源存储后端。对公有云来说,其操作太过复杂,这些多余的复杂性并没有能提供更好的测试表现。
3. OpenEBS 的概念很棒,但是其后端需要更多优化。
如果你正在运行 Kubernetes,你可能正在使用,或者准备使用动态供给的块存卷 ,而首当其冲的问题就是为集群选择合适的存储技术。这个事情并不能用一个简单的测试来做出简单的回答,告诉你目前市面上最好的技术是什么。存储技术的选择过程中,集群上运行的负载类型是一个重要的输入。对于裸金属集群来说,需要根据实际用例进行选择,并集成到自己的硬件之中。公有云中的托管 K8s,例如 AKS、EKS 或者 GKE,都具有开箱可用的块存储能力,然而这也不见得就是最好的选择。有很多因素需要考虑,比如说公有云的 StorageClass 的故障转移时间太长。例如在 一个针对 AWS EBS 的故障测试中,加载了卷的 Pod 用了超过五分钟才成功的在另一个节点上启动。Portworx 或者 OpenEBS 这样的云原生存储产品,正在尝试解决这类问题。
本文的目标是使用最常见的 Kubernetes 存储方案,进行基本的性能对比。我觉得在 Azure AKS 上使用下列后端:
AKS 原生 Storageclass:
1.Azure native premium
2.使用 cStor 后端的 OpenEBS
3.Portworx
4.Heketi 管理的 Gluster
5.Rook 管理的 Ceph
Ⅷ 开源数据库有哪些
MSSQL服务器、MySQL、Oracle、PostgreSQL、MongoDB等等。众所周知,其中MySQL是目前使用最广泛最好的免费开源数据库,此外,还有一些你不知道或者没用过但又非常出色的开源数据库,例如PostgreSQL、MongoDB、HBase、Cassandra、Couchbase、Neo4j、Riak、Redis、Firebird等。
Ⅸ 开源推荐-C++开发的微服务框架Tars
Tars致力于建设微服务技术生态,在底层基础设施、服务框架、上层应用以及DevOps等方面,都做了较为深入的研发。
2020年3月10日,Linux基金会正式宣布旗下的TARS开源项目成立TARS子基金会。这是一个 专注于微服务领域 的开源基金会,致力于帮助企业拥抱微服务体系架构,解决在使用微服务方面可能出现的问题。这是首个 起源于中国开源项目 的国际开源基金会,也是Linux基金会下 唯一聚焦微服务技术生态 的子基金会。
Tars基金会里目前收录了9个项目,分为5部分:工具集(Tars Lab)、服务治理(Service Governance)、微服务开发框架(Development Framwork)、存储(DCache)和基础设施(Infrustructure)。
1、Tars Lab
Tars Lab项目提供了压力测试TarsJMeter,基准测试集TarsBenchmark和一些开发工具包。TarsJavaStart,可以生成服务端和客户端的TarsJava脚手架,快速开始Tars服务的开发。TarsTools,是一款支持多种IDE的JetBrains插件,为实现编辑Jce/Tars文件使用的(支持Intellij IDEA、Android Studio、PhpStorm、WebStorm、GoLand、CLion等)。
2、服务治理
服务治理包含了2个项目:TSeer专注于处理服务注册与发现;TarsGateway是基于Tars框架开发的微服务网关,除具备网关的基础功能外,还可以自动将HTTP转换成Tars-RPC协议。
3、微服务开发框架
这部分只包含Tars一个项目,核心模块由C++开发,提供了多语言开发框架,默认rpc调用,是Tars基金会的核心项目。其他项目都是围绕这个项目研发的。
4、微服务存储
这部分只包含DCache一个项目,它是基于Tars框架开发的 分布式共享内存存储系统 ,支持常用的kv数据结构、支持二级索引、支持在线扩缩容、支持自动持久化到后端db等特性。DCache依赖Tars框架的运行,但也得益于Tars,使得存储服务的运维成本几乎为0。
5、微服务基础设施
这是一个将Tars与K8S融合使用的项目,致力于将Tars融入到K8S生态中。
在这方面还有一个更优秀的项目K8SFramework,致力于将Tars与K8S深度融合,相信未来会纳入到基金会中。
| Tars的前世今生
Tars的前身是腾讯内部的TAF框架,已经经过了10年的验证,稳定运行与1.6w+服务器,100多个业务线中。
据统计, Tars已在超过 120 家公司、 261200 台服务器上稳定运行。
在分布式环境下,所有的微服务(包括DCache的服务)都可以通过框架自带的控制台-TarsWeb进行管理, 可以做到所有服务状态可监控,可以在控制台上进行启停、修改配置、执行运维指令等操作。
在分布式部署的情况下,可以通过Web控制台实现一键升级、回退。
Tars自带配置中心,分级配置,可以统一修改配置,做到“一点修改,全局生效”。
在服务部署时,可以在界面上填写要发布的节点,一键部署、扩容。
框架提供了状态监控的能力,可以监控服务的调用质量,如流量情况,平均耗时、超时率和异常率。
框架状态可以在控制台上一键核查。
Tars提供配套的性能测试工具,这也是Tars基金会的子项目。性能测试工作不再依赖专业的测试人员。
| Tars优势
1、原生RPC调用
Tars使用自研的RPC协议通信,服务之间建立长连接,在通信频繁的场景下具备显着的性能优势。
2、多语言支持
除C++和Java外,Tars还支持NodeJs,PHP,Go等语言,提供了相应的SDK。当团队技术栈多样化时,可以多语言协同开发,无缝对接,开发者可以选择自己熟悉的语言进行开发,提升团队整体效率。
在这方面,Spring Cloud想要支持异构语言,需要借助SideCar构建Service Mesh。 业界现在有一些比较流行的服务网格解决方案,但是 并没有形成统一的标准 , 可移植性不高 。比较常见的像Istio,由于是代理模式,而且非长连接,会存在 更大的延迟 。另一方面,Istio的部署和运维都非常 复杂 ,需要更多的学习成本和运维成本。
3、内置服务治理功能
Tars框架内嵌了丰富的服务治理功能,包括熔断、限流、负载均衡、认证、加密等。同时,在服务监控、数据采集,以及灰度部署、跨机房部署等方面,都原生支持,集成度高。
Spring Cloud要支持这些功能,要么需要集成其他组件,要么需要设计开发来实现。都需要付出额外的学习成本和研发成本。
4、运维监控
Tars为使用者提供了一体化的运维管理控制台,我们可以在Web上进行一键部署、扩容、升级、回退等运维操作。
Spring Cloud并没有配套的工具。要实现Web管控, 需要借助K8S和容器,同样需要付出额外的成本。
5、国产化
Tars是国内公司主导的开源项目,这一点就不多说什么了。
6、“套装”优势
Tars框架提供了微服务相关的一体化解决方案,常规情况下不需要再去集成其他组件,不存在兼容性问题。这就好比MacBook和兼容机的区别,兼容机你可能需要付出更多的试错成本才能达到想要的效果。
| 劣势
1、项目热度
Tars开源较晚,到目前只有5年多时间,项目热度不如Spring Cloud,应用也没Spring Cloud广泛。
2、Tars的云原生之路
Tars和K8s的深度融合也开源不久(2020年7月,K8SFramework),还有待落地验证。这个项目现在的更新频率较高,不建议在生产中使用。但是从这一点也可以看到社区工作者对Tars与K8S融合的高涨热情,相信未来这个项目一定会大放异彩!
Tars在微服务开发、运维、监控等方面提供了一体化的解决方案,可以帮助我们低成本构建企业级微服务。适用于各种规模的团队,各种规模的系统。
在做技术选型时,如果团队中有C++开发人员,或者有多语言开发的情况,而且团队规模、资源有限的情况下,建议选择Tars。它在运维、监控、测试等方面会为我们节约大量成本。
未来,随着 K8SFramework 项目的日渐成熟,相信Tars生态会被更多的团队熟知和使用。
Ⅹ iOS进阶——微信开源存储框架MMKV(一)
MMKV是微信开源的数据持久化框架,现在已经支持Android/iOS/PC 平台。该框架是基于mmap映射内存的key—value组件,使用protobuf实现数据的序列化和反序列化,性能高,稳定性强。微信在2015就在微信应用上使用了该框架。实验证明MMKV是数据持久化的首选。
ProtoBuf是由google公司用于数据交换的序列结构化数据格式,具有跨平台、跨语言、可扩展特性,类型于常用的XML及JSON,但具有更小的传输体积、更高的编码、解码能力,特别适合于数据存储、网络数据传输等对存储体积、实时性要求高的领域。
优点:空间效率搞,时间效率要高,对于数据大小敏感,传输效率高的。
缺点:消息结构可读性不高,目前使用不广泛。
MMKV维护了一个<String,AnyObject>的dic,在写入数据时,会在dit和mmap映射区写入相同的数据,最后由内核同步到文件。因为dic和文件数据同步,所以读取时直接去dit中的值。MMKV数据持久化的步骤:mmap 内存映射 -> 写数据 -> 读数据 -> crc校验 -> aes加密。
在MMKV的源码中,是怎么样内存映射的呢?