数据库技术发展趋势
⑴ 数据库技术的发展趋势
数据库技术的发展趋势:
根据数据库应用及多家分析机构的评估,数据库技术发展将以应用为导向,面向业务服务,并与计算机网络和人工智能等技术结合,为新型应用提供多种支持。
(1)云数据库和混合数据快速发展
云数据库(Cloud Database)简称为云库, 是在云计算环境中部署和虚拟化的数据库。将各种关系型数据库看成一系列简单的二维表,并基于简化版本的SQL或访问对象进行操作。使传统关系型数据库通过提交一个有效地链接字符串即可加入云数据库,云数据库可解决数据集中更广泛的异地资源共享问题。
(2)数据集成与数据仓库
数据仓库(Data Warehouse)是面向主题、集成、相对稳定、反映历史变化的数据集合,是决策支持系统和联机分析应用数据源的结构化数据环境。主要侧重对机构历史数据的综合分析利用,找出对企业发展有价值的信息,以提供决策支持,帮助提高效益。其特征是面向主题、集成性、稳定性和时变性。新一代数据库使数据集成和数据仓库的实施更简单。数据应用逐步过渡到数据服务,开始注重处理:关系型与非关系型数据的融合、分类、国际化多语言数据。
(3)主数据管理和商务智能
在企事业机构内部业务应用整合和系统互联中,许多机构具有相同业务语义的数据被多次反复定义和存储,导致数据大量冗余成为IT环境发展的障碍,为了有效使用和管理这些数据,主数据管理已经成为一个新的热点。
商务智能(Business Intelligence)是指利用数据仓库及数据挖掘技术对业务数据分析处理并提供决策信息和报告,促进企业利用现代信息技术收集、管理和分析商务数据,改善决策水平,提升绩效,增强综合竞争力的智慧和能力。是企业利用现代信息技术收集、管理和分析商务数据和信息,创造和累计商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面商务绩效,增强综合竞争力的智慧和能力。融合了先进信息技术与创新管理理念的结合体,集成企业内外的数据,加工并从中提取能够创造商业价值的信息,面向企业战略并服务于管理层。
(4)“大数据”促进新型数据库
进入“大数据时代”,大数据量、高并发、分布式和实时性的需求,由于传统的数据库技术的数据模型和预定义的操作模式,时常难以满足实际需求,致使新型数据库在大数据的场景下,将取代传统数据库成为主导。
(5)基于网络的自动化管理
网络数据库应用系统的广泛应用,使数据库管理更加自动化。如网购、网银等系统,从企业级Enterprise-class到世界级World-class的转变,提供更多基于Internet环境的管理工具,完成数据库管理网络化。应用程序编程接口API(Application ProgrammingInterface)更开放,基于浏览器端技术的管理套件,便于分布远程管理。
(6)PHP将促进数据库产品应用
随着新一代Web技术的广泛应用,在.NET和Java成为数据应用的主体开发平台后,很多厂商为了争取市场在新版本数据库产品推出后,提供面向超级文本预处理语言PHP(Hypertext Preprocessor)的专用驱动和应用。
(7)数据库将与业务语义的数据内容融合
数据库将更广泛地为用于“信息服务”。对新一代基于AJAX、MashUp、SNS等技术的创新应用,数据从集中于逻辑中心数据库,改为分布网络,为了给予技术支持,数据聚集及基于业务语义的数据内容融合也成为数据库发展的方向,不仅在商务智能领域不断加强对服务应用的支持,而且注重加强数据集成服务。
⑵ 数据库的发展趋势和发展前景
数据挖掘、海量存储、数据仓库、智能商务运算、高性能并发管理与控制
主流产品的发展现状
数据库管理系统经历了30多年的发展演变,已经取得了辉煌的成就,发展成了一门内容丰富的学科,形成了总量达数百亿美元的一个软件产业。根据Gartner Dataquest公司的调查,2000年国际数据库市场销售总额达88亿美元,比1999年增长10%。根据CCID的报告,2000年的中国数据库管理系统市场销售总额达24.8亿元,比1999年增长了41.7%,占软件市场总销售额的10.8%。可见,数据库已经发展成为一个规模巨大、增长迅速的市场。
目前,市场上具有代表性的数据库产品包括Oracle公司的Oracle、IBM公司的DB2以及微软的SQL Server等。在一定意义上,这些产品的特征反映了当前数据库产业界的最高水平和发展趋势。因此,分析这些主流产品的发展现状,是我们了解数据库技术发展的一个重要方面。
关系数据库技术仍然是主流
关系数据库技术出现在20世纪70年代、经过80年代的发展到90年代已经比较成熟,在90年代初期曾一度受到面向对象数据库的巨大挑战,但是市场最后还是选择了关系数据库。无论是Oracle公司的Oracle 9i、IBM公司的DB2、还是微软的SQL Server等都是关系型数据库。Gartner Dataquest的报告显示关系数据库管理系统(RDBMS)的市场份额最大, 2000年RDBMS的市场份额占整个数据库市场的80%,这个比例比1999年增长了15%。这组数据充分说明RDBMS仍然是当今最为流行的数据库软件。当前,由于互联网应用的兴起,XML格式的数据的大量出现,学术界有一部分学者认为下一代数据库将是支持XML模型的新型的数据库。作者对此持否定态度,认为关系技术仍然是主流,无论是多媒体内容管理、XML数据支持、还是复杂对象支持等都将是在关系系统内核技术基础上的扩展。
产品形成系列化
一方面,Web和数据仓库等应用的兴起,数据的绝对量在以惊人的速度迅速膨胀;另一方面,移动和嵌入式应用快速增长。针对市场的不同需求,数据库正在朝系列化方向发展。例如IBM公司的DB2通用数据库产品包括了从高端的企业级并行数据库服务器,到移动端产品DB2 Everywhere的一整套系列。从支持平台看,今天的DB2已经不再是大型机上的专有产品,它支持目前主流的各种平台,包括Linux和Windows NT。此外,它还有各种中间件产品,如DB2 Connect、DB2 Datajointer、DB2 Replication等,构成了一个庞大的数据库家族。
支持各种互联网应用
数据库管理系统是网络经济的重要基础设施之一。支持Internet(甚至于Mobile Internet)数据库应用已经成为数据库系统的重要方面。例如,Oracle公司从8版起全面支持互联网应用,是互联网数据库的代表。微软公司更是将SQL Server作为其整个.NET计划中的一个重要的成分。对于互联网应用,由于用户数量是无法事先预测的,这就要求数据库相比以前拥有能处理更大量的数据以及为更多的用户提供服务的能力,也就是要拥有良好的可伸缩性及高可用性。此外,互联网提供大量以XML格式数据为特征的半结构化数据,支持这种类型的数据的存储、共享、管理、检索等也是各数据库厂商的发展方向。
向智能化集成化方向扩展
数据库技术的广泛使用为企业和组织收集并积累了大量的数据。数据丰富知识贫乏的现实直接导致了联机分析处理(OLAP)、数据仓库(Data Warehousing)和数据挖掘(Data Mining)等技术的出现,促使数据库向智能化方向发展。同时企业应用越来越复杂,会涉及到应用服务器、Web服务器、其它数据库、旧系统中的应用以及第三方软件等,数据库产品与这些软件是否具有良好集成性往往关系到整个系统的性能。Oracle公司的Oracle 9i 产品包括了OLAP、数据挖掘、ETL工具等一套完整的BI(商业智能)支持平台,中间件产品与其核心数据库具有紧密集成的特性,Oracle Application Server 增加的一项关键功能是高速缓存特性,该特性可以将数据从数据库卸载到应用服务器,加速 Web用户对数据的访问速度。IBM 公司也把BI套件作为其数据库的一个重点来发展。微软认为商务智能将是其下一代主要的利润点。
数据库技术的发展趋势
数据、计算机硬件和数据库应用,这三者推动着数据库技术与系统的发展。数据库要管理的数据的复杂度和数据量都在迅速增长;计算机硬件平台的发展仍然实践着摩尔定律;数据库应用迅速向深度、广度扩展。尤其是互联网的出现,极大地改变了数据库的应用环境,向数据库领域提出了前所未有的技术挑战。这些因素的变化推动着数据库技术的进步,出现了一批新的数据库技术,如Web数据库技术、并行数据库技术、数据仓库与联机分析技术、数据挖掘与商务智能技术、内容管理技术、海量数据管理技术等。限于篇幅,本文不可能逐一去展开来阐述这些方面的变化,只是从这些变化中归纳出数据库技术发展呈现出的突出特点。
“四高” 即DBMS具有高可靠性、高性能、高可伸缩性和高安全性。数据库是企业信息系统的核心和基础,其可靠性和性能是企业领导人非常关心的问题。因为,一旦宕机会给企业造成巨大的经济损失,甚至会引起法律的纠纷。最典型的例子就是证券交易系统,如果在一个行情来临的时候,由于交易量的猛增,造成数据库系统的处理能力不足,导致数据库系统崩溃,将会给证券公司和股民造成巨大的损失。在我国计算机应用的早期,由于计算机系统还不是企业运营必要的成分,人们对数据库的重要性认识不足,而且为了经费上的节约常常采用一些低层次的数据管理软件,如dBASE等,或者盗版的软件。但是,随着信息化进程的深化,计算机系统越来越成为企业运营的不可缺少的部分,这时,数据库系统的稳定和高效是必要的条件。在互联网环境下还要考虑支持几千或上万个用户同时存取和7x24小时不间断运行的要求,提供联机数据备份、容错、容灾以及信息安全措施等。
事实上,数据库系统的稳定和高效也是技术上长久不衰的追求。此外,从企业信息系统发展的角度上看,一个系统的可扩展能力也是非常重要的。由于业务的扩大,原来的系统规模和能力已经不再适应新的要求的时候,不是重新更换更高档次的机器,而是在原有的基础上增加新的设备,如处理器、存储器等,从而达到分散负载的目的。数据的安全性是另一个重要的课题,普通的基于授权的机制已经不能满足许多应用的要求,新的基于角色的授权机制以及一些安全功能要素,如存储隐通道分析、标记、加密、推理控制等,在一些应用中成为切切实实的需要。
“互联” 指数据库系统要支持互联网环境下的应用, 要支持信息系统间“互联互访”,要实现不同数据库间的数据交换和共享,要处理以XML类型的数据为代表的网上数据,甚至要考虑无线通讯发展带来的革命性的变化。与传统的数据库相比,互联网环境下的数据库系统要具备处理更大量的数据以及为更多的用户提供服务的能力,要提供对长事务的有效支持,要提供对XML类型数据的快速存取的有效支持。
“协同” 面向行业应用领域要求,在DBMS核心基础上,开发丰富的数据库套件及应用构件,通过与制造业信息化、电子政务等领域应用套件捆绑,形成以DBMS为核心的面向行业的应用软件产品家族。满足应用需求,协同发展数据库套件与应用构件,已成为当今数据库技术与产品发展的新趋势。规划中的Oracle 11i的主要扩展方面据称主要也是各种面向应用套件的支持。
⑶ 大数据的分布式数据库的发展趋势如何
现在大数据是一个十分火热的技术,这也使得很多人都开始关注大数据的任何动态,因为大数据在某种程度上来说能够影响我们的生活。在这篇文章中我们就给大家介绍一下大数据的分布式数据库的发展趋势,希望这篇文章能够帮助大家更好理解大数据的分布式数据库的发展趋势。
其实不论是Hadoop还是分布式数据库,技术体系上两者都已经向着计算存储层分离的方式演进。对于Hadoop来说这一趋势非常明显,HDFS存储与YARN调度计算的分离,使得计算与存储均可以按需横向扩展。而分布式数据库近年来也在遵循类似的趋势,很多数据库已经将底层存储与上层的SQL引擎进行剥离。传统的XML数据库、OO数据库、与pre-RDBMS正在消亡;新兴领域文档类数据库、图数据库、Table-Style数据库与Multi-Model数据库正在扩大自身影响;传统关系型数据库、列存储数据库、内存分析型数据库正在考虑转型。可以看到,从技术完整性与成熟度来看,Hadoop确实还处于相对早期的形态。直到今天,很多技术在很多企业应用中需要大量的手工调优才能够勉强运行。同时,Hadoop的主要应用场景一直以来面向批处理分析型业务,传统数据库在线联机处理部分不是其主要的发展方向。同时Hadoop技术由于开源生态体系过于庞大,同时参与改造的厂商太多,使得用户很难完全熟悉整个体系,这一方面大大增加了开发的复杂度,提升了用户使用的难度,另一方面则是各个厂商之间维护不同版本,使得产品的发展方向可能与开源版本差别逐渐加大。
而分布式数据库领域经历了几十年的磨练,传统RDBMS的MPP技术早已经炉火纯青,在分类众多的分布式数据库中,其主要发展方向基本可以分为“分布式联机数据库”与“分布式分析型数据库”两种。对比Hadoop与分布式数据库可以看出,Hadoop的产品发展方向定位,与分布式数据库中列存储数据库相当重叠而在高并发联机交易场景,在Hadoop中除了HBase能够勉强沾边以外,分布式数据库则占据绝对的优势。目前,从Hadoop行业的发展来看,很多厂商而是将其定位改变为数据科学与机器学习服务商。因此,从商业模式上看以Hadoop分销的商业模式基本已经宣告结束,用户已经体验到维护整个Hadoop平台的困难而不愿被强迫购买整个平台。大量用户更愿意把原来Hadoop的部件拆开灵活使用,为使用场景和结果买单,而非平台本身买单。另外一个细分市场——非结构化小文件存储,一直以来都是对象存储、块存储,与分布式文件系统的主战场。如今,一些新一代数据库也开始进入该领域,可以预见在未来的几年中,小型非结构化文件存储也可能成为具备多模数据处理能力的分布式数据库的战场之一。
我们在这篇文章中给大家介绍了很多有关大数据分布数据库的发展前景,通过这篇文章我们不难发现数据库的发展是一个极其重要的内容,只有搭建分布式数据库,大数据才能够更好地为我们服务。
⑷ 数据库技术的发展趋势
数据库技术的发展趋势:
根据数据库应用及多家分析机构的评估,数据库技术发展将以应用为导向,面向业务服务,并与计算机网络和人工智能等技术结合,为新型应用提供多种支持。
(1)云数据库和混合数据快速发展
云数据库(Cloud Database)简称为云库, 是在云计算环境中部署和虚拟化的数据库。将各种关系型数据库看成一系列简单的二维表,并基于简化版本的SQL或访问对象进行操作。使传统关系型数据库通过提交一个有效地链接字符串即可加入云数据库,云数据库可解决数据集中更广泛的异地资源共享问题。
(2)数据集成与数据仓库
数据仓库(Data Warehouse)是面向主题、集成、相对稳定、反映历史变化的数据集合,是决策支持系统和联机分析应用数据源的结构化数据环境。主要侧重对机构历史数据的综合分析利用,找出对企业发展有价值的信息,以提供决策支持,帮助提高效益。其特征是面向主题、集成性、稳定性和时变性。新一代数据库使数据集成和数据仓库的实施更简单。数据应用逐步过渡到数据服务,开始注重处理:关系型与非关系型数据的融合、分类、国际化多语言数据。
(3)主数据管理和商务智能
在企事业机构内部业务应用整合和系统互联中,许多机构具有相同业务语义的数据被多次反复定义和存储,导致数据大量冗余成为IT环境发展的障碍,为了有效使用和管理这些数据,主数据管理已经成为一个新的热点。
商务智能(Business Intelligence)是指利用数据仓库及数据挖掘技术对业务数据分析处理并提供决策信息和报告,促进企业利用现代信息技术收集、管理和分析商务数据,改善决策水平,提升绩效,增强综合竞争力的智慧和能力。是企业利用现代信息技术收集、管理和分析商务数据和信息,创造和累计商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面商务绩效,增强综合竞争力的智慧和能力。融合了先进信息技术与创新管理理念的结合体,集成企业内外的数据,加工并从中提取能够创造商业价值的信息,面向企业战略并服务于管理层。
(4)“大数据”促进新型数据库
进入“大数据时代”,大数据量、高并发、分布式和实时性的需求,由于传统的数据库技术的数据模型和预定义的操作模式,时常难以满足实际需求,致使新型数据库在大数据的场景下,将取代传统数据库成为主导。
(5)基于网络的自动化管理
网络数据库应用系统的广泛应用,使数据库管理更加自动化。如网购、网银等系统,从企业级Enterprise-class到世界级World-class的转变,提供更多基于Internet环境的管理工具,完成数据库管理网络化。应用程序编程接口API(Application ProgrammingInterface)更开放,基于浏览器端技术的管理套件,便于分布远程管理。
(6)PHP将促进数据库产品应用
随着新一代Web技术的广泛应用,在.NET和Java成为数据应用的主体开发平台后,很多厂商为了争取市场在新版本数据库产品推出后,提供面向超级文本预处理语言PHP(Hypertext Preprocessor)的专用驱动和应用。
(7)数据库将与业务语义的数据内容融合
数据库将更广泛地为用于“信息服务”。对新一代基于AJAX、MashUp、SNS等技术的创新应用,数据从集中于逻辑中心数据库,改为分布网络,为了给予技术支持,数据聚集及基于业务语义的数据内容融合也成为数据库发展的方向,不仅在商务智能领域不断加强对服务应用的支持,而且注重加强数据集成服务。
⑸ 图计算引擎、图数据库发展趋势如何
图计算引擎其实是结合了图计算和图分析的一个计算引擎,算是一种工具,而图数据库算是一个容器。相对传统的关系型数据库,图数据库承载了更多维度的关系,是国内外着力发展的行业,国内的高校及大厂都基本下场了,最近提到的就是在今年云栖大会上阿里开发的GraphScope一站式图计算平台。
⑹ 大数据未来的发展趋势
由于数据科学的兴起,Web应用程序开发即将经历一场重大革命。到目前为止,开发者已经基于焦点小组、调查和对用户需求的合理猜测开发了应用程序。这种旧的工作方式是有偏见的,不能包括统计上显着数量的用户的输入。
由于物联网提供了千兆字节的可用数据,这种情况正在扭转。即时且持续的互联网接入引发了一波前所未有的用户生成数据浪潮,这些数据可以转化为可执行的见解。
网络开发公司从设计阶段就开始利用人工智能来理解所有这些数据点,并将这些发现整合到应用程序中。这种方法通过观察目标群体的特定行为和偏好,帮助公司节省时间和成本。
数据重新定义了软件生产领域
目前,软件开发涉及程序员编码或重新利用现有模块,以创建一个可工作的应用程序,满足一些预先设定的需求。深度学习将彻底改变这一现状。
开发者将不再决定应用菜单的位置。通过分析类似应用的使用情况,可以得出哪些对用户来说是必不可少的,哪些是应该强调的。与谷歌的自动补全功能相比,这是向前迈进了一步。
新版本
应用程序的升级也将取决于数据,而不是直觉或焦点小组的反馈。用户通过与app互动或在论坛和社交媒体上陈述需求来表达自己的需求。为了使用这些信息,开发团队应该收集这两种数据流,并将它们转化为可操作的见解。
事实上,英伟达副总裁兼总经理吉姆·麦克休(Jim McHugh)表示,升级将不再是战略团队的关注点,而是会自然而然地从数据中显现出来。当有更多的数据可供训练时,机器学习算法会变得更智能。当这种情况发生时,新的版本就会出现。
例如,一个新版本的聊天机器人将不断升级,使用用户生成的输入来包含以前没有返回令人满意结果的搜索或查询的答案。在这种升级中,开发者几乎没有投入。
数据扰乱开发人员的工作模式
由于当前的工作模式正在发生巨大的变化,网络应用开发者很可能在未来几年内担心失去工作。然而,这并不是对程序员需求降低的问题,而是对一套不同技能的需求。程序员和编码员的需求将比以往任何时候都高,但他们可能必须升级数据科学和数据分析方面的专业知识。
Web开发不再仅仅是写代码,而更多的是结构化数据,清理数据,管理数据,并确保它准备好教授算法。这些技能与十年前面向对象或web编程的含义相比有很大的不同,但在这个行业,进步是必然的。现在的趋势是用R或Matlab编写Python脚本和进行数据分析。
随着代码变得越来越丰富,对于我们现在所知道的开发人员来说,这可能意味着一个时代的结束。机器将有需要的代码在手边,他们也将知道如何整理这些片段到一个工作程序。
数据驱动的web应用程序可以带来什么
目前,理解数据仍然可以给组织带来竞争优势,但它很快将成为最低操作要求。
数据科学可以在几个领域产生真正的影响,包括生产力、效率和个性化。
生产力和虚拟助手
网络应用能够记住我们的喜好,帮助我们重新开始,这样可以节省时间和精力。人工智能可以了解我们的消费习惯、时间使用和生活方式。通过分析这些经历背后的数据,它可以提供个性化的建议,简化我们的选择。
这些应用程序有潜力成为某种私人助理、值得信赖的合作伙伴、智能数据库或智能存储库。有些应用程序会提醒你重要的任务,找出你日程表上的空白,你可以利用这些空白,甚至可以阻止某些有害的习惯,比如拖延症。
加强个性化
人工智能应用很快就会像忠实的助手一样出现在你身边,但它们也比朋友和家人更能进入你的脑海。如今,我们的智能手机已经可以根据地理位置、过去的喜好以及与特定品牌的互动,为我们提供出色的提示。
很像Netflix和Amazon,推荐引擎可以扩展到其他需要提供定制响应的web应用程序。
这不仅是消费世界的下一个潮流,也是应用开发的总体方向。iPhone X和Galaxy S8等新一代智能手机都内置了人工智能功能。
预测的影响
在web应用开发中使用数据科学所引发的变化将对消费者和开发者产生同样的影响。存储在浏览器中的cookie,以及用户在网络会话期间提供的任何数据,将成为用户偏好的暗示,以及用户与之交互的应用的定制方式。对于开发人员来说,相同的数据可以作为升级和增强的主要来源。速度、可靠性和功能仍然有很高的要求,但将用户自己的数据整合到应用的外观、感觉和功能将产生不同。
⑺ 数据库经过哪三个阶段
发展的三个阶段:
1、 层次型和网状型:
代表产品是1969年IBM公司研制的层次模型数据库管理系统IMS。
2、 关系型数据型库:
目前大部分数据库采用的是关系型数据库。1970年IBM公司的研究员E.F.Codd提出了关系模型。其代表产品为sysem R和Inges。
3、 第三代数据库将为更加丰富的数据模型和更强大的数据管理功能为特征,以提供传统数据库系统难以支持的新应用。它必须支持面向对象,具有开放性,能够在多个平台上使用。
管理技术的3个阶段
1 人工管理
2 文件管理
3 数据库系统
⑻ 数据库的发展前景怎么样
进入信息化市场,数据库的重要性日益凸显,目前数据库主要分为数据库产品、数据库服务和数据库支撑体系。我国数据库产品以关系型为主,非关系型数据库以键值型数据库为主。
金融、电信、政务、制造和互联网为我国数据库应用最为广泛的领域,但是它们的应用特点各不相同。未来,在企业崛起、国家利好政策和资本关注等因素推动下,我国数据库行业市场规模有望接近7百亿元。
本文核心数据:数据库产品分布、数据库市场规模
数据库主要分为三大类
在信息化时代,数据库已经逐渐应用于各行各业。数据库主要分为三大类:数据库产品、数据库服务和数据库支撑体系。
数据库产品主要由关系型数据库、非关系型数据库、混合型数据库及数据库周边工具构成。
数据库服务是指围绕数据库的咨询规划、实施部署和运维运营等环节,为数据库系统的正常、高效、持续、安全使用提供信息技术服务工作。
数据库支撑体系由从事数据库学术研究、人才培养、开源社区、评测认证等工作的相关主体共同构成。
⑼ 五大数据库理念,读懂亚马逊云科技的数据库布局
1970 年,关系型数据库之父 E.F.Codd 发表《用于大型共享数据库的关系数据模型》论文,正式拉开数据库技术发展序幕。以 Oracle、DB2、SQL Server 为代表的三大商业数据库产品独占鳌头,随后涌现出 MySQL、PostgreSQL 等为代表的开源数据库 ,和以 Amazon RDS 等为代表的云数据库,拉开百花齐放的数据库新序幕。
我们知道,云计算十年为产业转型升级提供了 历史 性契机,但变革仍在进行,随着云计算的普及,数据库市场发生根本性改变,云厂商打破传统商业数据库的堡垒,成为数据库领域全新力量。其中以连续六年入选 Gartner 领导者象限的亚马逊云 科技 为代表,我们一起探讨:为什么亚马逊云 科技 能始终保持其创新性?纵观云原生时代下,亚马逊云 科技 数据库未来还有哪些更多的可能性?
01 面对四大数据库发展趋势,亚马逊云 科技 打造五大数据库理念
后疫情时代下,加速了不少行业的业务在线化和数字化运营,企业对数据价值挖掘的需求越发强烈,亚马逊云 科技 大中华区产品部总经理顾凡详细介绍其中四大趋势:
一是伴随互联网、移动互联网的发展,电商、视频、社交、出行等新应用场景的兴起,不仅数据量大,对数据实时性要求极高,传统关系型数据库无法满足需求,因此驱动云原生数据库的出现。
二是开源数据库的广泛应用。
三是应用程序现代化对数据库提出更高要求,期待数据库拥有更高的性能、可扩展性、可用性以及降低成本,让开发人员专注于核心业务的应用开发,不用关注和核心业务无关的代码。
四是软件架构历经 PC、互联网、移动互联网,再到如今的万物互联时代,其中的迭代和转型正在驱动数据库选型的变化。
在此四大趋势下,伴随企业的业务量越来越大、越来越复杂,对数据库的要求越来越高。亚马逊云 科技 洞察客户需求,在打造云上数据库产品时提出五大理念:
一是专库专用,极致性能;二是无服务器,敏捷创新;第三是全球架构,一键部署;第四是平滑迁移,加速上云;第五是 AI 赋能,深度集成。
02 历经真实锤炼,五大数据库理念,持续赋能企业数智转型
顾凡表示,随着数据爆炸式增长,微服务架构与 DevOps 愈发流行的今天,一个数据库打天下的时代已然过去。我们需要在不同的应用场景下,针对不同的数据类型和不同的数据访问特点,为开发者和企业提供专门构建的工具。
所以亚马逊云 科技 提出 第一个核心数据库理念:专库专用 。在此理念下,推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。
这些数据库产品均经历过亚马逊内部核心业务的真实锤炼,成绩斐然:
亚马逊电商当年是 Oracle 的客户之一,随着亚马逊电商的应用重构和业务体量发展,亚马逊电商决定将业务迁移到亚马逊云 科技 里。100 多个团队参与这庞大的迁移工作中,将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从 Oracle 迁出来。2019 年,亚马逊将存储近 7500 个Oracle 数据库中的 75 PB 内部数据迁移到多项亚马逊云 科技 的数据库服务中,包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache,于是亚马逊电商成为亚马逊云 科技 在全球的“第一大客户”。
从 Oracle 切换到亚马逊云 科技 后,亚马逊电商节省了 60% 成本,面向消费者端的应用程序延迟降低 40%,数据库管理支出减少 70%。
以被誉为“亚马逊云 科技 历史 上用户数量增速最快的云服务”Amazon Aurora 为例,其拥有科媲美高端商业数据库的速度和可用性,还拥有开源数据库的简单性与成本效益,Amazon Aurora 让客户满足“鱼和熊掌兼得”需求。
据顾凡介绍,Amazon Aurora 可提供 5 倍于标准 MySQL 性能,3 倍于 PostgreSQL 吞吐量。同时提供高可用,可用区(AZ)+1的高可用,Global Databases 可完成跨区域灾备。可扩展到 15 个只读副本,成本只有商业数据库的 1/10。
医药企业九州通为药厂、供应商,搭建药厂、供应商、消费者提供供应链链条。其 B2B 系统的业务特点是读多写少,受促销活动、工作时间等影响,经常会出现波峰波谷落差较大的情况,读写比例在 7:2 或者 8:3。九州通采用 Amazon Aurora 后实现读写分离和按需扩展,整体数据库性能提升 5 倍,TCO 降低 50%。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。
据权威机构预测,到 2022 年,75% 数据库将被部署或迁移至云平台。在这个过程中,亚马逊云 科技 是如何通过技术来帮助客户加速应用上云的?这离不开除了上述的“专库专用”外,以下四大理念:
第二个理念是无服务器、敏捷创新。 亚马逊云 科技 大中华区产品部数据类产品高级经理王晓野表示,企业业务总有波峰波谷之时,如何按照企业 80-90% 的业务峰值来规划数据库的存储容量和计算资源的话,将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源,这将造成成本上的浪费。而 Serverless 数据库服务可完成无差别的繁复工作和自动化扩展。
Amazon DynamoDB 是亚马逊云 科技 自研 Serverless 数据库,其诞生最早可追溯到 2004 年,当时亚马逊电商作为 Oracle 的客户,尽管对于关系型数据库在零售场景的需求并不频繁,70% 均是键值类操作,此时倒逼亚马逊电商思考:为什么要把关系型数据库这么重得使用?我们可以设计一款支持读写、可横向扩展的分布式数据库吗?后来的故事大家都知道了,这款数据库就是 Amazon DynamoDB,并在 2007 年发表论文,掀起业界 NoSQL 分布式数据库技术创新大潮。
Amazon DynamoDB 可为大规模应用提供支持,支撑亚马逊自身多个高流量网站和系统,如亚马逊电商网站、亚马逊全球 442 个物流中心等。在亚马逊电商一年一度 Prime Day,光是针对DynamoDB API 的调用达到数万亿次,最高峰值请求达到每秒 8920 万次。由此可见,DynamoDB 拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。
智能可穿戴设备厂商华米 科技 ,在全球 70 多个国家拥有近 1 亿用户。仅 2020 年上半年,其手表出货量超 174 万台,截止到 2021 年 2 月,华米 科技 的可穿戴设备累计记录步数是 151 万步,累计记录的睡眠时间是 128 亿个夜晚,记录心率总时长达 1208 亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应,如何保证稳定性是巨大的挑战。
DynamoDB 帮助华米 科技 在任何规模下都能提供延迟不超过 10 毫秒的一致响应时间。华米 科技 健康 云的 P0 和 P1 级别故障减少了约 30%,总体服务可用性提升了 0.25%,系统可用性指标达到 99.99%,为华为 科技 全球化扩展提供了有力的支撑。
最新无服务数据库产品是 Amazon Aurora Serverless V2 提供瞬间扩展能力,真正把扩展能力发挥到极致,在不到一秒的时间内,将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理,如果按照峰值来规划数据库资源,可实现大概90%的成本节省。目前 Amazon Aurora Serverless V2 在全球实现预览。
第三个理念是全球架构、一键部署。 在全球化的今天,如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上,对数据库提出新的挑战。
亚马逊云 科技 提供 Amazon Aurora 关系型数据库Global Database、Amazon DynamoDB、Amazon ElastiCache 内存数据库、Amazon DocumentDB 文档数据库都能利用亚马逊云 科技 的骨干网络提供比互联网更稳定的网络支撑,以一键部署的方式,帮助客户实现几千公里跨区域数据库灾备,故障恢复大概能在一分钟之内完成,同时跨区域的数据复制延迟通常小于一秒。
第四个理念是平滑迁移、加速上云。 目前,450000+ 数据库通过亚马逊云 科技 数据库迁移服务迁移到亚马逊云 科技 中,这个数字每年都在不断增长。亚马逊云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具让开发者和企业进行自助式云迁移。另外,对于迁移过程中可能会需要的支持,可通过专业服务团队和合作伙伴网络成员,为客户提供专业支持,还通过 Database Freedom 项目帮助客户降低他们的顾虑。
今年 11 月,最新产品 Babelfish for Amazon Aurora PostgreSQL 在全球和中国两个区域正式可用,可加速企业上云的迁移,实现让企业可以利用原有的技术栈、原有的 SQL Server T-SQL的人员可以利用到云数据库进行创新。
第五个理念是 AI赋能,深度集成。 我们观察到,ML 技术赋能数据库开发者,开发者无需具备机器学习专业知识,就可进行机器学习操作。在此潮流下,亚马逊云 科技 推出 Amazon Neptune,借由 Deep Graph Library 和 Amazon SageMaker 驱动图神经网络。
今年 8 月,Neptune ML 在中国正式可用,允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布,用 gremlin 语句调用训练成的模型在数据库里实现推理,进行欺诈检测,推荐物品。
目前,亚马逊云 科技 加速在中国区域服务落地,2021年至今新发布 60 多个数据库服务与功能。亚马逊云 科技 正是通过上述五大数据库理念,打造丰富的数据库产品家族,在全球智能化发展趋势下,为企业提供更快更好的数智服务,释放数据价值,并连续六年入选 Gartner 领导者象限,得到业界和客户的深度认可。
⑽ SQL数据库的应用领域、现状、发展前景
SQL数据库是具有数据操纵和数据定义等多种功能的数据库语言,这种语言具有交互性特点,能为用户提供极大的便利,数据库管理系统应充分利用SQL语言提高计算机应用系统的工作质量与效率。
一、SQL数据库的应用领域
1、多媒体数据库
这种数据库主要存储与多媒体有关的数据,如语音、图像和视频数据。多媒体数据最大的特点是数据连续、数据量大、存储空间大。
2、移动数据库
这种数据库是在笔记本电脑、掌上电脑等移动计算机系统上开发的。数据库的最大特点是通过无线数字通信网络传输。移动数据库可以随时随地获取和访问数据,为一些业务应用和一些突发事件带来了极大的便利。
3、空间数据库
目前,这种数据库发展迅速。它主要包括地理信息数据库(也称为GIS)和计算机辅助设计(CAD)数据库。其中,地理信息数据库一般存储与地图相关的信息数据;CAD数据库一般存储机械、集成电路、电子设备设计图纸等设计信息的空间数据库。
4、信息检索系统
信息检索是根据用户输入的信息从数据库中查找相关文档或信息,并将信息反馈给用户。信息检索领域与数据库领域同步发展。它是一个典型的联机文档管理系统或联机图书目录。
5、分布式信息检索
这种数据库是随着Internet的发展而产生的。它广泛应用于Internet和远程计算机网络系统中。特别是随着电子商务的发展,这种数据库的发展更为迅速。许多网络用户(如个人、公司或企业等)将信息存储在自己的计算机中。
6、专家决策系统
专家决策系统也是数据库应用的一部分。因为越来越多的数据可以在网上获得,特别是通过这些数据,企业可以对企业的发展做出更好的决策,从而使企业能够更好地经营。随着人工智能的发展,专家决策系统的应用越来越广泛。
二、SQL数据库现状
1、自主研发
国内自主研发关系型数据库的企业、单位基本上都是发源于上世纪90年代的,而且都是以大学、科研机构为主。到今天,有代表性的厂商有:达梦–由华中理工冯玉才教授创办,完全自主研发。以Oracle为参照、追赶对象。
2、引进源代码
引进数据库源代码发展国产数据库,如今,经济发展,而且IBM也愿意迎合国人对于国产化的诉求,将搁置多年的Informix源代码拿出来,发挥余热。2015年以来,与IBM签订源代码授权的公司有华胜天成、南大通用(Gbase8t)和星瑞格。这三个公司成为以引进Informix源代码发展国产数据库的代表。
三、SQL数据库发展前景
1、产品形成系列化
一方面,Web和数据仓库等应用的兴起,数据的绝对量在以惊人的速度迅速膨胀;另一方面,移动和嵌入式应用快速增长。针对市场的不同需求,数据库正在朝系列化方向发展。
2、智能化集成化
SQL数据库技术的广泛使用为企业和组织收集并积累了大量的数据。数据丰富知识贫乏的现实直接导致了联机分析处理(OLAP)和数据挖掘(DataMining)等技术的出现,促使数据库向智能化方向发展。
3、支持各种互联网应用
SQL数据库管理系统是网络经济的重要基础设施之一。支持Internet(甚至于MobileInternet)数据库应用已经成为数据库系统的重要方面。例如,Oracle公司从8版起全面支持互联网应用,是互联网数据库的代表。
(10)数据库技术发展趋势扩展阅读:
SQL包括了所有对数据库的操作,主要是由4个部分组成:
1、数据定义:又称为“DDL语言”,定义数据库的逻辑结构,包括定义数据库、基本表、视图和索引4部分。
2、数据操纵:又称为“DML语言”,包括插入、删除和更新三种操作。
3、数据查询:又称为“DQL语言”,包括数据查询操作。
4、数据控制:又称为“DCL语言”,对用户访问数据的控制有基本表和视图的授权及回收。
5、事务控制:又称为“TCL语言”,包括事务的提交与回滚。
参考资料来源:网络-SQL数据库