数据库开源软件

A. 漫谈工业大数据9：开源工业大数据软件简介（上）

今天真是一个美好的时代，有无数的开源系统可以为我们提供服务，现在有许多开发软件可以用到工业大数据中，当然很多系统还不成熟，应用到工业中还需要小心，并且需要开发人员对其进行一定的优化和调整。下面就简单介绍一些开源的大数据工具软件，看看有哪些能够应用到工业大数据领域。

下面这张图是我根据网上流传的一张开源大数据软件分类图整理的：

我们可以把开源大数据软件分成几类，有一些可以逐步应用到工业大数据领域，下面就一一介绍一下这些软件。（以下系统介绍大都来源于网络）

1、数据存储类

（1）关系数据库Mysql

这个就不用太多介绍了吧，关系型数据库领域应用最广泛的开源软件，目前属于 Oracle 旗下产品。

（2）文件数据库Hadoop

Hadoop是大数据时代的明星产品，它最大的成就在于实现了一个分布式文件系统（Hadoop Distributed FileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上，而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。

Hadoop可以在工业大数据应用中用来作为底层的基础数据库，由于它采用了分布式部署的方式，如果是私有云部署，适用于大型企业集团。如果是公有云的话，可以用来存储文档、视频、图像等资料。

（3）列数据库Hbase

HBase是一个分布式的、面向列的开源数据库，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

基于Hbase开发的OpenTSDB，可以存储所有的时序（无须采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。

这样的话，它就可以替代在工业领域用得最多的实时数据库。

（4）文档数据库MongoDB

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

MongoDB适合于存储工业大数据中的各类文档，包括各类图纸、文档等。

（5）图数据库Neo4j/OrientDB

图数据库不是存放图片的，是基于图的形式构建的数据系统。

Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、 企业级 的数据库的所有好处。

OrientDB是兼具文档数据库的灵活性和图形数据库管理 链接 能力的可深层次扩展的文档-图形数据库管理系统。可选无模式、全模式或混合模式下。支持许多高级特性，诸如ACID事务、快速索引，原生和SQL查询功能。可以JSON格式导入、导出文档。若不执行昂贵的JOIN操作的话，如同关系数据库可在几毫秒内可检索数以百记的链接文档图。

这些数据库都可以用来存储非结构化数据。

2、数据分析类

（1）批处理MapRece/Spark

MapRece是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Rece（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Rece（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。

这些大数据的明星产品可以用来做工业大数据的处理。

（2）流处理Storm

Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。

（3）图处理Giraph

Giraph是什么？Giraph是Apache基金会开源项目之一，被定义为迭代式图处理系统。他架构在Hadoop之上，提供了图处理接口，专门处理大数据的图问题。

Giraph的存在很有必要，现在的大数据的图问题又很多，例如表达人与人之间的关系的有社交网络，搜索引擎需要经常计算网页与网页之间的关系，而map-rece接口不太适合实现图算法。

Giraph主要用于分析用户或者内容之间的联系或重要性。

（4）并行计算MPI/OpenCL

OpenCL（全称Open Computing Language，开放运算语言）是第一个面向 异构系统 通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算 服务器 、桌面计算系统、手持设备编写高效轻便的代码，而且广泛适用于多核心处理器(CPU)、图形处理器(GPU)、Cell类型架构以及数字信号处理器(DSP)等其他并行处理器，在 游戏 、 娱乐 、科研、医疗等各种领域都有广阔的发展前景。

（5）分析框架Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapRece统计，不必开发专门的MapRece应用，十分适合数据仓库的统计分析。

（6）分析框架Pig

Apache Pig 是apache平台下的一个免费开源项目，Pig为大型数据集的处理提供了更高层次的抽象，很多时候数据的处理需要多个MapRece过程才能实现，使得数据处理过程与该模式匹配可能很困难。有了Pig就能够使用更丰富的数据结构。[2]

Pig LatinPig Latin 是一个相对简单的语言，一条语句 就是一个操作，与数据库的表类似，可以在关系数据库中找到它（其中，元组代表行，并且每个元组都由字段组成）。

Pig 拥有大量的数据类型，不仅支持包、元组和映射等高级概念，还支持简单的数据类型，如 int、long、float、double、chararray 和 bytearray。并且，还有一套完整的比较运算符，包括使用正则表达式的丰富匹配模式。

B. 开源图数据库有哪些

Neo4j、JanusGraph、TigerGraph、Dgraph这些都是，其实大多数的图数据库都是开源的，图数据库、图计算都算比较新的东西，还需要开源后大家共同去改进。这些都是国外的，其实国内大厂也开始做图数据库、图计算相关的软件了，比如阿里的GraphScope、字节的ByteGraph。

C. 开源数据库有哪些

• 01

  MongoDB——是一个基于分布式文件存储的数据库，由C++语言编写，其目的是为WEB应用提供可扩展的高性能数据存储解决方案，最大的特点在于它支持的查询语言非常强大，局域高性能、易部署、存储数据方便、模式自由等特点。

• 02

  Cassandra——是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，具有模式灵活、多数据中心识别，可扩展性强等特点 。

• 03

  Hadoop HBASE——采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上。

• 04

  Couchbase——是一个集群化的、基于文档的数据库系统，它使用一个缓存层来提供非常快的数据访问，将大部分数据都存储在 RAM 中。

• 05

  Neo4j——是面向网络的数据库。也就是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但它将结构化数据存储在网络上而不是在表中。

D. 常用的数据库软件有哪些

常用的数据库软件有：

1、Oracle

70年代 一间名为Ampex的软件公司，正为中央情报局设计一套名叫Oracle的数据库，Ellison是程序员之一。Oracle是世界领先的信息管理软件开发商，因其复杂的关系数据库产品而闻名。Oracle数据库产品为财富排行榜上的前1000家公司所采用，许多大型网站、银行、证券、电信等都选用了Oracle系统。

2、SQL Server

SQLServer(Structured Query Language Server) 是一个关系数据库管理系统(DBMS)。它最初是由Microsoft Sybase 和Ashton-Tate三家公司共同开发的，于1988 年推出了第一个OS/2 版本。

在Windows NT 推出后，Microsoft与Sybase 在SQL Server 的开发上就分道扬镳了，Microsoft 将SQL Server 移植到Windows NT系统上，专注于开发推广SQL Server 的Windows NT 版本。

3、ACCESS

Access 是微软公司推出的基于Windows的桌面关系数据库管理系统（RDBMS，即Relational Database Management System），是Office系列应用软件之一。

它提供了表、查询、窗体、报表、页、宏、模块7种用来建立数据库系统的对象；提供了多种向导、生成器、模板，把数据存储、数据查询、界面设计、报表生成等操作规范化；为建立功能完善的数据库管理系统提供了方便，也使得普通用户不必编写代码，就可以完成大部分数据管理的任务。

4、DB2

IBM公司研制的一种关系型数据库系统。DB2主要应用于大型应用系统，具有较好的可伸缩性，可支持从大型机到单用户环境，应用于OS/2.Windows等平台下。

DB2提供了高层次的数据利用性、完整性、安全性、可恢复性，以及小规模到大规模应用程序的执行能力，具有与平台无关的基本功能和SQL命令。

5、MySQL

MySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQL AB公司。在2008年1月16号被Sun公司收购。

而2009年，SUN又被Oracle收购。对于Mysql的前途，没有任何人抱乐观的态度。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。

(4)数据库开源软件扩展阅读：

Visual FoxPro原名FoxBase，最初是由美国Fox Software公司于1988年推出的数据库产品，在DOS上运行，与xBase系列兼容。

FoxPro是FoxBase的加强版，最高版本曾出过2.6。之后于1992年，Fox Software公司被Microsoft收购，加以发展，使其可以在Windows上运行，并且更名为 Visual FoxPro。

FoxPro比FoxBASE在功能和性能上又有了很大的改进，主要是引入了窗口、按纽、列表框和文本框等控件，进一步提高了系统的开发能力。

网络-数据库软件

E. 开源数据库有哪些

MSSQL服务器、MySQL、Oracle、PostgreSQL、MongoDB等等。众所周知，其中MySQL是目前使用最广泛最好的免费开源数据库，此外，还有一些你不知道或者没用过但又非常出色的开源数据库，例如PostgreSQL、MongoDB、HBase、Cassandra、Couchbase、Neo4j、Riak、Redis、Firebird等。

F. access是开源软件吗

access是开源软件。

access是一款热门的开源软件，社区组织和类似规模的团队意识到他们需要软件来管理他们的数据时，他们首先考虑的是Microsoft Access。Microsoft Office Access是微软把数据库引擎的图形用户界面和软件开发工具结合在一起的一个数据库管理系统。它是微软OFFICE的一个成员, 在包括专业版和更高版本的office版本里面被单独出售。

access优势

Microsoft Access Basic提供了一个丰富的开发环境。这个开发环境给你足够的灵活性和对Microsoft Windows应用程序接口的控制，同时保护你使你免遭用高级或低级语言开发环境开发时所碰到的各种麻烦。不过，许多优化、有效数据和模块化方面只能是应用程序设计者才能使用。开发者应致力于谨慎地使用算法。

G. 数据库软件都有那些

企业里常用的数据库软件有Mysql、PostgreSQL、MicrosoftSQLServer、Oracle数据库、MongoDB。

1、Mysql。

MySQL原本是一个开放源码的关系数据库管理系统，原开发者为瑞典的MySQLAB公司，该公司于2008年被升阳微系统（SunMicrosystems）收购。2009年，甲骨文公司（Oracle）收购升阳微系统公司，MySQL成为Oracle旗下产品。

MySQL由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在Internet上的中小型网站中。随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用。

2、PostgreSQL。

PostgreSQL可以说是目前功能最强大、特性最丰富和结构最复杂的开源数据库管理系统，其中有些特性甚至连商业数据库都不具备。这个起源于加州大学伯克利分校的数据库，现已成为一项国际开发项目，并且拥有广泛的用户群，尤其是在海外，目前国内使用者也越来越多。

PostgreSQL基本上算是见证了整个数据库理论和技术的发展历程，由UCB计算机教授MichaelStonebraker于1986年创建。在此之前，Stonebraker教授主导了关系数据库Ingres研究项目，88年，提出了Postgres的第一个原型设计。

MySQL号称是使用最广泛的开源数据库，而PG则被称为功能最强大的开源数据库。

3、MicrosoftSQLServer。

SQLServer是Microsoft开发的一个关系数据库管理系统(RDBMS)，现在是世界上最为常用的数据库。SQLServer现在是包括内置的商务智能工具，以及一系列的分析和报告工具，可以创建数据库、备份、复制、安全性更好以及更多。

SQLServer是一个高度可扩展的产品，可以从一个单一的笔记本电脑上运行的任何东西或以高倍云服务器网络，或在两者之间任何东西。虽然说是“任何东西”，但是仍然要满足相关的软件和硬件的要求。

4、Oracle数据库。

Oracle数据库系统是美国Oracle（甲骨文）公司提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器（Client/Server，C/S）或浏览器/服务器（Browser/Server，B/S）体系结构的数据库之一。

Oracle数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库它实现了分布式处理功能。

5、MongoDB

mongoDB是一个介于关系数据库和非关系数据库之间的开源产品，是最接近于关系型数据库的NoSQL数据库。它在轻量级JSON交换基础之上进行了扩展，即称为BSON的方式来描述其无结构化的数据类型。尽管如此它同样可以存储较为复杂的数据类型。

参考资料来源：网络——Mysql

参考资料来源：网络——PostgreSQL

参考资料来源：网络——MicrosoftSQLServer

参考资料来源：网络——Oracle数据库

参考资料来源：网络——MongoDB

H. mysql是开源的吗

MySQL 是一个关系型数据库，使用 SQL 语言进行增删改查操作，目前属于 Oracle 旗下的产品。

MySQL 数据库开源免费，能够跨平台，支持分布式，性能也不错，可以和 PHP、Java 等 Web 开发语言完美配合，非常适合中小型企业作为 Web 数据库（网站数据库）。

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。

推荐：MySQL教程

I. 有比mysql更微型的开源数据库么

1.MySQL 5
作为当今最流行的开放源码数据库之一，MySQL数据库为用户提供了一个相对简单的 解决方案，适用于广泛的应用程序部署，能够降低用户的TCO。MySQL是一个多线程、结构化查询语言(SQL)数据库服务器。MySQL的执行性能高， 运行速度快，容易使用。
MySQL包括以下几个关键优势：
◆ 可靠的性能和服务MySQL向公众提供所有数据库服务器软件的早期版本，都是利用开放源码进行为期几个月的测试之后才发布作为生产之用。
◆ 易于使用和部署MySQL的结构体系易于定制，运行速度快，其独特的多存储引擎结构为企业客户提供了灵活性， 为数据库管理系统带来紧致性和稳定性，易于部署。
◆ 自由获得源码可以随时访问MySQL源代码，其策略确保了自由性，避免锁定某家公司或平台。
◆ 跨平台支持MySQL可用于20多种不同平台，包括主要的Linux系统、Mac OS X、Unix和Windows
◆ 可信赖的开发力量MySQL拥有大量的用户基础，也拥有高素质、有经验的开发团队。
◆ 满足企业需求MySQL结构体系简单易用，运行速度极快，能够处理企业数据库绝大多数的应用需求。
2008年12月8日,Sun Microsystems公司宣布，正式对外提供MySQL 5.1软件 —— 这是全球最受欢迎的开源数据库MySQL的一个极其重要的新版本。MySQL 5.1 GA版现通过以下三种模式提供，以满足不同用户的各种特殊需求：
◆MySQL Community Server —— Sun的MySQL 数据库的免费开源版。这一GPL许可的全功能软件的目标用户是个人技术用户，他不需要商业支持或是享有优惠的机上服务。
◆MySQL Enterprise Server —— 它作为MySQL Enterprise订购的一部分来提供，它最可靠、最安全，提供的是MySQL数据库的最新版本，其目标用户是有法人的IT用户。该模式的订户每月可收 到快速软件升级服务，每个季度可收到带有最新补丁程序的“服务包” —— 还能访问仅供预览的监测工具，享受全天候7*24的生产技术支持。
◆MySQL Embedded Server —— 这是MySQL软件的商业许可模式，让ISV和OEM将一个高速的、占用空间很小的数据库嵌入或打包到他们自己的产品中，而不需要免费的GPL许可。

J. MySQL Workbench是开源软件吗哪里可以下载

MySQL Workbench同时有开源和商业化两个版本,MySQL Workbench 是可视化数据库设计软件，为数据库管理员和开发人员提供了一整套可视化的数据库操作环境，主要功能有数据库设计与模型建立、SQL 开发（取代 MySQL Query Browser）、数据库管理（取代 MySQL Administrator）如果是自学的话那可以去北鲲云超算平台试试，对于这种开源的软件来说在北鲲云超算也比较方便，不用考虑lisence的问题，直接用就可以了。机时费跟超算中心的差不多，也比较划算。