資料庫開源軟體

A. 漫談工業大數據9：開源工業大數據軟體簡介（上）

今天真是一個美好的時代，有無數的開源系統可以為我們提供服務，現在有許多開發軟體可以用到工業大數據中，當然很多系統還不成熟，應用到工業中還需要小心，並且需要開發人員對其進行一定的優化和調整。下面就簡單介紹一些開源的大數據工具軟體，看看有哪些能夠應用到工業大數據領域。

下面這張圖是我根據網上流傳的一張開源大數據軟體分類圖整理的：

我們可以把開源大數據軟體分成幾類，有一些可以逐步應用到工業大數據領域，下面就一一介紹一下這些軟體。（以下系統介紹大都來源於網路）

1、數據存儲類

（1）關系資料庫Mysql

這個就不用太多介紹了吧，關系型資料庫領域應用最廣泛的開源軟體，目前屬於 Oracle 旗下產品。

（2）文件資料庫Hadoop

Hadoop是大數據時代的明星產品，它最大的成就在於實現了一個分布式文件系統（Hadoop Distributed FileSystem），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的硬體上，而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。

Hadoop可以在工業大數據應用中用來作為底層的基礎資料庫，由於它採用了分布式部署的方式，如果是私有雲部署，適用於大型企業集團。如果是公有雲的話，可以用來存儲文檔、視頻、圖像等資料。

（3）列資料庫Hbase

HBase是一個分布式的、面向列的開源資料庫，HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。

基於Hbase開發的OpenTSDB，可以存儲所有的時序（無須采樣）來構建一個分布式、可伸縮的時間序列資料庫。它支持秒級數據採集所有metrics，支持永久存儲，可以做容量規劃，並很容易的接入到現有的報警系統里。

這樣的話，它就可以替代在工業領域用得最多的實時資料庫。

（4）文檔資料庫MongoDB

MongoDB是一個介於關系資料庫和非關系資料庫之間的產品，是非關系資料庫當中功能最豐富，最像關系資料庫的。他支持的數據結構非常鬆散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是他支持的查詢語言非常強大，其語法有點類似於面向對象的查詢語言，幾乎可以實現類似關系資料庫單表查詢的絕大部分功能，而且還支持對數據建立索引。

MongoDB適合於存儲工業大數據中的各類文檔，包括各類圖紙、文檔等。

（5）圖資料庫Neo4j/OrientDB

圖資料庫不是存放圖片的，是基於圖的形式構建的數據系統。

Neo4j是一個高性能的,NOSQL圖形資料庫，它將結構化數據存儲在網路上而不是表中。它是一個嵌入式的、基於磁碟的、具備完全的事務特性的Java持久化引擎，但是它將結構化數據存儲在網路(從數學角度叫做圖)上而不是表中。Neo4j也可以被看作是一個高性能的圖引擎，該引擎具有成熟資料庫的所有特性。程序員工作在一個面向對象的、靈活的網路結構下而不是嚴格、靜態的表中——但是他們可以享受到具備完全的事務特性、 企業級 的資料庫的所有好處。

OrientDB是兼具文檔資料庫的靈活性和圖形資料庫管理 鏈接 能力的可深層次擴展的文檔-圖形資料庫管理系統。可選無模式、全模式或混合模式下。支持許多高級特性，諸如ACID事務、快速索引，原生和SQL查詢功能。可以JSON格式導入、導出文檔。若不執行昂貴的JOIN操作的話，如同關系資料庫可在幾毫秒內可檢索數以百記的鏈接文檔圖。

這些資料庫都可以用來存儲非結構化數據。

2、數據分析類

（1）批處理MapRece/Spark

MapRece是一種編程模型，用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）"和"Rece（歸約）"，是它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統上。 當前的軟體實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定並發的Rece（歸約）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

Apache Spark 是專為大規模數據處理而設計的快速通用的計算引擎。Spark 是一種與 Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。盡管創建 Spark 是為了支持分布式數據集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoop 文件系統中並行運行。

這些大數據的明星產品可以用來做工業大數據的處理。

（2）流處理Storm

Storm是一個開源的分布式實時計算系統，可以簡單、可靠的處理大量的數據流。Storm有很多使用場景：如實時分析，在線機器學習，持續計算，分布式RPC，ETL等等。Storm支持水平擴展，具有高容錯性，保證每個消息都會得到處理，而且處理速度很快（在一個小集群中，每個結點每秒可以處理數以百萬計的消息）。Storm的部署和運維都很便捷，而且更為重要的是可以使用任意編程語言來開發應用。

（3）圖處理Giraph

Giraph是什麼？Giraph是Apache基金會開源項目之一，被定義為迭代式圖處理系統。他架構在Hadoop之上，提供了圖處理介面，專門處理大數據的圖問題。

Giraph的存在很有必要，現在的大數據的圖問題又很多，例如表達人與人之間的關系的有社交網路，搜索引擎需要經常計算網頁與網頁之間的關系，而map-rece介面不太適合實現圖演算法。

Giraph主要用於分析用戶或者內容之間的聯系或重要性。

（4）並行計算MPI/OpenCL

OpenCL（全稱Open Computing Language，開放運算語言）是第一個面向 異構系統 通用目的並行編程的開放式、免費標准，也是一個統一的編程環境，便於軟體開發人員為高性能計算 伺服器 、桌面計算系統、手持設備編寫高效輕便的代碼，而且廣泛適用於多核心處理器(CPU)、圖形處理器(GPU)、Cell類型架構以及數字信號處理器(DSP)等其他並行處理器，在 游戲 、 娛樂 、科研、醫療等各種領域都有廣闊的發展前景。

（5）分析框架Hive

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapRece統計，不必開發專門的MapRece應用，十分適合數據倉庫的統計分析。

（6）分析框架Pig

Apache Pig 是apache平台下的一個免費開源項目，Pig為大型數據集的處理提供了更高層次的抽象，很多時候數據的處理需要多個MapRece過程才能實現，使得數據處理過程與該模式匹配可能很困難。有了Pig就能夠使用更豐富的數據結構。[2]

Pig LatinPig Latin 是一個相對簡單的語言，一條語句 就是一個操作，與資料庫的表類似，可以在關系資料庫中找到它（其中，元組代錶行，並且每個元組都由欄位組成）。

Pig 擁有大量的數據類型，不僅支持包、元組和映射等高級概念，還支持簡單的數據類型，如 int、long、float、double、chararray 和 bytearray。並且，還有一套完整的比較運算符，包括使用正則表達式的豐富匹配模式。

B. 開源圖資料庫有哪些

Neo4j、JanusGraph、TigerGraph、Dgraph這些都是，其實大多數的圖資料庫都是開源的，圖資料庫、圖計算都算比較新的東西，還需要開源後大家共同去改進。這些都是國外的，其實國內大廠也開始做圖資料庫、圖計算相關的軟體了，比如阿里的GraphScope、位元組的ByteGraph。

C. 開源資料庫有哪些

• 01

  MongoDB——是一個基於分布式文件存儲的資料庫，由C++語言編寫，其目的是為WEB應用提供可擴展的高性能數據存儲解決方案，最大的特點在於它支持的查詢語言非常強大，局域高性能、易部署、存儲數據方便、模式自由等特點。

• 02

  Cassandra——是一套開源分布式NoSQL資料庫系統。它最初由Facebook開發，用於儲存收件箱等簡單格式數據，具有模式靈活、多數據中心識別，可擴展性強等特點 。

• 03

  Hadoop HBASE——採用了Google BigTable的稀疏的,面向列的資料庫實現方式的理論,建立在hadoop的hdfs上。

• 04

  Couchbase——是一個集群化的、基於文檔的資料庫系統，它使用一個緩存層來提供非常快的數據訪問，將大部分數據都存儲在 RAM 中。

• 05

  Neo4j——是面向網路的資料庫。也就是一個嵌入式的、基於磁碟的、具備完全的事務特性的Java持久化引擎，但它將結構化數據存儲在網路上而不是在表中。

D. 常用的資料庫軟體有哪些

常用的資料庫軟體有：

1、Oracle

70年代 一間名為Ampex的軟體公司，正為中央情報局設計一套名叫Oracle的資料庫，Ellison是程序員之一。Oracle是世界領先的信息管理軟體開發商，因其復雜的關系資料庫產品而聞名。Oracle資料庫產品為財富排行榜上的前1000家公司所採用，許多大型網站、銀行、證券、電信等都選用了Oracle系統。

2、SQL Server

SQLServer(Structured Query Language Server) 是一個關系資料庫管理系統(DBMS)。它最初是由Microsoft Sybase 和Ashton-Tate三家公司共同開發的，於1988 年推出了第一個OS/2 版本。

在Windows NT 推出後，Microsoft與Sybase 在SQL Server 的開發上就分道揚鑣了，Microsoft 將SQL Server 移植到Windows NT系統上，專注於開發推廣SQL Server 的Windows NT 版本。

3、ACCESS

Access 是微軟公司推出的基於Windows的桌面關系資料庫管理系統（RDBMS，即Relational Database Management System），是Office系列應用軟體之一。

它提供了表、查詢、窗體、報表、頁、宏、模塊7種用來建立資料庫系統的對象；提供了多種向導、生成器、模板，把數據存儲、數據查詢、界面設計、報表生成等操作規范化；為建立功能完善的資料庫管理系統提供了方便，也使得普通用戶不必編寫代碼，就可以完成大部分數據管理的任務。

4、DB2

IBM公司研製的一種關系型資料庫系統。DB2主要應用於大型應用系統，具有較好的可伸縮性，可支持從大型機到單用戶環境，應用於OS/2.Windows等平台下。

DB2提供了高層次的數據利用性、完整性、安全性、可恢復性，以及小規模到大規模應用程序的執行能力，具有與平台無關的基本功能和SQL命令。

5、MySQL

MySQL是一個小型關系型資料庫管理系統，開發者為瑞典MySQL AB公司。在2008年1月16號被Sun公司收購。

而2009年，SUN又被Oracle收購。對於Mysql的前途，沒有任何人抱樂觀的態度。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。

(4)資料庫開源軟體擴展閱讀：

Visual FoxPro原名FoxBase，最初是由美國Fox Software公司於1988年推出的資料庫產品，在DOS上運行，與xBase系列兼容。

FoxPro是FoxBase的加強版，最高版本曾出過2.6。之後於1992年，Fox Software公司被Microsoft收購，加以發展，使其可以在Windows上運行，並且更名為 Visual FoxPro。

FoxPro比FoxBASE在功能和性能上又有了很大的改進，主要是引入了窗口、按紐、列表框和文本框等控制項，進一步提高了系統的開發能力。

網路-資料庫軟體

E. 開源資料庫有哪些

MSSQL伺服器、MySQL、Oracle、PostgreSQL、MongoDB等等。眾所周知，其中MySQL是目前使用最廣泛最好的免費開源資料庫，此外，還有一些你不知道或者沒用過但又非常出色的開源資料庫，例如PostgreSQL、MongoDB、HBase、Cassandra、Couchbase、Neo4j、Riak、Redis、Firebird等。

F. access是開源軟體嗎

access是開源軟體。

access是一款熱門的開源軟體，社區組織和類似規模的團隊意識到他們需要軟體來管理他們的數據時，他們首先考慮的是Microsoft Access。Microsoft Office Access是微軟把資料庫引擎的圖形用戶界面和軟體開發工具結合在一起的一個資料庫管理系統。它是微軟OFFICE的一個成員, 在包括專業版和更高版本的office版本裡面被單獨出售。

access優勢

Microsoft Access Basic提供了一個豐富的開發環境。這個開發環境給你足夠的靈活性和對Microsoft Windows應用程序介面的控制，同時保護你使你免遭用高級或低級語言開發環境開發時所碰到的各種麻煩。不過，許多優化、有效數據和模塊化方面只能是應用程序設計者才能使用。開發者應致力於謹慎地使用演算法。

G. 資料庫軟體都有那些

企業里常用的資料庫軟體有Mysql、PostgreSQL、MicrosoftSQLServer、Oracle資料庫、MongoDB。

1、Mysql。

MySQL原本是一個開放源碼的關系資料庫管理系統，原開發者為瑞典的MySQLAB公司，該公司於2008年被升陽微系統（SunMicrosystems）收購。2009年，甲骨文公司（Oracle）收購升陽微系統公司，MySQL成為Oracle旗下產品。

MySQL由於性能高、成本低、可靠性好，已經成為最流行的開源資料庫，因此被廣泛地應用在Internet上的中小型網站中。隨著MySQL的不斷成熟，它也逐漸用於更多大規模網站和應用。

2、PostgreSQL。

PostgreSQL可以說是目前功能最強大、特性最豐富和結構最復雜的開源資料庫管理系統，其中有些特性甚至連商業資料庫都不具備。這個起源於加州大學伯克利分校的資料庫，現已成為一項國際開發項目，並且擁有廣泛的用戶群，尤其是在海外，目前國內使用者也越來越多。

PostgreSQL基本上算是見證了整個資料庫理論和技術的發展歷程，由UCB計算機教授MichaelStonebraker於1986年創建。在此之前，Stonebraker教授主導了關系資料庫Ingres研究項目，88年，提出了Postgres的第一個原型設計。

MySQL號稱是使用最廣泛的開源資料庫，而PG則被稱為功能最強大的開源資料庫。

3、MicrosoftSQLServer。

SQLServer是Microsoft開發的一個關系資料庫管理系統(RDBMS)，現在是世界上最為常用的資料庫。SQLServer現在是包括內置的商務智能工具，以及一系列的分析和報告工具，可以創建資料庫、備份、復制、安全性更好以及更多。

SQLServer是一個高度可擴展的產品，可以從一個單一的筆記本電腦上運行的任何東西或以高倍雲伺服器網路，或在兩者之間任何東西。雖然說是「任何東西」，但是仍然要滿足相關的軟體和硬體的要求。

4、Oracle資料庫。

Oracle資料庫系統是美國Oracle（甲骨文）公司提供的以分布式資料庫為核心的一組軟體產品，是目前最流行的客戶/伺服器（Client/Server，C/S）或瀏覽器/伺服器（Browser/Server，B/S）體系結構的資料庫之一。

Oracle資料庫是目前世界上使用最為廣泛的資料庫管理系統，作為一個通用的資料庫系統，它具有完整的數據管理功能；作為一個關系資料庫，它是一個完備關系的產品；作為分布式資料庫它實現了分布式處理功能。

5、MongoDB

mongoDB是一個介於關系資料庫和非關系資料庫之間的開源產品，是最接近於關系型資料庫的NoSQL資料庫。它在輕量級JSON交換基礎之上進行了擴展，即稱為BSON的方式來描述其無結構化的數據類型。盡管如此它同樣可以存儲較為復雜的數據類型。

參考資料來源：網路——Mysql

參考資料來源：網路——PostgreSQL

參考資料來源：網路——MicrosoftSQLServer

參考資料來源：網路——Oracle資料庫

參考資料來源：網路——MongoDB

H. mysql是開源的嗎

MySQL 是一個關系型資料庫，使用 SQL 語言進行增刪改查操作，目前屬於 Oracle 旗下的產品。

MySQL 資料庫開源免費，能夠跨平台，支持分布式，性能也不錯，可以和 PHP、Java 等 Web 開發語言完美配合，非常適合中小型企業作為 Web 資料庫（網站資料庫）。

MySQL是一種關系型資料庫管理系統，關系資料庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度並提高了靈活性。

MySQL所使用的 SQL 語言是用於訪問資料庫的最常用標准化語言。MySQL 軟體採用了雙授權政策，分為社區版和商業版，由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發都選擇 MySQL 作為網站資料庫。

推薦：MySQL教程

I. 有比mysql更微型的開源資料庫么

1.MySQL 5
作為當今最流行的開放源碼資料庫之一，MySQL資料庫為用戶提供了一個相對簡單的 解決方案，適用於廣泛的應用程序部署，能夠降低用戶的TCO。MySQL是一個多線程、結構化查詢語言(SQL)資料庫伺服器。MySQL的執行性能高， 運行速度快，容易使用。
MySQL包括以下幾個關鍵優勢：
◆ 可靠的性能和服務MySQL向公眾提供所有資料庫伺服器軟體的早期版本，都是利用開放源碼進行為期幾個月的測試之後才發布作為生產之用。
◆ 易於使用和部署MySQL的結構體系易於定製，運行速度快，其獨特的多存儲引擎結構為企業客戶提供了靈活性， 為資料庫管理系統帶來緊致性和穩定性，易於部署。
◆ 自由獲得源碼可以隨時訪問MySQL源代碼，其策略確保了自由性，避免鎖定某家公司或平台。
◆ 跨平台支持MySQL可用於20多種不同平台，包括主要的Linux系統、Mac OS X、Unix和Windows
◆ 可信賴的開發力量MySQL擁有大量的用戶基礎，也擁有高素質、有經驗的開發團隊。
◆ 滿足企業需求MySQL結構體系簡單易用，運行速度極快，能夠處理企業資料庫絕大多數的應用需求。
2008年12月8日,Sun Microsystems公司宣布，正式對外提供MySQL 5.1軟體 —— 這是全球最受歡迎的開源資料庫MySQL的一個極其重要的新版本。MySQL 5.1 GA版現通過以下三種模式提供，以滿足不同用戶的各種特殊需求：
◆MySQL Community Server —— Sun的MySQL 資料庫的免費開源版。這一GPL許可的全功能軟體的目標用戶是個人技術用戶，他不需要商業支持或是享有優惠的機上服務。
◆MySQL Enterprise Server —— 它作為MySQL Enterprise訂購的一部分來提供，它最可靠、最安全，提供的是MySQL資料庫的最新版本，其目標用戶是有法人的IT用戶。該模式的訂戶每月可收 到快速軟體升級服務，每個季度可收到帶有最新補丁程序的「服務包」 —— 還能訪問僅供預覽的監測工具，享受全天候7*24的生產技術支持。
◆MySQL Embedded Server —— 這是MySQL軟體的商業許可模式，讓ISV和OEM將一個高速的、佔用空間很小的資料庫嵌入或打包到他們自己的產品中，而不需要免費的GPL許可。

J. MySQL Workbench是開源軟體嗎哪裡可以下載

MySQL Workbench同時有開源和商業化兩個版本,MySQL Workbench 是可視化資料庫設計軟體，為資料庫管理員和開發人員提供了一整套可視化的資料庫操作環境，主要功能有資料庫設計與模型建立、SQL 開發（取代 MySQL Query Browser）、資料庫管理（取代 MySQL Administrator）如果是自學的話那可以去北鯤雲超算平台試試，對於這種開源的軟體來說在北鯤雲超算也比較方便，不用考慮lisence的問題，直接用就可以了。機時費跟超算中心的差不多，也比較劃算。