大數據與資料庫的關系型資料庫

『壹』 試述數據 資料庫 資料庫管理系統 資料庫系統的概念以及四者之間的關系

一、數據

1、數據（data）是事實或觀察的結果，是對客觀事物的邏輯歸納，是用於表示客觀事物的未經加工的原始素材。

2、數據可以是連續的值，比如聲音、圖像，稱為模擬數據；也可以是離散的，如符號、文字，稱為數字數據。

3、在計算機系統中，數據以二進制信息單元0、1的形式表示。

二、資料庫

資料庫是存放數據的倉庫。它的存儲空間很大，可以存放百萬條、千萬條、上億條數據。但是資料庫並不是隨意地將數據進行存放，是有一定的規則的，否則查詢的效率會很低。當今世界是一個充滿著數據的互聯網世界，充斥著大量的數據。即這個互聯網世界就是數據世界。數據的來源有很多，比如出行記錄、消費記錄、瀏覽的網頁、發送的消息等等。除了文本類型的數據，圖像、音樂、聲音都是數據。

三、資料庫管理系統

1、資料庫管理系統(Database Management System)是一種操縱和管理資料庫的大型軟體，用於建立、使用和維護資料庫，簡稱DBMS。它對資料庫進行統一的管理和控制，以保證資料庫的安全性和完整性。用戶通過DBMS訪問資料庫中的數據，資料庫管理員也通過DBMS進行資料庫的維護工作。

2、它可以支持多個應用程序和用戶用不同的方法在同時或不同時刻去建立，修改和詢問資料庫。大部分DBMS提供數據定義語言DDL（Data Definition Language）和數據操作語言DML（Data Manipulation Language），供用戶定義資料庫的模式結構與許可權約束，實現對數據的追加、刪除等操作。

四、資料庫系統

資料庫系統DBS（Data Base System，簡稱DBS）通常由軟體、資料庫和數據管理員組成。其軟體主要包括操作系統、各種宿主語言、實用程序以及資料庫管理系統。資料庫由資料庫管理系統統一管理，數據的插入、修改和檢索均要通過資料庫管理系統進行。數據管理員負責創建、監控和維護整個資料庫，使數據能被任何有權使用的人有效使用。資料庫管理員一般是由業務水平較高、資歷較深的人員擔任。

五、數據、資料庫、資料庫管理系統、資料庫系統四者之間的關系

1、首先資料庫系統（DBS）包括資料庫（DB）和資料庫管理系統（DBMS），資料庫管理系統包括資料庫，資料庫包括數據。

2、資料庫是用來存放數據的倉庫。

3、資料庫管理系統是操縱和管理資料庫的系統。

(1)大數據與資料庫的關系型資料庫擴展閱讀：

資料庫的發展現狀

1、在資料庫的發展歷史上，資料庫先後經歷了層次資料庫、網狀資料庫和關系資料庫等各個階段的發展，資料庫技術在各個方面的快速的發展。

2、特別是關系型資料庫已經成為目前資料庫產品中最重要的一員，80年代以來， 幾乎所有的資料庫廠商新出的資料庫產品都支持關系型資料庫，即使一些非關系資料庫產品也幾乎都有支持關系資料庫的介面。這主要是傳統的關系型資料庫可以比較好的解決管理和存儲關系型數據的問題。

3、隨著雲計算的發展和大數據時代的到來，關系型資料庫越來越無法滿足需要，這主要是由於越來越多的半關系型和非關系型數據需要用資料庫進行存儲管理。

4、以此同時，分布式技術等新技術的出現也對資料庫的技術提出了新的要求，於是越來越多的非關系型資料庫就開始出現，這類資料庫與傳統的關系型資料庫在設計和數據結構有了很大的不同， 它們更強調資料庫數據的高並發讀寫和存儲大數據，這類資料庫一般被稱為Nosql（Not only SQL）資料庫。 而傳統的關系型資料庫在一些傳統領域依然保持了強大的生命力。

『貳』 大數據常用哪些資料庫

通常資料庫分為關系型資料庫和非關系型資料庫，關系型資料庫的優勢到現在也是無可替代的，比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Access等等資料庫，這些資料庫支持復雜的SQL操作和事務機制，適合小量數據讀寫場景；但是到了大數據時代，人們更多的數據和物聯網加入的數據已經超出了關系資料庫的承載范圍。

大數據時代初期，隨著數據請求並發量大不斷增大，一般都是採用的集群同步數據的方式處理，就是將資料庫分成了很多的小庫，每個資料庫的數據內容是不變的，都是保存了源資料庫的數據副本，通過同步或者非同步方式保證數據的一致性，每個庫設定特定的讀寫方式，比如主資料庫負責寫操作，從資料庫是負責讀操作，等等根據業務復雜程度以此類推，將業務在物理層面上進行了分離，但是這種方式依舊存在一定的負載壓力的問題，企業數據在不斷的擴增中，後面就採用分庫分表的方式解決，對讀寫負載進行分離，但是這種實現依舊存在不足，且需要不斷進行資料庫伺服器擴容。
NoSQL資料庫大致分為5種類型

1、列族資料庫：BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等，下面簡單介紹幾個

（1）Cassandra：Cassandra是一個列存儲資料庫，支持跨數據中心的數據復制。它的數據模型提供列索引，log-structured修改，支持反規范化，實體化視圖和嵌入超高速緩存。

（2）HBase：Apache Hbase源於Google的Bigtable，是一個開源、分布式、面向列存儲的模型。在Hadoop和HDFS之上提供了像Bigtable一樣的功能。

（3）Amazon SimpleDB：Amazon SimpleDB是一個非關系型數據存儲，它卸下資料庫管理的工作。開發者使用Web服務請求存儲和查詢數據項

（4）Apache Accumulo：Apache Accumulo的有序的、分布式鍵值數據存儲，基於Google的BigTable設計，建立在Apache Hadoop、Zookeeper和Thrift技術之上。

（5）Hypertable：Hypertable是一個開源、可擴展的資料庫，模仿Bigtable，支持分片。

（6）Azure Tables：Windows Azure Table Storage Service為要求大量非結構化數據存儲的應用提供NoSQL性能。表能夠自動擴展到TB級別，能通過REST和Managed API訪問。

2、鍵值資料庫：Redis、SimpleDB、Scalaris、Memcached等，下面簡單介紹幾個

（1）Riak：Riak是一個開源，分布式鍵值資料庫，支持數據復制和容錯。（2）Redis：Redis是一個開源的鍵值存儲。支持主從式復制、事務，Pub/Sub、Lua腳本，還支持給Key添加時限。

（3）Dynamo：Dynamo是一個鍵值分布式數據存儲。它直接由亞馬遜Dynamo資料庫實現；在亞馬遜S3產品中使用。

（4）Oracle NoSQL Database：來自Oracle的鍵值NoSQL資料庫。它支持事務ACID（原子性、一致性、持久性和獨立性）和JSON。

（5）Oracle NoSQL Database：具備數據備份和分布式鍵值存儲系統。

（6）Voldemort：具備數據備份和分布式鍵值存儲系統。

（7）Aerospike：Aerospike資料庫是一個鍵值存儲，支持混合內存架構，通過強一致性和可調一致性保證數據的完整性。

3、文檔資料庫：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面簡單介紹幾個

（1）MongoDB：開源、面向文檔，也是當下最人氣的NoSQL資料庫。

（2）CounchDB：Apache CounchDB是一個使用JSON的文檔資料庫，使用Javascript做MapRece查詢，以及一個使用HTTP的API。

（3）Couchbase：NoSQL文檔資料庫基於JSON模型。

（4）RavenDB：RavenDB是一個基於.NET語言的面向文檔資料庫。

（5）MarkLogic：MarkLogic NoSQL資料庫用來存儲基於XML和以文檔為中心的信息，支持靈活的模式。

4、圖資料庫：Neo4J、InfoGrid、OrientDB、GraphDB，下面簡單介紹幾個

（1）Neo4j：Neo4j是一個圖資料庫；支持ACID事務（原子性、獨立性、持久性和一致性）。

（2）InfiniteGraph：一個圖資料庫用來維持和遍歷對象間的關系，支持分布式數據存儲。

（3）AllegroGraph：AllegroGraph是結合使用了內存和磁碟，提供了高可擴展性，支持SPARQ、RDFS++和Prolog推理。

5、內存數據網格：Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面簡單介紹幾個

（1）Hazelcast：Hazelcast CE是一個開源數據分布平台，它允許開發者在資料庫集群之上共享和分割數據。

（2）Oracle Coherence：Oracle的內存數據網格解決方案提供了常用數據的快速訪問能力，一致性支持事務處理能力和數據的動態劃分。

（3）Terracotta BigMemory：來自Terracotta的分布式內存管理解決方案。這項產品包括一個Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop連接器。

（4）GemFire：Vmware vFabric GemFire是一個分布式數據管理平台，也是一個分布式的數據網格平台，支持內存數據管理、復制、劃分、數據識別路由和連續查詢。

（5）Infinispan：Infinispan是一個基於Java的開源鍵值NoSQL數據存儲，和分布式數據節點平台，支持事務，peer-to-peer 及client/server 架構。

（6）GridGain：分布式、面向對象、基於內存、SQL+NoSQL鍵值資料庫。支持ACID事務。

（7）GigaSpaces：GigaSpaces內存數據網格能夠充當應用的記錄系統，並支持各種各樣的高速緩存場景。

『叄』 什麼叫關系型資料庫

關系型資料庫，是指採用了關系模型來組織數據的資料庫，其以行和列的形式存儲數據，以便於用戶理解，關系型資料庫這一系列的行和列被稱為表，一組表組成了資料庫。

用戶通過查詢來檢索資料庫中的數據，而查詢是一個用於限定資料庫中某些區域的執行代碼。

關系模型可以簡單理解為二維表格模型，而一個關系型資料庫就是由二維表及其之間的關系組成的一個數據組織。

(3)大數據與資料庫的關系型資料庫擴展閱讀：

關系型資料庫特點：

1、存儲方式：傳統的關系型資料庫採用表格的儲存方式，數據以行和列的方式進行存儲，要讀取和查詢都十分方便。

2、存儲結構：關系型資料庫按照結構化的方法存儲數據，每個數據表都必須對各個欄位定義好，再根據表的結構存入數據，這樣做的好處就是由於數據的形式和內容在存入數據之前就已經定義好了，所以整個數據表的可靠性和穩定性都比較高。

3、存儲規范：關系型資料庫為了避免重復、規范化數據以及充分利用好存儲空間，把數據按照最小關系表的形式進行存儲，這樣數據管理的就可以變得很清晰、一目瞭然，當然這主要是一張數據表的情況。

4、擴展方式：由於關系型資料庫將數據存儲在數據表中，數據操作的瓶頸出現在多張數據表的操作中，而且數據表越多這個問題越嚴重，如果要緩解這個問題，只能提高處理能力，也就是選擇速度更快性能更高的計算機。

5、查詢方式：關系型資料庫採用結構化查詢語言來對資料庫進行查詢，SQL早已獲得了各個資料庫廠商的支持，成為資料庫行業的標准，它能夠支持資料庫的CRUD操作，具有非常強大的功能，SQL可以採用類似索引的方法來加快查詢操作。

6、規范化：在資料庫的設計開發過程中開發人員通常會面對同時需要對一個或者多個數據實體進行操作，這樣在關系型資料庫中，一個數據實體一般首先要分割成多個部分，然後再對分割的部分進行規范化，規范化以後再分別存入到多張關系型數據表中，這是一個復雜的過程。

7、事務性：關系型資料庫強調ACID規則（原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability）），可以滿足對事務性要求較高或者需要進行復雜數據查詢的數據操作，而且可以充分滿足資料庫操作的高性能和操作穩定性的要求。

8、讀寫性能：關系型資料庫十分強調數據的一致性，並為此降低讀寫性能付出了巨大的代價，雖然關系型資料庫存儲數據和處理數據的可靠性很不錯，但一旦面對海量數據的處理的時候效率就會變得很差，特別是遇到高並發讀寫的時候性能就會下降的非常厲害。

9、授權方式：關系型資料庫常見的有 Oracle，SQLServer，DB2，Mysql，除了Mysql大多數的關系型資料庫如果要使用都需要支付一筆價格高昂的費用，即使是免費的Mysql性能也受到了諸多的限制。

『肆』 請分析「大數據」的存儲方式及主要業務跟課中所講解的關系型資料庫有何區別

大數據的存儲方式主要使用noSQL
這種資料庫有幾個特點，一個是針對大數據環境，它是分布式的，另一個他的操作非常原始，只有Keyvalue讀寫
關系資料庫呢，一般都是單機的，因為關系資料庫最強大的就是事務，事物在分布式環境很難實現，所以關系資料庫通常都是單機版，另外一個是關系資料庫，它的計算層次更高，是表格上的運算

『伍』 大數據與關系型資料庫水火不容嗎

不沖突，各有用處。
很多大數據應用還是基於關系型資料庫。
大數據一般和具體應用相關，關系型資料庫是一種工具。

『陸』 大數據和資料庫的區別

大數據和以前的數據相比，有4個特點（4V）：Volume（大量）、Velocity（高速）、Variety（多樣）、value（價值）。volume指量，數據量大，這是大數據的基礎；Velocity是指處理的速度；Variety指數據的維度；value指大數據能展現的價值，這是大數據的目的。

『柒』 資料庫有哪幾種

一、關系資料庫

關系型資料庫，存儲的格式可以直觀地反映實體間的關系。關系型資料庫和常見的表格比較相似，關系型資料庫中表與表之間是有很多復雜的關聯關系的。

常見的關系型資料庫有Mysql，SqlServer等。在輕量或者小型的應用中，使用不同的關系型資料庫對系統的性能影響不大，但是在構建大型應用時，則需要根據應用的業務需求和性能需求，選擇合適的關系型資料庫。

雖然關系型資料庫有很多，但是大多數都遵循SQL（結構化查詢語言，Structured Query Language）標准。 常見的操作有查詢，新增，更新，刪除，求和，排序等。

查詢語句：SELECT param FROM table WHERE condition 該語句可以理解為從 table 中查詢出滿足 condition 條件的欄位 param。

新增語句：INSERT INTO table （param1，param2，param3） VALUES （value1，value2，value3） 該語句可以理解為向table中的param1，param2，param3欄位中分別插入value1，value2，value3。

更新語句：UPDATE table SET param=new_value WHERE condition 該語句可以理解為將滿足condition條件的欄位param更新為 new_value 值。

刪除語句：DELETE FROM table WHERE condition 該語句可以理解為將滿足condition條件的數據全部刪除。

去重查詢：SELECT DISTINCT param FROM table WHERE condition 該語句可以理解為從表table中查詢出滿足條件condition的欄位param，但是param中重復的值只能出現一次。

排序查詢：SELECT param FROM table WHERE condition ORDER BY param1該語句可以理解為從表table 中查詢出滿足condition條件的param，並且要按照param1升序的順序進行排序。

總體來說， 資料庫的SELECT，INSERT，UPDATE，DELETE對應了我們常用的增刪改查四種操作。

關系型資料庫對於結構化數據的處理更合適，如學生成績、地址等，這樣的數據一般情況下需要使用結構化的查詢，例如join，這樣的情況下，關系型資料庫就會比NoSQL資料庫性能更優，而且精確度更高。

由於結構化數據的規模不算太大，數據規模的增長通常也是可預期的，所以針對結構化數據使用關系型資料庫更好。關系型資料庫十分注意數據操作的事務性、一致性，如果對這方面的要求關系型資料庫無疑可以很好的滿足。

二、非關系型資料庫（NoSQL）

隨著近些年技術方向的不斷拓展，大量的NoSql資料庫如MongoDB、Redis、Memcache出於簡化資料庫結構、避免冗餘、影響性能的表連接、摒棄復雜分布式的目的被設計。

指的是分布式的、非關系型的、不保證遵循ACID原則的數據存儲系統。NoSQL資料庫技術與CAP理論、一致性哈希演算法有密切關系。所謂CAP理論，簡單來說就是一個分布式系統不可能滿足可用性、一致性與分區容錯性這三個要求，一次性滿足兩種要求是該系統的上限。

而一致性哈希演算法則指的是NoSQL資料庫在應用過程中，為滿足工作需求而在通常情況下產生的一種數據演算法，該演算法能有效解決工作方面的諸多問題但也存在弊端，即工作完成質量會隨著節點的變化而產生波動，當節點過多時，相關工作結果就無法那麼准確。

這一問題使整個系統的工作效率受到影響，導致整個資料庫系統的數據亂碼與出錯率大大提高，甚至會出現數據節點的內容遷移，產生錯誤的代碼信息。

但盡管如此，NoSQL資料庫技術還是具有非常明顯的應用優勢，如資料庫結構相對簡單，在大數據量下的讀寫性能好；能滿足隨時存儲自定義數據格式需求，非常適用於大數據處理工作。

NoSQL資料庫適合追求速度和可擴展性、業務多變的應用場景。

對於非結構化數據的處理更合適，如文章、評論，這些數據如全文搜索、機器學習通常只用於模糊處理，並不需要像結構化數據一樣，進行精確查詢，而且這類數據的數據規模往往是海量的，數據規模的增長往往也是不可能預期的；

而NoSQL資料庫的擴展能力幾乎也是無限的，所以NoSQL資料庫可以很好的滿足這一類數據的存儲。

NoSQL資料庫利用key-value可以大量的獲取大量的非結構化數據，並且數據的獲取效率很高，但用它查詢結構化數據效果就比較差。

目前NoSQL資料庫仍然沒有一個統一的標准，它現在有四種大的分類：

1、鍵值對存儲（key-value）：代表軟體Redis，它的優點能夠進行數據的快速查詢，而缺點是需要存儲數據之間的關系。

2、列存儲：代表軟體Hbase，它的優點是對數據能快速查詢，數據存儲的擴展性強。而缺點是資料庫的功能有局限性。

3、文檔資料庫存儲：代表軟體MongoDB，它的優點是對數據結構要求不特別的嚴格。而缺點是查詢性的性能不好，同時缺少一種統一查詢語言。

4、圖形資料庫存儲：代表軟體InfoGrid，它的優點可以方便的利用圖結構相關演算法進行計算。而缺點是要想得到結果必須進行整個圖的計算，而且遇到不適合的數據模型時，圖形資料庫很難使用。

安全

資料庫安全涉及保護資料庫內容、其所有者和用戶的所有各個方面。它的范圍從防止有意的未經授權的資料庫使用到未經授權的實體（例如，個人或計算機程序）無意的資料庫訪問。

資料庫訪問控制涉及控制誰（一個人或某個計算機程序）可以訪問資料庫中的哪些信息。該信息可以包括特定的資料庫對象（例如，記錄類型、特定記錄、數據結構）;

對特定對象的特定計算（例如，查詢類型或特定查詢），或者使用到前者的特定訪問路徑（例如，使用特定索引）或其他數據結構來訪問信息）。

資料庫訪問控制由使用專用受保護安全 DBMS 介面的特別授權（由資料庫所有者）人員設置。

這可以在個人基礎上直接管理，或者通過將個人和特權分配給組，或者（在最復雜的模型中）通過將個人和組分配給角色，然後授予權利。數據安全可防止未經授權的用戶查看或更新資料庫。使用密碼，用戶可以訪問整個資料庫或它的子集，稱為「子模式」。

例如，員工資料庫可以包含有關單個員工的所有數據，但一組用戶可能僅被授權查看工資數據，而其他用戶僅被允許訪問工作歷史和醫療數據。如果 DBMS 提供了一種互動式輸入和更新資料庫以及查詢資料庫的方法，則此功能允許管理個人資料庫。

數據安全通常涉及保護特定的數據塊，包括物理保護（即免受損壞、破壞或移除；例如，參見物理安全），或將它們或它們的一部分解釋為有意義的信息（例如，通過查看它們組成的位串，得出特定的有效信用卡號；例如，參見數據加密）。

更改和訪問日誌記錄誰訪問了哪些屬性、更改了什麼以及何時更改。日誌服務通過保留訪問發生和更改的記錄，允許以後進行取證資料庫審計。有時應用程序級代碼用於記錄更改而不是將其留給資料庫。可以設置監控以嘗試檢測安全漏洞。

以上內容參考網路-資料庫

『捌』 資料庫主要分為哪兩種類型

資料庫主要分為關系資料庫和非關系型資料庫（NoSQL）。

1、關系資料庫

關系型資料庫，存儲的格式可以直觀地反映實體間的關系。關系型資料庫和常見的表格比較相似，關系型資料庫中表與表之間是有很多復雜的關聯關系的。

常見的關系型資料庫有Mysql，SqlServer等。在輕量或者小型的應用中，使用不同的關系型資料庫對系統的性能影響不大，但是在構建大型應用時，則需要根據應用的業務需求和性能需求，選擇合適的關系型資料庫。

2、非關系型資料庫（NoSQL）

指分布式的、非關系型的、不保證遵循ACID原則的數據存儲系統。NoSQL資料庫技術與CAP理論、一致性哈希演算法有密切關系。NoSQL資料庫適合追求速度和可擴展性、業務多變的應用場景。

(8)大數據與資料庫的關系型資料庫擴展閱讀

關系資料庫分為兩類：一類是桌面資料庫，例如Access、FoxPro和dBase等；另一類是客戶/伺服器資料庫，例如SQL Server、Oracle和Sybase等。桌面資料庫用於小型的、單機的應用程序，它不需要網路和伺服器，實現起來比較方便，但它只提供數據的存取功能。

客戶/伺服器資料庫主要適用於大型的、多用戶的資料庫管理系統，應用程序包括兩部分：一部分駐留在客戶機上，用於向用戶顯示信息及實現與用戶的交互；另一部分駐留在伺服器中，主要用來實現對資料庫的操作和對數據的計算處理。

『玖』 資料庫和大數據的區別

對於資料庫研究人員和從業人員而言，從資料庫(DB)到大數據(BD)的轉變可以用「池塘捕魚」到「大海捕魚」做類比。「池塘捕魚」代表著傳統資料庫時代的數據管理方式，而 「大海捕魚」則是大數據時代的數據管理方式。這些差異主要體現在如下幾個方面:

1、數據規模

資料庫和大數據最明顯的區別就是規模。資料庫規模相對較小，即便是先前認為比較大的資料庫，比如 VLDB(Very Large Database)，和大數據XLDB(Extremely Large Database)比起來還是差很遠。

資料庫的處理對象一般以 MB 為基本單位，而大數據則是GB、TB、PB 為基本處理單位。