nosql的應用
A. newsql和nosql的區別和聯系
在大數陸神坦據時代,「多種架構支持多類應用」成為資料庫行業應對大數據的基本思路,資料庫行業出現互為補充的三大陣營,適用於事務處理應用的OldSQL、適用於數據分析應用的NewSQL和適用於互聯網應用的NoSQL。但在一些復雜的應用場景中,單一資料庫架構都不能完全滿足應用場景對海量結構化和非結構化數據的存儲管理、復雜分析、關聯查詢、實時性處理和控制建設成本等多方面的需要,因此不同架構資料庫混合部署應用成為滿足復雜應用的必然選擇。不同架構資料庫混合使用的模式可以概括為:OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個案例對不同架構資料庫的混合應用部署進行介紹。
OldSQL+NewSQL 在數據中心類應用中混合部署
採用OldSQL+NewSQL模式構建數據中心,在充分發揮OldSQL資料庫的事務處理能力的同時,藉助NewSQL在實時性、復雜分析、即席查詢等方面的獨特優勢,以及面對海量數據時較強的擴展能力,滿足數據中心對當前「熱」數據事務型處理和海量歷史「冷」數據分析兩方面的需求。OldSQL+NewSQL模式在數據中心類應用中的互補作用體現在,OldSQL彌補了NewSQL不適合事務處理的不足,NewSQL彌補了OldSQL在海量數據存儲能力和處理性能方面的缺陷。
商業銀行數據中心採用OldSQL+NewSQL混合部署方式搭建,OldSQL資料庫滿足各業務系統數據的歸檔備份和事務型應用,NewSQL MPP資料庫集群對即席查詢、多維分析等應用提供高性能支持,並且通過MPP集群架構實現應對海量數據存儲的擴展能力。
商業銀行數據中心存儲架構
與傳統的OldSQL模式相比,商業銀行數據中心採用OldSQL+NewSQL混合搭建模式,數據載入性能提升3倍以上,即席查詢和統計分析性能提升6倍以上。NewSQL MPP的高可擴展性能夠應對新的業務需求,可隨著數據量的增長採用集群方式構建存儲容量更大的數據中心。
OldSQL+NoSQL 在互聯網大數據應用中混合部署
在互聯網大數據應用中採用OldSQL+NoSQL混合模式,能夠很好的解決互聯網大數據應用對海量結構化和非結構化數據進行存儲和快速處理的需求。在諸如大型電子商務平台、大型SNS平台等互聯網大數據應用場景中,OldSQL在應用中負責高價值密度結構化數據的存儲和事務型處理,NoSQL在應用中負責存儲和處理海量非結構化的數據和低價值密度結構化數據。OldSQL+NoSQL模式在互聯網大數據應用中的互補作用體現在,OldSQL彌補了NoSQL在ACID特性和復雜關聯運算方面的不足,NoSQL彌補了OldSQL在海量數據存儲和非結構化數據處理方面的缺陷。
數據魔方是淘寶網的一款數據產品,主要提供行業數據分析、店鋪數據分析。淘寶數據產品在存儲層採用OldSQL+NoSQL混合模式,由基於MySQL的分布式關系型資料庫集群MyFOX和基於HBase的NoSQL存儲集群Prom組成。由於OldSQL強大的語義和關系表達能力,在應用中仍然占據著重要地位,目前存儲在MyFOX中的統計結果數據已經達到10TB,占據著數據魔方總數據量的95%以上。另一方面,NoSQL作為SQL的有益補充,解決了OldSQL資料庫無法解決的全屬性選擇器等問題。
淘寶海量數據產品技術架構
基於OldSQL+NoSQL混合架構的特點,數據魔方目前已經能夠提供壓縮前早桐80TB的數據存儲空間,支持每天4000萬的查詢請求,平均響應時間在28毫秒,足以滿足未來一段時間內的業務增長需求。
NewSQL+NoSQL 在行業大數據應用中混合部署
行業大數據與互聯網大數據的區別在於行業大數據的價值密度更高,並且對結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等都比互聯網大數據有更高的要求。行業瞎裂大數據應用場景主要是分析類應用,如:電信、金融、政務、能源等行業的決策輔助、預測預警、統計分析、經營分析等。
在行業大數據應用中採用NewSQL+NoSQL混合模式,充分利用NewSQL在結構化數據分析處理方面的優勢,以及NoSQL在非結構數據處理方面的優勢,實現NewSQL與NoSQL的功能互補,解決行業大數據應用對高價值結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等要求,以及對海量非結構化數據存儲和精確查詢的要求。在應用中,NewSQL承擔高價值密度結構化數據的存儲和分析處理工作,NoSQL承擔存儲和處理海量非結構化數據和不需要關聯分析、Ad-hoc查詢較少的低價值密度結構化數據的工作。
當前電信運營商在集中化BI系統建設過程中面臨著數據規模大、數據處理類型多等問題,並且需要應對大量的固定應用,以及占統計總數80%以上的突發性臨時統計(ad-hoc)需求。在集中化BI系統的建設中採用NewSQL+NoSQL混搭的模式,充分利用NewSQL在復雜分析、即席查詢等方面處理性能的優勢,及NoSQL在非結構化數據處理和海量數據存儲方面的優勢,實現高效低成本。
集中化BI系統數據存儲架構
集中化BI系統按照數據類型和處理方式的不同,將結構化數據和非結構化數據分別存儲在不同的系統中:非結構化數據在Hadoop平台上存儲與處理;結構化、不需要關聯分析、Ad-hoc查詢較少的數據保存在NoSQL資料庫或Hadoop平台;結構化、需要關聯分析或經常ad-hoc查詢的數據,保存在NewSQL MPP資料庫中,短期高價值數據放在高性能平台,中長期放在低成本產品中。
結語
當前信息化應用的多樣性、復雜性,以及三種資料庫架構各自所具有的優勢和局限性,造成任何一種架構的資料庫都不能完全滿足應用需求,因此不同架構資料庫混合使用,從而彌補其他架構的不足成為必然選擇。根據應用場景採用不同架構資料庫進行組合搭配,充分發揮每種架構資料庫的特點和優勢,並且與其他架構資料庫形成互補,完全涵蓋應用需求,保證數據資源的最優化利用,將成為未來一段時期內信息化應用主要採用的解決方式。
目前在國內市場上,OldSQL主要為Oracle、IBM等國外資料庫廠商所壟斷,達夢、金倉等國產廠商仍處於追趕狀態;南大通用憑借國產新型資料庫GBase 8a異軍突起,與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強;NoSQL方面用戶則大多採用Hadoop開源方案。
B. 資料庫在醫學上有哪些應用
循證醫學,意為「遵循證據的醫學」,是一個醫學用詞。循證醫學的核心思想是培仿在醫療決策中將臨床證據、個人經驗與患者的實際狀況和意願三者相結合。臨床證據主要來自大樣本的隨機對照臨床試驗(RCT)和系統性評價或薈萃分析。
資料庫,是一個按數據結構來存儲和管理數據的計算機軟體系統。資料庫以一定方式儲存在一起,能與多個用戶共享,具有盡可能小的冗餘度,與應用程序彼此獨立的數據集合,可視為存儲電子文件的處所,用戶可以對文件中的數據進行新增、查詢、更新、刪除等操作。
(2)nosql的應用擴展閱讀:
資料庫的類型
1、關系資料庫
關系型資料庫中,存儲的格舉返式可以直觀地反映實體間的關系。常見的關系型資料庫有Mysql,SqlServer等。在輕量或者小型的應用中,使用不同的關系配答纖型資料庫對系統的性能影響不大,但是在構建大型應用時,則需要根據應用的業務需求和性能需求,選擇合適的關系型資料庫。
2、非關系型資料庫(NoSQL)
分布式的、非關系型的、不保證遵循ACID原則的數據存儲系統。NoSQL資料庫技術具有非常明顯的應用優勢,如資料庫結構相對簡單,在大數據量下的讀寫性能好;能滿足隨時存儲自定義數據格式需求,非常適用於大數據處理工作。
C. NoSQL應用
而傳統的關系資料庫在應付web2.0網站,特別是超大規模和高並發的SNS類型的web2.0純動態網站已經顯得力不從心,暴露了很多難以克服的問改輪則題,例如:
1、High performance - 對資料庫高並發讀寫的需求
web2.0網站要根據用戶個性化信息來實時生成動態頁面和提供動態信息,所以基本上無法使用動態頁面靜態化技術,因此資料庫並發負載非常高,往往要達到每秒上萬次讀寫請求。關系資料庫應付上萬次SQL查詢還勉強頂得住,但是應付上萬次SQL寫數據請求,硬桐漏盤IO就已經無法承受了。其實對於普通的BBS網站,往往也存在對高並發寫請求的需求。
2、Huge Storage - 對海量數據的高效率存儲和訪問的需求
對於大型的SNS網站,每天用戶產生海量的用戶動態,以國外的Friendfeed為例,一個月就達到了2.5億條用戶動態,對於關系資料庫來說,在一張2.5億條記錄的表裡面進行SQL查詢,效率是極其低下乃至不可忍受的。再例如大型web網站的用戶登錄系統,例如騰訊,盛大,動輒數以億計的帳號,關系資料庫也很難應付。
3、High Scalability && High Availability- 對資料庫的高可擴展性和高可用性的需求
在基於web的架構當中,資料庫是最難進行橫向擴展的,當一個應用系統的用戶量和訪問量與日俱增的時候,你的資料庫卻沒有辦法像web server和app server那樣簡單的通過添加更多的硬體和服務節點來擴展性能和負載能力。對於很多需要提供24小時不間斷服務的網站來說,對資料庫系統進行升級和擴展是非常痛苦的事情,往往需要停機維護和數據遷移,為什麼資料庫不能通過不斷的添加伺服器節點來實現擴展呢?
在上面提到的「三高」需求面前,關系資料庫遇到了難以克服的障礙,而對於web2.0網站來說,關系資料庫的很多主要特性卻往往無用武之地,例如:
1、資料庫事務一致性需求
很多web實時系統並不要求嚴格的資料庫事務,對讀一致性的要求很低,有些場合對寫一致性要求也不高。因此資料庫事務管理成了資料庫高負載下一個沉重的負擔。
2、資料庫的寫實時性和讀實時性需求
對關系資料庫來說,插入一條數據之後立刻查詢,是肯定可以讀出來這條數據的,但是對於很多web應用來說,並不要求這么高的實時性。
3、對復雜的SQL查詢,特別是多表關聯查詢的需求
任核棚何大數據量的web系統,都非常忌諱多個大表的關聯查詢,以及復雜的數據分析類型的復雜SQL報表查詢,特別是SNS類型的網站,從需求以及產品設計角度,就避免了這種情況的產生。往往更多的只是單表的主鍵查詢,以及單表的簡單條件分頁查詢,SQL的功能被極大的弱化了。
因此,關系資料庫在這些越來越多的應用場景下顯得不那麼合適了,為了解決這類問題的非關系資料庫應運而生。
NoSQL 是非關系型數據存儲的廣義定義。它打破了長久以來關系型資料庫與ACID理論大一統的局面。NoSQL 數據存儲不需要固定的表結構,通常也不存在連接操作。在大數據存取上具備關系型資料庫無法比擬的性能優勢。該術語在 2009 年初得到了廣泛認同。
當今的應用體系結構需要數據存儲在橫向伸縮性上能夠滿足需求。而 NoSQL 存儲就是為了實現這個需求。Google 的BigTable與Amazon的Dynamo是非常成功的商業 NoSQL 實現。一些開源的 NoSQL 體系,如Facebook 的Cassandra, Apache 的HBase,也得到了廣泛認同。
D. 互聯網如何海量存儲數據
目前存儲海量數據的技術主要包括NoSQL、分布式文件系統、和傳統關系型資料庫。隨著互聯網行業不斷的發展,產生的數據量越來越多,並且這些數據的特點是半結構化和非結構化,數據很可能是不精確的,易變的。這樣傳統關系型資料庫就無法發揮它的優勢。因此,目前互聯網大正蔽攔行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。
下面介紹下常用的NoSQL和分布式文件系統。
NoSQL
互聯網行業常用的NoSQL有:HBase、MongoDB、Couchbase、LevelDB。
HBase是ApacheHadoop的子項目,理論依據為Google論文Bigtable:開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念,這是與RDBMS相同的地方,但卻又不同。HBase底層採用HDFS作為文件系統,具有高可靠性、高性能。
MongoDB是一種支持高性能數據存儲的開源文檔型資料庫。支持嵌入式數據模型以減少對資料庫系統的I/O、利用索引實現快速查詢,並且嵌入式文檔和集合也支持索引,它復制能力被稱作復制集(replicaset),提供了自動的故障遷移和數據冗餘。MongoDB的分片策略將數據分布在伺服器集群上。
Couchbase這種NoSQL有三個重滾並悔要的組件:Couchbase伺服器、CouchbaseGateway、CouchbaseLite。Couchbase伺服器,支持橫向擴展,面向文檔的資料庫,支持鍵值操作,類似於SQL查詢和內置的全文搜索;CouchbaseGateway提供了用於RESTful和流式訪問數據的應用層API。CouchbaseLite是一款面向移動設備和「邊緣」系統的嵌入式資料庫。Couchbase支持千萬級海量數據存儲
分布式文件系統
如果針對單個大文件,譬如超過100MB的文件,使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於,分布式文件系統隔離底層數據存儲和分布的細節,展示給用戶的是一個統一的邏輯視圖。常用的分布式文件系統有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
E. nosql是什麼意思
NoSQL,指的是非關系型的資料庫。
NoSQL(NoSQL = Not Only SQL ),意即"不僅僅是SQL"。
在現代的計算系統上每天網路上都會產生龐大的數據量。
這些數據有很大一部分是由關系資料庫管理系統(RDBMS)來處理。 1970年 E.F.Codd's提出的關系模型的論文 "A relational model of data for large shared data banks",這使得數據建模和應用程序編程更加簡單。
通過應用實踐證明,關系模型是非常適合於客戶伺服器編程,遠遠超出預期的利益,今天它是結構化數據存儲在網路和商務應用的主導技術。
NoSQL 是一項全新的資料庫革命性運動,早期就有人提出,發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲,相對於鋪天蓋地的關系型資料庫運用,這一概念無疑是一種全新的思維的注入。
分布式系統
分布式系統(distributed system)由多台計算機和通信的軟體組件通過計算機網路連接(本地網路或廣掘散域網)組成。
分布式系統是建立在網路之上的軟體系統。正是因為軟體的特性,所以分布式系統具有高度的內聚性和透明性。
因此,網路和分布式系統之間的區別更多的在於高層軟體(特別是操作系統),而不是硬體。
分布式系統可以應用在不同的平台上如:判飢氏Pc、工作站、區域網和廣域網上等。肢吵
F. NoSQL 資料庫:何時使用 NoSQL 與 SQL
NoSQL 資料庫因其功能性、易於開發性和可擴展性而廣受認可,它們越來越多地用於大數據和實時 Web 應用程序,在本文中,我們通過示例討論 NoSQL、何時使用 NoSQL 與 SQL 及其用例。
NoSQL是一種下一代資料庫管理系統 (DBMS)。NoSQL 資料庫具有靈活的模式,可用於構建具有大量數據和高負載的現代應用程序。
「NoSQL」一詞最初是由 Carlo Strozzi 在 1998 年創造的,盡管自 1960 年代後期以來就已經存在類似的資料庫。然而,NoSQL 的發展始於 2009 年初,並且發展迅速。
在處理大量數據時,任何關系資料庫管理系統 (RDBMS) 的響應時間都會變慢。為了解決這個問題,我們可以通過升級現有硬體來「擴大」信息系統,這非常昂貴。但是,NoSQL 可以更好地橫向擴展並且更具成本效益。
NoSQL 對於非結構化或非常大的數據對象(例如聊天日誌數據、視頻或圖像)非常有用,這就是為什麼 NoSQL 在微軟、谷歌、亞馬遜、Meta (Facebook) 等互聯網巨頭中特別受歡迎的原因。
一些流行的 NoSQL 資料庫包括:
隨著企業更快地積累更大的數據集,結構化數據和關系模式並不總是適合。有必要使用非結構化數據和大型對象來更好地捕獲這些信息。
傳統的 RDBMS 使用 SQL(結構化查詢語言)語法來存儲和檢索結構化數據,相反,NoSQL 資料庫包含廣泛的功能,可以存儲和檢索結構化、半結構化、非結構化和多態數據。
有時,NoSQL 也被稱為「 不僅僅是 SQL 」,強調它可能支持類似 SQL 的語言或與 SQL 資料庫並列。SQL 和 NoSQL DBMS 之間的一個區別是 JOIN 功能。SQL 資料庫使用 JOIN 子句來組合來自兩個或多個表的行,因為 NoSQL 資料庫本質上不是表格的,所以這個功能並不總是可行或相關的。
但是,一些 NoSQL DBMS 可以執行類似於 JOIN的操作——就像 MongoDB 一樣。這並不意味著不再需要 SQL DBMS,相反,NoSQL 和 SQL 資料庫傾向於以不同的方式解決類似的問題。
一般來說,在以下情況下,NoSQL 比 SQL 更可取:
許多行業都在採用 NoSQL,取代關系資料庫,從而為某些業務應用程序提供更高的靈活性和可擴展性,下面給出了 NoSQL 資料庫的一些企業用例。
內容管理是一組用於收集、管理、傳遞、檢索和發布任何格式的信息的過程,包括文本、圖像、音頻和視頻。NoSQL 資料庫可以通過其靈活和開放的數據模型為存儲多媒體內容提供更好的選擇。
例如,福布斯在短短幾個月內就構建了一個基於 MongoDB 的定製內容管理系統,以更低的成本為他們提供了更大的敏捷性。
大數據是指太大而無法通過傳統處理系統處理的數據集,實時存儲和檢索大數據的系統在分析 歷史 數據的同時使用流處理來攝取新數據,這是一系列非常適合 NoSQL 資料庫的功能。
Zoom使用 DynamoDB(按需模式)使其數據能夠在沒有性能問題的情況下進行擴展,即使該服務在 COVID-19 大流行的早期使用量激增。
物聯網設備具有連接到互聯網或通信網路的嵌入式軟體和感測器,能夠在無需人工干預的情況下收集和共享數據。隨著數十億台設備生成數不清的數據,IoT NoSQL 資料庫為 IoT 服務提供商提供了可擴展性和更靈活的架構。
Freshub就是這樣的一項服務,它從 MySQL 切換到 MongoDB,以更好地處理其大型、動態、非統一的數據集。
擁有數十億智能手機用戶,可擴展性正成為在移動設備上提供服務的企業面臨的最大挑戰。具有更靈活數據模型的 NoSQL DBMS 通常是完美的解決方案。
例如,The Weather Channel使用 MongoDB 資料庫每分鍾處理數百萬個請求,同時還處理用戶數據並提供天氣更新。
G. 哪個屬於NoSQL資料庫
1、鍵值(Key-Value)存儲資料庫
這一類資料庫主要會使用到一個哈希表,這個表中有一個特定的鍵和一個指針指向特定的數據。Key/value模型對於IT系統來說的優勢在於簡單、易部署。
但是如果資料庫管理員(DBA)只對部分值進行查詢或更新的時候,Key/value就顯得效率低下了。舉例如:Tokyo Cabinet/Tyrant,Redis,Voldemort,Oracle BDB。
2、列存儲資料庫
這部分資料庫通常用來應對分布式存儲的海量數據。鍵仍然存在,但是它們的特點是指向了多個列。這些列是由列家族來安排的。如:Cassandra,HBase,Riak。
3、文檔型資料庫
文檔型資料庫的靈感是來自於Lotus Notes辦公軟體的,而且它同第一種鍵值存儲相類似。該類型的數據模型是版本化的文檔,半結構化的文檔以特定的格式存儲,比如JSON。
文檔型資料庫可以看作是鍵值資料庫的升級版,允許之間嵌套鍵值,在處理網頁等復雜數據時,文檔型資料庫比傳統鍵值資料庫的查詢效率更高。如:CouchDB,MongoDb,國內也有文檔型資料庫SequoiaDB,已經開源。
4、圖形(Graph)資料庫
圖形結構的資料庫同其他行列以及剛性結構的SQL資料庫不同,它手隱是使用靈活的圖形模型,並且能夠擴展到多個伺服器上。
NoSQL資料庫沒有標準的查詢語言(SQL),因此進行資料庫查詢需要制定數據模型。許多NoSQL資料庫都有REST式的數據畢空廳介面或者查詢API。如:Neo4J,InfoGrid,Infinite Graph。
(7)nosql的應用擴展閱讀
NoSQL資料庫適合追求速度和可擴展性、業務多變的應用場景。對於非結構化數據的虧察處理更合適,如文章、評論,這些數據如全文搜索、機器學習通常只用於模糊處理,並不需要像結構化數據一樣,進行精確查詢,而且這類數據的數據規模往往是海量的,數據規模的增長往往也是不可能預期的。
而NoSQL資料庫的擴展能力幾乎也是無限的,所以NoSQL資料庫可以很好地滿足這一類數據的存儲。NoSQL資料庫利用key-value可以大量的獲取大量的非結構化數據,並且數據的獲取效率很高,但用它查詢結構化數據效果就比較差。
H. 什麼是NoSQL資料庫
2. 什麼是NoSQL?
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL ),意即「不僅僅是SQL」,
泛指非關系型的資料庫。隨著互聯網web2.0網站的興起,傳統的關系資料庫在應付web2.0網站,特別是超大規模和高並發的SNS類型的web2.0純動態網站已經顯得力不從心,暴露了很多難以克服的問題,而非關系型的資料庫則由於其本身的特點得到了非常迅速的發展。NoSQL資料庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰,尤其是大數據應用難題,包括超大規模數據的存儲。
(例如谷歌或Facebook每天為他們的用戶收集萬億比特的數據)。這些類型的數據存儲不需要固定的模式,無需多餘操作就可以橫向擴展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 關系型資料庫與NoSQL的區別?
3.1 RDBMS
高度組織化結構化數據
結構化查詢語言(SQL)
數據和關系都存儲在單獨的表中。
數據操縱語言,數據定義語言
嚴格的一致性
基礎事務
ACID
關系型資料庫遵循ACID規則
事務在英文中是transaction,和現實世界中的交易很類似,它有如下四個特性:
A (Atomicity) 原子性
原子性很容易理解,也就是說事務里的所有操作要麼全部做完,要麼都不做,事務成功的條件是事務里的所有操作都成功,只要有一個操作失敗,整個事務就失敗,需要回滾。比如銀行轉賬,從A賬戶轉100元至B賬戶,分為兩個步驟:1)從A賬戶取100元;2)存入100元至B賬戶。這兩步要麼一起完成,要麼一起不完成,如果只完成第一步,第二步失敗,錢會莫名其妙少了100元。
C (Consistency) 一致性
一致性也比較容易理解,也就是說資料庫要一直處於一致的狀態,事務的運行不會改變資料庫原本的一致性約束。
I (Isolation) 獨立性
所謂的獨立性是指並發的事務之間不會互相影響,如果一個事務要訪問的數據正在被另外一個事務修改,只要另外一個事務未提交,它所訪問的數據就不受未提交事務的影響。比如現有有個交易是從A賬戶轉100元至B賬戶,在這個交易還未完成的情況下,如果此時B查詢自己的賬戶,是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事務提交後,它所做的修改將會永久的保存在資料庫上,即使出現宕機也不會丟失。
3.2 NoSQL
代表著不僅僅是SQL
沒有聲明性查詢語言
沒有預定義的模式
鍵 - 值對存儲,列存儲,文檔存儲,圖形資料庫
最終一致性,而非ACID屬性
非結構化和不可預知的數據
CAP定理
高性能,高可用性和可伸縮性
分布式資料庫中的CAP原理(了解)
CAP定理:
Consistency(一致性), 數據一致更新,所有數據變動都是同步的
Availability(可用性), 好的響應性能
Partition tolerance(分區容錯性) 可靠性
P: 系統中任意信息的丟失或失敗不會影響系統的繼續運作。
定理:任何分布式系統只可同時滿足二點,沒法三者兼顧。
CAP理論的核心是:一個分布式系統不可能同時很好的滿足一致性,可用性和分區容錯性這三個需求,
因此,根據 CAP 原理將 NoSQL 資料庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類:
CA - 單點集群,滿足一致性,可用性的系統,通常在可擴展性上不太強大。
CP - 滿足一致性,分區容忍性的系統,通常性能不是特別高。
AP - 滿足可用性,分區容忍性的系統,通常可能對一致性要求低一些。
CAP理論就是說在分布式存儲系統中,最多隻能實現上面的兩點。
而由於當前的網路硬體肯定會出現延遲丟包等問題,所以分區容忍性是我們必須需要實現的。
所以我們只能在一致性和可用性之間進行權衡,沒有NoSQL系統能同時保證這三點。
說明:C:強一致性 A:高可用性 P:分布式容忍性
舉例:
CA:傳統Oracle資料庫
AP:大多數網站架構的選擇
CP:Redis、Mongodb
注意:分布式架構的時候必須做出取捨。
一致性和可用性之間取一個平衡。多餘大多數web應用,其實並不需要強一致性。
因此犧牲C換取P,這是目前分布式資料庫產品的方向。
4. 當下NoSQL的經典應用
當下的應用是 SQL 與 NoSQL 一起使用的。
代表項目:阿里巴巴商品信息的存放。
去 IOE 化。
ps:I 是指 IBM 的小型機,很貴的,好像好幾萬一台;O 是指 Oracle 資料庫,也很貴的,好幾萬呢;M 是指 EMC 的存儲設備,也很貴的。
難點:
數據類型多樣性。
數據源多樣性和變化重構。
數據源改造而服務平台不需要大面積重構。
I. 常見NoSQL資料庫的應用場景是怎麼樣的
文檔資料庫
源起:受Lotus Notes啟發。
數據模型:包含了key-value的文檔集合
例子:CouchDB, MongoDB
優點:數據模型自然,編程友好,快速開發,web友好,CRUD。
圖資料庫
源起: 歐拉和圖理論。
數據模型:節點和關系,也可處理鍵值對。
例子:AllegroGraph, InfoGrid, Neo4j
優點:解決復雜的圖問題。
關系資料庫
源起: E. F. Codd 在A Relational Model of Data for Large Shared Data Banks提出的
數據模型:各種關系
例子昌茄:VoltDB, Clustrix, MySQL
優點:高性能、可擴展的OLTP,支持SQL,物化視圖,支持事務,編程友好。
對象資料庫
源起:圖資料庫研究
數據模型:對象鉛州
例子:Objectivity, Gemstone
優點:復雜對象模型,快速鍵值訪問,鍵功能訪問,以及圖資料庫的優點。
Key-Value資料庫
源起:Amazon的論文 Dynamo 和 Distributed HashTables。
數據模型:鍵值對
例子:Membase, Riak
優點:處理大量數據槐迅蔽,快速處理大量讀寫請求。編程友好。
BigTable類型資料庫
源起:Google的論文 BigTable。
數據模型:列簇,每一行在理論上都是不同的
例子:HBase, Hypertable, Cassandra
優點:處理大量數據,應對極高寫負載,高可用,支持跨數據中心, MapRece。
數據結構服務
源起: ?
數據模型:字典操作,lists, sets和字元串值
例子:Redis
優點:不同於以前的任何資料庫
網格資料庫
源起:數據網格和元組空間研究。
數據模型:基於空間的架構
例子:GigaSpaces, Coherence
優點:適於事務處理的高性能和高擴展性
J. 什麼類型的nosql資料庫比較適合應用在物聯網應用系統中
在物聯網應用系統中使用NoSQL資料庫是一個不錯的升慶租選擇,因為NoSQL資料庫可以處理海量、多變的數據,並且擁有優秀的橫向擴展性。以下是適合物聯網應用系統的幾種NoSQL資料庫類型:
1. 文檔型資料庫:文檔型資料庫支持存儲和查詢結構化和非結構化數據,並且能夠輕松地存儲和檢索復雜的數據類型,例如JSON和XML格式。在物聯網應用程序中,文檔型資料庫可以快速存儲感測器數據、日誌、警報和配置數據等信息。
2. 列族型資料庫:列族型資料庫適用於需要處理大量數據吵兆的應用程序,例如數據聚合和時間序列數據分析。在物聯網應用程序中,使用列族型資料庫可以存儲和查詢大量時間序列數據,例如感測器讀數、狀態數據和其他一些深度數據等信息。
3. Key-Value型資料庫:Key-Value型資料庫是一種簡單易用的NoSQL資料庫,每個鍵都關聯著一個值。在物聯網應用程序中,使用Key-Value型資料庫可以存儲和查詢對象的屬性,以及配置數據和元數據等信息。
以上是應差擾用於物聯網應用系統中的幾種NoSQL資料庫類型,也可以根據應用需求和數據類型選擇其他適合的NoSQL資料庫類型。