非結構化資料庫有哪些

『壹』 非結構化資料庫都有哪些謝謝

非結構化數據的諸多來源

『貳』 哪些數據屬於結構化數據，哪些數據屬於非結構化數據

（1）結構化數據，簡單來說就是資料庫。結合到典型場景中更容易理解，比如企業ERP、財務系統；醫療HIS資料庫；政府行政審批；其他核心資料庫等。這些應用需要哪些存儲方案呢？基本包括高速存儲應用需求、數據備份需求、數據共享需求以及數據容災需求。

（2）非結構化資料庫是指其欄位長度可變，並且每個欄位的記錄又可以由可重復或不可重復的子欄位構成的資料庫，用它不僅可以處理結構化數據（如數字、符號等信息）而且更適合處理非結構化數據（全文文本、圖像、聲音、影視、超媒體等信息）。

『叄』 什麼是結構化數據，非結構化數據

相對於結構化數據(即行數據,存儲在資料庫里,可以用二維表結構來邏輯表達實現的數據)而言,不方便用資料庫二維邏輯表來表現的數據即稱為非結構化數據,包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。
欄位可根據需要擴充，即欄位數目不定，可稱為半結構化數據，例如Exchange存儲的數據。
非結構化資料庫

在信息社會，信息可以劃分為兩大類。一類信息能夠用數據或統一的結構加以表示，我們稱之為結構化數據，如數字、符號；而另一類信息無法用數字或統一的結構表示，如文本、圖像、聲音、網頁等，我們稱之為非結構化數據。結構化數據屬於非結構化數據，是非結構化數據的特例

數據清洗從名字上也看的出就是把「臟」的「洗掉」。因為數據倉庫中的數據是面向某一主題的數據的集合，這些數據從多個業務系統中抽取而來而且包含歷史數據，這樣就避免不了有的數據是錯誤數據、有的數據相互之間有沖突，這些錯誤的或有沖突的數據顯然是我們不想要的，稱為「臟數據」。我們要按照一定的規則把「臟數據」「洗掉」，這就是數據清洗.而數據清洗的任務是過濾那些不符合要求的數據，將過濾的結果交給業務主管部門，確認是否過濾掉還是由業務單位修正之後再進行抽取。不符合要求的數據主要是有不完整的數據、錯誤的數據、重復的數據三大類。

(1)不完整的數據
這一類數據主要是一些應該有的信息缺失，如供應商的名稱、分公司的名稱、客戶的區域信息缺失、業務系統中主表與明細表不能匹配等。對於這一類數據過濾出來，按缺失的內容分別寫入不同Excel文件向客戶提交，要求在規定的時間內補全。補全後才寫入數據倉庫。
(2)錯誤的數據
這一類錯誤產生的原因是業務系統不夠健全，在接收輸入後沒有進行判斷直接寫入後台資料庫造成的，比如數值數據輸成全形數字字元、字元串數據後面有一個回車操作、日期格式不正確、日期越界等。這一類數據也要分類，對於類似於全形字元、數據前後有不可見字元的問題，只能通過寫sql語句的方式找出來，然後要求客戶在業務系統修正之後抽取。日期格式不正確的或者是日期越界的這一類錯誤會導致ETL運行失敗，這一類錯誤需要去業務系統資料庫用SQL的方式挑出來，交給業務主管部門要求限期修正，修正之後再抽取。
(3)重復的數據
對於這一類數據——特別是維表中會出現這種情況——將重復數據記錄的所有欄位導出來，讓客戶確認並整理。
數據清洗是一個反復的過程，不可能在幾天內完成，只有不斷的發現問題，解決問題。對於是否過濾，是否修正一般要求客戶確認，對於過濾掉的數據，寫入Excel文件或者將過濾數據寫入數據表，在ETL開發的初期可以每天向業務單位發送過濾數據的郵件，促使他們盡快地修正錯誤,同時也可以做為將來驗證數據的依據。數據清洗需要注意的是不要將有用的數據過濾掉，對於每個過濾規則認真進行驗證，並要用戶確認。

隨著網路技術的發展，特別是Internet和Intranet技術的飛快發展，使得非結構化數據的數量日趨增大。這時，主要用於管理結構化數據的關系資料庫的局限性暴露地越來越明顯。因而，資料庫技術相應地進入了「後關系資料庫時代」，發展進入基於網路應用的非結構化資料庫時代。所謂非結構化資料庫，是指資料庫的變長紀錄由若干不可重復和可重復的欄位組成，而每個欄位又可由若干不可重復和可重復的子欄位組成。簡單地說，非結構化資料庫就是欄位可變的資料庫。

我國非結構化資料庫以北京國信貝斯(iBase)軟體有限公司的iBase資料庫為代表。IBase資料庫是一種面向最終用戶的非結構化資料庫，在處理非結構化信息、全文信息、多媒體信息和海量信息等領域以及Internet/Intranet應用上處於國際先進水平，在非結構化數據的管理和全文檢索方面獲得突破。它主要有以下幾個優點：

(1)Internet應用中，存在大量的復雜數據類型，iBase通過其外部文件數據類型，可以管理各種文檔信息、多媒體信息,並且對於各種具有檢索意義的文檔信息資源，如HTML、DOC、RTF、TXT等還提供了強大的全文檢索能力。

(2)它採用子欄位、多值欄位以及變長欄位的機制，允許創建許多不同類型的非結構化的或任意格式的欄位，從而突破了關系資料庫非常嚴格的表結構，使得非結構化數據得以存儲和管理。

(3)iBase將非結構化和結構化數據都定義為資源，使得非結構資料庫的基本元素就是資源本身，而資料庫中的資源可以同時包含結構化和非結構化的信息。所以，非結構化資料庫能夠存儲和管理各種各樣的非結構化數據，實現了資料庫系統數據管理到內容管理的轉化。

(4)iBase採用了面向對象的基石，將企業業務數據和商業邏輯緊密結合在一起，特別適合於表達復雜的數據對象和多媒體對象。

(5)iBase是適應Internet發展的需要而產生的資料庫，它基於Web是一個廣域網的海量資料庫的思想，提供一個網上資源管理系統iBase Web，將網路伺服器(WebServer)和資料庫伺服器(Database Server)直接集成為一個整體，使資料庫系統和資料庫技術成為Web的一個重要有機組成部分，突破了資料庫僅充當Web體系後台角色的局限，實現資料庫和Web的有機無縫組合，從而為在Internet/Intranet上進行信息管理乃至開展電子商務應用開辟了更為廣闊的領域。

(6)iBase全面兼容各種大中小型的資料庫，對傳統關系資料庫，如Oracle、Sybase、SQLServer、DB2、Informix等提供導入和鏈接的支持能力。

通過從上面的分析後我們可以預言，隨著網路技術和網路應用技術的飛快發展，完全基於Internet應用的非結構化資料庫將成為繼層次資料庫、網狀資料庫和關系資料庫之後的又一重點、熱點技術。

『肆』 什麼是nosql非結構化資料庫

基本含義NoSQL(NoSQL = Not Only SQL )，意即「不僅僅是SQL」，是一項全新的資料庫革命性運動，早期就有人提出，發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲，相對於鋪天蓋地的關系型資料庫運用，這一概念無疑是一種全新的思維的注入。NoSQLNoSQL資料庫的四大分類鍵值(Key-Value)存儲資料庫這一類資料庫主要會使用到一個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數據。Key/value模型對於IT系統來說的優勢在於簡單、易部署。但是如果DBA只對部分值進行查詢或更新的時候，Key/value就顯得效率低下了。[3] 舉例如：Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB.列存儲資料庫。這部分資料庫通常是用來應對分布式存儲的海量數據。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列家族來安排的。如：Cassandra, HBase, Riak.文檔型資料庫文檔型資料庫的靈感是來自於Lotus Notes辦公軟體的，而且它同第一種鍵值存儲相類似。該類型的數據模型是版本化的文檔，半結構化的文檔以特定的格式存儲，比如JSON。文檔型資料庫可 以看作是鍵值資料庫的升級版，允許之間嵌套鍵值。而且文檔型資料庫比鍵值資料庫的查詢效率更高。如：CouchDB, MongoDb. 國內也有文檔型資料庫SequoiaDB，已經開源。圖形(Graph)資料庫圖形結構的資料庫同其他行列以及剛性結構的SQL資料庫不同，它是使用靈活的圖形模型，並且能夠擴展到多個伺服器上。NoSQL資料庫沒有標準的查詢語言(SQL)，因此進行資料庫查詢需要制定數據模型。許多NoSQL資料庫都有REST式的數據介面或者查詢API。[2] 如：Neo4J, InfoGrid, Infinite Graph.因此，我們總結NoSQL資料庫在以下的這幾種情況下比較適用：1、數據模型比較簡單；2、需要靈活性更強的IT系統；3、對資料庫性能要求較高；4、不需要高度的數據一致性；5、對於給定key，比較容易映射復雜值的環境。

『伍』 什麼是非結構化數據

非結構化數據是數據結構不規則或不完整，沒有預定義的數據模型，不方便用資料庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、XML, HTML、各類報表、圖像和音頻/視頻信息等等。

計算機信息化系統中的數據分為結構化數據和非結構化數據。非結構化數據其格式非常多樣，標准也是多樣性的，而且在技術上非結構化信息比結構化信息更難標准化和理解。

非結構化數據的特點：

分析數據不需要一個專業性很強的數學家或數據科學團隊，公司也不需要專門聘請IT精英去做。真正的分析發生在用戶決策階段，即管理一個特殊產品細分市場的部門經理，可能是負責尋找最優活動方案的市場營銷者，也可能是負責預測客戶群體需求的總經理。

終端用戶有能力、也有權利和動機去改善商業實踐，並且視覺文本分析工具可以幫助他們快速識別最相關的問題，及時採取行動，而這都不需要依靠數據科學家。

以上內容參考：

網路-非結構化數據

『陸』 企業非結構化數據存儲用哪家的比較好要國內的廠商

杉岩、星辰天合、元核雲等，這些國內的存儲廠商都做得挺好的，也能滿足你問題中的需求。

『柒』 非結構化資料庫都有哪些謝謝

所謂非結構化資料庫，是指資料庫的變長紀錄由若干不可重復和可重復的欄位組成，而每個欄位又可由若干不可重復和可重復的子欄位組成。簡單地說，非結構化資料庫就是欄位可變的資料庫。

『捌』 什麼是結構化數據，非結構化數據和半結構化數據

結構化數據也稱為行數據，是由二維表結構來邏輯表達和實現的數據，嚴格地遵循數據格式與長度規范，主要通過關系型資料庫進行存儲和管理。結構化數據標記是能讓網站以更好的姿態展示在搜索結果當中的方式。做了結構化數據標記，便能使網站在搜索結果中良好地展示豐富網頁摘要。

非結構化數據是數據結構不規則或不完整，沒有預定義的數據模型，不方便用資料庫二維邏輯表來表現的數據。非結構化數據其格式非常多樣，標准也是多樣性的，而且在技術上非結構化信息比結構化信息更難標准化和理解。

半結構化數據具有一定的結構性，是一種適於資料庫集成的數據模型。也就是說，適於描述包含在兩個或多個資料庫（這些資料庫含有不同模式的相似數據）中的數據。它也是一種標記服務的基礎模型，用於Web上共享信息。

(8)非結構化資料庫有哪些擴展閱讀：

結構化數據的標記方式

1、使用HTML代碼標記

HTML代碼標記的方式主要有3種：微數據、微格式和RDFa。但對於一些外貿站站來說，標記是以微數據為主，少許時候也會用到微格式，視不用的頁面類型而定。

2、使用微數據標記

使用微數據標記的話，主流是使用schema進行標記。但由於頁面上有些項, schema並沒推出相應的標記代碼，從而也得仍舊使用data-vocabulary來標記， 這樣的話頁面代碼上就會出現新舊代碼並存的情況。

『玖』 非關系型資料庫主要包括幾類各有什麼特點

NoSQL描述的是大量結構化數據存儲方法的集合，根據結構化方法以及應用場合的不同，主要可以將NoSQL分為以下幾類。

(1)Column-Oriented
面向檢索的列式存儲，其存儲結構為列式結構，同於關系型資料庫的行式結構，這種結構會讓很多統計聚合操作更簡單方便，使系統具有較高的可擴展性。這類資料庫還可以適應海量數據的增加以及數據結構的變化，這個特點與雲計算所需的相關需求是相符合的，比如GoogleAppengine的BigTable以及相同設計理念的Hadoop子系統HaBase就是這類的典型代表。需要特別指出的是，Big Table特別適用於MapRece處理，這對於雲計算的發展有很高的適應性。

(2)Key-Value。
面向高性能並發讀/寫的緩存存儲，其結構類似於數據結構中的Hash表，每個Key分別對應一個Value,能夠提供非常快的查詢速度、大數據存放量和高並發操作，非常適合通過主鍵對數據進行查詢和修改等操作。Key-Value資料庫的主要特點是具有極高的並發讀/寫性能，非常適合作為緩存系統使用。MemcacheDB、BerkeleyDB、Redis、Flare就是Key-Value資料庫的代表。

(3)Document-Oriented。
面向海量數據訪問的文檔存儲，這類存儲的結構與Key-Value非常相似，也是每個Key分別對應一個Value,但是這個Value主要以JSON(JavaScriptObjectNotations)或者XML等格式的文檔來進行存儲。這種存儲方式可以很方便地被面向對象的語言所使用。這類資料庫可在海量的數據中快速查詢數據，典型代表為MongoDB、CouchDB等。

NoSQL具有擴展簡單、高並發、高穩定性、成本低廉等優勢，也存在一些問題。例如，NoSQL暫不提供SQL的支持，會造成開發人員的額外學習成本;NoSQL大多為開源軟體其成熟度與商用的關系型資料庫系統相比有差距;NoSQL的架構特性決定了其很難保證數據的完整性，適合在一些特殊的應用場景使用。

『拾』 有哪些輕型的非關系型資料庫

常見的非關系型資料庫有：1、mongodb；2、cassandra；3、redis；4、hbase；5、neo4j。其中mongodb是非常著名的NoSQL資料庫，它是一個面向文檔的開源資料庫。
常見的幾種非關系型資料庫：
1、MongoDB
MongoDB是最著名的NoSQL資料庫。它是一個面向文檔的開源資料庫。MongoDB是一個可伸縮和可訪問的資料庫。它在c++中。MongoDB同樣可以用作文件系統。在MongoDB中，JavaScript可以作為查詢語言使用。通過使用sharding MongoDB水平伸縮。它在流行的JavaScript框架中非常有用。
人們真的很享受分片、高級文本搜索、gridFS和map-rece功能。驚人的性能和新特性使這個NoSQL資料庫在我們的列表中名列第一。
特點：提供高性能；自動分片；運行在多個伺服器上；支持主從復制；數據以JSON樣式文檔的形式存儲；索引文檔中的任何欄位；由於數據被放置在碎片中，所以它具有自動負載平衡配置；支持正則表達式搜索；在失敗的情況下易於管理。
優點：易於安裝MongoDB；MongoDB Inc.為客戶提供專業支持；支持臨時查詢；高速資料庫；無模式資料庫；橫向擴展資料庫；性能非常高。
缺點：不支持連接；數據量大；嵌套文檔是有限的；增加不必要的內存使用。
2、Cassandra
Cassandra是Facebook為收件箱搜索開發的。Cassandra是一個用於處理大量結構化數據的分布式數據存儲系統。通常，這些數據分布在許多普通伺服器上。您還可以添加數據存儲容量，使您的服務保持在線，您可以輕松地完成這項任務。由於集群中的所有節點都是相同的，因此不需要處理復雜的配置。
Cassandra是用Java編寫的。Cassandra查詢語言(CQL)是查詢Cassandra資料庫的一種類似sql的語言。因此，Cassandra在最佳開源資料庫中排名第二。Facebook、Twitter、思科(Cisco)、Rackspace、eBay、Twitter、Netflix等一些最大的公司都在使用Cassandra。
特點：線性可伸縮；；保持快速響應時間；支持原子性、一致性、隔離性和耐久性(ACID)等屬性；使用Apache Hadoop支持MapRece；分配數據的最大靈活性；高度可伸縮；點對點架構。
優點：高度可伸縮；無單點故障；Multi-DC復制；與其他基於JVM的應用程序緊密集成；更適合多數據中心部署、冗餘、故障轉移和災難恢復。
缺點：對聚合的有限支持；不可預知的性能；不支持特別查詢。
3、Redis
Redis是一個鍵值存儲。此外，它是最著名的鍵值存儲。Redis支持一些c++、PHP、Ruby、Python、Perl、Scala等等。Redis是用C語言編寫的。此外，它是根據BSD授權的。
特點：自動故障轉移；將其資料庫完全保存在內存中；事務；Lua腳本；將數據復制到任意數量的從屬伺服器；鑰匙的壽命有限；LRU驅逐鑰匙；支持發布/訂閱。
優點：支持多種數據類型；很容易安裝；非常快（每秒執行約11萬組，每秒執行約81000次）；操作都是原子的；多用途工具（在許多用例中使用）。
缺點：不支持連接；存儲過程所需的Lua知識；數據集必須很好地適應內存。
4、HBase
HBase是一個分布式的、面向列的開源資料庫，該技術來源於 Fay Chang 所撰寫的Google論文「Bigtable：一個結構化數據的分布式存儲系統」。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。
HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
5、neo4j
Neo4j被稱為原生圖資料庫，因為它有效地實現了屬性圖模型，一直到存儲層。這意味著數據完全按照白板的方式存儲，資料庫使用指針導航和遍歷圖。Neo4j有資料庫的社區版和企業版。企業版包括Community Edition必須提供的所有功能，以及額外的企業需求，如備份、集群和故障轉移功能。
特點：它支持唯一的約束；Neo4j支持完整的ACID(原子性、一致性、隔離性和持久性)規則；Java API: Cypher API和本機Java API；使用Apache Lucence索引；簡單查詢語言Neo4j CQL；包含用於執行CQL命令的UI: Neo4j Data Browser。
優點：容易檢索其相鄰節點或關系細節，無需連接或索引；易於學習Neo4j CQL查詢語言命令；不需要復雜的連接來檢索數據；非常容易地表示半結構化數據；大型企業實時應用程序的高可用性；簡化的調優。
缺點：不支持分片