hbase存儲結構化數據

㈠ 解讀Hadoop Hbase適合存儲哪類數據

最適合使用Hbase存儲的數據是非常稀疏的數據(非結構化或者半結構化的數據)。Hbase之所以擅長存儲這類數據，是因為Hbase是column-oriented列導向的存儲機制，而我們熟知的RDBMS都是row- oriented行導向的存儲機制(郁悶的是我看過N本關於關系資料庫的介紹從來沒有提到過row- oriented行導向存儲這個概念)。在列導向的存儲機制下對於Null值得存儲是不佔用任何空間的。比如，如果某個表 UserTable有10列，但在存儲時只有一列有數據，那麼其他空值的9列是不佔用存儲空間的(普通的資料庫MySql是如何佔用存儲空間的呢?)。 Hbase適合存儲非結構化的稀疏數據的另一原因是他對列集合 column families 處理機制。 打個比方，ruby和python這樣的動態語言和c++、java類的編譯語言有什麼不同? 對於我來說，最顯然的不同就是你不需要為變數預先指定一個類型。Ok ，現在Hbase為未來的DBA也帶來了這個激動人心的特性，你只需要告訴你的數據存儲到Hbase的那個column families 就可以了，不需要指定它的具體類型：char,varchar,int,tinyint,text等等。 Hbase還有很多特性，比如不支持join查詢，但你存儲時可以用：parent-child tuple 的方式來變相解決。 由於它是Google BigTable的 Java 實現，你可以參考一下：google bigtable 。
解讀Hadoop Hbase適合存儲哪類數據，參考：http://e.51cto.com/course/course_id-3819.html

㈡ hbase 是什麼

Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.
--來自Apache HBase官網

HBase是一個分布式的、面向列的開源資料庫，該技術來源於 Fay Chang 所撰寫的Google論文「Bigtable：一個結構化數據的分布式存儲系統」。
就像Bigtable利用了Google文件系統（File
System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop
項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
--來自網路

㈢ 大數據知識點裡面的 HBase 是什麼意思

HBase是一個分布式的、面向列的開源資料庫，基於Hadoop生態圈，在NoSQL蓬勃發展的今天被國內外眾多公司選擇，應用於現代互聯網系統的不同業務。
HBase業務場景
1.標簽數據的存儲
標簽數據是稀疏矩陣的代表，描述了實體的各類屬性，主要應用於智能推薦、商務智能或營銷引擎等領域。
2. 車聯網數據的收集
車聯網系統是利用車載設備收集車輛運行時產生的各項數據，通過網路實時上傳，在平台進行動態分析和利用。
3. 交易記錄的保存
在移動支付領域，保證歷史交易記錄等敏感信息的安全性是一個重要的話題。當數據中心遭遇自然災害、外部攻擊時，必須保證這些信息不丟，而且從業務角度要保證RTO盡可能短、RPO盡可能為0。
HBase基於底層的HDFS作為存儲系統，HDFS實現了三副本策略，按照一定的規則將副本放在不同的節點或機架中，本身具有較高的容災能力。在工程實踐中，也產生了Region replica、主備集群、互備雙活等策略來盡可能進行災備並保證高可用。

㈣ Hadoop Hbase適合存儲哪類數據(轉)

行導向的存儲機制（郁悶的是我看過N本關於關系資料庫的介紹從來沒有提到過row- oriented行導向存儲這個概念）。在列導向的存儲機制下對於Null值得存儲是不佔用任何空間的。比如，如果某個表 UserTable有10列，但在存儲時只有一列有數據，那麼其他空值的9列是不佔用存儲空間的（普通的資料庫MySql是如何佔用存儲空間的呢？）。 Hbase適合存儲非結構化的稀疏數據的另一原因是他對列集合 column families 處理機制。 打個比方，ruby和python這樣的動態語言和c++、java類的編譯語言有什麼不同？ 對於我來說，最顯然的不同就是你不需要為變數預先指定一個類型。Ok ，現在Hbase為未來的DBA也帶來了這個激動人心的特性，你只需要告訴你的數據存儲到Hbase的那個column families 就可以了，不需要指定它的具體類型：char,varchar,int,tinyint,text等等。 Hbase還有很多特性，比如不支持join查詢，但你存儲時可以用：parent-child tuple（不是很懂） 的方式來變相解決。 由於它是Google BigTable的 Java 實現，你可以參考一下：google bigtable。 下面3副圖是Hbase的架構、數據模型和一個表格例子，你也可以從：Hadoop summit 上

㈤ HBase是什麼為什麼要使用HBase

HBase在產品中還包含了Jetty，在HBase啟動時採用嵌入式的方式來啟動Jetty，因此可以通過web界面對HBase進行管理和查看當前運行的一些狀態，非常輕巧。為什麼採用HBase？HBase 不同於一般的關系資料庫,它是一個適合於非結構化數據存儲的資料庫.所謂非結構化數據存儲就是說HBase是基於列的而不是基於行的模式，這樣方面讀寫你的大數據內容。 HBase是介於Map Entry(key & value)和DB Row之間的一種數據存儲方式。就點有點類似於現在流行的Memcache，但不僅僅是簡單的一個key對應一個 value，你很可能需要存儲多個屬性的數據結構，但沒有傳統資料庫表中那麼多的關聯關系，這就是所謂的鬆散數據。 簡單來說，你在HBase中的表創建的可以看做是一張很大的表，而這個表的屬性可以根據需求去動態增加，在HBase中沒有表與表之間關聯查詢。你只需要 告訴你的數據存儲到Hbase的那個column families 就可以了，不需要指定它的具體類型：char,varchar,int,tinyint,text等等。但是你需要注意HBase中不包含事務此類的功 能。 Apache HBase 和Google Bigtable 有非常相似的地方，一個數據行擁有一個可選擇的鍵和任意數量的列。表是疏鬆的存儲的，因此用戶可以給行定義各種不同的列，對於這樣的功能在大項目中非常實用，可以簡化設計和升級的成本。

㈥ HBase支持的數據格式有哪些

HBase 通過 Put 操作和 Result 操作支持 「byte-in / bytes-out」 介面，所以任何可以轉換為位元組數組的內容都可以作為一個值存儲。輸入可以是字元串、數字、復雜對象、甚至可以是圖像，只要它們可以呈現為位元組。

值的大小有實際的限制（例如，在 HBase 中存儲 10-50MB 的對象可能太多了）。在郵件列表中搜索關於此主題的對話。HBase 中的所有行都符合數據模型，並包含版本控制。在進行設計時考慮到這一點，以及 ColumnFamily 的塊大小。

㈦ 計算機裡面Hbase作用是什麼

HBase是一個分布式的、面向列的開源資料庫，該技術來源於 Fay Chang 所撰寫的Google論文「Bigtable：一個結構化數據的分布式存儲系統」。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
模型
主要討論邏輯模型和物理模型
（1）邏輯模型
Hbase的名字的來源是Hadoop database，即hadoop資料庫。
主要是從用戶角度來考慮，即如何使用Hbase。
（2）物理模型
主要從實現Hbase的角度來討論

HBase數據模型
邏輯結構
邏輯上，HBase 的數據模型同關系型資料庫很類似，數據存儲在一張表中，有行有列。但從 HBase 的底層物理存儲結構(K-V)來看，HBase 更像是一個 multi-dimensional map

㈧ hbase與關系型資料庫的存儲方式有哪些不同

HBase與傳統關系資料庫的區別主要體現在以下幾個方面：1.數據類型。關系資料庫採用關系模型，具有豐富的數據類型和儲存方式。HBase則採用了更加簡單的數據模型，它把數據儲存為未經解釋的字元串，用戶可以把不同格式的結構化數據和非結構化數據都序列化成字元串保存到HBase中，用戶需要自己編寫程序把字元串解析成不同的數據類型。 2.數據操作。關系資料庫中包含了豐富的操作，如插入、刪除、更新、查詢等，其中會涉及復雜的多表連接，通常是藉助多個表之間的主外鍵關聯來實現的。HBase操作則不存在復雜的表與表之間的關系，只有簡單的插入、查詢、刪除、清空等，因為HBase在設計上就避免了復雜的表與表之。
列存儲不同於傳統的關系型資料庫，其數據在表中是按行存儲的，列方式所帶來的重要好處之一就是，由於查詢中的選擇規則是通過列來定義的，因此整個資料庫是自動索引化的。
按列存儲每個欄位的數據聚集存儲，在查詢只需要少數幾個欄位的時候，能大大減少讀取的數據量，一個欄位的數據聚集存儲，那就更容易為這種聚集存儲設計更好的壓縮/解壓演算法。
傳統的（Oracle）行存儲和（Hbase）列存儲的區別。
主要體現在以下幾個方面：1.數據類型。關系資料庫採用關系模型，具有豐富的數據類型和儲存方式。HBase則採用了更加簡單的數據模型，它把數據儲存為未經解釋的字元串，用戶可以把不同格式的結構化數據和非結構化數據都序列化成字元串保存到HBase中，用戶需要自己編寫程序把字元串解析成不同的數據類型。 2.數據操作。關系資料庫中包含了豐富的操作，如插入、刪除、更新、查詢等，其中會涉及復雜的多表連接，通常是藉助多個表之間的主外鍵關聯來實現的。HBase操作則不存在復雜的表與表之間的關系，只有簡單的插入、查詢、刪除、清空等，因為HBase在設計上就避免了復雜的表與表之間的關系，通常只採用單表的主鍵查詢。

㈨ Hbase和傳統資料庫的區別

HBase與傳統關系資料庫的區別？
答：主要體現在以下幾個方面：1.數據類型。關系資料庫採用關系模型，具有豐富的數據類型和儲存方式。HBase則採用了更加簡單的數據模型，它把數據儲存為未經解釋的字元串，用戶可以把不同格式的結構化數據和非結構化數據都序列化成字元串保存到HBase中，用戶需要自己編寫程序把字元串解析成不同的數據類型。
2.數據操作。關系資料庫中包含了豐富的操作，如插入、刪除、更新、查詢等，其中會涉及復雜的多表連接，通常是藉助多個表之間的主外鍵關聯來實現的。HBase操作則不存在復雜的表與表之間的關系，只有簡單的插入、查詢、刪除、清空等，因為HBase在設計上就避免了復雜的表與表之間的關系，通常只採用單表的主鍵查詢，所以它無法實現像關系資料庫中那樣的表與表之間的連接操作。
3.存儲模式。關系資料庫是基於行模式存儲的，元祖或行會被連續地存儲在磁碟頁中。在讀取數據時，需要順序掃描每個元組，然後從中篩選出查詢所需要的屬性。如果每個元組只有少量屬性的值對於查詢是有用的，那麼基於行模式存儲就會浪費許多磁碟空間和內存帶寬。HBase是基於列存儲的，每個列族都由幾個文件保存，不同列族的文件是分離的，它的優點是：可以降低I/O開銷，支持大量並發用戶查詢，因為僅需要處理可以回答這些查詢的列，而不是處理與查詢無關的大量數據行；同一個列族中的數據會被一起進行壓縮，由於同一列族內的數據相似度較高，因此可以獲得較高的數據壓縮比。
4.數據索引。關系資料庫通常可以針對不同列構建復雜的多個索引，以提高數據訪問性能。與關系資料庫不同的是，HBase只有一個索引——行鍵，通過巧妙的設計，HBase中所有訪問方法，或者通過行鍵訪問，或者通過行鍵掃描，從而使整個系統不會慢下來。由於HBase位於Hadoop框架之上，因此可以使用Hadoop MapRece來快速、高效地生成索引表。
6.數據維護。在關系資料庫中，更新操作會用最新的當前值去替換記錄中原來的舊值，舊值被覆蓋後就不會存在。而在HBase中執行更新操作時，並不會刪除數據舊的版本，而是生成一個新的版本，舊有的版本仍舊保留。
7.可伸縮性。關系資料庫很難實現橫向擴展，縱向擴展的空間也比較有限。相反，HBase和BigTable這些分布式資料庫就是為了實現靈活的水平擴展而開發的，因此能夠輕易地通過在集群中增加或者減少硬體數量來實現性能的伸縮。
但是，相對於關系資料庫來說，HBase也有自身的局限性，如HBase不支持事務，因此無法實現跨行的原子性。
註：本來也想來問這個問題，然後復制一下的。結果找不到，只好自己手打了，麻煩復制拿去用的同學點下贊唄。