hadoop是資料庫

❶ 計算機裡面Hbase作用是什麼

HBase是一個分布式的、面向列的開源資料庫，該技術來源於 Fay Chang 所撰寫的Google論文「Bigtable：一個結構化數據的分布式存儲系統」。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
模型
主要討論邏輯模型和物理模型
（1）邏輯模型
Hbase的名字的來源是Hadoop database，即hadoop資料庫。
主要是從用戶角度來考慮，即如何使用Hbase。
（2）物理模型
主要從實現Hbase的角度來討論

HBase數據模型
邏輯結構
邏輯上，HBase 的數據模型同關系型資料庫很類似，數據存儲在一張表中，有行有列。但從 HBase 的底層物理存儲結構(K-V)來看，HBase 更像是一個 multi-dimensional map

❷ Hadoop到底是什麼玩意

Hadoop到底是個啥？
答：Hadoop是基於廉價設備利用集群的威力對海量數據進行安全存儲和高效計算的分布式存儲和分析框架，Hadoop本身是一個龐大的項目家族，其核心 家族或者底層是HDFS和MapRece，HDFS和MapRece分別用來實現對海量數據的存儲和分析，其它的項目，例如Hive、HBase 等都是基於HDFS和MapRece，是為了解決特定類型的大數據處理問題而提出的子項目，使用Hive、HBase等子項目可以在更高的抽象的基礎上更簡單的編寫分布式大數據處理程序。Hadoop的其它子項目還包括Common, Avro, Pig, ZooKeeper, Sqoop, Oozie 等，隨著時間的推移一些新的子項目會被加入進來，一些關注度不高的項目會被移除Hadoop家族，所以Hadoop是一個充滿活力的系統。
Apache Hadoop: 是Apache開源組織的一個分布式計算開源框架，提供了一個分布式文件系統子項目(HDFS)和支持MapRece分布式計算的軟體架構。
Apache Hive: 是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，通過類sql語句快速實現簡單的MapRece統計，不必開發專門的MapRece應用，十分適合數據倉庫的統計分析。
ApachePig: 是一個基於Hadoop的大規模數據分析工具，它提供的SQL-LIKE語言叫Pig Latin，該語言的編譯器會把類SQL的數據分析請求轉換為一系列經過優化處理的MapRece運算。
ApacheHBase: 是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
Apache Sqoop: 是一個用來將Hadoop和關系型資料庫中的數據相互轉移的工具，可以將一個關系型資料庫（MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型資料庫中。
Apache Zookeeper: 是一個為分布式應用所設計的分布的、開源的協調服務，它主要是用來解決分布式應用中經常遇到的一些數據管理問題，簡化分布式應用協調及其管理的難度，提供高性能的分布式服務 ApacheMahout:是基於Hadoop的機器學習和數據挖掘的一個分布式框架。Mahout用MapRece實現了部分數據挖掘演算法，解決了並行挖掘的問題。
ApacheCassandra:是一套開源分布式NoSQL資料庫系統。它最初由Facebook開發，用於儲存簡單格式數據，集Google BigTable的數據模型與AmazonDynamo的完全分布式的架構於一身 Apache Avro: 是一個數據序列化系統，設計用於支持數據密集型，大批量數據交換的應用。Avro是新的數據序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制 ApacheAmbari: 是一種基於Web的工具，支持Hadoop集群的供應、管理和監控。
ApacheChukwa: 是一個開源的用於監控大型分布式系統的數據收集系統，它可以將各種各樣類型的數據收集成適合 Hadoop 處理的文件保存在 HDFS 中供Hadoop 進行各種 MapRece 操作。
ApacheHama: 是一個基於HDFS的BSP（Bulk Synchronous Parallel)並行計算框架, Hama可用於包括圖、矩陣和網路演算法在內的大規模、大數據計算。
ApacheFlume: 是一個分布的、可靠的、高可用的海量日誌聚合的系統，可用於日誌數據收集，日誌數據處理，日誌數據傳輸。
ApacheGiraph: 是一個可伸縮的分布式迭代圖處理系統， 基於Hadoop平台，靈感來自 BSP (bulk synchronous parallel) 和Google 的 Pregel。
ApacheOozie: 是一個工作流引擎伺服器, 用於管理和協調運行在Hadoop平台上（HDFS、Pig和MapRece）的任務。
ApacheCrunch: 是基於Google的Flumejava庫編寫的Java庫，用於創建MapRece程序。與Hive，Pig類似，Crunch提供了用於實現如連接數據、執行聚合和排序記錄等常見任務的模式庫 ApacheWhirr: 是一套運行於雲服務的類庫（包括Hadoop），可提供高度的互補性。Whirr學支持Amazon EC2和Rackspace的服務。
ApacheBigtop: 是一個對Hadoop及其周邊生態進行打包，分發和測試的工具。
ApacheHCatalog: 是基於Hadoop的數據表和存儲管理，實現中央的元數據和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供關系視圖。
ClouderaHue: 是一個基於WEB的監控和管理系統，實現對HDFS，MapRece/YARN, HBase, Hive, Pig的web化操作和管理。

❸ hbase與hadoop關系

Hbase，其實是Hadoop Database的簡稱，本質上來說就是Hadoop系統的資料庫，為Hadoop框架當中的結構化數據提供存儲服務，是面向列的分布式資料庫。

❹ hadoop是做什麼的

提供海量數據存儲和計算的，需要java語言基礎。

Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。

特點

1、快照支持在一個特定時間存儲一個數據拷貝，快照可以將失效的集群回滾到之前一個正常的時間點上。HDFS已經支持元數據快照。

2、HDFS的設計是用於支持大文件的。運行在HDFS上的程序也是用於處理大數據集的。這些程序僅寫一次數據，一次或多次讀數據請求，並且這些讀操作要求滿足流式傳輸速度。

HDFS支持文件的一次寫多次讀操作。HDFS中典型的塊大小是64MB，一個HDFS文件可以被切分成多個64MB大小的塊，如果需要，每一個塊可以分布在不同的數據節點上。

3、階段狀態：一個客戶端創建一個文件的請求並不會立即轉發到名位元組點。實際上，一開始HDFS客戶端將文件數據緩存在本地的臨時文件中。

❺ hadoop是什麼意思與大數據有什麼關系

一、hadoop是什麼意思？

Hadoop是具體的開源框架，是工具，用來做海量數據的存儲和計算的。

二、hadoop與大數據的關系

首先，大數據本身涉及到一個龐大的技術體系，從學科的角度來看，涉及到數學、統計學和計算機三大學科，同時還涉及到社會學、經濟學、醫學等學科，所以大數據本身的知識量還是非常大的。

從當前大數據領域的產業鏈來看，大數據領域涉及到數據採集、數據存儲、數據分析和數據應用等環節，不同的環節需要採用不同的技術，但是這些環節往往都要依賴於大數據平台，而Hadoop則是當前比較流行的大數據平台之一。

Hadoop平台經過多年的發展已經形成了一個比較完善的生態體系，而且由於Hadoop平台是開源的，所以很多商用的大數據平台也是基於Hadoop搭建的，所以對於初學大數據的技術人員來說，從Hadoop開始學起是不錯的選擇。

當前Hadoop平台的功能正在不斷得到完善，不僅涉及到數據存儲，同時也涉及到數據分析和數據應用，所以對於當前大數據應用開發人員來說，整體的知識結構往往都是圍繞大數據平台來組織的。隨著大數據平台逐漸開始落地到傳統行業領域，大數據技術人員對於大數據平台的依賴程度會越來越高。

當前從事大數據開發的崗位可以分為兩大類，一類是大數據平台開發，這一類崗位往往是研發級崗位，不僅崗位附加值比較高，未來的發展空間也比較大，但是大數據平台開發對於從業者的要求比較高，當前有不少研究生在畢業後會從事大數據平台開發崗位。

另一類是大數據應用開發崗位，這類崗位的工作任務就是基於大數據平台(Hadoop等)來進行行業應用開發，在工業互聯網時代，大數據應用開發崗位的數量還是比較多的，而且大數據應用開發崗位對於從業者的要求也相對比較低。

❻ hadoop是資料庫技術嗎

Hadoop不是資料庫技術。Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。
Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。
Hadoop的框架最核心的設計就是：HDFS和MapRece。HDFS為海量的數據提供了存儲，則MapRece為海量的數據提供了計算。

❼ hadoop和mysql區別

1. hadoop和mysql嚴格的來說沒有任何關系，區別為hadoop是一種分布式計算框架，用於處理大量的數據，而mysql是資料庫用來存放數據的。

但是一般來說，配合hadoop的資料庫不是mysql這類傳統的關系型資料庫，因為當數據量非常大的時候，這些資料庫的處理速度會非常慢（就算做了集群也一樣慢），取而代之的則是hbase這類非關系型資料庫，在大量數據處理過程中，處理速度會比較穩定。

2. hadoop跟mysql的區別是什麼？

舉個簡單的例子。mysql就是一個麻袋，裡面裝的是數據。而hadoop則是一種很強大的工具，它的作用就是去處理包括這些麻袋在內的大數據。

所以，實際上他倆是不存在直接關系的。

❽ Hadoop到底是干什麼用的

用途：將單機的工作任務進行分拆，變成協同工作的集群。用以解決日益增加的文件存儲量和數據量瓶頸。

通俗應用解釋：

比如計算一個100M的文本文件中的單詞的個數，這個文本文件有若干行，每行有若干個單詞，每行的單詞與單詞之間都是以空格鍵分開的。對於處理這種100M量級數據的計算任務，把這個100M的文件拷貝到自己的電腦上，然後寫個計算程序就能完成計算。

關鍵技術：

HDFS（Hadoop Distributed File System）：

既可以是Hadoop 集群的一部分，也可以是一個獨立的分布式文件系統，是開源免費的大數據處理文件存儲系統。

HDFS是Master和Slave的主從結構（是一種概念模型，將設備分為主設備和從設備，主設備負責分配工作並整合結果，或作為指令的來源；從設備負責完成工作，一般只能和主設備通信）。主要由Name-Node、Secondary NameNode、DataNode構成。

Name-Node：分布式文件系統中的管理者，主要負責管理文件系統的命名空間、集群配置信息和存儲塊的復制等

Secondary NameNode：輔助 NameNode，分擔其工作，緊急情況可以輔助恢復

DataNode：Slave節點，實際存儲數據、執行數據塊的讀寫並匯報存儲信息給NameNode

HDFS客戶端的存儲流程：當客戶需要寫數據時，先在NameNode 上創建文件結構並確定數據塊副本將要寫道哪幾個 datanode ，然後將多個代寫 DataNode 組成一個寫數據管道，保證寫入過程完整統一寫入。

讀取數據時則先通過 NameNode 找到存儲數據塊副本的所有 DataNode ，根據與讀取客戶端距離排序數據塊，然後取最近的。