hadoop高級編程

⑴ 用通俗易懂的話說下hadoop是什麼，能做

hadoop是什麼？
(1)Hadoop是一個開源的框架，可編寫和運行分布式應用處理大規模數據，是專為離線和大規模數據分析而設計的，並不適合那種對幾個記錄隨機讀寫的在線事務處理模式。Hadoop=HDFS（文件系統，數據存儲技術相關）+ Maprece（數據處理），Hadoop的數據來源可以是任何形式，在處理半結構化和非結構化數據上與關系型資料庫相比有更好的性能，具有更靈活的處理能力，不管任何數據形式最終會轉化為key/value，key/value是基本數據單元。用函數式變成Maprece代替sql，SQL是查詢語句，而Maprece則是使用腳本和代碼，而對於適用於關系型資料庫，習慣SQL的Hadoop有開源工具hive代替。
(2)Hadoop就是一個分布式計算的解決方案.
hadoop能做什麼？
hadoop擅長日誌分析，2009年時非編程人員的30%的人使用HiveQL進行數據分析；自定義篩選也使用的Hive；利用Pig還可以做高級的數據處理，的40%的Hadoop作業是用pig運行的，包括垃圾郵件的識別和過濾，還有用戶特徵建模。

⑵ 大數據學什麼語言

1、Python語言

十多年來，Python在學術界當中一直很流行，尤其是在自然語言處理（NLP）等領域。因而，如果你有一個需要NLP處理的項目，就會面臨數量多得讓人眼花繚亂的選擇，包括經典的NTLK、使用GenSim的主題建模，或者超快、准確的spaCy。同樣，說到神經網路，Python同樣游刃有餘，有Theano和Tensorflow；隨後還有面向機器學習的scikit-learn，以及面向數據分析的NumPy和Pandas。

還有Juypter/iPython――這種基於Web的筆記本伺服器框架讓你可以使用一種可共享的日誌格式，將代碼、圖形以及幾乎任何對象混合起來。這一直是Python的殺手級功能之一，不過這年頭，這個概念證明大有用途，以至於出現在了奉行讀取－讀取－輸出－循環（REPL）概念的幾乎所有語言上，包括Scala和R。

Python往往在大數據處理框架中得到支持，但與此同時，它往往又不是「一等公民」。比如說，Spark中的新功能幾乎總是出現在Scala/java綁定的首位，可能需要用PySpark編寫面向那些更新版的幾個次要版本（對Spark Streaming/MLLib方面的開發工具而言尤為如此）。

與R相反，Python是一種傳統的面向對象語言，所以大多數開發人員用起來會相當得心應手，而初次接觸R或Scala會讓人心生畏懼。一個小問題就是你的代碼中需要留出正確的空白處。這將人員分成兩大陣營，一派覺得「這非常有助於確保可讀性」，另一派則認為，我們應該不需要就因為一行代碼有個字元不在適當的位置，就要迫使解釋器讓程序運行起來。

2、R語言

在過去的幾年時間中，R語言已經成為了數據科學的寵兒——數據科學現在不僅僅在書獃子一樣的統計學家中人盡皆知，而且也為華爾街交易員，生物學家，和矽谷開發者所家喻戶曉。各種行業的公司，例如Google，Facebook，美國銀行，以及紐約時報都使用R語言，R語言正在商業用途上持續蔓延和擴散。

R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創建平整的圖形來代表數字。它被比喻為是Excel的一個極度活躍版本。

R語言最偉大的資本是已圍繞它開發的充滿活力的生態系統：R語言社區總是在不斷地添加新的軟體包和功能到它已經相當豐富的功能集中。據估計，超過200萬的人使用R語言，並且最近的一次投票表明，R語言是迄今為止在科學數據中最流行的語言，被61%的受訪者使用(其次是Python，39%)。

3、JAVA

Java，以及基於Java的框架，被發現儼然成為了矽谷最大的那些高科技公司的骨骼支架。 「如果你去看Twitter，LinkedIn和Facebook，那麼你會發現，Java是它們所有數據工程基礎設施的基礎語言，」Driscoll說。

Java不能提供R和Python同樣質量的可視化，並且它並非統計建模的最佳選擇。但是，如果你移動到過去的原型製作並需要建立大型系統，那麼Java往往是你的最佳選擇。

⑶ hadoop課程設計

1. 大數據專業課程有哪些

首先我們要了解Java語言和linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
記住學到這里可以作為你學大數據的一個節點。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

2. hadoop視頻教程下載

其實這個課程講的「微博」項目是《HBase in action》中的例子。其中的源代碼都放在 github 上面。

3. 請問哪位有《深入淺出Hadoop實戰開發》的視頻教程

Hadoop是什麼，為什麼要學習Hadoop?

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
Hadoop帶有用Java 語言編寫的框架，因此運行在 Linux 生產平台上是非常理想的。本課程的講解是採用linux平台進行模擬講解，完全基於真實場景進行模擬現實

亮點一:技術點全面,體系完善
本課程在兼顧Hadoop課程知識體系完善的前提下，把實際開發中應用最多、最深、最實用的技術抽取出來，通過本課程，你將達到技術的新高點，進入雲計算的美好世界。在技術方面你將徹底掌握基本的Hadoop集群；Hadoop HDFS原理；Hadoop HDFS基本的命令；Namenode的工作機制；HDFS基本配置管理；MapRece原理； HBase的系統架構；HBase的表結構；HBase如何使用MapRece；MapRece高級編程；split的實現詳解；Hive入門；Hive結合MapRece；Hadoop的集群安裝等眾多知識點。

亮點二:基礎+實戰=應用,兼顧學與練
課程每階段都安排了實戰應用項目,以此方便學生能更快的掌握知識點的應用，如在第一階段,課程結合HDFS應用,講解了圖片伺服器的設計、以及如何利用Java API去對HDFS操作、在第二階段;課程結合HBase實現微博項目的各種功能，使學員可以活學活用。在第三階段:HBase和MapRece結合時下了實現話單查詢與統計系統，在第四階段，Hive實戰部分，通過實戰數據統計系統，使學員在最短的時間內掌握Hive的高級應用。

亮點三:講師豐富的電信集團雲平台運作經驗
講師robby擁有豐富的電信集團工作經驗，目前負責雲平台的各方面工作，並擁有多年的企業內部培訓經驗。講課內容完全貼近企業需求，絕不紙上談兵。

更多技術亮點參考課程大綱:（本大綱以章節形式命名要為防止某些章節1章節內容超過1課時)

第1章節:
> Hadoop背景
> HDFS設計目標
> HDFS不適合的場景
> HDFS架構詳盡分析
> MapRece的基本原理

第2章節
> Hadoop的版本介紹
> 安裝單機版Hadoop
> 安裝Hadoop集群

第3章節
> HDFS命令行基本操作
> Namenode的工作機制
> HDFS基本配置管理

第4章節
> HDFS應用實戰：圖片伺服器(1) - 系統設計
> 應用的環境搭建 php + bootstrap + java
> 使用Hadoop Java API實現向HDFS寫入文件

第5章節
> HDFS應用實戰：圖片伺服器(2)
> 使用Hadoop Java API實現讀取HDFS中的文件
> 使用Hadoop Java API實現獲取HDFS目錄列表
> 使用Hadoop Java API實現刪除HDFS中的文件

第6章節
> MapRece的基本原理
> MapRece的運行過程
> 搭建MapRece的java開發環境
> 使用MapRece的java介面實現WordCount

第7章節
> WordCount運算過程分析
> MapRece的biner
> 使用MapRece實現數據去重
> 使用MapRece實現數據排序
> 使用MapRece實現數據平均成績計算

第8章節
> HBase詳細介紹
> HBase的系統架構
> HBase的表結構，RowKey，列族和時間戳
> HBase中的Master，Region以及Region Server

第9章節
> 使用HBase實現微博應用（1）
> 用戶注冊，登陸和注銷的設計
> 搭建環境 struts2 + jsp + bootstrap + jquery + HBase Java API
> HBase和用戶相關的表結構設計
> 用戶注冊的實現

第10章節
> 使用HBase實現微博應用（2）
> 使用session實現用戶登錄和注銷
> 「關注"功能的設計
> 「關注"功能的表結構設計
> 「關注"功能的實現

第11章節
> 使用HBase實現微博應用（3）
> 「發微博"功能的設計
> 「發微博"功能的表結構設計
> 「發微博"功能的實現
> 展現整個應用的運行

第12章節
> HBase與MapRece介紹
> HBase如何使用MapRece

第13章節
> HBase應用實戰：話單查詢與統計（1）
> 應用的整體設計
> 開發環境搭建
> 表結構設計

第14章節
> HBase應用實戰：話單查詢與統計（2）
> 話單入庫單設計與實現
> 話單查詢的設計與實現

第15章節
> HBase應用實戰：話單查詢與統計（3）
> 統計功能設計
> 統計功能實現

第16章節
> 深入MapRece（1）
> split的實現詳解
> 自定義輸入的實現
> 實例講解

第17章節
> 深入MapRece（2）
> Rece的partition
> 實例講解

第18章節
> Hive入門
> 安裝Hive
> 使用Hive向HDFS存入結構化數據
> Hive的基本使用

第19章節
> 使用MySql作為Hive的元資料庫
> Hive結合MapRece

第20章節
> Hive應用實戰:數據統計（1）
> 應用設計，表結構設計

第21章節
> Hive應用實戰：數據統計（2）
> 數據錄入與統計的實現

4. 哪個課程題庫有hadoop的題

這是在一個平衡Hadoop集群中，為數據節點/任務追蹤器提供的規格：
在一個磁碟陣列中要有12到24個1~4TB硬碟
2個頻率為2~2.5GHz的四核、六核或八核CPU
64~512GB的內存
有保障的千兆或萬兆乙太網（存儲密度越大，需要的網路吞吐量越高）
名位元組點角色負責協調集群上的數據存儲，作業追蹤器協調數據處理（備用的名位元組點不應與集群中的名位元組點共存，並且運行在與之相同的硬體環境上。）。Cloudera客戶購買在RAID1或10配置上有足夠功率和級磁碟數的商用機器來運行名位元組點和作業追蹤器。

NameNode也會直接需要與群集中的數據塊的數量成比列的RAM。一個好的但不精確的規則是對於存儲在分布式文件系統裡面的每一個1百萬的數據塊，分配1GB的NameNode內存。於在一個群集裡面的100個DataNodes而言，NameNode上的64GB的RAM提供了足夠的空間來保證群集的增長。我們也把HA同時配置在NameNode和JobTracker上，
這里就是為NameNode／JobTracker／Standby NameNode節點群的技術細節。驅動器的數量或多或少，將取決於冗餘數量的需要。
4–6 1TB 硬碟驅動器 採用 一個 JBOD 配置 (1個用於OS, 2個用於文件系統映像[RAID 1], 1個用於Apache ZooKeeper, 1個用於Journal節點)
2 4-/16-/8-核心 CPUs, 至少運行於 2-2.5GHz
64-128GB 隨機存儲器
Bonded Gigabit 乙太網卡 or 10Gigabit 乙太網卡
記住, 在思想上，Hadoop 體系設計為用於一種並行環境。

5. 大數據的課程都有哪些

大數據本身屬於交叉學科，涵蓋計算機、統計學、數學三個學科的專業知識。所以大數據的課程內容，基本上也是圍繞著三個學科展開的。
數理統計方面：數學分析、統計學習、高等代數、離散數學、概率與統計等課程是基本配置。
計算機專業課程：數據結構、數據科學、程序設計、演算法分析與設計、數據計算智能、資料庫系統、計算機系統基礎、並行體系結構與編程、非結構化大數據分析等，也是必備課程。
而想要真正找到工作的話，大數據主流技術框架，也要去補充起來，這才是找工作當中能夠獲得競爭力的加分項。

6. hadoop 集群教程

要教程？不明白你這個啥意思

7. 有哪些好的hadoop學習資料

1."Hadoop.Operations.pdf.zip"//vdisk.weibo/s/vDOQs6xMAQH62
2."Hadoop權威指南(中文版)(帶書簽).pdf"Hadoop權威指南(中文版)(帶書簽).pdf
3."[Hadoop權威指南(第2版)].pdf"[Hadoop權威指南(第2版)].pdf
4."hadoop權威指南第3版2012.rar"hadoop權威指南第3版2012.rar

5.《Hadoop技術內幕：深入解析HadoopCommon和HDFS.pdf"《Hadoop技術內幕：深入解析Hadoop Common和HDFS.pdf
6."Hadoop技術內幕：深入解析MapRece架構設計與實現原理.pdf"Hadoop技術內幕：深入解析MapRece架構設計與實現原理.pdf

7."Hadoop實戰.pdf"Hadoop實戰.pdf
8."Hadoop實戰-陸嘉恆(高清完整版).pdf"Hadoop實戰-陸嘉恆(高清完整版).pdf
9."Hadoop實戰(第2版).pdf"Hadoop實戰(第2版).pdf
10."HadoopinAction.pdf"Hadoop in Action.pdf

11"Hadoop in practice.pdf"Hadoop in practice.pdf
12"HadoopThe.Definitive.Guide,3Ed.pdf"Hadoop The.Definitive.Guide,3Ed.pdf
13."O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf"O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf

14."hadoop入門實戰手冊.pdf"hadoop入門實戰手冊.pdf
15."Hadoop入門手冊.chm"Hadoop入門手冊.chm

16."windows下配置cygwin、hadoop等並運行maprece及maprece程序講解.doc"windows下配置cygwin、hadoop等並運行maprece及maprece程序講解.doc
17"在Windows上安裝Hadoop教程.pdf"在Windows上安裝Hadoop教程.pdf

18."Hadoop源代碼分析(完整版).pdf"Hadoop源代碼分析(完整版).pdf
19."hadoop-api.CHM"hadoop-api.CHM

20."HBase-Hadoop@小米.pptx" HBase-Hadoop@小米.pptx
21."但彬-Hadoop平台的大數據整合.pdf"但彬-Hadoop平台的大數據整合.pdf

22."QCon2013-羅李-Hadoop在阿里.pdf"QCon2013-羅李
23."網路hadoop計算技術發展.pdf"網路hadoop計算技術發展.pdf
24."QCon-吳威-基於Hadoop的海量數據平台.pdf"QCon-吳威-基於Hadoop的海量數據平台.pdf
25."8步安裝好你的hadoop.docx"8步安裝好你的hadoop.docx
26."hadoop運維經驗分享.ppsx"hadoop運維經驗分享.ppsx

27."PPT集萃：20位Hadoop專家分享大數據技術工具與最佳實踐.rar"PPT集萃：20位Hadoop專家分享大數據技術工具與最佳實踐.rar
28."Hadoop2.0基本架構和發展趨勢.pdf"Hadoop 2.0基本架構和發展趨勢.pdf
29."Hadoop與大數據技術大會PPT資料.rar"Hadoop與大數據技術大會PPT資料.rar
30."Hadoop2011雲計算大會.rar"Hadoop2011雲計算大會.rar

⑷ 大數據學習，為什麼要先學習java

學大數據部分之前要先學習一種計算機編程語言。【大數據開發】需要編程語言的基礎，因為大數據的開發基於一些常用的高級語言，比如Java和.Net。不論是hadoop，還是數據挖掘，都需要有高級編程語言的基礎。因此，如果想學習大數據開發，還是需要至少精通一門高級語言。

java具有簡單性、面向對象、分布式、健壯性、安全性、平台獨立與可移植性、多線程、動態性等特點。如果對java有一定的了解，就更應該清楚java是一個強類型編程語言，擁有極高的跨平台能力，還有就是java的異常處理能夠保證系統的穩定性。目前，【java語言】的應用也是很廣泛，對於學習大數據的人而言是很多人的選擇，hadoop及其它大數據處理技術都用到了java，像Apache的基於Java的HBase和Accumulo以及ElasticSearchas等。所以想要進入大數據領域的小夥伴，大部分都會選擇從java編程語言開始學起。感興趣的話點擊此處，免費學習一下

想了解更多有關大數據的相關信息，推薦咨詢【達內教育】。該機構致力於面向IT互聯網行業，培養軟體開發工程師、測試工程師、UI設計師、網路營銷工程師、會計等職場人才，擁有行業內完善的教研團隊，強大的師資力量，確保學員利益，全方位保障學員學習；更是與多家企業簽訂人才培養協議，全面助力學員更好就業。達內IT培訓機構,試聽名額限時搶購。

⑸ 大數據需要學習java嗎

學習大數據一定要學習編程語言，因為不論是從事大數據開發崗位，還是從事大數據分析崗位和大數據運維崗位，編程語言都是非常重要的工具，但是不同崗位對於編程語言的要求是不同的，比如當前從事大數據開發崗位，那麼可以重點學習一下Java，而從事大數據分析崗位和大數據運維崗位，學習Python則是不錯的選擇。
Java除了是大數據開發、大數據分析的必備基礎知識，還可以適用於其他的技術領域。而且Java的語言特點，是學習大數據的基礎

⑹ Hadoop常見問題解答

Hadoop常見問題解答
（1）Hadoop適不適用於電子政務？為什麼？
電子政務是利用互聯網技術實現政府組織結構和工作流程的重組優化，建成一個精簡、高效、廉潔、公平的政府運作信息服務平台。因此電子政務肯定會產生相關的大量數據以及相應的計算需求，而這兩種需求涉及的數據和計算達到一定規模時傳統的系統架構將不能滿足，就需要藉助海量數據處理平台，例如Hadoop技術，因此可以利用Hadoop技術來構建電子政務雲平台。

總結一下，任何系統沒有絕對的適合和不適合，只有當需求出現時才可以決定，在一個非常小的電子政務系統上如果沒有打數據處理以及計算分析需求時就不需要hadoop這樣的技術，而實際上，商用的電子政務平台往往涉及到大規模的數據和大量的計算分析處理需求，因此就需要Hadoop這樣的技術來解決。（2）hadoop對於實時在線處理有優勢嗎？
直接使用hadoop進行實時處理時沒有優勢的，因為Hadoop主要解決的是海量批處理作業計算問題，但是可以使用基於Hadoop的分布式NOSQL系統HBase系統以及相關實時處理系統：
1. 基於Hadoop的HBase可以做到實時處理以及相關需求的實時計算，主要解決海量<key,value>相關查詢計算等需求。
2. 可以考慮Spark計算，Spark是基於共現內存RDD的系統，比Hadoop更快，時候迭代式計算，例如數據挖掘，機器學習演算法等。
3. 還有Storm，Storm是一個免費開源、分布式、高容錯的實時計算系統，Storm經常用於在實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。
4. 考慮S4， S4是Yahoo!在2010年10月開源的一套通用、分布式、可擴展、部分容錯、具備可插拔功能的平台。這套平台主要是為了方便開發者開發處理流式數據（continuous unbounded streams of data）的應用。
你可以依據實際的需求來選擇合適的系統。
（3）Hadoop存儲海量數據沒有問題，但是如何能夠做到海量數據的實時檢索？
1,可以結合開源的搜索引擎Apache Lucene，Solr 或ElasticSearch
2,海量數據的實時檢索可以考慮HBase，建議可以使用hadoop將數據構建成以查詢key為鍵的數據集，然後將<key, value>集合寫入Hbase表中，Hbase會自動以key為鍵進行索引，在數十億甚至以上的級別下，查詢key的value響應時間也估計再10毫秒內。
如果檢索條件是多個組合的情況下，可以適當的設計多個hbase表格，這樣的檢索也是很快的，同時Hbase也是支持二級索引。在符合條件下查詢，Hbase也是支持MapRece的，如果對響應時間要求不高的情況下，可以考慮將hive和Hbase系統結合來使用。
如果數據量不是很大的情況下也可以考慮支持類似SQL的NOSLQ系統。
（4）能不能給點hadoop的學習方法以及學習規劃，hadoop系統有點龐大，感覺無從學起?
首先搞清楚什麼是hadoop以及hadoop可以用來做什麼？
然後，可以從最經典的詞頻統計程序開始，初步了解MapRece的基本思路和處理數據的方式。
接著，就可以正式學習hadoop的基本原理，包括HDFS和MapRece，先從整體，宏觀核心原理看，先別看源碼級別。
進一步，就可以深入HDFS和MapRece和模塊細節，這個時候可以結合源碼深入理解，以及實現機制。
最後就是需要實戰了，可以結合自己的項目或者相關需求來完成一些hadoop相關應用。
（5） 大的文件拆分成很多小的文件後，怎樣用Hadoop進行高效的處理這些小文件？以及怎樣讓各個節點盡可能的負載均衡？
1. 怎樣用Hadoop進行高效的處理這些小文件？
你這個問題提的很好，hadoop在處理大規模數據時是很高效的，但是處理大量的小文件時就會因為系統資源開銷過大而導致效率較低，針對這樣的問題，可以將小文件打包為大文件，例如使用SequcenFile文件格式，例如以文件簽名為key，文件內容本身為value寫成SequcenFile文件的一條記錄，這樣多個小文件就可以通過SequcenFile文件格式變為一個大文件，之前的每個小文件都會映射為SequcenFile文件的一條記錄。
2. 怎樣讓各個節點盡可能的負載均衡？
在hadoop集群中負載均衡是非常關鍵的，這種情況的導致往往是因為用戶的數據分布的並不均衡，而計算資源槽位數確實均衡分布在每個節點，這樣在作業運行時非本地任務會有大量的數據傳輸，從而導致集群負載不均衡，因此解決不均衡的要點就是將用戶的數據分布均衡，可以使用hadoop內置的balancer腳本命令。
對於因為資源調度導致的不均衡則需要考慮具體的調度演算法和作業分配機制。
(6)c/c++ 程序員如何入門Hadoop到深入了解，並在Linux伺服器上布置運用，有沒有方向性的指導?
針對C/C++用戶，Hadoop提供了hadoop streaming介面和pipes介面，hadoop streaming介面以標准輸入和標准輸出作為用戶程序和hadoop框架交互的中間件，pipes這是專門針對C/C++語言的介面，以socket作為同學中介。
從使用上建議從streaming入手，pipes相比streaming問題比較多，而且pipes調試不容易。
(7)現在企業中使用Hadoop版本主要是1.x還是2.x？
目前網路，騰訊，阿里為主的互聯網公司都是以hadoop 1.X為基準版本的，當然每個公司都會進行自定義的二次開發以滿足不同的集群需求。
2.X在網路內部還沒有正式使用，還是以1.X為主，不過網路針對1.X的問題開發了HCE系統（Hadoop C++ Expand系統）
補充，Hadoop2.x在其他公司應用的很多，比如京東
(8)以後想從事大數據方面工作，演算法要掌握到什麼程度，演算法佔主要部分嗎?
首先，如果要從事大數據相關領域的話，hadoop是作為工具來使用的，首先需要掌握使用方法。可以不用深入到hadoop源碼級別細節。
然後就是對演算法的理解，往往需要設計到數據挖掘演算法的分布式實現，而演算法本身你還是需要理解的，例如常用的k-means聚類等。
(9)現在spark，storm越來越火，谷歌也發布了Cloud Dataflow，是不是Hadoop以後主要應該學習hdfs和yarn，而且以後Hadoop程序員的主要做的就是把這些東西打包，只提供介面讓普通的程序員也能使用，就像Cloudera和Google一樣?
這位同學，你多慮了，hadoop和spark, strom是解決不同的問題，不存在哪個好那個壞，要學習Hadoop還是以主流的hadoop-1.X為版本，2.X最主要的就是多了yarn框架，很好理解的。
如果你是hadoop本身研發建議都看，如果你是hadoop應用相關研發，看主流的1.X就行，我的書《Hadoop核心技術》是以主流的1.X為版本講解的，有興趣可以看看。
(10)小白問一句，大數據處理都是伺服器上安裝相關軟體嗎，對程序有什麼影響呢，集群、大數據是屬於運維的工作內容還是攻城獅的呢?
傳統的程序只能運行在單機上，而大數據處理這往往使用分布式編程框架編寫，例如hadoop maprece，只能運行在hadoop集群平台上。
運維的責任：保證集群，機器的穩定性和可靠性
hadoop系統本身研發：提高Hadoop集群的性能，增加新功能。
大數據應用：把hadoop作為工具，去實現海量數據處理或者相關需求。
(11)學習hadoop該怎麼入手呢？應該做一些什麼樣的項目呢？
可以參考我上面的幾個回答，可以從最簡單詞頻統計程序入手，然後學習理解HDFS和MapRece的基本原理和核心機制，如果僅僅把Hadoop作為一個工具來使用的話這樣就可以了，最重要的就是實戰了，可以嘗試使用Hadoop處理一些數據，例如做日誌分析，數據統計，排序，倒排索引等典型應用。
(12)100個以上hadoop節點，一般怎麼開發，運維？任務很多的情況下任務資源怎麼分配，任務執行順序是定時腳本還是別的什麼方式控制?
1. 首先大數據的應用開發和hadoop集群的規模是沒有關系，你指的是集群的搭建和運維嗎，對於商用的hadoop系統來說涉及到很多東西，建議參考《hadoop核心技術》實戰篇 「第10章Hadoop集群搭建 」 章節。
2. 任務的分配是有hadoop的調度器的調度策略決定的，默認為FIFO調度，商業集群一般使用多隊列多用戶調度器，可以參考參考《hadoop核心技術》高級篇 「第9章Hadoop作業調度系統」 章節。
3. 任務的執行順序是有用戶控制的，你自然可以定時啟動，也可以手動啟動。
(13)基於Hadoop做開發，是否必須會使用Java，使用其他開發語言是否無法更好的融入整個Hadoop的開發體系?
基於Hadoop做開發可以使用任何語言，因為hadoop提高了streaming編程框架和pipes編程介面，streaming框架下用戶可以使用任何可以操作標准輸入輸出的計算機語言來開發hadoop應用。
(14)在rece階段老是卡在最後階段很長時間，在網上查的說是有可能是數據傾斜，我想問這個有啥解決方法嗎?
1,你這個就是數據傾斜啊 好多數據都集中在一個rece里 其他rece里分配的數據比較少 默認情況下決定哪些數據分配到哪個rece是由rece個數和partiiton分區決定的 默認是對key進行hash運算 一般情況下用mapreuce傾斜很少 除非你用的HIVE
2,rece分為3個子階段：shuffle、sort和rece，如果rece整個過程耗時較長，建議先看一下監控界面是卡在哪個階段，如果是卡在shuffle階段往往是網路阻塞問題，還有就是某rece數據量太大，也就是你所說的數據傾斜問題，這種問題往往因為某個key的value太多，解決方法是：第一，默認的partiiton可能不適合你的需求，你可以自定義partiiton；第二就是在map端截斷，盡量讓達到每個rece端的數據分布均勻。
(15)非大數據的項目能否用hadoop?
非大數據項目是否可以用Hadoop的關鍵問題在於是否有海量數據的存儲，計算，以及分析挖掘等需求，如果現有系統已經很好滿足當前需求那麼就沒有必要使用Hadoop，沒有必要使用並不意味這不能使用Hadoop，很多傳統系統能做的Hadoop也是可以做的，例如使用HDFS來代替LINUX NFS，使用MapRece來代替單伺服器的統計分析相關任務，使用Hbase代替Mysql等關系資料庫等，在數據量不大的情況下通常Hadoop集群肯定比傳統系統消耗更多的資源。
(16)hadoop maprece 和第三方資源管理調度系統如何集成？
Hadoop的調度器設計的一個原則就是可插拔式調度器框架，因此是很容易和第三方調度器集成的，例如公平調度器FairScheler和容量調度器CapacityScheler，並配置mapred-site.xml的maprece.jobtracker.taskscheler以及調度器本身的配置參數，例如公平調度器控制參數則需要編輯fair- scheler.xml進行配置，具體可以參考我的新書《Hadoop核心技術》實戰篇第十章節10.11的集群搭建實例中的10.10.9 配置第三方調度器，同時可以進一步深入學習第9章 Hadoop作業調度系統，在這一章中會詳細介紹各種第三方調度器以及使用配置方法。

⑺ 成為hadoop大數據分析師要學哪些課程

首先要學習基礎的JAVA 然後研究hadoop以及相關的工具 框架 ，這些學習完應用開發基本沒有什麼問題了。
因為做的是大數據 還應該了解一些SQL知識， 大數據基本都是操作文件的，所以資料庫相關的了解一下就可以了 。

⑻ hadoop，storm和spark的區別，比較

一、hadoop、Storm該選哪一個？
為了區別hadoop和Storm，該部分將回答如下問題：
1.hadoop、Storm各是什麼運算
2.Storm為什麼被稱之為流式計算系統
3.hadoop適合什麼場景，什麼情況下使用hadoop
4.什麼是吞吐量

首先整體認識：Hadoop是磁碟級計算，進行計算時，數據在磁碟上，需要讀寫磁碟；Storm是內存級計算，數據直接通過網路導入內存。讀寫內存比讀寫磁碟速度快n個數量級。根據Harvard CS61課件，磁碟訪問延遲約為內存訪問延遲的75000倍。所以Storm更快。

注釋：
1. 延時 ， 指數據從產生到運算產生結果的時間，「快」應該主要指這個。
2. 吞吐， 指系統單位時間處理的數據量。

storm的網路直傳、內存計算，其時延必然比hadoop的通過hdfs傳輸低得多；當計算模型比較適合流式時，storm的流式處理，省去了批處理的收集數據的時間；因為storm是服務型的作業，也省去了作業調度的時延。所以從時延上來看，storm要快於hadoop。

從原理角度來講：

Hadoop M/R基於HDFS，需要切分輸入數據、產生中間數據文件、排序、數據壓縮、多份復制等，效率較低。
Storm 基於ZeroMQ這個高性能的消息通訊庫，不持久化數據。

為什麼storm比hadoop快，下面舉一個應用場景
說一個典型的場景，幾千個日誌生產方產生日誌文件，需要進行一些ETL操作存入一個資料庫。

假設利用hadoop，則需要先存入hdfs，按每一分鍾切一個文件的粒度來算（這個粒度已經極端的細了，再小的話hdfs上會一堆小文件），hadoop開始計算時，1分鍾已經過去了，然後再開始調度任務又花了一分鍾，然後作業運行起來，假設機器特別多，幾鈔鍾就算完了，然後寫資料庫假設也花了很少的時間，這樣，從數據產生到最後可以使用已經過去了至少兩分多鍾。
而流式計算則是數據產生時，則有一個程序去一直監控日誌的產生，產生一行就通過一個傳輸系統發給流式計算系統，然後流式計算系統直接處理，處理完之後直接寫入資料庫，每條數據從產生到寫入資料庫，在資源充足時可以在毫秒級別完成。

同時說一下另外一個場景：
如果一個大文件的wordcount，把它放到storm上進行流式的處理，等所有已有數據處理完才讓storm輸出結果，這時候，你再把它和hadoop比較快慢，這時，其實比較的不是時延，而是比較的吞吐了。

--------------------------------------------------------------------------------------------------------------------------------
最主要的方面：Hadoop使用磁碟作為中間交換的介質，而storm的數據是一直在內存中流轉的。
兩者面向的領域也不完全相同，一個是批量處理，基於任務調度的；另外一個是實時處理，基於流。
以水為例，Hadoop可以看作是純凈水，一桶桶地搬；而Storm是用水管，預先接好（Topology），然後打開水龍頭，水就源源不斷地流出來了。

--------------------------------------------------------------------------------------------------------------------------------
Storm的主工程師Nathan Marz表示： Storm可以方便地在一個計算機集群中編寫與擴展復雜的實時計算，Storm之於實時處理，就好比Hadoop之於批處理。Storm保證每個消息都會得到處理，而且它很快——在一個小集群中，每秒可以處理數以百萬計的消息。更棒的是你可以使用任意編程語言來做開發。
Storm的主要特點如下：
1.簡單的編程模型。類似於MapRece降低了並行批處理復雜性，Storm降低了進行實時處理的復雜性。
2.可以使用各種編程語言。你可以在Storm之上使用各種編程語言。默認支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實現一個簡單的Storm通信協議即可。
3.容錯性。Storm會管理工作進程和節點的故障。
4.水平擴展。計算是在多個線程、進程和伺服器之間並行進行的。
5.可靠的消息處理。Storm保證每個消息至少能得到一次完整處理。任務失敗時，它會負責從消息源重試消息。
6.快速。系統的設計保證了消息能得到快速的處理，使用MQ作為其底層消息隊列。
7.本地模式。Storm有一個「本地模式」，可以在處理過程中完全模擬Storm集群。這讓你可以快速進行開發和單元測試。

--------------------------------------------------------------------------------------------------------------------------------
在消耗資源相同的情況下，一般來說storm的延時低於maprece。但是吞吐也低於maprece。storm是典型的流計算系統，maprece是典型的批處理系統。下面對流計算和批處理系統流程

這個個數據處理流程來說大致可以分三個階段：
1. 數據採集與准備
2. 數據計算（涉及計算中的中間存儲）， 題主中的「那些方面決定」應該主要是指這個階段處理方式。
3. 數據結果展現（反饋）

1）數據採集階段，目前典型的處理處理策略：數據的產生系統一般出自頁面打點和解析DB的log，流計算將數據採集中消息隊列（比如kafaka,metaQ,timetunle）等。批處理系統一般將數據採集進分布式文件系統（比如HDFS），當然也有使用消息隊列的。我們暫且把消息隊列和文件系統稱為預處理存儲。二者在延時和吞吐上沒太大區別，接下來從這個預處理存儲進入到數據計算階段有很大的區別，流計算一般在實時的讀取消息隊列進入流計算系統（storm）的數據進行運算，批處理一系統一般會攢一大批後批量導入到計算系統（hadoop），這里就有了延時的區別。
2）數據計算階段，流計算系統（storm）的延時低主要有一下幾個方面（針對題主的問題）
A： storm 進程是常駐的，有數據就可以進行實時的處理
maprece 數據攢一批後由作業管理系統啟動任務，Jobtracker計算任務分配，tasktacker啟動相關的運算進程
B： stom每個計算單元之間數據之間通過網路（zeromq）直接傳輸。
maprece map任務運算的結果要寫入到HDFS，在於rece任務通過網路拖過去運算。相對來說多了磁碟讀寫，比較慢
C： 對於復雜運算
storm的運算模型直接支持DAG（有向無環圖）
maprece 需要肯多個MR過程組成，有些map操作沒有意義的

3）數據結果展現
流計算一般運算結果直接反饋到最終結果集中（展示頁面，資料庫，搜索引擎的索引）。而maprece一般需要整個運算結束後將結果批量導入到結果集中。

實際流計算和批處理系統沒有本質的區別，像storm的trident也有批概念，而maprece可以將每次運算的數據集縮小（比如幾分鍾啟動一次），facebook的puma就是基於hadoop做的流計算系統。

二、高性能並行計算引擎Storm和Spark比較
Spark基於這樣的理念，當數據龐大時，把計算過程傳遞給數據要比把數據傳遞給計算過程要更富效率。每個節點存儲（或緩存）它的數據集，然後任務被提交給節點。
所以這是把過程傳遞給數據。這和Hadoop map/rece非常相似，除了積極使用內存來避免I/O操作，以使得迭代演算法（前一步計算輸出是下一步計算的輸入）性能更高。
Shark只是一個基於Spark的查詢引擎（支持ad-hoc臨時性的分析查詢）
而Storm的架構和Spark截然相反。Storm是一個分布式流計算引擎。每個節點實現一個基本的計算過程，而數據項在互相連接的網路節點中流進流出。和Spark相反，這個是把數據傳遞給過程。
兩個框架都用於處理大量數據的並行計算。
Storm在動態處理大量生成的「小數據塊」上要更好（比如在Twitter數據流上實時計算一些匯聚功能或分析）。
Spark工作於現有的數據全集（如Hadoop數據）已經被導入Spark集群，Spark基於in-memory管理可以進行快訊掃描，並最小化迭代演算法的全局I/O操作。
不過Spark流模塊（Streaming Mole）倒是和Storm相類似（都是流計算引擎），盡管並非完全一樣。
Spark流模塊先匯聚批量數據然後進行數據塊分發（視作不可變數據進行處理），而Storm是只要接收到數據就實時處理並分發。
不確定哪種方式在數據吞吐量上要具優勢，不過Storm計算時間延遲要小。
總結下，Spark和Storm設計相反，而Spark Steaming才和Storm類似，前者有數據平滑窗口（sliding window），而後者需要自己去維護這個窗口。

⑼ 北大青鳥設計培訓：Java和大數據該怎麼選擇呢

Java和大數據在IT行業中都是火爆的代名詞，當下很多人都很好奇它們之間的關系，聽說學大數據前還得先學Java，但是它們又屬於不同的行業，Java和大數據究竟有著什麼樣的聯系，Java和大數據哪個好就業呢?該怎麼選擇呢?諸多疑問，跟北大青鳥http://www.kmbdqn.cn/往下看，一起來破解疑問。
首先來了解下Java和大數據的關系?當下如果你選擇學大數據，並且選擇的是參加大數據培訓的話，你會發現你首先接觸的不是大數據，而是Java，大數據培訓前期學的都是Java語言，Java和大數據聯系是相當的緊密，那麼學大數據前為什麼要先學Java語言呢?你可知道原因。
Java是門高端的計算機編程語言，學大數據不論是hadoop，還是數據挖掘，都需要有高級編程語言的基礎，而Hadoop以及其他大數據處理技術很多都是用Java，例如Apache的基於Java的HBase和Accumulo以及ElasticSearchas，因此學習Hadoop的一個首要條件，就是掌握Java語言編程。
了解了Java和大數據之間的關系，那麼Java和大數據哪個好就業呢?其實當下Java和大數據都很火爆，就業前景都不錯，當下是技術性人才時代，企業青睞有一技之長的朋友時，更加青睞具備混合技術的人才，你可以成為Java+大數據混合型人才，那麼在就業當中更具備競爭力，薪資待遇自然也更好。

⑽ 在大數據學習中Hadoop和Spark哪個更好就業

大數據的hadoop和spark都是大數據開發所用到的一種開發軟體工具，合格的大數據開發工程師需要掌握的技能很多，具體崗位（大數據開發，大數據分析，數據產品經理等）要求的重點不同。如需大數據培訓推薦選擇【達內教育】。

Hadoop與Spark都是大數據計算框架，但是兩者各有自己的優勢，Spark與Hadoop的區別主要有以下幾點：
1、編程方式
Hadoop的MapRece在計算數據時，計算過程必須要轉化為Map和Rece兩個過程，從而難以描述復雜的數據處理過程；而Spark的計算模型不局限於Map和Rece操作，還提供了多種數據集的操作類型，編程模型比MapRece更加靈活。
2、數據存儲
Hadoop的MapRece進行計算時，每次產生的中間結果都是存儲在本地磁碟中；而Spark在計算時產生的中間結果存儲在內存中。
3、數據處理
Hadoop在每次執行數據處理時，都需要從磁碟中載入數據，導致磁碟的I/O開銷較大；而Spark在執行數據處理時，只需要將數據載入到內存中，之後直接在內存中載入中間結果數據集即可，減少了磁碟的1O開銷等。感興趣的話點擊此處，免費學習一下

想了解更多有關大數據的相關信息，推薦咨詢【達內教育】。該機構是引領行業的職業教育公司，致力於面向IT互聯網行業培養人才，達內大型T專場招聘會每年定期舉行，為學員搭建快捷高效的雙選綠色通道，在提升學員的面試能力、積累面試經驗同時也幫助不同技術方向的達內學員快速就業。達內IT培訓機構,試聽名額限時搶購。