linux查看hadoop版本

㈠ linux下怎麼知道hadoop安裝成功

驗證Hadoop是否安裝成功主要通過以下兩個網址。

http: //localhost:50030(MapRece的頁面)

http: //localhost:50070(HDFS的頁面)

如果都能查看，說明安裝成功。

一： 查看HDFS是否正常啟動。在瀏覽器中輸入http: //localhost:50070

以上界面為MapRece的管理界面，此界面表明MapRece的JobTracker已經正常啟動了。

㈡ Linux下安裝hadoop遇到的問題——輸入jps，不顯示SecondaryName、NameNode、DataNode，只顯示jps

在Linux下安裝Hadoop過程中，遇到安裝完成後執行jps命令時，未顯示SecondaryNameNode、NameNode、DataNode進程，僅顯示jps，這通常表明Hadoop集群配置或啟動過程存在一些問題。本文將針對這一現象進行分析，並提供解決方法。

首先，確認Hadoop安裝目錄及配置文件路徑正確。Hadoop的安裝路徑通常應為`/usr/local/hadoop`，配置文件位於`/etc/hadoop`。確保`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`及`yarn-site.xml`等配置文件正確無誤。

其次，檢查Hadoop服務是否成功啟動。Hadoop的啟動依賴於`start-all.sh`腳本。在`/usr/local/hadoop/bin`目錄下執行此腳本，如果一切配置無誤，Hadoop各組件將正常啟動。

再者，查看Hadoop日誌文件以獲取啟動過程中的具體錯誤信息。通常日誌文件位於`/usr/local/hadoop/logs`目錄，其中`hadoop.log`記錄了Hadoop啟動時的詳細信息。通過查看此日誌，可以發現啟動失敗的原因。

在上述步驟中，如果`./bin/hdfs namenode -format`命令執行時出現錯誤提示，可能是格式化文件系統或初始化命名空間時存在問題。檢查`hdfs-site.xml`文件中`dfs.namenode.format.path`和`dfs.namenode.format.class`配置項是否正確。

如果確認Hadoop各組件正常啟動，但執行`jps`命令時仍無SecondaryNameNode、NameNode、DataNode進程顯示，可以嘗試以下步驟進行排查：

1. 確認Hadoop服務啟動成功。在`/usr/local/hadoop/logs`目錄下，應能看到`hadoop`子目錄，其中包含`all.out`日誌文件。檢查此文件，查找Hadoop服務啟動的詳細信息。如果有任何錯誤輸出，需根據錯誤信息進行相應調整。

2. 檢查配置文件中涉及服務啟動的參數。例如，`mapred-site.xml`中的`maprece.jobhistory.address`、`hdfs-site.xml`中的`dfs.replication`等，確保參數設置符合預期。

3. 使用Hadoop客戶端命令，如`hadoop fs -ls /`，嘗試訪問HDFS文件系統。如果可以正常訪問，通常意味著Hadoop服務已成功啟動。

通過以上步驟，一般可以解決執行jps命令時不顯示SecondaryNameNode、NameNode、DataNode進程的問題。若問題仍未解決，建議檢查Hadoop安裝環境、系統許可權以及防火牆設置，確保所有組件的正確運行。

㈢ 如何查看hadoop版本

通過在集群上執行：hadoop version 命令可以查看對應的hadoop的版本。

查看hadoop集群的位數：

執行：cd $HADOOP_HOME/lib/native

file libhadoop.so.1.0.0

Hadoop屬於一個能夠對大量數據進行分布式處理的軟體框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。

Hadoop的發行版除了有Apache hadoop外cloudera，hortonworks，mapR，DKhadoop等都提供了自己的商業版本。

商業發行版主要是提供了更為專業的技術支持，這對於大型企業更為重要，不同發行版都有自己的一些特點。

(3)linux查看hadoop版本擴展閱讀：

對比版選擇：DKhadoop發行版、cloudera發行版、hortonworks發行版。

1、DKhadoop發行版：有效的集成了整個HADOOP生態系統的全部組件，並深度優化，重新編譯為一個完整的更高性能的大數據通用計算平台，實現了各部件的有機協調。

因此DKH相比開源的大數據平台，在計算性能上有了高達5倍(最大)的性能提升。DKhadoop將復雜的大數據集群配置簡化至三種節點(主節點、管理節點、計算節點)，極大的簡化了集群的管理運維，增強了集群的高可用性、高可維護性、高穩定性。

2、Cloudera發行版：CDH是Cloudera的hadoop發行版，完全開源，比Apache hadoop在兼容性，安全性，穩定性上有增強。

3、€Hortonworks發行版：Hortonworks 的主打產品是Hortonworks Data Platform (HDP)，也同樣是100%開源的產品。

其版本特點：HDP包括穩定版本的Apache Hadoop的所有關鍵組件;安裝方便，HDP包括一個現代化的，直觀的用戶界面的安裝和配置工具。