當前位置:首頁 » 文件管理 » hadoop查看文件夾

hadoop查看文件夾

發布時間: 2025-07-19 20:19:12

① 如何查看hadoop版本

通過在集群上執行:hadoop version 命令可以查看對應的hadoop的版本。

查看hadoop集群的位數:

執行:cd $HADOOP_HOME/lib/native

file libhadoop.so.1.0.0

Hadoop屬於一個能夠對大量數據進行分布式處理的軟體框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。

Hadoop的發行版除了有Apache hadoop外cloudera,hortonworks,mapR,DKhadoop等都提供了自己的商業版本。

商業發行版主要是提供了更為專業的技術支持,這對於大型企業更為重要,不同發行版都有自己的一些特點。

(1)hadoop查看文件夾擴展閱讀:

對比版選擇:DKhadoop發行版、cloudera發行版、hortonworks發行版。

1、DKhadoop發行版:有效的集成了整個HADOOP生態系統的全部組件,並深度優化,重新編譯為一個完整的更高性能的大數據通用計算平台,實現了各部件的有機協調。

因此DKH相比開源的大數據平台,在計算性能上有了高達5倍(最大)的性能提升。DKhadoop將復雜的大數據集群配置簡化至三種節點(主節點、管理節點、計算節點),極大的簡化了集群的管理運維,增強了集群的高可用性、高可維護性、高穩定性。

2、Cloudera發行版:CDH是Cloudera的hadoop發行版,完全開源,比Apache hadoop在兼容性,安全性,穩定性上有增強。

3、€Hortonworks發行版:Hortonworks 的主打產品是Hortonworks Data Platform (HDP),也同樣是100%開源的產品。

其版本特點:HDP包括穩定版本的Apache Hadoop的所有關鍵組件;安裝方便,HDP包括一個現代化的,直觀的用戶界面的安裝和配置工具。

② hadoop中在HDFS中創建一個input目錄,然後hadoop fs -ls命令

從fs -ls從列出來的文件看,這個文件夾/user/root/input是通過root用戶創建的。說明你在從本地文件系統拷貝input目錄到hdfs系統的時候,不是採用的hadoop用戶,而是用root用戶執行的拷貝命令,你可能忘記切換用戶了,可以刪除現在的input目錄(採用root用戶運行hadoop的刪除命令,或者不刪除也沒關系),重新使用hadoop用戶把input導入到hdfs系統中試試看。
另外,實際上應用的時候是需要關注hdfs中文件的目錄結構的。你現在採用的是默認的方式,預設會放/user/${user.name}目錄下。
在把本地文件導入到hdfs的時候,是可以指定傳到什麼目錄的,比如:
#創建input目錄
sh bin/hadoop fs -mkdir /user/hadoop/input
#把myfile.txt導入到hdfs的input目錄下
sh bin/hadoop fs –put /usr/hadoop/mydata/myfile.txt /user/hadoop/input

熱點內容
海康cvr網路存儲 發布:2025-07-20 00:43:00 瀏覽:34
c語言樹作用 發布:2025-07-20 00:41:17 瀏覽:281
解壓短笑話 發布:2025-07-20 00:41:13 瀏覽:762
萌娃卡原始密碼是多少 發布:2025-07-20 00:32:09 瀏覽:726
PLC轉換全部編譯 發布:2025-07-20 00:31:52 瀏覽:499
重慶ip伺服器租用 發布:2025-07-20 00:31:01 瀏覽:636
怎麼樣知道邁騰b7配置 發布:2025-07-20 00:28:31 瀏覽:49
一解壓縮包 發布:2025-07-20 00:26:18 瀏覽:134
經濟計演算法則 發布:2025-07-20 00:25:24 瀏覽:694
釘釘賬戶如何修改密碼 發布:2025-07-20 00:18:08 瀏覽:570