当前位置:首页 » 文件管理 » hadoop查看文件夹

hadoop查看文件夹

发布时间: 2025-07-19 20:19:12

① 如何查看hadoop版本

通过在集群上执行:hadoop version 命令可以查看对应的hadoop的版本。

查看hadoop集群的位数:

执行:cd $HADOOP_HOME/lib/native

file libhadoop.so.1.0.0

Hadoop属于一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。

Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,DKhadoop等都提供了自己的商业版本。

商业发行版主要是提供了更为专业的技术支持,这对于大型企业更为重要,不同发行版都有自己的一些特点。

(1)hadoop查看文件夹扩展阅读:

对比版选择:DKhadoop发行版、cloudera发行版、hortonworks发行版。

1、DKhadoop发行版:有效的集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。

因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。

2、Cloudera发行版:CDH是Cloudera的hadoop发行版,完全开源,比Apache hadoop在兼容性,安全性,稳定性上有增强。

3、€Hortonworks发行版:Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品。

其版本特点:HDP包括稳定版本的Apache Hadoop的所有关键组件;安装方便,HDP包括一个现代化的,直观的用户界面的安装和配置工具。

② hadoop中在HDFS中创建一个input目录,然后hadoop fs -ls命令

从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。
另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/${user.name}目录下。
在把本地文件导入到hdfs的时候,是可以指定传到什么目录的,比如:
#创建input目录
sh bin/hadoop fs -mkdir /user/hadoop/input
#把myfile.txt导入到hdfs的input目录下
sh bin/hadoop fs –put /usr/hadoop/mydata/myfile.txt /user/hadoop/input

热点内容
电脑怎么配置便宜还不卡 发布:2025-09-11 04:13:36 浏览:891
qq登了密码在哪里查看 发布:2025-09-11 03:55:17 浏览:36
重新编译libxml2 发布:2025-09-11 03:50:16 浏览:780
罗技lua脚本 发布:2025-09-11 03:39:02 浏览:340
fonts文件夹只读 发布:2025-09-11 03:32:05 浏览:722
python有编译功能 发布:2025-09-11 03:25:40 浏览:285
怎么创建本地服务器 发布:2025-09-11 03:14:41 浏览:556
c语言两数相乘 发布:2025-09-11 03:07:04 浏览:973
天翼云服务器备份到本地 发布:2025-09-11 02:47:06 浏览:593
php左对齐 发布:2025-09-11 02:26:54 浏览:350