当前位置:首页 » 文件管理 » hadoop查看文件夹

hadoop查看文件夹

发布时间: 2025-07-19 20:19:12

① 如何查看hadoop版本

通过在集群上执行:hadoop version 命令可以查看对应的hadoop的版本。

查看hadoop集群的位数:

执行:cd $HADOOP_HOME/lib/native

file libhadoop.so.1.0.0

Hadoop属于一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。

Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,DKhadoop等都提供了自己的商业版本。

商业发行版主要是提供了更为专业的技术支持,这对于大型企业更为重要,不同发行版都有自己的一些特点。

(1)hadoop查看文件夹扩展阅读:

对比版选择:DKhadoop发行版、cloudera发行版、hortonworks发行版。

1、DKhadoop发行版:有效的集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。

因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。

2、Cloudera发行版:CDH是Cloudera的hadoop发行版,完全开源,比Apache hadoop在兼容性,安全性,稳定性上有增强。

3、€Hortonworks发行版:Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品。

其版本特点:HDP包括稳定版本的Apache Hadoop的所有关键组件;安装方便,HDP包括一个现代化的,直观的用户界面的安装和配置工具。

② hadoop中在HDFS中创建一个input目录,然后hadoop fs -ls命令

从fs -ls从列出来的文件看,这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候,不是采用的hadoop用户,而是用root用户执行的拷贝命令,你可能忘记切换用户了,可以删除现在的input目录(采用root用户运行hadoop的删除命令,或者不删除也没关系),重新使用hadoop用户把input导入到hdfs系统中试试看。
另外,实际上应用的时候是需要关注hdfs中文件的目录结构的。你现在采用的是默认的方式,缺省会放/user/${user.name}目录下。
在把本地文件导入到hdfs的时候,是可以指定传到什么目录的,比如:
#创建input目录
sh bin/hadoop fs -mkdir /user/hadoop/input
#把myfile.txt导入到hdfs的input目录下
sh bin/hadoop fs –put /usr/hadoop/mydata/myfile.txt /user/hadoop/input

热点内容
500glinux 发布:2025-07-20 00:57:44 浏览:285
王者苹果好友怎么加安卓 发布:2025-07-20 00:56:39 浏览:360
海康cvr网络存储 发布:2025-07-20 00:43:00 浏览:35
c语言树作用 发布:2025-07-20 00:41:17 浏览:283
解压短笑话 发布:2025-07-20 00:41:13 浏览:763
萌娃卡原始密码是多少 发布:2025-07-20 00:32:09 浏览:726
PLC转换全部编译 发布:2025-07-20 00:31:52 浏览:499
重庆ip服务器租用 发布:2025-07-20 00:31:01 浏览:637
怎么样知道迈腾b7配置 发布:2025-07-20 00:28:31 浏览:49
一解压缩包 发布:2025-07-20 00:26:18 浏览:135