当前位置:首页 » 操作系统 » hadoop源码eclipse

hadoop源码eclipse

发布时间: 2025-06-06 00:02:36

A. 如何给eclipse安装hadoop插件找不到

1、下载Eclipse解压
2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。
我的hadoop集群用的版本:hadoop1.1.2
hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant编译
源文件在:hadoop-x.y.z/src/contrib/eclipse-plugin 下,注意:需要下载源目录的包,如查下载的是bin的压缩包,里面是没有eclipse插件的源文件的。
3、打开Eclipse
window-- Preferences 出现Hadoop Map/Rece
配置Hadoop installation directory:
注意:我的宿主机windows上并没有安装hadoop, hadoop安装在VM中的centos中
在windows下建了一个目录F:/myHadoop 把centos hadoop安装根目录下的jar包拷过来。
4、新建工程:Map/Rece Project
配置hadoop location:
5、刷新DFS Locations 列出HDFS服务器上的上的目录:
6、问题:
在Eclipse上可以列出hadoop集群上的目录,但不能创建文件,上传文件
原因:windows下Eclipse安装了hadoop插件,默认使用的是windows当前用户去操作hadoop,而我的hadoop集群当前的用户是grid
而Eclipse中hadoop locations 的高级参数配置,是不能修改这个用户的:
解决方法:
在windows用户和组的管理中,把当前用户修改成hadoop组grid用户。
但我的机器系统是win7家庭版,打不开用户和组管理:
不能已,用另一种方案:
windows上新建一个grid用户,然后再打开Eclipse,创建工程,进行以上的配置DFS Loactioins
发现这时,在Eclipse中可以列出目录,新建文件夹,上传文件了。( 或者修改hadoop集群上文件夹的权限,如:bin/hadoop fs -chmod 777 ./in, 下图第2个文件是修改hadoop集群文件平权限后上传的)

B. hadoopeclipse的插件怎么安装

1.插件安装
在$HADOOP_HOME/contrib/eclipse-plugin/文件夹中有个hadoop-eclipse-plugin-0.20.203.0.jar,把这个文件复制到eclipse/plugins(这是eclipse的插件目录)下面即可。
注意在直接复制时会出错,主要是缺少jar包。
解决方法:(1)将commons-httpclient-3.0.1.jar,jackson-core-asl-1.0.1.jar,jackson-mapper-asl-1.0.1.jar,commons-configuration-1.6.jar,lcommons-lang-2.4.jar(这几个jar包在$HADOOP_HOME/lib/下找到)放入hadoop-0.20.203.0-eclipse-plugin的lib下
(2)修改hadoop-0.20.203.0-eclipse-plugin/META-INF/MANIFEST.MF 中的Bundle-ClassPath项

1

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

2.环境配置
启动Eclipse,然后在Window->Preferences->Hadoop Map/Rece中添加Hadoop的安装目录
配置hadoop环境:在Window–>Show View中打开Map/Rece Locations,在底部会看到新的选项。然后右键–>New Hadoop Location,

Location name是你自己取的名字,我这里用了hadoop,Map/Rece Master这里的host和port对应上面mapred-site.xml中mapred.job.tracker的值,我配置的是localhost和9001;DFS Master对应上面core-site.xml中fs.default.name中的值,我配置的是localhost和9000.
完成后,如果屏幕左上方的DFS Locations中的内容可以正常显示,说明配置一切成功。

3.运行wordcount
使用Eclipse编写Hadoop的程序了,按该方式创建File->New->Project->Map/Rece Project.命名为hadoop-test。
将hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples下的wordcount.java复制到当前项目中。
注意:要在src中看到WordCount.java文件,如果已经复制过来还看不到,在hadoop-test上右击选择refresh试一试。
另外,直接复制过来的文件,第一行要注释掉 //package org.apache.hadoop.examples;

在Run configuration/Java Application/WordCount下进行程序参数设置

input为又本地导入HDFS得输入文件,其中包含两个文本文件,file01和file02
完成后,使用 Run As/Run on Hadoop运行~~~~
在HDFS系统视图下可以看到刚才得运行结果

中途碰到得问题:装得时候不知道怎么回事,项目侧边栏(Project explorer)看不见了。或者侧边栏是Package explorer,这种情况下是看不见DFS Locations的,应该在菜单栏
Window/Open pespective/<Map/Rece>。然后就能看到HDFS文件系统已经所创建得一些项目。

热点内容
安卓9系统日志收集在哪里 发布:2025-06-07 01:26:17 浏览:443
密码扑克怎么看 发布:2025-06-07 01:18:19 浏览:911
黑马php就业班 发布:2025-06-07 01:15:33 浏览:557
数据库练习答案 发布:2025-06-07 01:13:29 浏览:794
在c语言中函数名的存储类别为外部 发布:2025-06-07 00:50:38 浏览:586
安卓系统如何下载游戏不要钱 发布:2025-06-07 00:29:08 浏览:793
我的世界基岩版java互通的服务器 发布:2025-06-07 00:26:32 浏览:282
基于角色的访问控制 发布:2025-06-07 00:21:32 浏览:968
如何配置交换机安全 发布:2025-06-07 00:01:41 浏览:1000
怎么连接电脑电脑的密码在哪里 发布:2025-06-07 00:01:40 浏览:246