当前位置:首页 » 编程软件 » maven编译hadoop

maven编译hadoop

发布时间: 2022-05-18 01:23:03

㈠ 如何使用Maven构建《hadoop权威指南3》随书的源码

《hadoop:the definitive guide 3th》中的例子默认提供了一种编译和构建jar包方法——maven,如果没有maven你会发现编译测试随书的源码会非常的麻烦(至少在命令行下),当然你也可以使用eclipse导入随书的源码再自己一个个的添加依赖性jar包(恐怕也不太容易)。不过还好有非常好的开源的软件项目管理工具来帮助我们做这些无关于程序本身设计与架构的琐碎的工作,那就是maven!
如果你对maven还不太了解,可以参看这里。

《hadoop:the definitive guide 3th》的源码包可以从github中下载到,如下图所示:

下面我们就可以切换到本书的源文件包的根目录下使用maven来构建本书的jar包了:
% mvn package -DskipTests -Dhadoop.version=1.0.4

执行过这条命令后就是很长时间的等待,maven会到他的中央仓库和apache的仓库中下载所需要的jar包和pom.xml文件(这个过程可能要持续大约一个小时,要确保你的电脑已经连上网络,下载完成后在~/.m2/repository文件夹中——也即本地仓库——可以看到已经下载下来的jar包和pom文件),然后再逐个构建根目录下pom.xml中配置的moles,等所有的工作做完就可以看到已经打包的各个jar包,从而可以很方便的在命令行使用hadoop命令测试书中的代码了。

㈡ hadoop源码修改了,编译成功后,将编译后的hadoop文件直接拿来搭建么,还是需要经过什么处理呢

把你编译后的hadoop源码丢到原来的hadoop集群环境中去 即覆盖hadoop安装目录下的原hadoop-core-xxx.jar 同样的所有节点都需要更新 然后重启集群

㈢ eclipse+maven开发hadoop2.6 一定要用插件吗

1.编译hadoop2.6.0的eclipse插件

编译源码:
cd src/contrib/eclipse-plugin
ant jar -Dversion=2.6.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/opt/hadoop-2.6.0
eclipse.home 和 hadoop.home 设置成你自己的环境路径

命令行执行编译,产生了8个警告信息,直接忽略。
compile:
[echo] contrib: eclipse-plugin
[javac] /software/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
[javac] Compiling 45 source files to /software/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/classes
[javac] /opt/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar(org/apache/hadoop/fs/Path.class): warning: Cannot find annotation method 'value()' in type 'LimitedPrivate': class file for org.apache.hadoop.classification.InterfaceAudience not found
[javac] /opt/hadoop-2.6.0/share/hadoop/hdfs/hadoop-hdfs-

㈣ maven-hadoop编译报错,跪求解答

因为信息都显示全了,没有找到org.apache.maven.plugins.mav,意思是没有找到maven的mav插件的元信息,你的maven配置不对,或者是你的插件jar包没有下载下来!clickfordetails,那是在错误多显示不全的情况下使用的!去你的库里找找你这个插件下载下来了吗!路径你没改就是在.m那个路径下,改了去你本地路径下找org.apache.maven下的是否可以解决您的问题?

㈤ 在Ubuntu中,用mvn打包hadoop源代码是报错,咋回事

将hadoop源码解压到一个目录,注意目录层次不要太深,否则可能无法解压。
进入hadoop-maven-plugins文件夹,执行 mvn install
返回源码根目录,执行 mvn eclipse:eclipse –DskipTests
eclipse在任意目录创建新的WorkSpace
eclipse设置Maven:window->preference->maven->{Installations...;user Settings:maven\conf\settings.xml}
eclipse:File->inport->Existing Projects into WorkSpace->Hadoop源码根目录

㈥ 编译hadoop2.2是maven怎么配置的

如果你下载的是hadoop发行包,不需要的。如采用mavan管理的项目一般在项目的根目录下都有一个pom.xml文件,如果没有这个文件一般就不是用maven来管理的。果你下载了只是hadoop源码,而且mavan源码是用maven管理的需要用maven编译。

㈦ Hadoop 执行mvn编译时候报错。求解。。。在线等急

这个文件解析失败了,可能是意外改动到了
109行左右,</pluginManagement>这个tag不匹配,估计没有开始的<pluginManagement>

重新网上下载一个,或者手动修复一下

热点内容
roblox跑酷脚本怎么做 发布:2024-05-05 03:57:35 浏览:701
捷径清理缓存 发布:2024-05-05 03:57:35 浏览:478
ftputility哪里下载 发布:2024-05-05 03:47:13 浏览:1000
雷凌运动版如何连接安卓手机导航 发布:2024-05-05 03:42:48 浏览:267
自动鬼使黑脚本 发布:2024-05-05 03:10:49 浏览:880
游戏脚本编程书籍推荐 发布:2024-05-05 02:59:13 浏览:72
编译器书籍推荐 发布:2024-05-05 02:57:02 浏览:56
电池存储温度 发布:2024-05-05 02:53:07 浏览:207
安卓在美国怎么下载 发布:2024-05-05 02:31:06 浏览:925
黑莓存储空间 发布:2024-05-05 02:19:50 浏览:275