Hadoop入门教程:Hadoop源代码编译
在Linux环境下编译源代码之前,需进行以下准备工作:
确保安装的Maven版本在3.0.2以上;
Protocol Buffers安装版本为2.5.0;
如果要启用findbugs,则需确认已经安装了Findbugs;
如果要编译native code,则需确认安装了CMake 2.6或者更新版本;
第一次编译代码,需确认可以连接互联网(Maven要从代码库中下载依赖包)。
Maven编译命令如表1-2所示。
Maven编译命令
如果仅编译生成JAR包而无须编译native code、测试用例和生成文档,可在Hadoop安装目录下并输入以下命令(推荐使用该命令编译Hadoop源代码):
mvn package -Pdist -DskipTests -Dtar
如果编译JAR包、native code并生成文档,可使用以下命令:
mvn package -Pdist,native,docs -DskipTests -Dtar
每个子模块编译后生成的JAR包放到了与源代码目录平级的target目录中,比如ResourceManager的源代码目录是:
${YARN_HOME}/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src
它对应生成JAR包放在了以下目录中:
${YARN_HOME}/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/target
如果修改了某个模块的代码,可编译后,将对应的JAR包覆盖到${HADOOP_HOME} /share/hadoop目录中对应的JAR包上。
如果仅编译Hadoop的某一个子模块,需将该模块依赖的JAR包作为它的第三方库引入。一种简单的实现方式是在Hadoop安装目录下输入以下命令编译所有源代码:
mvn install -DskipTests
然后进入子模块目录,编译生成对应的JAR包。
-
标签错误:<!-- #Label#
labelId=20160707140604
moduleId=1
classId=12231768634
orderby=2
fields=url,title,u_info
attribute=
datatypeId=22192428132
recordCount=3
pageSize=
<htmlTemplate><dt><img src="/images/index_26${index}.jpg" width="100" height="62" /><a href="$url" title="${title}">${title}</a><span>${api.left(u_info,60)}</span></dt></htmlTemplate>
-->
- 我要参加技术沙龙