当前位置: Oracle DBA培训网-优技培训 >> Hadoop大数据 > Hadoop培训教程 >

Hadoop大数据教程:基于Java API实现作业提交

Hadoop大数据教程:基于Java API实现作业提交

Hadoop大数据教程:基于Java API实现作业提交,使用Hadoop的提交命令就可以将在本地编译并打包好的程序提交到Hadoop集群运行,提交的脚本命令如下:

#!/bin/bash

#提交运行脚本

HADOOP_VERSION=1.0.4

jar_path = /usr/nuoline/wordcount/wordcount.jar #用户程序所在目录

HADOOP_HOME=/home/nuoline/Hadoop-$HADOOP_VERSION

input=/usr/nuoline/wordcount/input #HDFS中的输入路径

output=/usr/nuoline/wordcount/output #是HDFS中的输出路径

$HADOOP_HOME/bin/Hadoop jar $jar_path MyWordCount $input $output

在提交的脚本中至少需要指定HADOOP_HOME环境变量,同时还需要指定编译打包好的jar文件目录,执行命令后先根据HADOOP_HOME得到conf目录的配置文件,再确定提交集群的属性参数。

技术沙龙MORE+

标签错误:<!-- #Label# labelId=20160707140604 moduleId=1 classId=12231768634 orderby=2 fields=url,title,u_info attribute= datatypeId=22192428132 recordCount=3 pageSize= <htmlTemplate><dt><img src="/images/index_26${index}.jpg" width="100" height="62" /><a href="$url" title="${title}">${title}</a><span>${api.left(u_info,60)}</span></dt></htmlTemplate> -->
我要参加技术沙龙