Hadoop大数据教程:基于Java API实现作业提交
Hadoop大数据教程:基于Java API实现作业提交,使用Hadoop的提交命令就可以将在本地编译并打包好的程序提交到Hadoop集群运行,提交的脚本命令如下:
#!/bin/bash
#提交运行脚本
HADOOP_VERSION=1.0.4
jar_path = /usr/nuoline/wordcount/wordcount.jar #用户程序所在目录
HADOOP_HOME=/home/nuoline/Hadoop-$HADOOP_VERSION
input=/usr/nuoline/wordcount/input #HDFS中的输入路径
output=/usr/nuoline/wordcount/output #是HDFS中的输出路径
$HADOOP_HOME/bin/Hadoop jar $jar_path MyWordCount $input $output
在提交的脚本中至少需要指定HADOOP_HOME环境变量,同时还需要指定编译打包好的jar文件目录,执行命令后先根据HADOOP_HOME得到conf目录的配置文件,再确定提交集群的属性参数。
Oracle技术沙龙:【数据保护顶尖技术-MAA】首次全国首播12c MAA技术 云数据库加上MAA技术组成最豪华的技...
Oracle技术沙龙第49期:【Oracle 数据库云技术分享】Oracle技术沙龙第49期:【Oracle 数据库云技术分享】本次技术沙...
Oracle技术沙龙第48期:【Oracle 12c RAC安装】小编:今天讲什么内容呢?以后有什么用呢? 大师:今天讲的是12c...
- 我要参加技术沙龙