当前位置： Oracle DBA培训网-优技培训 >> Hadoop大数据 > Hadoop培训教程 >

Hadoop大数据教程：基于Streaming实现作业提交

Hadoop大数据教程：基于Streaming实现作业提交，通过执行2.4.2中Streaming方式的编译命令后，会得到可执行程序WordcountMap和WordcountReduce，分别为词频统计的Map和Reduce，然后就可以使用Hadoop Streaming命令来实现作业提交。提交运行脚本的命令如下：

#!/bin/bash

#提交运行脚本

HADOOP_VERSION=1.0.4

Work_path=/home/nuoline/swordcount #用户程序所在目录

HADOOP_HOME=/home/nuoline/Hadoop-$HADOOP_VERSION

streaming=$HADOOP_HOME/contrib/streaming/Hadoop-streaming-$HADOOP_VERSION.jar

$HADOOP_HOME/bin/Hadoop jar $streaming \

-f?ile $Work_path/WordcountMap \

-mapper WordcountMap \

-f?ile $Work_path/WordcountReduce \

-reducer WordcountReduce \

-input /usr/nuoline/wordcount/sinput \

-output /usr/nuoline/wordcount/soutput \

-numReduceTasks 1 \

-jobconf MapRed.job.name="MyWordcount"

在上述提交运行脚本的命令中需要指定HADOOP_HOME环境变量。Streaming命令中最基本的参数说明如表2-1所示。

Streaming用户非常灵活，用户在提交作业到Hadoop集群之前最好能在本地测试一下。本地测试可以使用Linux命令来模拟Hadoop处理流程，命令如下：

cat input.txt / WordcountMap / sort / WordcountReduce > output.txt

input.txt是词频统计的测试用例，output.txt是输出，需要注意的是Map之后需要sort命令，这是因为在Hadoop中Map处理完之后会依据键key进行排序，如果程序在本地测试正常，就可以安全地将其提交到Hadoop上运行。Streaming本身还有很多用法，更详细的内容将在后续章节进行详细介绍。

推荐机构MORE+

技术沙龙MORE+

Oracle技术沙龙：【数据保护顶尖技术－MAA】首次全国首播12c MAA技术云数据库加上MAA技术组成最豪华的技...
Oracle技术沙龙第49期：【Oracle 数据库云技术分享】Oracle技术沙龙第49期：【Oracle 数据库云技术分享】本次技术沙...
Oracle技术沙龙第48期：【Oracle 12c RAC安装】小编：今天讲什么内容呢?以后有什么用呢? 大师：今天讲的是12c...: 我要参加技术沙龙

Oracle公开课MORE+

Oracle技术MORE+