当前位置: Oracle DBA培训网-优技培训 >> Hadoop大数据 > Hadoop培训教程 >

Hadoop入门基础课程1-3--Hadoop变量配置

Hadoop入门基础课程1-3--Hadoop变量配置

2.3.1解压并移动hadoop安装包

在Apache的归档目录中下载hadoop-1.1.2-bin.tar.gz安装包,也可以在/home/shiyanlou/install-pack目录中找到该安装包,解压该安装包并把该安装包复制到/app目录中

cd /home/shiyanlou/install-pack

tar -xzf hadoop-1.1.2-bin.tar.gz

mv hadoop-1.1.2 /app

2.3.2在hadoop-1.1.2目录下创建子目录

cd /app/hadoop-1.1.2

mkdir tmp

mkdir hdfs

mkdir hdfs/name

mkdir hdfs/data

ls

把hdfs/data设置为755,否则DataNode会启动失败

2.3.3配置hadoop-env.sh

1.进入hadoop-1.1.2/conf目录,打开配置文件hadoop-env.sh

cd /app/hadoop-1.1.2/conf

vi hadoop-env.sh

2.加入配置内容,设置了hadoop中jdk和hadoop/bin路径

export JAVA_HOME=/app/lib/jdk1.7.0_55

export PATH=$PATH:/app/hadoop-1.1.2/bin

3.编译配置文件hadoop-env.sh并确认生效

source hadoop-env.sh

hadoop version

2.3.4配置core-site.xml

1.使用如下命令打开core-site.xml配置文件

cd /app/hadoop-1.1.2/conf

sudo vi core-site.xml

2.在配置文件中,按照如下内容进行配置

fs.default.name

hdfs://hadoop:9000

hadoop.tmp.dir

/app/hadoop-1.1.2/tmp

2.3.5配置hdfs-site.xml

1.使用如下命令打开hdfs-site.xml配置文件

cd /app/hadoop-1.1.2/conf

sudo vi hdfs-site.xml

2.在配置文件中,按照如下内容进行配置

dfs.replication

1

dfs.name.dir

/app/hadoop-1.1.2/hdfs/name

dfs.data.dir

/app/hadoop-1.1.2/hdfs/data

2.3.6配置mapred-site.xml

1.使用如下命令打开mapred-site.xml配置文件

cd /app/hadoop-1.1.2/conf

sudo vi mapred-site.xml

2.在配置文件中,按照如下内容进行配置

mapred.job.tracker

hadoop:9001

2.3.7配置masters和slaves文件

1.设子主节点

cd /app/hadoop-1.1.2/conf

vi masters

设置hadoop机器为master节点

2.设置从节点

cd /app/hadoop-1.1.2/conf

vi slaves

设置hadoop机器为slaves节点,即本身即是master也是slaves节点

2.3.8格式化namenode

在hadoop机器上使用如下命令进行格式化namenode

cd /app/hadoop-1.1.2/bin

./hadoop namenode -format

2.3.9启动hadoop

cd /app/hadoop-1.1.2/bin

./start-all.sh

2.3.10 用jps检验各后台进程是否成功启动

使用jps命令查看hadoop相关进程是否启动

这时我们发现少了一个DataNode进程,到$HADOOP_HOME/logs目下,使用cat hadoop-shiyanlou-datanode-5****.log(***表示所在机器名)查看日志文件,可以看到在日志中提示:Invalid directory in dfs.data.dir:Incorrect permission for /app/hadoop-1.1.2/hdfs/data, expected:rwxr-xr-x, while actual: rwxrwxr-x

sudo chmod 755 /app/hadoop-1.1.2/hdfs/data

重新启动hadoop集群,可以看到DataNode进程

技术沙龙MORE+

Oracle技术沙龙:【数据保护顶尖技术-MAA】首次全国首播12c MAA技术 云数据库加上MAA技术组成最豪华的技...
Oracle技术沙龙第49期:【Oracle 数据库云技术分享】Oracle技术沙龙第49期:【Oracle 数据库云技术分享】本次技术沙...
Oracle技术沙龙第48期:【Oracle 12c RAC安装】小编:今天讲什么内容呢?以后有什么用呢? 大师:今天讲的是12c...
我要参加技术沙龙

关闭