Hadoop入门基础课程1-3--Hadoop变量配置
2.3.1解压并移动hadoop安装包
在Apache的归档目录中下载hadoop-1.1.2-bin.tar.gz安装包,也可以在/home/shiyanlou/install-pack目录中找到该安装包,解压该安装包并把该安装包复制到/app目录中
cd /home/shiyanlou/install-pack
tar -xzf hadoop-1.1.2-bin.tar.gz
mv hadoop-1.1.2 /app

2.3.2在hadoop-1.1.2目录下创建子目录
cd /app/hadoop-1.1.2
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
ls

把hdfs/data设置为755,否则DataNode会启动失败

2.3.3配置hadoop-env.sh
1.进入hadoop-1.1.2/conf目录,打开配置文件hadoop-env.sh
cd /app/hadoop-1.1.2/conf
vi hadoop-env.sh

2.加入配置内容,设置了hadoop中jdk和hadoop/bin路径
export JAVA_HOME=/app/lib/jdk1.7.0_55
export PATH=$PATH:/app/hadoop-1.1.2/bin

3.编译配置文件hadoop-env.sh并确认生效
source hadoop-env.sh
hadoop version

2.3.4配置core-site.xml
1.使用如下命令打开core-site.xml配置文件
cd /app/hadoop-1.1.2/conf
sudo vi core-site.xml
2.在配置文件中,按照如下内容进行配置

2.3.5配置hdfs-site.xml
1.使用如下命令打开hdfs-site.xml配置文件
cd /app/hadoop-1.1.2/conf
sudo vi hdfs-site.xml
2.在配置文件中,按照如下内容进行配置

2.3.6配置mapred-site.xml
1.使用如下命令打开mapred-site.xml配置文件
cd /app/hadoop-1.1.2/conf
sudo vi mapred-site.xml
2.在配置文件中,按照如下内容进行配置

2.3.7配置masters和slaves文件
1.设子主节点
cd /app/hadoop-1.1.2/conf
vi masters
设置hadoop机器为master节点

2.设置从节点
cd /app/hadoop-1.1.2/conf
vi slaves
设置hadoop机器为slaves节点,即本身即是master也是slaves节点

2.3.8格式化namenode
在hadoop机器上使用如下命令进行格式化namenode
cd /app/hadoop-1.1.2/bin
./hadoop namenode -format

2.3.9启动hadoop
cd /app/hadoop-1.1.2/bin
./start-all.sh

2.3.10 用jps检验各后台进程是否成功启动
使用jps命令查看hadoop相关进程是否启动

这时我们发现少了一个DataNode进程,到$HADOOP_HOME/logs目下,使用cat hadoop-shiyanlou-datanode-5****.log(***表示所在机器名)查看日志文件,可以看到在日志中提示:Invalid directory in dfs.data.dir:Incorrect permission for /app/hadoop-1.1.2/hdfs/data, expected:rwxr-xr-x, while actual: rwxrwxr-x

sudo chmod 755 /app/hadoop-1.1.2/hdfs/data
重新启动hadoop集群,可以看到DataNode进程
Oracle技术沙龙:【数据保护顶尖技术-MAA】首次全国首播12c MAA技术 云数据库加上MAA技术组成最豪华的技...
Oracle技术沙龙第49期:【Oracle 数据库云技术分享】Oracle技术沙龙第49期:【Oracle 数据库云技术分享】本次技术沙...
Oracle技术沙龙第48期:【Oracle 12c RAC安装】小编:今天讲什么内容呢?以后有什么用呢? 大师:今天讲的是12c...
- 我要参加技术沙龙