Hadoop入门基础课程1-3--Hadoop变量配置
2.3.1解压并移动hadoop安装包
在Apache的归档目录中下载hadoop-1.1.2-bin.tar.gz安装包，也可以在/home/shiyanlou/install-pack目录中找到该安装包，解压该安装包并把该安装包复制到/app目录中
cd /home/shiyanlou/install-pack
tar -xzf hadoop-1.1.2-bin.tar.gz
mv hadoop-1.1.2 /app
2.3.2在hadoop-1.1.2目录下创建子目录
cd /app/hadoop-1.1.2
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
ls
把hdfs/data设置为755，否则DataNode会启动失败
2.3.3配置hadoop-env.sh
1.进入hadoop-1.1.2/conf目录，打开配置文件hadoop-env.sh
cd /app/hadoop-1.1.2/conf
vi hadoop-env.sh
2.加入配置内容，设置了hadoop中jdk和hadoop/bin路径
export JAVA_HOME=/app/lib/jdk1.7.0_55
export PATH=$PATH:/app/hadoop-1.1.2/bin
3.编译配置文件hadoop-env.sh并确认生效
source hadoop-env.sh
hadoop version
2.3.4配置core-site.xml
1.使用如下命令打开core-site.xml配置文件
cd /app/hadoop-1.1.2/conf
sudo vi core-site.xml
2.在配置文件中，按照如下内容进行配置
2.3.5配置hdfs-site.xml
1.使用如下命令打开hdfs-site.xml配置文件
cd /app/hadoop-1.1.2/conf
sudo vi hdfs-site.xml
2.在配置文件中，按照如下内容进行配置
2.3.6配置mapred-site.xml
1.使用如下命令打开mapred-site.xml配置文件
cd /app/hadoop-1.1.2/conf
sudo vi mapred-site.xml
2.在配置文件中，按照如下内容进行配置
2.3.7配置masters和slaves文件
1.设子主节点
cd /app/hadoop-1.1.2/conf
vi masters
设置hadoop机器为master节点
2.设置从节点
cd /app/hadoop-1.1.2/conf
vi slaves
设置hadoop机器为slaves节点，即本身即是master也是slaves节点
2.3.8格式化namenode
在hadoop机器上使用如下命令进行格式化namenode
cd /app/hadoop-1.1.2/bin
./hadoop namenode -format
2.3.9启动hadoop
cd /app/hadoop-1.1.2/bin
./start-all.sh
2.3.10 用jps检验各后台进程是否成功启动
使用jps命令查看hadoop相关进程是否启动
这时我们发现少了一个DataNode进程，到$HADOOP_HOME/logs目下，使用cat hadoop-shiyanlou-datanode-5****.log(***表示所在机器名)查看日志文件，可以看到在日志中提示：Invalid directory in dfs.data.dir:Incorrect permission for /app/hadoop-1.1.2/hdfs/data, expected:rwxr-xr-x, while actual: rwxrwxr-x
sudo chmod 755 /app/hadoop-1.1.2/hdfs/data
重新启动hadoop集群，可以看到DataNode进程
-
标签错误:<!-- #Label#
labelId=20160707140604
moduleId=1
classId=12231768634
orderby=2
fields=url,title,u_info
attribute=
datatypeId=22192428132
recordCount=3
pageSize=
<htmlTemplate><dt><img src="/images/index_26${index}.jpg" width="100" height="62" /><a href="$url" title="${title}">${title}</a><span>${api.left(u_info,60)}</span></dt></htmlTemplate>
-->
- 我要参加技术沙龙
