Hadoop大数据教程:基础环境配置
Hadoop大数据教程:基础环境配置,在开始使用Hadoop之前还需要有一个Hadoop的基础测试环境,这里搭建一个简单的伪分布式模式来提供一个测试环境。关于生产环境下的Hadoop的安装、部署将在后续章节详细讲解。
系统平台:Hadoop支持GUN/Linux系统,并推荐使用Linux作为开发测试和生产环境的平台,Win32仅支持开发测试环境,不推荐其作为生产环境系统,这里推荐直接使用GUN/Linux作为Hadoop的测试环境。
软件准备:jdk版本需要java1.6.x以上,安装jd后并配置JAVA_HOME环境变量,以及PATH环境变量,还需要ssh及rsync软件。对于ubuntu Linux发行版,使用以下命令进行
安装:
sudo apt-get install ssh
sudo apt-get install rsync
对于RedHat/CentOS使用以下命令进行安装:
sudo yum install ssh
sudo yum install rsync
由于Hadoop使用ssh协议来管理远程守护进程,因此还需要配置免密码登录,对于单机伪分布式使用以下命令进行操作:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后就可以使用ssh localhost命令来测试是否还需要密码才能登录了,如果不需要密码就可以进入,则说明免密码配置成功。
-
标签错误:<!-- #Label#
labelId=20160707140604
moduleId=1
classId=12231768634
orderby=2
fields=url,title,u_info
attribute=
datatypeId=22192428132
recordCount=3
pageSize=
<htmlTemplate><dt><img src="/images/index_26${index}.jpg" width="100" height="62" /><a href="$url" title="${title}">${title}</a><span>${api.left(u_info,60)}</span></dt></htmlTemplate>
-->
- 我要参加技术沙龙