当前位置: Oracle DBA培训网-优技培训 >> Hadoop大数据 > Hadoop培训教程 >

Hadoop大数据教程:基础环境配置

Hadoop大数据教程:基础环境配置

Hadoop大数据教程:基础环境配置,在开始使用Hadoop之前还需要有一个Hadoop的基础测试环境,这里搭建一个简单的伪分布式模式来提供一个测试环境。关于生产环境下的Hadoop的安装、部署将在后续章节详细讲解。

系统平台:Hadoop支持GUN/Linux系统,并推荐使用Linux作为开发测试和生产环境的平台,Win32仅支持开发测试环境,不推荐其作为生产环境系统,这里推荐直接使用GUN/Linux作为Hadoop的测试环境。

软件准备:jdk版本需要java1.6.x以上,安装jd后并配置JAVA_HOME环境变量,以及PATH环境变量,还需要ssh及rsync软件。对于ubuntu Linux发行版,使用以下命令进行

安装:

sudo apt-get install ssh

sudo apt-get install rsync

对于RedHat/CentOS使用以下命令进行安装:

sudo yum install ssh

sudo yum install rsync

由于Hadoop使用ssh协议来管理远程守护进程,因此还需要配置免密码登录,对于单机伪分布式使用以下命令进行操作:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后就可以使用ssh localhost命令来测试是否还需要密码才能登录了,如果不需要密码就可以进入,则说明免密码配置成功。

技术沙龙MORE+

标签错误:<!-- #Label# labelId=20160707140604 moduleId=1 classId=12231768634 orderby=2 fields=url,title,u_info attribute= datatypeId=22192428132 recordCount=3 pageSize= <htmlTemplate><dt><img src="/images/index_26${index}.jpg" width="100" height="62" /><a href="$url" title="${title}">${title}</a><span>${api.left(u_info,60)}</span></dt></htmlTemplate> -->
我要参加技术沙龙