你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop主从节点之间建立SSH无密码登录

[日期:2015-01-19] 来源:Linux社区  作者:lizhangyong1989 [字体: ]

Hadoop使用ssh来通信。所以操作系统上必须安装ssh,本人采用的是Ubuntu 14,安装ssh后要保证sshd处于运行状态,如果没有安装ssh的话,

结点信息:(分布式集群架构:master为主节点,其余四个为从节点)

机器名

IP

作用

master

122.205.135.53

NameNode and JobTracker 

hadoop

122.205.135.212

DataNode and TaskTracker 

hadoop1

122.205.135.213

DataNode and TaskTracker

hadoop2

122.205.135.214

DataNode and TaskTracker

hadoop3

122.205.135.215

DataNode and TaskTracker

使用以下命令来安装:

$ sudo apt-get install ssh

$ sudo apt-get install rsync

这里注意:如果提示安装不了,说明我们的apt-get需要更新下,更新的命令如下:

sudo apt-get update

安装完成后出现如下图:

Hadoop主从节点之间建立SSH无密码登录

在Hadoop启动以后,namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。

namenode生成密钥:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

执行上述命令后会出现如下图:

Hadoop主从节点之间建立SSH无密码登录

这时候会在~/.ssh/目录下生成 id_dsa.pub文件,如果我们希望master 结点不需要密码就能使用ssh连接到slave结点,我们需要将master结点上的~/.ssh/id_dsa.pub的内容,添加到slave结点的~/.ssh/authorized_keys这个文件中。

如果slave结点的~/.ssh/authorized_keys这个文件不存在,可以直接将~/.ssh/id_dsa.pub文件复制过去并重命名为authorized_keys:

$ scp ~/.ssh/id_dsa.pub hadoop@122.205.135.212:~/.ssh/authorized_keys

Hadoop主从节点之间建立SSH无密码登录

这时,我们在122.205.135.212这个slave的机器中登陆进去看下,这个文件是否复制过去了,命令如下:

cd  ~/ssh

ls

Hadoop主从节点之间建立SSH无密码登录

也可以先将master结点的~/.ssh/id_dsa.pub文件复制到slave结点的~/.ssh/目录下,例如:

$ scp ~/.ssh/id_dsa.pub hadoop@122.205.135.212:~/.ssh

或用

$ scp ~/.ssh/id_dsa.pub hadoop@hadoop:~/.ssh

        然后在slave结点上执行下面的命令:

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

        最后,我们验证是否可以无密码登陆:在master结点上使用ssh连接slave结点,例如:

$ ssh hadoop@hadoop

      如果未提示输入密码直接登录,则表明设置成功。

Hadoop主从节点之间建立SSH无密码登录

CentOS 6.0下SSH免密码登录配置 http://www.linuxidc.com/Linux/2013-03/80488.htm

提高Ubuntu的SSH登陆认证速度的办法 http://www.linuxidc.com/Linux/2014-09/106810.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

Hadoop集群搭建之SSH无密码登录配置  http://www.linuxidc.com/Linux/2012-09/70116.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2015-01/112032.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款