本文主要是介绍hadoop SSH协议，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
http://m.oschina.net/blog/367856
貌似不进行最后一步，slave也是可以无密码访问master的~
一、安装和启动SSH协议
假设没有安装ssh和rsync，可以通过下面命令进行安装。
| sudo apt-get install ssh 安装SSH协议 sudo apt-get install rsync service sshd restart 启动服务 |
（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）
确保所有的服务器都安装，上面命令执行完毕，各台机器之间可以通过密码验证相互登。
| Last login: Mon Oct 29 14:01:11 2012 from 10.196.80.99 hadoop@namenode :~$ ssh localhost The authenticity of host 'localhost (127.0.0.1)' can't be established. ECDSA key fingerprint is c0:b3:7d:6d:17:94:02:e1:e4:67:39:4f:08:ff:74:cf. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. hadoop@localhost 's password: … … Last login: Mon Oct 29 14:25:47 2012 from 10.196.80.99 hadoop@namenode :~$ |
| hadoop@namenode :~$ ssh datanode1 The authenticity of host 'datanode1 (10.196.80.91)' can't be established. ECDSA key fingerprint is dc:8b:7b:82:25:74:0c:ec:15:a7:3b:2a:e6:c3:a0:2e. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'datanode1,10.196.80.91' (ECDSA) to the list of known hosts. hadoop@datanode1's password: Welcome to Ubuntu 12.04.1 LTS (GNU/Linux 3.2.0-29-generic-pae i686) … … hadoop@datanode1:~$ |
二、配置Master无密码登录所有Salve
1）SSH无密码原理
Master（NameNode |JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode |Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。
当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。
重要过程是将客户端Master复制到Slave上。
2）Master机器上生成密码对
在Master节点上执行以下命令：
| ssh-keygen –t rsa –P '' |
这条命令是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/hadoop/.ssh"目录下。
| hadoop@namenode:~$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: c8:5e:3e:c1:9b:52:6f:24:a5:e4:c1:1c:00:8d:fb:3b hadoop@namenode The key's randomart image is: +--[ RSA 2048]----+ | .+... | | . .o . | | . = . | | .. = + | | .o S . | | ..+ B | | o.= o | | E. o | | . | +-----------------+ hadoop@namenode:~$ |
查看"/home/hadoop/"下是否有".ssh"文件夹，且".ssh"文件下是否有两个刚生产的无密码密钥对。
| hadoop@namenode:~/.ssh$ cat id_rsa.pub >> authorized_keys |
在验证前，需要做两件事儿。第一件事儿是修改文件"authorized_keys"权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能），另一件事儿是用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效。
| hadoop@namenode:~/.ssh$ chmod 600 authorized_keys |
备注：如果不进行设置，在验证时，扔提示你输入密码，在这里花费了将近半天时间来查找原因。
3) 设置SSH配置
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。(在Ubuntu12.04系统里面，貌似不用修改此文件)
| 1.RSAAuthentication yes # 启用 RSA 认证 2.PubkeyAuthentication yes # 启用公钥私钥配对认证方式 3.AuthorizedKeysFile /home/hadoop/.ssh/authorized_keys # 公钥文件路径（和上面生成的文件同） |
退出root登录，使用hadoop普通用户验证是否成功
| hadoop@namenode:~/.ssh$ ssh localhost Welcome to Ubuntu 12.04.1 LTS (GNU/Linux 3.2.0-29-generic-pae i686) * Documentation: https://help.ubuntu.com/ 191 packages can be updated. 51 updates are security updates. Last login: Mon Oct 29 14:43:08 2012 from localhost hadoop@namenode:~$ |
从上图中得知无密码登录本级已经设置完毕，接下来的事儿是把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥：
scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/
例如：
scp ~/.ssh/id_rsa.pub hadoop@10.196.80.1:~/
上面的命令是复制文件"id_rsa.pub"到服务器IP为"10.196.80.91"的用户为"hadoop"的"/home/hadoop/"下面。
4）把namenode上的公钥复制到datanode1上
先在每个slave机器的/home/hadoop/下新建 .ssh 文件夹。
| hadoop@namenode:~/.ssh$ scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh/ hadoop@datanode1's password: authorized_keys 100% 397 0.4KB/s 00:00 hadoop@namenode:~/.ssh$ |
从上图中我们得知，已经把文件"id_rsa.pub"传过去了，因为并没有建立起无密码连接，所以在连接时，仍然要提示输入输入database1服务器用户hadoop的密码。为了确保确实已经把文件传过去了，用SecureCRT登录datanode1:10.196.80.91服务器，查看"/home/hadoop/"下是否存在.ssh这个文件夹。存在的话然后是修改文件夹".ssh"的用户权限，把他的权限修改为"700"，用下面命令执行：
| chmod 700 ~/.ssh |
备注：如果不进行，即使你按照前面的操作设置了"authorized_keys"权限，并配置了"/etc/ssh/sshd_config"，还重启了sshd服务，在Master能用"ssh localhost"进行无密码登录，但是对Slave1.Hadoop进行登录仍然需要输入密码，就是因为".ssh"文件夹的权限设置不对。这个文件夹".ssh"在配置SSH无密码登录时系统自动生成时，权限自动为"700"，如果是自己手动创建，它的组权限和其他权限都有，这样就会导致RSA无密码远程登录失败。
5）追加到授权文件"authorized_keys"
到目前为止Master.Hadoop的公钥也有了，文件夹".ssh"也有了，且权限也修改了。这一步就是把Master.Hadoop的公钥追加到Slave1.Hadoop的授权文件"authorized_keys"中去。使用下面命令进行追加并修改"authorized_keys"文件权限：
| cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys |
用root用户修改"/etc/ssh/sshd_config"
具体步骤参考前面Master.Hadoop的"设置SSH配置"，具体分为两步：第1是修改配置文件；第2是重启SSH服务。
【Ubuntu下不用这一步操作貌似也是可以的。】
用namenode使用SSH无密码登录datanode*
当前面的步骤设置完毕，就可以使用下面命令格式进行SSH无密码登录了。
ssh 远程服务器IP
最后记得把所有Slave节点的"/home/hadoop/.ssh"目录下的"id_rsa.pub"文件删除掉。
| rm –r ~/id_rsa.pub |
到此为止，我们经过前5步已经实现了从"Master"到"Slave1"SSH无密码登录，下面就是重复上面的步骤把剩余的两台（Slave2和Slave3）Slave服务器进行配置。这样，我们就完成了"配置Master无密码登录所有的Slave服务器"。
6）配置所有Slave无密码登录Master
和Master无密码登录所有Slave原理一样，就是把Slave的公钥追加到Master的".ssh"文件夹下的"authorized_keys"中，记得是追加（>>）。
操作之前，先把namenode的/etc/hosts文件通过scp复制到各个datanodede 的/home/hadoop/Downloads文件夹下，然后登陆各个namenode使用sudo cp命令覆盖hosts文件。
其他的datanode类似
首先创建"datanode2"自己的公钥和私钥，并把自己的公钥追加到"authorized_keys"文件中。用到的命令如下：
| ssh-keygen –t dsa–P '' cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys |
接着是用命令"scp"复制"datanode"的公钥"id_dsa.pub"到"namenode"的"/home/hadoop/"目录下，并追加到"namenode"的"authorized_keys"中。
在"namenode"服务器的操作
用到的命令如下：
| cat id_dsa.pub >> authorized_keys |
然后删除掉刚才复制过来的"id_rsa.pub"文件。
最后是测试从"datanode"到"namenode"无密码登录。
然后剩余机器同样的配置。
这篇关于hadoop SSH协议的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
