纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1)

本文主要是介绍纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近准备搭建hadoop集群,把想整个经过记录一下。首先安装了4台虚拟机作为服务器。操作系统是CentOS 6.5. 今天先解决,ssh免密访问。由于hadoop要设置一个master namenode一个secondary namenode,还有两个datanode。他们之间如果需要访问,特别是namenode需要访问datanode需要通过ssh,如果每次都要输入密码是有点麻烦的所以先把免密访问的问题解决再说。

纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1)

 

 

准备条件

四个服务器实现互相通过ssh无密码访问。

node01:192.168.146.101

node01:192.168.146.102

node01:192.168.146.103

node01:192.168.146.104

修改/etc/hosts 文件

vi /etc/hosts

把如下内容放到里面

192.168.146.101 node01

192.168.146.102 node02

192.168.146.103 node03

192.168.146.104 node04

设置SSH 无密码登录

保证安装了ssh命令

默认在 ~/.ssh目录生成两个文件:

id_rsa :私钥

id_rsa.pub :公钥

这里.ssh目录会自动生成不需要手动创建

node01操作

ssh-keygen -t rsa

以上操作依次在node01,node02,node03,node04机器上操作然后,分别在每台机器(node02,node03,node04)上copy公钥到node01上。我这里使用的root 用户,所以ssh的目录在/root/.ssh 下面,如果你用的其他的用户应该是在/home/你的用户/.ssh下面。

备注:192.168.146.101 是node01的ip

node02 操作

ssh-keygen -t rsa

cd /root/.ssh

scp id_rsa.pub root@192.168.146.101:/root/.ssh/id_rsa.pub.node02

node03 操作

ssh-keygen -t rsa

cd /root/.ssh

scp id_rsa.pub root@192.168.146.101:/root/.ssh/id_rsa.pub.node03

node04 操作

ssh-keygen -t rsa

cd /root/.ssh

scp id_rsa.pub root@192.168.146.101:/root/.ssh/id_rsa.pub.node04

然后回到node01,将自己的公钥和其他三台服务器的公钥全部都放到 authorized_keys 文件中。

node01操作

cd /root/.ssh

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.node02 >> authorized_keys

cat id_rsa.pub.node03 >> authorized_keys

cat id_rsa.pub.node04 >> authorized_keys

最后将生成好的authrozied_keys文件copy到node02,node03,node04

node01操作

scp authorized_keys root@192.168.146.102:/root/.ssh/authorized_keys

scp authorized_keys root@192.168.146.103:/root/.ssh/authorized_keys

scp authorized_keys root@192.168.146.104:/root/.ssh/authorized_keys

这里需要注意几点文件夹和文件的权限

chmod 700 /root/.ssh

chmod 600 /root/.ssh/authorized_keys

然后就可以直接通过命令访问其他几个节点了。

ssh node01

ssh node02

ssh node03

ssh node04

推荐阅读文章

大数据时代需要了解的六件事

大数据框架hadoop十大误解

年薪30K的大数据开发工程师的工作经验总结?

大数据框架hadoop我们遇见过的问题

这篇关于纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934784

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

springboot security验证码的登录实例

《springbootsecurity验证码的登录实例》:本文主要介绍springbootsecurity验证码的登录实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录前言代码示例引入依赖定义验证码生成器定义获取验证码及认证接口测试获取验证码登录总结前言在spring

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

MySQL中闪回功能的方案讨论及实现

《MySQL中闪回功能的方案讨论及实现》Oracle有一个闪回(flashback)功能,能够用户恢复误操作的数据,这篇文章主要来和大家讨论一下MySQL中支持闪回功能的方案,有需要的可以了解下... 目录1、 闪回的目标2、 无米无炊一3、 无米无炊二4、 演示5、小结oracle有一个闪回(flashb

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my