测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)

本文主要是介绍测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一:使用服务器配置。

在这里插入图片描述

二:修改服务器名称hostname,hosts。

在 Linux 系统中,hostname 和 /etc/hosts 文件分别用于管理主机名和主机名解析。
在三台服务器上,分别执行以下命令。

vim /etc/hostname
xdso-hadoop-test-001
vim /etc/hosts
192.168.50.60   xdso-hadoop-test-001
192.168.50.61   xdso-hadoop-test-002
192.168.50.62   xdso-hadoop-test-003

重启

reboot

在这里插入图片描述

三:进行服务器之间的免密

  1. 在安装 Ubuntu 22.0.4 操作系统时,会对系统中现有软件进行 update 升级到最新版本,防止出现漏洞,升级之后 OpenSSH 的版本比较高,不支持了 Rsa2048,所以换成 ED25519 密钥就可以了。
  2. 生产密钥。
    三台机器分别执行以下命令
ssh-keygen -t ed25519
ll /root/.ssh/

在这里插入图片描述
3. 进行本机免密。
三台机器都执行以下命令

touch /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
cat /root/.ssh/id_ed25519.pub >> authorized_keys
  1. 相互之间进行免密。
    每台服务器将自己的公钥发送给其他俩台,同时追加到对应的其余俩台服务器的authorized_keys。
以192.168.50.60为例
在192.168.50.60执行以下命令,输入密码
scp /root/.ssh/id_ed25519.pub root@192.168.50.61:/root/.ssh/50.60
scp /root/.ssh/id_ed25519.pub root@192.168.50.62:/root/.ssh/50.60
在192.168.50.61上输入以下命令
cat 50.60 >> authorized_keys 
在192.168.50.62上输入以下命令
cat 50.60 >> authorized_keys 

在这里插入图片描述
在这里插入图片描述
在其余俩台执行相同的操作。

四:更改时区是上海

sudo timedatectl set-timezone Asia/Shanghai

在这里插入图片描述

这篇关于测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/668690

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3