一次Ambari安装记录

2024-04-20 23:52
文章标签 安装 记录 一次 ambari

本文主要是介绍一次Ambari安装记录，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

引言

Ambari是一个开源的Apache项目，它提供了一个直观易用的Web界面，用于管理、监控和配置Apache Hadoop集群。它是一个集群管理工具，可以帮助管理员轻松地部署、管理和监控Hadoop集群的各种组件，如HDFS、YARN、MapReduce、Hive、HBase等。通过Ambari，用户可以在集群中添加或移除节点，监控集群健康状况，执行配置更改，以及查看各种性能指标和日志。Ambari的用户界面直观友好，使得对Hadoop集群的管理变得更加简单和高效。

  • 官方安装教程2.7.5

环境

Ambari版本支持界面

Data数据目录

-w283

HDFS的路径不支持 /home(s) 前缀。

所以，在安装Ambari之前，先要确认好集群机器上的文件系统分区，非 /home 分区下的其他分区是否有足够的空间来存放HDFS和其他应用的数据。若没有的话，重装系统（允许的话）或者通过挂载新磁盘等方法来扩容出新的分区。

而可以的话，建议在安装系统的时候数据分区都设置在 /hadoop 下，这样安装ambari的时候，可以省去修改默认配置的麻烦（因为默认情况下，基本配置都是设置在 /hadoop 之下。）

建议分区

# datanode 存储主要分区
/hadoop
# 不作为DataNode存储目录，有些额外的数据配置需要使用与datanode不同的文件，如HBase Root
/data

题外，若磁盘空间真分配到 /home 的话，又不得不使用的地步的话，其实也可以尝试使用软链接进行hack，参考命令：

mkdir -p /home/hadoop/ &&  cd / && ln -s /home/hadoop/ /hadoop

但这样的方法不确定是否导致其他运行时的使用上问题。

集群访问设置

设置FQDN

FQDN = 简短的名字 + 域
如: hostname返回的结果是 dev-qa001，而域为test.com的话，则fqdn为 dev-qa001.test.com

  1. 设置hostname。

    hostnamectl set-hostname <host-name># 例子，dev开发、prd生产
hostnamectl set-hostname bd001.dev.tkhome.bms.ctos7
hostnamectl set-hostname bd002.dev.tkhome.bms.ctos7
hostnamectl set-hostname bd003.dev.tkhome.bms.ctos7

  2. 修改 /etc/hosts 配置好集群服务器的FQDN，以便安装时使用。

    例如：

    192.168.1.91 bd001.dev.tkhome.bms.ctos7.timekey.com.cn bd001.dev.tkhome.bms.ctos7
192.168.1.92 bd002.dev.tkhome.bms.ctos7.timekey.com.cn bd002.dev.tkhome.bms.ctos7
192.168.1.93 bd003.dev.tkhome.bms.ctos7.timekey.com.cn bd003.dev.tkhome.bms.ctos7

    或者命令

    sudo tee -a /etc/hosts<<-'EOF'

192.168.1.91 bd001.dev.tkhome.bms.ctos7.timekey.com.cn bd001.dev.tkhome.bms.ctos7
192.168.1.92 bd002.dev.tkhome.bms.ctos7.timekey.com.cn bd002.dev.tkhome.bms.ctos7
192.168.1.93 bd003.dev.tkhome.bms.ctos7.timekey.com.cn bd003.dev.tkhome.bms.ctos7
EOF
```

  1. 设置好之后, 通过 hostname -F /etc/hostname 更新主机名. 这时, 通过 hostname -f 看到的FQDN就应该是: bd001.dev.tkhome.bms.ctos7.timekey.com.cn

查看本机FQDN命令参考

hostname -f

注意：配置时，如果遇到ip对应多个hostname，请务必写到一行之中，并且把期望作为FQDN的hostname放到首位！

编写hosts完成后，同步各台机器上。

设置支持免密登录

ambari-server操作集群时，需要使用 特定账号 登录到每台集群服务器上进行代理操作，所以，设置密钥和免密登录必不可少。

为了方便，目前建议使用root账号

登录安装作为安装 Ambari Server 的服务器，参考如下命令

# 生成密钥
ssh-keygen -t rsa -P ''# 产生公钥与私钥对
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 设置权限
chmod 0600 ~/.ssh/authorized_keys# 将本机的公钥复制到远程机器的authorized_keys文件中，开启无密码SSH登录
ssh-copy-id user@host例如，（命令后，输入ssh密码）
ssh-copy-id root@bd002.dev.tkhome.bms.ctos7
ssh-copy-id root@bd003.dev.tkhome.bms.ctos7

是否新建ambari服务的账号为可选项。而基于安全和操作规范，一般不使用root作为远程登录甚至操作账号。但若不用root的话，不太确定是否会对ambari-server的操作带来影响（目前实践安装时没使用root）。

关闭防火墙（所有机器）

  1. 关闭firewalld

    systemctl disable --now firewalld

  2. 关闭SELinux

    setenforce 0sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

    重启后生效

    reboot now

    # 查看SELinux
getenforce 或 sestatus

  3. 确认umask值

    umask

    确认是否 0022

文件打开限制（每台服务器）

查看

ulimit -Sn
ulimit -Hn

修改 /etc/security/limits.conf 文件，内容参考：

*       soft    nofile  10000
*       hard    nofile  10000
*       soft    nproc   131072
*       hard    nproc   131072

或者命令

sudo tee -a /etc/security/limits.conf<<-'EOF'
*       soft    nofile  10000
*       hard    nofile  10000
*       soft    nproc   131072
*       hard    nproc   131072
EOF

重新连接访问后生效。

设置本地源(yum)

略，目的就是提高后续安装包的速度。

安装依赖包

On each of your hosts:

  • yum and rpm (RHEL/CentOS/Oracle/Amazon Linux)
  • zypper and php_curl (SLES)
  • apt (Debian/Ubuntu)
  • scp, curl, unzip, tar, wget, and gcc*
  • OpenSSL (v1.01, build 16 or later)
  • Python 2.7.12 (with python-devel*)

*Ambari Metrics Monitor uses a python library (psutil) which requires gcc and python-devel packages.

命令参考：

yum install vim scp curl unzip tar wget gcc* python-devel* psutil libtirpc -y

时间同步

1、安装ntp服务(全部节点)

yum install -y ntp

2、设置NPT Server

由于离线环境下，所以需要指定一台NPT Server作为集群机器之间的时间同步机器。互联网环境下可选。

备份ntpd配置文件

mv /etc/ntp.conf{,.bak}

脚本设置文件配置

sudo tee /etc/ntp.conf<<-'EOF'
driftfile /var/lib/ntp/driftrestrict default nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict ::1
# 这个表示在192.168.1.1/24网段内的服务器就可以通过这台NTP Server进行时间同步了
restrict 192.168.1.1 mask 255.255.255.0 nomodifyserver 0.cn.pool.ntp.org iburst
server 1.cn.pool.ntp.org iburst
server 2.cn.pool.ntp.org iburst
server 3.cn.pool.ntp.org iburstserver 127.0.0.1 # local clock
fudge 127.0.0.1 stratum 10includefile /etc/ntp/crypto/pw
keys /etc/ntp/keysdisable monitor
EOF

开启服务

systemctl start ntpd.service
systemctl enable ntpd

3、NTP子节点机器，配置连接NTP Server

配置子节点机器的ntp.conf

sudo tee /etc/ntp.conf<<-'EOF'
driftfile /var/lib/ntp/driftrestrict default nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict ::1
restrict bd001.dev.tkhome.bms.ctos7 nomodify notrap noqueryserver bd001.dev.tkhome.bms.ctos7server 127.0.0.1 # local clock
fudge 127.0.0.1 stratum 10includefile /etc/ntp/crypto/pw
keys /etc/ntp/keysdisable monitor
EOF

启动服务

systemctl start ntpd.service
# 设置自启动
systemctl enable ntpd

4、确认时间同步

客户端机器

ntpq -p

看到如下信息

-w647

在 bd001.dev.tkhome.bms.ctos7 键入，查看日期

date;ssh bd002.dev.tkhome.bms.ctos7.timekey.com.cn date;ssh bd003.dev.tkhome.bms.ctos7.timekey.com.cn date

see also:

  • ​Enable NTP on the Cluster and on the Browser Host

JDK8安装

参见使用 install-server-jre-offline.sh 脚本，安装完成后, JDK根目录为 /opt/jdk

安装外部数据库

需要数据库的服务：

  • ambari-server: 由于WFM的兼容性问题，所以建议使用默认内置的数据库（PostgreSQL内存型）所以不需要额外依赖。
  • Oozie、Hive等: 默认可使用Derby，但没其他特殊情况的话，除开发阶段，都不建议使用内存型数据库。其他支持PostgreSQL、MySQL等。

所以，至少我们还需要一个外部数据库，建议使用MariaDB。

MariaDB（MySQL）

以MariaDB为例

1、安装MariaDB

sudo yum install mariadb-server

see also: nstalling MariaDB with yum/dnf

# 安装向导
mysql_secure_installation

2、安装完成后，创建Oozie、Hive和druid服务需要的库。

进入控制台，输入以下语句：

create user 'hive'@'%' identified by 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
create user 'hive'@'localhost' identified by 'hive';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
FLUSH PRIVILEGES;CREATE DATABASE `hive` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;create user 'oozie'@'%' identified by 'oozie';
GRANT

这篇关于一次Ambari安装记录的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/921661。

相关文章

Linux卸载自带jdk并安装新jdk版本的图文教程

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa
阅读更多...
MySQL INSERT语句实现当记录不存在时插入的几种方法

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面：本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE
阅读更多...
MySQL Workbench 安装教程(保姆级)

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言：详细步骤：一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本，要是
阅读更多...
Python 中的异步与同步深度解析(实践记录)

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步：深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步
阅读更多...
Python Dash框架在数据可视化仪表板中的应用与实践记录

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash？1.1
阅读更多...
Spring定时任务只执行一次的原因分析与解决方案

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况？这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次？3.1 未启用
阅读更多...
Linux安装MySQL的教程

Linux安装MySQL的教程

《Linux安装MySQL的教程》：本文主要介绍Linux安装MySQL的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux安装mysql1.Mysql官网2.我的存放路径3.解压mysql文件到当前目录4.重命名一下5.创建mysql用户组和用户并修
阅读更多...
pip无法安装osgeo失败的问题解决

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意：要选择cp（python版本）和你py
阅读更多...
Android App安装列表获取方法(实践方案)

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式
阅读更多...
Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

《SpringBoot中定时任务Cron表达式的终极指南最佳实践记录》本文详细介绍了SpringBoot中定时任务的实现方法,特别是Cron表达式的使用技巧和高级用法,从基础语法到复杂场景,从快速启... 目录一、Cron表达式基础1.1 Cron表达式结构1.2 核心语法规则二、Spring Boot中定
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2