Ambari实战-6:构建HDP私有源

2023-12-09 08:18
文章标签 实战 构建 私有 hdp ambari

本文主要是介绍Ambari实战-6:构建HDP私有源,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地,并将其作为局域网yum安装源。

基本环境信息


由于是通过HDP数据源安装HDP组件,我们只需要在一台机器上运行即可,我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。

主机名IP版本
ambari-common10.10.0.201CentOS 7

HDP数据源配置


  • 登录到ambari-common节点中
ssh ambari-common -p 22

ambari-common需要在本地/etc/hosts文件中配置相应服务器映射,否则无法直接使用登录操作

  • 下载hortonworks官方提供的HDP仓库源

在下载前我们需要检验是否安装wget命令行,如果没有安装此命令,使用以下命令安装它

sudo yum install wget

使用以下命令下载hortonworks官方提供的HDP仓库源

wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo -O /etc/yum.repos.d/hdp.repo

-O指定的是我们下载文件到的本地路径,注意这里是大写的O不是0

hdp的官方源的格式为hdp/<OsVersion>/<HDPVersionRegex>/updates/<HDPVersion>/hdp.repo

如果我们需要安装其他系统的或者其他版本的源只需要修改<OsVersion><HDPVersionRegex>(hdp大版本),<HDPVersion>(hdp绝对版本)

需要注意的是/etc/yum.repos.d/hdp.repo路径尽量不要修改,这样方便我们记住hdp的源所在系统的位置。

  • 安装源配置文件下载完成后需要进行源的校验
sudo yum repolist

返回类似如下响应

HDP-2.4.2.0
HDP-UTILS-1.1.0.20
源标识
HDP-2.4.2.0
HDP-UTILS-1.1.0.20

这标志着我们的hdp安装源配置文件是可用的。

HDP数据源同步


  • 创建本地需要存放安装包文件路径
sudo mkdir -p /var/www/html/hdp/centos7/

-p命令标志我们需要进行递归创建文件夹

我们建议您的命名格式和我们类似<源名称>/<系统版本>

  • 进入刚刚创建的目录中
cd /var/www/html/hdp/centos7/

当然我们也可以使用&&组合命令模式

  • 开始同步远程服务资源到本地
reposync -r HDP-2.4.2.0

-r是告诉系统要进行递归同步

HDP-2.4.2.0指的是我们刚刚使用源检测命令返回的源标识

此时会去hortonworks官网进行同步,同步的速度具体是根据主机的网络而定。

或者可以使用后台同步方式:

nohup reposync -r HDP-2.4.2.0 >> sync-hdp.log &

或者可以使用screen命令进行窗口session模式同步。文件总大小大约在5-6GB

HDP-UTILS数据源同步


  • 创建本地需要存放安装包文件路径
sudo mkdir -p /var/www/html/hdp-utils/centos7/

-p命令标志我们需要进行递归创建文件夹

我们建议您的命名格式和我们类似<源名称>/<系统版本>

  • 进入刚刚创建的目录中
cd /var/www/html/hdp-utils/centos7/

当然我们也可以使用&&组合命令模式

  • 开始同步远程服务资源到本地
reposync -r HDP-UTILS-1.1.0.20

-r是告诉系统要进行递归同步

HDP-UTILS-1.1.0.20指的是我们刚刚使用源检测命令返回的源标识

此时会去hortonworks官网进行同步,同步的速度具体是根据主机的网络而定。

或者可以使用后台同步方式:

nohup reposync -r HDP-UTILS-1.1.0.20 >> sync-hdp-utils.log &

或者可以使用screen命令进行窗口session模式同步。文件总大小大约在500MB-2GB

如果出现Error: /var/run/yum.pid 已被锁定,PID为 <XXXX> 的另一个程序正在运行。的信息,我们可以忽略,这是因为系统只允许yum单线程运行。等待上一个yum同步完成后进行再次同步。

构建内网HDP源


  • 生成本地资源库
createrepo /var/www/html/hdp/centos7/HDP-2.4.2.0

会出现类似如下反馈信息

Spawning worker xxx with xxx pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite Dbs complete

出现以上提示信息时,标志着我们的本地针对于hdp的库信息已经构建完成。

  • 启动提供mirror源的http服务
service httpd start

当然也可以使用以下命令启动服务

/bin/systemctl start httpd.service
  • 校验源是否可以使用http服务对外开放

浏览器打开http://ambari-common/hdp/centos7/HDP-2.4.2.0

HDP-UTILS本地私有源制作,重复此步骤修改为HDP-UTILS路径即可。

这里我们是不需要添加端口信息的,因为http服务的默认端口就是80,浏览器打开后会出现一个文件浏览器,会显示一些文件以及目录列表,当然也可以使用nginx去做mirror源。

这篇关于Ambari实战-6:构建HDP私有源的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/473099

相关文章

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

使用Python和python-pptx构建Markdown到PowerPoint转换器

《使用Python和python-pptx构建Markdown到PowerPoint转换器》在这篇博客中,我们将深入分析一个使用Python开发的应用程序,该程序可以将Markdown文件转换为Pow... 目录引言应用概述代码结构与分析1. 类定义与初始化2. 事件处理3. Markdown 处理4. 转

Python实战之屏幕录制功能的实现

《Python实战之屏幕录制功能的实现》屏幕录制,即屏幕捕获,是指将计算机屏幕上的活动记录下来,生成视频文件,本文主要为大家介绍了如何使用Python实现这一功能,希望对大家有所帮助... 目录屏幕录制原理图像捕获音频捕获编码压缩输出保存完整的屏幕录制工具高级功能实时预览增加水印多平台支持屏幕录制原理屏幕

最新Spring Security实战教程之Spring Security安全框架指南

《最新SpringSecurity实战教程之SpringSecurity安全框架指南》SpringSecurity是Spring生态系统中的核心组件,提供认证、授权和防护机制,以保护应用免受各种安... 目录前言什么是Spring Security?同类框架对比Spring Security典型应用场景传统

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

Java使用Mail构建邮件功能的完整指南

《Java使用Mail构建邮件功能的完整指南》JavaMailAPI是一个功能强大的工具,它可以帮助开发者轻松实现邮件的发送与接收功能,本文将介绍如何使用JavaMail发送和接收邮件,希望对大家有所... 目录1、简述2、主要特点3、发送样例3.1 发送纯文本邮件3.2 发送 html 邮件3.3 发送带

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量2. 第3步 “在cmd中