Openstack 与 Ceph集群搭建(下)： Openstack部署

2024-08-28 09:44
文章标签 部署 集群 搭建 openstack ceph

本文主要是介绍Openstack 与 Ceph集群搭建(下)： Openstack部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 文章参考
  • 部署节点准备
        • 1. 修改Host文件与hostname名称
        • 2. 安装NTP软件
        • 3. 网卡配置信息
        • 4. 开启Docker共享挂载
        • 5. 安装python虚拟环境
        • 6. 安装kolla-ansible
        • 7. 加载Ansible galaxy requirements
  • Openstack 安装前预配置
        • 1. 配置密码
        • 2. 配置multinode文件
        • 3. 修改全局配置文件
  • Openstack正式安装
        • 1. 启动bootstrap-servers
        • 2. 预环境检查
        • 3. 拉取镜像
        • 4. 安装
  • Openstack初始化及优化
        • 1. 安装openstack client
        • 2. 生成openrc文件并导入
        • 3. 平台初始化
        • 4. 登录Dashboard
        • 5. 下载并上传镜像
        • 6. 建立ssh-key
        • 7. 创建外部网络 (vlan没有添加vlanid 导致不通，需要修改)；请先完成14步再回来从这里开始继续。
        • 8. 创建VM网络
        • 9. 创建路由器
        • 10. 连接内外网络
        • 11. 建立安全策略
        • 12. 创建flavor模板
        • 13. 创建虚拟机
      • 14. 配置支持VLAN
      • 15. 解决虚拟机创建超时问题

文章参考

Openstack 官方对接ceph文档
Openstack 与 Ceph集群搭建(上)： 规划与准备
Openstack 与 Ceph集群搭建(中)： Ceph部署
Openstack 与 Ceph集群搭建(下)： Openstack部署
Openstack 与 Ceph集群搭建(完结)： 配置Ceph作为Openstack后端存储
前面文章对集群的规划已经做了详细说明，并完成了Ceph集群的部署，接下来就是最重要的Openstack集群部署了。
环境描述：

项目描述说明
系统Ubuntu Server 22.04 LTSOpenStack 2022调研显示：受众多，文档丰富
docker在ceph环节已经安装
python33.10系统默认安装
kolla-ansiblekolla-ansible-16.5.1.dev55
Openstack2024.01
Ceph18.2.2

部署节点准备

1. 修改Host文件与hostname名称

请参考ceph安装部分

注意：节点hostname名称应与hosts文件保持一致。

2. 安装NTP软件

请参考ceph安装部分

3. 网卡配置信息

注意：以下网卡名称因各自环境不同而不同，但是OpenStack需要至少两张网卡，一张用于集群通信，另一种用于其中的虚拟机通信，用于虚拟机通信的网卡根据OpenStack部署的网络不同而不同。Flat对应access接口；Vlan对应Trunk接口。

如规划设计篇的架构图，其网卡配置如下：

  • vlan1250：管理网
  • bond0：用于给Openstack虚拟机使用的网络，由于OpenStack 网络部署为Vlan模式，在屋里交换机需要配置Trunk接口， bond0 也为Trunk接口； 若部署为flat模式，则模式为access。本文将部署为Vlan模式。
4. 开启Docker共享挂载

在Openstack 全节点执行；所谓共享挂载即同一个目录或设备可以挂载到多个不同的路径并且能够保持互相之间的共享可见性，类似于 mount --shared。在 OpenStack for Kolla 中，主要解决 Neutron 的 namespace 在不同 container 中得以保持实效性的问题。

如果以下路径或文件不存在，创建新目录和文件即可。

# 创建文件夹
mkdir /etc/systemd/system/docker.service.d# 创建文件及编辑内容
tee /etc/systemd/system/docker.service.d/kolla.conf << 'EOF'
[Service]
MountFlags=shared
EOF
5. 安装python虚拟环境

python虚拟环境用于kolla-ansible使用。该步骤非必须项，但推荐使用虚拟环境运行ansible。
该部分在部署节点上执行。使用虚拟环境主要用于避免与系统包冲突。

# 安装基础依赖包
apt update
apt install git python3-dev libffi-dev gcc libssl-dev
apt install python3-venv# 创建虚拟环境并激活
python3 -m venv /path/to/venv
source /path/to/venv/bin/activate# 升级pip 到最新版本
pip install -U pip# 安装ansible： 这里针对不同版本的OpenStack，需要查询官方文档。
pip install 'ansible-core>=2.15,<2.16.99'  # for Openstack 2024.1 本文使用
pip install 'ansible-core==2.14'   # for 2023.2/2023.1
6. 安装kolla-ansible

在部署节点执行：

# 指定2024.1 版本的Kolla
pip install git+https://opendev.org/openstack/kolla-ansible@stable/2024.1# 安装最新版
# pip install git+https://opendev.org/openstack/kolla-ansible@master# 创建/etc/kolla目录及授权
mkdir -p /etc/kolla
chown $USER:$USER /etc/kolla# 复制 globals.yml and passwords.yml 到 /etc/kolla directory.
cp -r /path/to/venv/share/kolla-ansible/etc_examples/kolla/* /etc/kolla# 复制inventory文件到当前文件夹： 包括单节点与多节点配置
cp -r /path/to/venv/share/kolla-ansible/ansible/inventory/* /etc/kolla/.
7. 加载Ansible galaxy requirements

部署节点执行：

kolla-ansible install-deps

Openstack 安装前预配置

请确保在python虚拟环境中操作，避免冲突。

1. 配置密码

默认密码存放于/etc/kolla/passwords.yml且密码为空，可使用下面的命令生成随机密码：

kolla-genpwd

注意：需要单独修改keystone的密码，用于horizon登录，否则随机密码输入很困难。其次建议修改grafana的秘密

编辑文件：/etc/kolla/passwords.yml 

# 将keystone的密码修改为 KEYSTONE_PASS，便于用户从UI输入
keystone_admin_password: KEYSTONE_PASS
grafana_admin_password: xxxx
2. 配置multinode文件

该文件位于/etc/kolla/,作用是定义各节点角色，其名称需要与hosts文件严格一致。

配置说明如下：

#[xxx]代表一组对象，kolla根据各组所包括的节点进行功能定位与配置下发。 
#控制节点组
[control]          # 组名
node-01		   # 组成员
node-02
node-03# 网络节点
[network]
node-01
node-03#计算节点
[compute]
node-01		  
node-02
node-03# 监控节点
[monitoring]
node-01
node-02
node-03# 存储节点： 若对接ceph， 可以配置为node-01，但不能留空
[storage]
node-01# 部署节点： 也就是运行kolla-ansible的节点
[deployment]
localhost       ansible_connection=local# 其他节点，默认继承现有组，保持默认即可
[baremetal:children]         # 子组
control						 # 继承[control]组
network
compute
storage
monitoring[tls-backend:children]
control[common:children]
control
network
compute
storage
monitoring[collectd:children]
compute[grafana:children]
monitoring

检查配置是否正确：

通过执行以下命令检查部署节点是否能与目标节点(multinode所定义的节点)进行免密登录。

ansible -i /etc/kolla/multinode all -m ping
3. 修改全局配置文件

/etc/kolla/globals.yml，该文件定义OpenStack所需要安装的服务。因为顺序原因，这里只做了基本的网络配置，在对接ceph的文章中将展示完整配置，大家也可以直接使用完整配置替代以下配置：

cat > /etc/kolla/globals.yml <<EOF
---
kolla_base_distro: "ubuntu"
kolla_internal_vip_address: "10.148.250.253"
network_interface: "vlan1250"
neutron_external_interface: "bond0"    # vm网络
nova_compute_virt_type: "kvm"   # 如果是使用虚拟化部署，此选项必须选择qemu， 如果是物理机，默认是kvm

Kolla-Ansible 將 OpenStack 網路分為幾種

  • API interface 為 OpenStack 內部個元件互相溝通還有存取 database 的介面，建議使用內部網路。
  • External VIP Interface 為 OpenStack 對外的 endpoint
  • Storage Interface 是 OpenStack VM 跟 Ceph 溝通的介面，建議使用 10G 以上的網路
  • Cluster Interface 是 Ceph 內部複製檔案的網路介面，也是建議使用 10G 以上的網路
  • Tunnel Interface 是 OpenStack VM 對 VM 網路溝通走的介面
  • Neutron External Interface 是提供 VM 對外網路的介面，floating IP 的 flat / vlan 網路也是走此介面，須為獨立的的介面上不能用 IP

除了 Neutron External Interface 需要為獨立的介面以外，其他網路都可以共用介面，預設壞帶入 network_interface 的值

Openstack正式安装

1. 启动bootstrap-servers

为各节点配置基础环境且会下载大量包请务必保证节点网络的正常

kolla-ansible -i /etc/kolla/multinode bootstrap-servers -vvvv
  1. 上述命令在执行过程中如果报错， 若内容是因为python虚拟环境导致。 可参考以下解决方案：
# 创建文件
mkdir -p ~/.config/pip# 增加以下内容
[global]
break-system-packages = true
  1. 如果报错docker 起不来，解决方案：
systemctl daemon-reload 
systemctl start docker
systemctl enable docker
  1. 如果重启后ceph docker容器不启动，直接重启物理服务器； 重启后执行以下命令确保API正常：
 ceph restful restart

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：在这里插入图片描述

2. 预环境检查
kolla-ansible -i /etc/kolla/multinode prechecks -vvvv

如果提示"msg": "Hostname has to resolve uniquely to the IP address of api_interface"说明hosts文件有重复条目，注释即可。

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述
若报错没有 docker模块， 则需要退出虚拟环境(断开会话重新连接即退出)，然后执行pip install docker,安装python docker模块。

3. 拉取镜像
kolla-ansible -i /etc/kolla/multinode pull -vvvv

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述

4. 安装
kolla-ansible -i /etc/kolla/multinode deploy -vvvv

输出内容(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述

Openstack初始化及优化

此部分有会有些笨办法，各位大佬可以多给点意见：
以下操作均在部署节点操作。

1. 安装openstack client

在哪台设备上操作openstack就在哪台设备安装。

apt  install python3-openstackclient
2. 生成openrc文件并导入

生成用户名密码文件，执行openstack命令前必须要使用。

kolla-ansible post-deploy
. /etc/kolla/admin-openrc.sh
3. 平台初始化
# 自动建立demo project，建议手工建立
source /etc/kolla/admin-openrc.sh #init-runonce 文件可以从kolla-ansible下载，如果在本地找不到的话
/usr/local/share/kolla-ansible/init-runonce
4. 登录Dashboard
http://yourIP
# admin / yourpassword
# 在/etc/kolla/admin-openrc.sh里查询
5. 下载并上传镜像

cirros是极小化linux，可使用它完成相关实验。如果导入其他image留给大家自行研究。

# 下载镜像
wget http://download.cirros-cloud.net/0.4.0/cirros-0.4.0-x86_64-disk.img#上传镜像
glance image-create --name "cirros" \--file cirros-0.4.0-x86_64-disk.img \--disk-format qcow2 --container-format bare \--visibility=public
6. 建立ssh-key
# 建立sshkey
ssh-keygen -q -N ""openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey
7. 创建外部网络 (vlan没有添加vlanid 导致不通，需要修改)；请先完成14步再回来从这里开始继续。

创建VLAN100 的 172.16.100.0/24网络，GW 172.16.100.254

openstack network create --share --external --provider-physical-network physnet1 --provider-network-type vlan VLAN100
openstack subnet create --network VLAN100 --allocation-pool start=172.16.100.100,end=172.16.100.120 --dns-nameserver 8.8.8.8 --gateway 172.16.100.254 --subnet-range 172.16.100.0/24 VLAN100
8. 创建VM网络

创建Openstack内部虚拟网络给虚拟机使用，该网络需要通过Openstack 路由器与 外部网络连接

openstack network create vm-net172
openstack subnet create --network vm-net172 --dns-nameserver 8.8.8.8 --gateway 172.16.1.254 --subnet-range 172.16.1.0/24 vlan172016001
9. 创建路由器
openstack router create vm-router-01
10. 连接内外网络
openstack router add subnet vm-router-01 vlan172016001
openstack router set vm-router-01 --external-gateway external
openstack port list
11. 建立安全策略
openstack security group rule create --proto icmp default
openstack security group rule create --proto tcp --dst-port 22 default
12. 创建flavor模板
# 建立模板
openstack flavor create --id 0 --vcpus 1 --ram 256 --disk 1 m1.nano
openstack flavor create --id 1 --vcpus 1 --ram 2048 --disk 20 m1.small
13. 创建虚拟机
openstack server create --image cirros --flavor m1.nano --security-group default --key-name mykey --network vm-net172 instance01

14. 配置支持VLAN

在所有网络节点编辑配置 /etc/kolla/neutron-server/ml2_conf.ini 

[ml2]
type_drivers = flat,vlan,vxlan
tenant_network_types = vlan                      # 千万不要写 vxlan,vlan 否则dashboard要报错
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security[ml2_type_vlan]
network_vlan_ranges = physnet1:1:4094					# 添加 physnet1:1:4094	[ml2_type_flat]
flat_networks = physnet1[ml2_type_vxlan]
vni_ranges = 1:1000

执行命令重启容器生效：docker restart neutron_server

15. 解决虚拟机创建超时问题

在/etc/kolla/config/nova/nova-compute.conf

[DEFAULT]
block_device_allocate_retries = 600

然后重新配置nova即可

这篇关于Openstack 与 Ceph集群搭建(下)： Openstack部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1114412。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...
【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站，手机流量可以访问IPV6网络的服务，为什么不在电脑搭建Home Assistant（hass），来控制你的设备呢？@智能家居 @万物互联
阅读更多...
pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu 安装编译工具链下载sdk 和example编译example 安装编译工具链 sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi libstdc++-arm-none-eabi-newlib 注意cmake的版本，需要在3.17 以上 下载sdk 和ex
阅读更多...
在 Windows 上部署 gitblit

在 Windows 上部署 gitblit

在 Windows 上部署 gitblit 在 Windows 上部署 gitblit 缘起gitblit 是什么安装JDK部署 gitblit 下载 gitblit 并解压配置登录注册为 windows 服务 修改 installService.cmd 文件运行 installService.cmd运行 gitblitw.exe查看 services.msc 缘起
阅读更多...
Solr部署如何启动

Solr部署如何启动

Solr部署如何启动 Posted on 一月 10, 2013 in:  Solr入门 | 评论关闭 我刚接触solr，我要怎么启动，这是群里的朋友问得比较多的问题， solr最新版本下载地址： http://www.apache.org/dyn/closer.cgi/lucene/solr/ 1、准备环境 建立一个solr目录，把solr压缩包example目录下的内容复制
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2