saltstack(自动化运维工具)——数据采集系统(grains与pillar详解)+ Jinja模板的多种使用方式

本文主要是介绍saltstack(自动化运维工具)——数据采集系统(grains与pillar详解)+ Jinja模板的多种使用方式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、grains详解
1.1grains简介
Grains是SaltStack的一个组件,存放在SaltStack的minion端。
当salt-minion启动时会把收集到的数据静态存放在Grains当中,只有当minion重启时才会进行数据的更新。
由于grains是静态数据,因此不推荐经常去修改它。
应用场景:
1.信息查询,可用作CMDB。
2.在target中使用,匹配minion。
3.在state系统中使用,配置管理模块。
1…2信息查询
用于查询minion端的IP、FQDN等信息。
默认可用的grains:

[root@server4 ~]# salt '*' grains.ls  查看所有主机

在这里插入图片描述
在这里插入图片描述

[root@server4 ~]# salt server5  grains.items fqdn  查看每一项的值

在这里插入图片描述
在这里插入图片描述

取单项值
[root@server4 ~]# salt server5  grains.item fqdn
[root@server4 ~]# salt server5  grains.item ipv4

在这里插入图片描述
1.3自定义grains项
三种方法:
1.3.1在server5(minion端)/etc/salt/minion中定义:

[root@server5 ~]# vim /etc/salt/minion
[root@server5 ~]# systemctl restart salt-minion.service重启salt-minion,否则数据不会更新,但是会短暂关闭服务然后并开启,不能在线刷新,不科学
[root@server4 ~]# salt 'server5'  grains.item roles  master端查看角色
server5:----------roles:- apache

在这里插入图片描述
1.3.2在server6(minion端配置)在/etc/salt/创建grains文件,不用重启服务但是要在master端刷新minion端主机信息

[root@server6 ~]# cd /etc/salt/  进入目录
[root@server6 salt]# touch grains  创建文件
[root@server6 salt]# vim grains   编辑
[root@server6 salt]# cat  grains 
roles:- apache[root@server4 ~]# salt 'server6' saltutil.sync_grains   刷新
server6:
[root@server4 ~]# salt 'server6'  grains.item roles  查看
server6:----------roles:- apache

1.3.3在server4(master)端配置

[root@server4 ~]# cd /srv/salt/
[root@server4 salt]# mkdir /srv/salt/_grains
[root@server4 salt]# ll
total 4
drwxr-xr-x 3 root root 35 Jun  9 04:36 apache
drwxr-xr-x 2 root root  6 Jun  9 13:50 _grains
drwxr-xr-x 2 root root 23 Jun  9 02:52 _modules
drwxr-xr-x 3 root root 35 Jun  9 10:05 nginx
-rw-r--r-- 1 root root 57 Jun  9 10:29 top.sls[root@server4 salt]# vim  /srv/salt/_grains/my_grain.py
[root@server4 salt]# cat  /srv/salt/_grains/my_grain.py
def my_grain():grains = {}grains['salt'] = 'salt'grains['hello'] = 'world'return grains[root@server4 salt]# salt '*' saltutil.sync_grains  同步到minion端
server6:- grains.my_grain
server5:- grains.my_grain
[root@server4 salt]# salt 'server5' grains.item hello  查看
server5:----------hello:world
[root@server4 salt]# salt 'server6' grains.item hello
server6:----------hello:world
[root@server4 salt]# salt 'server6' grains.item salt
server6:----------salt:salt
[root@server4 salt]# salt 'server5' grains.item salt
server5:----------salt:salt

1.4grains匹配运用
在target中匹配minion:
-G:通过grains来匹配目标主机,当目标主机含有定义的角色时就显示主机名称

[root@server4 ~]# salt -G roles:apache cmd.run hostname  
server6:server6
server5:server5
[root@server4 ~]# salt -G salt:salt cmd.run hostname
server6:server6
server5:server5
[root@server4 ~]# salt -G hello:world cmd.run hostname
server6:server6
server5:server5

在top文件中匹配:

[root@server4 ~]# cd /srv/salt/
[root@server4 salt]# ll
total 4
drwxr-xr-x 3 root root 35 Jun  9 04:36 apache
drwxr-xr-x 2 root root 25 Jun  9 13:51 _grains
drwxr-xr-x 2 root root 23 Jun  9 02:52 _modules
drwxr-xr-x 3 root root 35 Jun  9 10:05 nginx
-rw-r--r-- 1 root root 57 Jun  9 10:29 top.sls
[root@server4 salt]# vim top.sls 
base:'roles:apache':  角色Apache- match: grain  匹配- apache'roles:nginx':- match: grain- nginx[root@server4 salt]#  salt '*' state.highstate  推送给所有主机

在这里插入图片描述
二、pillar简介
1】 pillar和grains一样也是一个数据系统,但是应用场景不同。
2 】 pillar是将信息动态的存放在master端,主要存放私密、敏感信息(如用户名密码等),而且可以指定某一个minion才可以看到对应的信息。
3 】 pillar更加适合在配置管理中运用。
2.2声明pillar
定义pillar基础目录 子目录是默认目录,若要更改需要需要编辑配置文件重启服务
在server4上
在这里插入图片描述
2.3自定义pillar项

[root@server4 srv]# pwd
/srv/
[root@server4 srv]# mkdir pillar
[root@server4 pillar]# ll
total 4
-rw-r--r-- 1 root root 119 Jun  9 14:56 packages.sls
[root@server4 pillar]# vim packages.sls
{% if grains['fqdn'] == 'server5' %}
package: httpd
{% elif grains['fqdn'] == 'server6' %}
package: nginx
{% endif %}package: php  当前只有server5和server6没有其他主机 上面已经指定,不需要添加此参数,当有其他未指定的主机必须添加此参数
[root@server4 pillar]# vim top.sls 
base:'*':- packages
salt '*' saltutil.refresh_pillar  单机查看需要刷新pillar数据,只有在查看的时候需要刷新
因为pillar是动态数据采集,调用.sls文件时不刷新

2.3.1查询pillar数据

在这里插入图片描述
2.4pillar数据匹配

[root@server4 pillar]# salt  -I package:nginx cmd.run hostname
server6:server6[root@server4 pillar]# salt  -I package:httpd cmd.run hostname
server5:server5

state系统中使用:

/srv/salt/apache
[root@server4 apache]# cat  init.sls 
web:pkg.installed:- pkgs:- {{ pillar['package'] }}  引用pillar文件中获取软件- phpservice.running:- name: httpd- enable: True- watch:- file: /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf:file.managed:- source: salt://apache/files/httpd.conf

给server5上推送Apache服务
在这里插入图片描述
三、Jinja模板
3.1inja模板简介
【1】Jinja是一种基于python的模板引擎,在SLS文件里可以直接使用jinja模板来做一些操作。
【2】通过jinja模板可以为不同服务器定义各自的变量。
【3】两种分隔符: {% … %} 和 {{ … }},前者用于执行诸如 for 循环 或赋值的语句,后者把表达式的结果打印到模板上。
3.2Jinja模板使用方式
3.2.1Jinja最基本的用法是使用控制结构包装条件:

[root@server4 salt]# vim test.sls 
/mnt/testfile:   推送文件路径file.append:{% if grains['fqdn'] == 'server5' %}  - text: server5
判断当主机名是server5就在/mnt/testfile/创建一个server5的文件{% elif grains['fqdn'] == 'server6' %}- text: server6
判断当主机名是server6就在/mnt/testfile/创建一个server6的文件{% endif %}  结束

在这里插入图片描述

查看文件已经创建
[root@server5 ~]# cat /mnt/testfile 
server5[root@server6 ~]# cat /mnt/testfile 
server6

3.2.2Jinja在普通文件的使用:

[root@server4 apache]# pwd
/srv/salt/apache[root@server4 apache]# vim init.sls 
web:pkg.installed:- pkgs:- {{ pillar['package'] }}- phpservice.running:- name: httpd- enable: True- watch:- file: /etc/httpd/conf/httpd.conf/etc/httpd/conf/httpd.conf:file.managed:- source: salt://apache/files/httpd.conf- template: jinja   使用jinjia模板调用变量- context:   检测主机bind: 172.25.254.5    主机 ip
[root@server4 files]# vim httpd.conf  更改配置文件 
Listen {{ bind }}:80   表示只监测172.25.254.5主机的80端口

在这里插入图片描述
3.2.3Jinja模板使用方式
使用变量去更改httpd的端口

[root@server4 pillar]# pwd
/srv/pillar
[root@server4 pillar]# vim packages.sls 
{% if grains['fqdn'] == 'server5' %}
package: httpd
port: 8080  指定端口号
{% elif grains['fqdn'] == 'server6' %}
package: nginx
{% endif %}[root@server4 files]# pwd
/srv/salt/apache/files
[root@server4 files]# vim httpd.conf   更改httpd的配置文件
Listen {{ bind }}:{{ pillar['port'] }}  引用pillar/packages的文件内容

在这里插入图片描述
3.2.4引用变量

[root@server4 srv]# vim pillar/packages.sls
{% if grains['fqdn'] == 'server5' %}
package: httpd
port: 80  更改端口为80
{% elif grains['fqdn'] == 'server6' %}
package: nginx
{% endif %}
[root@server4 apache]# vim init.sls 
web:pkg.installed:- pkgs:- {{ pillar['package'] }}- phpservice.running:- name: httpd- enable: True- watch:- file: /etc/httpd/conf/httpd.conf/etc/httpd/conf/httpd.conf:file.managed:- source: salt://apache/files/httpd.conf- template: jinja- context:直接引用grains变量:bind: {{ grains['ipv4'][-1] }}    从grains中获取ipv4,会有两个,[-1]选取倒数第一个也就是server5的ip直接引用pillar变量port: {{ pillar['port'] }}  从pillar中夺取端口,上面已经更改为80[root@server4 files]# vim httpd.conf   更改httpd的配置文件
Listen {{ bind }}:{{ port }}  引用pillar/packages的文件内容

在这里插入图片描述
3.2.5Jinja模板使用方式
定义变量文件

[root@server4 salt]# cd
[root@server4 ~]# cd /srv/salt/
[root@server4 salt]# vim lib.sls
[root@server4 salt]# vim lib.sls 
{% set port = 8000 %}
[root@server4 salt]# vim   apache/files/httpd.conf 
下方的Listen {{ bind }}:{{ port }}定义的端口会被覆盖掉
{% from 'lib.sls' import port %} #
# This is the main Apache HTTP server configuration file.  It contains the
# configuration directives that give the server its instructions.
........................................................

在这里插入图片描述
3.3拆分入口文件的内容,优化文件内容分类,使用include模块调用其他文件

在这里插入图片描述
在这里插入图片描述

四、jinjia模板的扩展——高可用实验
4.1安装软件

/srv/salt/
[root@server4 salt]# mkdir keepalived  创建文件
[root@server4 keepalived]# vim init.sls
[root@server4 keepalived]# cat  init.sls
kp-install:pkg.installed:- pkgs:- keepalived 

在这里插入图片描述
4.2配置keepalived配置文件并启动服务

更改配置文件
[root@server4 keepalived]# mkdir files  创建目录
[root@server4 keepalived]# cd files/
[root@server4 files]# scp /etc/keepalived/keepalived.conf .   上传keepalive的配置文件
cp: cannot stat ‘/etc/keepalived/keepalived.conf’: No such file or directory
[root@server4 files]# scp server5:/etc/keepalived/keepalived.conf .    
[root@server4 files]# ll
total 4
-rw-r--r-- 1 root root 3598 Jun  9 21:38 keepalived.conf
更改keepalived配置文件
[root@server4 salt]# cat keepalived/files/keepalived.conf 
! Configuration File for keepalivedglobal_defs {notification_email {root@localhost    更改}notification_email_from keepalived@localhost  更改smtp_server 127.0.0.1  更改smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addr
#   vrrp_strict   注释掉vrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_instance VI_1 {state {{ STATE }}  调用变量interface ens33   网卡名称virtual_router_id 51priority {{ PRI }}   调用变量(优先级)advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100   添加VIP}
}

4.3 编辑keepalived/init.sls

[root@server4 salt]# cat keepalived/init.sls 
kp-install:pkg.installed:- pkgs:- keepalived file.managed:- name: /etc/keepalived/keepalived.conf- source: salt://keepalived/files/keepalived.conf- template: jinja- context:STATE: {{ pillar['state'] }}  调用pillar下的packages.sls文件PRI: {{ pillar['pri'] }}     调用pillar下的packages.sls文件service.running:   启动服务- name: keepalived- enable: True- reload: True   在线刷新,若添加的VIP172.25.254.100为出现,则不写此参数也就是默认重启服务- watch:- file: kp-install    监测配置文件若有更改reload刷新

4.4更改pillar目录下的packages.sls

更改pillar文件下的packages.sls
[root@server4 pillar]# pwd
/srv/pillar
[root@server4 pillar]# vim packages.sls 
{% if grains['fqdn'] == 'server5' %}
package: httpd
port: 80       指定端口
state: MASTER   master节点
pri: 100  优先级100
{% elif grains['fqdn'] == 'server6' %}
package: nginx
state: BACKUP
pri: 50   优先级
{% endif %}

4.5更改top.sls

[root@server4 ~]# cd /srv/salt/
[root@server4 salt]# ls
apache  _grains  keepalived  lib.sls  _modules  nginx  test.sls  top.sls
[root@server4 salt]# vim  top.sls   高级推送
base:  'server5':   - apache- keepalived'server6':- nginx- keepalived
[root@server4 salt]# vim  apache/init.sls   取消监测主机的固定端口,
web:pkg.installed:- pkgs:- {{ pillar['package'] }}- phpservice.running:- name: httpd- enable: True- watch:- file: /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf:file.managed:- source: salt://apache/files/httpd.conf- template: jinja- context:port: {{ pillar['port'] }}

4.5更改推送httpd服务的配置文件
[root@server4 salt]# vim apache/files/httpd.conf

Listen {{ port }}    写入调用端口变量不指定ip
高级推送服务
[root@server4 keepalived]# salt '*' state.highstate

在这里插入图片描述
在这里插入图片描述
测试访问

[root@client Desktop]# curl localhost 

在这里插入图片描述
在server5上查看
在这里插入图片描述
在这里插入图片描述
注意当关闭server5上的keepalived服务VIP和master会漂移到server6上,当再次开启keepalived服务时,就会复位,原因在于server5上的keepalived服务的优先级比server6高

这篇关于saltstack(自动化运维工具)——数据采集系统(grains与pillar详解)+ Jinja模板的多种使用方式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/169376

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo