CMDB(Configuration Management Database)资产管理系统和 运维自动化

本文主要是介绍CMDB(Configuration Management Database)资产管理系统和 运维自动化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、传统运维方式和自动化运维的区别

二、CMDB的介绍

三、CMDB的四种方式  

四、项目的目录架构介绍以及配置文件的升级编写

五、比较low的项目架构书写

六、可插拔式收集资产

七、对收集的服务器信息进行清洗

八、整个项目的总结

九、收集资产遇到的唯一标识的大坑

十、开启线程池并发采集

十一、后台目录结构设计

十二、API请求认证

十三、后台数据表结构设计

十四、后台数据表生成

十五、资产清洗入库

十六、硬盘数据入库

十七、AES加密数据

十八、将数据展示前端

十九、bootstraptable行内进行编辑

二十、layui的使用

二十一、使用echarts,highcharts进行画图 

 

 

Python的几个方向:

 1、Python自动化运维

 2、爬虫(数据分析)

 3、web开发

 4、人工智能(AI)

 

一、传统运维方式和自动化运维的区别

  传统运维:

    项目上线的流程:

      第一步:产品经理进行前期调研(需求分析)

      第二步:和开发进行评审

      第三步:开发进行开发

      第四步:测试人员进行测试

      第五步:交给业务运维人员进行上线 (重点讨论这个)--怎么上线-->直接将代码给业务运维人员(代码打一个包用qq传过来),让业务运维人员把代码放到服务器上(拿到代码解压,然后放到服务器上)。服务器上需要配一下域名(就跟百度一样www.baidu.com)才能够对外服务。

  

缺点:

  增加运维的成本

针对这种传统的方式有什么解决优化方案?

改进一:专门搞一个自动分发程序代码的系统。

  a.这个系统的基础是得有服务器的信息(ip、hostname、等)

  b.能不能报警自动化

SMTP
一千台服务器上放微博的项目,尾部项目出问题了会触发服务器上一个报警(每台服务器中都有),发邮件,发短信或者打电话到运维人员手机上。
怎么发现服务器报错信息?

  c.装机系统

    传统的装机和布线:idc运维-->用大量的人力物力来进行装机。    

    自动化运维?--->把服务器放到机架上,插一根网线。把服务器ip还有hostname信息告诉一个专门装机的系统。    

我发送一个命令,centos就能够装好。
collober

 

 d.收集服务器元信息

    1.Excel

      缺点:人为干预太严重,统计的时候也会有问题

    2.搞一个系统---->这就叫CMDB

      作用:自动的帮我们收集服务器的信息,并且自动的记录我们的变更信息。    

二、CMDB的介绍

  自动的帮我们收集服务器的信息,并且自动的记录我们的变更信息。让所有的操作都变得自动化。

  

三、CMDB的四种方式  

大体流程:

 开始收集服务器的元数据:怎么收集虚拟机服务器所有的信息?---->怎么汇报给实体机,数据库里?

获取ip地址:

获取主机名:

获取硬盘信息:

获取内存信息:

1.实体机发命令虚拟机执行ifconfig

2.虚拟机执行命令得到执行的结果可以通过socket发送给实体机

3.需要通过正则或者Python的一些字符串函数将ip信息给分析出来

 

 

在实际开发中,收集服务器的信息总共有4中方案:

第一个方案:agent方式 (代理中介的意思)   

  第一步:在每台服务器上写Python脚本(脚本内容),且python代码执行的结果还在每台服务器上。

import subprocess# res = subprocess.getoutput('ipconfig')
res = subprocess.getoutput('ifconfig')print(res)# 用正则,字符串分割函数...拿到想要的结果
test.py

  第二步:定时(crontab)的执行收集代码

linux命令crontab,可以指定在哪一时刻执行某一个脚本。
crontab

  第三步:将执行的结果返回给那台专门收集信息的服务器。用requests模块,post请求

  第四步:专门收集的服务器收集到所有的服务器信息后放到DB(数据库)服务器里。

  第五步:搞一个给管理人员或者想要用CMDB系统的人看的Django页面

注:我们把每一台服务器叫每一个agent。开启一个agent代表的意思是,在我们每一台服务器上,我们布一个agent脚本(就是我们写的test.py脚本)。agent脚本目前三行代码,但将来实际上会非常非常的大。

缺点:每台服务器都要安装agent

优点:速度快

应用场景:适用服务器多的时候,大公司

agent方式:

  agent脚本

  API

  web界面 

 

第二种方案:ssh连接   另外目前市面上除了使用paramiko模块本身外,还有fabric,ansible等,它们内部都是基于paramiko模块实现的

# # ssh类   用于连接远程服务器并执行基本命令
# import paramiko
#
#
# # 创建SSH对象
# ssh = paramiko.SSHClient()
# # 允许连接不在know_hosts文件中的主机
# ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# # 连接服务器
# ssh.connect(hostname='zhangrenguo', port=22, username='root', password='1')
#
# # 执行命令
# stdin, stdout, stderr = ssh.exec_command('ifconfig')
# # 获取命令结果
# result = stdout.read()
# print(result.decode('utf-8'))
# # 关闭连接
# ssh.close()
ssh 连接用paramiko

缺点:依赖于网络,速度慢

优点:不用部署agent

适用于服务器少的

 ssh类(parmiko)

  parmiko(获取主机名)

  API

  Web界面展示

 

第三种方案:saltstack的工作原理--->

安装:

#master端:
"""
1. 安装salt-masteryum install salt-master
2. 修改配置文件:/etc/salt/masterinterface: 10.0.0.7    # 表示Master的IP 
3. 启动service salt-master start
"""
#slave端:
"""
1. 安装salt-minionyum install salt-minion
2. 修改配置文件 /etc/salt/minionmaster: 10.0.0.7           # master的地址或master:- 10.211.55.4- 10.211.55.5random_master: Trueid: c2.salt.com                    # 客户端在salt-master中显示的唯一ID
3. 启动service salt-minion start""""""

授权

"""
salt-key -L                    # 查看已授权和未授权的slave
salt-key -a  salve_id      # 接受指定id的salve
salt-key -r  salve_id      # 拒绝指定id的salve
salt-key -d  salve_id      # 删除指定id的salve
"""

执行命令

#在master服务器上对salve进行远程操作
salt 'c2.salt.com' cmd.run  'ifconfig'#基于API的方式
import salt.client
local = salt.client.LocalClient()
result = local.cmd('c2.salt.com', 'cmd.run', ['ifconfig'])

 

缺点:所有服务器需要安装saltstack软件

优点:直接用现有的软件,速度快,开发成本低

适用于公司一直使用saltstack,业内最流行的方案

 

saltstack:

  saltstack软件

  API

  web界面展示 

 

第四种方案:puppet 慢慢被淘汰了

不做了解。

 

四种方式大致的步骤:

  1.收集服务器信息

  2.数据提交给api

  3.文本页面展示

 

可视化工具:

https://echarts.baidu.com

https://www.highcharts.com.cn/demo/highcharts

 

 在线画图工具:

www.processon.com

www.draw.io

 

 

为什么要使用CMDB?

  因为现在统计资产使用的是Excel表格,但业务业务越来越多。导致变更资产的时候,Excel表格越来越乱。为了让所有的资产收集全部自动化,所以我们做了CMDB。

 

目标:

三种方式我们都要实现兼容

只需要改配置文件里面的一个配置,我们就能够自如的切换

 

四、项目的目录架构介绍以及配置文件的升级编写

项目名叫autoclient

core文件夹

conf目录放settings一些自定义配置文件settings.py

bin目录放入口启动可执行的文件start.py

src放一些核心业务的一些逻辑agent.py

db 放数据相关文件

log 放一些日志相关文件

lib 放一些自己写的公共的类公共的模块common.py

test.py测试

 

 

 

配置文件的编写:

  目标:写一个类似于Django的配置方法(有自定义的配置文件,还要有项目默认的配置文件)--->无非是集成自定义配置文件和项目默认的配置文件里面的这些配置。通过面向对象高级里面知识!

 

代码重复

    可以写一个公共的方法
可以写一个父类方法
代码高内聚--->某一个方法就干一件事,剩下的其他的不管。
代码低解耦--->启动脚本是脚本,不参与业务逻辑。

 

 

收集的信息:

  主板信息:hostname、Mac地址

  cpu信息:型号,几个核

  dick(磁盘信息):磁盘大小、几块磁盘

  memory(内存信息):

  nic(网卡信息):ip地址、

 

可插拔式的收集上述信息-----什么是可插拔式的?-->在配置文件里的配置,想用的时候去掉注释,不想用的时候加上注释。和业务逻辑没关系。

 

 

接下来升级可插件的__init__文件。 写代码收集

 

 

插件的第一种解决方案:

  a、写一个公共的类

    让其他的所有的类继承Base这个基类

  b、

 

  

 

信息已经收集好了---发送给API通过requests模块-->

  

收集的信息:Linux上的命令

  主板信息:hostname、Mac地址

  cpu信息:型号,几个核             cat /proc/cpuinfo

  dick(磁盘信息):磁盘大小、几块磁盘

  memory(内存信息):

  nic(网卡信息):ip地址、

  

  

 

转载于:https://www.cnblogs.com/zhangrenguo/p/10750615.html

这篇关于CMDB(Configuration Management Database)资产管理系统和 运维自动化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/706149

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL逻辑删除与唯一索引冲突解决方案

《MySQL逻辑删除与唯一索引冲突解决方案》本文探讨MySQL逻辑删除与唯一索引冲突问题,提出四种解决方案:复合索引+时间戳、修改唯一字段、历史表、业务层校验,推荐方案1和方案3,适用于不同场景,感兴... 目录问题背景问题复现解决方案解决方案1.复合唯一索引 + 时间戳删除字段解决方案2:删除后修改唯一字

Python自动化批量重命名与整理文件系统

《Python自动化批量重命名与整理文件系统》这篇文章主要为大家详细介绍了如何使用Python实现一个强大的文件批量重命名与整理工具,帮助开发者自动化这一繁琐过程,有需要的小伙伴可以了解下... 目录简介环境准备项目功能概述代码详细解析1. 导入必要的库2. 配置参数设置3. 创建日志系统4. 安全文件名处

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5