php调取 zabbix实时数据_运维监控-Zabbix部署配置使用

2024-01-03 19:59
文章标签 配置 数据 部署 使用 php 运维 实时 监控 zabbix 调取

本文主要是介绍php调取 zabbix实时数据_运维监控-Zabbix部署配置使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

接下来几篇文章是关于互联网行业常用运维监控软件的安装和使用，也是自己日常工作中接触并有实际使用体验的工具，欢迎感兴趣的小伙伴共同探讨与学习。

6ba99d07f658b181136464bf4554c942.png

server端安装脚本

#！/bin bash#判断是否是root用户执行脚本ROOTUSER_NAME=rootusername=`id -nu`    #or username=`whoami`if [ "$username" == "$ROOTUSER_NAME" ]then        echo "Go to next step."else  echo "You are just a regular user,please switch to root."  exit 0fi#安装服务包及相关依赖包cd /root/Zabbix_2.4.4/MysqlEditionRPMrpm -ivh --nodeps --force *.rpmcd ..#启动Mysql数据库service mysqld start#MySQL数据库信息HOSTNAME="localhost"     #数据库URLPORT="3306"              #数据库端口USERNAME="root"          #数据库帐号PASSWORD=""              #数据库密码(初始为空)# 查看服务端口# # less /etc/services |grep mysql# mysql           3306/tcp                        # MySQL# mysql           3306/udp                        # MySQL## 登陆数据库，设置root用户密码 ##mysql -h${HOSTNAME}  -P${PORT}  -u${USERNAME} -p -e "set password for root@localhost=password('zabbixadmin');"#修改数据库密码#PASSWORD="zabbixadmin"#创建数据库mysql -h${HOSTNAME}  -P${PORT}  -u${USERNAME} -p${PASSWORD} -e "create database zabbix character set utf8 collate utf8_bin;"#授权zabbix系统访问Mysql数据库的用户和密码:mysql -h${HOSTNAME}  -P${PORT}  -u${USERNAME} -p${PASSWORD} -e "grant all privileges on zabbix.* to zabbixadmin@localhost identified by 'zabbixadmin';"#导入zabbix数据库表结构(${PASSWORD},可以使用变量)mysql -uroot -pzabboxadmin zabbix < /usr/share/doc/zabbix-server-mysql-2.4.5/create/schema.sqlmysql -uroot -pzabboxadmin zabbix < /usr/share/doc/zabbix-server-mysql-2.4.5/create/images.sqlmysql -uroot -pzabboxadmin zabbix < /usr/share/doc/zabbix-server-mysql-2.4.5/create/data.sql#sed -i 's/^.*DBPassword=.*$/DBPassword=zabbix/' /etc/zabbix/zabbix_server.conf#zabbix的配置文件，连接mysql数据库cp /etc/zabbix/zabbix_server.conf /etc/zabbix/zabbix_server.bak.confrm /etc/zabbix/zabbix_server.confcp /root/Zabbix_2.4.4/conf/zabbix_server.conf /etc/zabbix/#编辑PHP环境配置文件cp /etc/httpd/conf.d/zabbix.conf /etc/httpd/conf.d/zabbix.bak.confrm /etc/httpd/conf.d/zabbix.confcp /root/Zabbix_2.4.4/conf/zabbix.conf /etc/httpd/conf.d/#添加固定服务端口,以便于后期监测和防火墙监控端口echo "zabbix-agent    10050/tcp   # zabbix-agent-tcp" >> /etc/servicesecho "zabbix-agent    10050/udp   # zabbix-agent-udp" >> /etc/servicesecho "zabbix-trapper  10051/tcp   # zabbix-trapper-tcp" >> /etc/servicesecho "zabbix-trapper  10051/udp   # zabbix-trapper-udp" >> /etc/services#开启防火墙端口(tcp8881,10050,10051 udp10050,10051) HTTP端口、zabbix-agent端口、zabbix-trapper端口#或者关闭防火墙#   iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 10050 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m udp -p udp --dport 10050 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 10051 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m udp -p udp --dport 10051 -j ACCEPT##   service iptables save#关闭selinux#修改/etc/selinux/config文件中的SELINUX="" 为 disabled ，然后重启cp /etc/selinux/config /etc/selinux/bakconfigrm /etc/selinux/configcp /root/Zabbix_2.4.4/conf/config /etc/selinux/#将自定义字体拷贝至字体存放文件夹目录下cp /root/Zabbix_2.4.4/conf/msyh.ttf /usr/share/zabbix/fontscp /root/Zabbix_2.4.4/conf/simkai.ttf /usr/share/zabbix/fonts#修改字体引用配置文件cp /usr/share/zabbix/include/defines.inc.php /usr/share/zabbix/include/defines.bak.inc.phprm /usr/share/zabbix/include/defines.inc.phpcp /root/Zabbix_2.4.4/conf/defines.inc.php /usr/share/zabbix/include/#修改Apache HTTP配置文件cp /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.bak.confrm /etc/httpd/conf/httpd.confcp /root/Zabbix_2.4.4/conf/httpd.conf /etc/httpd/conf/## 设置所需服务自动启动(httpd,mysqld,snmpd,snmptrapd,zabbix-agent,zabbix-server) ##chkconfig httpd on                 # service httpd startchkconfig mysqld on                # service mysqld start#chkconfig snmpd on                 # service snmpd start#chkconfig snmptrapd on             # service snmptrapd startchkconfig zabbix-agent on          # service zabbix-agent startchkconfig zabbix-server on         # service zabbix-server startchkconfig --level 2345 zabbix-server onrebootservice httpd restartservice mysqld restartservice zabbix-server restart

Agent端安装脚本

#！/bin bash#判断是否是root用户执行脚本ROOTUSER_NAME=rootusername=`id -nu`    #or username=`whoami`if [ "$username" == "$ROOTUSER_NAME" ]then        echo "Go to next step."else  echo "You are just a regular user,please switch to root."  exit 0fi#安装服务包及相关依赖包cd /root/Zabbix_2.4.4/zabbixAgentrpm -ivh zabbix-2.4.5-1.el6.x86_64.rpmrpm -ivh zabbix-agent-2.4.5-1.el6.x86_64.rpmcd ..#修改配置文件/usr/local/zabbix_agent/etc/zabbix_agent.conf#修改Zabbix server的ip#Server=192.168.10.197  #server端IP地址，请修改cp /etc/zabbix/zabbix_agentd.conf /etc/zabbix/zabbix_agentd.bak.confrm /etc/zabbix/zabbix_agentd.confcp /root/Zabbix_2.4.4/zabbixAgent/zabbix_agentd.conf /etc/zabbix/#启动#/usr/local/agent/sbin/zabbix_agentd -c /usr/local/agent/etc/zabbix_agentd.conf #Echo "/usr/local/agent/sbin/zabbix_agentd -c /usr/local/agent/etc/zabbix_agentd.conf" >>/etc/tc.local#添加到系统目录#ln -s /usr/local/zabbix_agent/sbin/* /usr/local/sbin/#ln -s /usr/local/zabbix_agent/bin/* /usr/local/bin/#测试，下面的命令需要在server端执行，其中192.168.10.199是agent的ip#/usr/local/zabbix/bin/zabbix_get -s192.168.10.199 -p10050 -k"system.uptime"#添加固定服务端口,以便于后期监测和防火墙监控端口echo "zabbix-agent    10050/tcp   # zabbix-agent-tcp" >> /etc/servicesecho "zabbix-agent    10050/udp   # zabbix-agent-udp" >> /etc/servicesecho "zabbix-trapper  10051/tcp   # zabbix-trapper-tcp" >> /etc/servicesecho "zabbix-trapper  10051/udp   # zabbix-trapper-udp" >> /etc/services#开启防火墙端口(tcp8881,10050,10051 udp10050,10051) HTTP端口、zabbix-agent端口、zabbix-trapper端口#或者关闭防火墙#   iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 10050 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m udp -p udp --dport 10050 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 10051 -j ACCEPT#   iptables -A INPUT -m state --state NEW -m udp -p udp --dport 10051 -j ACCEPT##   service iptables save## 设置所需服务自动启动(httpd,mysqld,snmpd,snmptrapd,zabbix-agent,zabbix-server) ###chkconfig httpd on                 # service httpd start#chkconfig mysqld on                # service mysqld start#chkconfig snmpd on                 # service snmpd start#chkconfig snmptrapd on             # service snmptrapd start#chkconfig zabbix-agent on          # service zabbix-agent start#chkconfig zabbix-server on         # service zabbix-server startservice zabbix-agent restartchkconfig --level 2345 zabbix-agent on#在监控后台添加被监控服务器信息即可

安装过程

添加一个zabbix的官方yum源

#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpmRetrieving http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpmwarning: /var/tmp/rpm-tmp.OyOrcF: Header V4 DSA/SHA1 Signature, key ID 79ea5ed4: NOKEYPreparing...########################################### [100%]1:zabbix-release ########################################### [100%]

安装依赖组件包

#yum -y install iksemel libssh2 zabbix-server-mysql zabbix-web-mysql mysql-server zabbix-agent install net-snmp-devel net-snmp-libs net-snmp-perl net-snmp-utils net-snmp    Loaded plugins: fastestmirror, refresh-packagekit, security    Determining fastest mirrors     * base: centos.ustc.edu.cn     * extras: mirrors.pubyun.com     * updates: centos.ustc.edu.cn    base  | 3.7 kB 00:00     extras| 3.4 kB 00:00     extras/primary_db |  31 kB 00:00     updates   | 3.4 kB 00:00     updates/primary_db| 3.9 MB 00:02     zabbix|  951 B 00:00     zabbix/primary|  17 kB 00:04     zabbix   113/113    zabbix-non-supported  |  951 B 00:00     zabbix-non-supported/primary  | 3.8 kB 00:00     zabbix-non-supported   15/15    Setting up Install Process    No package install available.    Resolving Dependencies    Installed:      iksemel.x86_64 0:1.4-2.el6libjpeg-turbo.x86_64 0:1.2.1-3.el6_5  mysql-server.x86_64 0:5.1.73-5.el6_6         net-snmp.x86_64 1:5.5-50.el6_6.1  net-snmp-devel.x86_64 1:5.5-50.el6_6.1net-snmp-perl.x86_64 1:5.5-50.el6_6.1        net-snmp-utils.x86_64 1:5.5-50.el6_6.1zabbix-agent.x86_64 0:2.4.5-1.el6 zabbix-server-mysql.x86_64 0:2.4.5-1.el6         zabbix-web-mysql.noarch 0:2.4.5-1.el6    Dependency Installed:      OpenIPMI-libs.x86_64 0:2.0.16-14.el6elfutils-devel.x86_64 0:0.158-3.2.el6elfutils-libelf-devel.x86_64 0:0.158-3.2.el6      file-devel.x86_64 0:5.04-21.el6 fping.x86_64 0:2.4b2-16.el6  keyutils-libs-devel.x86_64 0:1.4-5.el6        krb5-devel.x86_64 0:1.10.3-37.el6_6 libcom_err-devel.x86_64 0:1.41.12-21.el6 libselinux-devel.x86_64 0:2.0.94-5.8.el6      libsepol-devel.x86_64 0:2.0.41-4.el6lm_sensors-devel.x86_64 0:3.1.1-17.el6   mysql.x86_64 0:5.1.73-5.el6_6         openssl-devel.x86_64 0:1.0.1e-30.el6.11 perl-DBD-MySQL.x86_64 0:4.013-3.el6  php.x86_64 0:5.3.3-46.el6_6       php-bcmath.x86_64 0:5.3.3-46.el6_6  php-cli.x86_64 0:5.3.3-46.el6_6  php-common.x86_64 0:5.3.3-46.el6_6        php-gd.x86_64 0:5.3.3-46.el6_6  php-mbstring.x86_64 0:5.3.3-46.el6_6 php-mysql.x86_64 0:5.3.3-46.el6_6         php-pdo.x86_64 0:5.3.3-46.el6_6 php-xml.x86_64 0:5.3.3-46.el6_6  popt-devel.x86_64 0:1.13-7.el6        rpm-devel.x86_64 0:4.8.0-38.el6_6   tcp_wrappers-devel.x86_64 0:7.6-57.el6   unixODBC.x86_64 0:2.2.14-14.el6       zabbix.x86_64 0:2.4.5-1.el6 zabbix-server.x86_64 0:2.4.5-1.el6   zabbix-web.noarch 0:2.4.5-1.el6     Updated:      libssh2.x86_64 0:1.4.2-2.el6 net-snmp-libs.x86_64 1:5.5-50.el6_6.1    Dependency Updated:      e2fsprogs.x86_64 0:1.41.12-21.el6e2fsprogs-libs.x86_64 0:1.41.12-21.el6  elfutils.x86_64 0:0.158-3.2.el6         elfutils-libelf.x86_64 0:0.158-3.2.el6   elfutils-libs.x86_64 0:0.158-3.2.el6file.x86_64 0:5.04-21.el6       file-libs.x86_64 0:5.04-21.el6   keyutils.x86_64 0:1.4-5.el6 keyutils-libs.x86_64 0:1.4-5.el6        krb5-libs.x86_64 0:1.10.3-37.el6_6   krb5-workstation.x86_64 0:1.10.3-37.el6_6   libcom_err.x86_64 0:1.41.12-21.el6      libselinux.x86_64 0:2.0.94-5.8.el6   libselinux-python.x86_64 0:2.0.94-5.8.el6   libselinux-utils.x86_64 0:2.0.94-5.8.el6        libss.x86_64 0:1.41.12-21.el6lm_sensors-libs.x86_64 0:3.1.1-17.el6   mysql-libs.x86_64 0:5.1.73-5.el6_6      openssl.x86_64 0:1.0.1e-30.el6.11rpm.x86_64 0:4.8.0-38.el6_6 rpm-build.x86_64 0:4.8.0-38.el6_6       rpm-libs.x86_64 0:4.8.0-38.el6_6 rpm-python.x86_64 0:4.8.0-38.el6_6  zlib.x86_64 0:1.2.3-29.el6      zlib-devel.x86_64 0:1.2.3-29.el6    Replaced:      libjpeg.x86_64 0:6b-46.el6     Complete!

启动Mysql数据库

# service mysqld start

登陆数据库，设置root用户密码

# mysql -u root    Welcome to the MySQL monitor.  Commands end with ; or g.    Your MySQL connection id is 3    Server version: 5.1.73 Source distribution    Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.    Oracle is a registered trademark of Oracle Corporation and/or its    affiliates. Other names may be trademarks of their respective    owners.    Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.#设置root密码    mysql>set password for root@localhost=password('zabbixadmin');

创建zabbix外部数据库

数据库：zabbix用户名：zabbixadmin 密码：zabbixadmin创建zabbix的数据库:create databas e zabbix character set utf8 collate utf8_bin;授权zabbix系统访问Mysql数据库的用户和密码:grant all privileges on zabbix.* to zabbixadmin@localhost identified by 'zabbixadmin';

导入zabbix数据库表结构

mysql -uroot -pzabbixadmin zabbix < /usr/share/doc/zabbix-server-mysql-2.4.5/create/schema.sqlmysql -uroot -pzabbixadmin zabbix < /usr/share/doc/zabbix-server-mysql-2.4.5/create/images.sqlmysql -uroot -pzabbixadmin zabbix < /usr/share/doc/zabbix-server-mysql-2.4.5/create/data.sql导入sql文件命令说明：mysql -uroot -pzabbixadmin zabbixmysql  数据库操作主指令-uroot 以root用户登录-pzabbixadmin这里的zabbixadmin为你3-2步骤设置的root密码(这里注意,-p和密码之间不要有空格,直接输入密码就行 否则会报错)zabbix为创建的数据库名称/usr/share/doc/zabbix-server-mysql-2.4.1/create/目录内的三个sql文件为安装zabbix软件时自动创建

编辑zabbix的配置文件

vi  /etc/zabbix/zabbix_server.conf    依次找到DBHost  DBName  DBUser DBPassword 四个关键字,    修改成你自己上面定义的内容:    DBHost=localhost               指的是访问本机数据库    DBName=zabbix                创建的zabbix的数据库名字    DBUser=zabbixadmin              授权访问数据库的用户名    DBPassword=zabbixadmin          授权访问数据库的密码

编辑PHP环境配置文件

    vi  /etc/httpd/conf.d/zabbix.conf    对应修改内容如下    php_value max_execution_time 300    php_value memory_limit 128M    php_value post_max_size 16M    php_value upload_max_filesize 2M    php_value max_input_time 300    php_value date.timezone Asia/Shanghai    其实zabbix都给你设置好了,只有最后一项需要你改动下,去掉前面的#号     时区设置成Asia/Shanghai

添加固定服务端口,以便于后期监测和防火墙监控端口

    编辑/etc/services文件    vi /etc/services    跳到文件末尾(大写G直接跳)追加以下内容:    zabbix-agent    10050/tcp   # zabbix-agent-tcp    zabbix-agent    10050/udp   # zabbix-agent-udp    zabbix-trapper  10051/tcp   # zabbix-trapper-tcp    zabbix-trapper  10051/udp   # zabbix-trapper-udp    echo "zabbix-agent10050/tcp   # zabbix-agent-tcp" >> /etc/services    echo "zabbix-agent10050/udp   # zabbix-agent-udp" >> /etc/services    echo "zabbix-trapper  10051/tcp   # zabbix-trapper-tcp" >> /etc/services    echo "zabbix-trapper  10051/udp   # zabbix-trapper-udp" >> /etc/services

开启防火墙端口(tcp80,10050,10051 udp10050,10051)

    当然你可以直接关闭防火墙,但是强烈建议生产环境一定不要这么做!    iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT    iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 10050 -j ACCEPT    iptables -A INPUT -m state --state NEW -m udp -p udp --dport 10050 -j ACCEPT    iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 10051 -j ACCEPT    iptables -A INPUT -m state --state NEW -m udp -p udp --dport 10051 -j ACCEPT    service iptables save

关闭selinux

    selinux是否关闭。一定要关闭这个，开启selinux会引起一连串问题，甚至zabbix的discovery功能也不能正常使用    关闭SELinux的方法：    修改/etc/selinux/config文件中的SELINUX="" 为 disabled ，然后重启。

设置所需服务自动启动

 (httpd,mysqld,snmpd,snmptrapd,zabbix-agent,zabbix-server)    chkconfig httpd on                 ; service httpd start    chkconfig mysqld on                ; service mysqld start    chkconfig snmpd on                 ; service snmpd start    chkconfig snmptrapd on             ; service snmptrapd start    chkconfig zabbix-agent on          ; service zabbix-agent start    chkconfig zabbix-server on         ; service zabbix-server start

修改系统字体(切换成中文后)

    cd /usr/share/zabbix/fonts    mv graphfont.ttf graphfont.ttf.bak    wget -SO graphfont.ttf http://v.dbsa.cn/zabbix/DejaVuSans.ttf    #不替换 graphfont.ttf的方法    #下载会字体文件 .ttf    #vi /usr/share/zabbix/include/defines.inc.php    #('ZBX_GRAPH_FONT_NAME',  'graphfont');  #将graphfont替换为下载的文件名即可     #('ZBX_FONT_NAME', 'graphfont');  #将graphfont替换为下载的文件名即可

部署Zabbix Agent

    yum install zabbix-agent  zabbix-sender zabbix-get -y    # grep -vE '(^$|^#)' /etc/zabbix/zabbix_agentd.conf    PidFile=/var/run/zabbix/zabbix_agentd.pid    LogFile=/var/log/zabbix/zabbix_agentd.log    LogFileSize=0    Server=172.16.43.40  #修改为Server的IP，支持多个IP，逗号分隔，使用域名的话，需要支持反向解析    ServerActive=172.16.43.40#修改为Server的IP，不支持写多个IP    HostnameItem=system.hostname#默认是用Hostname需要手动指定主机名，改为HostnameItem 使用内部key的自动获取方式    Include=/etc/zabbix/zabbix_agentd.d/    # /etc/init.d/zabbix-agent start    # chkconfig zabbix-agent on

##关注日志

#tail -n50 -f /var/log/zabbix/zabbix_agentd.log    1526:20141126:150356.024 Starting Zabbix Agent [localhost.localdomain]. Zabbix 2.4.2 (revision 50419).    1526:20141126:150356.024 using configuration file: /etc/zabbix/zabbix_agentd.conf    1526:20141126:150356.025 agent #0 started [main process]    1530:20141126:150356.026 agent #4 started [listener #3]    1529:20141126:150356.026 agent #3 started [listener #2]    1531:20141126:150356.026 agent #5 started [active checks #1]    1528:20141126:150356.027 agent #2 started [listener #1]    1527:20141126:150356.027 agent #1 started [collector]    1531:20141126:150356.062 no active checks on server [172.16.43.40:10051]: host [localhost.localdomain] not found    同样，'no active checks on server' 也不是一个错误，后续更新的blog会进行描述.

Web安装过程

启动web服务后按照安装指引，配置好数据库，“下一步”即可。

这篇关于php调取 zabbix实时数据_运维监控-Zabbix部署配置使用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/566885。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
CentOS7安装配置mysql5.7 tar免安装版

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2