大数据之LibrA数据库系统告警处理（ALM-12012 NTP服务异常）

本文主要是介绍大数据之LibrA数据库系统告警处理（ALM-12012 NTP服务异常），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

告警解释

当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。

当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。

告警属性

告警ID	告警级别	可自动清除
12012	严重	是

告警参数

参数名称	参数含义
ServiceName	产生告警的服务名称。
RoleName	产生告警的角色名称。
HostName	产生告警的主机名。

对系统的影响

该节点的时间与集群其它节点的时间不同步，可能会导致该节点上的某些FusionInsight应用无法正常运行。

可能原因

该节点的NTP服务无法正常启动。
该节点与主OMS节点NTP服务不能正常同步时间。
该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。
该节点与主OMS节点NTP服务时间偏差太大。

处理步骤

检查该节点的NTP服务是否正常启动。

检查ntpd进程是否运行在告警节点上。使用root用户登录告警节点，执行命令：ps -ef | grep ntpd | grep -v grep，检查命令是否输出ntpd进程的信息。
- 是，执行步骤 4。
- 否，执行步骤 2。
执行service ntp start（RedHat系统执行service ntpd start）启动NTP服务。
10分钟后，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行步骤 4。

检查该节点与主OMS节点NTP服务是否正常同步时间。

查看NTP告警的“附加信息”是否描述“与主OMS节点NTP服务无法同步时间”（“Can not synchronize time with active OMS server”）。
- 是，执行步骤 5。
- 否，执行步骤 14。
排查与主OMS节点NTP服务的同步是否有问题。

使用root用户登录告警节点，执行ntpq -np命令。

如果显示结果的主OMS节点NTP服务IP地址前有“*”号，表示同步正常，如下：
```
remote refid st t when poll reach delay offset jitter 
============================================================================== 
*10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014
```
如果显示结果的主OMS节点NTP服务IP前无“*”号，且“refid”项内容为“.INIT.”，表示同步不正常。
```
remote refid st t when poll reach delay offset jitter 
============================================================================== 
10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014
```
- 是，执行步骤 6。
- 否，执行步骤 17。
NTP不能正常同步，通常与系统防火墙有关。如果能关闭防火墙，建议尝试关闭防火墙；如果不能关闭防火墙，请检查防火墙配置策略，确保UDP 123端口未禁用（具体遵循各系统下防火墙配置策略）。
处理防火墙后等待10分钟，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行步骤 8。

使用root用户登录主OMS节点，执行下列命令，查看key值索引号为“1M”的认证码。

SUSE系统执行：cat /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys

RedHat系统执行：cat /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys
执行下列命令，查看key值是否与
步骤 8的查询值相同。

SUSE系统执行：diff /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys /etc/ntp.keys

RedHat系统执行：diff /opt/huawei/Bigdata/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys /etc/ntp/ntpkeys
- 是，执行步骤 10。
- 否，执行步骤 17。
执行cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile，查看key值是否与
步骤 8的查询值相同。（请与步骤 8查询值的认证秘钥索引为“1M”的key值进行对比）。
- 是，执行步骤 17。
- 否，执行步骤 11。
使用root用户登录故障节点，SUSE系统执行cat /etc/ntp.keys（RedHat系统执行cat /etc/ntp/ntpkeys），查看key值是否与
步骤 10的查询值相同（请使用查询出的认证秘钥索引为“1M”的key值进行对比）。
- 是，执行步骤 17。
- 否，执行步骤 12。
使用root用户或omm用户执行以下命令，修改主OMS节点ntp的key值（RedHat系统请将ntp.keys改为ntpkeys）。

cd ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf

sed -i "`cat ntp.keys | grep -n '1 M'|awk -F ':' '{print $1}'`d" ntp.keys

echo "1 M `cat ${BIGDATA_HOME}/om-server/om/packaged-distributables/ntpKeyFile`" >>ntp.keys

查看“ntp.keys”中认证秘钥索引字段为1M的key值是否和ntpKeyFile的值相同
- 是，执行步骤 13。
- 否，请尝试手动将ntp.keys中认证秘钥索引字段为1M的key值修改为ntpKeyFile的key值。
5分钟后，使用root用户执行以下命令，查看系统配置文件是否已经同步。

RedHat系统执行：diff /etc/ntp/ntpkeys ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf/ntpkeys

SUSE系统执行：diff /etc/ntp.keys ${BIGDATA_HOME}/om-server/OMSV100R001C00x8664/workspace/conf/ntp.keys

执行命令无返回结果即为已经同步，同步成功后，执行命令service ntp restart，重启主OMS节点ntp服务，15分钟后查看告警是否消除。
- 是，处理完毕。
- 否，执行步骤 17。

检查该节点与主OMS节点NTP服务时间偏差是否太大。

NTP告警的“附加信息”是否描述“时间偏差太大”（time offset）。
- 是，执行步骤 15。
- 否，执行步骤 17。
在“主机管理”页面，勾选告警节点的主机，选择“更多操作 > 停止所有角色”停止告警节点的所有服务。

如果告警节点时间比主OMS节点NTP服务时间慢，校正告警节点的系统时间。校正告警节点的系统时间后，选择“更多操作 > 启动所有角色”启动告警节点的服务。

如果告警节点时间比主OMS节点NTP服务时间快，等待相应时间差，校正告警节点的系统时间。校正完成后，选择“更多操作 > 启动所有角色”启动告警节点的服务。
说明：
如果不做相应等待，可能造成数据丢失风险。
10分钟后，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行步骤 17。