小小的网络故障，带来深深的思考，IT运维的成败果然在于细节

早晨8点多，收到Zabbix的邮件告警，显示客户的戴尔服务器和爱快路由器掉线了，由于该客户的机房之前有过多次停电，症状当然也是如此这般，加上客户没有电话或者微信报修，就先入为主地判定为机房又停电了，因此未采取任何措施。

 直到过了下班时间，客户才反馈：外网无法使用向日葵远程控制服务器。因为不止一次，也就直说了，是不是机房又没电。

客户反馈有电，照片显示服务器处于开机状态，爱快路由器也是一样。

嗯？这怎么可能，难道短暂停电后就恢复了，恢复的时候，Zabbix没有自动发邮件提醒我？

远程登录爱快，失败；登录爱快云后台查看，显示该路由器为离线状态；登录部署在云服务器里面的Zabbix，发现客户的戴尔服务器和爱快还是离线状态，并没恢复。

指导客户重启爱快，无效；难道是停电后掉配置了？客户都已经下班了，也就没有其他远程手段了，为了不影响客户第二天上班使用，于是驱车前往。

到了机房，首先把显示器接到爱快上，果然有宽带没连接上？Lan口也是已断开状态？

把键盘接上，顺手按了几下回车键，所有网卡显示为已连接，貌似没问题啊，奇怪。

既然如此，打开笔记本电脑，登录爱快路由器，准备检查问题所在；

原来是固定IP的城域网掉线了，这是爱快的默认链路，专供服务器和监控使用的，所以白天办公的时候，用户是感觉不到的，直到要远程操作服务器的时候，才发现网络有问题。路由器端口好好的，网卡的“眼睛”唰唰地眨着，于是转到机柜后面，一眼就看到某个光猫闪着红灯，好吧，电信光纤断了；

可是爱快云显示路由器处于掉线状态也太不应该了，其他几条拨号宽带不都是好好的在线么？

也许是配置不仔细吧，没有配置自动切换线路，另外几条拨号的宽带倒是都配置了，只是固定IP的城域网没配置，主要是太相信电信了，嘿嘿，现在赶紧补上吧，来都来了，是吧。

勾上“掉线自动切换”后，爱快云立刻显示路由器在线了，哪怕没有固定IP，在外网也能通过爱快云远程登录这台路由器了；

服务器上的向日葵，本以为会自动上线，结果重试了几次都无法上线，只能手动退出软件，重新开启后，才恢复连接；

先让客户这么用吧，暂时没什么大影响，只能明天早上再向电信报修线路故障了。

准备收拾东西走人，先备份一下爱快的配置吧，下次有问题的时候，能快速恢复；

反思：

1、由此看来，先入为主和经验主义的确是害了自己，接到客户报修就先把自己掘进坑里了，没有冷静、认真地分析，虽然也快速解决了问题，没影响客户使用，但是这一趟其实可以不用跑，单程40分钟，毕竟说远不远，说近也不近；

2、云端的Zabbix，配置为smnp轮询客户的设备，一旦固定IP的链路掉线，所有的监测肯定是全部失效了，如果是在服务器上安装了Zabbix agent，并且配置为主动模式，就能主动向Zabbix Server上报信息，配合爱快的“掉线自动切换”，云端的Zabbix就不会与被监测的服务器失联了，这样就很容易地判断出是固定IP的城域网掉线了。

3、不能太相信运营商，该做的配置，还得做细致做完整，免得有问题的时候，再费时费力地排查。