设备出现无法访问故障，ping出现目的主机不可达host unreachable，系目的设备路由错误导致问题排查过程

     有同事找来，说他们组采购的5g核心网设备无法相互访问，ping不通，让协助处理。

       问了一下组网，两台核心网设备一个ip地址192.168.213.100，去ping另一台192.168.194.100，两台在同一交换机下的两个vlan，两个vlan都有各自的ip地址，192.168.213.1和192.168.194.1。组网如图：

现象ping的结果如下：

 核心网2ip为192.168.213.100的设备ping核心网1的ip192.168.194.100没回显，ping192.168.194.1

显示destination host  unreachable目标主机不可达。

无法访问目的主机的可能性：

1、对方没有开机，或者开机但没有接入对应的广播域，跨网段的ip的话，所属网关arp查询消息没有得到应答，直连路由的话，本机发出arp消息没有被应答。

2、对方ip不存在。

3、设备本身路由错误，没有对应访问的路由。这种情况是所有网卡状态down，没有任何直连路由和默认路由的情况。

4、设备自身路由错误，应该走默认网关的ping消息，认为是同一网段，发出arp查询消息，在广播域里没到得到应答。

无法访问目的主机，是icmp的错误消息，由网络节点发出，直连路由的网络节点是发出ping动作的设备自身ip地址。跨网段是经过的网络节点用正常时ip导通时的ip地址回icmp错误消息。根据ping消息打印返回节点的ip地址可以判断出是直连路由还是其他跨网段非本机节点回的消息。
 

     一般这种情况，我们需要根据打印错误的源ip地址来确定是自身错误还是节点错误，就是用自身ip打印的目的主机不可达还是其他路径上经过的节点ip打印的目的主机不可达？

      看到192.168.213.100去ping192.168.194.100不通，ping它的网关192.168.194.1回显目的主机不可达，而且是自身ip192.168.213.100的回显，这是自身发出arp消息，没有得到响应的结果，没有送到网关上去。难道设备本身有192.168.194.0的路由吗？

   查看自身ip地址如下图：

    奇怪，没有配置192.168.194.0/24的地址，也就没有这个网段的直连路由 ，为啥有目的主机不可达的打印？

用tcpdump进行抓包，tcpdump  -i  8  -nne  arp回车，另起一个ssh的连接，去ping192.168.194.1，发现从这个端口有arp查询192.168.194.1的消息发出，但没有得到响应。

    感觉路由有问题，查看路由表。

   发现核心网2的路由表里有192.168.194.0/24网段的直连路由表项，路由有问题，查看/etc/sysconfig/network-scripts/ifcfg-enp61s0f2，没有发现配置文件里有192.168.194.xx的ip地址。判断不是由ip配置生成的直连路由。

   让询问厂家，得知是他们出厂时，配置的一条直连路由。删掉后，ping结果正常。

确定问题由于直连路由错误导致。

用一个环境模拟，发现直连路由在指定dev  ethx的情况下是可以加上的。

如在一台18.250.0.4的主机上，添加ip  route   add  192.168.207.0/24 dev eth0是能加上的。

  ping一下，并 tcpdump一下看看。

 总结：

1.一个vlan的access口不会响应其他同一交换机下其他vlan的子接口arp查询请求消息。

2.当使用route  add  -net或者ip route add  时，指定dev  xxx时，会生成对应的直连路由。

3.有直连路由时，arp消息会从对应网口发出。

4.原来一直认为，直连路由是设备配置有对应ip后才会生成的，其实linux里是可以通过指定dev

来添加直连路由的。这是没有及时发现问题的纠结的地方。

5.添加路由时，不指定gw的就认为是直连路由。