【51CTO.com独家特稿】任何一个有点规模的网络，运行时间长了，总会不可避免地碰到一些网络故障；对于许多网络故障来说，我们往往只要根据具体的故障现象，就能大概判断出故障发生的原因，并能迅速解决掉网络故障！但也有一些网络故障由“冷门”因素引起，这些“冷门”因素由于很少出现，我们在排除这类故障的时候往往容易忽略它们，从而容易多走弯路，影响网络故障的排除效率。这不，本文下面介绍的一则网络故障，竟然是由于交换机自身环路引起的，鉴于该故障出现的机率较小，现在本文就将它的排除过程还原出来，与大家共享交流！
遭遇网络瘫痪
某行政大楼组网规模比较大，核心交换机通过千兆光纤线路到楼层，楼层交换机再通过100M网络线缆到普通计算机，网络管理员在交换机上将不同的单位划分到不同的VLAN中，这样一来就能有效抑制网络风暴的爆发。今天早上刚刚上班，网络管理员就接到信访局的某位员工的电话，说他的计算机不能正常上网；到了办公室，网络管理员发现自己桌上的办公电话已经被打爆，查看电话号码，发现都是来自信访局的，果然没有多长时间，信访局的一位工作人员再次电话告诉网络管理员，他们单位几乎所有计算机都不能正常上网了，看来信访局所在的VLAN中出现了大面积瘫痪现象。
查看行政大楼网络的拓扑结构，网络管理员发现信访局单位并不在大楼内，而是位于行政大楼西侧100米左右的独立小楼中，该单位中的所有计算机都通过100M网络线缆连接到Quidway S3050交换机上，该交换机又通过宽带光纤连接到大楼核心交换机上的GigabitEthernet4/1/14光纤端口上。既然信访局单位网络中出现了大面积网络瘫痪现象，会不会是行政大楼内部的核心交换机或连接信访局的楼层交换机发生了故障呢？为了判断大楼网络连接状态是否正常，网络管理员立即打开自己的计算机，使用ping命令测试了大楼核心交换机IP地址的连通状态，测试结果表面核心交换机后台系统响应速度正常，之后再尝试上网访问Internet网络时，上网访问不但正常，而且连接速度也比较快，这说明网络管理员所在的工作子网工作状态是正常的，核心交换机的工作状态也是正常的。考虑到目前除了信访局单位员工在不停上报网络故障外，其他单位还没有故障报修电话打过来，这说明行政大楼内的其他单位工作状态也是正常的。
在排除了行政大楼核心交换机发生故障的可能外，网络管理员估计信访局所在的虚拟工作子网工作状态不正常。于是，他立即又尝试对连接信访局单位的Quidway S3050交换机地址进行ping测试操作，测试发现该地址无法正常ping通，很明显信访局与行政大楼之间的网络不能正常互联，这也是信访局单位网络出现大面积瘫痪现象的原因！
深究故障原因
究竟是什么因素造成了行政大楼网络与信访局单位网络之间不能正常互联呢？会不会是连接信访局单位网络的那个核心交换端口存在问题呢？为了验证这一点，网络管理员进入核心交换机后台系统，执行“display interface GigabitEthernet4/1/14”字符串命令，查看对应光纤交换端口的状态信息，发现该端口的工作状态已经变成了“down”，这说明信访局单位网络中的楼层交换机与核心交换机之间不能正常通信了，那会不会是连接这两个网络的光纤线路发生了断路呢？立即找来宽带运营商的服务人员，请求他们帮忙测试一下宽带线路的连通状态，经过反复测试，宽带运营商的服务人员证实宽带光纤线路没有任何问题，这说明信访局单位网络大面积瘫痪故障与宽带光纤线路的连通性没有任何关系。
既然核心交换机的工作状态正常，宽带光纤线路的连通性也是好的，那问题看来只能出在信访局单位网络内部了。不得已，网络管理员只好赶到信访局单位网络，任意选择了一台工作站，打开对应系统的运行对话框，在其中执行ping命令，测试该网络楼层交换机的IP地址，结果发现目标地址不能正常ping通，连续在几台工作站系统中进行了相同的测试，***得到的测试结果都是相同的。会不会是局域网信访局单位网络中存在病毒现象呢？考虑到最近ARP病毒疯狂肆虐，由该病毒引起的网络故障表现出来的现象往往也是大面积不能上网，难道真的是ARP病毒造成了上述故障现象？为了检查该虚拟工作子网中是否真的存在ARP病毒，网络管理员在其中一台工作站系统中，随意更改了它的IP地址，重新启动之后，再次ping了一下对应虚拟工作子网的网关地址，可是这一次仍然无法ping通网关地址，按理来说如果局域网感染了ARP病毒，更新一个IP地址之后，我们应该能够暂时ping通网关地址才对呀，难道局域网中没有感染ARP病毒？为了进行进一步判断，网络管理员来到对应虚拟工作子网的楼层交换机现场，通过Console控制线缆连接到该交换机后台系统，进入该系统的全局配置状态，执行字符串命令“dis logb”，从其后返回的结果界面中（如图1所示），网络管理员并没有看到对应虚拟工作子网中存在由ARP病毒引起的IP地址冲突现象，这就证明信访局单位网络中并不存在ARP病毒。
 |
| 图1 |
在排除了ARP病毒因素后，网络管理员开始怀疑信访局单位网络中的楼层交换机工作状态不正常，于是进入该交换机的级联光纤端口配置状态，执行字符串命令“dis dia”，查看该交换机的状态信息，结果发现级联光纤端口的输入数据流量、输出数据流量特别大，与正常工作状态时的数据流量明显相差甚远，怪不得行政大楼核心交换机上的GigabitEthernet4/1/14光纤端口处于“down”状态，原来是受到这么大的数据容量不停冲击造成的，那究竟是什么因素造成了该楼层交换机上的数据流量这么大呢？一般来说，造成交换机数据流量异常现象的因素主要有网络病毒、网络环路、硬件损坏、恶意下载这几个，而其中以网络环路因素出现频率***，如此说来难道信访局单位网络中存在网络环路？为了寻找出究竟哪个交换端口下面存在网络环路现象，网络管理员在通过Console控制线缆连接到该楼层交换机后台系统后，又使用网络线缆依次连接到各个交换端口，在各个交换端口视图状态下，依次使用ping命令测试交换机的IP地址，测试结果发现每一个交换端口都能正常ping到本地网关地址，而且查看每一个交换端口的状态信息时，发现它们的数据流量大小都很正常（如图2所示），这也就是说该楼层交换机下面不存在网络环路现象。
 |
| 图2 |
万般无奈之下，网络管理员打算先重新启动一下该楼层交换机设备，说不定该设备存在的一些软性故障可能会自动消除；想到做到，网络管理员先是断开了目标交换机的电源输入，之后让该设备“休息”了半个小时左右，再次接通该设备的电源进行重新启动，等到重新启动成功后，网络管理员发现从普通工作站ping该楼层交换机的IP地址，仍然还不能成功，这就意味着重新启动交换机系统，并没有解决上述故障现象。
惊现内部环路
想尽一切办法都不能解决问题后，网络管理员打算采用最“笨”的办法，那就是将信访局楼层交换机上的所有连接线缆全部拔下来，之后每连接上一根网络线缆后，就观察目标交换机的工作状态变化，看看究竟是哪个交换端口在暗中捣乱。然而让人感到十分意外的是，当将目标交换机的所有连接线缆全部拔下来后，网络管理员却发现对应交换机的控制面板上竟然还有信号灯在闪烁，这是怎么回事呢？按理来说，断开所有网络连接之后，交换机上的所有端口信号灯都应该不闪烁才对呀，现在竟然仍然有端口在闪烁，说明对应端口仍然有数据信号存在，难道交换机内部仍然有数据流量产生？为了验证这种想法，网络管理员再次使用“display interface”命令查看目标交换机级联端口的流量状态，结果发现在没有任何网络连接的情况下，目标交换机的输入、输出流量仍然很大，看来该楼层交换机内部存在网络环路现象，这种现象直接导致了目标交换机的数据流量居高不下，如此一来就会影响信访局单位所有员工的正常上网。
根据上述发现，网络管理员推断位于信访局的楼层交换机可能出现了问题，于是尝试着使用工作状态正常的交换机进行替换时，发现信访局单位网络立即恢复了正常，这就意味着上述故障现象的确是由于目标楼层交换机内部环路引起的。
问题总结回顾
问题虽然解决了，但是让网络管理员很难理解的是，位于信访局的楼层交换机为什么会出现这种问题呢，而位于行政大楼网络内的楼层交换机工作状态却一直正常呢，这些设备都是在同一时间购买的呀，难道是信访局的楼层交换机质量稍微差一些？经过仔细分析以及上网查阅相关资料，网络管理员认为由交换机质量引起故障的可能性比较小，毕竟该设备与大楼内的交换机设备都是同一型号、同一批次的产品，而且它们持续工作的时间并不长。考虑到行政大楼内的网络设备都有良好的防雷保护措施，而信访局没有进行这方面的安全保护，网络管理员估计很可能是信访局的楼层交换机因频繁遭遇雷电轰击，交换机内部的芯片或电路被雷电击穿，最终引发了交换机出现内部环路的现象!
【51CTO.com独家特稿，非经授权请勿转载。合作站点转载请注明原文作者和出处为51CTO.com，且不得修改原文内容。】
