遇到什么问题呢？
2018年11月15日，铜仁石阡县的TP-LINK工程商来电，反馈自己做的一个大型监控项目出现卡顿掉线问题。安装一个月之前，效果非常给劲，所以就等着甲方验收，没想到验收前两天出现这档子事儿。
我们了解问题之前，务必认识这个拓扑，方便后续的问题分析和定位：
该项目是一期工程，使用我司48台H.264 C系列200W摄像机，通过如上网络中的8条光纤汇集到核心交换机，NVR为两台TL-NVR6400，分别叫做NVR A和NVR B，为了方便两个地方监控，两台NVR分别添加了48路IPC。
在正常使用一个月后，1号光纤下的19台IPC出现严重的画面卡顿、掉线，其他光纤下面的IPC没有问题，并且A、B任意一台NVR添加这些IPC也可以正常使用。
出现问题时，很多通道掉线、卡顿
工程商技术小李联系到我们，希望提供技术支持。
开始排查
接到该问题后，我们迅速安排工程师对接，根据问题现象：两台NVR卡顿、单台NVR正常、1号光纤异常，那不就是常见的主干线路传输速率不足吗？带着这个最可能的因素，开始了排查：
一般情况下，网络视频监控中出现卡顿、掉线、花屏，绝大部分情况是网络传输引发问题，我们优先通过ping进行快速诊断。Ping可以直观的确定网络链路的延迟，从而可以判断网络线路质量。录像机上自带诊断工具（推荐使用），下面来看看录像机上ping的结果。
1号光纤下的19台IPC无一例外的ping延迟都在3000ms左右，但2~8号光纤下的29台IPC的ping延迟都是1ms。有线网络中，ping延迟一般不会超过1ms，到这里能说明什么呢？大家的想法可能是一致的，所谓英雄所见略同，那就是：会不会是1号光纤出了问题呢？
做过一定规模的工程商朋友，都应该对交换机千百兆选型有一定认识，当IPC上传的视频流量大于70M就选择1000M接口的交换机，只有这样才能有效保证传输的稳定。实际中也有特别多用户使用百兆交换机带着三五十个摄像头，出现严重掉线、花屏的问题。
针对这个现场，我们做个快速的计算：一个摄像头接近4M（启用H.264+），19个总共不超过80M，那么每一台NVR单独添加IPC都正常，但同时添加就达到160M以上的视频流量，就出现严重的卡顿，会不会是1号光纤速率没有达到1000M呢？
我们就试着删除两台NVR上的通道，删除到一定程度，ping的延迟确实下降了，降低效果如下：
当然，删除到1号只有几台IPC的时候，ping延迟一样可以降低到1ms左右（偶尔波动到10ms）。
既然现象上看到是1号光纤下的传输延迟如此的是曾相识，那么到这里，检查一下一号光纤的情况理所当然了。小李是一位经验老到的技术能手，现场配合非常给力。通过光纤功率计检测确定光纤没有太大问题。
而且从1号光纤的B端连接PC进行ping操作也没有问题（在拔掉8口千兆交换机的情况下测试）。但如果接入交换机后，也就是PC跨8口交换机再去ping NVR就出现很大的延迟，此时就无法准确定位是交换机问题，还是光纤的问题。
1号光纤下的B端光纤收发器连接着千兆交换机，我们将PC连接到8口全千兆交换机上，对下面的IPC和NVR进行ping操作，延迟依旧非常大。但是PC直接连接下级交换机，ping操作正常（当然，此时交换机上没有视频流量）。
难道是千兆交换机的问题？
小李赶紧拿了两台交换机，分别是8口千兆和24口千兆上去，问题依旧，只是24口千兆稍微比8口轻微一些。至此，交换机、1号光纤都没问题，那为什么1号的延迟这么大呢？问题陷入僵局。
晚上，谨慎的小李依旧不放心光纤，就和经理更换了1号光纤（光纤长度约65米），经过熟练地布线、熔纤操作，重新布了一条光纤，但问题依旧。第二天中午，联系到我们说明情况。我们立即安排工程师到现场排查。
出差现象
为了保证客户交付，我们优先从就近省会安排工程师，总部技术进行远程指导排查。到了现场后，立即开展排查：为了给大家更直观的介绍处理，我们不一一介绍现场的繁复操作，总的来说现场先对关键节点的设备进行了更换：
更换核心交换机为TP-LINK交换机，1号光纤下的延迟降低了一个等级，但依旧很卡；
更换光纤收发器为TP-LINK工业级千兆收发器，问题没有改善。
更换8口千兆交换机为全千兆24口，问题有所缓解，但依旧很卡。
通过各种删减摄像机，没有看出什么明显的问题，1号光纤铁打不动ping延迟严重，但2~8号一直稳定。到这里，问题现象无法解释，需要灵光一现。
排查过程中，我们注意到，ping两台NVR的时候，NVR A的延迟始终小于1ms，但NVR B的延迟却上升到5~6ms了（需要强调的是，前一天排查时延迟在1~5ms跳动）。这不是一条千兆的光纤吗？怎么会有这么大的延迟，干脆先看看这条线路的问题。如果删减摄像头到一定数量，延迟就自然降了下来，说明这条链路有问题。下面是删除数量不等的IPC时ping的结果：
注意：以上ping IPC的延迟是更换了TP-LINK传输设备后的延迟。
根据直觉经验，NVR的主线延迟极有可能是主线没有到达对应速率，工程师本能的检查了NVR的以太网接口协商速率，发现竟然是100M！至此，问题明白了，那就是NVR B的链路质量较差，影响到了下面的链路，1号光纤是被带坏的，而不是自身有问题。
NVR上可以直接查看到自身的端口协商速率，对于工程商朋友排查问题非常有帮助，可以在【日志信息】-【系统信息】-【网络信息】中查看到。
既然NVR自身的接口速率被协商为100Mbps，说明和NVR连接的光纤收发器或者线路有问题。就开始对B端进行检查，小李惊奇的发现，B端接口处的网线被老鼠咬断了几根线…..。
那么问题原因就清楚了，NVR的主线路被老鼠“破坏”，速率没有达到千兆，在传输48个IPC（约200M）的流量时，超出端口转发能力、流量延迟上升，出现“连锁效应”导致下面的交换机出现卡顿（原因我们单独介绍）。
小李熟练地三两下打好网线，再次接入，ping延时瞬间恢复正常，现场画面非常流畅稳定。
此时观察画面，两台NVR 分别添加后，稳定的一塌糊涂。
原因分析
到这里，已经是晚上8:00了，问题也已经圆满解决，小李和工程师对现场IPC、NVR进行批量在线升级。这里相信大家也有不少疑问，为什么偏偏是1号光纤有问题？为什么1号光纤ping延迟这么大？为什么会有连锁反应？
我们介绍下原因：传输设备（交换机等设备）在发送速率小于接收速率且缓存无法完全缓存来不及转发的数据时，就会发出流控信号给下级发送设备，提示其慢点发送，如此一级一级的传递。流控对于监控网络是非常有意义的，可以应对监控数据的特殊流量模型，让数据传输更稳定。
在这个网络中，核心交换机转发不出去数据，就会知会1~8慢点发，那么这个信息会一直“传递”给所有交换机，最终出现链路延迟升高。就好比道路塞车，前车会高速后车慢点，一级一级传递，最终整条道路都拥堵住了。
如下图：
流控示意图
经验总结
一只老鼠会坏了大事，但没办法责怪老鼠。网络监控的传输卡顿，问题绝大部分情况出现在网络，所以要沉下心、注意丝毫异常、进行推断并针对性的排查和调整，必能定位问题。
本监控网络中，值得大家留意的是：
两台或多台NVR添加同样的IPC，务必保证交换机上联线路能承载这部分翻倍的流量，即大于70M，推荐用千兆交换机。
H.264+启用后码率可以降低到一定程度，但H.265+的码率更低，约为H.264+的1/4，所以H.265+对交换网络的适应能力更强，该项目如果使用H.265+的摄像机，即使出现类似线路的问题，也可以正常使用。
局域网ping延迟检测是非常有效的工具，NVR自带的诊断工具可以便于大家现场排障。
纯有线的监控网络中，任何设备之间的ping延迟一般不超过1ms，超过则意味着该线路有一定的不稳定性。
以上是该项目问题跟进的总结，一些问题的分析和处理思路、经验总结。大多数问题到最后，其原因就是那不起眼的因素造成，需要大家善用工具发现、解决问题。
项目介绍
该项目是贵州铜仁石阡北坪生态农业园区一期项目，该园区是发展绿色产品、科技推广、生态采摘、观光休闲、度假体验、品尝一体化的生态农业观光园，北坪生态农业园是该县重点招商引资项目。项目使用TP-LINK全系列监控设备。
在此感谢石阡经销商小李的配合！
联系客服
