凌晨的告警,一半是湿度的锅
报错也喝水
·
上个月一个雨后的凌晨两点,我收到一条告警:某台交换机的光口反复闪断。我当时的直觉是光模块要坏,第二天的处置方案都写好了——换模块、走流程、结案。
结果去了现场,机柜一摸,后背有点凉:那台设备的进风口正对着一面西墙,雨后墙面渗潮,柜内湿度飙到八十以上,光模块的陶瓷插芯表面结了一层看不见的水膜。除湿机拉起来,两个小时后告警自己消停了。模块没换,流程没走,我在值班本上写:环境问题,非硬件故障。
这事之后我把自己经手两年的夜间告警翻出来重新归了一遍类,发现一个当时没意识到的规律:**跟「湿度」沾边的告警,占了两成半**。接触不良、误码率漂移、风扇转速异常、静电误报——背后经常不是零件坏,是空气太湿。而这类告警有个统一的行为特征:白天自己好,雨后准犯,换件无效。
后来我在值班清单里加了一条:**雨后两小时内,先看机房湿度再看面板**。温湿度计一百来块钱,比任何一台冗余设备都便宜,但它拦下的那些「玄学故障」,按次数算账,投资回报率高得离谱。
还有一个更隐蔽的坑值得说:湿度过高难防,过低也一样坏事。冬天暖气房里湿度掉到三十以下,静电就开始找存在感——键盘上噼里啪啦的小电火花,落在机箱上就是一次没登记的复位。我们测试间现在冬天常备加湿器,同事都以为是为了人舒服,其实一半是为了设备不抽风。
总结下来就三句话:告警不是病,是症状;零件没问题的时候,去查空气;**环境参数便宜,故障昂贵,账要往便宜的这边算**。
你们那边的设备,有没有过「换了件没用、换了天就好了」的经历?
帖子永久链接