行业动态与技术知识
校园网络安全认证的失败率告警,阈值拍脑袋就会天天响
很多学校的认证系统上线之后,告警是关着的,或者开着但没人看。原因不难猜:刚开始配的阈值太敏感,一天响几十次,值班的人就把通知静音了。等到真出事,静音状态还在。
认证失败率这个指标,分子分母要定义清楚
失败率看起来是“失败次数除以总次数”,但实际算的时候,不同系统的口径能差出一倍。分母是认证请求数还是认证会话数,分子是首次失败还是包含重试后的失败,统计窗口是五分钟还是十五分钟,这三件事不确定,告警就不可比。
比较合理的口径是:以认证请求为分母,以“最终没有成功的请求”为分子,重试单独统计。也就是说,一个用户连续试了四次最终成功,算一次成功加三次失败;如果他试了四次都失败,算四次失败并且归入“账号失败”分类。这样算出来的失败率既反映系统压力,也反映用户困扰。
统计窗口建议按五分钟滚动。窗口太长,故障被平均掉;窗口太短,一栋楼集中下课就触发。五分钟是个折中,既能在一刻钟内发现异常,也不至于被正常的潮汐打成噪声。
不能只看一个总失败率
全校一个失败率,几乎永远看不出问题。某个宿舍楼的交换机光口坏了,放到几万人的总量里就是一条平线。真正有用的做法是按维度拆开:按接入区域拆、按认证方式拆、按运营商出口拆、按失败原因拆。
按区域拆,能看出是局部网络问题还是全局问题。按认证方式拆,能看出是短信通道堵了还是 Portal 页面出问题。按出口拆,能看出是不是某家运营商的 AAA 对接出了状况。按失败原因拆,能区分密码错误、超时、拒绝、账号不存在,这四类的处置路径完全不同。
维度拆开之后,每个维度都要有自己的基线。基线的建立不需要多复杂,把过去四周同一时段的数据取出来,算一个均值和一个波动范围,超过范围就提示。开学季、考试周、放假前后这些特殊时段,要单独建基线,别用平时的数据去比。
阈值设成什么样,取决于你能容忍多少误报
阈值怎么设,都消不掉误报和漏报。可行的思路是分两级:提示级和告警级。提示级设在基线之上一定幅度,只进看板不进通知;告警级设得更高,触发后通知值班。两级之间的空间,就是给运维判断的余地。
另一个做法是加持续时间。单次超过阈值不算,连续三个统计窗口都超过才算。这个条件能把大部分瞬时抖动过滤掉,代价是发现时间晚十分钟。对认证这种业务,晚十分钟通常可以接受。
还有一类必须单独配:认证成功但耗时异常。用户点开认证页,等了二十秒才通过,这种请求在成功率上是成功的,在体验上是失败的。把认证耗时也纳入监控,并且按分位数看,比如九十五分位超过某个值就提示,比看平均值有效得多。
告警之后要有人接
告警价值的另一半在处置流程。收到告警的人要知道第一步查什么。比较实用的做法是给每一类告警配一张处置卡:短信通道失败率上升,先查运营商通道状态和余额;某栋楼失败率上升,先查该楼 AP 和交换机;全校失败率上升,先查认证平台自身和数据库连接。
处置卡不用长,三五步就够,关键是能让人在半夜不用想太多就能动手。处置结果要回填,回填的数据积累起来,下一次同类告警的处理时间会明显缩短。
别把告警做成只有技术能看懂的东西
认证失败率的变化,很多时候不是技术问题。欠费集中到期、套餐规则调整、统一身份平台改了口令策略,都会让失败率抬头。这类原因技术侧看不到,需要业务侧一起判断。
所以告警通知的内容里,除了数字,最好带一句“可能与什么有关”。比如同一时间有大量账号状态变为欠费,通知里就可以提示先确认是否计费策略变更。这句话不能自动生成,但可以做成模板,由值班人补充。
基线会随着规模变化,要定期重算
一所学校刚上线认证系统时,用户数、终端数、接入点数量都在变。第一学期建的基线,到第三学期已经不准了。新增一栋宿舍楼、换掉一批 AP、把认证方式从账号密码切到微信,这些变化都会改变失败率的分布。
所以基线不是建一次就完事。每学期开学前重算一次,重大变更后再重算一次,把旧基线归档留着对比。对比本身就是有用的信息:如果某个维度的基线整体抬高了,说明那里一直有小问题在积累,只是没到告警线。
告警的聚合也要考虑。一次出口设备故障,可能同时触发十几个维度的告警,值班手机被打爆。合理的做法是把同一时间段、同一区域的告警聚合成一条,附带受影响的范围,而不是让每条规则各响各的。聚合之后,值班的人看到的是“某区域认证异常”,而不是“十二条告警”。
收口
认证失败率是个好指标,但它需要口径、维度和基线三样东西才成立。口径不清,数字没法比;维度不拆,问题被平均;基线不建,阈值只能拍脑袋。阈值拍脑袋的结果,不是天天响,就是从来不响。
校园网络安全认证的运维,真正难的不是把系统跑起来,是让它在出问题的时候能被及时发现。告警基线就是这件事的地基。