NatShell 蓝海卓越 返回首页
马上咨询

行业动态与技术知识

学校WiFi认证计费代拨系统的验收测试,用例该怎么写

代拨项目的验收现场,经常看到这样的流程:工程师在学生宿舍打开一个网页,能上网,截图;再打开一个视频,能播,截图;然后签字。三个月后,开学高峰一到,拨号排队、限速不符、账目对不上,全都冒出来。回头翻验收材料,只有两张截图,什么也证明不了。

“能上网”是一个太低的门槛。它只能证明这条链路在某时某地通过了一次,证明不了它在两百人同时拨号时还行,证明不了套餐卖 200M 实际给 200M,也证明不了出故障时能自己恢复。验收要做的,是把这些“证明不了”变成一条条可以当场判定、可以留证据的用例。

一条好用例长什么样

至少包含五部分:前置条件、操作步骤、预期结果、判定标准、证据形式。前置条件写清楚用哪个账号、哪个位置、哪个运营商、什么终端、什么时段;步骤要能让另一个人照着做;预期结果要具体到数值或者状态;判定标准要说明“达到什么程度算通过”;证据形式要说明留什么,是截图、日志片段还是导出的报表。

举个反面例子:“测试拨号功能,结果正常。”这句话没法验收,因为“正常”没有定义,也没法复现。换成“用 A 栋 302 的测试账号,在电信线路、有线直连、空闲时段发起拨号,记录从发起到获得地址的耗时,取五次的中位数,判定标准为每次都能获得地址且耗时在约定范围内”,这就成了一条能用的用例。

六个域,一个都不能少

功能域:首次拨号、重复拨号、错误密码、停机账号、未绑定运营商、绑定后换运营商、Portal 认证与拨号联动、MAC 无感知二次登录。这一域要覆盖正常路径和各种拒绝路径,不能只测通的。

性能域:单用户新建拨号速率、批量并发拨号、在线用户规模、网关的处理能力。批量测试要说明并发怎么发起的,是从多少台真实终端发起,还是用工具模拟。两者结论不能混用。

策略域:限速是否按套餐生效、终端数上限是否生效、时段策略是否生效、免计费与白名单是否生效。这一域最容易出现“配置了但没生效”,因为策略要在认证平台、网关、BRAS 三处对齐。

故障域:拨号过程中断网、网关主备切换、BRAS 不可达、运营商线路中断、认证平台重启。每一条都要测“故障发生时用户看到什么”和“恢复后能不能自动重连”,不能只测“设备会不会切”。

账务域:计费起算时间、停机触发、复机、退费、跨月结算、对账差异。这一域要和财务一起验,不能只由技术方签字。

日志域:认证日志、拨号日志、计费日志、NAT 映射是否完整,能不能按账号、按时间、按地址查回来。抽查方法是从用户侧取一个时间点,反查后台能不能对上。

几条可以直接抄的用例

第一条,单用户首次拨号。前置:测试账号已开户、已绑定运营商、未在线。步骤:有线直连,发起拨号,记录时间。预期:获得地址,能访问公网,账号在平台上显示在线。判定:连续五次成功,记录每次耗时。证据:五次的时间记录加平台在线截图。

第二条,批量并发。前置:准备约定数量的测试账号,分布在不同楼栋。步骤:在同一分钟内发起拨号。预期:成功率达到约定值,未成功的能给出明确原因。判定:按约定分母计算,剔除用户主动取消的。证据:网关拨号日志导出加统计表。

第三条,拒绝路径。前置:准备一个密码错误的账号、一个已停机的账号、一个未绑定运营商的账号。步骤:分别发起认证。预期:三种情况给出不同的提示,日志里能区分。判定:提示不串、日志可辨。证据:三张页面截图加日志片段。这条最容易被跳过,但它决定了上线后客服能不能解释清楚。

第四条,限速达标。前置:测试账号套餐为约定档位,线路空闲。步骤:有线直连,单线程与多线程各测三次,上下行都测。预期:达到套餐档位,偏差在约定范围内。判定:取中位数比对,同时核对 Radius 下发的带宽属性与网关策略。证据:测速记录加配置截图。注意,只测下行不测上行,等于没测。

第五条,运营商切换。前置:账号绑定的运营商可变更。步骤:在自助页面把绑定从一家改到另一家,重新拨号。预期:走新的线路,旧会话被释放,计费不重复。判定:出口地址归属变化、账目只有一条。证据:切换前后地址与账单记录。

第六条,故障恢复。前置:正常在线若干用户。步骤:断开网关上行、重启备机、模拟 BRAS 不可达。预期:用户侧有明确提示,恢复后能自动重连,账务不出现异常时长。判定:恢复时间在约定范围内,异常时长可核销。证据:故障时间线加恢复后的在线列表。

第七条,日志反查。前置:随机选一个在线用户。步骤:记录其账号、终端地址、访问时间,去后台反查。预期:能查到认证、拨号、计费、地址映射四类记录,时间对得上。判定:四类齐全,时间误差在允许范围内。证据:查询结果导出。

采样怎么设计

代拨系统的变量太多,不可能全测。采样要覆盖四个维度:楼栋(新老宿舍、不同接入设备)、运营商(每一家都要有样本)、时段(白天、晚高峰、凌晨)、终端(手机、电脑、路由器)。每个维度至少两个样本,交叉出十几组,已经能覆盖大部分问题。

特别要安排一次晚高峰的实测。很多项目验收都放在上午,一切顺利;晚高峰一来,并发、会话、带宽全变样。把高峰时段列为必测项,能提前暴露大部分容量问题。

判定口径要提前写死

最容易吵架的地方是成功率。分母是什么,分子是什么,重试算不算成功,用户主动断开算不算失败,这些必须在验收前写进文档,不能等结果出来了再讨论。

建议的口径是:分母为有效拨号尝试,剔除用户主动取消和认证前的非法请求;分子为获得地址并保持在线超过约定时长的次数;同一用户短时间内的重复尝试,按一次有效尝试计,但失败原因要单独记录。这套口径不算精细,但它可复现,双方都能接受。

限速的偏差也要提前约定。测速本身有波动,要求分毫不差是不现实的。比较合理的是给一个区间,并且明确测量条件:有线直连、单用户、空闲时段、指定测速点。条件不满足的测量结果不作数。

验收之后还有一件事

把用例表、实测记录、问题清单、复测结果装订成一份文档,交给学校留存。这份文档的价值不在验收当天,而在一年后:系统出问题时,能拿它对照“当初验的是什么、现在偏了多少”。

很多项目的问题,不是没做测试,而是测试做完就散了。人走了,记录没了,下次再出问题只能从头查。把证据留下来,比多测十条用例更值钱。

在线咨询 电话咨询
在线咨询 电话咨询