通信与 AI 项目小流量试运行，怎样评估？

开始前，先写清"什么叫通过"

不同产品的目标不同：短信需要核对发送与业务触发，人机耦合需要检查初筛、转接和人工标注，语音大模型还要验证信息采集及后续执行。

提前确定样本范围、任务条件、统计时间和问题记录方式。评价口径一旦改变，应注明变化，否则前后结果无法比较。

这里最关键的一点是：通过条件要在测试开始前定好，不能在看到结果之后再定。事后定的标准，等于没有标准——看着数据说"这个结果可以接受"，试运行就失去了意义。

建议按业务链路分层检查

整条链路要一层一层看，任何一层没走通，用户那边感受到的都是"没办成"。具体指标、阈值和数据获取方式需要在项目中确认。

还有一点容易出错：机器人交接状态和短信回执要分开核验，再结合业务系统记录一起复盘，不能用单一事件代替完整结果——交接成功不等于人工真的接起，短信显示送达也不等于业务记录已更新。逐层核对时可以参照下面这张表：

把异常样本和正常样本一起看

失败、信息不足、坐席未承接或系统结果未确认的样本，能帮你发现流程边界在哪里。复盘时要说明原因和处理责任，而不是把不理想的数据删掉。

只看成功样本，会得出一个很漂亮的结论，但上线后一遇到没覆盖到的情况就出问题。所以试运行的价值，很大一部分来自那些没跑通的样本。

只看成功样本，会得出一个很漂亮的结论，但上线后一遇到没覆盖到的情况就出问题。所以试运行的价值，很大一部分来自那些没跑通的样本。

推广应有阶段边界

可以按场景、业务时段或目标区域逐步扩展，并保留已验证与待验证范围。投入评估还要考虑通信、平台、人工和资料维护这几项，不能只算通话或短信的单价。

案例效果只有在口径、样本和时间范围都清楚时才具有参考价值。看别人的案例时，先确认这三个条件跟自己是否可比，否则那个数字对你没有意义。

试运行结束时怎样决定扩大范围？

代表性样本要覆盖正常任务与异常路径。通过门槛由项目在测试前确认，测试结果填入实测值。

这里要留意一种常见情况：整体数据不错，但某一类样本几乎没有覆盖。这时候不宜直接扩大，应该先补齐那部分样本——样本不全时的"通过"，只是恰好没遇到会出问题的情况。