智能体上线前，几乎都会做一次演示。
演示很顺，大家点头。上线后问题不断：答错、漏答、转人工不顺畅、遇到敏感问题乱说。
演示看的是“最好的一次”，评测看的是“普通的一天”。
先建测试集
不要用自己编的“标准问题”。从真实对话、工单、客服记录里找 50–100 条。
每条包含：
- 用户原话；
- 期望答案或处理方式；
- 关键信息点；
- 不该出现的内容；
- 什么情况应该转人工。
测试集要覆盖正常问题、边界问题、模糊问题、敏感问题和不怀好意的问题。
看六个指标
- 准确率：答案关键信息对不对。
- 任务完成率：有没有把事办完，而不只是回答。
- 人工接管率：多少情况需要人接手，接管是否顺畅。
- 安全边界：该拒绝的有没有拒绝，该转的有没有转。
- 响应时间：客户等多久。
- 单次成本：长期跑起来是否可承受。
指标不用多，但要能对比上线前。
怎么打分
建议三个人独立打分：业务、技术、客服（或一线使用人）。
每个人按同一张表评分，最后对齐分歧。分歧最大的题，通常就是系统最薄弱的地方。
不要只看平均分。看最差的那几题，因为线上出事往往来自边缘情况。
什么时候跑
- 开发阶段：每周跑一次，防止改一个坏三个；
- 上线前：完整跑一次，作为验收依据；
- 上线后：每月跑一次，防止知识过期导致退化；
- 大改知识或模型后：立即回归测试。
一个常见错误
只测“能不能回答”，不测“该不该回答”。
企业智能体最重要的能力之一，是知道什么时候不答、什么时候转人工、什么时候要求确认。测试集里必须包含这些。
评测不是给供应商打分
评测的目的不是证明谁好谁坏，而是确认系统能不能在真实业务里稳定工作。
如果测试集不过，先别上线。上线后返工，通常比推迟一周更贵。
测试集最好由业务和一线一起出题。业务知道哪些问题重要，一线知道客户会怎么问。只让技术出题，容易测成“模型会不会说话”，而不是“能不能干活”。每次上线新版本，都跑同一套题；如果分数下降，先回滚，再找原因。另外，留一份不公开的盲测题，才能看出真实水平。评测记录要保存，不要只看总分，先看严重错误。
评测结果最好留一份给业务看，不要只存在技术文档里。业务看得懂，才会在验收会上签字。看不懂的评测，等于没做。签字前先看最差的三题。
先测，再签。
如果你正在做智能体项目，可以看我们的企业 AI 解决方案验收清单与智能体定制开发，把测试集和验收标准一起定下来。