智能体定制做到最后，验收会开得像考试。
业务准备一堆问题，智能体答得顺，大家点头。
我会在这时候加一句：问几个它答不上来的。
只测会的问题，能证明什么
证明知识库里有这些答案，模型能复述。
不能证明它遇到不知道的会怎么样，能不能转人工，会不会编。
上线后客户不会按你准备的问题问。验收如果只走顺利路径，上线后的第一周就会补考。
问题一：不知道时，它说不说不知道
好的智能体会明确说没有依据，并给出下一步：转人工、查某个页面、补充资料。
差的智能体会编一个像答案的答案。它说得越顺，风险越大。
验收时故意问一个知识库里没有的问题，看它怎么反应。这个动作比测十个标准问题有用。
问题二：转人工时带不带上下文
客户问过什么、AI 答过什么、还缺什么，接手的人能不能一眼看到。
带不全，客户就要重复一遍。重复一次，体验就掉一截。
问题三：权限不够时怎么处理
要查订单但没权限，是硬答、绕过，还是转人工。
有的系统为了显得聪明，会用猜测补上权限查不到的信息。这种“聪明”不能上线。
问题四：知识冲突时听谁的
两份资料说法不一样，按更新时间、适用范围，还是直接说需要确认。
验收时要准备一组冲突资料，看它会不会把旧规则当新规则。
问题五：它会不会承认不确定
有些问题不是没有答案，而是答案取决于条件。
比如退货政策，不同渠道、不同时间不一样。好的智能体会先问条件，而不是直接给一个通用答案。
一个验收会的开法
不要从第一题开始按顺序问。先问标准问题，再问边界问题，最后问没有答案的问题。
标准问题看基本盘，边界问题看判断，没有答案的问题看诚实度。
每类准备几个，不要只准备标准问题。
谁来判断答得好不好
业务出题，一线判断，技术记录。
业务知道哪些问题重要，一线知道客户怎么问，技术知道为什么答不上来。
三方都在场，验收才不会变成技术演示。
验收不通过怎么办
先分类：知识没有、知识过期、权限不够、意图识别错、模型编造。
知识问题补资料，权限问题接接口，编造问题加约束和转人工。
不要一上来换模型。多数问题不是模型换了就能解决。
一张验收表
表里列问题、期望行为、实际行为、来源、是否转人工、结论。
结论只写通过、不通过、待补，不写“感觉还行”。
验收记录怎么留
每个问题记：问了什么、答了什么、来源是什么、有没有转人工、人工补了什么。
连续跑一批真实问题，不要只挑顺利的。把答不上来的、答错的、转人工的单独列出来，这三类才是上线后的主要工作量。
上线后怎么继续测
上线后每周抽一批真实问题，按同样方法记录。验收不是一次性的。
验收通过了，什么时候上线
验收通过不等于马上全量。先小范围试运行，保留人工复核。
试运行期看三件事：不知道的问题有没有减少，转人工顺不顺，员工愿不愿意继续用。
一周后再决定扩不扩。上线后的第一周，最好每天看一次记录。不要等月底。先看趋势。
一个常见误区
把验收当成技术测试。技术只证明系统能跑，业务要证明它能在真实流程里被用。
边界
内部 FAQ、不直接面对客户，重点测准确率和来源；仍然要测“不知道”。
如果业务场景本身允许猜测、出错代价低，验收可以宽一点。但只要涉及承诺、费用、权限，必须测边界。
智能体定制验收，不是看它多会答，而是看它不会答时怎么办。先把不会答的测明白，上线才稳。