上线第一周，团队最容易盯着两个数：用了多少次、答对了多少。
这两个数要看，但我会先看第三份材料：转人工记录。
为什么先看转人工
转人工记录里，藏着第一版最真实的问题。
客户问了一个知识库没有的问题；员工不确定答案对不对，干脆转人工；权限不够，查不到订单；客户一听是机器人，要求换人。
这些都不是“准确率”三个字能概括的。
把转人工原因分五类
不知道。 知识里没有，或者资料太旧。
不敢答。 知识里有，但员工不信任，宁可自己接。
答错了。 知识过期，或者两份资料说法冲突。
权限不够。 要查系统，但接口或权限没开。
客户要求。 客户明确要人工，不接受机器人。
五类原因，对应五种改法。混在一起，只会得出“再训练一下”这种没用的结论。
第一周怎么复盘
每天抽一小段转人工记录，按五类打标。周末看哪类最多，先改一类。
如果“不知道”最多，补知识；如果“不敢答”最多，补来源和置信提示；如果“权限不够”最多，先接读接口；如果“客户要求”最多，调整入口话术，不要硬拦。
一次只改一类，才能看出有没有效果。五类一起改，下周还是不知道问题出在哪。
一个常见误判
把转人工当成失败。其实转人工是设计的一部分，关键看转得顺不顺、信息带得全不全。
转人工后，接手的人要能看到前因后果：客户问过什么、AI 答过什么、还缺什么。看不到，客户就要重复一遍，体验更差。
还需要看什么
除了转人工记录，第一周还要看两样：员工有没有主动打开，人工改写多不多。
主动打开说明入口可用，人工改写说明结果还不稳。两个数都低，先别加功能，先查场景和入口。先看记录。
复盘会不要开成追责会。转人工记录是为了找设计缺口，不是找谁的错。员工如果觉得转人工会被批评，记录就会失真。记录失真，比没有记录更麻烦。先把这一点说清楚，再开始打标。
转人工记录怎么打标
不要只看聊天记录。把工单、转人工原因、后续处理结果放在一起看。
每条记录至少标四个字段：触发原因、AI 答了什么、人工补了什么、客户最后有没有继续。
四个字段填完，才能判断是知识问题、权限问题还是信任问题。只写“转人工”三个字，复盘时没有信息。记录要能复查，也要能对比。
一个常见的组织问题
上线之后，最容易变成“项目组的项目”。业务不用，技术不知道为什么，客服主管也不参与复盘。
转人工记录要由使用团队一起看：一线知道客户为什么转，技术知道系统为什么答不了，负责人决定先改哪一类。
三个角色不到场，复盘就会变成技术自说自话。
第二周看什么
第一周看转人工原因，第二周看改完之后有没有变化。
如果补了知识，“不知道”类下降，说明方向对；如果转人工总量没变，可能只是从一个原因换到另一个原因。
不要因为一个指标下降就宣布成功。看客户有没有少重复、员工有没有少返工。
什么时候停止调优
如果转人工原因长期集中在“客户要求”和“权限不够”，说明问题不在话术，而在场景边界。
这时候继续调模型，收益很低。要么接受人机分工，要么换场景。
边界
AI 员工只做内部查询、不直接面对客户，转人工记录会很少，改看搜索失败记录和人工改写记录。
如果第一周转人工率极高，不一定是 AI 差，可能是场景选错了。先别急着调模型，先看问题是不是本来就不该交给它。
复盘 AI 员工上线，不要只看它答对了多少，要看它在哪些地方把人叫了回来。转人工记录，是第一版最好的需求清单。