AI 员工上线一段时间，老板问：它到底值不值？
团队拿出一个数字：每个月节省了多少小时。这个数字看起来不错，但通常不够。
省时间只是投入端的变化。公司真正关心的是：活有没有干完，质量有没有下降，人有没有被拖进去擦屁股。
时间账最容易算，也最容易失真
“节省时间”通常是这样算的：原来人工做一次要多久，现在系统做一次要多久，乘以次数。
问题在于，原来自动化不了的部分，可能被忽略了。
比如系统生成了回复，但员工还要逐条检查、改语气、补上下文。原来十分钟做完的事，现在三分钟生成、七分钟修改，时间并没有省多少。
还有一种情况：系统做得很快，但错误率高，员工要花更多时间返工。时间账上看是省了，实际总成本更高。
至少看四个数
考核建议同时看四个数。
第一，任务完成率。 有多少任务系统能独立完成，有多少需要人工接管。
第二，返工率。 系统输出后，人工修改的比例有多大。返工越多，说明第一版越不成熟。
第三，覆盖范围。 它处理了多少种任务，还是只在一个很窄的场景里打转。
第四，单任务成本。 包括模型调用、接口、维护和人工审核。只算调用费，通常会低估。
如果只报一个“节省小时数”，这四个数里任何一个变差，都看不出来。
质量要抽样，不要只看平均值
系统说自己的准确率很高，不能直接信。
每周抽一批真实任务，人工复核。看三类问题：事实错误、格式错误、该转人工却没转。
事实错误最危险，尤其是价格、库存、政策和承诺。格式错误可以修，事实错误可能直接丢客户。
抽样不用很多，但要固定节奏。每周一次，每次几十条，比月底看一张漂亮报表有用。
人工接管也是指标
很多人把人工接管当成失败。其实不是。
一个知道自己什么时候该停下来的 AI 员工，比一个什么都敢答的更可靠。
考核时要看：接管及不及时，接管后用户有没有得到答复，接管的原因有没有被记录下来。
如果接管率很高，先查知识和场景边界，不要急着换模型。如果接管率很低，但投诉很多，可能是系统在该停的时候没有停。
成本要算全
成本也不只是模型调用。
还包括知识整理、接口维护、权限配置、人工审核、培训和处理异常的时间。
有些项目调用费很低，但知识更新和人工审核占了大量人力。算总账时，这些都要放进去。
先定基线，再谈提升
没有基线，就无法判断有没有变好。
上线前，先记录原来的处理时长、错误率、返工率和人工接管情况。上线后按同样口径再测一次。
如果基线没记，事后很容易各说各话：业务觉得没变化，技术觉得系统很好，老板只看到一笔支出。
什么时候不适合用这套考核
任务本身很少发生、结果很难量化、出错代价极高，这三种情况不适合用常规指标考核。
比如战略判断、重大谈判、对外承诺，这些工作本来就不应该由 AI 员工独立完成。把它们放进考核，只会逼着系统去冒险。
AI 员工的考核，不是给系统打一个总分，而是判断它在哪些任务上真的分担了工作，哪些地方还需要人。
和人工绩效怎么放在一起
指标不要直接套在个人头上。
如果公司按“谁用 AI 多”来考核，员工可能为了指标而用，不管结果好不好。如果按“AI 节省的时间”来扣编制，员工会抵触，甚至隐藏使用。
更稳的做法，是按任务和团队看结果：这个任务的处理时长、返工率、客户满意度有没有变好。AI 是团队的工具，不是某个人的竞争对手。
一个季度复盘
每季度做一次复盘，不用很复杂。
抽一批真实任务，人工复核质量；对比上线前的基线，看时长、返工和接管；再问一线员工，哪些任务愿意继续交给 AI，哪些宁愿自己做。
复盘结论只有三种：继续扩、先修问题、停掉。不要因为已经投入了，就硬撑着扩场景。
指标不要互相打架
如果同时要求“用 AI 省时间”和“零错误”，团队会先放弃 AI。
指标要有主次。第一版可以把质量放在前面，时间放在后面；等质量稳定，再追求效率。
也不要拿 AI 的产出和熟练员工的最好成绩比。更公平的比法，是同一批任务、同样权限、同样知识条件下，看整体处理结果。
指标定完，要告诉团队怎么用。是每周复盘，还是季度考核？是看团队，还是看个人？如果不说清楚，员工会按最保守的方式使用，系统永远跑不出真实水平。