一个定制项目做了几个月,演示会上很顺。

输入一个问题,系统查资料、给答案、调用工具,几分钟跑完。领导点头,项目准备上线。

上线第一周,问题来了。客服发现它查不到最新库存,遇到老客户还会把两个订单混在一起。开发说接口没问题,业务说数据一直这样,项目就卡在“再优化一下”。

这不是模型突然变差,而是演示环境和真实环境本来就不一样。

演示环境是整理过的

演示前,项目组通常会做几件事:

  • 挑几个典型问题;
  • 准备干净的文档和数据;
  • 把异常情况绕过去;
  • 由最熟悉业务的人来操作。

这些动作没有错,但它们把最难的部分藏起来了。

真实业务里,问题往往出在没人整理的角落:同一个产品有两个编号,客户名称有三种写法,旧文档没有删,新政策还没进系统。

模型只能基于给它的内容回答。数据本身矛盾,它就会给出一个看起来合理、实际错误的答案。

真实数据通常有三个问题

我们在项目复盘里见得最多的,不是模型能力不够,而是数据准备不足。

第一,信息分散。 产品资料在网盘,价格在 Excel,售后规则在群里,客服经验在老员工脑子里。

第二,口径冲突。 官网写一套,销售手册写一套,客服话术又是另一套。模型不知道哪个是最新版本。

第三,权限不清。 哪些内容能给客户看,哪些只能内部用,哪些涉及个人信息,没有提前分好。

这三个问题不解决,演示越顺,上线落差越大。

验收不能只测演示题

很多项目的验收,是把演示时的问题再问一遍。系统答对了,就算通过。

更有效的验收,要从真实业务里抽题。

题目至少覆盖三类:常见问题、边界问题、异常问题。常见问题看准确率,边界问题看它会不会乱答,异常问题看它能不能停下来转人工。

还要看人工接管。系统答不出来时,用户能不能找到人;人工改完以后,知识能不能补回去;同一个问题第二次问,会不会还错。

验收样本不用很多,二十到五十条就够,但必须来自真实场景,不能由供应商提前准备。

上线后要有一个负责人

智能体上线不是结束。

知识会过期,接口会变,客户会问新问题。没有负责人,系统很快会开始失真。

负责人不一定是技术,也可以是业务骨干。他要做三件事:每周看未解决问题,决定哪些知识要更新,遇到异常时协调业务和开发。

如果没有人愿意承担这件事,项目最好先别上线。上线后没人管,比不上线更伤团队信心。

什么情况下先别做

第一种情况,数据拿不到,或者数据本身没有统一口径。先把资料整理清楚,再谈定制。

第二种情况,流程本身没理顺。智能体可以执行流程,但不能替公司决定流程应该怎么走。

第三种情况,出错代价很高,又没有人工复核。涉及付款、合同、对外承诺的场景,第一版不应该让系统单独完成。

交付前看一遍这张表

上线前,至少确认六件事:

  • 真实数据能不能接进来;
  • 知识有没有来源、版本和负责人;
  • 权限有没有分清楚;
  • 验收题是不是来自真实业务;
  • 异常和人工接管有没有跑通;
  • 上线后谁负责更新和复盘。

这六件事没有做完,演示再顺也只是演示。

智能体定制开发的价值,不是把一个 demo 做得很聪明,而是让它在真实业务里稳定工作。演示通过只是开始,验收和运营才是交付。

报价单要看哪几项

定制开发报价差很多,通常不是谁乱报。数据整理、接口数量、权限设计、测试集和维护,都会影响成本。

看报价时,不要只比总价,要看包含哪些工作。如果报价单只有开发费,没有知识整理、接口、验收和维护,后面很容易追加。

让对方把工作拆开:哪些是场景和流程梳理,哪些是知识和数据整理,哪些是系统对接,哪些是上线后的维护。拆不开的报价,后面也很难验收。

交付物有哪些

一个完整的定制项目,至少要留下几样东西:需求边界、知识和数据清单、接口说明、测试集、验收报告、运维手册。

没有这些,项目换人接手会很困难。系统能用,但没人知道它为什么这样设计,下一次改需求只能从头猜。

供应商怎么配合

定制项目不是把需求丢给供应商就完了。

客户要提供真实数据、能拍板的业务负责人和验收样本;供应商要说明哪些能做、哪些做不到、上线后怎么维护。

如果供应商只愿意演示,不愿意碰脏数据,项目大概率会停在上线前。合同里也要写清验收标准、数据归属和退出机制,不要只看功能清单。

如果你正在评估定制项目,可以看我们的智能体定制服务,也可以从企业 AI 解决方案验收清单开始,先定验收标准。