考察点
这道题出自字节跳动 AI 产品经理校招面试,客服 Agent 方向。考的不是你会不会搭 Coze Bot——拖拽配置谁都会——而是三件事:MVP 的范围怎么砍才既小又能验证核心价值;验收口径怎么定才不自欺(「解决率」三个字定义不清,能差出三十个点);以及 Go/No-Go 怎么决策,敢不敢写一票否决项。2-3 周的时间盒是题眼:时间这么紧,排期怎么排、最费时间的坑在哪,讲得出来说明真干过。追问一般往「知识库怎么做」「评测集多大」「不达标怎么办」走。
参考答案
MVP 范围:三个「只」把范围砍到底
客服是个面很宽的系统,2-3 周必须砍得狠。我用三个「只」来定义 MVP 边界:只做一个渠道——在线 IM 文本客服,不碰语音、不碰视频,语音引入 ASR/TTS 整条链路,时间和变量都翻倍;只覆盖 Top 20 高频意图——拉历史会话数据按意图聚类排序,Top 20 意图通常能占咨询量的六到七成,长尾意图直接转人工,不在 MVP 里追求覆盖;只做读操作——查订单、查物流、查规则这类查询型任务,退款、改签、补偿这类写操作一律转人工,因为写操作错了就是资损,MVP 阶段没有配套的风控和确认机制,碰不得。落到 Coze 的能力上:Bot 承载人设和多轮对话,知识库挂 FAQ 和政策文档,工作流固化「查询类意图→调插件→组织回复」的确定性链路,插件对接订单/物流查询接口(没有真实接口就用 mock 数据,验证的是对话能力不是接口)。
排期:最费时间的不是搭 Bot
三周的排布我有明确的轻重判断。第一周全部投给知识治理和意图梳理:清洗历史 FAQ、把政策文档切成语义完整的片段、定义意图清单和转人工边界。这是整个项目里最费时间也最容易被低估的环节——Bot 搭起来只要两天,但知识库质量直接决定命中率天花板,垃圾进垃圾出。第二周搭建和调优:Bot 配置、工作流编排、提示词调优,同时构建评测集——从历史会话里抽 200-500 条真实用户问题,覆盖 Top 意图的正例、表达不清的边缘 case、以及该转人工的负例,用历史会话回放做离线评测。第三周内部试运行加小流量灰度:先让内部员工模拟用户压测,再切 5% 真实流量,灰度期间所有会话人工全审。
验收口径:先把「解决」两个字定义死
验收标准最大的坑是「机器人解决率」的定义。我的定义是:会话结束未转人工,且 24 小时内同一用户不因同一问题重复进线——只看不转人工会把「用户问不明白放弃走人」也算成解决,那是自欺欺人。具体门槛:离线评测集上意图识别+回答准确率 ≥85%;灰度期解决率 ≥50%(对照纯人工基线和行业水平,作为 MVP 这个数是务实的);CSAT(用户满意度)不低于人工基线的 90%;单会话推理成本有明确数字且外推全量可承受。每条口径都要在启动前和业务方对齐签字,验收口径事后改,是 MVP 项目死得最常见的方式。
Go/No-Go:门槛和一票否决项都要写
Go/No-Go 不能是「到时候看感觉」,要在启动会上就钉死。Go 的条件:上面四条验收口径全部达标,放量到 20% 流量进入二期;No-Go 的处理:不达标不是项目失败,而是产出归因报告——缺口在知识库覆盖、意图设计还是模型能力,各占多少比例,补齐各自要多少成本和时间,交给业务方决策是继续投还是停。另外必须写一票否决项,不管其他指标多好,触发即回滚:幻觉导致的错误承诺(比如错误承诺退款金额、编造不存在的政策)在审计中占比超过 0.5%,或者出现单条造成实际资损的回复。客服场景里,一个言之凿凿的错误承诺抵得上一千次答非所问的破坏力,这条线没有任何商量余地。
可能的追问
- 评测集 200-500 条够吗,怎么保证代表性? 答:按真实流量的意图分布分层抽样,Top 意图多抽、长尾少抽,正负例都要;500 条对 MVP 够看趋势,正式上线后评测集持续扩充到几千条并纳入回归。关键是每周补充新出现的真实 badcase,评测集是活资产。
- Coze 搭的 MVP 验证通过后,直接上生产吗? 答:不直接上。平台版适合验证需求,生产环境的高并发、数据合规、完整调用链日志需求超出平台能力时,用验证过的 prompt、知识库结构和流程设计,在火山引擎或自研链路上重构——MVP 沉淀的是业务认知,不是那套配置。
- 灰度期间发现知识库覆盖缺口很大,时间不够怎么办? 答:不硬扛,缩小承诺:把意图覆盖从 Top 20 收到 Top 10 但把这 10 个做扎实,验收口径同步调整并和业务方重新对齐;MVP 的价值是真实信号,打肿脸充胖子得到的假信号比 No-Go 更有害。