考察点
这道题出自微信 AI 产品策划实习一面,两问连着:先让你讲项目,再问 Bad Case 兜底。讲项目考的是结构感和真实性——「当时为什么要做、传统方式有什么痛点」是在逼你证明这个项目不是你简历上镀金的玩具,而是真从问题出发的。Bad Case 一问更狠,是微信产品文化的直接体现:微信对「出错」的容忍度极低,十几亿用户的产品,万分之一的错误率都是几万人的事故。面试官想听的是你对 AI 能力边界够不够清醒,以及兜底设计有没有层次。追问会往「兜底规则误伤了正常 case 怎么办」「人工兜底成本怎么算」「你怎么知道 Bad Case 收敛了」方向走。
参考答案
项目怎么讲:先问题,后方案,再结果
我讲项目有个固定顺序,尽量三分钟说完:当时业务里有个什么问题、传统做法为什么不行、我们怎么用 AI 解决的、结果怎么样。以一个典型的内容审核辅助项目为例(换成自己的真实项目套同样的结构):业务每天有几万条 UGC 内容需要初筛,传统方式是「关键词规则+人工二审」,痛点有两个——规则误杀率高,正常内容被拦导致作者投诉;人工团队几十人,审核周期长,热点内容错过传播窗口。
为什么用 AI:内容违规的判断本质是语义理解问题,「这个词在这个语境下是不是违规」规则枚举不完,这恰好是大模型的甜区。方案是模型做初判,高风险拦截、低风险放行、中风险转人工。结果要讲数字:初筛自动化率做到多少、人工审核量下降多少、误判率从多少降到多少——没数字的项目讲述,面试官默认你参与度不深。
为什么用 AI 这件事本身要论证
这里有个加分点很多人会漏:微信的面试官会顺势问「为什么非用 AI 不可」,所以讲的时候就要主动埋一句判断标准。我的经验是看两个条件:一是问题的分支空间是否可枚举,违规话术千变万化枚举不完,规则路线注定维护成本爆炸;二是错误的代价是否可兜底,审核场景有「转人工」这个天然退路,AI 判错的代价可控。两个条件都满足,才值得上 AI;缺第二个条件的场景(比如直接动用户资金),再炫的技术也要缓行。
Bad Case 兜底:三层防线
项目里遇到产品解决不了的 Bad Case——比如隐喻、反讽、方言内容,模型就是判断不准,这不是 prompt 调优能根治的。我的兜底设计分三层:
第一层是置信度分流。模型输出风险分,高中低三档分开处理,中间档永远转人工。这里的关键产品决策是阈值怎么定:不是拍脑袋,而是在历史数据上扫阈值,看「误拦率」和「漏放率」的权衡——内容安全场景宁可误拦(伤害作者体验,可申诉)不可漏放(伤害平台和监管关系,不可逆)。阈值定完不是一劳永逸,每月按 bad case 数据复扫。
第二层是用户侧的补救通路。被误拦的用户要有顺畅的申诉入口,且申诉必须有人工复核的 SLA(比如 24 小时内)。这一层常被忽视,但它决定了 Bad Case 的最终伤害值:误判本身伤害 1 分,误判加申诉无门伤害 10 分。
第三层是 Bad Case 的回流机制。每个确认的 bad case 进样本库,标注错误类型(是语义理解错、还是知识缺失、还是规则冲突),定期喂回给模型团队做迭代,同时在回归集里占一个坑,保证下个版本不在同一个地方跌倒。这层的产出指标是「同类 bad case 复发率」,它逼近零,兜底体系才算闭环。
关于「解决不了」要说实话
这类题有个陷阱:有人会硬撑「我的方案没有解决不了的 case」。这恰恰是减分项——对 AI 能力边界没有敬畏心的人,微信不敢要。更好的姿态是明确承认哪些 case 当前技术就是解不了(隐喻、需要实时外部知识、多方利益博弈的灰色内容),然后讲清楚你对这类 case 的设计:识别出「我不确定」并路由给人,本身就是产品能力,而不是失败。
可能的追问
- 置信度阈值怎么定的,误伤正常 case 怎么办? 答:在历史标注数据上扫阈值画代价曲线,按业务能接受的最大漏放率反推阈值;误伤靠申诉通道和快速人工复核补偿,同时误伤样本优先回流——误伤类 bad case 对用户体验的伤害比漏放更直接,迭代优先级反而更高。
- 人工兜底成本会不会吃掉 AI 省下来的钱? 答:会算这笔账——转人工率乘以单条人工成本,对比全人工时代的成本;健康的状态是转人工率随模型迭代逐月下降,如果三个月不降,说明模型路线有问题,该回头查数据质量。
- 你怎么知道 Bad Case 收敛了? 答:看三个趋势:bad case 率(分母是全部处理量)逐版本下降、同类复发率逼近零、新增 bad case 的类型从「明显的理解错误」变成「边界模糊的争议 case」——到这个阶段,剩下的就是业务规则问题而不是模型问题了。
- 这个项目如果重来一次,你会改什么? 答:早点建标注和回流机制。项目初期我们埋头调 prompt,两周后才发现没有系统的 bad case 收集,纯靠体感优化——数据基建应该和模型调试同时开工,甚至更早。