考察点
这道题出自蚂蚁集团 AI 产品经理实习一面,看似问指标,实际考察的是你有没有理解 AI 产品和传统产品在「对错」定义上的根本差别。传统搜索的结果是列表,相关性有相对客观的判断标准;AI 搜索的结果是生成的一段话,可能前半句对后半句编、形式上完美但事实错误——评测的底层逻辑变了。蚂蚁的业务(金融、医疗)又都是对错误零容忍的领域,这道题答不好基本就挂了。追问会往「没有标准答案怎么评」「人工评测的成本怎么控制」「线上指标和离线评测怎么对齐」上走。
参考答案
本质差异:从「排序对不对」到「生成的每个事实都可信吗」
传统搜索的评测对象是结果列表的相关性。判定相对客观:这个网页和这个 query 相不相关,标注员按档位(强相关/弱相关/不相关)打分,算出 NDCG、点击率、首条满足率。分歧有,但大多能收敛,因为判断的对象是「已存在的文档」。
AI 搜索的评测对象是一段生成的文本,问题立刻变复杂:一段话里可能有五个事实断言,三个对两个编;形式、结构、语气都影响质量但又很难客观量化;更要命的是它可能「流畅地错」——传统搜索结果错了用户会自己甄别下一个,AI 生成的答案用户倾向于直接信。所以 AI 搜索的评测必须把事实正确性提到第一位,这是传统搜索评测里几乎不存在的维度(网页内容错了不是搜索引擎的锅,AI 生成错了就是你的锅)。
AI 搜索的指标框架:四层
事实性是第一层,也是门槛层。核心指标是事实准确率(回答中事实断言的正确比例)和引证质量(每个断言有没有挂在真实、相关的来源上)。这层不过,其他指标再好都没意义,尤其在蚂蚁的场景,金融信息说错一个数字就是事故。
满足度是第二层。问题有没有被真正回答:是直接答了还是绕圈子、答全了没有(用户问三件事只答了两件)、有没有正确的拒答(不该答的硬答是扣分项)。这层对应传统搜索的「首条满足率」,但判定要读完整段话,主观性强得多。
表达质量是第三层。结构清晰度、简洁度、可读性。这层权重最低但不能没有,因为 AI 回答普遍有「正确的废话太多」的毛病,用户要的是结论先行。
效率是第四层。首字延迟、完整生成时长。AI 搜索比传统搜索慢一到两个数量级,效率直接决定用户愿不愿等,这个指标在传统搜索评测里几乎不用操心。
四层之间是门槛关系而不是加权关系:事实性不过线,表达再漂亮、速度再快都不能发布。这一点和传统搜索评测的「综合打分」思路不同——传统搜索结果质量是连续谱,AI 搜索在高风险领域是有及格线的选择题。
评测方法跟着变:从标注档分,到自动化 + 人审混合
传统搜索靠人工标注档分就能撑起评测体系,AI 搜索撑不住——生成结果千变万化,没有两版模型的输出是一样的,每次迭代全量人审,成本和周期都受不了。实际的做法是三层混合:
离线层建带标准答案的评测集,用强模型做 judge 自动判分(事实一致性、问题覆盖度),大模型做裁判有偏倚,所以要定期抽样和人工对拍,人机一致率掉到 85% 以下就要修 judge 的 prompt。在线层看行为指标:答案采纳率(复制、引用、点击来源后不再追问)、追问率(同一问题反复追问通常意味着第一次没答好)、点踩率和点踩原因分布。最后一层是持续的人工抽检,重点抽高风险类目,这是自动化替代不了的。
别忽略传统搜索依然有效的指标
说「本质不同」不代表推倒重来。点击率、留存、Session 深度这些行为指标依然有效,零结果率变成了「拒答率」需要重新校准合理区间。真正要警惕的是单一指标的误导:AI 搜索很容易做出「用户停留时长上升」——但可能不是答案好,是答案太长用户在读废话。所以北极星指标我倾向于选「单次任务满足率」而不是时长类指标,让指标指向「用户快速拿到可信答案」而不是「用户在页面上耗着」。
可能的追问
- 大模型当裁判靠谱吗? 答:不完全靠谱,但规模化评测离不开它。关键在三点:judge 模型要比被测模型强一个档位;评判指令要拆细(逐条断言核对事实,而不是整体打个分);保留 10-20% 的人工抽检做校准,人机分歧大的类目加派人审。
- AI 搜索的点踩率很低,是不是说明质量好? 答:恰恰相反要警惕。生成式答案的反馈率天然低于列表式结果,用户读到错误答案往往直接走了,不会专门点踩。点踩率要配合追问率和来源点击率交叉看,沉默的大多数靠行为数据才能捕捉。
- AI 搜索和传统搜索在同一个产品里,指标怎么统一看? 答:不用硬统一。按 query 类型分流:导航类和简单事实类 query,传统搜索的指标(首条点击、秒开率)依然适用;开放问答类 query 才走 AI 搜索的四层框架。统一的是北极星——用户是否快速获得了可信答案,路径不同而已。