考察点
这道题出自阿里巴巴 Agent 开发岗校招一面，考的是 RAG 系统的「边界感」——知识库问答最大的线上事故不是答得不好，而是文档里根本没有的事模型硬编一个出来。面试官想听你怎么在检索层和生成层分别判断「不知道」，以及怎么处理更棘手的情况：问题太模糊，不知道该检索什么。这题本质是在考幻觉治理。
参考答案
先分清两种「不在文档里」
线上实际是两种情况，处理方式不同：
- 明确的超纲：用户问的东西知识库里完全没有（问内部 HR 系统「今天天气怎么样」），应该干净利落地拒答并引导。
- 疑似有但没检到：问题相关但检索没召回好——可能是 query 表述和文档措辞差异大、多跳问题、chunk 切碎了。直接拒答会把这部分误杀，这是拒答策略的主要 badcase 来源。
所以设计目标不是「检索不到就拒」，而是「确认真的答不了才拒，检索不足先自救」。
检索层：用置信度做第一道闸
召回的 top-k 结果本身带着信号：
- 向量相似度分数：余弦相似度低到一定程度（比如 top-1 低于阈值）说明库里大概率没有相关内容。阈值不能拍脑袋，要在评测集上标定——统计已知有答案和已知无答案问题的分数分布，选一个区分度好的点。
- rerank 分数：向量分数不同文档之间可比性一般，rerank 模型的相关性分数更适合做阈值判断。召回后过 rerank，top 结果分数都低于阈值就触发「疑似无答案」分支。
- 一致性信号：top-k 结果之间高度相似但都分数平庸，和 top-1 明显高分，是两种完全不同的情形，前者更可能是没检到。
生成层：忠实度约束 + 显式拒答指令
检索层闸放过去之后，生成层还有第二道：
- prompt 里写死约束：只允许基于给定资料回答，资料不足以回答时输出明确的拒答话术，不要利用模型自己的参数知识补。这条指令要用 few-shot 示范，光写一句效果不稳。
- 让模型输出答案时附带「依据编号」，答案的每部分必须能挂到某个检索片段上。生成后校验引用真实性（引用的片段里是否真包含该信息），挂不上引用的论断视为幻觉，触发重生成或拒答。
- 更系统的做法是把「资料是否足够回答」拆成独立一步：生成前先让模型（或小的分类模型）判断 top-k 资料能否支撑回答这个问题，输出 yes/no 加理由。这就是 CRAG 里检索评估节点的思路，用一次便宜的调用换拒答准确率。
自救优先于拒答
判定「疑似无答案」后不是立刻拒，而是先尝试补救：query 改写（同义改写、补全指代）重检一轮；换检索通道（向量换 BM25 或混合）；扩大 top-k。这些手段能救回相当一部分「疑似有但没检到」的请求。自救仍无结果才走拒答分支。这就是 Agentic RAG 相对传统 RAG 在拒答场景的优势。
判断「需要用户补充提问」
这是题眼的后半问，针对的是模糊问题而非超纲问题——「报销怎么办」这种问题文档里有 5 个流程都可能匹配，直接挑一个答就是赌。判断逻辑：
- 意图消歧信号：检索结果的分数分布——top-3 分数接近但指向不同的文档主题，说明问题有歧义；query 里缺关键槽位（没说是差旅报销还是采购报销），而文档体系里这个槽位是必要的。
- 澄清动作：不直接拒答，而是生成澄清式追问——「您是想问差旅报销还是采购报销？」把歧义选项列给用户选。这比拒答体验好得多，也把多轮对话利用了起来。
- 实现上可以是一个独立的「歧义检测」LLM 节点，输入 query 和检索结果的主题分布，输出「直接答 / 需要澄清 + 澄清问题 / 超出范围拒答」三分类。
评测与权衡
拒答策略天生有个 trade-off：拒答率高了伤召回（能答的被误杀），低了伤准确率（幻觉漏出）。评测集要同时包含三类样本：有答案的、明确无答案的、模糊的，分别盯三个指标：有答案问题的正常作答率（别误杀）、无答案问题的正确拒答率、模糊问题的澄清触发准确率。上线后线上抽样人工 review 拒答 case，误杀的 badcase 回灌评测集迭代阈值。
可能的追问
- 模型拒答了但用户觉得库里肯定有，怎么办？ 答：提供反馈入口收集这类 badcase，大概率是检索侧问题（同义词、chunk 切分），这是检索迭代最值钱的输入。
- 能不能让模型用自身知识补充回答？ 答：知识库场景默认不允许——模型参数知识不可溯源、可能过时；如果业务允许，必须显式区分「以下内容来自通用知识，不在公司文档中」，让用户能辨别可信度。
- 澄清追问会不会很烦？ 答：设触发条件，只在真正高歧义时追问；且一轮澄清后就该收敛，避免连环追问。监控追问率，太高说明意图识别或检索本身有问题。