考察点
这道题出自蚂蚁集团 AI 产品经理实习一面,是接着「阿福」类医疗产品追问的风险题。普通场景下幻觉是体验问题,医疗场景下幻觉可能是人身安全问题——把「该立刻就医」说成「观察即可」,或者编造一个不存在的用药禁忌,后果不在一个量级。面试官想看你有没有「默认模型一定会错」的设计前提,以及能不能搭出一套分层的防控体系,而不是只说「加强审核」。追问会往「拒答太多用户流失怎么办」「怎么验证防控有效」「出事了责任怎么算」上压。
参考答案
先立设计前提:幻觉不可消除,只能管控
做医疗 AI 产品,第一个要建立的认知是:大模型的幻觉在可见的技术周期内不可能归零,任何宣称「我们的模型不 hallucinate」的方案都不可信。所以产品机制的目标不是「消灭幻觉」,而是三件事:让模型尽量只说有据可查的话(降低发生率)、让拿不准的回答不进用户眼睛(拦截)、让万一错了也有兜底和追责路径(补救)。下面的所有设计都围着这三件事转。
第一层:让模型被权威知识库「拴住」
医疗回答最大的防线是让模型只能基于可信来源说话,而不是凭参数里的记忆自由生成。具体做法:建一个由临床指南、药品说明书、权威医学科普组成的结构化知识库,所有事实性回答走检索增强,并且要求模型在回答时显式引用来源——「根据 XX 指南……」这句话不只是给用户看的,更是给审核和回溯看的:凡是回答里挂不上来源的事实性断言,系统层面就可以标记为高风险。
配套的两个硬约束:知识库覆盖不到的问题,prompt 里明确指令模型回答「这个问题超出我能可靠回答的范围」,而不是硬答;模型温度压到接近 0,医疗场景不需要创造性,宁可回答风格呆板。
第二层:分级响应,按风险定交互策略
不是所有医疗问题风险一样高,防控资源要按风险分级投放。我会把用户意图分三档:
低风险档(健康知识科普、就医流程咨询):AI 正常回答,附来源,末尾给普适性免责声明,交互不做重阻断。
中风险档(具体症状咨询、用药咨询):AI 可以回答,但回答前强制澄清追问——年龄、持续时长、基础病,信息不全不急着给结论;回答里涉及「可能是什么病」时,必须并列给出多种可能和对应的就医指征,绝不允许输出单一确定诊断;输出后加一道独立的安全审核模型(或规则)过一遍,识别危险表述(比如建议超剂量用药)直接拦截重写。
高风险档(急症特征、精神健康危机、孕产妇婴幼儿急症、处方决策):设计上就不让 AI 独立回答。识别到胸痛、高热惊厥、自伤倾向这类关键词,直接触发应急话术和就医/急救引导,产品要敢于在这种地方「不智能」。这条红线清单要医学团队和风控团队一起定,并且持续补充。
第三层:透明化和人工兜底
用户侧,要让 AI 的不确定性可见:涉及具体判断的回答带置信表达(「常见原因包括……但仅凭描述无法确认」),关键建议给出处,报告解读标注「仅供参考,需医生确认」。让用户带着正确的预期使用,比把 AI 包装成全知更安全——过度信任才是幻觉伤人的前提。
兜底侧,接一条低门槛的真人通道:高风险问题一键转真人医生或药师咨询,AI 在前面的价值是分诊和信息整理,把严肃决策交给有执照的人。这不只是风控,也是合规必需——AI 不能替代医师执业,产品机制上要把「建议」和「诊疗」的边界焊死。
上线前后的验证:拿数据说话,不靠感觉
防控体系不能上线后靠用户投诉来检验。上线前:建一个医疗幻觉红队评测集,覆盖常见病、用药、急症、诱导性提问(「我听说吃 XX 能治 XX 是真的吗」)几百到上千条,由医学背景的标注员把关,模型版本每次迭代全量跑,高危问题的错误率必须为零容忍级别的门槛才允许发布。上线后:用户反馈入口单独做(「这个回答有问题」一键上报)、抽样人工复审日常化、转真人率和急症引导点击率纳入监控——这些数据的异常波动往往先于投诉暴露问题。
可能的追问
- 拒答和引导就医太多,用户觉得产品没用怎么办? 答:关键是拒答的「姿势」。好的拒答不是一句「请咨询医生」,而是先给出能给的:可能的原因范围、就医前可以做什么、该挂什么科、紧急情况长什么样。用户要的是「下一步怎么办」,不是「必须得到一个诊断」。把拒答设计成有价值的信息服务,流失可控。
- 审核模型自己也可能错,怎么破? 答:分层防控的意义就在这:不依赖任何单点。知识库约束降低出错概率,审核模型拦截显性危险,高风险清单直接绕开生成,人工通道兜底,每一层独立失效都不致命。审核模型按「宁可误拦」调阈值,误拦的代价是体验,漏拦的代价是安全,不对称。
- 这套机制成本很高,小公司做医疗 AI 怎么办? 答:收窄场景是最有效的降本:只做单病种管理或只做报告解读,知识库和红线清单的范围就小一个量级。医疗 AI 最忌讳的就是资源不够还做全科,宽而松的防控等于没有防控。