
精选·评测安全与生产2026-07-13
用 LLM-as-Judge 做自动评测,怎么控制它的偏差
LLM-as-Judge 有位置偏差、冗长偏差、自我偏好等问题,通过成对比较、打乱顺序、rubric 细化、人工校准和一致性监控把可信度提上来。
91学AI·9 阅读
共 2 篇文章

LLM-as-Judge 有位置偏差、冗长偏差、自我偏好等问题,通过成对比较、打乱顺序、rubric 细化、人工校准和一致性监控把可信度提上来。

考察 Prompt 效果评估方法论。核心答案:先建带标准答案的评测集,客观任务看准确率类指标,开放任务用 LLM-as-Judge+人工抽检,线上看业务指标闭环。