LLM评审员存在主观偏差，三种方法可审计

Google Cloud Blog 称，LLM 评审员并非客观裁判，同样存在冗长偏好、位置偏好、光环效应、讨好偏差和自我增强偏差等主观倾向；交换选项顺序可致判定翻转超 75%，检测错误时漏判率可达 75%。 该文提出三项审计措施：对同一输出做多轮一致性检查并计算方差，以衡量内部稳定性；用机会校正指标验证与人类专家判断的对齐度；采用分解式提示让专门评审员只评单一维度，并同时运行至少两个模型组成多评审员集成，通过评分分歧发现质量下降。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。