ICLR 2026 | 大模型当裁判也“翻车“？北大清华联合多校提出TrustJudge，让LLM评估更值得信赖

让 GPT-4 给两篇文章打分A 拿了 4 分、B 拿了 3 分。按常理 A 应该比 B 好吧但换成成对比较同一个模型却说 B 更好。更离谱的情况也有——A B C A 的石头剪刀布循环连传递性都守不住。这事还真不少见。北京大学、清华大学等八所高校的研究团队在ICLR 2026上提出了TrustJudge一个基于概率的评估框架。核心想法不复杂与其让模型吐一个离散分数了事不如把它内部的完整概率分布也用上。不用额外训练评估不一致性就降了一大截准确率还跟着涨了。论文链接https://arxiv.org/abs/2509.21117开源代码https://github.com/TrustJudge/TrustJudge01问题有多严重用大模型给其他模型当裁判已经是评估界的标配——MT-Bench 用单项评分AlpacaEval 用成对比较RLHF/GRPO 做偏好标注。但这个裁判的两种考法给出的结论经常打架。TrustJudge 的作者做了系统测量把问题量化成了两类评分-比较不一致Score-Comparison Inconsistency打分时 A 比 B 高拉到一起比较时又说 B 好。用 Llama-3.1-70B 测试不一致率 23.32%——差不多每四次评估就矛盾一次。成对传递性不一致Pairwise Transitivity Inconsistency成对比较出现循环偏好A B C A或者等价矛盾A B C 但 A ≠ C。Llama-3.1-70B 上的不一致率是 15.22%。图1左图展示不同评分策略下的平均熵右图展示成对比较中循环传递性与不等式传递性错误的分布图1右成对比较中不同类型传递性错误的分布图1左图是 Llama-3 系列在 1,200 条指令上的评分熵分布右图是成对比较中两种传递性错误的占比。02问题出在哪数据摆出来了接下来的问题是这两类不一致的根源是什么作者从信息论的角度做了归因。离散评分丢信息5 分制打分本质上是把模型心里的连续判断硬塞进几个整数格子里。比方说两条回复质量分别是 3.8 和 4.25 分制下都成了 4 分打分看不出差别。但拉到一起做比较模型是感知得到这 0.4 差距的——矛盾就这么来了。作者还在理论上证了一条存在两个不同的概率分布离散评分下完全相同但信息熵不同。换句话说离散化在结构上就一定会丢东西。模糊平局带来传递性问题做成对比较时模型对质量相近的回复经常给平局。但平局和平局不一样——有的是模型真觉得半斤八两有的纯粹是拿不准。这些含糊的平局在不同组合里不一致地冒出来A B、B C、但 A ≠ C 的情况就出现了。03TrustJudge 怎么做的思路说白了就一句话别只取模型吐出的那个离散答案把背后的概率分布也用起来。框架分两块分布敏感评分Distribution-Sensitive Scoring传统做法是让模型输出一个分数然后直接采纳。TrustJudge 不这样干把评分尺度从 5 分拉到 100 分先把粒度给够对所有候选分数的 logits 做 softmax得到一个完整的概率分布算加权期望作为最终分数效果就是原来 5 分制下都是 4 分的两条回复现在一个 3.82、一个 4.17差异保住了。跟 G-Eval 的区别在于TrustJudge 用 softmax 归一化确保概率和严格为 1不会被非评分 token 干扰。似然感知聚合Likelihood-Aware Aggregation成对比较这边TrustJudge 给了两种策略来打破平局策略一基于困惑度PPL-Based遇到平局时分别算 A 在前和 B 在前两种排列的困惑度选困惑度低的那个方向的结果——模型读起来更通顺的排列判断往往更靠谱策略二双向概率聚合把两个方向的偏好概率加起来取置信度最高的由于是两个方向聚合位置偏差position bias也在这个过程中被抵消了。04理论上也站得住上面的方法直觉上说得通但有没有更严格的保证作者给出了形式化的理论证明定理 1信息保持存在两个不同的概率分布离散评分无法区分但分布敏感评分可以。命题 1不确定性降低当裁判模型高度模糊时基于困惑度得到的置信分布的熵严格低于原始判断的最大熵一句话概括信息保留得更多了判断的不确定性降下去了。05实验结果实验数据来自 MT-Bench80题和 ArenaHard500题裁判模型覆盖 Llama-3 系列3B/8B/70B和 GPT-4o。主实验模型评分-比较不一致 CR (%)传递性不一致 NTR_{k5} (%)成对精确匹配 (%)Baseline →OursBaseline →OursBaseline →OursLlama-3.2-3B36.65 →29.1554.69 →17.7672.06 →78.91Llama-3.1-8B29.73 →23.7537.03 →8.4675.67 →81.68Llama-3.1-70B23.32 →14.8915.22 →4.4080.42 →81.61GPT-4o27.95 →22.6024.33 →6.0178.67 →81.51表1所有模型上两类不一致性都明显下降精确匹配率同步上升。其中 Llama-3.2-3B 的传递性不一致从 54.69% 直接降到 17.76%落差接近 37 个点。图2不同容忍度δ下的不一致性变化图2右不同容忍度δ下的传递性不一致变化图2不同容忍度 δ 下的不一致性对比。TrustJudge方块/三角在各个设置下都低于 Baseline虚线。消融实验为了搞清楚每个组件的贡献作者做了逐项消融这里额外加入了 GPT-3.5-Turbo 作为参考组件L-3.1-8BL-3.1-70BG-3.5-TurboG-4o单项评分 CR (%)5-scale Baseline29.7323.3224.3527.95 Softmax26.1017.0824.0325.50 100-scale24.5417.9422.1024.01成对比较 NTR_{k4} (%)Baseline20.267.2314.0111.70 Likelihood3.791.946.262.83 PPL-Based6.562.184.804.48表2逐个拆开看softmax 归一化和 100 分制对评分不一致各有贡献似然聚合和 PPL 方法对传递性不一致效果都很明显似然聚合整体略优。06换个模型还管用吗上面的主实验只用了 Llama-3 和 GPT-4o。一个自然的问题是换成别的架构还有效吗管用。作者把实验扩展到Qwen-2.57B/14B/32B、Gemma-22B/9B/27B、Llama-33B/8B/70B、GPT四个家族、共 12 个变体。图3跨架构泛化实验结果图3右跨架构传递性不一致的泛化结果图3四个模型家族上的不一致性对比。左图为评分-比较不一致右图为传递性不一致TrustJudge 在所有架构上都有改善。几个值得注意的点分布敏感评分的效果跟模型架构无关都能降不一致性。加上似然感知聚合后8B 模型的传递性甚至比未使用 TrustJudge 的 70B 模型更好。9B 的 Gemma 比 27B 的 Gemma 不一致性更低——不是越大越好。07推理模型反而更不靠谱一个意外发现专门练过推理能力的模型做评估时反而更容易自相矛盾。模型CR (%)(%)Llama-3.1-8B29.73 →23.7537.03 →8.46DeepSeek-R1-Distill-Llama-8B58.75 →49.2863.98 →18.50DeepSeek-R1 蒸馏版的评分-比较不一致率 58.75%是同参数量 Llama 的将近两倍。看起来在数学数据上做强化训练这件事是以评估能力为代价的。不过 TrustJudge 在这么高的不一致基线上依然有效CR 降了将近 10 个点传递性不一致从 63.98% 压到了 18.50%。08拿来做 Reward 也好使除了评估TrustJudge 还有一个实际用途给强化学习提供奖励信号。作者把它接到GRPOGroup Relative Policy Optimization上训练 Qwen2.5-7B-Instruct训练数据覆盖摘要、数学推理、指令遵循等一共 8,600 条。模型Avg Reward (Baseline协议)Avg Reward (TrustJudge协议)Qwen2.5-7B-Instruct原始0.55210.6114 Baseline Reward 训练0.53770.5980TrustJudge Reward 训练0.57060.6347表3用 Baseline 奖励训练的模型在两种协议下都没超过原始模型反而略降用 TrustJudge 奖励训练的模型两边都涨了。图4GRPO训练过程中的奖励曲线图4训练过程中的奖励变化。TrustJudge 的奖励信号全程高于 Baseline。图5各任务验证集奖励随训练步数的变化图5验证集上各任务的奖励曲线实线是 TrustJudge虚线是 Baseline。改善不是靠单个任务拉的是全面的。道理也好理解评估越一致奖励信号噪声越小模型学得越准。09光提高打分精度够不够看完前面的实验可能会有人问TrustJudge 里面既提高了评分粒度5分→100分又加了概率归一化。那要是我只做前者不做后者行不行图6评分粒度对不一致性的影响图65 分、10 分、100 分三档粒度下的不一致性变化。粒度越高不一致越低但在同一粒度下 TrustJudge虚线始终低于 Baseline实线。结论是提高粒度有帮助但光靠粒度不够。TrustJudge 赢在粒度提升 概率归一化两件事叠加到一起。10小结TrustJudge 做的事情可以用两句话讲清楚离散评分丢信息 → 改用分布敏感评分把概率分布的信息保住模糊平局坏传递性 → 改用似然感知聚合让模糊判定变得清晰实际效果上它不用训练开箱即用跨 Llama、GPT、Qwen、Gemma 四个架构都有效除了做评估接上 GRPO 当奖励信号也能用而且有理论证明兜底。说到底如果我们要让大模型来当裁判总得先确认这个裁判自己别前后矛盾才行。论文标题TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them作者Yidong Wang*, Yunze Song*, Tingyuan Zhu, Xuanwang Zhang, Zhuohao Yu, Hao Chen, Chiyu Song, Qiufeng Wang, Zhen Wu, Xinyu Dai, Yue Zhang, Cunxiang Wang†, Wei Ye†, Shikun Zhang†单位北京大学、清华大学、新加坡国立大学、南京大学、卡内基梅隆大学、西湖大学、东南大学、东京科学大学作者简介本文共同第一作者王一栋北京大学和宋昀泽新加坡国立大学主要从事大语言模型评估与对齐研究。通讯作者叶蔚、张世琨北京大学和王存翔清华大学分别在自然语言处理、软件工程和知识推理等方向有长期积累。团队成员来自北大、清华、南大、NUS、CMU、西湖大学、东南大学、东京科学大学等多所高校长期关注 LLM 可信评估问题。论文链接https://arxiv.org/abs/2509.21117代码链接https://github.com/TrustJudge/TrustJudge