arXiv cs.AI· Zihan Chen, Lei Nico Zheng, Di Zhu·· 7 天前精选AI 评分71
预印本:Chatbot Arena 126 万票显示模型未变而人类评判标准在上升
AI Isn't Getting Dumber, We're Getting Pickier: Rising Standards in Human Evaluation of Large Language Models

AI 导读
预印本分析 Chatbot Arena 2023 年 5 月至 2024 年 8 月的 1,260,967 张盲投票,发现对同一对版本固定的模型,认为“两者都差”的票占比平均每月上升 1.71 个百分点,2024 年为每月 1.91 个百分点。
- 背景
- 用户常抱怨 ChatGPT 等 AI 助手越来越差。模型版本确实会变,但人类评估本身也可能发生变化,这一点此前未被检验。研究在 Chatbot Arena 上把两者分开:这是一个公开平台,用户比较两个匿名大模型的回答,选出更好的一个,或表示两个都差。
- 做法
- 研究使用 2023 年 5 月至 2024 年 8 月间投出的 1,260,967 张盲投票,投票针对的是版本固定的模型对,包括带日期的厂商快照和权重固定的开源模型。核心指标是同一对未变模型中「两个都差」投票的占比随时间的变化,并与「更强模型在决定性投票中的占比」这一相对排名作对照。为排除投票者构成变化的影响,分析在同一投票者内部、同一模型对上、以及各用户从其首次投票起的到达队列中分别检验。稳健性检验覆盖提示词控制、各主要语言、带日期厂商快照、开源权重模型、回答长度稳定的模型,以及界面变更前后。作者还用其他模型对估计出的月份效应,来检验该漂移是否为模型间共享。
- 结论
- 对同一对未变模型,「两个都差」的投票占比平均每月上升 1.71 个百分点,基线均值为 17.1%;2024 年内每月上升 1.91 个百分点。在 2023 和 2024 两年都被频繁观察到的 14 对模型中,该比例全部上升,从 15.5% 升至 23.3%。相对排名没有趋势:2024 年更强模型在决定性投票中的占比保持平稳。该上升在同一投票者、同一模型对内部成立,在提示词控制下、各主要语言中、厂商快照与开源权重模型上、回答长度稳定的模型上,以及界面变更前后均成立。漂移在模型间共享:用其他模型的对估计出的月份效应,可以移除每个模型自身对中的漂移。平台整体看,按此趋势平均模型对 2023 年平均水平本应得分 78%,但「两个都差」投票的占比最终回到接近起点。
- 意义
- 结果表明,对 AI 的绝对判断发生了漂移,而相对比较保持稳定。作者将其解释为:评判标准随类别整体进步而上移,因此原地不动的产品会被判为退步。这一评估漂移对 LLM 排行榜,以及用于训练模型的人类反馈都有影响。
- 局限
- 研究基于 Chatbot Arena 的盲投票数据,样本为版本固定的模型对,平台用户构成与真实使用场景的对应关系未在摘要中展开;结论描述的是该平台上的评估行为。
- 下一步
- 摘要未明确列出后续研究计划;开放点在于这一评估漂移如何影响 LLM 排行榜与用于训练模型的人类反馈。
本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文
推荐理由
用固定模型版本的百万级盲投票据分离模型变化与评判者变化,给 LLM 排行榜和人类反馈训练提了方法上的警示。
来源:arXiv cs.AI · arxiv.org