LLM 评测与基准

大语言模型（LLM）到底”好不好”？靠主观感受不够，需要标准化的考试题库来客观衡量。本页梳理当前主流的 LLM 评测基准——从知识、推理、代码、数学到中文能力与人类盲测，以及”用 LLM 当裁判”的自动评测方法，并深入 2025 年评测方法论的前沿进展：数据泄露检测、LLM-as-Judge 偏见、Agentic 评测、开源与闭源模型差距。评测结果是模型选型和论文报告的核心依据。前置阅读：语言模型演进、LLM 应用生态概览。

核心直觉

LLM 评测 = 给 AI 做标准化考试。

就像学生用高考分数衡量学业水平，LLM 用基准测试（Benchmark）分数衡量能力。每个基准是一套精心设计的考题，有标准答案，可以自动判分。

• 客观题基准（多选/填空）：MMLU、ARC、GSM8K 等——有唯一正确答案，判分客观，适合大规模自动评测。
• 主观题基准（开放问答/写作）：MT-Bench、AlpacaEval——没有标准答案，靠人类评分或更强的 LLM（如 GPT-4）当裁判。
• 盲测对战（Arena）：LMSYS Chatbot Arena——两个匿名模型回答同一个问题，人类选更好的那个，用 Elo 积分排名，像国际象棋等级分。详见 Elo 评分与 LLM Arena。

关键区分：zero-shot（裸考，不给任何例题）vs few-shot（给几个例题再答题）。同一模型 few-shot 分数通常高于 zero-shot，论文报告需注明测试条件。

2025 年评测格局的最大变化：传统多选题基准（MMLU、ARC）已逐渐”饱和”——顶级模型轻松超过 85%，难以区分真正的前沿模型差异。评测社区因此转向更高难度、更接近真实场景的基准：GPQA（博士级科学问答）、SWE-bench Verified（真实软件工程任务）、AIME（数学竞赛级推理），以及防泄露的动态基准（LiveBench）。

原理详解

知识与推理

基准	题型	规模	测试能力
MMLU	57 科目多项选择题	14,042 题	大学生水平的综合知识（历史、法律、医学、数学等）
MMLU-Pro	10 选项多选	12,032 题	MMLU 升级版，增加选项干扰，推理要求更高
ARC（AI2 Reasoning Challenge）	小学科学多选题	7,787 题	科学常识与推理（Easy + Challenge 两套）
HellaSwag	选最合理的后续句子	10,000 题	常识推理（“接下来会发生什么”）
WinoGrande	选词填空	44,000 题	指代消解与常识推理
TruthfulQA	开放问答	817 题	测试模型是否会输出常见误解和虚假信息
BBH（BIG-Bench Hard）	23 项困难任务	各异	推理能力上限测试
GPQA	博士级科学问答	448 题	物理/化学/生物研究生水平，专家都难答对

GPQA：2025 年的前沿推理试金石

GPQA（Google-Proof Q&A，谷歌防搜问答）是 2024 年由 NYU 等机构推出的基准，专门测试博士级科学推理能力。它的核心设计有三层：题目极难（由 PhD 专家撰写，覆盖博士资格考试水平的知识深度）；Google-Proof（即使通过搜索引擎也无法直接找到答案，必须真正推理）；专家验证（每道题由至少三位领域专家交叉验证）。

GPQA 的意义在于：2024 年前大多数顶级模型在这里只有 30-40%（人类专家约 65%，随机猜 25%），能有效区分前沿模型的真实推理水平。到 2025 年，随着推理模型（reasoning model，如 OpenAI o1/o3、DeepSeek R1）的出现，顶级模型分数突破 80%，GPQA Diamond（最难子集）成为论文报告的标准配置。

饱和效应：当一个基准上顶级模型分数接近人类水平时，该基准就”饱和”了——失去区分模型差异的能力。MMLU 在 2024 年已饱和（GPT-4o 约 88%），这推动评测社区不断推出更难的基准。

数学推理

基准	题型	规模	测试能力
GSM8K	小学应用题	8,500 题	基础数学推理（多步运算）
MATH	高中竞赛数学	12,500 题	高难度数学推理（代数、几何、微积分）
AIME / AMC	数学竞赛题	各异	极高难度数学推理

数学是 LLM 最难的领域之一——需要严密的逻辑链，一步错全错。GPT-4o 在 GSM8K 上约 90%，但在 MATH 上约 50-70%。

AIME（American Invitational Mathematics Examination）是美国数学竞赛第二轮，难度远超 MATH。每道题需多步推理，答案是 0-999 的整数，判分客观无歧义。AIME 在 2025 年成为衡量推理模型的核心指标：传统 LLM（如 GPT-4o）只有约 10-20% 的正确率，而 DeepSeek R1、OpenAI o3 等推理模型通过链式思维（Chain-of-Thought，让模型逐步推理再给最终答案的技术）和强化学习训练，分数突破 80%——相比传统模型的个位数，进步惊人。

代码生成

基准	题型	规模	测试能力
HumanEval	Python 函数生成	164 题	根据函数签名和文档生成代码，单元测试判分
MBPP	Python 编程	974 题	基础编程任务（Mostly Basic Python Problems）
LiveCodeBench	竞赛编程	定期更新	LeetCode 风格，防数据泄露
HumanEval+ / MBPP+	增强测试用例	各异	原版测试用例太少，扩展后更严格
SWE-bench	真实 GitHub Issue 修复	2,294 题	端到端软件工程能力（最高难度）
SWE-bench Verified	人工验证子集	500 题	SWE-bench 精选版，标注质量有保障

pass@k 指标详解

HumanEval 用 pass@k 指标：生成 k 个候选，只要有一个通过全部单元测试就算通过。pass@1 是每次只生成一个答案的通过率，最接近真实开发体验（用户通常只看一次输出），也最严格；pass@5 / pass@10 是生成多个选最好的，分数虚高。论文报告中务必同时报告 pass@1，否则分数不可比——pass@10 可能高达 90%，但 pass@1 可能只有 50%，意味着用户有一半概率拿到错误代码。

SWE-bench Verified：软件工程的终极考试

SWE-bench 是当前难度最高的代码基准：给定一个真实 Python 项目的 GitHub Issue 和仓库快照，模型需要定位 bug、编写修复代码并通过项目的单元测试。它测试的不是”写一段函数”，而是完整的软件工程能力。

2024 年 OpenAI 与 SWE-bench 团队合作推出 SWE-bench Verified——从原始 2,294 题中由人类开发者审核筛选出 500 题的精选子集，确保每道题的测试用例经人工审核、判分公平。2025 年顶级模型在此基准上竞争激烈，分数从 2024 年的约 20% 快速攀升至 50-70%+。开源 Agent 框架（如 mini-SWE-agent）也在 2025 年以约 100 行 Python 达到 65% 解决率，说明 Agent 架构和评测方法都在快速成熟。

中文能力

基准	题型	规模	测试能力
C-Eval	52 学科多选	13,952 题	中国大学水平综合知识
CMMLU	67 科目多选	11,528 题	中文多任务语言理解
GAOKAO-bench	高考真题	各科	中国高考水平各科考试
AGIEval	中国高考/SAT/法考	各异	高难度标准化考试

中文基准对国产模型（Qwen、GLM、DeepSeek、ChatGLM）尤其重要——英文基准可能低估中文场景表现。

对话与人类偏好

基准	方法	说明
MT-Bench	GPT-4 打分	80 道多轮对话题，用 GPT-4 当裁判按 1-10 打分
AlpacaEval 2.0	GPT-4 打分	引入 LC（Length-Controlled，长度控制）胜率消除长度偏见
LMSYS Chatbot Arena	人类盲测	最大的人类偏好排行榜，Elo 积分制
Arena-Hard	GPT-4 自动对战	Arena 题目子集 + 自动裁判，500 题快速评测

Arena-Hard Auto Eval 是 LMSYS 推出的半自动评测：从 Chatbot Arena 精选 500 道高区分度的真实用户问题，用 GPT-4 作为裁判自动做成对比较（pairwise comparison，即给裁判两个回答让它选更好的）。其排名与人类盲测 Arena 的相关性约 0.8+，远好于 MMLU 等静态基准，且成本极低（约 1000 次 API 调用、几美元），适合 CI/CD 集成。但 Arena-Hard 仍受 LLM-as-Judge 固有偏见影响，不能完全替代大规模人类盲测。

Chatbot Arena 2025 年格局

截至 2025 年，Chatbot Arena 的竞争格局如下：

梯队	代表模型	特点
顶级	GPT-4o / o1 / o3、Claude 3.5/4 Sonnet、Gemini 2.0 Pro/Flash	闭源前沿模型，Elo 分数 1300+
强力挑战者	DeepSeek R1/V3、Qwen 2.5/3、Grok 3	开源/半开源，部分领域超越闭源
中坚力量	Llama 3.1/3.3、Mistral Large、Command R+	开源旗舰，性能足够多数场景
高性价比	Qwen 2.5 7B/14B、Llama 3.2 3B、Phi 系列	小模型，端侧/边缘部署

Elo 评分方法论在 2025 年的改进：(1) 从简单 Elo 升级为 Bradley-Terry 模型 + Bootstrap 置信区间，让排名带有误差范围而非单一数字；(2) 分类别排名——Coding、Math、Hard Prompts、Vision、多语言等——因为综合排名可能掩盖特定领域的优势；(3) 风格控制——研究发现人类偏好受回答长度、格式、语气影响，Arena 引入风格控制统计分析部分校正这些偏见。

详细的 Elo 算法和 Bradley-Terry 模型原理，参见 Elo 评分与 LLM Arena。

评测方法论深度剖析

数据泄露检测

数据泄露（Data Contamination）是 LLM 评测最严峻的挑战：基准的题目和答案可能已包含在模型训练数据中，导致模型”背答案”而非真正理解。

检测方法：n-gram 匹配（搜索训练语料中是否有基准题目的连续 n 词序列，但闭源模型不可用）；成员推理（Membership Inference，判断某条数据是否在训练集中，但准确率有限）；重述测试（用不同措述同一道题，泄露模型分数暴跌）；动态基准（最可靠，见下文）。

最可靠的应对方案——动态基准：让基准不断更新，使模型来不及”背诵”。LiveBench（Abacus.AI，每月更新题目，涵盖推理/代码/数学/数据分析）；LiveCodeBench（用 LeetCode 最新题目防代码泄露）；SEAL Leaderboards（Secure, Evaluated, Aligned Leaderboards，社区驱动的防泄露评测平台，采用提交审核 + 动态更新机制）。

实践建议：评测新模型时，优先看动态基准和时间靠后的基准版本。如果静态基准很高但动态基准一般，几乎可以确定存在数据泄露。

Temperature 与采样对评测分数的影响

模型的采样温度（Temperature）直接影响基准分数，但经常被忽略：Temperature = 0（贪心解码）每次输出确定，复现性最好，pass@1 最高但 pass@k 无意义；Temperature = 0.2-0.7 轻微随机，推理任务常用；Temperature = 1.0+ 高随机性，pass@1 下降但 pass@k 上升。

关键陷阱：如果模型 A 用 Temperature=0 评测得 85%，模型 B 用 0.7 评测得 83%，不能直接说 A 更好——B 的分数有随机波动。跨模型比较必须统一采样参数（Temperature、top-p、max_tokens 等）。

Self-Consistency（自洽性解码）：对于推理任务，Temperature=0 并非最优。适当增加随机性（0.3-0.7）配合多次采样 + 多数投票（majority voting，即生成多个答案取出现最多的），往往比贪心解码更好。

Chain-of-Thought 评测：推理过程重要还是答案重要？

Chain-of-Thought（CoT，链式思维）让模型在给出最终答案前先输出推理步骤。这引出一个评测层面的核心问题：评估最终答案，还是也评估推理过程质量？

评测方式	做法	优缺点
结果导向（Outcome-based）	只看最终答案是否正确	判分客观，但”蒙对了”会误判
过程导向（Process-based）	人工或 LLM 审查每步推理	能发现推理漏洞，但成本高、主观
PRM（Process Reward Model，过程奖励模型）	训练专门模型给每步推理打分	可自动化、细粒度，但需大量标注数据

2025 年的趋势是混合评测：对数学/代码等有标准答案的任务用结果导向判分，同时分析推理链长度与正确率的相关性，区分”真推理”和”表演推理”（post-hoc rationalization，看起来在推理实际已隐式确定答案）。

LLM-as-Judge：偏见与缓解

人类评测慢且贵，现代评测常用更强的 LLM（通常是 GPT-4 或 Claude）自动打分：成对比较（给裁判两个回答问”哪个更好”）和绝对评分（按准确性、流畅性、有用性等维度打分）。优点是快、便宜、可大规模评测；缺点是裁判模型有系统性偏见。

例如位置偏见：同样两个回答交换 A/B 位置后裁判的选择可能翻转。长度偏见：一个简洁正确的回答只得 7 分，一个冗长但内容相同的回答得 9 分。自我偏好：GPT-4 当裁判偏爱与自己风格相近的回答。

缓解策略：位置交换（同一对回答交换 A/B 位置各判一次，取一致结论，最简单有效）；多裁判集成（GPT-4 + Claude + Gemini 分别打分取平均）；长度控制（统计层面回归掉长度影响，AlpacaEval 2.0 的 LC 胜率即用此法）；盲评（不告知裁判模型名称/来源）。

实用建议：如果只能选一种策略，选位置交换。论文级评测应同时用多裁判集成。AlpacaEval 2.0 的长度控制胜率是 2025 年自动评测的推荐配置。

人类评测方法

虽然 LLM-as-Judge 越来越成熟，人类评测仍是不可替代的”金标准”。

方法	做法	适用场景	成本
A/B 测试	用户随机看到两个模型回答并选择	生产环境真实体验	低（嵌入式采集）
成对偏好标注	标注员比较两个回答选更优的	构建 RLHF 偏好数据	中
排序标注	标注员对多个回答按质量排序	多模型横向比较	中高
Likert 量表评分	按 1-5 或 1-7 分对单个回答打分	细粒度质量评估	高
多维评分	按准确性/有用性/安全性等分别打分	综合能力评估	最高

人类评测的质量高度依赖标注指南（Annotation Guidelines）。好的指南需要：明确的评分维度（不问”好不好”，而是分别评”准确性""完整性""流畅性”）；具体的评分标准（每个分数有描述和示例）；边界情况处理（部分正确怎么评、有安全隐患怎么评）；以及正式标注前的试标注 + 校准训练。Inter-Annotator Agreement（IAA，标注一致性）衡量多人评分一致性，常用 Cohen’s Kappa（两人）或 Fleiss’ Kappa（多人），低于 0.4 说明标注标准模糊、结果不可信。

Agentic 评测

2025 年 LLM 应用最重要的趋势是 Agent——模型自主使用工具、执行多步操作、完成真实世界任务。传统基准测的是”单轮问答”，而 Agent 需要评测”多步执行”。

维度	传统基准	Agentic 评测
交互轮数	单轮	多轮（数十甚至上百步）
工具使用	不涉及	评估工具调用是否正确、高效
错误恢复	不涉及	中途出错能否自行发现并纠正
环境状态	无状态	需模拟真实环境（文件系统、API、浏览器）
成功标准	答案是否正确	任务是否真正完成（通常需验证检查）

基准	任务	评测方式
SWE-bench Verified	修复真实 GitHub Issue	单元测试是否通过
WebArena	模拟网站环境中完成操作（购物、发帖等）	最终环境状态是否符合要求
GAIA	需要多步推理 + 工具使用的通用问题	答案精确匹配
AgentBench	多场景 Agent 评测（OS、DB、Web、KG 等）	任务完成率
τ-bench（Tau-bench）	模拟客服/零售场景的工具使用	政策合规性检查
MLE-bench	Kaggle 竞赛级机器学习工程	奖牌获得率

Agentic 评测的核心难点是环境搭建成本极高——评测 Web Agent 需部署模拟网站，评测代码 Agent 需 Docker 化的代码仓库。详见 AI Agent 与多智能体。

开源 vs 闭源模型：2025 年差距分析

2025 年最引人注目的变化之一是开源权重模型（open-weight model）与闭源专有模型（proprietary model）的差距大幅缩小。

能力维度	闭源代表	开源代表	差距
综合知识（MMLU）	GPT-4o、Claude 4.5	Llama 3.1 405B、Qwen 2.5 72B	极小（不到 3%）
数学推理（AIME/MATH）	o3、Gemini 2.5 Pro	DeepSeek R1、Qwen QwQ	极小甚至反超
代码生成（HumanEval）	Claude 3.5 Sonnet	DeepSeek V3、Qwen 2.5 Coder	极小
软件工程（SWE-bench）	Claude 3.5 Sonnet	DeepSeek R1 + Agent	小至中等
人类偏好（Arena Elo）	GPT-4o、Claude	DeepSeek V3、Grok 3	小
推理模型	o1/o3	DeepSeek R1、Qwen QwQ	R1 已追平甚至超越

关键里程碑：DeepSeek R1（2025 年 1 月）以 MIT 许可证开源的推理模型，在 AIME、MATH、Code 等推理基准上达到甚至超越 OpenAI o1，彻底打破了”推理模型只能闭源”的格局；Qwen 2.5 / Qwen 3 在多个基准上逼近闭源前沿，Qwen QwQ-32B 展现出色性价比；Llama 3.1/3.3 是欧美开源旗舰，综合能力逼近 GPT-4o 级别。

差距从”代差”变”微差”：开源模型的推理能力已率先追平闭源，但闭源模型在长上下文处理、多模态能力、Agent 工具使用等方面仍保持一定优势。详见 模型选择指南。

原理图解

动手实践

用 lm-evaluation-harness 跑多基准

# 安装：pip install lm-eval
# 命令行（推荐）：
# lm_eval --model hf --model_args pretrained=Qwen/Qwen2.5-7B-Instruct \
#         --tasks mmlu,gsm8k,hellaswag,arc_challenge --batch_size 8

from lm_eval import simple_evaluate  # EleutherAI 评测框架

# 对本地 HuggingFace 模型跑多基准评测
results = simple_evaluate(
    model="hf",                                        # 使用 HuggingFace 模型
    model_args="pretrained=Qwen/Qwen2.5-7B-Instruct",  # 待测模型
    tasks=["mmlu", "mmlu_pro", "gsm8k", "arc_challenge",
           "hellaswag", "winogrande", "truthful_qa"],   # 多基准同时评测
    num_fewshot=5,   # 5-shot 设置（与论文报告一致）
    batch_size=8,    # 批量大小（按 GPU 显存调整）
)

# 提取主指标并格式化输出
for task_name, task_results in results["results"].items():
    for metric, value in task_results.items():
        if metric.startswith(("acc", "f1", "em")):
            print(f"{task_name:20s} {metric:20s} {value*100:.2f}%")
            break
# 输出示例：
# mmlu                acc,none             72.34%
# mmlu_pro            acc,none             45.12%
# gsm8k               acc,none             85.67%
# arc_challenge       acc_norm,none        68.90%

LLM-as-Judge 实现：带位置交换偏见缓解

"""成对比较 + 位置交换（position swap）消除偏见。"""
import openai


def judge_pair(question, answer_a, answer_b, judge_model="gpt-4o"):
    """用 LLM 裁判做一次成对比较，返回 'A' / 'B' / 'tie'。"""
    prompt = f"""你是一个公正的评判者。请比较以下两个回答的质量。

## 问题
{question}

## 回答 A
{answer_a}

## 回答 B
{answer_b}

评判标准：准确性、有用性、清晰度。
请只输出 "A"、"B" 或 "tie"。"""
    resp = openai.chat.completions.create(
        model=judge_model,
        messages=[{"role": "user", "content": prompt}],
        temperature=0,  # 裁判用 Temperature=0 确保一致性
    )
    verdict = resp.choices[0].message.content.strip().lower()
    return {"a": "A", "b": "B", "tie": "tie"}.get(verdict, "tie")


def judge_with_debias(question, answer_a, answer_b, judge_model="gpt-4o"):
    """位置交换：交换 A/B 各判一次，仅当两次一致时才采信。"""
    v1 = judge_pair(question, answer_a, answer_b, judge_model)
    v2 = judge_pair(question, answer_b, answer_a, judge_model)  # 交换位置
    v2_flipped = {"A": "B", "B": "A", "tie": "tie"}[v2]         # 翻转回原始

    if v1 == v2_flipped:
        return {"winner": v1, "consistent": True}   # 两次一致，结果可信
    return {"winner": "tie", "consistent": False}    # 不一致，判平局

# 批量评测时，统计 inconsistent 比例：
# inconsistency_rate = 不一致次数 / 总次数
# 该比例越高（如 >30%），说明裁判对此类问题区分度不够，
# 应换更强的裁判或回到人类评测。

inconsistency_rate 的意义：位置交换后两次判决不一致的比例。如果很高（如 >30%），说明裁判模型对此类问题的区分度不够，应换更强的裁判或回到人类评测。

实践要点

• 选型优先看 Arena：LMSYS Chatbot Arena 的 Elo 排名最能反映真实使用体验。分类别排名（Coding/Math/Hard Prompts）比综合排名更有参考价值。
• 关注前沿基准：传统基准（MMLU、GSM8K）已饱和，2025 年选型应看 GPQA、AIME、SWE-bench Verified 等高区分度基准。
• 注意数据泄露：优先看动态基准（LiveBench、LiveCodeBench、SEAL Leaderboards），静态高分可能含水分。
• 关注中文基准：中文应用场景务必看 C-Eval、CMMLU 成绩。
• 统一采样参数：跨模型比较时务必统一 Temperature、top-p、few-shot 数量等参数，否则结论不可靠。
• 代码基准看 pass@1：pass@10、pass@100 虚高，pass@1 最接近真实开发体验。
• LLM-as-Judge 做位置交换：用 LLM 当裁判时务必做位置交换 + 多裁判集成。
• Agentic 场景看 Agent 基准：涉及工具调用和多步推理时，SWE-bench/WebArena 比 MMLU 更有参考价值。
• 小模型看性价比：不只看绝对分数，还要看模型大小和推理成本。详见 模型选择指南。

典型应用

• 模型选型：根据应用场景（中文对话/代码生成/数学推理/Agent）选择在对应基准上表现最好的模型。详见 模型选择指南。
• 训练效果验证：微调或 RLHF 后，跑一组基准确认能力提升方向是否正确——训练迭代的”成绩单”。详见 LLM 微调。
• 论文报告：新模型发布必须报告一组标准基准分数——GPT、Claude、LLaMA 的技术报告都如此。
• 排行榜追踪：HuggingFace Open LLM Leaderboard、LMSYS Arena、Artificial Analysis 持续追踪最新模型排名。
• 回归测试：模型迭代后跑一组核心基准确保没有能力退化——类似软件的 CI/CD 回归测试。

典型类库与工具

类库	语言	说明
lm-evaluation-harness	Python	EleutherAI 的评测框架，支持 MMLU/ARC/HellaSwag 等 300+ 基准
OpenCompass	Python	上海 AI Lab 的评测框架，中文基准覆盖最全（C-Eval/CMMLU 等）
HELM	Python	Stanford CRFM 的整体评测框架，多维度 + 公平性评测
LMSYS Chatbot Arena	Web	人类盲测排行榜，Elo 积分制，最权威综合排名
LiveBench	Web/Python	Abacus.AI 的动态更新基准，防数据泄露
SEAL Leaderboards	Web	社区驱动的防泄露评测平台
Arena-Hard	Python	Arena 的 500 题自动评测版，适合 CI/CD 集成
SWE-bench	Python/Docker	真实软件工程评测，需 Docker 环境运行

术语表

术语	英文	解释
基准	Benchmark	标准化的评测题库，用于客观衡量模型在特定任务上的能力
基准饱和	Benchmark Saturation	顶级模型分数接近满分，基准失去区分模型差异的能力
few-shot 评测	Few-shot Evaluation	在提示中给出几个例题再让模型作答的评测方式
zero-shot 评测	Zero-shot Evaluation	不给任何例题直接让模型作答的评测方式
Elo 评分	Elo Rating	源于国际象棋的竞技排名算法，根据对战胜负动态调整积分
Bradley-Terry 模型	Bradley-Terry Model	基于 Elo 的统计模型，用于从成对比较中估计能力排名
Arena	Arena	盲测对战平台，两个匿名模型回答同一问题由人类投票
Arena-Hard	Arena-Hard	Arena 的 500 题自动评测版，用 LLM 裁判替代人类投票
排行榜	Leaderboard	按基准分数排名的榜单，如 HuggingFace Open LLM Leaderboard
LLM-as-Judge	LLM-as-Judge	用更强的 LLM（如 GPT-4）充当裁判自动打分的评测方法
数据泄露	Data Contamination	基准题出现在训练数据中，导致评测分数虚高
pass@k	pass@k	代码基准指标，生成 k 个候选至少一个通过测试的概率
位置偏见	Position Bias	LLM 裁判倾向选择特定位置的回答，与内容质量无关
长度偏见	Verbosity Bias	LLM 裁判偏爱更长的回答，即使内容质量相当
自我偏好	Self-preference Bias	模型偏爱自己生成风格的回答
长度控制胜率	Length-Controlled Win Rate	消除回答长度影响后的胜率，如 AlpacaEval 2.0 的 LC 指标
动态基准	Dynamic Benchmark	定期更新题目的基准，防止数据泄露（如 LiveBench）
自洽性解码	Self-Consistency	多次采样取多数投票的解码策略，提高推理准确率
过程奖励模型	Process Reward Model (PRM)	给推理过程的每一步打分的模型，用于评估推理质量
Agentic 评测	Agentic Evaluation	评测模型作为 Agent 自主使用工具、执行多步任务的能力
标注一致性	Inter-Annotator Agreement (IAA)	衡量多个标注员评分一致性的指标

延伸阅读

• MMLU：Hendrycks et al., “Measuring Massive Multitask Language Understanding” (ICLR 2021)，57 科目大学生水平知识评测。
• MMLU-Pro：Wang et al., “MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark” (2024)，MMLU 升级版。
• GPQA：Rein et al., “GPQA: A Graduate-Level Google-Proof Q&A Benchmark” (2024)，博士级科学推理评测。
• GSM8K：Cobbe et al., “Training Verifiers to Solve Math Word Problems” (2021)，小学数学推理基准。
• HumanEval：Chen et al., “Evaluating Large Language Models Trained on Code” (2021)，OpenAI 的代码生成基准。
• C-Eval：Huang et al., “C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite” (2023)，中文综合知识评测。
• Chatbot Arena：Chiang et al., “Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference” (2024)，LMSYS 盲测排行榜论文。
• HELM：Liang et al., “Holistic Evaluation of Language Models” (2023)，Stanford 的整体评测框架。
• SWE-bench：Jimenez et al., “SWE-bench: Can Language Models Resolve Real-World GitHub Issues?” (2024)，端到端软件工程评测。
• SWE-bench Verified：OpenAI & SWE-bench Team (2024)，人工验证的 500 题精选子集。
• LiveBench：White et al., “LiveBench: A Challenging, Contamination-Limited LLM Benchmark” (2024)，动态更新防泄露基准。
• DeepSeek R1：DeepSeek-AI, “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning” (2025)，开源推理模型里程碑。
• LLM-as-Judge 偏见研究：Zheng et al., “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena” (2023)；Wang et al., “Large Language Models are not Fair Evaluators” (2024)，系统分析位置/长度/自我偏好等偏见。
• AlpacaEval 2.0：Li et al. (2024)，长度控制胜率方法。