MoveBench：面向运动与健康教练场景的量规式大语言模型评测基准 MoveBench: A Rubric-Based Benchmark for Evaluating Large Language Models in Sports and Health Coaching
首个量规驱动的运动健康教练LLM基准：809题、5012条评分标准，评测15个模型
前置知识
LLM-as-Judge（大模型当裁判）
用强大的 LLM 代替人工对被评模型的输出打分。本文采用 Gemini 3.1 Pro、Claude 4.6 Sonnet、GPT-5.2 三个裁判组成委员会，每个裁判对同一道开放式题按量规逐条判据打分并给出理由，随后按固定权重 0.35/0.35/0.30 加权聚合。论文还专门验证了裁判与专家裁定基线的一致率（62.33%–76.33%）以及同一裁判重复运行间的波动（样本标准差 0.0472–0.1065）。
MoveBench 的 499 道开放式题完全依赖裁判模型打分，不理解裁判的选择、加权方式与可靠性验证，就无法判断本文所有评测分数的可信度和边界。
Rubric（评分量规）
一种结构化评分标准：把『回答好不好』拆解为若干维度（如安全、个性化、结构质量），每个维度再细化为带分值上限的具体判据。MoveBench 为 809 道题配了 5,012 条量规判据，例如计划生成任务（PG）有医疗安全边界、课程元数据结构、环境适配、动作级适配等 8 个维度，数据分析任务（DA）有 6 个维度，问答任务（QA）有 4 个维度。
本文的核心方法论就是量规式评估，所有分数（含公式 $e_i=(1-B_i)(0.35e_i^{(G)}+0.35e_i^{(C)}+0.30e_i^{(P)})$）都建立在量规判据逐条加总之上。
安全红线机制（Safety Redline Override）
针对运动健康场景『错误建议可能造成身体伤害』的特点设计的否决机制：三个裁判各自独立判断回答是否触碰红线（医疗越界、危险指导、生理学幻觉等，判罚以 −10 编码、独立于正向得分），当至少 2 个裁判亮红牌即触发 $B_i=\mathbb{I}(\sum_k b_i^{(k)}\ge 2)$，该题得分强制归零；单票仅留档审计不触发否决。
这是本文区别于普通基准的关键安全设计，『多数否决、单票容忍』的逻辑直接决定了安全维度的分数语义，是解读实验结果的必要前提。
精确匹配与天花板效应
对单选（SS）/多选（MS）题，只有预测选项与标准答案完全一致才得 1 分，即 $e_i=\mathbb{I}(\hat{y}_i=y_i)$；多选无部分得分，无法解析的输出判 0 分，API 失败单独计为未覆盖项。本文中全部 15 个模型在成功计分的 SS 题上准确率均为 1.000，出现天花板效应，说明该题型已无区分度。
这解释了论文为何把结论重心放在开放式题（OQ 得分区间 0.812–0.917）上，是理解『知道 vs 会做』这一核心发现的关键背景。
研究动机
尽管 MMLU、HELM 等通用基准和 MedQA、PubMedQA、HealthBench 等医疗基准快速发展，运动与健康教练场景仍是评测盲区。与以诊断推理和事实正确性为核心的医疗问答不同，健身应用是『行动导向』的：用户需要的是结构化训练计划、自适应建议和实时反馈，输出会直接转化为身体执行的动作，错误或不安全的建议可能造成真实损伤。作者指出现有基准存在三个具体缺陷：一是没有对齐真实教练工作流的任务形式（运动处方、训练计划生成、运动表现数据解读）；二是缺乏细粒度的领域评分标准，特别是安全与训练科学维度；三是依赖精确匹配这类单一指标，无法刻画开放式回答的多维质量。同时 SportQA 等运动基准只考体育知识与规则理解，不覆盖健身训练、运动处方、康复等实际应用，造成基准设计与数字健身平台真实用法之间的严重错配。
本文的目标是本文的目标是建立第一个专门面向运动与健康教练的综合性 LLM 评测框架 MoveBench，把 LLM 当作『AI 健身教练』而非知识库来考核。具体包括四件事：构建覆盖三类真实任务的题库——个人健身计划生成（PG）、个人运动日志数据分析（DA）、运动健康问答（QA），共 809 题、5,012 条量规级评分标准；设计一套可复现的混合评测协议，客观题用精确匹配计分，开放式题用三裁判加权的量规评分；引入安全红线否决机制以显式反映场景的高风险属性；并用该框架系统评测 15 个主流大模型，量化它们在安全意识、结构化计划设计与个性化能力上的差距，为安全、可靠、具备情境感知能力的 AI 教练系统确立基础评测标准。
与已有工作不同的是，论文的独特切入角度是从『知识评测』转向『干预评测』。作者观察到横跨通用、医疗、运动三类基准的一致模式：现有框架都在考『模型知道什么、怎么回答』，而不是『模型在真实场景中能否安全有效地做』。MoveBench 的差异化有三点：其一，任务来自 Keep 平台的真实用户分布——用户画像（BMI、年龄段、性别、训练习惯）按平台真实加权分布采样，DA 任务直接嵌入真实用户的运动日志（配速、心率、步频、自觉用力程度），使异构结构化数据与自然语言语境并存；其二，安全被显式形式化为可执行的多数票否决规则，而非一个普通扣分维度；其三，提出多裁判集成加一致性校验的混合评分框架，并诚实报告裁判与专家的一致率、重复运行方差等元数据，把评测协议本身也纳入科学验证。这使其成为第一个把『可执行性、个性化、生理安全』作为一等公民的领域基准。
核心方法
MoveBench 的整体思路是『真实场景出题 + 量规评分 + 多裁判仲裁』。直觉上，评测 AI 教练应该像考核真人教练：看他开的训练计划是否安全可执行、能否读懂运动数据并给出有生理学依据的建议、答疑是否科学且守住医疗边界。技术路线分三步：第一步，基准构建采用『生成—质检』两阶段流水线，用 Gemini-3.0-pro（温度 0.7，最大 6,000 token，带失败重试机制）沿三条独立流水线生成 QA、PG、DA 三类题目，用户属性按平台真实分布加权采样，DA 题嵌入真实运动日志；第二步，自动质检筛除中高风险题目后，交由首都体育学院与 Keep 的领域专家人工审核，通过后附上领域、用户特征、伤病、安全风险等元数据入库；第三步，评测协议上客观题精确匹配计分，开放式题由 Gemini 3.1 Pro、Claude 4.6 Sonnet、GPT-5.2 三个裁判按 0.35/0.35/0.30 加权量规打分，并叠加『至少两票红线即归零』的安全否决。最终指标按题型成功计分题数加权合成为 Overall。
核心创新是『把教练能力拆成可数的判据，把安全做成多数票否决式的硬约束』。与已有方法的本质区别有三：一是任务形式上，SportQA 只考体育知识规则，MedQA/HealthBench 停留在诊断推理与对话安全，MoveBench 首次把『生成可执行训练计划』和『解读真实运动数据』作为评测对象，要求输出能被用户直接照做；二是安全处理上，普通基准把安全当一个普通评分维度，本文的红线机制以 −10 编码裁判判罚，触发条件为 $B_i=\mathbb{I}(\sum_k b_i^{(k)}\ge 2)$，触发后 $e_i=(1-B_i)(\ldots)=0$，体现『错误建议导致身体伤害而非信息错误』的高风险性质；三是评分协议上提出两级聚合——题型内分数为得分子与分子式的比值 $S_t^{(a)}=\sum_{i\in D_t^{(a)}} e_i / \sum_{i\in D_t^{(a)}} m_i$，Overall 按成功计分题数加权组合三个题型分，并单独报告覆盖率与 PG/DA/QA 领域宏平均诊断分。
方法步骤详情
流程分四个阶段。阶段一题目生成：三条流水线分别产出 QA（知识问答，输入长度按真实用户以短问为主的分布控制）、PG（融合体能水平、训练史、可用时间、环境限制、伤病史等多约束场景）、DA（真实运动日志的配速/心率/步频/自觉用力程度嵌入自然语言描述）；生成器为 Gemini-3.0-pro，温度 0.7、上限 6000 token、API 失败或输出畸形时带延迟自动重试。阶段二质检与专家审核：LLM 评估器检查题目清晰度、参考答案正确性与唯一性、题—答—量规一致性、科学性与安全合规，中高风险自动拒绝，余题由领域专家审核正确性、清晰度与安全性，通过后标注元数据进入题库。阶段三评测：15 个学生模型答题，SS/MS 精确匹配得 $e_i=\mathbb{I}(\hat{y}_i=y_i)$，OQ 由三裁判对每条正向判据给分 $r_{ij}^{(k)}\in[0,p_{ij}]$ 后加总。阶段四聚合：先按红线规则 $B_i$ 决定是否归零，再按公式 (5)(6) 合成题型分与 Overall，另按公式 (7) 报告 $S_{d,\mathrm{macro}}^{(a)}=\frac{1}{|D_d^{(a)}|}\sum_{i\in D_d^{(a)}} e_i/m_i$ 的领域宏平均分。
技术新颖性
技术新颖性体现在四个层面。第一，数据侧的『真实分布采样』机制：不随意合成用户，而是按 Keep 平台真实加权分布采样 BMI、年龄、性别与训练习惯，DA 题直接使用真实用户日志形成结构化与自然语言并存的异构语境，这在此前基准中未见。第二，安全的形式化：红线以 −10 编码、独立于正向得分、两票或三票才归零且单票仅留档审计，并给出严格的分数语义——未解析答案判错、API 失败计为未覆盖而非静默丢弃。第三，评分协议的统计透明度：明确区分『与人类裁定基线的一致性』和『重复运行可重复性』两种不同性质，用 30 道开放式题、300 条判据、±0.2 容差验证专家一致率 80.6%–86.0%、裁判一致率 62.33%–76.33%，并报告三裁判运行间样本标准差（0.0472–0.1065）。第四，权重选择以『限制单个裁判最大权重 35%』的委员会设计原则替代单纯最小化 MSE（三种配置 MSE 为 0.0177–0.0228），并坦承这是工程权衡而非统计最优。
实验结果
对 15 个模型的评测揭示了明显的分层与『知道但不会做』的鸿沟。Overall 上 Claude 4.6 Opus 以 0.943 居首（本次评测观察到的性能上限），GPT-5.2（0.929）、GPT-5.5（0.927）、Qwen3-Max（0.926）构成第一梯队；0.902–0.923 的第二梯队含 Qwen3.5-27B（0.923）、Doubao-Seed-2.0-Pro（0.922）、DeepSeek-V4-Pro（0.917）、GLM-5.3（0.911）、Qwen3.8-Max（0.905）、Grok-4.1-Fast-Non-Reasoning（0.903）、DeepSeek-V3.2（0.902）；GLM-4.7（0.895）、Gemini 4 Argon（0.879）、Hy3（0.876）、GPT-6（0.875）垫底。SS 题全部模型准确率 1.000，出现天花板效应；MS 题区间 0.888–0.980，Gemini 4 Argon 最高（0.980）但 OQ 仅 0.812 全场最低，说明结构化题强不代表开放教练能力强。OQ 区间 0.812–0.917、极差 0.105 大于 MS 的 0.092，是区分度最大的题型。领域迁移不一致：GLM-5.3 的 QA 达 0.955 但 PG 仅 0.873，Qwen3.8-Max QA 0.936、PG 0.881，且 DA 普遍偏高而 PG/QA 参差。可靠性上，专家间一致率 80.6%–86.0%，裁判与基线一致率 62.33%–76.33%，Claude-4.6-sonnet 裁判最稳（SD 0.0472），GPT-5.2 波动最大（SD 0.1065，三次运行 0.969/0.859/0.756）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 综合总分（Overall，三题型按成功计分题数加权） | 归一化得分（0–1） | Claude 4.6 Opus 0.943（15 模型第一） | GPT-6 0.875（15 模型最低） | +0.068（首尾差距） |
| 开放式问答（OQ，499 题） | 三裁判加权量规得分 | Claude 4.6 Opus 0.917（最高） | Gemini 4 Argon 0.812（最低） | +0.105（题型内最大分差，大于 MS 的 0.092） |
| 多选题（MS，197 题） | 精确匹配准确率 | Gemini 4 Argon 0.980 | GLM-4.7 0.888 | +0.092 |
| 单选题（SS，113 题） | 精确匹配准确率 | 全部 15 个模型均为 1.000 | 无（天花板效应） | 0，题型已无区分度 |
| 裁判—专家裁定基线一致性 | 判据一致率（300 条） | Gemini 3.1 Pro 76.33% | GPT-5.2 62.33%，专家间为 80.6%–86.0% | 裁判比专家低约 4–24 个百分点 |
| 裁判重复运行稳定性（各 3 次） | 样本标准差 SD | Claude-4.6-sonnet 0.0472（均值 0.956） | GPT-5.2 0.1065（均值 0.861） | 稳定性翻倍以上 |
局限与改进
作者明确承认三层局限：一是裁判—专家对齐度中等，裁判与人类裁定基线一致率仅 62%–76%，低于专家之间的 80%–86%，在『部分满足安全约束』『个性化不完整』等边界判据上裁判可能判罚不一致；二是客观题区分度压缩，SS 全员 1.000、MS 挤在 0.88–0.98 的窄区间，精确匹配已无法区分前沿模型；三是评测协议本身的统计边界——裁判重复运行存在波动（SD 最高 0.1065）、存在未完成请求的覆盖缺口（如 Claude 裁判 300 条判据中 20 条未分类），因此分数不应被解读为模型的通用排名或现实安全认证。我的补充观察：题库仅 809 题（SS 只有 113 道）且全部由 LLM 生成再经专家审核，题目多样性受生成模型偏置约束；±0.2 容差与 0.35/0.35/0.30 权重均为操作性定义而非验证过的阈值；红线需两票才触发，单个裁判漏判危险建议时系统没有兜底；此外学生模型名称（GPT-6、Gemini 4 Argon、Hy3 等）按图例引用，跨模型的 API 版本与解码配置公平性未详述。
独立分析的弱点
独立分析有四个弱点。其一，题量与覆盖不足：809 题、其中开放式 499 题，对 PG/DA/QA 三域共 5,012 条判据而言，单域样本量有限，难以支撑用户亚组（如伤病 vs 非伤病、不同 BMI 段）上的统计显著差异检验；改进方向是扩至每域千题级并发布分层置信区间。其二，裁判风险不对称：红线需两票才归零，而 GPT-5.2 裁判运行间 SD 高达 0.1065，意味着同一个危险回答可能因裁判波动而逃脱否决；可改为『任一裁判高置信红线即升级人工复核』的两级仲裁。其三，生成—评测同源偏置：题目由 Gemini-3.0-pro 生成、裁判委员会又含 Gemini 3.1 Pro，可能存在家族性风格亲和，有利于 Gemini 系学生模型；建议引入跨家族出题模型轮换与基准污染检查。其四，静态快照：半年一次的更新节奏难以跟上模型迭代，且缺少多轮对话与数周周期化训练跟踪这类真实教练的核心交互；可引入交互式模拟用户与环境反馈做纵向评测。
未来方向
作者提出的未来工作包括：按半年周期维护更新基准，沿用『生成—验证—评测』流水线持续新增题目；重点增加更具区分度、更贴近真实用户案例的开放式与长上下文题；把主题扩展到更广的活动类型，如康复训练、耐力训练和专项运动教练。基于本文成果还可自然延伸：一是把安全红线机制做成可插拔模块，移植到医疗、心理健康等其他高风险干预领域；二是利用 5,012 条判据构造过程级奖励信号，开展量规对齐的 RLHF/RLVR 训练，直接优化教练能力而非通用人类偏好；三是开发多轮交互版 MoveBench，模拟用户连续多周执行计划并回传数据，评测模型的自适应调整与周期化（periodization）规划能力；四是裁判校准研究——以 300 条专家裁定基线微调或校准裁判模型，把 62%–76% 的一致率提升到专家级的 86%；五是发布按用户亚组切分的公平性分析，检验模型是否对特定人群系统性给出更保守或更危险的训 练建议。
复现评估
复现条件较好但成本不低。开源方面：代码与数据已在 GitHub（Keep-Tech/MoveBench）公开，含 809 道题与量规判据及三个完整示例（SS/MS/OQ 各一，附录 A 展示了判据、分值与红线示例），这是复现的最大利好。数据方面：三条生成流水线的提示词设计、温度 0.7、6000 token 上限、重试策略均有描述，但真实用户分布与运动日志来自 Keep 平台内部数据，外部团队无法完全复刻数据分布，只能用公开数据集近似。算力方面：主要成本是 15 个学生模型加 3 个裁判模型的 API 调用，按 499 道 OQ、每题 3 裁判且每题多条判据估算，一次完整评测需数千至数万次 API 调用，费用对中小团队可控；无需本地 GPU。难度方面：协议描述详尽（公式 (1)–(7) 明确），但裁判 API 非确定性导致分数波动（实测 SD 最高 0.1065），复现时应多次运行取均值并报告覆盖率；总体属中等难度，工程量大而概念清晰。
论文图表
三个裁判模型与裁定基线在 300 条判据上的一致率：Gemini 76.33%（229 同/71 异）、Claude 64.33%（193 同/87 异，另有 20 条未分类，条件一致率 68.93%）、GPT 62.33%（187 同/113 异），均低于专家间水平。
量化了 LLM-as-Judge 的核心短板——与人类专家的对齐缺口，是论文自陈局限和谨慎解读分数的直接证据。