SimuVerity：面向工程级 Simulink 模型生成的智能体评测基准 SimuVerity: Benchmarking Agents for Engineering-Grade Simulink Model Generation
以原生仿真与六维工程指标评测智能体生成 Simulink 模型的真实能力，最强系统仅 42.86 分
前置知识
Simulink 与 .slx 模型
MathWorks 的图形化建模与仿真环境，工程师用方框图描述动态系统（积分器、传递函数、状态机、物理网络等模块及其连线），模型保存为 .slx 文件；仿真时由求解器数值积分产生信号轨迹，广泛用于控制系统、汽车、航空航天等领域的模型化设计（MBD）。
本文基准的输入输出就是“自然语言需求 → 可执行的 .slx 模型”，全部评测在 Simulink 原生运行时中完成，不了解 Simulink 无法理解任务定义与门槛设计。
LLM 智能体与 harness（Claude Code / Codex）
以大模型为核心、循环调用工具（读写文件、执行命令、调 API）自主完成多步任务的系统；harness 是包裹模型的脚手架（工具接口、循环与停止规则、上下文管理）。同一模型配不同 harness 表现可能不同，因此论文的评测单元是“模型 + harness”组成的智能体系统。
六个被测对象（如 Opus 4.8 + Claude Code、GPT-5.5 + Codex）都是这样的系统，理解实验设置和“配对控制”逻辑需要这一概念。
MCP（Model Context Protocol）
连接智能体与外部工具的开放协议；本文用官方 MATLAB MCP Server 让智能体原生地创建、检查、编译和仿真 Simulink 模型。工具消融实验正是通过开关 MCP 能力（尤其是仿真调用）来验证仿真反馈闭环的价值。
论文的核心消融结论（去掉仿真反馈后总分从 78.46 跌至 7.88）建立在 MCP 工具条件之上，不懂 MCP 无法理解消融设计。
原生可执行性门槛（加载—更新—编译—仿真）
Simulink 模型从文件到出数要依次经过加载入内存、更新框图、编译、仿真求解四个环节，任一环节失败都意味着模型不可用。这构成评测的前两道硬门槛：工件是否交付（Delivered）、能否原生执行（Executable）。
理解“交付率 84.43% 但可执行率仅 68.65%、G 门通过率 47.85%”这类核心数据，以及分层评测的动机，都依赖这一流程。
加权几何平均
形如 $\prod_{d} v_d^{\,w_d}$（$\sum_d w_d=1$）的聚合方式：任何一项趋近于零，整体就趋近于零，对短板远比算术平均敏感。论文用它把六个维度分聚合成任务总分，模拟工程验收中“关键失效不能被其他优势掩盖”的逻辑。
总分公式 $S_t(x)=\Gamma_t\cdot H_t(v_t)$ 是全文评测框架的枢纽，理解为什么一个维度差就全盘低分必须掌握几何平均。
Cohen's κ 与 Spearman ρ
κ 衡量两位评分者分类/打分的一致性（已校正随机一致），ρ 衡量两组排序的单调相关程度。论文用两位领域专家盲评 30 个候选模型：加权 κ=0.90，评估器分与专家均分的 Spearman ρ=0.94，与专家间一致性（0.87）相当。
这是“自动评估器是否可信”小节的全部证据基础，读懂评分器有效性验证需要这两个统计量。
研究动机
现有 Simulink 相关基准的评测标准主要有两类，都无法回答工程上的核心问题——生成的模型是否在规定工况下满足工程需求。第一类只检查工件交付与技术执行：SLGPT 关心 Simulink 工具链缺陷发现，SimuGen 只做图到模型重建的基础执行检查，“能编译能跑”就被记为成功，大量功能不达标的模型被误判。第二类依赖与参考模型的结构或功能相似度：SimuBench 把多域文本到模型任务简化为与单一参考实现的相似度比较，既会错杀结构不同但工程上同样有效的正确实现，也会漏放“形似神不似”的候选——结构上对齐参考、仿真性能却完全失败。汽车领域的 ASWE-Bench 虽引入了需求级边界与时序测试，但只覆盖软件逻辑与控制功能，缺乏跨电力电子、机械、机器人、热、流体、汽车、电池、航空航天、通信、生物医学等领域的系统性方案。
本文的目标是构建一个工程级原生仿真基准 SimuVerity：101 个“自然语言需求 → 可执行 .slx 模型”任务，覆盖十个工程领域，每域 9–11 题近均衡分布。每个任务由领域专家先构建“可执行系统画像”（来自参考系统原生运行的证据），再据此撰写工程提示词并设计四族任务专属原生仿真场景（共 595 个）。评测先过三道门槛——工件交付、原生可执行、工程资格 G 门——再对合格模型在客观精度 A、输出质量 Q、机理保真 M、控制与因果完整性 C、工况鲁棒性 R、动态响应与恢复 D 六个维度打分并加权聚合成总分；最后用该框架评测六个主流智能体系统，诊断其跨领域能力短板与失败模式。
与已有工作不同的是，本文的独特切入是以“可执行系统画像”为锚点，而不是以参考模型为锚点：专家统一协议下运行参考系统，抽象出系统边界、接口、工程关系、工况范围与动态特性，把需求翻译为原生仿真测试。这带来三个此前没人同时做到的性质：其一，结构多样性被合法化——方框选择、图布局、子系统层级完全不受限，评分只看需求满足；其二，“欺骗性相似”可被识破——参考对齐但性能失效的模型会在门槛与六维评分中现形；其三，评测是分层多维且可诊断的——门槛过滤不合格品，六维分与加权几何平均防止单维优势掩盖关键短板，评估器还能指出每个失败对应的具体场景与观测量。
核心方法
直觉上，评测一个工程模型就像验收一台设备：先看货到没到、能不能通电、是否符合基本规格（三道门槛），再做全套工况测试逐项打分。技术路线上，论文先从公开示例与工程项目、论文附件、专家自建模型中筛选参考系统，通过解决依赖与兼容问题、暴露控制与观测信号、接入可重复工况，重建为可复现的 .slx 评测目标；专家据此构建可执行系统画像并撰写统一框架的工程提示词。每个任务配备四族原生仿真场景——运行包络（额定、边界、参数/负载变化、扰动）、交互与故障（联合输入、复合工况、故障注入与状态切换）、时间过程（启动、瞬态、整定、事件顺序、故障清除与恢复）、机理与因果检查（物理路径、反馈回路、控制关系、信号来源是否真实起作用）——共 595 个正式场景。候选模型在原生 MATLAB/Simulink 运行时中加载、更新、编译、仿真，观测到的工程量经任务专属映射 $R_t \subseteq S_t \times K_t \times P$（场景×观测量×维度，多对多）归一为效用 $u_{t,s,k}=\phi_{t,s,k}(z_{t,s,k})\in[0,1]$，再聚合为六维分与总分。
核心创新是把“是否满足工程需求”形式化为：需求级原生仿真证据 + 三道前置门槛 + 六维加权几何平均。总分为 $S_t(x)=\Gamma_t(r^{\mathrm{del}}_t, r^{\mathrm{exe}}_t, r^G_t)\, H_t(v_t)$，其中 $H_t(v_t)=\prod_{d\in P_t} v_{d,t}^{\,w_{d,t}}$，权重 $w_{d,t}$ 由领域专家按任务的工程目标与关键失效风险逐任务设定（如 XAUTO-07 取 $w_A{=}0.25, w_M{=}0.25, w_C{=}0.20$），必要时还用最差条件或瓶颈敏感聚合。几何平均保证任一维度接近零都会拖垮总分。与已有工作的本质区别在于：不比结构相似度、不以“能跑”为终点——工程资格 G 门逐任务检查必需功能角色是否在场、信号通路是否连通、是否按约定产出有效评估证据，只有形成真正工程实现的候选才进入六维打分；参考系统自身均分为 96.01 而非 100，也说明评分针对的是需求满足而非复刻。
方法步骤详情
完整流程分五步。① 参考系统整理：从公开项目、论文附件、专家自建模型中收集候选，筛选可执行、有工程意义、能扩大覆盖面的系统，重建为无重复、可复现的评测目标。② 画像与提示词：专家在统一协议下运行参考系统，构建画像（对象与边界、I/O 信号与单位、工程关系、工况范围、动态时间常数），按统一框架（建模系统、交付物、输入输出接口、工况范围、功能目标、机理、控制关系、动态行为）撰写提示词，并校验提示词与画像的一致性及 Simulink 可实现性。③ 质量控制：同源去重与近重复筛查；测试条件、场景组合、阈值与评分逻辑对智能体隐藏以防记忆捷径；任务须在统一工具链 R2025a 下完成加载—更新—编译—仿真才正式入库。④ 生成：智能体在隔离环境中（断外网、MATLAB 示例目录与参考目录不可见）用 MATLAB MCP 工具建模，每个任务-系统对独立运行 3 次。⑤ 评测：先过交付/可执行/G 三道门槛，未交付、未执行或候选导致的运行时失败计零分（基础设施错误重跑）；合格候选进入六维打分与加权聚合，评估器输出各维分数、总分及导致失败的场景与观测量。
技术新颖性
技术新颖性有四点。第一，它是首个跨十个工程领域的“需求级”Simulink 基准，用专家构建的可执行系统画像而非参考模型相似度来锚定评测，同时兼容结构多样性与失效检测。第二，四族 595 场景的系统化测试设计（运行包络 205、交互与故障 189、时间过程 79、机理与因果 122）及场景-维度多对多映射 $R_t \subseteq S_t \times K_t \times P$，把“工程需求”操作化为可执行的证据链。第三，评分器有效性经过严格的专家对照实验：两位专家盲评 30 个候选（不含评估器分数、不参与设计），加权 Cohen's κ=0.90（95% CI [0.79, 0.96]），评估器与专家均分的 Spearman ρ=0.94，仅看 18 个非零分候选时仍达 0.88，与专家间一致性 0.87 相当。第四，评测方法学严谨：每任务-系统 3 次独立运行、任务级 bootstrap 95% 置信区间、Wilcoxon 配对检验、聚合规则敏感性分析（Kendall's τ 为 0.87–1.00），符合 agentic benchmark 的最佳实践。
实验结果
六个智能体系统的总分依次为：Opus 4.8 + Claude Code 42.86、GPT-5.5 + Codex 41.72、DeepSeek-V4-Pro 28.40、Qwen3.8-Max 25.01、GLM-5.3-Flash 4.98、Qwen3.8-27B-FP8 1.60，而 101 个参考系统均分为 96.01——最强系统距合格工程实现仍差 53 分。统计上分四档：{Opus, GPT-5.5} > {DeepSeek, Qwen-Max} > GLM-Flash > Qwen-27B，档内差异不显著（p=0.86/0.46），档间均显著（p≤0.012）。门槛层面：全系统平均交付率 84.43%、原生可执行率 68.65%、G 门通过率 47.85%（最佳系统分别为 94.72%/86.47%/76.90%），说明“能跑”远不等于“合格工程实现”。六维上，六系统平均端到端 A/Q/M/C/R/D = 29.03/38.46/31.99/29.21/27.69/27.82：输出质量最高，工况鲁棒性 R 与动态响应 D 最低。结构相似度分析（95 个 Opus Run 1 交付候选分为参考对齐/部分相似/结构独特 = 39/43/13，58.95% 非参考对齐）：三组端到端均分 52.13/44.05/42.37，但 G 门后均分 59.80/52.61/61.20——结构独特组合格后反而最高；24 个前四分之一候选中 12 个非参考对齐，而 7 个参考对齐候选得零分（其中 2 个还通过了 G 门），证明结构相似度是糟糕的工程性能代理。布局方面，工程分 ≥70 的 31 个 Opus 候选中 8 个严重混乱；仅重排布局（实现不变）后块重叠全部归零，线交叉密度下降 22.7–85.1%。消融实验：在 Opus 已能解决的 10 个跨域任务上，去掉仿真反馈（No-Simulation MCP）总分从 78.46 跌至 7.88（10/10 任务变差，p=0.002），去掉全部 MCP 只留批处理脚本降至 18.23（8/10 变差，p=0.010）。跨域上 Opus 呈三种模式：电力电子（G 通过率仅 44.44%）与流体为资格主导型，电池（G 后仅 38.29）与航空（47.21）为合格后瓶颈型，机械与通信为混合型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨域 Simulink 模型生成（101 任务总评分） | 总体工程得分（0–100，三次运行均值） | Claude Opus 4.8：42.86（95% CI [37.03, 48.73]） | 参考系统 96.01；次优 GPT-5.5 为 41.72 | 距参考系统仍差 53.15 分；领先次优仅 1.13 分且不显著（p=0.86） |
| 工程资格（G 门）通过率 | 全部任务-系统运行中的通过比例 | 最佳系统 76.90% | 六系统平均 47.85%；最弱系统 Qwen3.8-27B-FP8 仅 6.27% | 较全系统平均高 29.05 个百分点，凸显头部与长尾的巨大差距 |
| 仿真反馈与工具消融（10 个已掌握的跨域任务） | 总评分（三次运行均值） | Full MCP：78.46（CI [76.13, 80.93]） | No-Simulation MCP 7.88；Batch-only 18.23 | 分别下降 70.58（p=0.002）与 60.23 分（p=0.010）；10/10 与 8/10 任务变差 |
| 六维质量（Opus 通过 G 门的候选，post-G） | A/Q/M/C/R/D 维度均分 | Q=82.21 最高；M=65.25 次之 | R=60.73、D=58.65、C=58.92 为短板 | 输出质量与动态响应相差 23.6 分，暴露鲁棒性与恢复能力短板 |
| 高分模型布局可读性干预（8 个严重混乱模型） | 块重叠率 / 线交叉密度（每百段） | 重叠全部归零；交叉密度降 22.7–85.1%（如混动车型 309.9→70.1） | 干预前状态（工程分 70.40–84.22 但布局严重失序） | 仅移动方块与连线即可大幅改善，说明可读性与实现解耦、可低成本修复 |
局限与改进
作者承认的局限：基准绑定 MATLAB/Simulink 闭源商业生态，原生仿真评测速度慢，需要优化评估流水线的效率与可扩展性。我补充观察到的局限：(1) 规模仍小——101 个任务中控制与因果维度 C 仅 35 个任务适用，头部两系统的 95% CI 大幅重叠（Opus [37.03, 48.73] vs GPT-5.5 [35.29, 48.31]），对顶尖系统区分度不足；(2) 除 GPT-5.5 用原生 Codex 外，其余模型全部经由 Claude Code 运行，模型与 harness 的效应未完全解耦；(3) G 门是二元硬门槛——一旦资格失败六维全零，论文自己也发现存在“通过 G 门但总分 0 分”的候选，说明门槛与评分之间存在信息断层，且会掩盖接近合格的梯度信息；(4) 规范公开、场景隐藏的防泄漏设计在时间推移后仍可能被间接泄露或被模型策略性试探（作者审查了全部轨迹未发现，但这是持续性风险）；(5) 专家设定的权重与阈值虽经 κ/ρ 校验，但校验样本仅 30 个候选、两位专家，且参考系统自身均分 96.01 而非 100，暗示评分器对理想实现也有约 4 分的系统性折损；(6) 全文未报告 API 成本与仿真机时，无法进行成本效益比较。
独立分析的弱点
独立分析的弱点与改进方向：(1) 评测吞吐瓶颈——每任务-系统 3 次原生仿真代价高昂，限制任务规模与基准迭代速度；可引入门槛失败早停、并行仿真农场或可微代理模型预筛。(2) 头部拥挤——Opus 与 GPT-5.5 差 1.13 分无法区分，基准对前沿系统缺乏分辨率；可增设对抗性工况、更严苛的资格检查或更长时程任务。(3) 单一工具链——结论可能无法泛化到 Modelica、PSpice、LTspice 等其他仿真生态，值得做跨工具迁移验证以检验评测框架的普适性。(4) 布局质量不计入分数——8 个高分模型布局严重失序会妨碍人类工程师审阅与后续维护，论文已给出重叠/绕路/交叉三个量化指标，完全可将其纳入 Q 维度或独立诊断维度。(5) 缺乏过程性诊断——评测只看最终 .slx 工件，不分析智能体建模轨迹（如是否先验证子系统、如何利用仿真反馈迭代），轨迹级分析能给出更可操作的改进信号。(6) C 维度统计功效有限——仅 35 个任务适用，关于控制与因果完整性的结论应谨慎外推。
未来方向
作者提出的方向：优化评估流水线以提升效率与可扩展性。基于本文成果可延伸的方向：(1) 把“规范→建模→原生仿真验证→多工况反馈修正”的闭环训练成智能体核心技能，例如用仿真反馈做强化学习或拒绝采样微调（与文中引用的 SimuAgent 强化学习思路呼应）；(2) 自动布局优化可作为独立研究问题——论文的 8 组前后对照与三个布局指标已构成现成数据集与评价指标；(3) 将“门槛+多维评分”框架推广到其他可执行工程工件（CAD 装配、PCB、PLC 梯形图、Modelica）；(4) 每任务引入多个有效参考实现，进一步消除参考偏差并量化结构多样性的收益；(5) 成本感知评测：报告达到给定分数所需的 API 费用与仿真机时，响应 AI Agents That Matter 的呼吁；(6) 动态基准维护：定期更换/扩充场景与任务防止过拟合，持续跟踪新模型版本的能力演化；(7) 用 595 个场景构建课程式训练信号微调小型开源模型——Qwen3.8-27B 仅 1.60 分，开源小模型与闭源旗舰差距巨大，是最有提升空间的方向。
复现评估
开源情况良好：代码与数据在 GitHub（github.com/SimuVerity/SimuVerity）双仓库发布——基准仓库含全部 101 任务的工程规范与可执行系统画像、官方仿真场景、评估器与评分代码、参考资产或导入配方；结果仓库含六个系统的逐次运行分数表、工具消融数据及聚合与校验脚本。算力与环境：最大门槛是 MATLAB/Simulink R2025a 及各任务所需工具箱的商业许可，其次是六家模型 API 的费用（101 任务 × 3 次运行 × 6 系统）；智能体侧需部署 MATLAB MCP Server 并复现外网隔离、示例目录隐藏等环境设置。数据方面规范全部公开，复现现有任务的评分无需再请领域专家；但要为新任务构建画像与场景仍需领域人力。难度评估：复现主实验属中等偏难——工程搭建繁琐（许可、隔离、防泄漏）但文档与脚本完整；复现全部专家分析（结构关系分类、布局干预、双专家盲评）难度更高。论文的统计协议（3 次运行、任务级 bootstrap、Wilcoxon）描述明确，便于严格复现与检验。
论文图表
(a) 环形图展示 101 个任务在十个工程领域的分布（每域 9–11 题），外环线长表示各域平均分；(b) 六个智能体系统在 A/Q/M/C/R/D 六个维度上的雷达图与总分条形：Opus 4.8 得 42.86、GPT-5.5 得 41.72、DeepSeek-V4-Pro 28.40、Qwen3.8-Max 25.01、GLM-5.3-Flash 4.98、Qwen3.8-27B-FP8 1.60。
一图总览基准的构成与全部核心结果，最强系统仅 42.86 分这一主要结论直接来自该图的 (b) 部分。
双患者呼吸机系统（工程分 73.46）干预前后：重叠 0.952→0.000，绕路比 1.388→1.013，交叉 120.1→36.7。
生物医学域案例，同样显示高工程分伴随约 95% 块重叠率的严重失序。
三电平 NPC 逆变器（工程分 70.40）干预前后：重叠 0.971→0.000，绕路比 4.226→1.100，交叉 142.3→41.9，绕路比改善最显著。
电力电子域案例，绕路比从 4.23 降至 1.10 显示信号路径可追踪性的巨大提升空间。