WebRISE：面向 MLLM 生成 Web 制品的需求诱导式状态评估 WebRISE: Requirement-Induced State Evaluation for MLLM-Generated Web Artifacts

整套流程包含四步契约构造加一个执行循环。Step 1（专家驱动的任务采集）：设计采集模板，规定目标领域、场景与期望的 Web 应用类型，由匿名行业从业者提供领域接地的任务素材（用户需求、代表性交互目标、任务相关数据假设），这些只作为原始任务源而非可执行规格。Step 2（需求归一化）：把素材归一为需求集 $R_\tau$，分为显式（搜索/筛选/排序/拖拽/导航）与隐式（状态同步、边界反馈、分页重置、加载反馈、陈旧状态清除）。Step 3（Test Data Contract 与 test items）：从 $R_\tau$ 推导最小功能就绪数据（初始数据、过滤器、导航入口、可加载内容），不约束布局/DOM 层级/样式/精确元素数；并推导描述"用户触发行为 + 期望语义结果"的 test items，而非 CSS 选择器或点击序列。Step 4（ICG 编译）：稳定配置→状态，用户行为→转移，期望结果→DOM 断言或视觉后置条件，并构造覆盖映射 $M_\tau$。执行阶段按 Algorithm 1 进行：加载页面 $H$，对每条转移 $t_j$ 先重放已验证轨迹恢复源状态 $s^{from}_j$（失败则记 SKIPPED），截图 $img_{pre}$ 并检查前置条件 $P_j$（失败记 FAIL），监控 DOM 事件并以预算 $K$ 运行 Agent 完成目标 $g_j$，等待 settle 延迟 $\Delta$ 后截图 $img_{post}$ 并冻结事件日志 $L$，分别用 $\text{SCORE}_{DOM}(A^{dom}_j, L)$ 和 $\text{SCORE}_{VISUAL}(A^{vis}_j, img_{pre}, img_{post})$ 打分，聚合为 $o_j \in \{PASS, FAIL, BLOCKED, SKIPPED\}$，只有 PASS 才更新回放缓存 $\Pi$。最后所有指标在任务级计算并宏平均：$\bar{q}(\theta,m) = \frac{1}{|D|}\sum_{\tau \in D} q(\theta,\tau,m)$。

技术新颖性可归纳为四点。第一，提出"需求诱导状态空间"的显式形式化——把任意 web 任务抽象成 $G_\tau = (S_\tau, T_\tau, \Phi_\tau, M_\tau)$，并用转移 $t_j = (s^{from}_j, s^{to}_j, g_j, P_j, A^{dom}_j, A^{vis}_j)$ 作为评测原子单元，这是对 FrontendBench 脚本断言、WebGen-Bench checkpoint、IWR-Bench 视频轨迹的统一超越。第二，用"自适应浏览器 Agent"替代预编译脚本：每一步把页面序列化为带索引的 DOM 观测（含可交互控件、状态字段、新出现元素、滚动上下文、可编辑文本），索引在每次动作后重新生成，因此执行依赖当前页面状态而非固定选择器；对分支型 ICG，源状态通过重放已验证轨迹恢复，从而把"不可达状态"与"可执行但违反契约"区分开。第三，DOM/视觉双通道预言机：$[CHANGE]$ 抓执行过程中的瞬态证据，$[AFTER]$ 抓最终稳定 DOM，VLM 裁判对比 pre/post 截图判最终用户可见结果，并完整记录 Agent trace、DOM log、截图、断言裁决以支持审计。第四，五类诊断指标 $S\%$（状态可达率 $|S^{reach}_\tau|/|S_\tau|\times100$）、$T\%$（转移正确率 $|T^{pass}_\tau|/|T_\tau|\times100$）、$R_e\%$、$R_i\%$、$R\%$（需求覆盖率 $C(\hat R)=\frac{1}{|\hat R|}\sum_{r\in\hat R}\text{sat}(r)\times100$），全部任务级宏平均，避免转移/断言多的任务主导总分；并通过缺陷注入做评测器自身的元评估。

独立审视后，WebRISE 有几处可改进的弱点。第一，契约覆盖受人工需求工程限制：每个 ICG 的状态/转移/断言都来自专家归一化后的需求集，难以保证"完整"——尤其隐式约束（如可访问性、键盘焦点顺序、加载失败的降级、断网重试）极易被遗漏，改进方向是引入"需求挖掘 Agent"自动从 GT 页面反向提取潜在状态转移，或用大模型对 test items 做对抗式扩充。第二，自适应 Agent 与被测页面耦合：执行预算 $K$、settle 延迟 $\Delta$、回放恢复策略都是超参，对动画繁重或异步密集的页面可能误判 SKIPPED/BLOCKED，改进方向是加入"页面就绪探测"（等 networkidle + 无 pending DOM mutation）并把 Agent 不确定性显式建模为置信区间。第三，VLM 裁判单点判决：视觉后置条件 $A^{vis}_j$ 依赖一个裁判模型对比 pre/post 截图，虽有 $\kappa=0.74$ 但仍有 prompt 敏感与版本漂移，改进方向是用多裁判集成 + 不确定样本人工抽审，或引入像素级差异 + 语义掩码的双层判据。第四，规模与多样性不足：442 任务主要集中在 Productivity Tools (23.76%) 与 Social Interaction (16.97%)，对可访问性、国际化（RTL 布局、多语言输入）、移动端手势、复杂表单校验等长尾覆盖薄弱，改进方向是按场景配额扩充并加入 locale-specific 契约模板。第五，仅评测前端不评后端契约：作者自己也指出可扩展方向，但当前无法区分"前端写对了但缺接口"与"前端状态机写错"，改进方向是把沙箱 API 契约、持久化数据夹具、会话级状态转移并入 ICG。

作者在 Limitations 里给出了明确的延伸方向：把 ICG 扩展到"沙箱 API 契约 + 持久化数据夹具 + 会话级状态转移"，从而评测接近真实部署的全栈制品；并通过扩充契约模板、丰富缺陷套件、引入多评测 Agent 集成、对不确定样本选择性人工审计来扩大覆盖。基于这些成果我认为还可延伸四条研究线：（1）从评测走向训练——把 ICG 当作可微的奖励信号，用强化学习或拒绝采样让 MLLM 在生成时显式优化 $T\%$ 与 $R_i\%$，直接攻隐式状态约束这一瓶颈；（2）自动契约合成——研究如何从交互视频/真值页自动反推 ICG，降低对专家需求工程的依赖，使基准可低成本扩展到新领域；（3）评测 Agent 自身的形式化——把 Agent 的执行失败与页面失败分离，给出"Agent 行为可信区间"，避免 SKIPPED 污染排行榜；（4）可访问性与安全维度——当前安全鲁棒性仅 41.3% 且是辅助诊断，未来可把它升级为一级指标，并新增 WCAG 可访问性、XSS/CSRF 防护、键盘可达性等独立契约子图，让评测对齐真实工程标准。

复现评估从四方面看。数据与契约：论文公开项目主页 https://iigroup.github.io/WebRISE 并承诺发布全部 judge prompt、配置与每条断言裁决，便于独立重打分；任务、需求、状态、转移、断言规模（442/5271/5081/5495/12441）均有明确统计，并附人工一致性 $\kappa=0.74$、schema 检查、缺陷注入作为质量证据，契约本身可重现性较好。模型与算力：评测 14 个模型含 7 开源（Qwen3.5/3.6 系列、Kimi-K2.5/K2.6）与 7 私有（GPT-5.4/5.5、Claude Opus 4.6/4.7、Gemini-3 Flash/3.1 Pro、Qwen3.6-Plus），私有模型需付费 API、Gemini/Claude 版本会漂移，完整复现榜单需可控的模型快照；每个任务要跑 5495 条转移 × 5 模态 × 14 模型，并由 Playwright 驱动真实浏览器 + VLM 裁判，单任务涉及多次截图与 DOM 序列化，端到端跑完全集计算与 API 成本都不低。复现难度：技术栈涉及浏览器自动化、契约图构造、自适应 Agent、VLM 裁判四块，每块都有工程门槛；Agent 执行预算 $K$ 与 settle 延迟 $\Delta$ 等超参未给精确数值（在 Sec. B），需对照附录还原。综合看，中小团队可在公开主页配合下复现主要榜单（前提是拥有 14 个模型 API/权重与一定浏览器并发算力），但要精确复刻每个断言裁决与排名，受私有模型版本漂移影响较大，建议把分数读作稳定排序而非绝对数值。