InteractWeb-Bench：多模态智能体能否在交互式网站生成中摆脱盲执行陷阱？ InteractWeb-Bench: Can Multimodal Agent Escape Blind Execution in Interactive Website Generation?
首个评估多模态智能体处理模糊用户指令的交互式网站生成基准
前置知识
多模态大语言模型（MLLM）
能同时处理文本、图像、音频等多种模态输入的大语言模型，本文作为被评测的智能体核心，能基于文本指令和视觉渲染结果生成网页代码。
理解 MLLM 是读懂本文的基础，因为 InteractWeb-Bench 评估的核心对象就是不同规模、不同家族的 MLLM 作为网站生成智能体的表现差异。
软件需求工程（RE）缺陷分类
需求工程领域将用户需求缺陷分为不完整、矛盾、歧义、低信噪比等类别，本文据此形式化出 P-MIN、P-RAM、P-INT、P-CON 四类用户人格。
RE 缺陷分类是论文用户人格设计的理论根基，理解其分类逻辑才能体会为什么这四类人格能系统性覆盖真实非专家用户的表达缺陷。
Grice 会话四准则
语言学家 Grice 提出的会话合作原则，含量（信息量）、关系（相关性）、方式（清晰度）、质量（真实性）四准则，本文用其映射人格违反的合作原则。
论文借 Grice 准则为每种用户人格的'违规模式'提供语言学锚点，是理解盲执行现象为何普遍存在的关键理论工具。
WebVoyager + Set-of-Mark（SoM）视觉评估
WebVoyager 是基于 LLM 的浏览器视觉评估框架，Set-of-Mark 在截图上标注可交互元素的编号 ID，让模型能精确引用并操作 UI 组件，本文结合两者做约束槽位审计。
理解这一评估机制是看懂 TCR 计算流程的前提，它将原本主观的视觉判断转化为可量化的槽位通过率。
智能体动作空间（Action Space）
在 ReAct 范式下，智能体每步从预定义动作集合中选取一项执行。本文动作空间为 Clarify、Implement、Verify、Submit 四元组，决定智能体在交互中的行为模式。
该动作空间是 InteractWeb-Bench 与传统静态生成基准的核心区别，理解其设计才能体会'盲执行'与'意图对齐'在行为层面的具体差异。
研究动机
当前网站生成基准（如 Design2Code、Web2Code、WebGen-Bench）依赖标准化、信息丰富的指令，假设用户初始查询完全捕获了他们的偏好。然而真实场景中，非专家用户因编程知识缺乏而给出高度模糊、碎片化的指令，甚至包含相互冲突的需求。面对这种低质量、高方差的输入，现有智能体普遍陷入盲执行陷阱——被动接受有缺陷的查询，缺乏推断用户真实意图的能力，也无法主动发起澄清请求以弥合信息鸿沟，最终导致任务失败率升高、UI 渲染异常和功能幻觉频发。论文数据显示即便是最佳模型 Qwen3.6-Plus 在该基准下也仅取得 38.78% 的任务完成率，证明这一瓶颈的真实严重性。
本文的目标是本文提出 InteractWeb-Bench，这是首个面向非专家低代码用户的交互式网站生成基准。目标在于系统评估多模态智能体能否通过动态意图识别和与用户的多轮交互来摆脱盲执行。具体包含三个目标：(1) 把真实非专家用户的表达缺陷形式化为四类可复现的人格变异算子 $O_p$；(2) 设计统一的多路径动作空间 $A = \{a_{\text{clarify}}, a_{\text{implement}}, a_{\text{verify}}, a_{\text{submit}}\}$，让智能体在文本澄清、代码合成与 GUI 视觉验证之间自主切换；(3) 引入约束槽位级评估机制，量化任务完成率与幻觉率。
与已有工作不同的是，现有工作如 ClarifyCoder、HumanEvalComm、ClarifyMT-Bench 等虽关注意图澄清，但局限于纯文本对话；WebGen-Bench、Persona2Web 等网站生成基准要么假设指令完备、要么仅让智能体被动推断浏览历史而无法主动沟通；SWE-agent、OpenHands 等执行环境虽支持多轮调试，但仅关注通过预定义的功能测试，忽视了人机协同过程。本文的独特切入角度在于：首次将'用户模拟 + 多模态交互验证 + 约束槽位评估'三者整合到网站生成任务中，迫使智能体必须在语言澄清、代码生成与 GUI 视觉检查之间自主切换，并用 RE 缺陷分类提供理论根基。
核心方法
整体思路是构建一个'用户—智能体'双向交互的仿真评测框架，将真实的非专家用户行为形式化为四类人格，并在受控环境中让被评估的智能体自由调度四种动作。技术路线上基于 bolt.diy 框架和 Playwright 浏览器内核部署智能体；用 DeepSeek-V3.2 模拟四类用户人格，采用两阶段检索与遏制管道防止用户意外泄露完整黄金指令；最终用 GPT-5-mini 驱动的 WebVoyager + Set-of-Mark 视觉评估器进行约束槽位级审计，输出 Task Completion Rate (TCR) 与 Hallucination Rate (HR)。整个框架形成从原始指令生成、人格变异、多轮交互到结构化评分的完整闭环。
核心创新在于提出'盲执行'这一失败模式的形式化定义，并设计了一套将需求工程缺陷分类映射到具体用户人格的算子 $I_{\text{mutated}} = O_p(I^*)$。与已有方法的本质区别在于三点：(1) 引入 GUI 视觉验证作为一等公民动作 $a_{\text{verify}}$，而非附属反馈，让智能体能基于真实渲染结果做语义对齐；(2) 用约束槽位 $S = \langle \text{Target\_Component}, \text{Expected\_Result}, \text{Assertion\_Type} \rangle$ 作为原子评估单元，并给出加权公式 $W_i = \frac{C_{\text{tech}}(G) \cdot (1 + 0.5(N_G - 1))}{N_G}$，既反映技术复杂度又防止简单约束主导评分；(3) 引入专属的反幻觉槽位，专门量化智能体'过度生成'问题。
方法步骤详情
流程分三步。第一步基于 101 个 WebGen-Bench 种子构建任务集，每任务分解为 7-12 个原子槽位（Target Component、Expected Result、Assertion Type），按 K-Means 聚类为 Easy/Middle/Hard 三档（簇中心 9.38/12.57/16.73），再经四个 $O_p$ 算子扩展为 404 个测试用例。第二步运行时交互：智能体每步从动作空间 $\{a_{\text{clarify}}, a_{\text{implement}}, a_{\text{verify}}, a_{\text{submit}}\}$ 选动作，轨迹上限 $T_{\text{total}} \in \{15, 20, 25\}$ 防死循环。第三步用 $\text{TCR} = \frac{\sum_{i \in S_{\text{pass}}} W_i}{\sum_{j \in S_{\text{total}}} W_j}$ 计算通过率，同时统计反幻觉槽位违反率 HR。
技术新颖性
技术新颖性体现在三个维度。评估范式上，从静态单轮生成转向'用户模拟 + 多轮交互 + 视觉验证'的闭环评测，突破现有基准的'单查询→单输出'模式。任务建模上，把 RE 缺陷分类（不完整、低信噪比、歧义、矛盾）和 Grice 会话准则（量、关系、方式、质量四准则）显式形式化为四个可微、可复现的变异算子，而非依赖人工众包注入噪声。评估指标上，约束槽位加权机制 $W_i$ 同时考虑技术复杂度 $C_{\text{tech}} \in \{1, 2, 3\}$（静态 CSS、基础 JS、复杂 API）和约束密度 $N_G$，比传统的'通过/失败'二元评分更能反映真实工程投入差异。此外 WebVoyager + SoM 的多步视觉审计也是首次系统地用于网站生成基准的自动化评估。
实验结果
核心发现共 6 条：(1) 所有模型 TCR 均不超过 38.78%（Qwen3.6-Plus 最佳），最低仅 24.33%（Qwen3.5-9B），说明现有智能体在真实交互场景中远未实用；(2) Intent Alignment Score (IAS) 普遍 > 3.90 但 Clarification Hit Rate (CHR) 均 < 40%，印证盲执行——模型能粗略理解意图却几乎不主动澄清；(3) 模型倾向用代码规模补偿信息缺失，Kimi-K2.5 平均 1942.3 行、HR 高达 64.1%，Qwen3.6-Plus 达 1415.7 行、HR 62.4%；(4) GUI 验证差异显著（VCI 0.35-1.51）但未转化为 TCR 提升，视觉反馈未被有效利用；(5) 对 P-MIN 缺失型人格敏感（最低 15.78%），对 P-RAM 噪声型较鲁棒（最高 53.66%），模型对'信息缺失'远比'噪声冗余'更不适应；(6) Kimi-K2.5 视觉美学最高（创意对齐 3.86），所有模型布局层面达天花板但仍有细微缺陷，VBR 普遍 5-13%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 交互式网站生成（全部 404 测试用例） | Task Completion Rate (TCR) | 38.78%（Qwen3.6-Plus，最佳） | 无传统静态基准直接可比，本文自建首个交互式基准 | 本文提出的基准在指标设计上比 WebGen-Bench 的 TCR 更细化，加入了反幻觉槽位和加权机制 |
| Easy 难度档任务 | TCR | 44.70%（Kimi-K2.5） | WebGen-Bench 静态评估约 60% 左右（不同模型） | 即使是简单任务，在交互条件下也下降约 15-20 个百分点，证明盲执行的普遍性 |
| Hard 难度档任务 | TCR | 38.46%（Qwen3.6-Plus） | 静态基准下 Hard 档通常在 40-50% | 复杂任务在交互条件下进一步退化，且不同模型差异显著（22.29%-38.46%） |
| P-MIN 缺失型人格任务 | TCR | 26.54%（Qwen3.6-Plus） | 对应 P-RAM 冗长型人格下的 53.66%（同一模型） | 相同模型在缺失型人格下 TCR 下降近一半，揭示模型对'信息缺失'极其敏感 |
| Hallucination Rate（HR）控制 | HR | 23.5%（GPT-4.1-mini，最低） | 最强生成型模型 Kimi-K2.5 达 64.1% | GPT 系列在抑制幻觉方面明显优于 Qwen 系列，但代价是 TCR 较低（29.39% vs 38.26%） |
| Intent Alignment Score (IAS) | IAS（1-5 量表） | 3.93-4.00 区间（GPT-5-mini 评判） | Clarification Hit Rate (CHR) 仅 22.5%-37.5% | IAS 与 CHR 的显著落差证明模型能'理解'意图却'不澄清'，这是盲执行的核心证据 |
局限与改进
作者承认的局限：(1) 当前基准仅基于 WebGen-Bench 101 个种子网站，规模 404 仍偏小，难以覆盖长尾场景；(2) 用户人格仅覆盖四种典型 RE 缺陷，未纳入文化差异、专业领域差异等维度；(3) 视觉评估依赖 GPT-5-mini 作为评判器，与人类专家的 Kendall $\tau$ 仅 0.4490，存在评估噪声。我自己的额外观察：(4) 评估框架本身把'主动澄清'作为正反馈，但 Clarify 动作有固定步数限制，可能压低探索型模型的真实表现；(5) 反幻觉槽位仅统计'未请求元素'，未区分功能性幻觉（如错误 API 调用）与装饰性幻觉，影响 HR 的诊断价值；(6) P-CON 矛盾人格中'用户最终让步'的设定简化了真实冲突管理过程，缺少持续冲突与多方利益的评测维度。
独立分析的弱点
独立分析的弱点：(1) 用户模拟的真实性不足：DeepSeek-V3.2 模拟的四类人格是'风格化'的，离真实非专家用户仍有差距，建议引入真实用户日志数据进行保真度验证；(2) 评估的解耦问题：WebVoyager 视觉评估与智能体执行分离，无法在线反馈智能体的中间状态，可能漏评'实现过程正确但最终提交有偏差'的情形；(3) TCR 公式对权重设计敏感：$W_i$ 中 $C_{\text{tech}}$ 的取值（1/2/3）与 $N_G$ 的衰减系数 0.5 都带有较强人为设定，缺少消融；(4) 缺少跨任务泛化性测试：智能体可在特定 101 任务上过拟合策略，应设计 hold-out 子集做泛化检验；(5) 缺少多语言/多文化指令评测，目前所有指令均为英文。改进方向：引入真实用户众包平台验证人格模拟保真度；将评估器嵌入执行环境做过程级反馈；做权重敏感性分析；扩展跨文化指令集。
未来方向
作者提出的方向：(1) 让智能体从'被动指令执行者'进化为'意图对齐的协作者'，强化动态意图识别能力；(2) 在多模态层面提升基于视觉反馈的假设修正能力。基于成果可延伸的方向：(3) 将 InteractWeb-Bench 的'用户模拟 + 动作空间 + 槽位评估'三件套范式推广到其他软件工程任务（如 App 后端生成、数据分析流水线、UI/UX 设计）；(4) 探索人格条件下的微调，使智能体具备'动态人格适配'能力，能识别用户类型并切换响应策略；(5) 引入长期记忆与个性化建模，让智能体能跨会话学习用户偏好；(6) 将盲执行形式化为可优化的损失项，在 RLHF 阶段引入'主动澄清奖励'信号；(7) 探索 GUI 视觉验证的多模态监督信号如何反哺代码生成模型的预训练。
复现评估
复现评估：论文基于 bolt.diy（Stackblitz Labs 2024 开源框架）和 Playwright（开源浏览器自动化）实现智能体执行环境，基础设施搭建成本相对较低。DeepSeek-V3.2 用于用户模拟（API 可访问，需付费），WebVoyager + SoM 的视觉评估器基于 GPT-5-mini（需付费 API）。数据集方面，101 个种子任务源自 WebGen-Bench（已开源），但具体的约束槽位标注、四个 $O_p$ 变异算子的实现细节、用户人格的 prompt 模板、评估器 prompt 等均需参考附录或联系作者获取。整体复现难度中等——基础设施成熟，但完整跑完 404 个测试用例需要调用大规模 MLLM（如 Qwen3.6-Plus、Kimi-K2.5 等）的 API，评测成本较高。论文未在正文明确承诺发布完整代码与数据，仅提到附录有部分细节，复现的工程量仍然可观。
论文图表
