Macaron-A2UI：面向个人助理的生成式 UI 模型

让模型在学到的协议下原生产出自然语言+可执行 UI 动作，零长 prompt 超越长 schema 提示基线。

前置知识

A2UI 声明式 UI 协议

A2UI（Agent-to-UI）是一种 JSON 结构化的 UI 描述协议，包含四类消息：beginRendering 声明新 surface、surfaceUpdate 更新组件树、dataModelUpdate 写入响应式数据模型、deleteSurface 删除 surface。客户端基于可信组件目录渲染而非执行任意代码，使 UI 生成更安全、可移植、可自动校验。

Macaron-A2UI 的核心创新就是把 UI 生成从'生成 HTML/JS 代码'转变为'生成 A2UI 消息流'，所有数据构造、渲染、评测都围绕 A2UI v0.8 这个固定协议展开；不理解 A2UI 协议就无法理解论文的问题形式化。

LoRA（Low-Rank Adaptation）

LoRA 在冻结原模型权重的基础上，注入可训练的低秩矩阵（rank=16）来近似权重更新，显著减少可训练参数和显存占用，使 30B/235B 模型能在受限算力下微调。论文 SFT 和 GRPO 两阶段都使用 LoRA。

论文在 30B/235B 甚至 754B 量级的模型上做 SFT+RL，全部依赖 LoRA 来实现参数高效训练；这是其'轻量 prompt 推理'得以实现的算力前提。

GRPO（Group Relative Policy Optimization）

GRPO 是 DeepSeek-Math 提出的强化学习算法，对每个 prompt 采样 G 个候选响应，在组内做中心化得到 advantage $A_{i,j} = R_{i,j} - \frac{1}{G}\sum_k R_{i,k}$，再把这个 advantage 赋给响应所有 token，无需单独训练 critic 网络。

论文用 GRPO 取代经典 PPO 来针对可执行 UI 质量做奖励优化，这是其超越纯 SFT 的关键；论文 Figure 6 的奖励曲线直接验证了 GRPO 的有效性。

任务型对话（Task-Oriented Dialogue）与情感支持对话

任务型对话（MultiWOZ、SGD）关注订餐、订票等结构化信息收集与确认；情感支持对话（ESConv）和动机式访谈（AnnoMI）关注同理心、自我披露、反思支持等开放式交流。两类对话的 UI 触发逻辑截然不同：前者倾向 80% 高 UI 率，后者倾向 50% 平衡 UI 率。

论文的语料平衡覆盖这两类对话，说明 UI 触发决策不是一刀切；理解这种差异才能读懂 L2 'trigger appropriateness' 这一评测维度的意义。

研究动机

随着个人助理承担越来越复杂、用户中心化的任务，静态的纯文本对话正成为瓶颈。许多真实场景（订餐时收集菜系/预算/人数/步行距离/营业时间等 5 个以上约束，组织多个目标，确认决策）需要结构化交互；如果让用户一次次自由文本回复，文本冗长、认知负担高、出错率高（例如 Figure 1 左侧示例经过 6 轮才收集齐一个订餐需求）。现有 LLM 虽能生成结构化输出，但个人代理场景下的'生成式 UI'仍被当作代码生成或网页合成的子问题，缺乏统一的形式化定义和大规模监督数据。论文具体指出三个缺口：（1）缺少 UI-grounded 多轮对话监督；（2）缺少能把协议有效性、任务质量、视觉质量分开的评测基准；（3）没有证据表明模型能在'不依赖长 schema 提示'的前提下内化这一能力——而长 schema 提示在生产环境既贵又脆弱。

本文的目标是论文目标是把'生成式 UI'作为一个完整的学习问题来研究，使得给定系统指令、对话历史和当前用户消息，模型能输出一个统一响应，同时包含自然语言和一份按 A2UI 协议编码的可执行 UI 动作序列。为支撑这一目标，论文做了三件事：（1）从多领域对话数据构造超过 14,000 条 A2UI-grounded 训练样本；（2）建立 A2UI-Bench 评测基准，把协议正确性、任务构造质量、视觉体验分离评估；（3）设计一套参数高效的两阶段训练流程（LoRA SFT + GRPO），使模型在'极简 prompt'推理时不需要长 schema 也能生成合规 UI。

与已有工作不同的是，已有相关工作各有局限：'Generative UI' 早期工作（Leviathan 等 2025、Chen 等 2025）偏网页/HTML/代码合成，缺乏协议约束；AlignUI（Liu 等 2026）侧重用户偏好整合，不是协议级学习；WorldGUI、GUI-Actor、OS-Genesis 等 GUI 代理关注'在已有界面上操作'，而非'助理侧生成 UI'；TaskCraft、GUI-360、Log2Plan 等讨论 agent 任务合成，但都未覆盖个人助理场景下声明式协议驱动的 UI 生成。Macaron-A2UI 的独特切入角度是：把 A2UI 这个固定声明式协议作为形式化骨架，在固定协议下做 turn-level UI 生成，并用 SFT+GRPO 让模型把协议内化，去掉推理时对长 schema 提示的依赖。

核心方法

论文整体思路分四步推进。直觉上，模型应该像'会说话的设计师'：先听用户说什么，再用一句话回应加上一张能立刻填、能点击、能确认的卡片；技术上，论文把这件直觉任务形式化为'给定 (system, history, user) → 输出 (text + A2UI message list)'。第一步，把四个异构对话数据集（MultiWOZ 2.2、SGD、ESConv、AnnoMI）的对话通过 hybrid rule-and-LLM 管线转换为 A2UI-grounded 训练语料；第二步，引入四阶段 lint 校验（JSON 解析、结构、绑定、语义），把渲染失败率压到 0.8% 以下；第三步，构建 A2UI-Bench（300 题，atomic/depth/width 三类）做受控评测；第四步，用 LoRA SFT 把模型从原通用 LLM（Qwen3-30B/235B、GLM-5.1）适配到 A2UI 模式，再用 GRPO 在可执行 UI 奖励下进一步精修。技术路线是：固定协议 → 数据工程 → 评测基建 → 两阶段参数高效训练，目标是实现 schema-light 推理下的协议内化。

核心创新有两点。其一是把'协议有效性、交互构造质量、用户体验质量'三个维度显式分开，分别由确定性校验器、LLM judge、VLM judge 三类评分主体独立打分，再聚合成 L1/L2/L3 与 V1/V2/V3 评估体系；这避免了'协议错误/交互问题/视觉缺陷'彼此掩盖。其二是两阶段训练中的奖励设计：GRPO 奖励 $R = \mathbb{1}[\text{pass}] \cdot (\lambda_1 S_{L1} + \lambda_2 S_{L2} + \lambda_3 S_{L3})$ 把协议门槛作为硬约束（malformed JSON、render 错误直接 0 分），用通过门控后的加权求和作为软目标，让模型先学会合规、再追求质量。和已有方法相比，本质区别不在新的 RL 算法，而在'协议严格 + 极简 prompt 推理'这一目标导向：用同一份训练数据可以让所有模型在 w/o schema 评分下依然超过 w/ schema 评分最强的前沿模型。

方法步骤详情

训练管线分 SFT 和 GRPO 两个阶段。SFT 阶段：把样本组织为 (prompt, response) 聊天对，目标响应严格遵循 JSON schema $\{\text{text\_response}: \ldots, \text{a2ui}: [\ldots]\}$；训练时把整段对话拼成一个序列，仅对最后一个助手回合计算标准自回归负对数似然损失 $\mathcal{L}_{\text{SFT}} = -\sum_{t=1}^{T} \log p_\theta(y_t | x, y_{<t})$，LoRA rank=16、batch=32、lr=$1\times 10^{-4}$、1 epoch，让模型把'同时生成流畅自然语言和协议合规 UI'内化为基本能力。GRPO 阶段：对每个 prompt 采样 $G=8$ 个候选响应，用协议门槛 + 加权 sum 作为奖励，组内中心化得到 advantage $A_{i,j} = R_{i,j} - \frac{1}{G}\sum_k R_{i,k}$，再把 advantage 赋给响应所有 token，损失为 $\mathcal{L}_{\text{GRPO}} = -\sum_i \sum_{j=1}^{G} \sum_{t=1}^{|y_{i,j}|} A_{i,j} \log p_\theta(y_{i,j,t} | x_i, y_{i,j,<t})$；lr=$3\times 10^{-5}$，50 步，judge 用 GPT-5.1，并发 32，奖励权重 $\lambda_1=0.2$、$\lambda_2=0.4$、$\lambda_3=0.4$。语料方面：先合并同说话人相邻话语做对话归一化，再用统一中间表征把意图/对话行为映射到 A2UI 组件族（分类选项→SelectionList、数值→TickSlider、布尔→选择类、时间→DateTimeInput 等）；task-oriented 数据走确定性 state-machine，open-domain 数据走 Editor(全局规划)+ Author(局部内容) 的两阶段 LLM 标注；最后做确定性后处理 + 最多 3 次错误反馈重试。

技术新颖性

技术新颖性体现在三个层面。第一，在生成式 UI 领域首次提出'固定声明式协议下的 turn-level UI 生成'这一形式化，把它和 HTML/代码合成、GUI 操作代理区分开；这一点在论文 3 节的图表面化和算法描述中都已明确。第二，构造了 14,245 条多领域 A2UI-grounded 训练样本和 300 题 A2UI-Bench（含 atomic/depth/width 三类、含 negative no_ui_chat 类），并把 L1 协议校验、L2 任务构造、 L3 用户体验、V1-V3 视觉四层评估架构化，这是当前公开文献中第一套把协议/任务/视觉完全分离的多层评测系统。第三，训练上提出'两阶段参数高效配方'：LoRA SFT 提供 text-UI 联合生成的稳定性，GRPO 在可执行 UI 奖励下追求更高维度交互质量；Figure 6 的奖励曲线显示 L1 reward 涨得最早最快（结构性奖励信号最稳定），L2/L3 在 L1 稳定后才能进一步抬升，这一现象在 235B 模型上比 30B 更明显，揭示了'协议门槛 → 高层质量'的训练顺序规律。

**Figure 2**: Overview of the A2UI corpus construction pipeline.

**Figure 3**: Dataset statistics of the training corpus. (a) top-10 component frequencies, (b) response-level supervision archetypes.

实验结果

在 300 题 A2UI-Bench 上的主结果分两组评测：'w/ schema' 给完整 schema 作为上限参考，'w/o schema' 是论文主推的极简 prompt 评估。Base Qwen-30B 在 w/o schema 下总分仅 19.8，L1 仅 0.90；经过 SFT 后总分跳到 37.2（L1=1.62, L2=1.58），表明 SFT 把协议基础能力快速立起来；再加 GRPO 后总分 58.8（L1=4.11, L2=4.22, L3=4.26）。Qwen-235B 表现更强：base 21.6 → SFT 63.6 → SFT+RL 74.2。最佳模型 Macaron-A2UI-Venti（GLM-5.1 + SFT + RL，754B 规模）总分 75.6。对比 w/ schema 前沿基线（GPT-5.4 = 74.1，Gemini-3.1-Pro = 71.0，DeepSeek-V3.1 = 63.8，Qwen3-235B = 3.20），Macaron-A2UI-Grande（74.2）已略胜 GPT-5.4，Venti（75.6）继续拉开。Figure 5 的细分显示 Macaron-A2UI-235B 在 atomic（4.38）和 width（3.96）任务上最强，在 depth（3.14）上略逊于 GPT-5.4（3.34）；四个数据集（MultiWOZ/SGD/ESConv/AnnoMI）上的得分集中于 3.82-3.84 之间，证明跨域鲁棒。另一组观察是 w/o schema 设定下未调优前沿模型全部弱势：GPT-4o-mini 25.5、DeepSeek-V3.1 21.9、GPT-5.4 23.9，说明仅靠极简 prompt 不能让通用模型稳定掌握 A2UI，必须经过训练内化。Figure 6 的奖励曲线说明 GRPO 学到的顺序：L1 先快速上升（结构性信号稳定），L2/L3 在 L1 稳定后渐进抬升；235B 的 L2/L3 都能持续上涨，30B 的 L3 曲线明显更平，说明规模影响高层质量优化效率。

**Table 1**: Corpus composition by source.

**Table 2**: Full-schema prompted baselines and our schema-light model references.

**Table 3**: A2UI component catalog used in our evaluation.

**Table 4**: Main model-agnostic hyperparameters used in SFT and GRPO.

**Figure 4**: Training-pipeline ablation under the w/o schema prompt regime and comparison to full-prompt upper bounds.

**Figure 5**: Per-dataset and per-task breakdown of model performance on A2UI-Bench.

**Figure 6**: Reward trajectories during GRPO training.

**Figure 7-10**: Qualitative case examples spanning motivational interviewing (Fig. 7), childcare planning (Fig. 8), supportive counseling (Fig. 9), and final booking confirmation (Fig. 10).

查看结构化数据

任务	指标	本文	基线	提升
A2UI-Bench atomic（单轮单意图）	Overall Avg（L1+L2+L3+V 平均）	3.83（Macaron-A2UI-235B）	3.75（GPT-5.4 w/schema）；3.37（Qwen3-235B base）	比最强 w/schema 前沿模型 +0.08；相对 base +0.46
A2UI-Bench width（单轮多意图合成）	Overall Avg	3.96（Macaron-A2UI-235B）	GPT-5.4 / Gemini-3.1-Pro 略低	本模型最强，证明跨意图结构组织能力优于前沿模型
A2UI-Bench depth（多轮一致性）	Overall Avg	3.14（Macaron-A2UI-235B）	3.34（GPT-5.4 w/schema）	落后 GPT-5.4 约 0.20，反映多回合状态管理仍有提升空间
A2UI-Bench L1 协议合规（满分 5）	L1 score	4.67（Grande，w/o schema）	4.02（GPT-5.4 w/schema）；4.25（Gemini-3.1-Pro w/schema）	比最强 w/schema 基线 +0.42，证明 SFT+GRPO 真正把协议内化
A2UI-Bench L3 用户体验（满分 5）	L3 score	3.28（Venti，w/o schema）	3.27（GPT-5.4 w/schema）	极简 prompt 下基本追平 GPT-5.4 full-prompt 用户体验评分
Overall score（含 L1/L2/L3 聚合）	Overall composite	75.6（Venti，w/o schema）	74.1（GPT-5.4 w/schema）；71.0（Gemini-3.1-Pro w/schema）；63.8（DeepSeek-V3.1 w/schema）	比最强 w/schema 前沿模型 +1.5，相对未调优模型普遍 +50 以上

局限与改进

作者在结论部分坦承四个局限：（1）A2UI 协议本身仍在演化，当前仅 v0.8 稳定版可用，未来协议升级意味着数据/评测/训练都需要更新；（2）模型能力在复杂多轮交互（depth 任务）和高层用户体验（L3 reward）上仍吃力，Figure 6 显示 30B L3 reward 几乎不抬升；（3）实时性是工程瓶颈——生成、校验、渲染结构化 UI 会引入额外延迟，对话延迟敏感场景需要更多 token-efficient 解法；（4）目前依赖 GPT-5.1 作 judge 做 GRPO 训练，依赖外部强模型，存在成本与训练稳定性风险。我自己的补充观察：评测依赖 LLM/VLM judge，存在评测漂移风险；A2UI-Bench 只 300 题，统计显著性边界偏紧；视觉渲染 pipeline 用 Flutter Web + Playwright，仅保证 Chromium 一类环境下的渲染保真度，跨平台 client 一致性未做验证。

独立分析的弱点

可独立分析的弱点有四个。弱 1：多回合状态管理（depth）落后 GPT-5.4 0.2 分，原因可能是数据里 SGD 采取单回合采样导致多回合状态演化的覆盖不足；改进方向是引入 Log2Plan/TaskCraft 风格的轨迹式数据，让一个 dialogue 多回合共享 surfaceId+dataModelUpdate 形成可学习的 state evolution。弱 2：30B 的 L3 reward 几乎不抬升（图 6d），说明小模型对'何时不用 UI''信息量与认知负荷'这类隐性信号建模不足；改进方向是在 reward 里加更显式的 no_ui_chat 偏好和 per-turn 信息密度惩罚。弱 3：依赖长 A2UI JSON schema 输出，token 效率低，延迟敏感场景成本高；可探索 streaming 输出 + 增量渲染、或 token-efficient 的对话式 UI schema。弱 4：评测依赖 LLM/VLM judge 存在评分漂移，GRPO 训练中 judge 模型同时承担监督角色，会导致 reward hacking 风险；可借鉴 Constitutional AI 思路引入多个异质 judge 取平均，或对关键维度替换为规则化打分。

未来方向

作者明确提出的方向是：继续探索更通用、灵活、token-efficient 的生成式 UI 系统，包括协议升级（v0.9+）下的迁移、多模态与语音交互融合。基于本文成果可合理延伸的方向有：（1）把数据构造管线拓展到 GUI 截图→A2UI 反向合成，让模型能从设计稿学习协议；（2）把两阶段训练范式推广到其他声明式协议（如 OpenAI Apps SDK、Anthropic Computer Use 类似的 JSON action schema），验证协议内化这一现象是否普遍；（3）把 A2UI-Bench 与现有 GUI Agent 基准（如 WorldGUI、OS-Genesis）合并，评测双向能力（生成 UI + 操作 UI）；（4）研究 streaming 模式下增量 A2UI 生成，把 surfaceUpdate 的增量 diff 用到 streaming UI 渲染，做到首 token 即可视觉渲染。

复现评估

复现评估整体良好但仍有不确定性。代码与基准完全开源：模型集合在 huggingface.co/collections/mindlab-research/macaron-a2ui，benchmark 在 github.com/MindLab-Research/Macaron-A2UI-Bench；评测管线包含 Flutter Web renderer、VLM judge protocol、Playwright 截图脚本，全部公开。数据侧，全部 14,245 训练样本由四个公开数据集（MultiWOZ 2.2、SGD、ESConv、AnnoMI）经过确定性 pipeline 生成，论文给出 lint 通过率（首次 91.3%、重试后 99.2%）和字段级统计，但原始中间产物未单独打包，给第三方精确复现带来一定门槛。算力方面，三个模型（30B/235B/754B）都依赖 LoRA SFT+GRPO，单卡/多卡具体配置未给出，作者仅交代 rank=16、batch=32 等关键超参；超参表 Table 4 提供了 SFT 和 GRPO 的完整可复现设置。复现难度中等偏低（基于 Qwen 公开模型+开源 pipeline），但 754B 模型的算力门槛、对 GPT-5.1 judge 的依赖会让中小团队难以在 GRPO 阶段完全对齐；建议先复现 30B 模型作为基线。

Macaron-A2UI：面向个人助理的生成式 UI 模型 Macaron-A2UI: A Model for Generative UI in Personal Agents