词与权重：通过协同适配简化多轮交互 Words & Weights: Streamlining Multi-Turn Interactions via Co-Adaptation

ROSA2 的完整算法流程（Algorithm 1）按轮迭代，每轮包含两阶段共 6 个具体步骤。第一阶段（生成与评估）：步骤 1 将当前 LoRA 适配器参数 $\theta_t$ 加到冻结的基座权重 $\theta_{base}$ 上形成有效参数 $\theta$；步骤 2 用当前策略 $\pi_\theta$ 在历史 $H_{t-1}$ 条件下采样响应 $\hat{y}_t \sim \pi(\cdot | H_{t-1}, \theta)$；步骤 3 从环境获取二元奖励 $r_t \in \{+1, -1\}$ 以及原始用户反馈 $x_{t+1}$；步骤 4 若 $r_t = +1$ 或达到 $T_{max}$ 则直接返回 $\hat{y}_t$，否则进入阶段二。第二阶段（联合优化）：步骤 5A（语义流）调用 TextGrad 计算 $\hat{y}_t$ 的文本梯度，得到精炼查询 $x^*_{t+1} \leftarrow x_{t+1} - \nabla_{text}\mathcal{L}(\hat{y}_t)$，即使没有显式反馈也会基于失败信号自动合成纠错指令；步骤 5B（参数流）利用 $r_t$ 与当前策略 $\pi_\theta$ 通过奖励加权回归构造目标分布 $\pi^*_t(y|H_{t-1}) \propto \pi_{t-1}(y|H_{t-1}) \exp(r(y)/\beta)$，然后用 ROSA 的闭式最小二乘解 $(J^TJ)\Delta\theta = J^T R(x)$ 算出 $\Delta\theta_t$，更新 $\theta_{t+1} = \theta_t - \nabla_\theta \mathcal{L}(\theta|r_t, \pi^*, \pi_\theta)$。步骤 6 将 $\{\hat{y}_t, x^*_{t+1}\}$ 追加到历史 $H_t$，轮次加一并回到步骤 1。所有步骤的输入均为历史 $H_{t-1}$ 与当前适配器 $\theta_t$，输出均为更新后的状态 $(\theta_{t+1}, x^*_{t+1}, H_t)$，总计算开销仅为一轮前向 + 两次反向（语义和参数）以及一次最小二乘求解。

技术新颖性体现在三个层面。第一，**问题形式化的统一性**：现有 T2PAM 文献要么只看 Words（TextGrad、Feedback Descent），要么只看 Weights（ROSA、TTRL），本文首次把 T2PAM 写成一个关于异构变量的联合优化目标，并通过 Forward KL + RWR 把两类变量纳入同一目标函数，从而导出统一的全微分方程 (Eq. 8)。第二，**理论深度**：作者给出两个非平凡定理——定理 4.1 证明语义精炼后的参数更新范数严格小于精炼前（参数位移收缩），定理 4.2 把 T 轮总 KL 散度差分解为"初始误差 - 累积改进 + 累积近似误差"，并证明在 $L$-Lipschitz 平滑假设下近似误差项被 $\sum_t \frac{L}{2}(\|\Delta x_t\|^2 + \|\Delta\theta_t\|^2)$ 严格界定，这是对 ROSA 原定理 4 的实质性扩展。第三，**错误归因机制**：即便没有用户反馈，语义流也能基于失败响应自动合成纠错查询，这相当于在传统 RL 稀疏奖励场景下提供了"自反馈"通道，使框架在 OSWorld、AndroidWorld 等稀疏奖励环境中仍能稳定收敛。

独立审视 ROSA2 可以识别若干尚未充分解决的弱点。**第一，错误归因仍然依赖二元奖励**：在 $r_t = -1$ 时，ROSAA2 假定"回答错就启动联合优化"，但现实对话中失败原因可能是多模态的（事实性错误、风格不合规、语气生硬等），统一使用同一套文本梯度+参数更新可能无法精准定位问题类型；改进方向是引入多维奖励分解（事实性、相关性、风格）并分别构造对应的语义梯度。**第二，Textual Stream 的可控性不足**：TextGrad 通过自然语言生成精炼查询，但其过程是黑箱的，难以保证精炼后查询的语义保真度，可能出现"过度改写"反而引入新歧义；改进方向是引入约束解码或基于嵌入相似度的语义保真度正则项 $\|\phi(x^*) - \phi(x)\| < \epsilon$。**第三，参数流只更新 LoRA 适配器**：对需要更深层能力跃迁的任务（如从未见过的推理模式），低秩更新的表达能力有限；改进方向是引入基于重要性分数的动态秩选择或稀疏差分更新。**第四，理论分析依赖近似假设**：定理 4.1 假设线性化参数更新 $(J^TJ)\Delta\theta = J^T R(x)$，但真实 LLM 的策略梯度高度非线性，闭式解与真实更新之间存在差距；改进方向是引入二阶近似的信赖域方法。**第五，未考虑多模态扩展**：当前仅在文本交互下定义 T2PAM，未涵盖图像、音频等多模态反馈，限制了其在 GUI Agent 场景中的扩展性；改进方向是把 Words 推广到多模态 token 序列并相应调整 KL 散度的支撑集。

作者在论文末段并未明确列出未来工作，但结合结果可自然延伸出多个方向。**第一，跨任务迁移**：当前每轮 LoRA 从零初始化 $\theta_1 \leftarrow 0$，能否在相似任务间复用已学到的适配器以加速冷启动？可探索基于任务嵌入的元学习初始化。**第二，奖励模型协同进化**：当前 $r_t$ 由规则或固定 RM 提供，未来可让语义流本身充当元 RM，即利用 LLM 的内在评判能力减少对外部 RM 的依赖。**第三，可信度与可解释性**：Textual Stream 生成的纠错指令可作为可解释性窗口，未来可结合归因分析工具揭示失败根因，进一步用于模型审计。**第四，更复杂的多模态 Agent**：将 ROSA2 推广到 OSWorld 之外的多步 GUI 任务、长程网页交互等场景，测试其在大规模真实环境中的稳定性。**第五，安全与对齐**：测试时持续适配可能放大用户偏好注入风险，未来可探索如何在联合优化框架中加入安全性约束（如宪法 AI 风格的红队提示）以防止适配过程中的价值偏离。

**开源情况**：论文未在正文中给出官方代码仓库链接，但作者团队（Wei、Shu 等）在 ROSA 原论文 (Wei et al., 2025b) 中已开源相关实现，ROSA2 在很大程度上是 ROSA + TextGrad 的组合，理论上可基于 ROSA 仓库扩展。**数据**：所有使用的 7 个基准（MATH 7500/5000、AIME25 30 题、MATH-500 500 题、GPQA-diamond 198 题、MMLU-Redux 3000 题、SuperGPQA 26500 题、HumanEval 164 题、MT-AIME24、MT-MATH100、M-IMO、BigCodeBench-Hard、OSWorld、AndroidWorld）均为公开学术基准，可从原始仓库直接获取。**算力**：Table 4 显示峰值显存约 95 GB（推断使用单卡 H100 或 A100 80GB 配置），单卡 GPU 即可复现 Qwen3-8B 与 Qwen2.5-7B 实验；DeepSeek-R1-Distill-Llama-8B 同等规模。**复现难度**：中等偏高。算法本身清晰（Algorithm 1 仅 20 行），但需要同时接入 TextGrad 的 LLM-as-optimizer 接口和 ROSA 的 LoRA 微调流水线，且需配置 7 个基准各自的 ground-truth 抽取规则（数学 $\boxed{}$ 解析、HumanEval 的 unit test 执行、UI Agent 的状态匹配）；建议复现者按 Table 1 中模型从 Qwen2.5-0.5B 起步逐级验证，遵循控制变量先跑 Baseline 再加 TextGrad/ROSA 最后跑 ROSA2 的顺序。总体而言，由于所有组件均为公开工具且超参数（学习率、最大轮次 $T_{max}$、LoRA 秩）在附录中有据可查，本工作的可复现性评估为"较好"。