HiSTEVE 1.0：面向开放世界游戏的人机接口 VLA 智能体 HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
能力感知 harness 编排分层 VLA，仅凭视觉与键鼠在 Minecraft 完成长视野任务
前置知识
VLA（Vision-Language-Action）模型
VLA 模型将视觉观察和语言指令直接映射为具身动作序列。它通常以预训练 VLM 为骨干（如 Qwen2.5-VL），把动作离散化为特殊 token，接在多模态输入之后用自回归 next-token prediction 生成，使动作预测与语言建模共享同一训练目标。训练方式包括模仿学习（从人类演示轨迹学策略）和强化学习（用环境奖励做后训练）。代表作有 VPT、RT-2、OpenVLA 等。本文的底层控制器就是从 Qwen2.5-VL-7B 初始化、以 20 Hz 频率输出 Minecraft 原生键盘鼠标动作的单一 VLA。
本文的核心设计是'单个 VLA 执行所有子任务'，只有理解 VLA 的输入输出形式与训练范式，才能看懂它的架构改进（RS-Norm、Dual-Mouse）和三阶段训练策略。
Agent Harness（智能体编排层）
Agent harness 是包裹在基础模型外部、跨多次模型调用维持交互状态的编排层，负责记忆管理、规划、结果验证与失败恢复。在长视野具身任务中，harness 协调高层语义规划与低层策略执行：它记录已验证的任务进度，决定下一个子任务，并在子任务结束后根据视觉证据更新状态，进而推进、本地恢复或重新规划，从而闭合规划—执行循环。本文的 harness 包含四类结构化记忆、VLM 规划器和证据驱动的交接与恢复协议。
HiSTEVE 的主要贡献就是 capability-aware harness；把 harness 的职责与 VLA 的控制职责区分开，是理解整个系统分层和消融实验的前提。
GRPO（组相对策略优化）
GRPO 是一种免价值网络的强化学习算法：对同一初始条件独立采样 $K$ 条轨迹构成同起点分支组，用组内奖励的均值 $\mu_B$ 和标准差 $\sigma_B$ 把每条轨迹得分归一化为相对优势 $A_i=(R_i-\mu_B)/(\sigma_B+\varepsilon_A)$，再做带裁剪的策略梯度更新。它省去训练 critic 的开销，用'同一任务多次尝试谁做得更好'定义改进方向，DeepSeek-R1 等推理模型后训练即采用此法。
本文第三阶段训练正是用环境验证的同起点分支组构造组相对优势，结合裁剪 GRPO 与 DPO 式成对损失做强化学习，是原子任务可靠性的关键来源。
RMSNorm 与 regime-specific 分支
RMSNorm 是 Transformer 中的归一化层，用可学习的逐通道缩放向量 $\gamma$ 对隐状态做 $h \mapsto \gamma \odot h/\sqrt{\frac{1}{d}\sum_i h_i^2+\epsilon}$，只缩放各通道幅值而不改变方向。本文提出 RS-Norm：为每层的 pre-attention 与 pre-MLP RMSNorm 各维护两套可学习缩放向量（非 GUI 一套、GUI 一套），按当前子任务的交互 regime 选择其一，其余参数全部共享，对 $L$ 层、隐藏维 $d$ 的模型仅增加 $2Ld$ 个参数。
RS-Norm 是让单一 VLA 同时可靠处理异质交互的核心设计，其设计位置直接来自作者对梯度冲突的实证分析，读懂它是理解第 4 章的关键。
负迁移与梯度冲突分析
当单一模型同时训练分布差异大的多种任务（此处为非 GUI 的第一人称世界交互与 GUI 的界面操作）时，不同任务产生的梯度可能方向不一致甚至相互抵消，联合优化会互相拖累即负迁移。度量方法是分别计算两组任务各自内部梯度对的余弦相似度均值，减去跨组梯度对的相似度，得到冲突 gap $\Delta=\frac{1}{2}(c_{\text{GUI}}+c_{\text{NG}})-c_{\text{cross}}$；$\Delta>0$ 表示跨组梯度不如组内对齐。
作者用该分析发现冲突恰好集中于 RMSNorm 模块（输入 RMSNorm gap 高达 0.606），这一证据直接催生了 RS-Norm 与 Dual-Mouse 两个设计，是全文方法动机链的第一环。
研究动机
构建像人类一样玩开放世界游戏的具身智能体需要两种互补能力：长视野自主性（跨子任务维持目标、跟踪进度并调整计划）和可靠的原生接口控制（把第一人称视觉观察翻译成键盘鼠标动作）。现有 Minecraft 智能体通常只占其中一面：VPT、STEVE-1、JARVIS-VLA 等视觉运动策略/VLA 直接把原始观察映射为键鼠动作，但缺乏持续跟踪任务状态和显式推理任务依赖的机制；Voyager 等 LLM/VLM 智能体虽能做任务分解规划，却依赖环境 API、预定义技能或功能性动作来执行底层操作，而这些接口在大多数游戏中并不存在。把两种能力耦合起来还会引入新的难题：在规划层面，智能体必须判断何时终止当前子任务——终止过早则子任务未完成，终止过晚则浪费动作甚至撤销已有进度；在执行层面，非 GUI 控制与 GUI 交互在视觉分布和鼠标动作语义上都不同（鼠标移动在前者旋转相机、在后者移动光标），朴素联合训练会产生负迁移。此外，每次 VLA 调用的小失败率会在长视野任务的反复调用中复合累积，因此对单次调用的可靠性要求极高。
本文的目标是本文要构建一个在与人类玩家完全相同的交互约束下运行（只看第一人称画面、只发键盘鼠标事件）的层次化 VLA 智能体 HiSTEVE：上层 harness 提供长视野自主性——在无参考路径（reference-free）、不给预定义子任务序列的条件下，从最终目标出发在线规划，且计划始终限制在底层 VLA 的真实能力边界内；底层用单一 VLA 可靠执行所有子任务，同时覆盖非 GUI 世界交互与 GUI 界面操作两种异质 regime。可量化的目标包括：在 MineStudio Bench 原子任务上大幅超越此前最强基线 OpenHA Text/CoA（65.0%），在 OpenHA 上不弱于最强基线，在 LongBench 长视野任务上实现大幅提升，最终像人类玩家一样从零合成一把铁镐（砍树→做木镐→挖石→做石镐→挖铁矿→熔炼铁锭→合成铁镐），全程只用人类接口。
与已有工作不同的是，本文的独特切入角度有三点。第一，capability-constrained planning：不让 VLM 自由分解任务，而是把底层能力封装成带适用条件、可观测完成判据、可识别失败条件和执行预算的参数化原子子任务 schema，规划器只能从中选择并实例化，从机制上杜绝'规划超出执行能力'的失配——这区别于依赖环境 API 或预定义脚本技能的方案。第二，policy-coupled completion detection：子任务完成判定不靠外部启发式或通用 VLM 提示词，而是训练一个与 VLA 策略耦合的专用检测器——共享 VLA 图像编码器、通过 cross-attention 读取 VLA 最终层策略上下文，且只负责发出'候选完成'信号，把最终验证权留给 harness 的视觉证据核查，将交接（handoff）与验证（verification）显式解耦。第三，数据驱动的架构设计：作者没有凭直觉分离 GUI 与非 GUI，而是先用跨 regime 梯度冲突测量定位冲突最集中的组件（RMSNorm，gap 0.606），再针对性设计 RS-Norm 与 Dual-Mouse，以 $2Ld$ 的极小参数开销解决异质交互干扰。
核心方法
直觉上，HiSTEVE 像一个工地系统：VLA 是手艺熟练但一次只做一件事的工人，harness 是拿着图纸、记着账、盯着进度的工头。系统在两个时间尺度上闭环运行。慢时间尺度（规划）由 harness 负责：它维护结构化记忆——working memory 记录当前目标、活跃子任务、已验证进度、未满足需求和近期失败；episodic memory 记录每次 VLA 调用前后的状态转移与代价；procedural memory 存储从验证成功中提取的子任务依赖；world memory 存储从视觉推断的地标与空间关系——并用 GPT-4o 作为 VLM 规划器，按 $u_j=P_{\text{VLM}}(G,O_j,h_j,S_j,R_j)$ 在当前可用 schema 集合 $S_j$ 中选择下一个原子子任务。快时间尺度（执行）由 Qwen2.5-VL-7B 初始化的单一 VLA 负责：输入子任务指令与第一人称观察，以 20 Hz 自回归生成离散键鼠动作 token。两者之间由一个 policy-coupled 任务完成状态检测器衔接：它以 Qwen2.5-VL-3B 为骨干、共享 VLA 图像编码器，通过 query 归一化残差 cross-attention 注入 VLA 最终层隐藏状态 $H_t^\pi$，当连续两次查询 $p_t>\tau$ 时发出候选完成信号，触发控制权交还 harness；harness 再依据视觉证据把结果判为 success/failure/interrupted，进而决定推进、本地恢复还是重新规划。
核心创新是'能力感知 harness + 策略耦合完成检测'这套闭环机制，以及由梯度冲突分析指导的 regime-specific 表示。与已有方法的本质区别有三。其一，规划被硬约束在 VLA 能力边界内：每个 schema $s=(A_s,P_s,C_s,F_s,B_s)$ 只声明语义参数、适用条件、视觉可观测的完成/失败判据和执行预算，不含任何脚本化实现，所有物理交互仍由 VLA 的原生键鼠动作完成。其二，交接与验证解耦：检测器只发候选完成信号（handoff 不等于成功），harness 必须用视觉证据核实后才更新任务状态——例如资源必须看到背包里确实出现才计入进度，计数型目标按 $r_{j+1}=\max(0,r_j-\Delta_j)$ 更新剩余需求，防止旧资源被重复计数；这避免了单个检测器错误被直接写进持久任务状态。其三，针对异质交互的表示级解耦：作者在 30,000 步训练中持续测量跨 regime 梯度冲突 gap（总体均值 0.1997，输入 RMSNorm 高达 0.606 且不随训练消退），据此提出 RS-Norm（每层两套 RMSNorm 缩放向量按 regime 路由）和 Dual-Mouse（同一物理位移码本对应非 GUI/GUI 两套互不相交的 token 嵌入，序列首插入交互类型 token），仅增加 $2Ld$ 参数就消除了'同一鼠标 token 既指转镜头又指移光标'的表征歧义。
方法步骤详情
方法分运行时与训练两条线。运行时五步：① harness 依据规划状态 $h_j=(G,p_j,r_j,v_{<j})$ 过滤 schema 库得可应用集 $S_j$，并从情节/程序/世界记忆检索上下文 $R_j$；② GPT-4o 选择并实例化下一个原子子任务，转换为固定自然语言指令 $I_j$；③ VLA 在一次有界调用内以 $a_t\sim\pi_\theta(\cdot\mid o_t,I_j)$ 以 20 Hz 持续输出键鼠动作；④ 检测器在每次动作解码前查询完成概率 $p_t$，连续两次超阈值 $\tau$ 或预算耗尽则交还控制权；⑤ harness 核查完成/失败谓词，记录 $v_j\in\{\text{success},\text{failure},\text{interrupted}\}$，选择 advance/recover/replan，并以 $h_{j+1}=U(h_j,u_j,v_j,O_{j+1})$ 更新记忆、写入情节记录。训练三阶段：阶段一世界知识注入，用 JARVIS-VLA 数据（知识问答、截图描述、视觉问答，经 FAISS 去重）冻结视觉编码器、全量微调语言解码器，让模型掌握 Minecraft 概念与视觉定位；阶段二模仿学习，混合 VPT 人类轨迹、JARVIS-VLA 轨迹与脚本生成的合成/熔炼轨迹（缺失配方每条补 10 条程序生成轨迹，重采样到 GUI:非 GUI = 1:1），在单帧观察+指令上以交叉熵 $L_{\text{IL}}$ 监督动作 token，并把每个 RMSNorm 缩放向量复制初始化 GUI/非 GUI 两支；阶段三环境反馈 RL，固定初始条件（任务、种子、背包、GUI 配置）每分支独立进程采样 $K$ 条轨迹，奖励由环境完成证书 $C^g_t=\mathbf{1}[N_t(g)-N_0(g)\ge\delta_g]$ 与势能差 $r_t=\Phi(s_{t+1})-\Phi(s_t)+R_T\mathbf{1}[C^g_{t+1}\wedge\neg C^g_t]$ 构造，用裁剪 GRPO 优化组相对优势 $A_i=(R_i-\mu_B)/(\sigma_B+\varepsilon_A)$，对同起点且结构签名（背包/GUI/光标/阶段/事件）匹配的成功-失败片段加 DPO 式成对损失，并以 $L_{\text{post}}=L_{\text{branch}}+\lambda_{\text{world}}L_{\text{world}}+\lambda_{\text{ref}}D_{\text{KL}}(\pi_\theta\|\pi_{\text{ref}})$ 防止非 GUI 能力退化。
技术新颖性
技术新颖性体现在四处。第一，policy-coupled completion detector 是全新的完成检测范式：论文实证表明通用 VLM 提示判完成几乎不可用（Qwen3.5-35B 召回仅 0.042），而把检测器条件化到 VLA 策略上下文——最终层隐藏状态广播注入每个 cross-attention 模块、共享图像编码器、FFN 用 Wanda 式激活-权重分数剪到 1/3——只用约 1.4B 有效参数就达到 0.863 F1，超过 GPT-5.5 的 0.776。第二，RS-Norm 的特化位置不是拍脑袋：梯度探针显示跨 regime 冲突恰好集中于 RMSNorm 的逐通道缩放参数（0.606/0.317，远高于 Q/K/V/O 投影与 FFN 的 0.114/0.058/0.038/0.041），因此把特化放在这里是以 $2Ld$ 参数撬动 MineStudio 39.6 个百分点（41.1%→80.7%）的参数高效方案，且作者指出可推广到视觉-语言理解与控制、多模态理解与生成等其他异质组合。第三，Dual-Mouse 在表示层面而非动作语义层面分离两个 regime——两组 token 解码回同一物理动作码本，动作空间定义保持不变，避免了改变环境接口。第四，RL 阶段组合了组相对学习与状态匹配的成对偏好学习，专门解决轨迹级优势会惩罚失败 rollout 中正确前缀的问题，并用环境证书而非模型自报成功来判定完成，抑制奖励作弊。
实验结果
原子任务上，HiSTEVE 在 MineStudio Bench 取得 Mine 93.3%、Kill 86.7%、Craft 66.7%、Smelt 93.3%，平均 85.0%（严格 pass@1），较最强基线 OpenHA Text/CoA 的 65.0% 提升 20.0 个百分点（四族分别 +20.0/+13.4/+26.7/+20.0）；最大增益在 Craft，但它仍是最低分类别，说明多步 GUI 操作比第一人称采矿和战斗更难。在 OpenHA 上平均 37.4%（Embodied 46.0%、GUI 27.2%、Combat 39.0%），略高于基线的 36.8%；增益集中于 Embodied（37.0%→46.0%），GUI 与 Combat 略低于基线的 33.3%/40.0%，轨迹分析显示失败的 GUI 回合能到达正确界面、但在多步物品放置、中间态纠正或结果取出时崩溃。长视野 LongBench 上，HiSTEVE 在 Resource & Crafting、Exploration & Memory、Recovery、Open-ended 四族分别达到 42.9%、28.6%、14.3%、14.3% 的最终目标成功率，较基线分别提升 28.6、21.5、11.4、12.9 个百分点，最大增益恰是需要反复组合原子技能与持久任务态跟踪的任务。完成检测独立评测（4,674 个类平衡样本）中，专用检测器以约 1.4B 参数取得准确率与 F1 均 0.863、精确率 0.861、召回 0.865，超过 GPT-5.5（0.780/0.776）与 GPT-4o（0.698/0.690），而 Qwen3.5-9B/35B 召回仅 0.030/0.042。消融给出三层结论：RS-Norm 与 Dual-Mouse 互补（共享表示基线 41.1%，各自单独提升到 57.3%/61.9%，联合达 80.7%，LongBench 3.6%→14.3%）；知识注入与 RL 主要提升原子执行（模仿学习 50.4%→+知识注入 65.1%→+RL 80.7%）但 RL 后 LongBench 目标成功率停在 14.3%，证明只强化执行器不足以解决长视野协调；VLA 完全固定时，完整 harness 把 MineStudio 从 81.2% 微调到 85.0%、OpenHA 从 37.8% 到 37.4%，却把 LongBench Goal SR 从 10.7% 提升到 25.0%（诊断进度 17.9%→28.6%），接近翻倍，说明长视野收益主要来自编排而非更强的底层控制器。检测器消融还表明 FFN 剪到 1/3 宽度几乎无损（0.863 vs 0.865），剪到 1/4 或用前缀截断掉到 0.739/0.768，逐层配对注入策略上下文掉到 0.690。最终系统能像人类玩家一样从零合成铁镐。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MineStudio Bench 原子任务（Mine/Kill/Craft/Smelt 四族平均） | 严格 pass@1 平均成功率 | 85.0%（Mine 93.3 / Kill 86.7 / Craft 66.7 / Smelt 93.3） | OpenHA Text/CoA 65.0% | +20.0 个百分点（Craft 单族 +26.7） |
| OpenHA 原子任务（Embodied/GUI/Combat 三族） | 宏平均回合成功率 | 37.4%（Embodied 46.0 / GUI 27.2 / Combat 39.0） | OpenHA Text/CoA 36.8%（Embodied 37.0 / GUI 33.3 / Combat 40.0） | 总体 +0.6 个百分点，Embodied +9.0（GUI/Combat 略低于基线） |
| LongBench 长视野任务（14 个目标导向任务、49 个隐藏诊断节点） | 最终目标成功率（四族宏平均） | 25.0%（R&C 42.9 / E&M 28.6 / Rec. 14.3 / Open 14.3） | OpenHA Text/CoA 约 6.4%（14.3/7.1/2.9/1.4） | 四族分别 +28.6/+21.5/+11.4/+12.9 个百分点 |
| 原子子任务完成检测（4,674 个类平衡验证样本） | F1（及准确率） | 0.863（准确率 0.863、精确率 0.861、召回 0.865，仅约 1.4B 参数） | GPT-5.5 F1 0.776；GPT-4o F1 0.690 | 较 GPT-5.5 +8.7 个百分点 |
| RS-Norm + Dual-Mouse 表征消融（MineStudio All） | 平均成功率 | 80.7% | 共享表示 41.1% | +39.6 个百分点 |
| Harness 编排消融（VLA 固定，LongBench） | 最终目标成功率 Goal SR | 25.0%（诊断进度 28.6%） | 固定视界交接 10.7%（进度 17.9%） | +14.3 个百分点，约 2.3 倍 |
局限与改进
作者明确承认两点限制：一是原子子任务接口全部人工定义，系统能力受限于现有 VLA 策略，新增原子能力需要额外训练数据和策略更新，harness 与 VLA 都不会从部署经验中做参数化持续学习；二是高层规划依赖现成 VLM（实验用 GPT-4o），整体系统性能受所选 VLM 后端能力制约。从数据看还有更具体的短板：多步 GUI 操作是系统性瓶颈——MineStudio Craft 仅 66.7% 且是四类最低，OpenHA GUI 族（27.2%）低于基线（33.3%），失败模式集中于'部分正确的中间 GUI 状态'（放了部分配方但取不出产物），后续调用面对偏离演示分布的状态更难继续；Recovery 与 Open-ended 族只有 14.3%，说明恢复效率与弱结构目标仍是硬挑战，且恢复本身消耗执行预算，反复重试可能耗尽剩余依赖链的可行性；Exploration & Memory 任务暴露'到过一次有用位置'与'保持可行动的空间信息'之间的差距。此外评测规模偏小：MineStudio 每任务仅 3 次试验、LongBench 仅 14 个任务，附录标准差显示各时长波动较大（如 R&C 42.9±14.4），统计功效有限；MineStudio 上 HiSTEVE 的成绩还包含 harness 编排的增益，与纯策略基线的对比并非完全同构。
独立分析的弱点
独立来看，我认为有四个值得警惕的弱点。第一，闭源规划器依赖：GPT-4o 不可复现、有持续 API 成本，其规划质量与 Minecraft 知识直接决定系统上限，而论文没有做规划器替换实验，无法判断 harness 收益对 VLM 后端的敏感度。改进方向：微调一个开源 Minecraft 专用规划 VLM，或让 procedural memory 反哺规划提示以降低对外部知识的要求。第二，schema 库是人工能力边界，本质上把'泛化到新游戏'的问题转移成了'人工枚举原子技能'的问题，迁移到其他游戏需要重新设计 schema 并重训 VLA。改进方向：procedural memory 已经存储了验证成功中的子任务依赖，离自动化挖掘新 schema 只差一步，可结合技能发现算法自动扩展原子库。第三，完成检测器的训练标签完全来自 VPT 人类轨迹的离线事件检测，部署时输入分布是策略自身产生的轨迹，存在协变量偏移——假阳性会导致 harness 反复做无谓验证、假阴性会浪费执行预算，论文只报告了离线验证集指标而未报告在线误报率。改进方向：在策略自采样轨迹上做主动学习标注与在线阈值 $\tau$ 校准。第四，GUI 执行的失败模式（中间态纠正、结果取出）说明模仿数据缺少'从非理想 GUI 状态恢复'的演示，RL 的状态匹配成对损失虽对此有针对性但覆盖有限。改进方向：专门构造带扰动的 GUI 初始状态（部分填充的配方、光标错位）做定向恢复训练。
未来方向
作者在讨论中提出的方向包括：让 VLA 从失败与恢复轨迹中持续学习、让 harness 从经验中更新规划约束与恢复策略，两者可独立或联合演化；以及把 Minecraft 当作训练智能体智能的环境，检验规划、记忆与恢复能力能否跨游戏迁移，最终走向游戏之外的交互领域。基于本文成果还可自然延伸几条线：把 policy-coupled 检测器范式推广到其他具身平台——机器人操作同样面临'子任务何时结束'的交接问题，策略上下文注入的检测思路可以直接平移；把 RS-Norm 用于更广泛的异质任务组合，如同一模型兼顾多模态理解与生成；把 world memory 从地标列表升级为可持久化的空间地图，以支撑 Exploration & Memory 族中'回访'类任务；以及研究编排收益与执行器强度之间的可交换性——本文证明弱执行器加强编排能把长视野成功率翻倍，那么'把编排能力蒸馏回端到端策略''harness 经验能否变成 VLA 的训练数据'是值得探索的下一步。
复现评估
论文给出了项目主页（github.com/Andytonglove/HiSTEVE-1.0），架构组件均有开源基础：backbone 是开源的 Qwen2.5-VL-7B 与 Qwen2.5-VL-3B，训练数据来自公开的 VPT 人类游戏轨迹和 JARVIS-VLA 发布的世界知识/对齐数据，脚本生成的合成/熔炼轨迹可程序化复现，评测所用 MineStudio 与 OpenHA 也是公开基准，梯度冲突分析、检测器消融等实验协议在附录中写得相当细。但完整复现存在几处障碍：高层规划器使用闭源 GPT-4o，有 API 费用且存在版本漂移；三阶段训练中 7B 模型全量微调（冻结视觉编码器）加多进程 Minecraft 并行 rollout 的强化学习，需要多卡高端 GPU 与大量环境交互时长，论文未报告总 GPU 小时；LongBench 是作者自定义基准（14 个任务、49 个隐藏诊断节点），任务实现与判定谓词是否随代码完整发布尚不确定。综合评估：理解与复用单个组件（RS-Norm、检测器、GRPO 分支训练）难度中等，复现原子任务结果难度中等，完整复现整个长视野系统难度偏高，主要卡点是算力、GPT-4o 依赖与 LongBench 的可获取性。
论文图表
展示世界知识注入的三种监督格式示例：纯文本问答（如何使用附魔台强化装备）、游戏截图描述（洞穴中僵尸与玩家、石墙与背景岩浆）、以及截图视觉问答（图中可见沙漠生物群系）。
它具体说明阶段一训练喂给模型什么样的数据——知识问答建立游戏机制常识、caption 和 VQA 把概念锚定到第一人称视觉，这是复现训练管线时构造数据的直接参照。
展示两种 regime 的模仿学习样本：非 GUI 示例为指令'按住左键收集南瓜'，目标动作序列 $a_t=\langle\text{BOA}\rangle,\langle\text{NG}\rangle,\text{Attack},m^{(\text{NG})}_{x,b_{t,x}},m^{(\text{NG})}_{y,b_{t,y}},\langle\text{EOA}\rangle$；GUI 示例为指令'在工作台合成钓竿'，序列使用 GUI 交互 token 与 GUI 鼠标位移 token。
它把动作 token 序列的具体格式落在纸面上：BOA/EOA 结构 token、交互类型 token、离散键鼠组与量化鼠标位移如何串成一个序列，是理解动作表示与 Dual-Mouse 实现细节的最直接材料。