基于层次化程序理解提升主动式AI辅助

用相位-步骤-动作三层结构指导数据微调VLM，让AI助手既懂开口时机又会调整指导粒度。

前置知识

主动式AI辅助（Proactive AI Assistance）

与只在被提问后才回答的反应式（reactive）AI不同，主动式AI持续观察用户活动的视频流，在每个时间步自主决定该不该说话、何时说话、说什么。典型做法是把视频切成小块（chunk），逐块判断输出指导（）还是保持沉默（），并在当前指导事件结束后及时给出下一条指导。

本文的数据标注、训练目标、评估协议（响应锚点/沉默锚点）全部围绕“何时开口、开什么口”这一主动式决策展开，不理解该设定就无法读懂论文的动机与指标。

程序性任务的层次结构（Phase–Step–Action）

烹饪、组装、维修等程序性任务天然具有层次：phase（阶段）是由多个step组成、达成一个中间目标的高级单元；step（步骤）是由多个action组成、达成具体结果的程序单元；action（动作）是可独立指导的最细粒度可观察事件。低层事件是高层完成与否的证据，高层为低层提供目的与上下文。

论文的核心主张就是用这个三层结构替代固定粒度的step级指导，数据集构建、训练目标设计和消融实验全部围绕该层次展开。

视觉语言模型（VLM）与监督微调（SFT）

VLM是以视觉编码器加语言模型为骨干的多模态大模型（如Qwen3-VL），能接收视频帧和文本指令并生成文本。SFT即在自建指令数据上用教师强制（teacher forcing）继续训练，让模型学会特定输出格式与决策模式；本文还用块状因果注意力限制视频帧的可见范围。

本文方法本质是把预训练VLM在层次化指导数据上微调，实验对比了Qwen3-VL-4B/8B与Qwen3.5-4B/9B四种骨干，需要理解SFT才能读懂训练与消融部分。

流式视频评估协议与指标（sF1/gF1/PQS）

评估在预定义锚点上进行：响应锚点要求模型给出指导，沉默锚点要求保持安静。sF1按时机加内容一对一匹配生成与真值指导后计算语义F1；gF1只看“说/不说”决策，取响应F1与沉默F1的几何平均；PQS由GPT-5.2从相关性、具体性、可执行性、简洁性打分并综合沉默决策。

论文所有结果表都由这三个指标构成，分清“内容质量”（sF1/PQS）与“时机决策”（gF1）才能正确解读各基线高低不同的原因。

LLM辅助数据构建与质量控制

用GPT-4.1-mini、Gemini 2.5 Flash等模型替代人工完成视频筛选、重标注、层次组装与指导生成，并用“检查—反馈—重构”循环保证层次一致性（例如防止phase-step-action链只是同一操作换名），最后用人工质量评审（4项准则、50个样本）验证数据可靠性。

本文数据规模（7,232个视频、1,452.1小时）远超人工标注可行范围，理解这条“LLM流水线+人工抽检”的构建范式是评估数据可信度与局限性的前提。

研究动机

主动式AI助手需要三项核心能力：针对用户任务给出合适的指导、在当前指导事件结束后及时给出下一条指导（其余时间保持沉默）、并根据用户水平调整指导粒度。但现有数据无法同时支持这三点。一类数据停留在检测式主动理解（如OVO-Bench、StreamingBench），只要求检测视频流中特定物体或事件的出现并回应；另一类提供程序性指导，却固定在step粒度（ProAssist约3.4K视频、StreamPro-Bench、Pro2Bench、GuideMe）。固定粒度的缺陷很具体：一个被指导的step往往包含多个action，模型难以判断当前step是否完成，在流式设定下无法确定给出下一条指导的时机；step级指导也缺少上层phase的目的与预期结果信息，模型难以理解当前事件对整个任务的贡献；当用户说“我是新手，请一步一步教”或“我懂行，说重点”时，固定粒度系统更是无法切换指导层级。

本文的目标是本文的目标是构建一套覆盖phase（阶段）、step（步骤）、action（动作）三个层次且带指导时机标注的完整体系：训练集ProactiveCoach-Instruct（10,007个样本）教模型学会多层次的主动指导；评测基准ProactiveCoachBench（1,112个样本）检验模型能否在合适的时机给出合适层级的指导，以及能否在任务进行中随用户请求切换指导层级；同时微调多种预训练VLM骨干形成层次化指导学习方法，并搭配轻量级路由器构建自适应指导系统，在不重新微调指导模型的前提下动态调整指导粒度。

与已有工作不同的是，本文的独特切入有三点。其一，首次把层次化视频理解与主动程序性辅助结合：此前的层次化工作（Ego4D-HCap、Action100M等）只产出多级视频描述，描述无法直接当作指导使用，本文将其改造成带时机的可执行指导结构。其二，指导时机在每一层独立定义：某层事件结束的下一帧即给出该层的下一条指导，多层同时结束则合并为一次响应，使完成判断与流式决策紧密贴合。其三，系统层面把“生成指导”与“选择层级”解耦：指导模型同时生成三层指导，由轻量LLM路由器根据用户请求选层展示，从而绕开了把换层请求塞进对话历史让模型自己调整的上下文内自适应失败模式。

核心方法

直觉上，一位好教练既懂全局（这道菜分几个阶段）、也懂细节（现在该倒油还是下蒜），还会按学员水平调整讲解粗细。本文按这条思路分三步走。第一步，用三阶段数据流水线把8个第一视角数据集的7,232个视频加工成层次化指导数据：共11,119个样本、1,452.1小时、582,084条指导目标（phase级46,074、step级154,507、action级381,503），平均每样本4.14个phase、每phase 3.35个step、每step 2.47个action。第二步，把三层指导按时序组织成带层级标签和父子层次ID（如Phase 3 → Step 3-1 → Action 3-1-2）的结构化输出序列，对Qwen3-VL-4B/8B和Qwen3.5-4B/9B四种骨干做SFT，让单个模型联合学习三层指导。第三步，并联一个轻量LLM路由器：指导模型持续生成三层指导，路由器按用户请求选择展示层级，切换层级无需重新训练指导模型。

核心创新是在单个VLM内联合学习三个层级的主动指导，而不只是产出多级描述。每条指导句附带层级标签与编码父子关系的层次ID，训练目标显式建模低层完成证据与高层过程上下文：action级进展是判断step是否完成的证据，phase级语境阐明当前step的目的与预期结果。视频以1FPS采样、2秒为一个chunk，模型逐chunk输出或；训练用块状因果注意力，每个token只能看到当前及之前10秒的视频帧，但保留任务指令与全部历史响应文本。由于程序性视频中远多于，为防止沉默主导损失，只对全部响应chunk、响应后紧跟的第一个沉默chunk及等量随机沉默chunk计算损失：$\mathcal{L}_{SFT}(\theta) = -\frac{1}{M}\sum_{t=1}^{T} m_t \log p_\theta(y_t \mid I, V_t^w, H^{GT}_t)$。与已有方法的本质区别在于：层次在这里不是评测维度，而是监督信号本身。

方法步骤详情

方法分五个环节。环节一，数据筛选：GPT-4.1-mini对候选视频按目标清晰度、关键操作覆盖率、逻辑顺序打1到10分并过滤；再用Gemini 2.5 Flash做视频接地重标注，修正错误描述、补齐遗漏并对齐时间段。环节二，层次构建：GPT-4.1-mini先剔除与任务目标无关的标注；再把标注合并为action（以观测起止时间为跨度），action组成step、step组成phase，高层跨度须覆盖子层；随后执行“检查—重构”循环，消除同一操作在多层重复的冗余结构直至一致。环节三，指导生成与时机分配：按层生成指导句，某层当前事件结束的下一帧给出该层下一条指导，多层同时结束则合并为一个，无事件结束的chunk标为。环节四，SFT：输入任务指令 $I$、截至当前chunk的视频 $V_t^w$ 与真值历史 $H^{GT}_t$，教师强制训练3个epoch（8块B200、学习率 $2\times10^{-5}$、最长序列98,304 token）。环节五，部署：用户打断时，小LLM路由器读取请求选择展示层级，与指导模型异步运行，切层无需重训。

技术新颖性

技术新颖性体现在四个层面。数据层面：Table 1显示此前没有任何数据集同时具备主动性、程序性指导与层次标注——ProAssist（3.4K视频）与GuideMe（2.5K）等均无层次标注，而本文以7.2K视频、1.5K小时三者兼得。监督层面：首次证明phase与action级监督不仅赋予多粒度输出能力，还反哺step级辅助性能——消融中三层监督把step级Avg从step-only的50.06提升到59.30，说明层次是比单粒度更强的中间监督信号。时机建模层面：每层独立的“事件结束触发”时机定义，比整体级联或固定间隔更贴合流式决策的本质。系统层面：生成与选层解耦的异步架构以57.1%p的平均优势证明，当对话历史被旧层级指导主导时，上下文内自适应基本失效（四次切换的基线Avg仅8.49到18.70），架构级解耦才是可靠的自适应方案。

**Figure 2**: Overview of hierarchically structured guidance in our proposed dataset.

**Figure 3**: Domain distribution of our dataset.

**Figure 5**: Construction pipeline for our proposed dataset.

**Figure 6**: Guidance-level adaptation with a lightweight router. ProactiveCoach generates multi-level guidance, while the router selects the level requested by the user.

**Figure 7**: Sample duration distribution.

实验结果

Table 2主结果：微调后的Qwen3-VL-8B在ProactiveCoachBench上取得phase级Avg 64.07（sF1 54.63、gF1 76.21、PQS 61.37）、step级59.37、action级52.99，全面超过最强基线Gemini 3 Flash Preview（55.41、47.34、46.47）；其未微调基座phase Avg仅22.60。四个骨干一致受益：Qwen3-VL-4B phase Avg从26.65升至62.69，Qwen3.5-4B从34.25升至62.94，Qwen3.5-9B从28.27升至61.13。Table 3消融：层次监督较step-only在Qwen3-VL-4B上提升9.64个百分点（49.32→58.96），其余骨干提升6.3至9.2个百分点。Table 4中三层监督（59.30）优于两层组合（53.60/57.33）与step-only（50.06）。Table 5：零样本提示仅达29.32/26.99/21.74，远低于微调后的62.94/59.30/53.44。Table 6：四种层级切换中基线Avg仅9.46至18.70，本系统达85.54、57.93、66.56、73.70，平均提升57.1个百分点。外部基准EgoProactive上微调模型最佳48.96，仍略低于Gemini 3 Flash的51.35，但大幅领先开源基线（MMDuet2为34.29）。数据质量方面，50样本人工评审四项准则均超4.0，总分4.27（Figure 4）。

**Table 1**: Comparison of existing datasets for hierarchical video understanding and proactive procedural assistance.

**Table 2**: Proactive guidance results on ProactiveCoachBench and the EgoProactive validation set.

**Table 3**: Step-only vs. hierarchical supervision.

**Table 4**: Ablation on supervision levels.

**Table 5**: Zero-shot multi-level guidance.

**Figure 4**: Human quality review of our dataset.

查看结构化数据

任务	指标	本文	基线	提升
ProactiveCoachBench phase级主动指导	Avg（sF1/gF1/PQS均值）	64.07（微调Qwen3-VL-8B）	55.41（Gemini 3 Flash Preview，最强基线）	+8.66
ProactiveCoachBench step级主动指导	Avg	59.37（微调Qwen3-VL-8B）	47.34（Gemini 3 Flash Preview）	+12.03
ProactiveCoachBench action级主动指导	Avg	52.99（微调Qwen3-VL-8B）	46.47（Gemini 3 Flash Preview）	+6.52
层次监督 vs step-only监督（step级，Qwen3-VL-4B）	Avg	58.96（三层联合监督）	49.32（step-only监督）	+9.64
指导层级自适应（四种切换平均）	Avg	70.93（路由器+微调指导模型）	13.83（上下文内自适应）	+57.1%p
EgoProactive step级（外部基准）	Avg	48.96（微调Qwen3-VL-8B）	34.29（MMDuet2，最强开源流式基线）	+14.67

局限与改进

作者承认三点局限：评估使用真值对话历史而非模型自身输出，未检验误差累积与计划修正能力；层级自适应只覆盖用户显式请求的场景，未研究自动推断用户专业度；假设任务只有一种合法执行顺序，无法评估存在多种等价顺序的活动。我的补充观察：第一，标注完全依赖GPT-4.1-mini与Gemini 2.5 Flash，幻觉与粒度偏差可能系统性传入数据，而人工抽检仅50个样本，覆盖有限；第二，领域分布偏斜，食物与饮品占40.5%、组装维修占28.1%，其余领域代表性不足；第三，块状因果注意力只允许看到最近10秒的视频，慢节奏长任务可能需要更长的视觉记忆；第四，gF1的锚点协议与PQS的GPT-5.2打分都引入LLM裁判偏差风险；第五，路由器是额外的小LLM，系统延迟与推理成本未报告；第六，全部为第一视角家务/手工场景，尚未在具身机器人平台上验证实时性与安全性。

独立分析的弱点

独立分析如下。其一，训练与评估都用真值历史，真实部署中模型自己说错或漏说会污染后续决策，改进方向是用模型自生成历史做rollout训练或引入强化学习修正。其二，层级切换依赖用户显式请求，但沉默不语的新手可能最需要降到action级，改进方向是训练基于用户行为信号（停顿、重试、操作错误）的隐式层级推断模块。其三，层次检查者与生成者同为GPT-4.1-mini，系统性偏差难以自纠，改进方向是引入跨模型交叉验证或小规模人工全检校准。其四，标注采用“事件结束下一帧”的固定规则，忽略用户实际节奏（提前完成、跳步、并行操作），改进方向是结合用户动作状态做个性化时机预测。其五，训练需要8块B200、最长序列98,304 token，成本高企，改进方向是LoRA等参数高效微调并量化性能折损。其六，评估锚点为离线预定义，缺少用户在环的在线交互评测，改进方向是构建带真实用户反馈的交互式测试床。

未来方向

作者提出的方向包括：支持长期任务跟踪与计划修正、个性化指导（自动推断用户理解程度与专业水平）、以及建模多种合法执行顺序。基于本文成果可延伸的方向还有：把错误检测与恢复指导（Pro2Bench、GuideMe的设定）纳入层次框架，在phase上下文中定位并纠正错误的step；将路由器与指导模型蒸馏合一，或用强化学习让模型在真实交互中学会自主选层；引入语音、手势等多模态用户反馈实现实时层级调整；扩展到具身场景，让人形机器人基于同一层次结构主动递送工具或提供物理协助；利用action级的细粒度完成证据研究任务进度的不确定性估计，使“沉默”决策可解释、可校准。

复现评估

项目主页为 https://jinsuby.github.io/ProactiveCoach/。底层数据来自8个公开第一视角数据集（Ego4D Goal-Step、Ego-Exo4D、EPIC-KITCHENS、CaptainCook4D、EgoExoLearn、HD-EPIC、WTaG、HoloAssist），但复现数据需对1,452.1小时视频调用GPT-4.1-mini与Gemini 2.5 Flash重跑构建流水线，API成本不低；好在附录完整给出了六个阶段的prompt（Figures 8至13）与全部训练超参（Table 8：8块B200、3个epoch、学习率 $2\times10^{-5}$、最大序列98,304 token、DeepSpeed ZeRO-1）。训练门槛较高，需要B200级多卡集群与长序列训练经验；评估依赖GPT-5.2作PQS裁判，存在API成本与版本漂移问题。评测协议（锚点定义、10秒视频窗口、真值历史）在附录E有完整说明，利于公平复现。总体而言，若代码与数据如主页所示开源，复现难度中等偏高：数据构建透明但成本高，模型训练需要充足算力，评估最容易复现。

基于层次化程序理解提升主动式AI辅助 Improving Proactive AI Assistance with Hierarchical Procedural Understanding