原生主动感知作为全模态理解的推理 Native Active Perception as Reasoning for Omni-Modal Understanding
首个原生全模态Agent框架，通过迭代Observation-Thought-Action循环解耦视频时长与推理复杂度，实现测试时正扩展
前置知识
POMDP (Partially Observable Markov Decision Process)
部分可观测马尔可夫决策过程，是MDP的扩展，用于处理Agent无法完全观测环境状态的场景。在POMDP中，Agent只能通过观测获得部分信息，需要维护信念状态来对隐藏状态进行推断。数学上定义为元组〈S, A, O, T, Z, R, γ〉，其中S是状态空间，A是动作空间，O是观测空间，T是状态转移概率，Z是观测概率，R是奖励函数，γ是折扣因子。Agent需要基于历史观测和动作序列来选择最优策略。
OmniAgent将视频理解形式化为POMDP，因为视频中的关键信息分散在高维视听数据中，Agent无法一次性获取全部信息，必须通过迭代观测和动作来逐步构建对环境的理解。POMDP框架天然支持这种序贯决策过程，使Agent能够主动选择观测策略来最大化任务目标。
GRPO (Group Relative Policy Optimization)
分组相对策略优化，是PPO（Proximal Policy Optimization）的改进版本，特别适用于大语言模型优化。它通过采样一组轨迹来估计优势函数，而不是依赖单独的价值网络，从而简化了实现。核心思想是计算组内轨迹的平均奖励作为基线，然后用每条轨迹的奖励减去组平均得到相对优势，再通过裁剪机制更新策略。优势函数计算公式为$A_i = (R_i - \frac{1}{G}\sum_j R_j) / \text{std}(R_1, ..., R_G)$，其中$G$是组大小。
OmniAgent使用GRPO作为强化学习基线算法，但发现其在多轮Agent推理中存在Advantage Homogenization问题。理解GRPO原理对于理解TAURA如何改进信用分配机制至关重要。
信息熵 (Information Entropy)
信息熵是衡量随机变量不确定性的指标，由Claude Shannon提出。对于离散随机变量X，熵定义为$H(X) = -\sum p(x) \log p(x)$。在深度学习中，常用词级token概率分布的平均熵来衡量模型输出的不确定性：$H = -\frac{1}{N}\sum_{i=1}^N \sum_{c} p_i(c) \log p_i(c)$，其中$p_i(c)$是第$i$个token在类别$c$上的概率。高熵表示概率分布平坦，模型不确定性高；低熵表示分布尖锐，模型确定性高。
TAURA的核心创新是利用turn-level token熵作为决策关键性的代理指标。论文发现79.2%的关键分支步骤的熵显著高于轨迹均值，说明高熵时刻对应Agent在多个推理路径间的权衡，这些时刻应该获得更强的强化信号。
IoU (Intersection over Union)
交并比，是衡量预测区间与真实区间重叠程度的指标，广泛应用于目标检测和时间定位任务。对于时间定位任务，给定预测区间$\hat{I} = [t_{\text{start}}^{\text{pred}}, t_{\text{end}}^{\text{pred}}]$和真实区间$I = [t_{\text{start}}^{\text{gt}}, t_{\text{end}}^{\text{gt}}]$，IoU计算公式为$|\hat{I} \cap I| / |\hat{I} \cup I|$，其中$|\cdot|$表示区间长度。IoU取值范围$[0,1]$，值越大表示重叠程度越高，预测越准确。
OmniAgent在时间定位任务（LongVALE、VUE-TR）上使用IoU ≥ 0.5作为成功判断标准，用于强化学习奖励函数设计和SFT数据质量控制。理解IoU有助于评估论文在temporal grounding上的性能提升幅度。
研究动机
现有长视频理解方法普遍采用被动感知范式，核心问题在于计算成本与视频时长耦合。具体来说，主流模型（如GPT-4o、Gemini、Qwen2.5-VL）需要对整个视频进行密集帧采样或压缩，例如Qwen2.5-VL-72B在LVBench上需要处理768帧，导致上下文长度超线性增长。虽然出现了交互式方法（如Zoom-Zero、VITAL），但它们通常依赖全局预扫描来决定"往哪看"，仍需维护稠密视觉缓冲区，未能真正解耦推理复杂度与视频时长。在处理小时级视频时，保留原始像素数据变得不可行，这成为开放世界多模态建模的瓶颈。此外，依赖外部模块的Agent方法（如VideoAgent、VITAL）切断了感知与推理之间的梯度流，造成信息瓶颈。
本文的目标是本文目标是构建首个原生全模态Agent框架，将主动感知内化为推理过程本身，而非外部工具调用。具体而言，作者希望实现：（1）推理复杂度由任务难度而非视频时长驱动，使Agent能够处理小时级视频而不增加上下文负担；（2）端到端训练，所有感知和推理在同一模型内完成，避免外部模块的信息瓶颈；（3）测试时正扩展性，即通过增加推理步骤来提升性能，类似System-2推理；（4）显式可解释的推理轨迹，通过Observation-Thought-Action循环提供透明决策过程。
与已有工作不同的是，本文的独特切入角度是将视频理解重新形式化为POMDP下的迭代Observation-Thought-Action循环，与现有方法存在本质区别。第一，与被动方法（如LongVU、Vamba）的"全看一遍"范式不同，OmniAgent按需执行感知动作，将高维瞬态感知蒸馏为持久文本记忆。第二，与依赖全局预扫描的半被动Agent（如Zoom-Zero、VITAL）不同，OmniAgent无需预先扫描整个视频，而是基于查询驱动逐步探索。第三，与依赖外部工具的LLM控制器方法（如VideoAgent、LongVT）不同，OmniAgent是端到端原生模型，环境只执行原始媒体提取，所有语义感知和推理都在同一策略$\pi_\theta$内完成。第四，与静态Chain-of-Thought推理模型（如Video-R1、Open-o3）不同，OmniAgent的推理深度可动态调整，体现了真正的主动感知。
核心方法
OmniAgent的核心思路是将视频理解视为一个迭代的信息蒸馏过程，而非静态的数据处理管道。直觉上，就像人类观看视频时不会均匀关注所有帧，而是根据问题有选择地搜索关键线索，OmniAgent通过Observation-Thought-Action（OTA）循环模拟这一过程。技术路线上，作者将Agent与视频环境的交互形式化为POMDP，状态包括持久记忆$M_k$和瞬态感知$E_k$，策略$\pi_\theta$基于历史决策生成$(O_k, T_k, A_k)$三元组。关键创新是严格的上下文清理机制：一旦高维媒体被蒸馏为文本观察$O_k$，原始媒体$E_k$就从活动上下文中清除，使上下文成本与视频时长解耦。这个框架通过两阶段优化实现：首先是Agentic SFT通过best-of-N轨迹合成和双阶段质量控制引导基础主动感知能力，然后是TAURA强化学习通过熵导向信用分配细化推理驱动的感知策略。
核心创新点在于将感知作为推理的内在组成部分，而非预处理步骤或外部工具调用。具体体现在三个层面：（1）形式化层面：首次将全模态视频探索形式化为POMDP，定义了瞬态感知$E_k$和持久记忆$M_k$的严格分离，使Agent的内部状态仅取决于推理追踪复杂度而非原始视频时长。（2）训练层面：提出了TAURA算法解决多轮Agent推理中的Advantage Homogenization问题。标准GRPO将单一轨迹级优势广播到所有轮次，混淆了关键发现时刻和平凡动作。TAURA通过turn-level token熵来缩放优势，高熵轮次（决策关键点）获得更强的信用信号。实验表明79.2%的关键分支步骤具有显著高于均值的熵，验证了熵作为决策关键性代理的有效性。（3）架构层面：单模型端到端设计，环境$\Omega$仅执行原始媒体提取（返回帧、音频段、视频片段），所有语义感知和推理由同一策略$\pi_\theta$完成，避免了外部模块的信息瓶颈。
方法步骤详情
OmniAgent的完整工作流程分为三个阶段，每阶段都有明确的输入输出和具体操作。首先是初始化阶段，输入为查询$Q$和视频元数据$V_{\text{meta}}$（如时长、FPS、音频可用性），输出为初始持久记忆$M_0 = \{Q, V_{\text{meta}}\}$和空瞬态感知$E_0 = \emptyset$。然后是迭代交互阶段，在每轮$k$（1到$K$，$K$为最大轮数限制）执行以下步骤：（1）观察生成：策略$\pi_\theta$基于$(M_{k-1}, E_{k-1})$生成观测$O_k$，这是一个结构化文本摘要，将高维感知$E_{k-1}$中的关键视听细节（如物体位置、对话内容、动作序列）提炼为信息密集的文本编码。（2）思维推理：生成思维$T_k$，分析累积记忆$M_{k-1}$和当前观测$O_k$，识别当前感知与查询需求之间的信息缺口，推导后续动作$A_k$的合理性。（3）动作执行：从动作空间$\mathcal{A}$中采样符号操作，包括$a_{\text{frames}}(s, e, n)$从时间区间$[s, e]$均匀提取$n$帧、$a_{\text{audio}}(s, e)$提取音频段、$a_{\text{clip}}(s, e)$捕获带同步音频的连续视频片段、$a_{\text{answer}}(y)$发出最终答案$y$终止轨迹。（4）记忆整合：将$(O_k, T_k, A_k)$添加到持久记忆，更新$M_k = M_{k-1} \cup \{(O_k, T_k, A_k)\}$。（5）感知转换：环境$\Omega$执行动作$A_k$生成新瞬态感知$E_k$，同时严格清理前一轮的$E_{k-1}$，确保媒体开销恒定。最后是终止阶段，当$A_k = a_{\text{answer}}(y)$时返回答案$y$，或达到最大轮数$K$时强制终止。整个流程确保Agent按需收集证据，而非暴力搜索整个视频。
技术新颖性
技术新颖性体现在多个层面。在模型架构上，OmniAgent是首个将感知、推理和动作统一在单一模型内的原生全模态Agent框架，与依赖外部模块的方法（如VideoAgent的ASR工具、VITAL的跟踪器）形成鲜明对比。在训练范式上，提出的Agentic SFT通过best-of-N轨迹合成和双阶段质量控制（Outcome Verification + Rationality Audit）引导主动感知能力，这与传统SFT基于静态QA对标注的方式有本质区别。在强化学习算法上，TAURA首次将turn-level token熵用于信用分配，解决了多轮Agent推理中的Advantage Homogenization问题。实验显示Vanilla GRPO在推理任务（MLVU 69.9%）和感知任务（DailyOmni 63.3% → 62.2%）上都出现停滞或退化，而TAURA实现了全面改进（MLVU 71.1%, DailyOmni 64.8%）。在系统特性上，OmniAgent展现了首个测试时正扩展性的视频理解模型，在VideoMME-Long上将最大轮数$K$从6扩展到52时，准确率从53.4%提升到59.6%（+6.2%），而实际平均轮数仅饱和到11.7，表明Agent根据信息需求而非预算上限自适应调整推理深度。在效率上，OmniAgent-7B在LVBench上仅用203帧就达到50.5%准确率，超越10×更大的Qwen2.5-VL-72B（768帧，47.3%），实现了真正的计算乘数效应。
实验结果
OmniAgent在10个基准测试上建立了开源模型的新SOTA，核心发现包括：在长视频理解方面，LVBench达到50.5%，相比Qwen2.5-Omni-7B基线提升7.5个百分点，更重要的是超越10×更大的Qwen2.5-VL-72B（47.3%）3.2个百分点。在MLVU上达到71.1%，相比基线提升5.9个百分点。在全模态理解方面，DailyOmni达到64.8%（+4.7%），OmniVideoBench达到37.1%（+7.8%）。在时间定位方面，LongVALE达到39.1% IoU（+33.4%绝对提升），VUE-TR达到36.5% Vision+Audio IoU（+33.0%绝对提升），甚至超越GPT-4o和Gemini-2.5-Pro等专有模型。效率分析显示，OmniAgent-7B平均仅使用203帧就达到50.5%准确率，相比Qwen2.5-VL-72B（768帧）节省73%帧数，同时准确率更高3.2个百分点。视频时长分析表明，当视频时长增长4倍（从约30分钟到约130分钟）时，绝对推理轮数仅从8.5增长到12.5，采样密度从16.9 turns/hour下降到5.7 turns/hour，而准确率稳定在50.8%。这验证了OmniAgent有效解耦了推理复杂度与视频时长，Agent忽略冗余内容而专注于关键证据。测试时扩展性实验显示，在VideoMME-Long上将最大轮数$K$从6扩展到52时，准确率单调提升从53.4%到59.6%（+6.2%），而实际平均轮数仅饱和到约11.7，表明Agent根据信息需求自适应终止，而非盲目消耗预算。TAURA消融实验显示，Vanilla GRPO在推理任务（MLVU 69.9%）上停滞，在感知任务（DailyOmni 63.3% → 62.2%）上退化，而TAURA实现了全面改进（MLVU 71.1%, DailyOmni 64.8%），验证了熵导向信用分配的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LVBench (长视频理解) | 准确率 (%) | 50.5 | 43.0 (Qwen2.5-Omni-7B) | +7.5 |
| LVBench vs 大模型 | 准确率 (%) | 50.5 | 47.3 (Qwen2.5-VL-72B) | +3.2 (模型小10倍) |
| VideoMME-Long (长视频) | 准确率 (%) | 48.4 | 35.5 (Qwen2.5-Omni-7B) | +12.9 |
| VideoMME (通用) | 准确率 (%) | 67.8 | 64.8 (Qwen2.5-Omni-7B) | +3.0 |
| MLVU (长视频) | 准确率 (%) | 71.1 | 65.2 (Qwen2.5-Omni-7B) | +5.9 |
| Minerva (推理+长视频) | 准确率 (%) | 41.4 | 33.4 (Qwen2.5-Omni-7B) | +8.0 |
| DailyOmni (音频-视觉) | 准确率 (%) | 64.8 | 60.1 (Qwen2.5-Omni-7B) | +4.7 |
| OmniVideoBench (音频-视觉推理) | 准确率 (%) | 37.1 | 29.3 (Qwen2.5-Omni-7B) | +7.8 |
| LongVALE (时间定位) | IoU (%) | 39.1 | 5.7 (Qwen2.5-Omni-7B) | +33.4 |
| VUE-TR (时间定位) | IoU (%) | 36.5 | 3.5 (Qwen2.5-Omni-7B) | +33.0 |
| VideoMME-Long测试时扩展 | 准确率提升 (%) | 53.4 → 59.6 (K:6→52) | 基线扩展能力 | +6.2 |
局限与改进
作者在论文中承认的局限性包括：顺序交互循环引入了延迟开销，特别是在需要多轮探索的复杂查询上。推理时运行时分析显示，OmniAgent在LVBench上需要66.8秒（包括56.0秒模型推理），虽然比Qwen2.5-VL-72B（75.1秒）更快，但比被动基线Qwen2.5-Omni-7B（34.8秒）慢约2倍。另一个隐含的局限性是OmniAgent的推理质量部分依赖于教师模型在Agentic SFT轨迹合成期间生成的高质量演示，这可能限制模型超越教师的能力。此外，OmniAgent的主动感知策略在任务目标明确时（如MCQ、时间定位）表现优异，但在开放式生成任务中可能不如被动方法全面，因为主动探索可能错过未预见到的重要信息。作者自己的观察还包括：OmniAgent的严格上下文清理机制虽然节省了计算资源，但也意味着原始媒体被蒸馏后就无法重新访问，这可能导致某些细节信息的永久丢失。在极端情况下，如果Agent早期探索方向错误，后续基于错误记忆的推理可能导致级联错误，而被动方法可以通过重新审视原始帧来纠正。
独立分析的弱点
独立分析的弱点包括：一是动作空间设计相对简单，只有四种动作类型（获取帧、获取音频、获取片段、回答），缺乏空间缩放、光流分析、目标检测等更精细的感知操作，这限制了Agent处理细粒度视觉任务的能力。改进方向可以扩展动作空间，加入类似Zoom-Zero的空间缩放、Video-CoM的图像裁剪组合等操作，使Agent能够进行多粒度视觉探索。二是记忆机制仅保留文本摘要，丢失了视觉细节和空间关系信息，这对需要精确空间定位的任务（如细粒度目标识别、空间推理）可能不足。改进方向可以引入分层记忆结构，在文本摘要外保留关键帧的视觉嵌入或空间图，平衡信息密度和表达能力。三是TAURA算法基于全局组内熵归一化，可能忽略任务特定的信用分配模式，某些任务可能在早期探索轮次更重要，而其他任务可能在后期验证轮次更重要。改进方向可以引入任务自适应的熵缩放权重或学习turn importance预测器。四是OmniAgent主要在单视频单查询设置下评估，缺乏多视频对比或跨视频推理能力。改进方向可以扩展框架支持多视频上下文，使Agent能够跨不同视频源进行推理和证据整合。
未来方向
作者提出的未来工作方向包括：探索并行化探索来缓解顺序交互循环的延迟约束，这可以通过同时执行多个感知动作或使用异步环境交互来实现。基于成果的可延伸方向包括：（1）将OmniAgent框架扩展到其他模态组合，如文本-图像-音频-视频的联合推理，或3D场景理解的主动探索。（2）研究更复杂的记忆机制，如分层记忆、记忆回放、记忆检索，使Agent能够长期积累和复用跨视频的知识。（3）探索课程学习策略，从短视频逐步过渡到小时级长视频，引导Agent逐步适应更复杂的时空结构。（4）研究不确定性量化，使Agent能够显式评估自身探索的充分性，在不确定性过高时主动寻求更多证据。（5）将OmniAgent与其他System-2推理范式结合，如树搜索、规划算法，进一步提升复杂任务的求解能力。（6）研究跨语言跨文化的主动感知策略，使Agent能够适应不同语言和文化背景的视频内容。（7）探索实时应用场景，如视频监控、直播理解，优化推理速度与准确率的权衡。
复现评估
论文提供了较好的复现支持。代码已开源（https://github.com/harryhsing/OmniAgent），SFT和RL模型权重已发布到HuggingFace（harryhsing/OmniAgent-SFT-7B、harryhsing/OmniAgent-RL-7B）。Agentic SFT数据构建过程详细描述，包括58K轨迹的来源（LongVideo-Reason、Video-Holmes、VSI-Train-10k、LongVALE、MultiHop-EgoQA）和双阶段质量控制协议（Outcome Verification、Rationality Audit）。强化学习设置提供了完整参数：组大小$G=8$、学习率$1 \times 10^{-6}$、裁剪比率0.30/0.20、全局批大小256、在64块NVIDIA A100上训练150步。环境实现细节在附录B中详细说明，包括基于Ray和Verl的分布式架构、FFmpeg感知算子实现、随机化探索协议、记忆整合和清理机制。评估基准和指标与训练时奖励函数对齐，确保了一致性。主要限制是训练数据集部分需要从原始来源获取，且大规模RL训练需要显著算力（64块A100）。整体而言，复现难度中等偏高，主要瓶颈在于计算资源需求，但论文提供了充分的实现细节和开源代码，有经验的团队应该能够复现主要结果。
论文图表
