Proact-VL: 面向实时AI伙伴的主动式视频大语言模型 Proact-VL: A Proactive VideoLLM for Real-Time AI Companions
提出主动式视频理解框架，让AI像人类解说员一样自主决定何时开口、说什么。
前置知识
VideoLLM（视频大语言模型）
视频大语言模型是将视觉编码器（如ViT）提取的视觉特征投影到大语言模型（LLM）的嵌入空间，使模型能够理解视频内容并进行多模态推理的一类模型。典型代表包括GPT-4o、Gemini、Qwen-VL系列等。这类模型通常将视频编码为多帧视觉token，与文本token一起输入Transformer进行自回归生成。其核心挑战在于如何有效处理视频中的时序信息，以及如何在长视频场景下保持推理能力。
Proact-VL建立在VideoLLM基础之上，理解这一范式是理解本文技术路线的前提。
流式视频处理（Streaming Video Processing）
与离线处理完整视频不同，流式视频处理要求模型在视频持续播放的过程中，逐帧或逐块（chunk）地接收视觉输入，并实时生成输出。这要求模型具备增量推理能力——能够利用KV缓存等机制，在不重新计算历史上下文的前提下处理新到达的视频帧。代表性工作包括VideoLLM-online和StreamingVLM。
本文的核心场景就是流式游戏解说，模型必须在视频实时播放的同时做出响应，这是与离线视频理解任务的根本区别。
主动式交互（Proactive Interaction）
主动式交互指AI系统不依赖用户的显式指令，而是根据环境变化自主判断何时需要响应并主动发起交互。在视频理解场景中，这意味着模型需要学习一个触发策略（policy），在检测到值得关注的事件时自动生成评论或指导，而非对每个时间步都产生输出。这与传统的被动式问答形成鲜明对比。
本文的核心创新之一就是提出了一个轻量级的主动响应机制，让模型能够像人类解说员一样自主决定何时开口。
KV Cache（键值缓存）
KV Cache是Transformer模型推理时的一种优化技术。在自回归生成过程中，每个新token的注意力计算需要与之前所有token的key和value进行交互。KV Cache将已计算过的key和value缓存起来，避免重复计算，从而显著提升推理效率。在流式场景中，KV Cache使得模型可以在保留完整历史上下文的同时，以接近常数时间的开销处理每个新到达的输入块。
Proact-VL的无限推理机制（Infinite Inference）依赖KV Cache实现高效的流式处理，并通过滑动窗口和反向RoPE技术解决长序列推理问题。
RoPE（旋转位置编码）
RoPE（Rotary Position Embedding）是一种为Transformer中的query和key向量注入位置信息的方法。它通过对向量的每对维度施加一个与位置相关的2D旋转矩阵来编码位置关系，具有良好的外推性和相对位置感知能力。其核心数学性质是旋转矩阵的可组合性：$R(p_1)R(p_2) = R(p_1+p_2)$，这意味着位置偏移可以通过对已编码向量施加额外旋转来实现，而无需重新编码。
本文提出的反向RoPE（Reverse RoPE）技术利用这一性质，在滑动窗口缓存淘汰后对剩余token进行位置校正，是实现无限长流式推理的关键技术。
研究动机
当前视频大语言模型在实时AI伙伴场景下面临三大核心挑战。首先是延迟问题：现有的主动式模型（如MMDuet、Livestar）虽然学会了「何时说话」的策略，但一旦被触发就会生成完整的、较长的回答，导致时间粒度粗糙、延迟较高。在游戏解说这种需要对瞬时事件做出即时反应的场景中，这种粗粒度的触发-生成模式完全无法满足需求。其次是说话控制问题：现有的实时模型（如LiveCC、StreamingVLM）虽然能实现低延迟的逐秒生成，但缺乏对说话行为的显式控制，容易出现「说个不停」的问题——在不需要解说的安静时段仍然持续输出，破坏用户体验。第三是稳定性问题：在长时间的流式推理中，模型的输出质量会逐渐退化，出现重复、无意义的填充内容（如反复输出「Oh no!」）。这些问题在实际的游戏直播、电竞解说等场景中尤为突出，因为这些场景要求AI伙伴既能在关键时刻及时反应，又能在平淡时段保持沉默，同时还要维持长时间的输出质量稳定。
本文的目标是本文的具体目标是构建一个能够同时满足低延迟、主动响应和质量可控三个要求的实时视频AI伙伴框架。具体而言，Proact-VL需要在以下方面达到最优或接近最优：（1）在文本质量上，使AI生成的解说内容在流畅性、信息量和专业性上匹配甚至超越商业闭源模型（如GPT-4o和Gemini 2.5 Pro）；（2）在响应时序上，使AI的说话/沉默决策与人类解说员的行为高度对齐，具体通过TimeDiff（时间偏差）、PAUC（主动交互累积质量）和F1三个指标来衡量；（3）在长时推理上，能够在30分钟到2小时的完整视频流上保持稳定的输出质量。此外，作者还希望该框架在获得主动交互能力的同时，不显著损害模型的通用视频理解能力。
与已有工作不同的是，本文的独特切入点在于将「何时说话」和「说什么」统一在一个端到端框架中解决，而不是像已有工作那样将二者分开处理。现有方法存在一个根本性的权衡困境：主动式模型擅长决定何时响应，但生成的是粗粒度的长文本；实时模型擅长低延迟生成，但缺乏说话行为的控制。Proact-VL通过引入一个特殊的决策token（<|FLAG|>）和一个轻量级的响应头（response head），在每个时间步首先做出二元决策（说话/沉默），然后仅在决策为说话时才生成短小的片段级回复。这种「先决策再生成」的两阶段范式，配合创新的状态转换平滑损失函数，首次实现了在流式视频场景下对说话时机和说话内容的联合优化。
核心方法
Proact-VL的方法可以类比为一个经验丰富的游戏解说员的工作方式：他不会对着屏幕不停地说话，而是会持续观察游戏画面，在关键时刻（如精彩操作、重大事件）才开口解说，而且每次只说简短有力的几句话。技术上，框架由三个核心组件构成。首先是「逐块输入模式」（Chunk-wise Input Schema），将连续的视频流离散化为固定时长的块（每块1秒），每个时间步接收视觉内容、用户查询和环境上下文的三元组输入，并通过持久化的KV缓存维护完整的时序上下文。其次是「主动响应机制」（Proactive Response Mechanism），通过在每个用户消息末尾插入一个特殊的<|FLAG|>决策token，提取其隐藏状态并送入一个轻量级MLP网络，输出一个说话概率，通过阈值比较决定是否触发生成。第三是「多层级损失函数」（Multi-tier Loss），包含一个因果语言建模主损失和一个响应损失，其中响应损失包含转换感知的分类损失和稳定性正则化项，确保说话/沉默状态的稳定切换。
Proact-VL最核心的创新是将「何时说话」的决策问题转化为一个二元分类问题，并通过一个解耦的响应头（response head）来实现。这个设计的精妙之处在于：它不是让模型在文本生成过程中隐式地学习何时输出沉默token（这会导致严重的类别不平衡和训练不稳定），而是在生成之前先通过一个独立的轻量级网络做出决策。具体而言，模型在处理完当前时间步的所有输入后，提取<|FLAG|>token对应的隐藏状态 $h_t$，通过一个由线性层、GELU激活和sigmoid组成的MLP网络计算说话概率 $p_t = \sigma(\text{MLP}(h_t))$，然后与阈值 $\tau$ 比较做出二元决策。这种设计将响应决策与文本生成完全解耦，使得每个组件都可以独立优化。另一个关键创新是「转换感知的二元交叉熵损失」，它不把每个时间步的说话/沉默状态视为独立样本，而是将状态转换（从说话到沉默或从沉默到说话）赋予更高的权重 $\gamma$（实验中设为5），因为这些转换点虽然稀少但对用户体验至关重要。
方法步骤详情
Proact-VL的完整工作流程如下。在每个时间步 $t$，系统执行以下步骤：（1）输入构建：将当前视频块 $V_t$、可选的用户查询 $Q_t$ 和环境上下文 $B_t$（包括前一秒的解说摘要）组装成ChatML格式的消息，其中系统消息包含角色定义、人设信息和任务指令；（2）前向推理：将组装好的消息输入模型，模型使用持久化的KV缓存 $K_{t-1}$ 进行增量计算，得到更新后的缓存 $K_t$ 和所有token的隐藏状态；（3）响应决策：提取<|FLAG|>token对应的隐藏状态 $h_t$，送入响应头计算说话概率 $p_t$，与阈值 $\tau$ 比较得到二元决策 $a_t = \mathbb{I}[p_t \geq \tau]$；（4）输出生成：若 $a_t = 1$（触发说话），则追加助手前缀并生成一个片段级的短文本 $U_t$；若 $a_t = 0$（保持沉默），则追加一个沉默占位符；（5）上下文更新：将生成的输出 $U_t$（或沉默标记）追加到上下文流中，作为下一步的输入历史；（6）无限推理：当上下文长度接近模型最大容量时，淘汰最旧的20%流式缓存，并应用反向RoPE校正以保持位置编码的一致性。整个过程通过因果方式在线执行，实现连续、实时的交互。
技术新颖性
Proact-VL的技术新颖性体现在以下几个方面。首先，与VideoLLM-online和LiveCC等实时模型相比，Proact-VL引入了显式的说话决策机制，而不是让模型隐式地学习何时输出内容——这通过解耦的<|FLAG|>token和响应头实现，避免了在生成token层面处理沉默导致的训练不稳定问题。其次，与MMDuet和Livestar等主动式模型相比，Proact-VL生成的是片段级的短文本而非完整长文本，显著降低了响应延迟。第三，转换感知的损失函数设计是全新的——它将说话/沉默的状态序列建模为一个序列学习问题，而非独立的分类问题，通过赋予状态转换更高的权重来强调那些稀少但关键的切换时刻。第四，稳定性正则化项同时约束了局部时序一致性（避免概率抖动）和全局说话率（匹配人类解说员的平均说话比例），这是已有工作未曾探索的。第五，反向RoPE技术利用旋转位置编码的代数性质，在缓存淘汰后精确地重新基准化位置编码，实现真正的无限长流式推理。
实验结果
Proact-VL在Live Gaming Benchmark上全面超越了所有基线模型。在文本质量方面（Table 1），Proact-VL在总体CC（胜率对比Gemini 2.5 Pro）上达到49.23%，显著高于GPT-4o的39.42%和所有开源基线；在LiveU（流式可用性评分）上达到6.52，远超GPT-4o的4.62和LiveCC-7B-Base的3.85；在FinalQ（整合脚本质量）上达到5.03，同样大幅领先。在响应质量方面（Table 2），Proact-VL的总体F1达到64.87，相比LiveCC-7B-Instruct的56.05提升约8.8个百分点；TimeDiff为1.71，与最强基线GPT-4o的3.07和LiveCC-7B-Instruct的2.13相比具有竞争力；PAUC为18.10，优于大部分基线。在Co-Commentary场景中表现尤为突出，F1达到77.44，远超GPT-4o的58.80和LiveCC-7B-Instruct的61.26。在通用泛化测试（Table 3）中，Proact-VL在Ego4D数据集上CC达到63.43%（远超LiveCC-7B-Base的12.69%），在未见过的游戏《黑神话：悟空》上CC也达到55.21%，展现出强大的跨域泛化能力。在长时间流式推理测试（Table 4和5）中，Proact-VL在30-50分钟的时间段内保持了稳定的文本质量和响应质量，SC（流式解说胜率）从10分钟的73.75%稳步提升到整体的82.03%，而StreamingVLM的质量则随时间推移而退化。消融实验（Table 6）证实了损失函数两个组件的互补性：移除 $L_{cls}$ 导致F1下降约14个百分点，移除 $L_{reg}$ 导致F1下降约49个百分点且TimeDiff大幅恶化，说明稳定性正则化对响应机制的训练至关重要。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Solo Commentary文本质量 | CC (胜率 vs Gemini 2.5 Pro) | 53.62% | GPT-4o: 21.54%, LiveCC-7B-Base: 41.17% | 相对GPT-4o提升32.08个百分点 |
| Solo Commentary文本质量 | LiveU (流式可用性) | 6.89 | GPT-4o: 4.56, LiveCC-7B-Instruct: 5.84 | 相对GPT-4o提升2.33分 |
| Co-Commentary响应质量 | F1 | 77.44 | GPT-4o: 58.80, LiveCC-7B-Instruct: 61.26 | 相对GPT-4o提升18.64个百分点 |
| Overall响应质量 | F1 | 64.87 | GPT-4o: 54.88, LiveCC-7B-Instruct: 56.05 | 相对LiveCC-Instruct提升8.82个百分点 |
| Ego4D泛化 | CC | 63.43% | LiveCC-7B-Base: 12.69%, LiveCC-7B-Instruct: 11.57% | 相对LiveCC-Base提升50.74个百分点 |
| 黑神话悟空泛化 | CC | 55.21% | LiveCC-7B-Base: 56.46%, LiveCC-7B-Instruct: 43.12% | 与最强基线持平，超越Instruct版本12.09个百分点 |
| Video-MME视频理解 | Overall (无字幕) | 59.1% | Qwen3-VL Base: 57.3% | 提升1.8个百分点 |
局限与改进
Proact-VL存在几个明显的局限性。首先，模型在需要精确OCR和数值推理的场景中容易产生幻觉——论文中的失败案例显示，在《英雄联盟》解说中，模型将28.3K vs 28.4K的0.1K经济差误读为「2K lead」，这说明模型在处理HUD界面中的小字体数字时缺乏可靠的OCR能力和轻量级数值推理能力。其次，在信息高度密集的混乱界面中（如《博德之门3》），模型可能进入「想说但不知道说什么」的退化状态，反复输出无意义的填充内容（如「Oh no!」的重复）。第三，当前模型以2 FPS的稀疏帧采样处理视频，会错过快速的瞬态事件、UI变化和短命事件，在需要高帧率捕捉的竞技游戏场景中（如FPS游戏的精确瞄准、格斗游戏的帧数级操作）存在时序保真度不足的问题。第四，模型在Guidance（指导）场景中的表现相对Solo和Co-Commentary较弱，CC和FinalQ指标均低于最强离线模型，说明在需要结合外部知识进行精确指导的场景中仍有改进空间。此外，模型的视频理解能力依赖内部世界知识而非可靠的屏幕识别，在游戏频繁更新版本、角色和物品时会变得脆弱。
独立分析的弱点
从独立分析的角度来看，Proact-VL存在以下几个值得改进的弱点。第一，响应头的阈值 $\tau$ 是一个全局固定值（主实验中为0.3），但在不同游戏、不同场景中的最优阈值可能不同——例如在紧张的BOSS战中需要更敏感的触发（低阈值），而在平静的探索阶段需要更保守的触发（高阈值）。一个自适应的、基于场景动态调整的阈值策略可能会带来更好的效果。第二，当前的说话决策是一个简单的二元分类，没有考虑「说话的紧迫程度」或「内容类型」——比如是应该做一个快速的反应性感叹，还是做一个详细的策略分析。引入多级别的响应强度可能使输出更加自然。第三，人设（persona）信息虽然在训练时通过随机采样增强了鲁棒性，但在推理时是固定的，无法根据游戏进程的紧张程度或观众的实时反馈动态调整解说风格。第四，模型在《黑神话：悟空》上的表现虽然不错，但相比域内游戏仍有差距，说明对新游戏的快速适应能力有待加强——可以探索少样本或零样本的游戏知识注入机制。
未来方向
作者在论文的Limitations部分提出了几个重要的未来方向。首先是改进证据基础生成（evidence-grounded generation），减少模型生成与屏幕证据弱相关的内容和幻觉叙述，这可能需要更强的视觉-文本对齐机制或引入视觉grounding损失。其次是提升高保真视频感知能力，探索更高效的流式视频编码器和记忆机制，以支持更高帧率（如120+ FPS）和更高分辨率（如HD/蓝光质量）的视频流处理。第三是改进鲁棒的、可更新的实体理解能力，包括更强的视觉实体识别、检索增强的grounding（如链接到最新的游戏知识库），以及对新发布内容的持续/在线适应能力。基于本文成果还可以延伸出更多研究方向：将框架扩展到游戏之外的实时视频场景（如体育直播、教育直播、安防监控）；探索多模态响应（不仅生成文本，还生成语音、表情等）；引入强化学习优化说话策略，使模型能够从用户反馈中学习更符合人类偏好的交互模式；以及将主动交互能力与具身智能结合，应用于机器人实时指导等场景。
复现评估
从复现评估的角度来看，Proact-VL的复现条件相对友好。数据方面，作者构建了Live Gaming Dataset（561小时，12款游戏，三种设置），虽然数据来自YouTube公开视频，但完整的数据处理流水线（ASR、说话人识别、领域术语校正、人设提取等）较为复杂，需要多个预训练模型（WhisperX-large-v3、Qwen3-Omni-Flash、DeepSeek-V3.2-Exp）协同工作。模型方面，Proact-VL基于LiveCC-7B-Base微调，训练仅需2000步，在64的batch size下约消耗200 H100 GPU小时，这个算力需求对于学术研究来说是完全可以承受的。推理方面，模型在单张GPU上即可运行，峰值显存约16-17GB，每个chunk的端到端处理时间约0.36-0.43秒，能够稳定支持10-15 FPS的视频流。论文还报告了基于Qwen2-VL、Qwen2.5-VL、Qwen3-VL等不同backbone的实验结果（Table 9），证明框架具有良好的backbone兼容性。不过，论文目前似乎尚未开源代码和数据，这可能会在一定程度上影响复现的便利性。
论文图表
