RefCaptioner：多参考图锚定的视频描述生成 RefCaptioner: Multi-Reference Image-Grounded Video Captioning

完整流程分两阶段。阶段一 SFT：用 Qwen3-VL-8B-Instruct 初始化，冻结视觉编码器和投影层，在语言模型的注意力与 FFN 注入 LoRA（rank=64, alpha=128, dropout=0.05），用 AdamW、lr=$1\times10^{-4}$、cosine、3 epoch、BF16+DeepSpeed ZeRO-2、8×H800 训练；数据是 Dmr 与 Dcap 1:1 混合，视频按 2 fps 抽帧、帧限 602,112 像素、参考图限 401,408 像素，最大序列 18,000 token，目标就是标准 next-token prediction。阶段二 HCD-GRPO：从 SFT checkpoint 出发，解冻整个 LM（不再用 LoRA），用 12,838 训练样本；每次更新对 16 个 prompt 各采 6 条回复（共 96 条，每条 ≤512 token），算双分支奖励——描述分支 $R_{cap}$ 用关键点覆盖奖励并按视频 QA 错误以 $\lambda_{qa}=0.5$ 折扣（$R_{cap}=\frac{1}{K}\sum_k s_k\cdot(1-\lambda_{qa}\frac{1}{Q}\sum_q e_q)$），参考分支按式 $R_{ref}=C_{ref}[1-\lambda_b(1-A_{bind})]^+ - m_d\lambda_d E_{DAES} - m_c\lambda_c(1-A_{CRSC})$，权重 $\lambda_b=0.3,\lambda_d=0.4,\lambda_c=0.3$；两分支等权 $R_{raw}=0.5R_{cap}+0.5R_{ref}$；组内归一化得 advantage，actor lr=$1\times10^{-6}$、KL 系数 0.005，rollout 张量并行 2，32×H800 四节点，按验证集选最终策略。

新颖性体现在四点。第一，任务定义本身是新的——把参考锚定显式塞进描述生成而非留给下游，并给出 Accuracy/Identification/Consistency 三要求。第二，奖励用「覆盖折扣」而非单纯加分，天然防骗分；并区分 $C_{ref}$（绑定对的才算覆盖）和 $A_{bind}$（绑定精度）两个层级，避免单层奖励的盲区。第三，DAES 把干扰项抑制做成可观测的二元证据信号 $E_{DAES}$，CRSC 用集合交并比量化同主体聚合，是专门为多参考一致性设计的奖励，通用 GRPO 方案里没有。第四，端到端一起学描述+锚定，对照实验（Table 2）证明这比先生成再润色的两阶段 CaptionRefine 强——后者 Ref-Bind 只有 0.805 而 RefCaptioner 达 0.967。配套的 MRVBench（含关键点库/QA 库/同实体组/干扰项四类标注）和 11 维评测体系也是首次提出的完整评测方案。

第一个弱点是裁判依赖与指标耦合——KP-Cov、VQA、Ref-Bind、Subj 一致性全靠 Gemini-3.1-Pro 给结构化打分，而 Gemini 本身又是一个被比较的参赛者，可能引入系统性偏向。改进方向是引入多裁判集成（再加 GPT、Claude）或训练轻量专用判分模型，并对裁判一致性做标注。第二个弱点是单一基座验证，只在 Qwen3-VL-8B 上跑，不知道 HCD-GRPO 在 32B 或不同视觉骨干上是否同样涨点；应在 InternVL3.5、Keye-VL 上复现关键消融。第三个弱点是奖励权重和分支权重全凭经验，建议做网格搜索或用元学习/贝叶斯优化自动调，并报告带方差的多次重复结果（论文只提到「重复三次显著」但没给具体方差）。第四个弱点是任务粒度偏粗——标签只能贴在名词短语后，无法表达「同一标签覆盖哪些时间区间」这种时序锚定，在动作序列复杂的场景会丢信息；可扩展为带时间区间的结构化标签如 。第五个弱点是只支持英文、只覆盖短视频，跨语言和长视频场景待补。

作者隐含提到的方向有：把显式锚定推广到参考条件视频生成/编辑的端到端管线，用 caption 带标签直接驱动生成器；扩展 MRVBench 到更多生成后端和真实下游任务。基于成果可延伸的方向：一是时序锚定，把短语级标签升级为带时间戳/帧区间的时空锚定，服务于精确剪辑；二是与音频描述、OCR、说话人身份联合，做全模态多参考锚定；三是把 HCD-GRPO 的覆盖折扣奖励范式迁移到带 grounding 的图像描述、文档 VQA、3D 场景描述等同样有「多候选需精确绑定」特性的任务；四是探索自博弈或在线难例挖掘，让模型在训练中主动构造对抗性干扰参考，提升 Dist-Rej 上限；五是用更小成本（如 DPO/直接偏好优化替代 GRPO 的多采样开销）把方法下沉到 7B 以下可端侧部署的规模。

复现门槛中等偏高。有利因素：代码承诺开源（github.com/pkucs-Ltf/RefCaptioner），MRVBench 测试集及标注（关键点库、QA 库、同实体组、干扰项）会按 license 释放，训练指令和输入序列化格式在 Appendix D 给得很完整，固定 seed 20260710，并明确「重复三次显著」。不利因素：训练语料（20,000 视频、171,354 参考图）因授权不公开，这是最大障碍——SFT 的 Dmr 人工核验多参考描述无法直接拿到，复现者需自建等质数据，工作量巨大。算力方面 SFT 用 8×H800、GRPO 用 32×H800 四节点，对学术组很重。基座锁定 Qwen3-VL-8B-Instruct（需 Transformers 5.8.1 / vLLM 0.11.2 等特定版本）。评测还依赖 Gemini-3.1-Pro API（有费用和限速）。综合判断：方法思路和奖励公式可复用，但完整复现训练需自建数据+租 H800 集群，难度高；若只在 MRVBench 测试集上跑已开源的 checkpoint 做评测或做小规模 LoRA 复现，则可行。