CogOmniControl：通过创意意图认知实现推理驱动的可控视频生成 CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition

CogVLM 用 Qwen3-VL-8B-Thinking 底座，先在真实动漫数据上做 LoRA SFT（rank=16，lr $1 \times 10^{-5}$）3 epoch，再 RFT 500 步（lr $1 \times 10^{-6}$），reward = holistic + accuracy。CogOmniDiT 用 Wan2.2-T2V-14B 底座，三阶段 SFT（LoRA r=256：s1 训 LoRA 10k 步，s2 训 connector 500 步，s3 联合训 10k 步）+ RFT 200 步 256P GRPO。推理时 $C$ 输入 CogVLM 单次前向同时输出 $R$ 与 $H$；特征经 connector 与 $Z_t, Z_{ref}, Z_{ctrl}$ 拼接为 $\text{Concat}(Z_t, Z_{ref}, Z_{ctrl}, \text{Emb}_{VLM})$ 喂 CogOmniDiT；按 $H$ 自适应 evaluator 对 $N=4$ 候选打分取 $V^*=\arg\max S(V_i; H)$。

技术新颖性体现在三方面：(1) 把 reasoning 训练目标显式拆成 holistic 与 factual 两类 reward，让 CogVLM 既能写诗意分镜也能对齐硬事实；(2) CogOmniDiT 用 Concat 方式把 VLM 高层特征直接塞进 DiT 输入序列，无需额外 cross-attention 模块，相对 OmniWeaving 等更轻量；(3) harness 机制让 CogVLM 在一次 forward 内同时输出 reasoning 和 evaluator 选择列表——表 6 显示在 200 条样本里，Artifact Detector/Prompt Following/Temporal Smoothness 三种通用 evaluator 每次都被调用（共 200 次），而 Cross-modal Causality 调用 117 次、Physical Dynamic 49 次、Storyboard Annotation Following 仅 8 次，证明模型确实会根据条件做差异化评测，而不是机械使用同一套指标。

(1) 抽象条件如分镜+黏土渲染是动漫垂类数据，对真人/写实场景的迁移能力未验证；改进方向是把 CogVLM 训练数据扩展到摄影、广告等行业的真实工作流。(2) CogOmniDiT 仅用 720P 训练、256P 做 RFT，在 1080P/4K 时代可能成为画质瓶颈；可通过在 RFT 阶段加入更高分辨率的 LoRA 微调，或借鉴 Ping et al. 2026 的 progressive resolution 策略。(3) Harness 评测完全靠 LLM judge 打分，每条样本会触发多个 VLM 调用，时延与成本显著高于普通 Best-of-N；可考虑训练一个轻量化的 meta-judge 模型预筛 evaluator。(4) 闭环架构依赖 CogVLM 推理质量，若 CogVLM 在某条样本上给出错误的 harness 列表，反而会误导 Best-of-N 选择；可以引入 harness 失败检测或 fallback 机制。(5) 评估只看 200 条 720P 数据，统计显著性可能不足，标准差和置信区间未报告。

作者方向上，把 framework 推广到更长视频、更复杂 multi-shot 镜头语言，并扩展至 3D/4D 生成。基于成果可延伸：(a) 将 CogVLM 推理扩展为可解释的 intermediate tokens，与 DiT 联合微调，使 reasoning 过程对生成过程可解释、可干预；(b) 把 harness 思想推广到图像/3D 生成，构成统一的 reasoning-generation-verification 通用范式；(c) 利用 RFT 期间采集的 preference 数据反哺 CogVLM，让 CogVLM 进一步学会哪种 reasoning 会让 DiT 失败以做自我纠错；(d) 将 Gemini3.1-Pro judge 替换成开源 VLM judge 降低评测成本。

代码未开源，但作者给出了完整训练配置（Tab. 5）和超参：Qwen3-VL-8B-Thinking + Wan2.2-T2V-14B；CogVLM 的 SFT 用 LoRA rank=16、$\alpha=64$、3 epoch、lr $1\times10^{-5}$；RFT 500 步 lr $1\times10^{-6}$；CogOmniDiT 用 32×H20 96GB GPU 训练 SFT 三阶段（10k+500+10k 步），RFT 用 16×H20、batch=8、200 步。完整 pipeline 复现门槛较高：硬件门槛 ~32×H20 96G，专业动漫数据集目前未公开（基于 in-house 真实工作流），评测依赖 Gemini3.1-Pro API。基准 CogControlBench 200 条样本和 evaluator 工具的设计公开在论文附录 A/B 中，单篇复现难度中等，但完整训练 pipeline 复现难度高。