PFlowNet:用于视觉接地推理的感知流网络 Perceptual Flow Network for Visually Grounded Reasoning

PFlowNet 的步骤可拆为五步。第一步是数据构造 (Sec 3.1),用GPT-4o、Gemini3flash等教师对每个样本先随机膨胀专家RoI以缓解tunnel vision,再生成包含 planning state 与多个 perceptual state 的合成流 $Z_s$,最后用 verifier 做两次回答过滤:把不用流就能答对的样本作 trivial 丢弃,有用流能答对且有显著增益的样本分为 cold-start 集与 RFT 集,典型阈值是 $2 \le k_{pass} \le 16$ 接受为 RFT 集, $k_{pass} > 16$ 为 cold-start 集 (Table 1)。第二步是 cold start SFT,用 cross-entropy 拟合 $p_\theta(Z|X)$。第三步是变分RFT (Sec 3.2),按 Eq. 4 优化 $L_{vRFT}(\theta)$,即在所有子轨迹上比较前向累积与 reward 反向累积的平方差;为支持长flow并行计算,作者开发了共享前缀的 batched evaluation。第四步是奖励计算 (Eq. 3),对子流 $z_{0:k}$ 计算对比项 $\sum_{i=1}^k \log(p_\phi(c_i|I_{r_i})/p_\phi(c_i|I\setminus I_{r_i}))$ 加 efficacy 项 $\log p_\phi(Y|z_{0:k}^\top, X)$。第五步是邻域塑形,以 $B_\varepsilon(E)$ 为球控制 $\omega_\lambda$ 强度 (本文 $\lambda=4.5, \varepsilon=0.5$);推理时把 cropped feature 注入LLM,做 self-conditioned 解码,输出 $\langle thinking\rangle \langle answer\rangle$。

PFlowNet 的技术新颖性分四点。第一,把感知轨迹形式化为包含语言规划态与感知态的结构化 latent variable,首次在LVLM中实现显式语义化感知,使perceptual flow 既能作 sub-TB 的优化对象,也能作自条件推理的 prefix。第二,Sub-TB 变分目标把稀疏的末端奖励转为对所有子轨迹的 dense 监督,Figure 7 的 Pass@k 曲线证明,这种 dense 设计在V* Bench、TreeBench上让 Pass@8 仍能持续上扬,而TreeVGR 几乎饱和。第三,多维奖励的 contrastive 形式 $\prod_i p_\phi^+/p_\phi^-$ 被证明等价于反KL意义下的 privileged information distillation,既提升 caption 质量又抑制语言先验;这是首个把对比式奖励引入视觉接地推理的工作。第四,邻域几何塑形让探索与约束在同一目标中兼容: $\omega_\lambda$ 只在 $dIoU > \varepsilon$ 时才施加指数衰减,Figure 10 清晰显示出先探索后利用的训练动态。

PFlowNet 仍存在若干独立可观察的弱点。第一,perceptual flow 的格式强制定义为 plan + RoI+caption 链,对不包含细粒度视觉证据的纯文本推理、计数题、几何题帮助有限,容易让模型在无关图像上生成空转的 $z_0$ 与无用 RoI,造成延迟和token浪费。第二,多维奖励依赖一个冻结的 reward model $p_\phi$,本质上是与 policy 共享初始化的另一个 LVLM,这意味着 $p_\phi$ 的偏置会被直接复制到policy中;作者未给出对 reward model 选择/容量的消融。第三,邻域几何塑形用 $dIoU(r_{1:k}, E)$ 衡量流与专家先验的距离,然而专家框本身就是biased的,这导致塑形可能反而把 policy 拉向次优的专家附近。改进方向包括:用 adaptive template 让简单题跳过 flow 阶段、用self-rewarding mechanism 替代固定 reward model、用 DPO 风格的 contrastive preference 替代 Sub-TB。

作者把 adaptive perception 作为未来方向,即让模型根据问题难度与任务类型动态决定是否需要 perceptual flow、生成几个 RoI、用哪种结构;可与 test-time scaling 结合,做成 thought-budget controller。基于本文成果,几条方向可探索。其一,perceptual flow 可推广到视频、3D 点云、深度图等模态,Sub-TB 变分目标天然支持变长 trajectory,扩展到视频 grounding 或 3D grounding 是自然的方向。其二,$B_\varepsilon(E)$ 概念可被替换为更一般的约束语言,例如语言约束流匹配 (LCFM) 或基于规则的 guard,让塑形在文本/属性约束下生效。其三,Theorem 3.1 的 TV bound 在 $\lambda \to 0/\infty$ 时退化为 MLE 与 expert RL,提示 PFlowNet 是更广方法族的代表;据此可推导基于 Q-function 塑形或基于 flow-matching 的 policy optimization 等变体。其四,PFlowNet 的 pass@k 优势对 data augmentation、self-training、生成式RL 都有借鉴价值。

PFlowNet 的可复现性整体中等偏上。论文公开了 Qwen3-VL 4B/8B/32B 三种规模下的训练recipe,见 Appendix B:冷启动 SFT 1 epoch,RFT 2 epoch,SFT 全局 batch size 128。硬件使用 H200 GPU,8B 模型在 8 卡 H200/80G 配置下基本可复现。代码方面,作者在 ICML 2026 接收版本中给出完整的数据 pipeline (Figure 4)、verifier-based filtering (Table 1)、reward 设计 (Eq. 3-4) 与 vicinal shaping 的实现细节,并对 $\lambda, \varepsilon$ 做了ablation (Figure 10),可重复性较强。仍需谨慎之处:教师模型 (Gemini3flash、GPT-4o) 的具体 prompt 与随机种子未完全公开,会引入 cold-start 数据的方差;reward model $p_\phi$ 的具体训练数据未披露;Figure 5 给出数据集的 RoI 数与字符长度分布作统计参考但未公开原始数据。有完整 LLM 训练经验的研究者可在 2-4 周内复现主体实验。