将漂移转化为约束：非平稳多流环境下的鲁棒推理对齐 Turning Drift into Constraint: Robust Reasoning Alignment in Non-Stationary Environments

完整流程分四步。Step 1 输入为图像 $v$、14 类胸部病理标签和统一提示 $l=\text{`This is a patient's chest DR image. The patient has been diagnosed with }\langle\text{diseases}\rangle\text{. Can you find the basis for the diagnosis in the image?'}$，送入 7 个 MLLM 各自生成 CoT 轨迹集 $T=\{\tau^1,...,\tau^7\}$，得到 CXR-MAX 中 170,982 个蒸馏实例。Step 2 SPD：对目标模型 Qwen2.5-VL-7B 用 AdamW（$\beta=(0.9,0.98)$，$\eta=1\times 10^{-4}$，weight decay 0.05，warmup 步 20，全量 10,686 步，batch size 2，2$\times$2 A100）最小化 $q^*=\arg\min_q \sum_u D_{KL}(\pi_u(\cdot|t_{<j},v,l) \| q(\cdot|t_{<j}))$，得到 bootstrapped 模型 $\hat{\pi}_{st}$。Step 3 共识合成：$\hat{\pi}_{st}$ 在上下文 $Context=T$ 条件下重写一条轨迹 $t^+\sim\hat{\pi}_{st}(\cdot|v,l,T)$，过滤掉无跨模型支持的 token、放大共同支持的逻辑，得到偏好锚。Step 4 APO 优化：以上一步的 $\hat{\pi}_{st}$ 为参考策略，按目标 $\mathcal{L}_{APO}=-\mathbb{E}\log \frac{\exp(r(t^+))}{\exp(r(t^+))+\sum_{u=1}^{N}\exp(r(\tau^u))}$ 训练 12,132 步（$\eta=2\times 10^{-5}$，无 warmup，余弦衰减，2$\times$2 A100），视觉编码器和文本解码器保持冻结，输出对齐后的 7B 模型。每个训练样本同时承担'增大共识似然'与'压低漂移似然'两项动态约束。

技术新颖性体现在理论与框架两个层面。理论上，本文首次把多源 MLLM 的推理对齐显式建模为非平稳概念漂移问题，定义 2.1/2.2 把单流 $\pi(\cdot|v,l,t_{<j})$ 拓展到联合流 $S_j=(s_j^1,...,s_j^N)$，并在 Eq.(3) 给出漂移的因子化分解 $\prod_u P(t_{<j}^u|v,l)\cdot P(z_j^u|t_{<j}^u,v,l)$，清晰地分离'累积历史漂移'与'瞬时推理漂移'，为后续约束优化提供可解释的语义坐标。框架上，把 DPO 的隐式奖励 $r=\beta\log \pi_\theta/\hat{\pi}_{st}$ 和 Plackett-Luce 多项分母组合，是少见的既能保持 DPO 简洁性、又能同时压制 N 条负样本的工作；Remark 2.3 把它与 DPO 的三个本质差异（内生偏好、多约束拓扑、主动遗忘）写得相当清楚。

独立分析主要有四个弱点。弱点 1：共识合成的自举依赖。Step 3 中 $\hat{\pi}_{st}$ 同时作为'上下文聚合者'和'参考策略'，如果 SPD 阶段在某一类标签上学得偏，则 Step 3 输出的 $t^+$ 也会偏，再拿去优化 Step 4，等于用自己蒸馏自己。建议的改进方向是把共识合成者换为独立的外部 LLM judge 或加入对抗式 debiasing。弱点 2：Plackett-Luce 中所有教师被同等加权，但论文已经观察到 Qwen-VL-Max 精确率高、GPT-4o 召回率高，两类互补价值不同。可引入'教师可信度/互补度'权重 $\alpha_u$，将目标改为 $\frac{\exp(r(t^+))}{\exp(r(t^+))+\sum_u \alpha_u \exp(r(\tau^u))}$，或在 APO 前先跑一轮 calibration 估计每个教师在某类上的精度/置信度。弱点 3：高漂移保守化。如前所述，对 Edema、Con. 这种天然就模糊的病理，把所有源间不一致都当 drift 压制，会把'该保守'变成'过度保守'。改进方向是为漂移强度设定阈值，仅压制高置信冲突，或在损失中加入 entropy regularization 让模型保留合理不确定性。弱点 4：单一视觉模态 + 单一报告任务的局限。本文没有在自然图像 VQA、视频理解、3D 医学等任务上验证，APO 是否对时序漂移、空间漂移同样鲁棒未知；可考虑在 EgoSchema、VideoQA、RoboSurgery VQA 等设置上扩展实验。

作者明确提出的方向是'提升效率、降低大规模多模态场景下的计算成本'。基于成果可延伸的方向还包括：（1）把 7 个教师替换为不同尺寸/不同家族的轻量子集（例如只取 Qwen-VL-Max + Gemini-2.5 + GPT-5 三个互补最强），研究'最少需要几个高多样性教师即可逼近 APO 全集性能'；（2）把概念漂移的诊断模块（Definition 2.2）扩展到时序维度，研究模型权重随更新产生的内生漂移；（3）将 CXR-MAX 推广到包含 CT、超声、病理切片的多模态版 CXR-MAX-Pro，研究跨模态漂移；（4）把 APO 与在线学习结合，处理流式到达的新教师/新数据；（5）把'漂移即约束'思路迁移到 LLM-only 推理对齐（如数学/代码），验证其通用性；（6）构造针对偏见注入的 red-team 评测，研究 APO 的对抗鲁棒性。

作者明确说明代码和数据开源在 https://github.com/XiaoyuYoung/APO ，论文给出 CXR-MAX 完整规模（170,982 实例 / 7 个 MLLM / 14 类病理 / MIMIC-CXR 1/10 子集）以及随机种子列表，因此数据可获取性较好。实现细节较为齐全：Qwen2.5-VL-7B 作为学生，AdamW $\beta=(0.9,0.98)$，SPD 阶段 $\eta=1\times10^{-4}$、10,686 步、warmup 20 步、cosine 退火、weight decay 0.05、dropout 0.1，APO 阶段 $\eta=2\times10^{-5}$、12,132 步、无 warmup，batch size 2，视觉编码器和文本解码器冻结，硬件为 2$\times$2 NVIDIA A100。但仍有复现难点：（a）七个闭源教师（GPT-5、Claude Sonnet-4、Gemini-2.5、Qwen-VL-Max、Grok-4、GLM-4.5V、Moonshot-v1）的 API 调用具有非确定性，且 API 版本升级会改变轨迹分布，第三方复现 CXR-MAX 数据集会与官方版本有差异；（b）MS-CXR-T 需要 MIMIC-CXR 的 PhysioNet 授权，复现门槛较高；（c）论文未给出 $\beta$、随机种子细节、显存峰值、训练时长等运行时元数据。综合评估：核心算法可复现但端到端 pipeline 复现需要中等算力（4 卡 A100 数小时到一天）和稳定的 API 预算，属于中等难度。