← 返回 2026-10-09

超越时空先验：可泛化的密集对应匹配方法 Beyond Spatio-Temporal Priors: A Generalizable Approach for Dense Correspondence Matching

Luping Liu, Bingyi Kang, Yifan Wang, Dong Xu 📅 2026-10-08 👍 10 2026-11-11 18:30
光流估计 图像编辑评估 基础模型 密集对应匹配 扩散模型 身份保持
arXiv HuggingFace PDF

以生成与语义基础模型把密集对应扩展至图像编辑，并量化身份保持

前置知识

密集对应匹配

为两幅图像建立像素级的稠密对应：对目标图中每个像素预测其在源图中的对应坐标，同时判断该对应是否有效。与 SIFT 等稀疏特征匹配相对，它输出逐像素对应场，是光流、三维重建、图像检索与编辑评估的共同基础任务。

本文的全部工作就是在重新定义这个任务的目标（从几何/运动规律改为身份保持）并扩展其适用边界。

光流与稠密匹配

光流估计视频相邻帧的逐像素运动向量场，依赖运动平滑假设，代表架构有 RAFT 的代价体迭代精炼和 GMFlow 的全局匹配；稠密匹配处理不同视角的静态场景，依赖刚性几何与宽基线鲁棒性（如 RoMa 用 DINOv2 特征）。两者常以 EPE（端点误差）和阈值命中率评估。

它们是本文必须保持竞争力的经典基准端，也是被批判为'简化时空先验'的来源。

共视性掩码 covisibility

标记目标图中哪些像素在源图中存在可见对应：取 1 表示可匹配，取 0 表示目标区域是新合成内容、或遮挡物移开后新暴露的内容。本文将其作为模型显式输出 $M\in[0,1]^{H\times W}$，与对应图单次前向联合预测。

IEG 生成结果中有大量无源对应的内容，共视预测是身份保持匹配在生成场景成立的先决条件。

DiT 与 FLUX

Diffusion Transformer（DiT）是以 Transformer 为主干的扩散/整流流生成模型。FLUX.2-klein-base-4B 是未蒸馏的整流流 DiT，自带冻结 VAE 潜变量编码器（8 倍下采样、32 通道）与文本条件通路，预训练权重蕴含丰富的生成式视觉先验。

本文最大胆的设计：把这个生成模型的主干改造成对应匹配回归器，继承其生成先验。

DINOv3 语义特征

自监督视觉基础模型，ViT-L/16 输出 1024 维 patch 特征，具有强语义判别力和跨外观不变性，广泛用作密集预测与匹配的特征源。本文通过零初始化线性投影将其注入 FLUX 潜变量 token，同时用它构造评估指标。

要'认出'外观剧变后的同一实例，纯几何特征做不到，必须依赖语义级表示。

EMA 教师自蒸馏

对学生参数维护指数滑动平均副本 $\bar{\theta}\leftarrow\beta\bar{\theta}+(1-\beta)\theta$（本文 $\beta=0.95$），作为更稳定的教师产生初始预测或伪标签，是 Mean-Teacher、DINO 等自监督/半监督框架的核心机制。

FreeMatching 第二阶段完全靠 EMA 自举提供初始对应，在无任何 IEG 稠密标注的条件下自我提升。

Huber 损失

误差小于阈值 $\delta$ 时为二次、大于 $\delta$ 时为线性的损失，兼具 L2 的平滑梯度和 L1 对离群点的鲁棒性。本文进一步让阈值随误差滑动平均自适应：$\hat{e}_0=0.05$，$\hat{e}_t=0.998\hat{e}_{t-1}+0.002\mathrm{MAE}_t$，$\delta_t=2\hat{e}_t$。

跟踪视频伪标签含不可避免噪声，损失的抗噪设计是异构监督（干净合成+噪声真实）能共同收敛的关键。

IEG（图像编辑与参考引导生成）

一类生成任务：按指令编辑图像，或以参考图中对象身份为条件生成新图像（代表工作 UNO、OmniGen2、Nano Banana）。输出与源图保持同一实例身份，但外观、姿态、构图可以任意变化。

它正是平滑运动与刚性几何等时空先验失效的新场景，也是本文重新定义对应任务和构建 IEG-Bench 的出发点。

研究动机

密集对应匹配长期分裂为两大范式：针对时间相邻帧的光流（假设运动平滑）与针对不同视角的稠密几何匹配（假设刚性结构）。RAFT、GMFlow、RoMa 等架构在各自赛道精益求精，UniMatch 与 UFM 虽用单一模型统一了这两类任务，但仍受简化时空先验约束——模型隐含假设对应遵循平滑运动或刚性几何。这一假设在图像编辑与参考引导生成（IEG）中彻底失效：论文图 1 中同一匹马从草地场景被编辑到雪地场景，姿态与外观剧变但身份可辨识；这类变换保持视觉身份却破坏物理连续性。直接把现有模型搬到 IEG 图像对上会产生对应遗漏或局部扭曲（图 4 中 RoMa/UFM 的失真），而且该领域此前既没有合适的模型，也没有量化'身份保持'的客观评测手段。

本文的目标是本文要构建一个单一、可泛化的密集对应模型 FreeMatching，同时达成三个目标。其一，在 IEG 图像对（源图/参考图与生成编辑结果之间）建立身份保持的稠密对应：无论外观、姿态、场景构图如何变化，只要同一实例仍可辨识就能匹配，且显式预测共视掩码以排除无源对应的新合成内容。其二，在经典光流与稠密匹配基准（Sintel、KITTI-2015、ETH3D、ScanNet-1500）上保持与专用 SOTA 方法相当的竞争力，证明扩展不以牺牲经典能力为代价。其三，把模型反转为感知度量：通过重构一致性协议对生成结果的局部身份保持给出与人类判断相关的定量分数（目标相关性 $r=0.738$ 量级），提供空间分辨率热图，替代昂贵的人评。

与已有工作不同的是，独特切入角度有三层。表示层面：首次把生成式基础模型 FLUX.2-klein-base-4B 的 DiT 权重直接作为对应匹配主干初始化，并将 DINOv3 语义特征注入潜变量 token，让模型同时继承生成先验与语义先验——RoMa 只用 DINOv2、UFM 用纯匹配 Transformer，都没有生成先验。监督层面：提出异构监督配方，把经典数据集、新构建的 52 万条跟踪视频（AllTracker 伪真值）与 36 万对 Blender 合成数据按比例混合，用自适应阈值的 Huber 损失吸收真实伪标签噪声。范式层面：在完全没有稠密标注的 IEG 数据上，用 EMA 学生自举加冻结教师（RoMa）的迭代精炼实现无监督自我提升，把'跨越大幅变化的匹配'与'残余局部对齐'两个子问题解耦；配套的重构式评估协议可双向使用——既能评模型匹配质量，也能反转成评估图像对本身身份一致性的度量。

核心方法

直觉上，人类能在外观与构型剧变后认出同一对象，因此对应学习的目标应从“遵循几何/运动规律”改为“锁定同一实例身份”。技术路线：FreeMatching 以 FLUX.2-klein-base-4B 的 DiT 为主体，冻结的 FLUX VAE 将每张图编码为 32 通道潜变量，按 $2\times2$ 邻域打包成 128 维 token（输入 $288\times512$ 时每图 576 个 token）；冻结 DINOv3 ViT-L/16 提取 1024 维 patch 特征，经零初始化线性层投影后加到对应 token 上；源图与目标图 token 拼接成 1152 个做 joint attention，位置编码同时保留空间位置与图像身份；任务专属卷积解码器单次前向输出稠密对应图 $C\in\mathbb{R}^{H\times W\times2}$ 与共视掩码 $M\in[0,1]^{H\times W}$。文本条件只用缓存空提示，推理无需迭代精炼，固定 $t=500$ 单步回归。

与已有方法的本质区别有三点。其一，任务重定义：UniMatch/UFM 的'统一'仍局限在共享运动与几何先验的任务族内，本文把任务重新定义为身份保持视觉匹配——只要存在可辨识的视觉对应物即可匹配，新合成内容或遮挡揭示区域由模型显式输出 $M=0$，从而把覆盖范围延伸到 IEG。其二，训练信号异构化：真实跟踪视频提供多样非刚性形变与自然遮挡，Blender 合成（Objaverse 资产、36 万对、每像素 128 采样）提供像素级精确真值作为'高保真锚点'，配合自适应阈值 $\delta_t=2\hat{e}_t$ 的 Huber 回归，使干净合成数据与噪声伪标签能稳定共训。其三，教师引导迭代精炼：学生模型的 EMA 副本（$\beta=0.95$）生成初始对应 $C_0$，冻结的 RoMa 教师只负责估计残余局部修正场 $S$，两者复合 $C_{\text{new}}=C_0\circ S$ 形成伪标签并做 stop-gradient，完全不需要 IEG 稠密标注——这是区别于所有需要人工对应标注方法的范式级差异。

方法步骤详情

训练分两阶段。阶段一监督预训练：ScanNet++ 15%、BlendedMVS/FlyingThings/DynamicReplica 各 10%、其余经典集各 5%，自建 Video 20%（对 ViPE 52 万片段用 AllTracker 生成稠密伪真值，滑窗 $L=16$，visibility 过滤遮挡）与 Blender 20%（Objaverse 资产随机 2-3 物体独立刚性运动、Cycles 128spp 渲染 36 万对）；损失 $\mathcal{L}_{\text{sup}}=10\mathcal{L}_{\text{huber}}+0.2\mathcal{L}_{\text{mask}}$，Huber 阈值自适应（$\hat{e}_t=0.998\hat{e}_{t-1}+0.002\mathrm{MAE}_t$，$\delta_t=2\hat{e}_t$），掩码用 $\ell_2$。阶段二教师引导精炼 10k 步：在 UNO+OmniGen2 无标注对上（batch 32、lr $3\times10^{-5}$、BF16），EMA 学生（$\beta=0.95$）预测初始对应 $C_0$ 并 warp，冻结 RoMa 教师估计局部修正 $S$，复合伪目标 $C_{\text{new}}=C_0\circ S$，优化 $\mathcal{L}_{\text{weak}}=10\mathcal{L}_{\text{self}}+0.2\mathcal{L}_{\text{mask-EMA}}$，有效区域取 RoMa 置信度(>0.2)与 EMA 共视(>0.7)交集。交付 275k 初始化精炼后的 EMA 检查点，推理单次前向输出 $C$ 与 $M$。

技术新颖性

新颖性体现在四方面。(1) 架构改造：首次把未蒸馏整流流 DiT（FLUX.2-klein-base-4B）变成单次前向对应回归器——保留其输入投影与位置编码，仅新增语义注入与输出解码器，与 RoMa（DINOv2 特征）、UFM（纯匹配 Transformer）路线根本不同，消融显示 FLUX 初始化单独带来 DINOv3 相似度 67.31→69.28。(2) 共视掩码作为一等输出与对应联合预测，显式声明“该像素没有源对应”，是 IEG 场景刚需，此前方法要么忽略要么后处理。(3) 重构式评估协议：warp 后与目标在共视区域内比较（MSE、LPIPS、DINOv3/SigLIP 2/DINOv2/OpenCLIP 相似度），既可评匹配质量，也可反转为身份保持度量并生成空间热图（图 5 精确定位被篡改的气球文字），而全局 DINO/CLIP 分数会掩盖此类局部偏差。(4) 消融链（67.31→80.01）与精炼域对照（10k-Flow vs 10k-IEG）把每个组件的贡献拆解干净，方法论扎实。

FreeMatching Architecture. Our transformer is initialized from FLUX.2-klein-base-4B. Each image is encoded into latent tokens and augmented with projected DINOv3 features. The two token sequences are concatenated for joint attention, and a task-specific decoder predicts the dense correspondence map and covisibility mask in a single forward pass.
Figure 2: FreeMatching Architecture. Our transformer is initialized from FLUX.2-klein-base-4B. Each image is encoded into latent tokens and augmented with projected DINOv3 features. The two token sequences are concatenated for joint attention, and a task-specific decoder predicts the dense correspondence map and covisibility mask in a single forward pass.
Teacher-Guided Iterative Refinement. An exponential moving average (EMA) copy of the student predicts the correspondence used to produce the Initial Warp. A frozen teacher estimates a local correction; composing it with the initial correspondence produces the Refined Warp and a correspondence target for training the student. The EMA copy evolves with the student while the teacher remains fixed.
Figure 3: Teacher-Guided Iterative Refinement. An exponential moving average (EMA) copy of the student predicts the correspondence used to produce the Initial Warp. A frozen teacher estimates a local correction; composing it with the initial correspondence produces the Refined Warp and a correspondence target for training the student. The EMA copy evolves with the student while the teacher remains fixed.
Overview of the constructed datasets. We utilize Real-World Video data for learning natural deformations, Synthetic Blender data for precise geometric supervision, and the IEG benchmark for evaluating identity-preserving correspondence between source or reference images and generated outputs.
Figure 6: Overview of the constructed datasets. We utilize Real-World Video data for learning natural deformations, Synthetic Blender data for precise geometric supervision, and the IEG benchmark for evaluating identity-preserving correspondence between source or reference images and generated outputs.

实验结果

经典基准：单一模型稠密匹配全面领先——ETH3D EPE 10.23（RoMa 11.26、UFM 12.98）、ScanNet-1500 EPE 8.56（RoMa/UFM 均 12.03），ETH3D 位姿 AUC@5° 54.22 超 RoMa 53.48；光流 Sintel Final EPE 1.36 优于 UFM 1.48、RoMa 2.49，但 Sintel Clean 1.05、KITTI 4.95 弱于 UniMatch（0.40/1.52）。IEG-Bench 主战场：Ref-MSE 6.22、LPIPS 45.41、SigLIP 2 90.77、DINOv3 80.01 四项全第一，显著超 RoMa（8.08/48.91/87.73/70.15）与 UFM（10.41/53.05/86.97/66.77）；10k IEG 公平适配后 Full-MSE 配对优势对 UFM 2.48（95% CI [1.54,3.43]）、对 RoMa 5.57（[4.06,7.13]）。精炼域对照（表 10）：10k-IEG 把 Ref-MSE 从 8.08 降至 6.22（10k-Flow 仅 7.26），且五个经典基准 EPE 全部低于 Stage1。消融（表 6）：67.31→69.28→72.76→76.52→80.01 逐级验证组件。人评（10 人盲评）MOS 2.25 远超 RoMa 1.39，与 DINOv3 指标 Pearson $r=0.738$。代价是效率：单对推理 121.9ms、显存 15.18GiB，约为 UFM 的 2.4 倍与 6.5 倍。

Supervised Training Data. We combine classical correspondence datasets with our tracked-video and Blender data. Ratios indicate sampling proportions, rounded to multiples of 5%.
Table 1: Supervised Training Data. We combine classical correspondence datasets with our tracked-video and Blender data. Ratios indicate sampling proportions, rounded to multiples of 5%.
Dense Matching and Relative Pose Estimation. Comparison with representative correspondence methods on ETH3D and ScanNet-1500. A single FreeMatching model achieves competitive performance across outdoor and indoor geometric matching and downstream pose estimation.
Table 2: Dense Matching and Relative Pose Estimation. Comparison with representative correspondence methods on ETH3D and ScanNet-1500. A single FreeMatching model achieves competitive performance across outdoor and indoor geometric matching and downstream pose estimation.
Optical Flow Estimation. Comparison with representative optical-flow and dense-matching methods on Sintel and KITTI-2015, evaluating the cross-task generalization of the same FreeMatching model.
Table 3: Optical Flow Estimation. Comparison with representative optical-flow and dense-matching methods on Sintel and KITTI-2015, evaluating the cross-task generalization of the same FreeMatching model.
IEG-Bench Evaluation. We report the mean reconstruction similarity scores (higher is better) using SigLIP 2 and DINOv3 features, along with reference-mask MSE (Ref-MSE) and LPIPS (lower is better) between the warped and target images.
Table 4: IEG-Bench Evaluation. We report the mean reconstruction similarity scores (higher is better) using SigLIP 2 and DINOv3 features, along with reference-mask MSE (Ref-MSE) and LPIPS (lower is better) between the warped and target images.
IEG-Bench comparison after 10k adaptation updates. All variants use UNO+OmniGen2 refinement data. Ref-MSE and Ref-DINOv2 use the shared frozen reference mask; Full-MSE and OpenCLIP use the full image.
Table 5: IEG-Bench comparison after 10k adaptation updates. All variants use UNO+OmniGen2 refinement data. Ref-MSE and Ref-DINOv2 use the shared frozen reference mask; Full-MSE and OpenCLIP use the full image.
Stage-wise System Construction. We progressively add components and report DINOv3 similarity (×100) on IEG-Bench.
Table 6: Stage-wise System Construction. We progressively add components and report DINOv3 similarity (×100) on IEG-Bench.
Training cost of 10k IEG adaptation on 16 H20 GPUs with global batch size 32. GPU-hours are approximate totals across the training GPUs.
Table 7: Training cost of 10k IEG adaptation on 16 H20 GPUs with global batch size 32. GPU-hours are approximate totals across the training GPUs.
Inference cost on one H20 GPU at external resolution 288×512 and batch size 1. Latency is averaged over 50 calls after warm-up; memory is peak allocated GPU memory.
Table 8: Inference cost on one H20 GPU at external resolution 288×512 and batch size 1. Latency is averaged over 50 calls after warm-up; memory is peak allocated GPU memory.
Classical-task EPE after 10k IEG adaptation. Lower is better; best results within this comparison are bold.
Table 9: Classical-task EPE after 10k IEG adaptation. Lower is better; best results within this comparison are bold.
Effect of the refinement data source. We report IEG-Bench Ref-MSE (×100) and EPE on classical benchmarks. Lower is better; best results within this comparison are bold.
Table 10: Effect of the refinement data source. We report IEG-Bench Ref-MSE (×100) and EPE on classical benchmarks. Lower is better; best results within this comparison are bold.
Quantitative comparison on IEG-Bench. We report the Human Mean Opinion Score (MOS) and objective metrics. Human (MOS) is rated on a scale of 0-3 (higher is better).
Table 11: Quantitative comparison on IEG-Bench. We report the Human Mean Opinion Score (MOS) and objective metrics. Human (MOS) is rated on a scale of 0-3 (higher is better).
Visual comparisons on IEG-Bench using UNO examples. The references in Image B are composed into Image A (B→A). Each method warps Image A toward Image B to evaluate correspondence quality.
Figure 4: Visual comparisons on IEG-Bench using UNO examples. The references in Image B are composed into Image A (B→A). Each method warps Image A toward Image B to evaluate correspondence quality.
Fine-Grained Identity Assessment. Nano Banana edits Image A into Image B (A→B). DINOv3 similarity heatmaps compare the warped source with the target within covisible regions, revealing local appearance inconsistencies. Red boxes highlight affected regions, including the altered balloon text.
Figure 5: Fine-Grained Identity Assessment. Nano Banana edits Image A into Image B (A→B). DINOv3 similarity heatmaps compare the warped source with the target within covisible regions, revealing local appearance inconsistencies. Red boxes highlight affected regions, including the altered balloon text.
Comparison with Semantic Matching. In this multi-object example, the displayed SD-DINO reconstructions, obtained with the prompts "book" and "vase", exhibit incomplete shapes and mixed object appearance. FreeMatching preserves more complete object shapes and local details without text prompts.
Figure 7: Comparison with Semantic Matching. In this multi-object example, the displayed SD-DINO reconstructions, obtained with the prompts "book" and "vase", exhibit incomplete shapes and mixed object appearance. FreeMatching preserves more complete object shapes and local details without text prompts.
查看结构化数据
任务指标本文基线提升
稠密匹配 ETH3D EPE（越低越好） 10.23 RoMa 11.26 / UFM 12.98 较 RoMa 降低约 9.1%，位姿 AUC@5° 54.22 vs 53.48
稠密匹配 ScanNet-1500 EPE（越低越好） 8.56 RoMa 12.03 / UFM 12.03 降低约 28.8%
光流 Sintel Final EPE（越低越好） 1.36 UFM 1.48 / RoMa 2.49 较 UFM 降低 8.1%（Sintel Clean/KITTI 仍落后 UniMatch 0.40/1.52）
IEG-Bench 身份保持匹配 DINOv3 相似度（×100，越高越好） 80.01 RoMa 70.15 / UFM 66.77 +9.86，Identity 基线仅 52.38
IEG-Bench 身份保持匹配 Ref-MSE（×100，越低越好） 6.22 RoMa 8.08 / UFM 10.41 较 RoMa 降低约 23%
IEG-Bench 10k 适配公平比较 Full-MSE（×100，越低越好） 10.99 UFM 13.48 / RoMa 16.57 配对优势 2.48（95% CI [1.54,3.43]）/ 5.57（[4.06,7.13]）
IEG-Bench 人评 MOS（0-3，越高越好） 2.25 RoMa 1.39 / UFM 1.13 / SEA-RAFT 0.49 +0.86，且 MOS 与 DINOv3 指标 Pearson r=0.738

局限与改进

作者承认三点局限：模型在严重遮挡、拓扑变化与剧烈非刚性形变等极端情况下仍会失败；性能天花板受制于 FLUX 与 DINOv3 等底层预训练基础模型的能力；IEG-Bench 仅约 100 对图像（来自 UNO 持出的多参考子集），类别多样性有限。我的补充观察：推理延迟与显存是 UFM 的 2-6 倍（121.9ms/15.18GiB vs 51.3ms/2.35GiB），用作大规模生成评估器时成本可观；ViPE 跟踪视频伪标签因版权不发布，社区难以完整复现数据配方；评估用的参考掩码虽冻结后对所有方法共享，但其初始候选由 FreeMatching 自身预测生成，存在潜在自偏；单次前向回归无法表达生成任务中的一对多歧义对应（如对象复制会被单峰回归平均），附录 F 的概率扩散扩展只有公式与设想、没有任何实验验证；自适应 Huber 阈值、EMA、双阈值有效性过滤等超参链条较长，稳健性依赖精细调参。

独立分析的弱点

独立分析四点弱点。第一，分辨率瓶颈：外部输入固定 $288\times512$，VAE 8 倍下采样加 $2\times2$ packing 后每图仅 576 个 token，文字、细纹理等微小结构的对应精度受限——而 IEG 编辑恰恰常发生在局部细节（如图 5 的气球文字），改进方向是多尺度/分块推理或增强输出解码器。第二，教师上限：精炼教师用 RoMa，其自身在 IEG 域的系统性偏差会被学生继承，伪目标 $C_{\text{new}}=C_0\circ S$ 只在 RoMa 置信度>0.2 的区域有效，长尾场景难以突破教师水平；可引入多教师集成，或用生成模型自身的 cross-attention 图作为交叉验证信号。第三，掩码自锁风险：$\mathcal{L}_{\text{mask-EMA}}$ 把学生共视预测拉向 EMA 输出，若训练初期 EMA 低估共视区域，误差可能自我强化；可用 SAM 分割或跨帧一致性做外部校准。第四，歧义缺失：对象复制等一对多情形被单峰回归平均成中间态错误对应，需真正落地附录 F 的扩散式多假设采样，并构造对应的多假设评测协议。

未来方向

作者在讨论中给出两个方向：其一，把附录 F 的概率扩散形式化落地，对条件分布 $p(C|I_a,I_b)$ 建模，用 $x$-prediction 训练目标 $\mathcal{L}_{\text{diff}}=\mathbb{E}_{t,\epsilon}\,\mathcal{L}_{\text{Huber}}(f_\theta(I_a,I_b,C_t,t),C_{\text{gt}})$ 表示多假设匹配，从不同初始噪声采样出多个合理对应并验证其有效性与多样性；其二，把 IEG-Bench 扩展到更多类别与更难变换。基于其成果还可延伸：把重构一致性分数用作 IEG 模型训练或偏好优化的奖励信号（与 $r=0.738$ 的人评相关性支撑了可行性）；把空间热图发展成可定位局部篡改的图像取证工具；与视频生成模型结合做时序身份一致性评估；用 FLUX 自身注意力替代 RoMa 教师形成全生成先验闭环；通过蒸馏或量化把 15.18GiB 的推理开销压缩到可在线服务的水平。

复现评估

复现评估：代码已开源（github.com/luping-liu/FreeMatching），含数据加载与轨迹格式转换脚本。算力门槛中高：原始训练 150k 步 Stage1 加 10k 步 Stage2，16 张 A100-40GB，Stage1 约 768 A100 GPU 小时（2 天）、Stage2 约 80 小时；主结果用 275k 初始化的 10k 精炼 EMA 检查点（BF16、batch 32、lr $3\times10^{-5}$），10k 适配实验在 16 张 H20 上（42.0 GPU 小时）。数据：8 个经典数据集公开可得；ViPE 52 万片段需自跑 AllTracker（滑窗 $L=16$）生成伪标签且因版权不发布；Blender 管线描述详尽可复刻（资产筛选：对角线归一化 2.0、纵横比阈值 3.0、凸包占比>0.2；Cycles 128spp）；IEG 管线需组合 UNO、OmniGen2、Qwen3-VL-8B 与 SAM 3。推理单张 H20 即可。总体难度中上，障碍在视频伪标签与 IEG 数据管线。

论文图表

Extending Dense Correspondence to IEG. FreeMatching matches across optical flow, geometric matching, and IEG. Each block shows input pairs above and our bidirectional warps below. The classical examples vary in temporal separation (top) and geometric complexity (bottom).
Figure 1: Extending Dense Correspondence to IEG. FreeMatching matches across optical flow, geometric matching, and IEG. Each block shows input pairs above and our bidirectional warps below. The classical examples vary in temporal separation (top) and geometric complexity (bottom).

把密集对应任务画成一个连续谱：上方按时间跨度从短程光流延伸到长程生成式对应，下方按空间几何复杂度从静态场景的稠密匹配延伸到多刚体运动，右端是本文新增的 IEG 生成式对应。每个方块上半部分展示输入图像对，下半部分展示模型的双向 warp 结果。

这张图一页定义了论文的问题空间与核心主张：对应任务不是两个孤立任务的统一，而是一个连续谱，IEG 是谱系上此前无人覆盖的远端。理解了这张图就理解了论文的定位。

相似论文推荐

两全其美：通过统一离散流匹配实现多模态推理与生成 🎯 65.5%
FlowLong：基于流形约束Tweedie匹配的推理时长视频生成 🎯 64.8%
FlowMimic：基于像素对扭曲流场的在线视频编辑数据生成与模态模仿 🎯 63.8%
MARCO：探索语义对应中未见的特征空间 🎯 63.6%
自举生成器：基于流匹配的非配对视觉编辑 🎯 63.2%