← 返回 2026-06-03

αDepth：用于立体转换的单次前向软边界分层分解 αDepth: Learning Single-Pass Soft Boundary Decomposition for Stereo Conversion

Xiang Zhang, Yang Zhang, Lukas Mehl, Karlis Martins Briedis, Markus Gross, Christopher Schroers 📅 2026-05-29 👍 8 2026-07-13 08:36
Alpha抠图 分层表示 单目深度估计 无需手动引导 立体转换 视图合成 软边界分解
arXiv HuggingFace PDF

提出αDepth分层表示，单次前向分解软边界实现高保真立体转换。

前置知识

立体转换与软边界

把单张2D图像合成为左右眼立体对，用于VR/AR与电影制作。难点在于头发、毛发、散焦模糊等“软边界”处，前景与背景颜色在单个像素内混合，造成深度对应关系的歧义。

本文核心任务就是立体转换，所有方法设计都围绕“如何在软边界处恢复高保真结构”。不懂软边界就无法理解为何要引入分层表示与CAR。

Alpha抠图与颜色混合模型

Alpha抠图估计前景不透明度$\alpha\in[0,1]$，像素颜色满足$I=\alpha I_{FG}+(1-\alpha)I_{BG}$。它能把前景从背景分离，但传统方法依赖trimap等手动引导。

αDepth的名称与核心公式都源自alpha compositing；CAR正是把$\alpha$重参数化到三角空间。理解混合模型是读懂分层表示的前提。

单目深度估计及其单层局限

从单张RGB预测每像素到相机的深度。Depth Anything V2、Marigold、Pixel-Perfect Depth等基础模型只输出单层深度值，在软边界处无法表达前后景重叠，导致深度歧义与飞像素。

αDepth把深度当作输入而非从零预测，正是为了“插拔式”复用这些SOTA深度模型。理解单层局限才能明白分层表示解决了什么。

Trimap与抠图手动引导

Trimap是标注前景/背景/未知区域的三值图，ViTMatte等抠图方法用它做引导。分割掩码、点框等视觉提示也属此类，通常需逐实例标注或多次前向。

αDepth最大卖点是“无需用户干预”。必须先懂现有抠图为何依赖trimap，才能体会CAR做“场景级单次推理”的意义。

Softmax splatting与视图变换

一种深度引导的前向投影方法，用softmax处理遮挡，把图像扭到新视角，常用于立体转换与新视图合成。软边界处的深度歧义会令其产生飞像素与断裂边缘。

αDepth的分层warping（Eq.6-8）是对softmax splatting的扩展，先投影前景层再合成背景。不懂基础warping就看不懂分层投影为何有效。

研究动机

立体转换把2D图像提升为3D，对VR/AR和电影制作至关重要。近期方法借助扩散先验（Eye2eye、StereoCrafter、SplatDiff、Elastic3D）合成新视角，但在“软边界”处普遍失守。这里存在两个根本挑战。其一是前景背景混合：主流单目深度模型（Depth Anything V2、Marigold、Pixel-Perfect Depth等）每像素只预测一个深度值，无法表达软边界处前后景重叠，导致深度歧义；即便是改进边界细节的HairGuard，也因单层深度表示仍出现background bleeding与aliasing。直接用Video Depth Anything做warping会产生断裂边缘和飞像素（见Fig.3a的EPI）。其二是多目标复杂场景：alpha抠图方法（ViTMatte、MatAnyone 2）依赖trimap、分割掩码或点框等手动引导做实例级推理，无法自动化处理一帧内的多个目标；而无引导方法（GVM、MODNet、RVM）通常只针对人/动物等特定类别，难以泛化到散焦模糊等电影常见软边界。

本文的目标是本文目标是设计一种分层表示αDepth，在不依赖任何用户干预的前提下，对复杂场景的软边界做高保真分解，从而显著提升立体转换质量。具体而言：(1)在软边界处联合估计前景与背景的颜色和深度，显式解耦混合颜色、消除深度歧义；(2)提出Circular Alpha Representation(CAR)，把建模对象从“全局前景提取”转为“局部软边界过渡”，使单一前向传播即可自动分解整帧多个重叠目标；(3)设计高效的训练数据构造方法，把现有抠图数据集复用为αDepth训练对；(4)保持对SOTA深度模型的插拔式兼容，让opaque区域沿用原深度以保证几何保真。最终在立体图像/视频转换、warping和alpha抠图三类任务上全面超越现有SOTA。

与已有工作不同的是，本文的独特切入角度是“范式转换”：把matting从全局前景提取转变为局部软边界分解。传统抠图必须先定义全局前景/背景，导致多目标场景下相交边界出现尖锐不连续（即“alpha valley”问题，Fig.3b）。作者观察到：虽然全局上可能需要很多层才能处理所有遮挡，但局部每个软边界只需两层（前景/背景）即可有效分离，因此可放弃全局FG/BG定义，把所有opaque区域（无论前/后景）当作同一类，只估计半透明边界处的不透明度。配合CAR把$\alpha$绕成圆周、让$\alpha=0$与$\alpha=1$映射到同一点，就把相交边界的离散跳变压成连续流形，从而彻底绕开alpha valley。这一“局部两层+圆形alpha”视角是区别于单层深度模型与全局引导抠图的关键。

核心方法

整体直觉是：软边界处的像素本质是前景与背景的混合，那就把两层都恢复出来再合成。技术路线为：给定输入图像$I_{IN}$与深度图$D_{IN}$，先抽取深度梯度作为软边界定位的强先验；再用双路编码器提取特征——detail编码器（基于UNet，1.17M参数）保留纹理结构细节，semantic编码器（基于DINOv2、用Depth Anything V2权重初始化，319.46M参数）提取深层语义用于软边界推理；随后多分支解码器（基于UNet decoder）分别预测alpha、分层颜色与分层深度。alpha经CAR解码后调制并约束软边界区域的分层颜色/深度预测（Eq.4），opaque区域保留原图原深度。最后通过分层warping合成初始新视角，再用HairGuard的scene painter和color fuser做disocclusion修复与纹理增强。整个流程无需trimap或掩码。

核心创新是Circular Alpha Representation(CAR)。它把ground-truth alpha投影到连续三角空间：$\alpha_{sin}=\sin(2\pi\alpha)$，$\alpha_{cos}=\cos(2\pi\alpha)$，利用三角函数的周期性把背景($\alpha=0$)与不透明前景($\alpha=1$)映射到同一坐标$(0,1)$，从而把相交边界处的离散跳变坍缩成连续流形（Fig.5），消除alpha valley并利于优化。推理时直接预测$(\hat\alpha_{sin},\hat\alpha_{cos})$，用四象限反正切解码$\hat\alpha=(\text{atan2}(\hat\alpha_{sin},\hat\alpha_{cos})/2\pi)\bmod 1$，opaque区域统一为$\hat\alpha=0$。这与依赖全局FG定义的抠图（会产生alpha valley）和单层深度模型（无法表达重叠）有本质区别，使模型聚焦“局部边界过渡”而非“全局前景提取”。

方法步骤详情

分七步。(1)输入：读取图像与深度图，提取深度梯度作边界先验。(2)双路编码：detail+semantic编码器(DINOv2+Depth Anything V2权重)抽语义与细节特征。(3)多分支解码：alpha解码器经CAR解码得alpha，以$\alpha_{th}=0.02$阈值化得软边界掩码；color/depth解码器输出分层前/背景颜色与深度，按alpha调制的掩码融合仅作用于软边界区，opaque区保留原值。(4)分层warping：先联合投影前景层再单独投影背景层，最后做alpha合成。(5)用HairGuard的scene painter/color fuser修复遮挡与增强得立体对。(6)数据：由抠图与图像数据集合合成成对训练样本。(7)两阶段训练：总损失$\mathcal L=\mathcal L_I+\mathcal L_D+\mathcal L_\alpha$，第一阶段软边界用$L_1$+$\mathcal L_m$，第二阶段全图$\mathcal L_m$精修；batch 32，lr $1\times10^{-5}$，约6天/单卡A6000。

技术新颖性

技术新颖性可归纳为四点。第一，CAR首次用三角编码把alpha绕成圆周，让opaque与背景映射到同一点，从根本上消除多目标相交处的alpha valley，并把任务从“全局前景提取”转为“局部边界过渡”，从而单次前向即可分解整帧多个重叠目标、无需trimap或掩码。第二，提出局部两层（前景/背景）分解表示——作者证明局部两层即可有效分离软边界，无需为复杂场景定义全局多层，且opaque区域零alpha保留了原深度，实现与SOTA深度模型的插拔式兼容。第三，多分支解码器显式解耦alpha/颜色/深度三种模态，避免特征干扰，消融显示SAD从8.22降到7.24。第四，提出高效数据构造策略，把现有抠图数据集通过圆形编码+掩码融合复用为分层训练对，缓解了分层标签稀缺问题；同时把深度梯度作为强边界先验显著稳定多任务训练收敛。

Challenges of soft boundary recovery in stereo conversion.
Figure 3: Challenges of soft boundary recovery in stereo conversion.
αDepth estimation pipeline.
Figure 4: αDepth estimation pipeline.
Circular Alpha Representation (CAR).
Figure 5: Circular Alpha Representation (CAR).
Training Data Curation.
Figure 6: Training Data Curation.
Visual comparisons of ablation models.
Figure 12: Visual comparisons of ablation models.

实验结果

实验在立体转换、warping与alpha抠图三类任务上全面验证。立体转换(Table 1)：Mono2Stereo图像S-PSNR 25.60、S-SSIM 0.7554优于HairGuard(25.05/0.7445)；Marvel-10K视频S-PSNR 28.46、FVD 1.72大幅优于HairGuard(27.10/2.14)刷新时序一致性SOTA。warping(Table 2)：固定同一VDA深度时VDA+αDepth S-PSNR 28.68优于VDA+HairGuard 27.90，证明分层建模在边界更稳。alpha抠图(Table 3)：无需手动引导即取得平均排名2.17，与需trimap的ViTMatte、需掩码的MatAnyone 2相当，AIM-500 SAD 7.24略优于ViTMatte 7.44。消融(Table 4a)从纯VDA warp(A#1 S-SSIM 0.6718)逐级到完整分层+CAR(A#4 0.7636)，证明前景估计、CAR、分层背景互补；Table 9显示多分支解码器把SAD从8.22降到7.24。

Stereo image/video conversion performance.
Table 1: Stereo image/video conversion performance.
Warping performance on Marvel-10K.
Table 2: Warping performance on Marvel-10K.
Alpha matting performance.
Table 3: Alpha matting performance.
Ablation study (αDepth components and CAR strategies).
Table 4: Ablation study (αDepth components and CAR strategies).
Pixel-level metrics on full image.
Table 5: Pixel-level metrics on full image.
Number of parameters for each component.
Table 6: Number of parameters for each component.
Matting performance of αDepth with different depth models.
Table 7: Matting performance of αDepth with different depth models.
Warping performance (FVD) under different camera trajectories.
Table 8: Warping performance (FVD) under different camera trajectories.
Ablation of multi-branch decoder on matting datasets.
Table 9: Ablation of multi-branch decoder on matting datasets.
Ablation of edge extraction and semantic encoder on Marvel-10K.
Table 10: Ablation of edge extraction and semantic encoder on Marvel-10K.
Visual comparisons with HairGuard in warping and stereo conversion.
Figure 7: Visual comparisons with HairGuard in warping and stereo conversion.
Visual comparisons with alpha matting methods.
Figure 8: Visual comparisons with alpha matting methods.
Stability comparisons between vanilla alpha representation and CAR.
Figure 9: Stability comparisons between vanilla alpha representation and CAR.
Alpha estimation performance under different depth inputs.
Figure 10: Alpha estimation performance under different depth inputs.
Warping performance under large viewpoint changes.
Figure 11: Warping performance under large viewpoint changes.
查看结构化数据
任务指标本文基线提升
立体图像转换 (Mono2Stereo, 软区域像素级) S-PSNR / S-SSIM / LPIPS / DISTS S-PSNR 25.60, S-SSIM 0.7554, LPIPS 0.1181, DISTS 0.0417 HairGuard 25.05/0.7445/0.1212/0.0444; SplatDiff 24.78/0.7339/0.1235/0.0439; Mono2Stereo 24.48/0.6933 S-PSNR比HairGuard高+0.55，LPIPS降0.0031，全面消除background bleeding
立体视频转换 (Marvel-10K, 软区域+时序) S-PSNR / FVD (视频一致性) S-PSNR 28.46, S-SSIM 0.8373, LPIPS 0.0699, FVD 1.72 HairGuard 27.10/0.8239/0.0734/2.14; StereoCrafter FVD 10.05; SplatDiff FVD 2.18 S-PSNR比HairGuard高+1.36，FVD从2.14降到1.72(-19.6%)，视频时序一致性大幅领先
Warping性能 (Marvel-10K, Table 2) S-PSNR / S-SSIM / LPIPS / DISTS / FVD VDA+αDepth: S-PSNR 28.68, S-SSIM 0.7636, LPIPS 0.1190, FVD 7.13 VDA+HairGuard 27.90/0.7328/0.1277/0.0839/9.39; 纯VDA 26.14 S-PSNR比HairGuard高+0.78，FVD从9.39降到7.13，分层warp优于单层深度精修
Alpha抠图 (AIM-500, 无手动引导) SAD / Grad / Conn (越低越好) 无需任何引导: SAD 7.24, Grad 20.20, Conn 3.89 ViTMatte(需trimap) 7.44/17.82/4.07; MatAnyone 2(需掩码) 7.42/21.61/4.06; GVM(无引导) 9.64/34.04/5.35 SAD比ViTMatte低0.20、比GVM低2.40，却完全不需要trimap/掩码
αDepth设计消融 (Marvel-10K, Table 4a) S-SSIM / LPIPS / DISTS A#4 完整分层+CAR: S-SSIM 0.7636, LPIPS 0.1190 A#1 纯VDA 0.6718/0.1337; A#2 加前景估计 0.7165; A#3 换CAR 0.7214 完整模型S-SSIM比基线A#1高+0.0918，证明前景估计、CAR、分层背景三者互补
多分支解码器消融 (AIM-500/P3M-10K, Table 9) SAD / Grad / Conn w/ 多分支解码器: SAD 7.24, Grad 20.20 w/o 多分支(统一解码器): SAD 8.22, Grad 25.95 SAD从8.22降到7.24(-0.98)，验证显式解耦alpha/颜色/深度模态有效
大视角变化下的鲁棒性 (Table 8, ReCamMaster轨迹) FVD (越低越好) DAv2+αDepth: AIM-500 34.26, P3M-10K 43.58 DAv2 36.99/48.47; DAv2+HairGuard 36.00/47.17 在10种复杂相机轨迹下FVD均最低，软边界保真度在大幅视角变化下仍领先

局限与改进

作者在D节承认三点局限。其一依赖初始深度：αDepth只分解局部软边界，全局几何与尺度仍由输入深度决定，若底层深度模型在极端几何畸变下失效，本方法难以完全修正。其二两层表示：当单像素处有三层及以上半透明重叠时，当前两层模型无法完整捕捉所有分层信息。其三视频一致性：CAR虽在视频上展现时序一致性，但模型本质是图像级的，缺乏显式时序约束，动态场景中深度剧变处可能闪烁，且对低深度梯度的边界（两目标深度接近）易失效。补充观察：最终立体对依赖HairGuard的scene painter/color fuser做修复与增强，端到端质量部分受这些外部模块限制；训练需单卡A6000约6天，且alpha监督来自抠图数据集而非真实立体GT，软边界的“真值”本身存在近似。

独立分析的弱点

独立分析有四点弱点及改进方向。(1)两层上限：CAR解决了相交边界的alpha valley，但三层以上重叠(如烟雾后毛发后背景)仍欠拟合，可扩展为可变屽数，用迭代“逐层剥离”机制或局部辐射场建模多层半透明。(2)图像级时序：无时序约束导致视频闪烁，可引入spatio-temporal attention或光流一致性损失，把αDepth升级为视频模型。(3)深度耦合单向：αDepth只“消费”深度不反传修正全局几何，可做端到端联合优化，让边界先验反向修正基础深度模型，或加confidence-aware融合在深度不可靠处更依赖语义。(4)对外部inpainting的依赖：最终质量被HairGuard的scene painter/color fuser制约，可训练专用的分层感知disocclusion修复模块，或把warping与修复统一到一个扩散框架内，减少pipeline割裂。

未来方向

作者明确提出的方向包括：把αDepth与基础深度模型端到端联合优化以修正全局几何畸变；引入confidence-aware融合机制在深度低可靠时更依赖图像语义；扩展到任意层数的迭代层剥离；在相交边界引入局部辐射场(volumetric)表示以建模多层半透明；以及加入spatio-temporal模块稳定视频序列的分层预测。基于本成果还可延伸：把CAR的三角重参数化推广到其它存在0/1拓扑边界跳变的任务(如二值分割边缘、光流遮挡边界)；将αDepth表示接入3D Gaussian Splatting/NeRF类重建以获得更精确的软边界几何；探索用扩散模型从单图直接生成αDepth表示而不依赖外部深度先验；以及在电影工业流水线中评估其对散焦模糊、运动模糊等复杂软边界的真实可用性。

复现评估

复现难度中等偏高。有利因素：关键细节齐全——AdamW、448×448、batch 32、学习率$1\times10^{-5}$、每阶段50 epoch、约6天/单卡A6000；数据集均公开(AM-2K、Composition-1K、RealEstate10K、DL3DV-10K、AIM-500、P3M-10K、Mono2Stereo、Marvel-10K)；对比方法(HairGuard、StereoCrafter、SplatDiff、ViTMatte、MatAnyone 2、GVM)有据可查；模型328.58M、推理0.0153秒/图、峰值显存607.87MB均报告且消融充分。不利因素：论文为DisneyResearch|Studios的Preprint，未见明确开源声明；最终结果依赖HairGuard预训练的scene painter/color fuser，可用性不明；semantic编码器需Depth Anything V2权重、depth需DAv2/VDA，构成外部依赖链。总体方法主体可复现，完整pipeline需自行补齐外部模块。

论文图表

Layered αDepth Representation.
Figure 1: Layered αDepth Representation.

展示αDepth的分层表示：给定图像与深度图，模型在局部软边界(非零alpha区域)估计alpha、前景/背景颜色与深度，单次前向即可推断多个重叠目标，无需用户干预，覆盖头发、细结构与散焦模糊。

用一张图直观交代了αDepth“是什么、输入输出是什么、为何优于单层深度”，是理解整篇工作动机与贡献的入口。

Comparison with existing paradigms.
Figure 2: Comparison with existing paradigms.

对比三类范式：深度估计模型每像素单深度(无法处理混合颜色)、传统抠图需trimap做实例级软边界、αDepth的分层表示可在单次前向自动做场景级分解，输出分层颜色/alpha/分层深度。

把αDepth定位在“单层深度”与“全局引导抠图”之间，清晰呈现差异化路线，是动机部分的核心视觉论证。