JanusMesh：通过跨空间去噪实现的快速零样本 3D 视觉错觉生成 JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising
提出两阶段框架，3-5分钟生成单一3D网格，从不同视角呈现不同语义的错觉效果
前置知识
Signed Distance Field (SDF)
符号距离场是一种隐式几何表示方法，将 3D 空间中每个点映射到其到物体表面的最近距离，内部点为负值，外部点为正值。SDF 提供了连续的几何表示，便于进行平滑操作和融合，比二值体素网格更适合处理形状混合。
本文通过平均两个 SDF 并二值化来实现无缝的几何融合，这是避免直接拼接产生尖锐接缝的关键技术，能够产生几何稳定且连贯的融合表面。
Rectified Flow (RF)
Rectified Flow 是一种生成模型训练方法，通过学习从噪声分布到数据分布的直线路径，而不是扩散模型的随机游走路径。在推理时，RF 可以通过简单的欧拉积分沿着直线轨迹去噪，通常需要更少的采样步骤。TRELLIS 模型采用了两阶段的 RF 架构，先预测低分辨率稀疏体素结构，再用高维外观特征进行细化。
本文的 Stage 1 构建在 TRELLIS 的 Rectified Flow 之上，利用其在 3D 潜在空间的去噪过程实现快速的双语义网格生成，相比 SDS 优化方法有显著的效率优势。
Classifier-Free Guidance (CFG)
Classifier-Free Guidance 是一种无需训练分类器就能增强条件生成模型输出与条件一致性的技术。在推理时，模型同时预测条件生成和无条件生成（条件为空）的结果，然后通过加权组合 $\hat{z} = z_{\text{uncond}} + \omega(z_{\text{cond}} - z_{\text{uncond}})$ 来强化条件影响。$\omega$ 称为 guidance scale，值越大条件越强，但过大可能导致过饱和。
本文在 Stage 1 中使用 CFG 并配合 Interval CFG 在特定噪声范围内应用，在提升生成质量的同时避免极端噪声水平下的过饱和问题，这是解决 SDS 方法过饱和的关键。
CLIP-guided Orientation Search
这是本文提出的自适应方向搜索方法，通过 CLIP 模型计算文本-图像相似度和图像-图像相似度，自动选择最优的融合角度。首先从 4 个正交渲染中选择 CLIP 文本-图像相似度最高的视图作为锚点视图 $I_1$，然后在 28 个 3D 旋转候选中选择与 $I_1$ 图像-图像相似度最高的角度 $\theta^*_2$。
不同的物体在标准姿态下可能有显著的朝向差异，直接在默认角度融合会导致轮廓不匹配破坏错觉效果。CLIP 引导的搜索确保两个物体在几何上兼容的朝向下进行融合，这是解决几何不兼容问题的关键。
研究动机
现有方法在生成 3D 视觉错觉方面存在严重缺陷。基于 SDS 的优化方法（如 Shape From Semantics）每个形状需要约 40 分钟的优化时间，且产生严重的颜色过饱和问题和几何泄漏现象，从目标视角能看到不该出现的另一语义的特征。直接拼接方法虽然快速，但会产生不自然的几何接缝和可见的背面泄漏，破坏了错觉的沉浸感。在图 2 的对比中，SDS 方法展示的鹦鹉和船只组合出现严重过饱和，直接拼接则在目标视图中暴露了另一侧的几何结构（红色箭头标注），两者都无法产生真正连贯的错觉效果。
本文的目标是本文的目标是开发一个快速且零样本的框架，能够在 3-5 分钟内生成高质量的 3D 视觉错觉。具体而言，给定两个文本提示和两个目标视角，生成一个单一的 3D 网格，使其在目标视角分别呈现两种完全不同的语义（如从 $\theta_1$ 看是孔雀，从 $\theta_2$ 看是菠萝），而从其他任意视角看则呈现抽象几何体，完全隐藏两种对立语义。关键要求包括：目标视角的语义可识别性、任意视角的几何完整性、以及在非目标视角的错觉效果（隐藏对立语义）。
与已有工作不同的是，本文的独特切入点是将 2D 多视图错觉的零样本精神（Visual Anagrams 的噪声平均原理）扩展到原生 3D 潜在空间，并创新性地引入跨空间去噪机制。与现有方法不同，本文不去优化 3D 表示以匹配多视角渲染，而是在去噪过程的每一步动态解码到体素空间进行 CLIP 引导的方向对齐和 SDF 融合，然后重新编码回潜在空间。这种"解码-融合-重编码"的跨空间操作确保了几何融合的有效性，而无需针对每个形状进行优化训练。此外，本文首次引入 CLIP 引导的自适应方向搜索，解决了不同物体标准姿态不兼容导致的融合失败问题。
核心方法
本文提出了一个两阶段的零样本框架。直觉上，创建一个从不同视角呈现不同语义的 3D 物体需要解决两个核心问题：几何融合和纹理分配。几何上，两个物体的形状需要无缝融合，不能有明显的接缝；纹理上，不同的视角需要呈现完全不同的外观，且过渡自然。技术路线上，Stage 1 使用 TRELLIS 的 Rectified Flow 进行双分支几何生成，在每一步将潜变量解码到体素空间，通过 CLIP 引导的方向搜索对齐两个物体的轮廓，然后使用 SDF 平均进行几何融合，最后重新编码回潜在空间继续去噪。Stage 2 独立处理纹理，使用深度条件化的 ControlNet 从两个目标视角分别预测纹理，通过余弦加权混合将多视图贡献整合到最终的 3D 网格上。
本文的核心创新是跨空间双分支去噪和 SDF 融合机制。与 Visual Anagrams 在 2D 像素空间平均噪声估计不同，本文在 3D 潜在空间的双分支去噪过程中，每一步都解码到体素空间进行几何操作。这避免了直接在潜在空间进行空间变换导致的分布失真。几何融合采用 SDF 平均而非简单的二值体素逻辑运算，SDF 的零等值面自然地对应两个物体之间的中间形状，产生几何稳定且连贯的融合表面。这种机制的独特性在于它强制在目标视点呈现发散的语义，而大多数同步去噪方法（如多视图扩散外推）的目标是强制一致性。另一个关键创新是视图条件化纹理合成，不同于现有方法将单个提示均匀应用于整个表面，本文根据当前相机角度选择使用哪个分支的纹理预测，通过余弦加权混合在边界实现自然过渡。
方法步骤详情
Stage 1 几何生成从共享的初始噪声 $z_t$ 开始，执行两个独立的去噪分支分别对应提示 $y_1$ 和 $y_2$，使用 Rectified Flow 网络 $u_\theta$ 在每个时间步 $t$ 估计干净潜变量：$\hat{x}^1_{1|t} = z_t + u_\theta(z_t;t,y_1)(1-t)$ 和 $\hat{x}^2_{1|t} = z_t + u_\theta(z_t;t,y_2)(1-t)$。每个干净潜变量估计通过 Sparse Structure Decoder 解码为体素表示 $v_1$ 和 $v_2$，然后通过 CLIP 引导的方向搜索确定相对旋转角度（Case 3）或使用预设角度（Case 1/2）。将两个体素对齐到同一参考帧后，计算它们的截断 SDF（clip_s = 12），元素级平均得到 $\text{SDF}_{\text{avg}} = \frac{\text{SDF}(v_1) + \text{SDF}(v_2)}{2}$，然后用阈值 $\tau = 0.8$ 二值化得到融合几何 $\hat{x}_{1|t}[\text{SDF}_{\text{avg}} < \tau]$。融合后的体素逆向旋转恢复原始坐标系，通过 Sparse Structure Encoder 重新编码为 $\hat{z}^1_{1|t}$ 和 $\hat{z}^2_{1|t}$ 用于下一步去噪。Stage 2 纹理合成独立于 TRELLIS 的文本化，使用深度条件化的 ControlNet（Stable Diffusion）从两个目标视角 $\theta_1$ 和 $\theta_2$ 渲染融合后的网格，预测干净图像 $\hat{x}^1_{1|t}$ 和 $\hat{x}^2_{1|t}$。在每个去噪步骤，将这些纹理估计反投影到 3D 表面，最后通过 Mesh Texture Aggregation 使用基于表面法线的余弦加权混合整合多视图贡献，产生单一且无缝的纹理。
技术新颖性
本文的技术新颖性体现在三个方面：首先，跨空间去噪架构首次将 Visual Anagrams 的噪声同步原理从 2D 像素空间扩展到原生 3D 潜在空间，并通过解码-融合-重编码的循环确保几何操作的有效性；其次，SDF 平均融合策略在保留几何连贯性的同时实现了真正的无缝融合，这与大多数 3D 生成中采用的并集、交集等布尔运算有本质区别；最后，视图条件化纹理合成打破了现有 3D 文本化方法将单个提示均匀应用的局限，通过视角特定的纹理分配和余弦加权混合实现了真正意义上的双语义外观。这些创新共同使得本文能够在不进行任何针对任务训练的情况下，生成高质量的 3D 视觉错觉。
实验结果
在 50 个随机采样提示对的实验中，本文方法在多个关键指标上显著优于基线方法。GPT 准确率达到 84%，远超 Direct Concatenation 的 76% 和 Shape From Semantics 的 70%，表明语义清晰度的大幅提升。物体检测指标平均对象计数为 0.86，多对象率为 18%，而 Direct Concatenation 分别为 2.1 和 56%，证明了本文在几何融合连贯性上的优势。CLIP 对比分数为 19.26，低于 Direct Concatenation 的 20.38，表明本文更好地防止了跨视图语义泄漏。Impact Factor 达到 0.994，接近理想的 1.0，而 Direct Concatenation 为 1.129，说明融合边界的几何平滑度更优。运行时间方面，Case 1 和 2 总计约 3 分钟，Case 3 因 CLIP 搜索约 5 分钟，相比 SDS 方法的 40 分钟有数量级提升。用户研究进一步验证了这些定量发现，78.5% 的参与者将本文结果评为"清晰可识别"，71% 的参与者更偏好本文方法，91% 认为 CLIP 引导的方向比固定角度产生更自然的错觉效果。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语义识别准确率 | GPT Accuracy (%) | 84 | 76 (Direct Concatenation) | 提升 10.5% |
| 几何融合连贯性 | Avg. Object Count | 0.86 | 2.1 (Direct Concatenation) | 降低 59% |
| 多视图泄漏抑制 | CLIP Contrast (opposite) | 19.26 | 20.38 (Direct Concatenation) | 降低 5.5% |
| 生成效率 | Runtime (single shape) | 3-5 min | ~40 min (Shape From Semantics) | 提升 8-13 倍 |
局限与改进
作者承认了三个主要局限性：首先，本文方法继承了 TRELLIS 在特定物体类别上的失败案例，例如猪和蝙蝠，这可能源于这些物体的复杂解剖结构或训练数据覆盖不足；其次，CLIP 引导的方向搜索在三对象错觉生成中表现不佳，因为三个轮廓平均后会产生模糊形状，因此目前固定角度为 $0^\circ/120^\circ/240^\circ$，自动三对象对齐仍是未来工作；此外，虽然本文方法显著减少了 SDS 方法的过饱和问题，但在某些情况下仍可能出现轻微的颜色失真。从独立观察的角度，本文方法在几何上差异极大的物体对上可能仍出现融合困难，需要依赖 Noise Guidance 进行干预，而 Noise Guidance 的强度选择需要根据具体配对调整，缺乏自动化的选择机制。
独立分析的弱点
本文的一个主要弱点是 CLIP 引导的方向搜索依赖于离散角度采样（90°间隔），这可能导致对齐不够精确。对于轮廓高度敏感的物体对，45° 或更细粒度的采样可能产生更好的融合效果，但会增加计算开销。另一个弱点是三对象错觉生成中的方向搜索失效，这是因为三个轮廓的 SDF 平均在几何上更加复杂，模糊的中间形状使得 CLIP 图像-图像相似度失去判别力。改进方向可以考虑更复杂的轮廓对齐策略，例如使用可微分的 3D 旋转优化或引入轮廓特征的局部匹配。此外，Noise Guidance 的配置（$\alpha = 0.3$ 或 $t_0 = 10$）是基于经验设置的，缺乏自适应机制，未来的改进可以开发基于几何兼容性指标的自动配置系统。
未来方向
作者提出的未来工作方向包括：改进三对象错觉生成的自动对齐机制，探索更密集的方向搜索采样，以及扩展 TRELLIS 的训练数据以覆盖更多失败案例。基于本文成果的可延伸方向包括：将双语义生成扩展到动态 3D 内容（如视频或动画），探索更多语义数量的错觉生成（四对象或更多），以及将框架应用于其他 3D 生成任务如角色设计或产品原型。另一个有趣的方向是将视图条件化纹理合成与其他条件生成任务结合，例如根据光照条件或材质参数生成不同外观的 3D 对象，这在游戏开发和数字孪生中有重要应用价值。此外，本文的跨空间去噪机制可以推广到其他需要多条件融合的生成任务，如多模态 3D 生成或风格迁移。
复现评估
论文提供了项目页面 https://siang1105.github.io/JanusMesh.github.io/，但未在正文中明确说明代码开源情况。实验在单张 NVIDIA RTX 4090 GPU 上进行，硬件需求相对较高但可及。数据集方面，作者从 Shape From Semantics 收集了 60 个不同物体，涵盖鸟类、哺乳动物、爬行动物和水生动物、植物和人造物五个类别，提示对的采样是随机进行的，未提供固定的测试集。实现细节较为详细，包括超参数设置（SDF 融合的 clip_s = 12、$\tau = 0.8$，Stage 1 的 25 步去噪和 CFG 的 $\omega = 7.5$ 在 $t \in [0.5, 0.95]$ 内，Stage 2 的 30 步去噪等）。总体而言，复现难度中等，主要挑战在于 TRELLIS 和 CLIP 模型的正确集成以及 SDF 融合的精确实现。
论文图表
这张图展示了本文框架的整体效果。给定两个不同的文本提示（"A Peacock" 和 "A Pineapple"），生成一个单一的 3D 网格。从任意视角看，这个形状无法识别，但从特定的相机角度（View $\theta_1$ 和 View $\theta_2$）观察时，它完美地揭示了两种目标语义。图中还标注了使用的技术栈 [cs.CV] 和日期信息（2026 Jun 18）。
这张图对理解论文至关重要，它直观地展示了 3D 视觉错觉的核心概念和本文要解决的任务目标。通过实际生成的网格和两个目标视角的渲染，读者可以立即理解什么是 3D 视觉错觉以及本文方法要实现的效果，这比文字描述更加清晰直接。
这张图对比了三种 3D 视觉错觉生成方法的效果。展示了三个示例组合（鹦鹉+船只、草莓+葡萄、猫头鹰+帽子），每种方法都显示两个目标视角和混合网格的渲染结果。SDS-Based 方法显示严重过饱和和缓慢优化的问题，Direct Concatenation 暴露不自然的几何接缝和目标视点处的背面泄漏（红色箭头），而本文方法创建了无缝、双语义连贯的 3D 网格。
这张图对理解论文的重要性在于它清晰地展示了现有方法的具体问题以及本文方法的相对优势。通过并排对比，读者可以直观地看到过饱和、接缝和泄漏等问题的视觉表现，以及本文方法如何在解决这些问题的同时保持快速生成（3-5 分钟）和无需训练的特点。
这张图展示了用户研究的结果。左图：语义可识别性，78.5% 的参与者将本文结果评为"清晰可识别"（得分 3），表明绝大多数用户认为生成的错觉语义明确。中图：方法偏好，71% 的参与者偏好本文方法，16% 偏好 Shape From Semantics，13% 偏好 Direct Concatenation，表明本文方法在感知质量上的压倒性优势。右图：方向策略，91% 的参与者认为 CLIP 引导方向比固定 $0^\circ/180^\circ$ 角度产生更自然的错觉，验证了自适应对齐的有效性。
这张图对理解论文的感知质量至关重要。用户研究提供了人类观察者的直接反馈，这是评估视觉错觉效果的关键。通过这三个图表，读者可以理解本文方法在语义可识别性、方法偏好和自然度上的表现，这些感知指标补充了定量指标，形成了对方法效果的全面认识。
这张图展示了在不同几何兼容性下的噪声引导消融研究，使用三个示例对。对于几何差异大的配对（"Bamboo" 和 "Grapes"），Space Control 通过强空间约束处理得最好（子图 c）。对于轮廓相似但语义不同的配对（"Purple Succulent" 和 "A Rooster"），Noise Blending 提供温和先验，避免 中的语义损失和 中的残留伪影。对于几何兼容的配对（"A Frog" 和 "A Turtle"），所有设置表现相当。
这张图对理解论文的噪声引导策略选择至关重要。它展示了不同引导策略的适用场景，解释了为什么噪声引导被视为可选的、依赖于配对的辅助组件。通过这张消融图，读者可以理解如何根据几何兼容性选择适当的干预强度，这是理解本文方法实用性的关键。