Prox·E：基于原始体几何抽象的细粒度三维形状编辑 Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions
用超二次曲面作为几何代理，让VLM编辑原始体参数来引导3D扩散模型实现细粒度编辑
前置知识
超二次曲面(Superquadrics)
超二次曲面是参数化几何原始体，满足隐式方程 $(|x/a_1|^{\epsilon_2}+|y/a_2|^{\epsilon_2})^{\epsilon_1/\epsilon_2}+|z/a_3|^{\epsilon_1}=1$。每个由11维参数描述，可生成从立方体到球体的连续过渡。
本文用超二次曲面作为可解释的'几何乐高积木'，让VLM能在少量token化的参数空间上做空间推理，是整个代理编辑框架的几何基础
TRELLIS与结构化潜空间(SLAT)
TRELLIS是级联三维生成框架，先在64³稀疏占据网格预测结构，再用rectified flow transformer在结构化潜空间(SLAT)中合成外观特征。SLAT保留几何骨架，每个体素位置的特征都与空间对齐，可解码为高斯泼溅或带纹理网格。
本文以TRELLIS为生成主干，并利用其结构-外观解耦架构分别做结构编辑与外观精修，是实现代理诱导去噪策略的载体
DDIM反演与潜空间混合
DDIM反演把样本沿去噪轨迹反向传播到噪声潜变量 $z_{t_{init}}$，保留中间潜状态。本文借此保存原形状、变形形状、编辑代理的反演轨迹，按空间掩码 $M_{uc}/M_{ed}/M_{new}$ 把对应潜特征回填到目标体素位置。
反演+按掩码混合是本文将粗粒度代理编辑结果精炼为高保真三维形状的关键机制
视觉语言模型(VLM)的空间推理
现代VLM如GPT-4V、Qwen2.5-VL在预训练中学习丰富的二维空间推理能力。本文将其作为代理编辑智能体：输入带颜色编码的原始体四视图、原始形状渲染、参数JSON和编辑指令，输出更新后的JSON并通过迭代视觉验证循环确保编辑符合预期。
VLM把抽象三维编辑意图翻译成对11维原始体参数的具体修改，是连接自然语言与3D生成模型的桥梁
VQAScore与VLM-as-a-Judge评估
VQAScore通过向VLM（如Qwen2.5-VL-7B）同时呈现原图、编辑图和编辑指令，询问编辑是否符合指令，将输出Yes回答的概率作为编辑保真度分数。本文引入CoT推理增强评估可靠性，是替代传统CLIP相似度的VLM-as-a-Judge评估范式。
VQAScore是本文评价编辑保真度的核心指标之一，理解它如何工作才能看懂表1中各项得分差异的含义
研究动机
虽然文本到三维生成已取得长足进步，但实际三维创作工作流更多需要的是对现有形状的细粒度修改，例如把桌腿加长1.5倍、给茶壶嘴加上装饰、把车轮旋转45度，这些操作都要求在严格保持物体整体身份的同时施加局部结构改动。当前基于二维图像编辑模型的3D编辑流水线（如VoxHammer、EditP23等）隐含两个关键假设：(i) 预训练2D扩散模型能从投影视角生成语义与几何正确的3D资产编辑；(ii) 单张或少量的编辑视图足以忠实地把修改传播到完整三维形状。然而图2显示，Flux-Kontext和Nano-Banana等先进2D编辑器虽然能完成外观修改或在椅子上添加兔子等语义插入，但在'把座椅加宽1.5倍''缩短椅腿'这类需要度量推理的细粒度几何指令上几乎全部失败，因为像素空间的扩散模型缺乏对3D度量属性的显式理解。这一根本性的能力错配表明，仅靠像素编辑器无法满足可控三维编辑的要求。
本文的目标是本文的具体目标是构建一个无需训练的3D编辑框架，能够在保持物体身份的前提下执行局部化、可度量的细粒度结构编辑。具体而言，该框架要同时满足三类编辑需求：(1) 全局和局部几何变换，包括涉及数值参数的参数化编辑（如'加宽1.5倍'）；(2) 物体部件的添加与删除（如'移除排气管'）；(3) 基于外观的风格化修改（如'把它变成粉色吉普车'）。最终在ShapeTalk的Chair/Table/Lamp三个类别上达到身份保持、形状质量、编辑保真三个维度上的最优平衡。
与已有工作不同的是，本文的独特切入角度是引入显式原始体几何抽象作为可控代理，弥合图像编辑器与细粒度3D可控性之间的鸿沟。与已有方法相比，本文的本质差异在于：优化驱动方法（如Vox-E、DreamEditor、TIP-Editor）通过SDS在像素空间优化，难以平衡度量精度与身份保持；监督学习方法（如ChangeIt3D、BlendedPC）需要成对训练数据且泛化差；潜在空间与提升方法（如EditP23、TRELLIS-based lifting）依赖2D输入的几何有效性，无法执行精确度量指令；辅助控制方法（如VoxHammer、SpaceControl）需要用户手动定义掩码或超二次曲面。本文的VLM智能体则能自动生成精确的空间约束，将编辑意图转化为对11维原始体参数的token级操作，既保证可解释性又兼顾灵活性。
核心方法
Prox·E的整体思路是把三维编辑任务分解为'在代理上编辑'与'由代理引导生成'两个阶段。直觉上，与其直接让扩散模型从像素空间'凭空'完成细粒度3D编辑，不如先用一个高度抽象但语义清晰的几何骨架（超二次曲面集合）作为'乐高蓝图'，让擅长文本推理的VLM在这个token高效的参数空间上完成编辑规划；然后再用一个强三维生成模型(TRELLIS)以这个被编辑的骨架为空间引导，把粗粒度的代理变化翻译成高保真的三维几何与外观。具体技术路线分四步：(1) 用SuperDec把输入形状分解为一组带颜色编码和索引的超二次曲面；(2) VLM通过链式思考修改JSON中的原始体参数，并通过视觉验证循环迭代精修；(3) 设计代理诱导去噪过程，把原形状、变形形状、编辑代理的反演潜变量按三类空间掩码($M_{uc}, M_{ed}, M_{new}$)混合，在TRELLIS的SLAT潜空间中生成新结构；(4) 用2D图像编辑器对原视图做外观编辑，再用SLAT外观流模型完成外观精修。
本文的核心创新在于'把几何推理外包给符号代理'的范式：把11维原始体参数当作token高效的几何'词汇表'，让VLM在这个词汇表上做空间推理而不是在像素上做编辑。这与已有方法有本质区别——2D图像编辑模型（如Flux-Kontext）的隐式像素推理无法处理度量指令；2D-lifting方法（如EditP23）受限于单视图几何有效性；现有超二次曲面方法（如SpaceControl）需要用户手动定义约束。而Prox·E的关键差异化在于：(1) 代理不作为刚性约束而是粗粒度体积引导，对分解误差鲁棒；(2) VLM自动完成代理编辑而非依赖人工；(3) 引入代理诱导去噪机制，在SLAT潜空间中按区域混合三类反演潜特征，既保留原细节又实现精确编辑；(4) 首创结构与外观解耦的双阶段管线，分别用3D流模型和2D图像编辑器处理不同类型的编辑。
方法步骤详情
Prox·E分四阶段。阶段一：LLM把 $c_{txt}$ 拆为结构指令 $c_{txt}^{struct}$ 与外观指令 $c_{txt}^{app}$。阶段二抽象编辑：SuperDec分解 $S_{orig}$ 为带颜色编码的超二次曲面 $P_{orig}$（每原始体11参数 $\mathbf{a},\epsilon,\mathbf{t},\mathbf{r}$），渲染四视图，VLM链式思考修改JSON得 $P_{edit}$，视觉验证循环检查指令符合度。阶段三结构生成：按与 $P_{edit}$ 对比将原始体分 $Q_{uc},Q_{ed},Q_{new}$ 三类，体素化构成空间掩码 $M_{uc},M_{ed},M_{new}$；对 $Q_{ed}$ 中每原始体计算相对变换 $M^{(i)}_{rel}=M^{(i)}_{edit}(M^{(i)}_{orig})^{-1}$ 构造变形形状 $S_{warp}$；对三类形状DDIM反演到 $t_{init}$，按掩码在去噪中混合三类反演潜变量。阶段四外观精修：2D编辑器按 $c_{txt}^{app}$ 编辑原视图得 $V_{edited}$ 作为外观流模型条件，按相同掩码机制把 $z^t_{app}$ 注入到对应区域，运行到 $t_{app}$ 完成精修。
技术新颖性
Prox·E的技术新颖性体现在五个层面。第一，方法论层面：首次提出用超二次曲面作为token高效的几何'词汇表'，把细粒度3D编辑问题转译为对11维参数的符号操作，规避像素空间推理的固有缺陷。第二，算法层面：设计代理诱导去噪机制，在TRELLIS的SLAT潜空间中按 $M_{uc}/M_{ed}/M_{new}$ 三类掩码自适应混合三类反演潜特征，是把粗粒度代理编辑精炼为高保真3D形状的关键算法创新。第三，系统设计层面：结构-外观解耦的双阶段管线，结构编辑用3D扩散模型，外观编辑用2D图像编辑器，充分发挥各自优势——3D模型擅长几何一致性，2D模型擅长纹理细节。第四，VLM智能体层面：引入带颜色编码索引和迭代视觉验证的代理编辑循环，把抽象三维编辑意图翻译为可执行参数修改。第五，评估层面：在ShapeTalk hard split上200对/类×3类共600对样本上系统对比6类基线，并在44人用户研究中获得最高胜率，是首个在'训练免'条件下同时实现精确结构编辑与外观风格化的统一框架。
实验结果
在ShapeTalk Chair/Table/Lamp三类各200对hard样本上，7项指标中6项最优。身份保持：LPIPS 0.10（vs TRELLIS 0.15、VoxHammer 0.14），DINO-I 0.92（vs TRELLIS 0.91），l-GD 0.02与VoxHammer、BlendedPC并列最优。3D质量：FID 32.60（vs TRELLIS 36.64、Spice-E 56.56），PFD 11.34（vs TRELLIS 16.43）。编辑保真：VQA 0.71大幅领先所有基线（TRELLIS 0.65次优），CLIP 0.28与所有基线持平。44人用户研究显示本文方法对所有基线的胜率最高，最接近的TRELLIS仅21.2%。消融（表2）显示：$P_{edit}$ only变体VQA仅0.64、LPIPS 0.13；w/o $P_{edit}$变体虽LPIPS降至0.08，但VQA仅0.63无法添加新部件（图4灯座nubs失败）；w/o $S_{warp}$失去新位姿细节保持；w/o App变体外观退化。完整模型在所有指标达最优权衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ShapeTalk 三维编辑（Chair/Table/Lamp 200对/类 hard split） | LPIPS（身份保持） | 0.10 | TRELLIS: 0.15, VoxHammer: 0.14 | 降低33%（vs TRELLIS） |
| ShapeTalk 三维编辑 | DINO-I（身份保持） | 0.92 | TRELLIS: 0.91 | 提升1.1% |
| ShapeTalk 三维编辑 | FID（3D质量） | 32.60 | TRELLIS: 36.64, Spice-E: 56.56 | 降低11.0%（vs TRELLIS） |
| ShapeTalk 三维编辑 | PFD（3D质量） | 11.34 | TRELLIS: 16.43 | 降低31.0% |
| ShapeTalk 三维编辑 | VQA（编辑保真） | 0.71 | TRELLIS: 0.65, VoxHammer: 0.55 | 提升9.2%（vs TRELLIS） |
| ShapeTalk 三维编辑 | l-GD（局部身份保持） | 0.02 | VoxHammer/BlendedPC: 0.01 | 持平略低于最优（差异在第3位小数） |
局限与改进
作者承认两大局限性。第一，框架性能严重依赖初始原始体分解的粒度与语义准确性：如图5顶部椅子靠背的中央纺锤被正确分割但两侧被合并到框架原始体，导致'remove spindles'仅部分成功；底部灯具的手柄和灯罩被合成一个原始体，使'enlarge shade'时手柄也被扭曲。该限制源于VLM只能操控被显式分离的原始体。第二，框架依赖VLM强大的空间推理与指令跟随能力：实践显示只有最先进的VLM才能可靠支持管线。隐含限制还包括：(1) 依赖TRELLIS主干，对分布外形状泛化存疑；(2) 推理成本较高，可能难以应用于实时交互；(3) 评估集中于ShapeNet类物体和Edit3D-bench，对场景级多物体编辑尚未验证；(4) 视觉验证循环的最大迭代次数限制了多步编辑可靠性。
独立分析的弱点
独立分析本文存在以下可改进的弱点。第一，原始体分解的脆弱性是最显著瓶颈：SuperDec作为预处理模块，其错误会沿管线传播且不可恢复。建议引入分解质量评估模块，当检测到关键部件未被正确分割时，自动切换到更细粒度的分解策略或直接调用人工标注。第二，VLM单点依赖导致管线对底层模型能力高度敏感。建议引入多VLM集成机制——并行调用多个VLM并对编辑结果投票，或在不一致时回退到更保守的编辑。第三，'代理诱导去噪'中的阈值 $t_{init}, t_{uc}, t_{warp}, t_{app}$ 等超参数需要人工设定，限制了方法的'免训练'优势向'免调参'延伸。建议研究自适应阈值策略，根据编辑类型（局部vs全局）和代理编辑幅度自动决定。第四，编辑范围目前局限于单一物体，未处理场景级多物体编辑或多部件协同变形（如同时编辑椅子的四条腿）。第五，视觉验证循环的停止条件简单（最多迭代N次），缺乏对编辑质量的定量度量。第六，对外观编辑依赖通用2D图像编辑器，未对3D一致性做专门约束，可能出现前后视图不一致。
未来方向
作者提出的未来方向主要集中在两点：一是随着更强3D分解方法的出现，框架可直接受益于更细粒度、更语义化的原始体；二是随着VLM推理能力的提升，框架对编辑指令的理解和执行会自然增强。基于本文成果可延伸的研究方向包括：第一，把代理抽象范式扩展到场景级编辑——为场景中的每个物体分别构建原始体集合，由VLM统一协调多物体编辑；第二，把超二次曲面替换为更丰富的语义部件（如CAGE-based语义部件），实现可命名的部件级编辑；第三，把代理编辑思想推广到4D时序形状编辑，让VLM在时间维度上规划关键帧的代理变化；第四，研究代理诱导去噪在其他3D生成主干（如Gaussian Splatting diffusion）的迁移；第五，结合物理仿真约束，让编辑结果满足物理合理性（如'缩短桌腿'后仍能稳定站立）；第六，引入用户交互界面，让用户能实时干预VLM的代理编辑决策，构建人机协同的3D创作工作流。
复现评估
Prox·E是SIGGRAPH 2026论文（doi:10.1145/3799902.3811141），尚未明确开源。复现所需资源：(1) 数据方面，使用公开ShapeTalk（Chair/Table/Lamp各200对hard split）和Edit3D-bench（100对象），获取难度低；(2) 预训练模型方面，依赖TRELLIS（含结构流模型和外观流模型）、SuperDec、2D图像编辑器（FLUX-Kontext等），均有公开权重或API；(3) VLM需调用GPT-4V或同等级别模型，依赖闭源API且产生调用成本；(4) 算力方面，单样本需执行3次DDIM反演+迭代去噪+外观精修，估计至少需1块A100级GPU运行数分钟；(5) 实现难点包括DDIM反演一致性、超二次曲面体素化与渲染、JSON参数VLM输出解析、TRELLIS两阶段解耦调用。整体复现难度中高，需扎实3D深度学习与扩散模型基础。
论文图表
展示Prox·E在两类物体（汽车和小动物）上的4个编辑示例。汽车示例包括'让它更宽''前轮左转45度''移除排气管''变成粉色吉普车'；小动物示例包括'头部右转''腿部加长2倍''添加蓬松尾巴''让它看起来开心'。每行展示原形状、原代理（带颜色编码的原始体）和编辑后代理（蓝色为修改原始体，紫色为新增原始体）的对比。
作为teaser figure，全景展示本文支持的4类编辑（全局/局部变换、参数化编辑、部件添加删除、外观风格化），是理解论文能力和动机必看的图。
展示Flux-Kontext和Nano-Banana两种最先进二维图像编辑器在三维编辑任务上的表现对比。在'添加兔子''让它更fancy'等外观/语义编辑上表现尚可，但在'缩短椅腿''让座椅宽1.5倍'等需要度量推理的细粒度几何指令上全部失败，直观呈现像素编辑器与三维可控编辑之间的根本能力错配。
通过具体失败案例明确本文要解决的核心问题——2D编辑模型缺乏3D度量推理能力，是动机章节的关键支撑图。
展示两个因SuperDec分解失败导致的编辑失败案例。顶部示例中，椅背中央纺锤被正确分割但两侧被合并到框架原始体，'移除纺锤'只能部分成功。底部示例中，灯具手柄和灯罩被合成为一个原始体，'放大灯罩'时手柄也被扭曲。每行展示原形状、原代理、编辑代理和Prox·E结果四个对比。
作者明确承认的局限性——分解粒度对性能的决定性影响，是理解方法边界必看的图。