SpaceFlow：局部可控的三维生成

免训练管线实现逐部件几何与外观的局部可控3D生成

前置知识

整流流与TRELLIS结构化潜码

整流流把生成建模为从高斯噪声到数据的直线路径，用 transformer 预测速度场逐步去噪。TRELLIS 将3D资产表示为稀疏体素网格上的局部特征向量集合，用两阶段整流流先合成粗糙的稀疏结构、再在激活体素上合成几何与外观潜码，最后由不同解码器输出 mesh、3D Gaussian 等表示。

SpaceFlow 完全构建在 TRELLIS 之上且免训练，所有控制手段（潜码注入、交叉注意力路由、测试时优化）都作用在这两段流过程中，不懂其架构就无法理解注入点设计。

超二次曲面基元

超二次曲面是球体通过两组指数参数变形得到的参数化曲面族，可用十几个参数表达胶囊、方块、椭球等常见部件形状，兼具紧凑性、表达力与可编辑性。用户可手动摆放，也可用形状分解方法从现有几何自动初始化。

本文用户输入的几何控制句柄就是一组超二次曲面基元，每个基元绑定控制强度与外观线索，是理解方法问题设定与实验协议的前提。

RePaint 式重采样

RePaint 是扩散模型的图像修复策略：在相邻时间步之间反复把已混合的状态按噪声调度加噪回退、再单步去噪前进，并重复执行掩码融合，多轮迭代让已知区域与生成区域在统计上相互协调，消除边界伪影。

SpaceFlow 用同样的迭代重采样在 $[\tau_{\text{low}},\tau_{\text{high}}]$ 区间上平滑衔接高控与低控区域，是几何局部化质量的关键实现细节。

PartField 与语义聚类

PartField 是学习型部件级特征场，为网格或体素上的每个位置输出刻画部件语义的特征向量，使同一逻辑部件的特征彼此相近。对其做 K-means 聚类即可在不依赖表面连通性的情况下把生成结构分割成语义部件。

局部外观路由依赖『先分段、再匹配基元』构建路由体积，PartField 聚类正是分段与对比损失的定义基础，直接决定路由是否准确。

交叉注意力条件注入与测试时引导

扩散/流 transformer 中潜码 token 通过交叉注意力查询条件嵌入从而接收文本或图像信息；测试时引导则在推理中直接用某个损失对中间潜码求梯度并更新，不改网络权重。自相似引导即用渲染自相似损失做外观迁移的一类测试时方法。

本文的局部外观控制靠限制交叉注意力可见性实现路由，靠测试时对比损失与自相似引导优化潜码，两套机制都必须先掌握。

研究动机

当前文本/图像条件的3D生成模型（TRELLIS、Hunyuan3D、CLAY、SAM 3D 等）已能合成高质量带纹理资产，但控制粒度停留在全局。几何侧，SpaceControl 把用户几何编码进 TRELLIS 潜空间并用统一的控制强度 $\tau$ 权衡几何保真与生成自由：设 $\tau=10$ 时整件资产被迫严格贴合基元，本该交给生成先验补全的部位也被锁死；设 $\tau=3$ 时整体释放自由度，需要精确保留的框架结构随之坍塌。外观侧，GuideFlow3D 用自相似引导把单一外观源全局铺满整个资产，无法给椅背指定木纹、同时给坐垫指定红色皮革而不相互串色。真实资产创作却是迭代式、按部件进行的：创作者先搭粗结构，保留部分设计决策，其余交给生成模型，这要求控制不仅说明生成什么，还要说明每条指令作用在哪里、执行得多严格，现有方法缺少统一覆盖几何与外观的局部控制机制。

本文的目标是本文目标是构建一个免训练、作用于推理时的统一框架：用户用文本提示 $p$ 描述场景，用一组可编辑超二次曲面基元 $S=\{S_i\}_{i=1}^N$ 摆出布局，并对每个基元独立指定两件事——几何控制强度 $\tau_i\in\{\tau_{\text{low}},\tau_{\text{high}}\}$（实验取 3 与 10），决定该区域严格贴合输入形状还是允许生成式补全；可选外观线索 $a_i$（文本描述或参考图像），只影响对应基元区域。最终生成带纹理资产 $X=(G,T)$：高控区域忠实保留指定几何，低控区域由生成先验补出符合提示的合理细节，各部件外观互不渗漏，整体连贯真实。评估目标也相应拆成两条线：区域几何指标验证控制的空间选择性，VLM 判据与用户研究验证保真、真实感与总体偏好的平衡。

与已有工作不同的是，独特切入角度是把『基元即控制句柄』贯彻到几何与外观两条链路，并全部在免训练的推理时完成。几何上不调全局 $\tau$，而是按公式 (1) 把基元分成高控与低控两组，在流去噪区间 $[\tau_{\text{low}},\tau_{\text{high}}]$ 内仅对高控区域注入干净潜码，用 RePaint 式迭代重采样平滑边界，首次实现同一资产内空间可变的约束强度；外观上不传单一全局条件，而是用 PartField 特征聚类把生成结构与初始基元重新对齐，构建路由体积 $\Phi$，让每个外观体素的交叉注意力只访问被分配的条件嵌入，再以自注意力偏置与对比损失抑制跨部件渗漏。与需要微调生成器接受结构条件的部件感知方法不同，SpaceFlow 不要求资产以部件表示，基元只充当局部控制信号，因此能直接复用任意预训练的双阶段生成器。

核心方法

SpaceFlow 把一次3D生成拆成预训练 TRELLIS 的结构流与外观流两段，推理时分别注入空间意图，全程免训练。用户输入文本 $p$、超二次曲面基元 $S=\{S_i\}$（各带控制强度 $\tau_i\in\{3,10\}$）和可选外观线索 $a_i$。结构阶段：全部基元与高控子集分别经 VAE 编码为干净潜码 $z_1^{\text{all}}$、$z_1^{\text{high}}$，从 $\tau_{\text{low}}$ 加噪去噪先确立低控区布局，每步按 $z'_t=(1-M_{\text{low}})\odot(\alpha z_1^{\text{high}}+(1-\alpha)z_t)+M_{\text{low}}\odot z_t$ 钉住高控几何，并在 $[\tau_{\text{low}},\tau_{\text{high}}]$ 上做 $K$ 次 RePaint 式重采样平滑边界。外观阶段：对生成结构提取 PartField 特征、K-means 聚类并匹配最近基元，得路由体积 $\Phi$；各线索嵌入只允许被指派体素经交叉注意力访问，叠加 $\log\beta$ 自注意力偏置与逐体素对比损失，配合自相似引导解码。评估基于 83 个条件样例，判据为 GPT 5.6 Sol。

核心创新是把控制强度与外观条件从全局标量升级为逐基元局部变量，并在免训练前提下推理时强制执行。与 SpaceControl 的本质区别：后者对整个资产施加统一 $\tau$，保真与自由全有全无；SpaceFlow 按公式 (1) 把基元分为 $S_{\text{high}}$ 与 $S_{\text{low}}$，仅对高控区注入干净潜码（公式 2 掩码混合），低控区继续由噪声驱动，首次实现同一资产内空间可变的几何约束。与 GuideFlow3D 的本质区别：后者用单一外观源全局引导；SpaceFlow 引入路由体积 $\Phi$，先聚类再匹配基元，解决低控区被生成先验重塑后逐体素指派漂移的问题，使每条线索只经交叉注意力到达目标部件。针对自注意力仍会跨部件串色，再加两道防线：按 $\Phi$ 调制的软偏置（同条件 query-key 对加 $\log\beta,\beta>1$）与对比损失 $\mathcal{L}=-\frac{1}{|\mathcal{V}|}\sum_j\log\frac{\sum_{k:\ell_k=\ell_j,k\neq j}\exp(s_{jk}/\tau_c)}{\sum_{k\neq j}\exp(s_{jk}/\tau_c)}$，把部件内特征拉近、部件间推离。

方法步骤详情

流程四步。①输入构建：手动摆放或用形状分解初始化超二次曲面基元 $S=\{S_i\}_{i=1}^N$，指定 $\tau_i\in\{3,10\}$ 与可选 $a_i$，缺省回退全局提示 $p$。②局部几何控制：分组后把全部基元与高控子集转网格并经 TRELLIS VAE 编码得 $z_1^{\text{all}}$、$z_1^{\text{high}}$；用低控包围盒降采样生成二值掩码 $M_{\text{low}}$；从 $z_1^{\text{all}}$ 在 $\tau_{\text{low}}$ 加噪去噪，每步按公式 (2) 融合干净高控潜码，并在 $[\tau_{\text{low}},\tau_{\text{high}}]$ 上做 $K$ 次 RePaint 式重采样（回到 $t_i$ 再单步去噪到 $t_{i+1}$ 并重加掩码），输出稀疏体素结构。③路由构建：提取 PartField 描述子，K-means 聚类后把每个语义簇指派给最近基元，形成路由体积 $\Phi$（小部件处理见补充材料）。④外观流：各线索嵌入 $e_i$ 限制交叉注意力可见性，叠加自注意力 $\log\beta$ 偏置；每步用 $\nabla_z\mathcal{L}$ 更新外观潜码并沿轨迹保留损失最低状态，最后经 TRELLIS 解码器输出纹理化资产。

技术新颖性

技术新颖性有三点。其一，空间可变控制：把流模型中常见的全局 guidance 强度改写成潜码空间上的掩码算子 $M_{\text{low}}$，配合 RePaint 式迭代重采样使高/低控边界过渡平滑，这是对条件流采样的新组合而非训练新模型。其二，语义自适应路由：不按几何包含关系直接指派体素（低控区会被生成先验重塑导致漂移），而是用 PartField 特征先分段、再匹配基元，让路由体积能适应生成器对形状的重新解释，这是外观局部化不失效的关键使能技术。其三，多层防渗漏设计：交叉注意力硬路由、自注意力软偏置（$\log\beta$ 正向偏置优先部件内传播但不阻断全局交互）、测试时对比损失三管齐下，且只在推理时优化潜码、不动预训练权重，与需要部件级微调的生成路线形成对比。此外框架对基元表示不可知，从粗糙超二次曲面到精细网格均可作控制句柄，几何与外观共用同一套部件分解，无需用户维护两套控制定义。

实验结果

几何控制（83 例，GPT 5.6 Sol 三遍投票）：对 SpaceControl $\tau=3$ 胜率为提示与几何保真 78.3%（CI [68.3, 85.8]）、真实感 43.4%、总体 75.9%；对 $\tau=10$ 为 66.3%、85.5%、68.7%——低 $\tau$ 真实感反超但结构丢失，高 $\tau$ 反之，SpaceFlow 两维均不落败。客观指标（表 2）：$\text{CD}_{\text{high}}$ 为 3.65（$\times10^3$），远好于 $\tau=3$ 的 15.99、接近 $\tau=10$ 的 0.94；区域差 $\Delta\text{CD}$ 达 6.05（基线 -0.14 与 0.11），$\Delta D$ 为 0.15（基线 0.01/0.00），证明控制真正局部化；CLIP 0.233 略高于基线，语义未受损。用户研究 337 次两两比较、29 人：总体偏好对 $\tau=3$ 48% 胜、对 $\tau=10$ 71% 胜。外观控制（同结构三变体）：对 TRELLIS 提示忠实度胜率 63.9%、纹理细节 31.3%、总体 59.0%；对 GuideFlow3D 为 58.5%、37.5%、57.3%。绝对评分（表 4）：SpaceFlow PF/CM/TD/Overall = 7.07/6.43/6.49/6.78，高于 TRELLIS（6.13/5.79/6.87/6.42）与 GuideFlow3D（6.40/5.96/6.76/6.46），总分最高。图像条件外观：风格保真 6.53、局部路由准确率 7.07、纹理细节 6.33、总体 6.73。

**Table 1**: Localized geometric control. Win rates (%) of SpaceFlow (τlow=3, τhigh=10) against SpaceControl [28] using a uniform global control strength. Brackets report 95% Wilson CIs over 83 assets.

**Table 2**: Quantitative evaluation of spatial control selectivity and semantic alignment.

**Table 3**: Pairwise appearance evaluation. Win rates (%) of SpaceFlow against fixed-structure appearance baselines.

**Table 4**: Quantitative evaluation of appearance control. Mean scores (1–10) averaged over 83 cases: prompt faithfulness (PF), color/material accuracy (CM), texture detail (TD), and overall.

**Figure 4**: Spatial and appearance control in isolation.

**Figure 5**: Qualitative comparison of spatial and appearance control across diverse assets.

**Figure 6**: User study showing overall preference for SpaceFlow over SpaceControl [28] with uniform τ=3 and τ=10 guidance across 337 evaluation trials.

查看结构化数据

任务	指标	本文	基线	提升
局部几何控制（VLM 两两评审）	提示与几何保真胜率	对 $\tau=3$ 胜 78.3%，对 $\tau=10$ 胜 66.3%	SpaceControl（$\tau=3$ / $\tau=10$）	以 83 样例、95% Wilson 置信区间 [68.3, 85.8] 显著优于两基线
局部几何控制（空间选择性）	$\Delta\text{CD}=\text{CD}_{\text{low}}-\text{CD}_{\text{high}}$（$\times10^3$，越高越好）	6.05	SpaceControl $\tau=3$: -0.14；$\tau=10$: 0.11	唯一在物理几何上有效区分高/低控区域的方法
高控区域几何保真	$\text{CD}_{\text{high}}$（$\times10^3$，越低越好）	3.65	$\tau=3$: 15.99；$\tau=10$: 0.94	接近严格基线，同时保留低控区生成自由
文本条件外观（两两评审）	提示忠实度胜率	对 TRELLIS 63.9%，对 GuideFlow3D 58.5%	TRELLIS / GuideFlow3D（自相似引导、无路由）	逐部件路由消除跨部件串色，提示忠实度稳定过半
文本条件外观（绝对评分 1-10）	PF / CM / TD / Overall 均分	7.07 / 6.43 / 6.49 / 6.78	TRELLIS 6.13/5.79/6.87/6.42；GuideFlow3D 6.40/5.96/6.76/6.46	PF +0.67~+0.94，Overall 最高，仅纹理细节略低
图像条件外观（单独评分）	风格保真 / 局部路由准确率 / 纹理细节 / 总体	6.53 / 7.07 / 6.33 / 6.73	无（基线不支持逐部件图像条件）	验证参考图像可被路由到指定部件

局限与改进

作者承认的局限隐含在实验设计中：控制强度只有两档离散端点（$\tau_{\text{low}}=3$、$\tau_{\text{high}}=10$），未探索连续或多级控制；外观上纹理细节均分 6.49、对两基线的纹理细节两两胜率仅 31.3% 与 37.5%，即局部路由以牺牲无约束纹理质量为代价；图像条件外观只能单独评分，因为 TRELLIS 与 GuideFlow3D 均无法接收逐部件图像条件，缺少可比基线。我自己的观察：$M_{\text{low}}$ 用低控基元的包围盒生成，对斜置或交叠基元容易误伤邻近高控区域或漏掉凸包外部分；路由依赖 PartField 加 K-means，部件细碎、几何相似或拓扑粘连时簇到基元的匹配可能出错；评估集仅 83 个自建样例且主判据是 VLM，主观性与小样本限制结论强度；方法绑定 TRELLIS 的两阶段 SLAT 架构，向单阶段或其他生成器移植需要重新设计注入点；$\alpha$、$K$、$\beta$、$\tau_c$ 等超参数的敏感性正文未报告。

独立分析的弱点

第一，离散二档控制：$\tau_i\in\{3,10\}$ 让用户无法表达中间约束语义，改进方向是把公式 (2) 的混合权重 $\alpha$ 与连续 $\tau_i$ 挂钩做空间插值，并给出控制强度—保真度的标定曲线。第二，包围盒掩码粗糙：轴对齐包围盒对斜置、交叠基元会污染相邻区域，可用基元符号距离场在潜码分辨率下生成软掩码替代硬 $M_{\text{low}}$。第三，纹理细节下降：交叉注意力硬路由切断了部件间外观信息流，可改为部分路由加低权重全局线索混合，或在细化阶段短暂放开注意力再局部约束。第四，路由脆弱性：K-means 簇数是超参数，部件数量多时易合并错分，可引入基元引导的聚类初始化或最优传输做簇—基元匹配，并对匹配置信度低的小部件回退到全局提示。第五，评估依赖 GPT 5.6 Sol 判据与自建 83 样例，缺少公开基准与代码开源承诺，普适性有待第三方复现检验。

未来方向

作者方向的延伸：把控制强度从两档扩展为连续谱实现半约束生成；外观线索从单张参考图扩展到多视角图像、材质球或空间变化纹理；把路由机制迁移到场景级生成乃至其他双阶段生成器；结合部件级编辑，生成后允许用户改 $\tau_i$ 或 $a_i$ 增量重生成而非从头采样。基于成果可延伸的方向：路由体积 $\Phi$ 本质是生成结构与用户意图的对齐器，可直接用于部件替换、对称修复、局部重拓扑等下游编辑任务；对比损失与自注意力偏置的组合或可推广到视频/4D 生成中的区域条件控制，避免多主体场景里的概念混淆；RePaint 式掩码重采样与整流流的适配目前是经验做法，值得给出收敛性与边界质量的理论分析；区域 Chamfer 与特征偏差这对评估指标也可推广为可控生成的标准评测协议。

复现评估

复现难度中等偏高但路径清晰：方法免训练，全部构建在开源组件之上——TRELLIS 提供预训练整流流 transformer 与 VAE，PartField 提供特征提取，RePaint 式重采样与测试时引导均为推理时代码；论文称实现细节、路由超参数与优化器配置在补充材料中，项目页 https://spaceflow3d.github.io 汇总资源，但正文未明确承诺开源代码仓库。数据方面使用自建的 83 个几何/外观条件样例（超二次曲面基元加高/低控标注加局部文本提示），没有公开基准可直接套用，需自行构造等规模评测集。算力上核心开销来自三处：每个资产做 $K$ 次重采样的结构流推理、每步 $\nabla_z\mathcal{L}$ 的外观潜码优化，以及 GPT 5.6 Sol 三遍投票的 API 费用；复现指标还需实现区域 Chamfer 距离、CLIP 相似度与 PartField 特征最近邻匹配。工程量不小，但没有训练壁垒，一张高端 GPU 加 API 预算即可尝试。

SpaceFlow：局部可控的三维生成 SpaceFlow: Locally Controllable 3D Generation