← 返回 2026-06-26

COrigami：用于协同设计可平折可视化折纸的AI流水线 COrigami: An AI Pipeline for Co-Designing Flat-Foldable Visually Recognisable Origami

Tom Zahavy, Shaobo Hou, Thomas Tumiel, James Doran, Francesco Faccio, Xidong Feng, Alex Havrilla, Igor Khytryi, Chenglei Li, Lisa Schut, Vivek Veeriah, Arijan Abrashi, Michał Kosmulski, Robert J. Lang, Nick Robinson, Brandon Wong, Marcus Chiam, Gloria Fang, Satinder Singh 📅 2026-06-24 👍 5 2026-07-13 08:37

几何约束协同创意强化学习生成式设计神经符号系统视觉语言模型计算折纸

arXiv HuggingFace PDF

首个端到端AI系统，从自然语言生成可平折的可识别折纸设计，结合神经符号方法与强化学习优化美学质量

前置知识

平折性

平折性是折纸理论的核心概念，指折纸图案能否沿着折痕线完全压平成二维平面而不撕裂或自相交。平折性验证分为局部条件和全局条件。局部条件由Kawasaki定理和Maekawa定理规定：Kawasaki定理要求顶点处交替扇形角之和等于180度，Maekawa定理要求山折数M与谷折数V满足|M-V|=2。这些是必要条件，但非充分条件。充分性检验需要通过crimping算法递归模拟局部折叠操作。全局平折性验证确保整个折纸图案在折叠后不存在连续自相交，这是一个NP-hard问题。本文采用Akitaya等人提出的面wise公式，将问题转化为有限约束满足图，将重叠凸面对映射为约束条件对，通过深度优先回溯和约束传播求解。

理解平折性对于读懂本文至关重要，因为COrigami的核心技术贡献就是在离散box-pleating网格上构建保证平折性的算法求解器。整个流水线的后半部分Solving阶段完全围绕如何高效求解平折性展开，包括crimping算法、贪心优先级搜索、分层分区等关键技术。

Box Pleating

Box pleating是现代计算折纸的核心范式，它将所有轴向平行的折痕和铰链严格限制在正交整数网格上，允许45度对角山脊。这种离散化框架提供了两个基本优势：角度约束保证了可重现的折叠角度；更重要的是从设计师的角度，它数学上确保了构造折痕的有限性。离散化设计空间将连续几何打包映射为可处理的组合状态空间搜索，既保证了人类折叠者的物理可重现性，又为COrigami等自动化流水线提供了计算可行性。Box pleating包含三种折痕类型：axial pleats构成基础网格，ridges是45度对角线用于调和轴向网格与flap几何，hinges是相邻区域相遇处的折叠线。

Box pleating是COrigami区别于传统连续优化方法如TreeMaker和Origamizer的关键技术选择。整个Packing和Solving阶段都在box-pleating网格上操作，这使得COrigami能够保证生成的crease pattern完全平折，同时避免了连续优化产生的无理参考点和无限反弹问题。

神经符号系统

神经符号系统结合了神经网络特别是大型语言模型和视觉语言模型的语义理解能力与符号推理系统的数学精确性。在COrigami中，Gemini负责语义生成和美学评估，而平折性验证、几何求解等数学严谨的任务则由确定性算法完成。这种架构避免了让神经网络直接处理复杂的几何约束，而是将其作用范围限制在它擅长的语义概念化和启发式塑造上。论文证明，直接微调语言模型输出原始crease pattern在SVG空间中只能达到60%的平折性上限，而神经符号方法通过离散化将连续几何问题转化为组合搜索，将数学刚性的约束卸载到专用确定性求解器，保证物理可重现性。

理解神经符号架构的设计理念对于评估COrigami的技术贡献至关重要。这是论文的核心创新点之一，解决了多模态大模型在多步空间推理中的根本性局限，为在高度结构化、几何约束严格的领域中实现可靠的、数学上坚实的协同创造力提供了通用范式。

研究动机

现有生成式AI在解决有可验证解的问题方面取得了显著成功，如代码生成和数学推理，但生成同时满足严格几何约束和主观视觉美学的物理艺术仍然是一个重大挑战。在计算折纸领域，直接应用端到端生成AI存在三个根本性障碍：第一，一个可识别模型的crease pattern由包含数千条成型折痕的高度复杂图表示，每条折痕需要数十个token定义，导致输出序列极长；第二，即使微小的数值幻觉或单token错误也会级联成严重的平折性违反，这暴露了现代模型在多步空间推理中的缺陷，如OrigamiSpace和OrigamiBench基准所证实的；第三，该领域严重缺乏合适的训练数据，因为传统上crease patterns仅作为抽象结构指南而非详尽的3D蓝图，导致基础数据集仅包含约100个为该项目专门开发的可识别传统折纸模型。现有计算折纸工具如TreeMaker、BP Studio和Origamizer也各有局限：TreeMaker依赖连续优化产生无理参考点，执行极其困难；BP Studio使用连续松弛，经常产生不连续的间隙，需要大量人工后处理；Origamizer从任意3D网格生成折纸图案，折叠难度极高。

本文的目标是本文的目标是构建一个端到端的AI驱动流水线COrigami，能够从自然语言生成可平折的可识别折纸设计。系统需要在三个层面同时满足要求：物理可行性（严格的平折性）、视觉识别性（目标对象的关键特征正确呈现）和美学质量（比例协调、结构清晰）。COrigami不是要完全替代人类艺术家，而是作为一个高效的协同助手，生成结构起点供人类艺术家进一步扩展和塑造。通过将算法优化与自主美学批评相结合，这项工作展示了AI系统如何满足多目标物理约束，实现可靠、数学上坚实的协同创造力。

与已有工作不同的是，本文的独特切入角度在于采用神经符号流水线，明确将语义概念化与数学刚性的执行解耦。与直接在连续空间中优化或让神经网络处理整个生成过程的工作不同，COrigami将复杂问题分解为语义生成（Gemini）、结构求解（算法）和美学优化（RL加VLM反馈）三个阶段。另一个独特之处是引入自主美学评估循环，使用多视角视觉语言模型作为自动美学批评家，提供0到10分的量化评分。这种方法使得系统能够在保持几何完整性的同时，通过强化学习探索更广阔的形态设计空间，发现高度创意、视觉引人注目且结构错综复杂的3D配置。

核心方法

COrigami的整体思路是将折纸设计问题分解为语义到结构的映射、几何求解和美学优化三个核心阶段，采用神经符号架构将AI的语义理解能力与确定性算法的数学精确性相结合。流水线从自然语言提示开始，首先使用Gemini生成语义火柴人，它定义了box-pleating设计的拓扑结构并提供后续塑造的高级方向。接下来，将语义火柴人转换为离散2D矩形打包，使用backtracking求解器将其解决为保证平折的基底crease pattern。然后进行两阶段塑造：第一阶段使用树形塑造算法将平基底推入3D姿态；第二阶段使用强化学习驱动的VLM反馈进行额外塑造。最后，自定义几何折叠模拟器从多个视角渲染塑造后的crease pattern，这些视角用于提供VLM反馈作为强化学习的奖励信号。整个流程保证生成的crease pattern在正交整数网格上完全平折，同时优化视觉识别性和美学质量。

核心创新点在于神经符号架构与离散box-pleating的结合，将数学刚性的平折性约束完全卸载到专用确定性求解器，让AI专注于语义概念化和启发式塑造。另一个关键创新是引入多视角VLM作为自动美学批评家，在强化学习中提供0到1归一化的量化奖励信号，引导系统发现复杂3D折叠。此外，论文提出了一种新颖的clip pattern算法，用于在多层折叠flaps上应用复杂的2D折痕模板如变窄，通过检测Z轴翻转动态交换Mountain/Valley赋值来保持物理一致性。这种分层架构使得COrigami能够克服多模态大模型在多步空间推理中的根本性局限，实现可靠、数学上坚实的协同创造力。

方法步骤详情

COrigami流水线包含八个主要步骤。步骤1：Stick figure生成。Gemini使用约束提示工作流生成语义火柴人，每条边由唯一标签、标量长度、方位角和仰角参数化。VLM验证火柴人与预期目标的对齐，评估拓扑准确性、比例可行性、语义识别性和结构复杂性四个离散标准。步骤2：Packing。将语义火柴人映射到正方形纸面上，通过离散矩形打包和tiling问题求解。叶节点实例化为矩形，内部边变为比例宽度路径。backtracking求解器使用迭代回溯搜索和wall-following算法放置river，然后通过flap扩展消除所有剩余间隙以实现完美tiling。步骤3：Solving。从packing布局产生平折crease pattern。首先构造pleats，使用五步几何过滤协议确保统一正交方向。然后使用图交错策略为pleats赋值。山脊赋值在高度约束连接点确定性锚定，通过传播规则强制在每个顶点交替奇偶性。最后，组合铰链赋值使用优先级驱动的贪心状态空间搜索，通过分层分区、启发式引导和激进剪枝确保高效收敛。步骤4：Tree shaping。将火柴人转换为简单折叠系列，通过BFS遍历从root stick开始，计算必要的简单折叠以对齐纸与目标火柴人方向。步骤5：RL塑造。使用强化学习框架对Gemini 2.5 Flash Lite进行微调，导航更广阔的形态设计空间，应用高级几何塑造工具如结构变窄和更灵活的简单折叠。步骤6：Folding。确定性构造折叠模型的3D几何，通过构建面邻接图并执行广度优先遍历，每个新访问相邻面计算全局4乘4仿射变换矩阵。步骤7：VLM反馈。Gemini 3 Flash作为自动美学和语义评估器，在两种模式下操作：单模型评估模式提供0到10分的详细链式思维分析；比较判别模式进行侧边结构比较。步骤8：锦标赛选择。实现分布式多阶段VLM锦标赛，通过局部瑞士系统锦标赛、语义类别内独立锦标赛和最终全局锦标赛选择最高质量生成折纸设计。

技术新颖性

技术新颖性体现在多个层面：在架构层面，COrigami是首个完全自动化的端到端box-pleating流水线，实现了之前需要大量人工干预的连续tiling和平折性求解；在算法层面，提出clip pattern算法处理多层折叠flaps上的复杂2D折痕模板，以及分层分区策略缓解NP-hard平折性验证的指数复杂度；在AI应用层面，引入多视角VLM作为自动美学批评家，在强化学习中提供量化的美学奖励信号；在创意计算层面，实现了Simon Colton的创意三脚架理论：通过算法box-pleating展示技能，通过RL探索展示想象力，通过多视角VLM反馈循环展示鉴赏力。

**Figure 1**: Collaborative computational origami with COrigami progressive design stages bridging natural language to physical art

**Figure 3**: Simulation of an origami house crease pattern and the underlying SVG code

**Figure 5**: Deterministic solving steps

**Figure 13**: A grid comparison of flap narrowing templates

**Figure 14**: Crease patterns for narrowing rivers

实验结果

核心发现包括三个方面。第一，直接微调语言模型输出原始crease pattern存在硬性能上限。在400k合成crease pattern约3.2B tokens上训练Gemini后，平折性在测试集上接近60%的饱和点，从未可靠达到完全平折的crease patterns。这验证了空间智能基准如OrigamiSpace和OrigamiBench的结论：不受约束的多模态模型在导航不变几何属性和多步空间推理方面存在严重缺陷。第二，COrigami的两阶段生成框架成功探索设计空间并提炼候选模型的稳健精选数据集。从560000个初始树候选开始，113276个成功生成有效语义火柴人，通过率为20.2%。后续阶段根据离散基底打包可行性通过率55.3%、确定性平折性求解通过率79.2%和算法3D塑造通过率92.0%过滤候选。最终通过模拟应变检查和VLM美学评估过滤出17789个设计，其中7490个由于VLM对应奖励低，10299个未通过树相似度阈值。第一阶段流水线产生27869个结构可行且视觉引人注目的基准模型，总体存活率为5.0%。第三，强化学习阶段成功生成与源算法模型不同但保持相同拓扑的塑造模型，观察到变窄技术的使用。RL核心指标在训练期间增加，包括成功塑造动作数量、VLM奖励、有效rollout百分比和奖励。

**Table 1**: Computational origami design tool comparison

**Table 2**: Unified benchmark results across model architectures sampling budgets and prompt variants on VLM origami evaluation dataset

**Table 3**: TreeMaker results on 66036 stick figures

**Figure 2**: Simulations of origami models designed with COrigami

**Figure 6**: Success rates throughout our pipeline

**Figure 8**: Top three tournament winners per category

**Figure 9**: Core RL metrics versus training steps

**Figure 12**: Success rate by category ordered by overall success rate

**Figure 15**: Numerical Accuracy Comparison of Folding Solvers

查看结构化数据

任务	指标	本文	基线	提升
VLM评估器基准测试	分类准确率	0.811	0.715	提升13.4%
VLM评估器基准测试	平均精度	0.651	0.565	提升15.2%
VLM评估器基准测试	F1分数	0.74	0.64	提升15.6%
直接生成SVG crease pattern	平折性	60%	无基线	性能天花板无法突破
TreeMaker自动化测试	成功率	1.1%	无基线	依赖人工交互自动化性能严重低估

局限与改进

作者承认了几个局限性。首先，当前框架仅限于在已建立的box-pleating范式内操作纯折纸；该领域的真正变革性创造力最终将源于发明全新的折叠方法而不仅仅是优化现有方法。其次，即使在离散box pleating内，当前流水线依赖有限的塑造机制即简单折叠和变窄，对于专业折纸艺术家，流水线生成的中间粗糙3D形状仅作为有价值的结构蓝图，他们可以接管应用自己富有表现力的塑造风格。第三，计算复杂性仍然是基本障碍，如图7所示，算法效率最终被语义树的结构密度瓶颈化，导致在尝试解决高度复杂、密集约束的设计时失败率显著更高。此外，所有当前计算折叠引擎包括ORIPA和Origami Simulator依赖零厚度纸假设，将纸张视为理想化2D流形。在物理折叠中，纸张具有有限的非零厚度，在密集box-pleated布局中，纸张层重复堆叠，单个附属物可能累积数十重叠层，产生严重的层累积，需要大量折叠力量并压缩纤维。因为零厚度模拟器不能建模这些物理bulking应力、纸张张力或材料依赖性撕裂限制，COrigami生成的3D模型和crease patterns严格作为数学上合理的结构起点。

独立分析的弱点

第一个弱点是塑造工具库的局限性。当前仅使用简单折叠和变窄两种塑造技术，无法实现人类专家使用的高级结构路由机制，如毕达哥拉斯拉伸或level shifters，这些机制在网格上实现卓越打包效率。改进方向是将这些非正交元素集成到backtracking packer中，在自动化布局设计方面取得重大进展。第二个弱点是VLM评估器对物理bulking的无能为力。VLM评估渲染的3D网格而非物理纸张模型，其美学判断不考虑物理纸张的结构bulk或厚度限制，在模拟中接收高分的模型在物理形式中仍可能需要大量物理后处理和人工层减薄。改进方向是开发考虑纸张厚度和层累积的物理感知模拟器，并在VLM评估中引入bulking感知的评分标准。第三个弱点是计算复杂性的可扩展性瓶颈。虽然简单、优先级驱动的贪心算法对于相当复杂的模型出奇地高效，但这些贪心算法不能扩展到更复杂的拓扑。改进方向是集成更先进的机器学习技术和稳健的探索策略，可靠征服设计空间中最计算无情的区域。

未来方向

作者提出的未来工作方向包括：扩展塑造机制库，集成高级结构路由如毕达哥拉斯拉伸或level shifters；改进物理建模，考虑纸张厚度和层累积效应；探索超越box-pleating的离散网格系统，如六角网格；改进计算可扩展性，处理高度复杂、密集约束的设计；开发更复杂的VLM评估协议，考虑物理约束和人类专家偏好；构建更大的、人类专家标注的折纸数据集，缓解训练数据稀缺问题；探索端到端神经符号架构在其他创意设计领域的应用，如CAD、建筑和产品设计。

复现评估

论文提供了详细的算法描述和伪代码如Algorithm 1 Flat Foldability Check Crimping，并公开了VLM评估的完整提示模板。然而，论文没有明确说明代码是否开源或数据集是否公开。从技术角度看，复现COrigami需要以下资源：Gemini 2.5 Flash Lite和Gemini 3 Flash的API访问；Python环境实现确定性折叠模拟器、backtracking packer和hinge求解器；计算资源支持大规模生成560000初始候选和VLM评估；人类专家合作提供语义火柴图示例和VLM提示工程指导。论文提到基础数据集仅包含约100个为该项目专门开发的可识别传统折纸模型，表明数据稀缺性是一个根本性挑战。从实现难度看，复现COrigami具有较高的技术门槛，需要深入理解折纸理论、几何算法、强化学习和多模态AI。但论文提供的算法细节和提示模板足够详细，使得具有相关研究背景的团队能够复现主要结果。

论文图表

**Figure 7**: Failure stage breakdown by number of sticks and number of rivers
这张图展示了输入火柴图的结构复杂性由sticks数量和rivers数量测量如何影响失败分布。随着结构复杂性增加，更大比例的设计在打包和求解阶段失败，揭示了算法可扩展性的瓶颈。

这张图对理解COrigami的计算复杂性和局限性至关重要，它展示了系统在处理复杂拓扑时的挑战，为未来改进提供了明确方向。

Figure 10: Shaping source origami models in different ways using RL

这张图展示了使用RL以不同方式塑造源折纸模型的例子，左侧显示算法塑造的源模型，右侧显示三个RL塑造示例本地锦标赛获胜者。可以看到第二阶段成功生成与源算法模型不同但保持相同拓扑的塑造模型，观察到变窄技术的使用。

这张图对理解COrigami的强化学习阶段的技术贡献至关重要，它展示了RL能够发现与算法基线不同的塑造策略，证明强化学习探索形态设计空间的有效性。

**Figure 11**: Fine-tuning Gemini model on synthetic crease-pattern datasets
这张图展示了在合成crease pattern数据集上微调Gemini模型的学习曲线。展示了结构语法有效性和数学平折性在早期训练步骤中明显改善，伴随策略文本损失和crease pattern距离的相应减少。然而，性能指标最终远未达到完美饱和，平折性在测试集上接近60%的饱和点。

这张图对理解为什么COrigami采用神经符号架构而非端到端生成至关重要，它量化证明了直接生成SVG crease pattern的硬性能上限，为论文的技术选择提供了实验依据。