← 返回 2026-04-01

基于世界模型规划的结构化折纸生成 Learn2Fold: Structured Origami Generation with World Model Planning

Yanjia Huang, Yunuo Chen, Ying Jiang, Jinru Han, Zhengzhong Tu, Yin Yang, Chenfanfu Jiang 📅 2026-02-02 👍 18 2026-07-13 08:36
世界模型 折纸生成 神经符号AI 程序归纳 约束规划
arXiv HuggingFace PDF

提出神经符号框架Learn2Fold，结合LLM语义规划与图结构世界模型，生成物理有效的折纸折叠序列

前置知识

折纸计算

折纸计算是将折纸艺术转化为数学和计算问题的领域，主要研究如何通过折叠平面纸张形成三维结构。核心约束包括可展开性和可平折性，由Kawasaki定理和Maekawa定理等数学规则严格定义。现代方法通常使用运动学模型，将折痕视为旋转铰链，如杆-铰链模型用于近似纸张的弹性变形。

论文将折纸折叠表述为约束感知程序归纳问题，需要理解折痕图、折叠状态演变和几何约束验证等计算折纸核心概念。

世界模型

世界模型是学习动作条件动态的模型，通过想象的未来滚动进行规划。从经典RL中的潜在动力学方法到视觉领域的视频模拟器，世界模型使智能体能够在不实际执行的情况下预测行动后果。论文中的世界模型在折痕图状态上操作，预测短期状态演变和软约束违反信号。

论文的核心创新之一是图结构世界模型，它作为可微代理模拟器，使系统能够在执行前验证动作可行性并恢复提议错误。

模型预测控制

模型预测控制是一种滚动优化控制方法，在每个时间步求解有限时域优化问题，选择最优动作序列的第一个动作执行。论文中使用MPC融合提议策略的似然度、目标进展和可行性得分，通过融合目标函数选择最优动作。

论文使用MPC集成语言模型提议和世界模型预测，在严格约束下鲁棒地选择动作。

程序归纳

程序归纳是从示例中学习计算机程序的任务，属于符号推理的一种形式。论文将折纸折叠表述为条件程序归纳：给定高级语义目标和当前折纸状态，学习生成有效折叠操作的策略。统一令牌空间将混合离散-连续控制问题转化为自回归序列建模。

论文的核心表述是将折纸折叠视为约束感知程序归纳，通过语言模型生成结构化动作程序。

研究动机

现有方法在生成物理有效的折纸折叠序列方面存在根本性局限。基于优化的方法（如TreeMaker和Origamizer）通过圆堆积或塞入折叠算法，数学上保证特定网格可以从单张纸折叠，但需要精确的3D网格输入，对图像或文本提示等稀疏输入难以应用。生成式基础模型（如GPT-4、视觉语言模型）擅长语义和感知合成，但无法生成长期、物理一致的折叠过程，因为它们优化的是近似视觉合理性而非精确物理可行性，经常产生视觉上连贯但违反折叠约束的几何幻觉。折纸折叠与布料操作有根本区别：布料具有固有的柔顺性和误差容限，可以通过平滑和变形适应局部不准确；而折纸在严格的几何公理和拓扑约束下运行，单个错误折痕不仅引入局部伪影，还可能违反表面拓扑或使所有后续折叠步骤在数学上不可行。

本文的目标是本文的目标是构建一个能够从高级语义描述（如文本提示）生成物理有效且可执行的折纸折叠序列的系统。具体而言，系统能够接受抽象文本提示，输出满足几何约束（如可平折性和自相交避免）的完整折叠程序，并且对未见过的折痕模式具有鲁棒泛化能力。系统需要协调离散拓扑变化（如面层化、连通性更新）和连续几何变换，在具有很少误差容限的长时域内执行。

与已有工作不同的是，本文的独特切入角度是提出一个神经符号框架，将语义提议与物理验证解耦。与直接解码序列的端到端生成方法不同，Learn2Fold在提议、验证循环中操作。关键洞察是将折纸折叠表述为折痕图上的约束感知程序归纳，利用大型语言模型的语义规划能力提议高级结构化动作令牌，同时集成学习的图结构世界模型作为可微代理模拟器，在执行前预测物理可行性和失败模式。这种方法保留了计算折纸的物理严谨性和模拟就绪表示，同时利用大型语言和视觉语言模型的强大先验从丰富的语义描述重建可执行折纸过程。

核心方法

Learn2Fold的整体思路是将折纸折叠过程表述为对图结构流形的顺序操作，通过三个紧密耦合的组件实现鲁棒生成：首先，标准化图表示确保结构不变性，通过字典排序重新索引顶点、基于排序后的端点索引重新索引边、应用二面体对称性增强训练数据，确保结构相同的模式映射到相同索引空间。其次，生成式提议策略基于语义目标建议候选折叠，使用大型语言模型在统一令牌空间生成结构化折叠操作，通过专家演示上的最大似然估计训练。最后，基于图的世界模型预测短期几何未来，在CP图状态上操作，预测残差状态更新和软约束违反掩码。推理时使用模型预测控制融合提议策略似然度、目标进展和可行性得分，选择最优动作。

核心创新点是将折纸折叠表述为约束感知程序归纳，采用提议、验证循环架构。与现有方法的本质区别在于：基于优化的方法需要完美最终网格输入，缺乏处理模糊语义描述的灵活性；生成式基础模型缺乏内在物理基础，无法生成长期物理一致的折叠过程；而Learn2Fold将生成视为序列决策过程，允许从中间错误恢复，通过先前学习结构实现跨分布模式的鲁棒泛化。关键是将语义提议与物理验证分离，利用LLM的高级语义规划能力提议结构化动作令牌，同时集成学习的图结构世界模型进行前瞻性规划。世界模型作为可微代理模拟器，使系统能够想象动作的几何后果并在执行前剪枝导致无效状态的分支，配合执行精确几何可行性检查的符号模拟器，实现神经提议、学习前瞻和精确验证的互补组合。

方法步骤详情

Learn2Fold的完整方法步骤包括四个阶段。首先是状态表示和标准化：折纸实例表示为元组，其中折痕图是平面图，每条边有初始折痕类型，状态向量包含二面角、进度比例、折痕类型、全局帧角度、MV翻转标志和步计数器。通过标准化过程重新索引顶点和边，应用二面体对称性增强训练数据确保排列不变性。其次是策略学习：将折纸折叠表述为条件程序归纳任务，学习策略生成给定上下文的有效折叠操作。统一令牌空间将混合离散-连续控制转化为自回归序列建模，通过专家演示上的最大似然估计训练。第三是世界模型训练：学习可微世界模型作为代理模拟器，将转换表述为稀疏残差更新。世界模型通过Level-0模拟器生成的约76000转换监督训练，包括专家演示和约束引导扰动。最后是通过图引导MPC推理：在每个步骤，提议策略从提议分布采样候选动作，每个候选通过确定性约束核评估，保留有效候选。对每个有效候选，世界模型预测残差状态更新和软违反掩码。最终选择最大化融合目标（提议似然度、目标进展、可行性）的动作。

技术新颖性

技术新颖性体现在多个方面：首先，提出了折纸折叠的约束感知程序归纳表述，将复杂的混合离散-连续控制问题转化为自回归序列建模，通过统一令牌空间处理拓扑意图和几何规格的联合依赖性。其次，引入了图结构世界模型，与缺乏显式几何约束的基于像素或潜在的世界模型不同，世界模型直接在图状态上操作，将转换表述为稀疏残差更新，训练数据包括近边界扰动，使模型暴露于可行和不可行结果，学习有效动力学模型实现模型预测前瞻，无需计算昂贵的基于网格的模拟即可验证动作可行性。第三，构建了OrigamiCode数据集，包含25个常见折纸对象类，每个由参数化折痕图和关联的折叠规范定义，按步骤计数和非局部依赖分为三个难度层级：简单（10类，基本刚性折叠结构）、中等（10类，需要适度空间规划和箱式折叠）、复杂（5类，高频折叠序列和严格圆堆积约束）。数据集包括5760个折纸过程序列和75000条轨迹，提供结构化监督用于学习折叠预测、序列生成和折纸操作任务。最后，提出了图引导的模型预测控制策略，融合提议策略似然度、目标进展和可行性得分，配合重新采样机制，当有效候选集为空或最大得分低于阈值时，从预测违反掩码构建负约束并重新采样候选，实现从提议错误中恢复。

Overview of Learn2Fold. Learn2Fold formulates origami folding as constraint-aware sequential program generation. During training, a symbolic Level-0 simulator enables scalable data generation and supervision for both a language-based proposal model and a learned world model. At inference time, Learn2Fold combines LM proposals with world-model rollouts and MPC to robustly plan folding sequences under hard constraints.
Figure 2: Overview of Learn2Fold. Learn2Fold formulates origami folding as constraint-aware sequential program generation. During training, a symbolic Level-0 simulator enables scalable data generation and supervision for both a language-based proposal model and a learned world model. At inference time, Learn2Fold combines LM proposals with world-model rollouts and MPC to robustly plan folding sequences under hard constraints.
Deriving Expert Trajectories from Videos. We show one data source for obtaining expert folding trajectories. In-the-wild instructional videos are processed into State Cards and folding steps, which are then augmented through perturbation and exploration for training.
Figure 3: Deriving Expert Trajectories from Videos. We show one data source for obtaining expert folding trajectories. In-the-wild instructional videos are processed into State Cards and folding steps, which are then augmented through perturbation and exploration for training.
Overview of the OrigamiCode Benchmark Dataset. The dataset features diverse categories, structured representations, sequential folding data, detailed statistics, and benchmark downstream tasks.
Figure 4: Overview of the OrigamiCode Benchmark Dataset. The dataset features diverse categories, structured representations, sequential folding data, detailed statistics, and benchmark downstream tasks.
Crease Pattern (CP) Graph. We created CP graph for each case to represent folding sequence.
Figure 5: Crease Pattern (CP) Graph. We created CP graph for each case to represent folding sequence.

实验结果

论文通过全面的实验验证了Learn2Fold的有效性。在步骤级别评估中，Learn2Fold在分布内设置下达到Precision微平均=0.766、Recall微平均=0.711、F1微平均=0.739，显著超过最强基线GPT-5.1（F1微平均=0.266），对应F1提升47.3个百分点。LLM基线表现出明显的精度-召回不平衡：GPT-5.2达到相对较高的Recall微平均（0.358）但Precision微平均很低（0.124），表明许多相关动作被提议但往往不精确或与所需结构上下文错位。BrickGPT由于显式回滚执行实现比纯LLM基线更高的精度，但召回有限（Recall微平均=0.225），表明其反应式试错策略产生粗糙和不完整的折叠动作。在轨迹级别评估中，Learn2Fold达到Edge-IoU=0.582、Cat-SR=0.891，远超所有基线：GPT-5.1（Edge-IoU=0.094、Cat-SR=0.675）、BrickGPT（Edge-IoU=0.051、Cat-SR=0.546）。消融实验验证了三个组件的互补作用：LM+WM配置相比纯LM基线略微提高轨迹成功率（分布内Traj SR：22.2%提升到25.0%），在分布内（0.796降低到0.759）和分布外（0.633降低到0.560）设置下一致减少最终目标距离，但步骤级别有效性下降，表明世界模型优先考虑全局进展而非局部动作安全性。添加Level0Sim后，完整系统在分布内和分布外设置下都实现最高轨迹成功率，同时恢复步骤级别有效性并在分布偏移下进一步减少最终目标距离。

Main comparison across methods. *indicates prompted models, and † indicates finetuned models.
Table 1: Main comparison across methods. *indicates prompted models, and † indicates finetuned models.
Ablations on IID (top) and OOD (bottom). Blue and teal indicate the best and second-best results.
Table 2: Ablations on IID (top) and OOD (bottom). Blue and teal indicate the best and second-best results.
Learn2Fold results.
Figure 6: Learn2Fold results.
Folding with Reasoning. Learn2Fold incrementally constructs origami folding programs in CP-graph space. At each step, multiple candidate actions are evaluated through world-model rollouts, infeasible options are discarded, and the best action is selected for execution, enabling robust folding and recovery under hard constraints.
Figure 7: Folding with Reasoning. Learn2Fold incrementally constructs origami folding programs in CP-graph space. At each step, multiple candidate actions are evaluated through world-model rollouts, infeasible options are discarded, and the best action is selected for execution, enabling robust folding and recovery under hard constraints.
Qualitative comparison of folding behaviors across methods. Learn2Fold produces concise, physically feasible folding trajectories on both simple and complex origami tasks. Baseline methods frequently fail due to invalid actions, early termination, or inability to recover from long-horizon errors, especially on complex crease patterns.
Figure 8: Qualitative comparison of folding behaviors across methods. Learn2Fold produces concise, physically feasible folding trajectories on both simple and complex origami tasks. Baseline methods frequently fail due to invalid actions, early termination, or inability to recover from long-horizon errors, especially on complex crease patterns.
查看结构化数据
任务指标本文基线提升
结构化折叠动作预测 Precision微平均/Recall微平均/F1微平均 0.766/0.711/0.739 GPT-5.1: 0.263/0.300/0.266 F1提升47.3个百分点
折叠序列完成率 Category Success Rate (Cat-SR) 0.891 BrickGPT: 0.546 提升63.2%
结构对齐度 Edge-IoU 0.582 GPT-5.1: 0.094 提升519.1%

局限与改进

作者承认的局限性包括：当前方法依赖于预定义的折痕图，缺乏从零生成折痕模式的能力，限制了创造性设计灵活性。计算开销相对较高，特别是在长时域规划时，世界模型滚动和MPC优化需要大量计算。模型在极端复杂的折痕模式上可能仍有困难，虽然实验显示了对分布外模式的鲁棒性，但在具有大量非局部依赖的高频折叠序列上性能下降。此外，当前的物理验证依赖于Level-0模拟器，虽然保证了精确性，但在最坏情况下可能成为计算瓶颈。个人观察的局限性：论文主要关注结构正确性，对折叠过程的可执行性（如中间状态的可达性）验证可能不够充分；实验设置相对受控，真实世界的噪声和不完美可能进一步挑战系统鲁棒性；当前方法主要针对刚性折纸假设，对柔性材料的泛化能力未知。

独立分析的弱点

独立分析的弱点包括：首先，对预定义折痕图的依赖限制了创造性，改进方向可以集成折痕图生成模块，从3D目标形状或图像直接生成折痕模式，实现端到端的创意折纸设计。其次，计算开销较高，特别是在长时域规划时，可以通过层次化规划缓解，使用高层抽象规划粗略路径，低层详细规划具体动作；也可以采用缓存和并行化策略，加速世界模型滚动。第三，当前方法主要针对刚性折纸假设，对柔性材料（如布料）的泛化能力未知，可以通过扩展世界模型建模弹性变形，集成杆-铰链模型的合规性近似。第四，论文主要关注结构正确性，对折叠过程的可执行性验证可能不够充分，改进方向包括增强物理验证，检查中间状态的可达性和运动学可行性；也可以集成机器人模拟器进行更全面的物理验证。第五，实验设置相对受控，真实世界的噪声和不完美可能进一步挑战系统鲁棒性，可以通过在嘈杂数据上训练、集成不确定性量化和鲁棒规划策略提高真实世界鲁棒性。

未来方向

作者提出的未来研究方向：将折纸视为未来空间推理系统的原则性测试台，暴露结构空间推理的核心挑战：离散拓扑决策与连续几何耦合、不可逆约束和长时域依赖。作者建议将框架扩展到其他需要长期规划的结构化生成任务，如分子折叠、蛋白质结构预测和机器人装配。基于成果可延伸的未来方向：将方法扩展到3D折纸和模块化折纸，处理更复杂的拓扑和材料属性；集成多模态输入（如图像、3D模型、手势演示），实现更丰富的交互式折纸教学；开发实时人机协作系统，辅助物理折纸制作和纠错；将约束感知程序归纳框架应用于其他约束密集域，如电路设计、机械工程和建筑学；研究终身学习设置，使系统能够从新折痕模式持续学习和适应；探索可解释性技术，解释折叠决策背后的推理过程，增强用户信任。

复现评估

复现评估：论文提供了详细的实现细节，包括超参数、训练协议和评估设置。世界模型在约76000转换上训练50个epoch，在单块NVIDIA RTX Pro 6000 GPU上约30小时；语言模型在约10的4次方专家折叠步骤上使用LoRA适配器训练，在相同硬件上6小时内收敛。推理时Learn2Fold在MPC循环中运行：语言模型提议N=8个候选动作，Level-0模拟器确定性地过滤无效候选，世界模型对剩余有效动作执行短时域前瞻评分。所有实验使用固定随机种子以确保可复现性。然而，论文未明确提及代码和数据集的开放性：OrigamiCode数据集的可用性、模型权重和实现代码的公开情况需要进一步确认。评估协议相对标准化，使用80%-20%训练-测试分割，步骤级别和轨迹级别指标清晰定义。然而，特定超参数（如目标权重、约束权重、数值稳定参数、阈值）的值未在正文中明确给出，可能在补充材料中。总体而言，复现难度中等到偏高，主要挑战包括计算资源需求（高端GPU）和潜在的数据或代码可用性问题。

论文图表

Teaser. From simple planes to complex articulated forms, Learn2Fold plans origami folding sequences that respect geometric constraints and anticipate future consequences, enabling robust generalization across unseen crease patterns.
Figure 1: Teaser. From simple planes to complex articulated forms, Learn2Fold plans origami folding sequences that respect geometric constraints and anticipate future consequences, enabling robust generalization across unseen crease patterns.

这张图展示了Learn2Fold从简单平面到复杂铰接形式的折纸折叠序列规划能力。图中展示了多个示例，说明系统能够生成尊重几何约束并预测未来后果的折叠序列，实现对未见折痕模式的鲁棒泛化。图示包含了从平面纸张到复杂三维结构的渐进折叠过程，突出了系统在长期规划和约束满足方面的能力。

这张图对理解论文至关重要，因为它直观展示了Learn2Fold的核心能力：从抽象语义描述生成物理有效的折纸折叠序列。图中的示例覆盖了从简单到复杂的多个难度级别，展示了系统在处理不同复杂度折叠任务时的鲁棒性，帮助读者立即理解论文要解决的核心问题和提出的方法的实际效果。