潜空间：基础、演化、机制、能力与展望 The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

本文的方法可以拆解为以下五个步骤：第一步是「形式化建模」——基于符号表1，将自回归生成记为 $y \sim \Phi_\theta(\cdot|x)$，其中 $x \in \mathcal{V}$ 为token空间输入；引入潜变量后扩展为 $y \sim \Phi_\theta(\cdot|x,z)$，$z \in \mathcal{H}$ 是连续潜表示，由此把问题转为「如何在 $\Phi = \{\Phi_{back}, \Phi_{comp}, \Phi_{aux}\}$ 三类模型空间中实例化潜变量 $z$」。第二步是「机制四轴拆解」——架构上区分主干原生（如Huginn循环块、Ouro递归、LoopFormer弹性深度、Dreamer深度循环注意、MLRA低秩注意）、组件插入（如CoLaR MLP、MemGen LoRA、AURORA VQ-VAE、IMM向量库）、辅助模型（如HCoT、SoftCoT的教师LLM、3DThinker的3D基础模型、UniVLA的视觉编码器、LaST-VLA的时空模型）；表示上区分内部激活（如COCONUT末位隐状态、SoftCoT++加权嵌入、SALS压缩KV）、外部先验（如CODI教师隐状态、KaVa教师KV、3DThinker 3D token、VL-JEPA预测嵌入）、可学习参数（如CoLaR压缩嵌入、KVCA全局共享流形、C2C对齐的MLP）、混合（如HCoT特殊token、Assorted VQ-VAE codebook、MemGen情景记忆、AURORA离散感知token）。第三步是「计算四类编排」——压缩（如HCoT语义对齐、CODI自蒸馏、DeltaKV残差编码、OneLatent单token视觉）、扩展（如Huginn循环深度、SoftCoT++并行路径、Bubbles并联气泡、Laser多尺度特征融合）、自适应（如TaH选择性停止、LWS自适应停顿、FR-Ponder实例自适应、I2B-LPO动态分支、AdaPonderLM token级深度）、交错（如Assorted文本/潜混合、SpiralThinker渐进内化、SwiReasoning RL切换策略、IVT-LR文本+视觉latent交叉注意、L2-VMAS多智能体感知/思维交替）。第四步是「优化三阶段划分」——预训练（自回归监督如PonderLM-2 Jacobi迭代、Ouro 2.6B循环预训练；辅助监督如CoCoMix跨任务、CLAP对比；强化如LoopRPT把next-token预测重新框架为带噪潜rollout的推理任务）、后训练（显式监督如LATPC、GeoSteer；隐式监督如SPOT蒸馏、EPR-Latent对比；强化如HRPO、SofT-GRPO Gumbel重参数化、I2B-LPO自奖励KL）、推理时（缩放如LTO潜奖励模型、TGR流形搜索；微调如LTPO在线策略梯度、∇-Reasoner解码中梯度下降；引导如REVIS稀疏干预、VTI对比纠错、Control++任务损失对齐）。第五步是「能力七维切片」——Reasoning（隐式推理、紧凑轨迹、连续精炼、分支路径、模态泛化）、Planning（可控探索、高效搜索、自适应预算、序列决策）、Modeling（丰富表达、自检视、鲁棒控制、可扩展计算）、Perception（多模态推理、启发式想象、忠实接地）、Memory（工作保留、持久心智、多模态回忆）、Collaboration（语义保真、共享认知、异构互操作）、Embodiment（无监督接地、隐式思考、预测前瞻、空间认知、泛化迁移）。整个流程最终落到第六步「挑战与未来」——可信评估、可控性、可解释性、理论奠基、多模态原生、下游任务扩展、可治理潜空间六大方向。

技术新颖性主要体现在分类法本身而非新算法上，但该分类法揭示了几个此前未被显式串联的研究方向：第一，把「架构×表示×计算×优化」作为正交轴而不是层级化分类，使同一篇工作可以同时归入多个机制标签，例如LoopFormer既是Backbone又是Expanded Computation、还是Inference-time Adaptive；第二，对「能力」维度的扩展从单一Reasoning扩展到七个维度，把跨模态、跨智能体的方法首次统一到同一能力框架中；第三，对「推理时优化」独立成章，强调潜状态本身可以作为优化变量 $z^* = \arg\min_{\omega \in \Omega} \mathcal{J}(z;x,\Phi_\theta)$，区别于传统的参数优化 $\theta^* = \arg\min_\theta \mathcal{L}$；第四，对「可信潜空间」三性（Evaluability/Controllability/Interpretability）的系统化提出现有文献尚未达成共识的部分，把零散讨论整合为统一的研究议程；第五，作者还公开承诺持续更新该综述及配套GitHub仓库（https://github.com/YU-deep/Awesome-Latent-Space），形成长期维护机制。整体而言，技术新颖性集中在「建立一套让潜空间研究可比较、可积累、可治理的元框架」上，而非单一突破。

独立分析可识别的弱点及对应改进方向：第一，分类法本身的「正交性」声称不完全成立——架构与表示实际上有强耦合，例如选择Backbone就基本决定了表示是Internal还是Hybrid；改进方向是把分类法改为多层次标签，允许同一方法在不同轴上有不同优先级。第二，对「能力」维度的划分粒度不一致——Reasoning与Planning有大量方法重叠（如LatentSeek既是推理也是规划），Modeling作为元能力与其他六项也有交叉；改进方向是把Modeling降级为横切属性（cross-cutting），让另外六项保持互斥。第三，对「安全性」与「可信性」的讨论仍偏定性，未量化不同潜空间方法在对抗攻击下的脆弱性差异，例如LFJ、LatentBreak等工作虽然揭示了潜空间被攻击的风险，但综述没有给出统一威胁模型；改进方向是引入「对抗鲁棒性」作为机制分类的第五个轴。第四，对「训练成本」的报告严重缺失，多数工作只汇报最终性能，没有对比训练token、GPU小时、可复现性等关键工程指标；改进方向是强制在表中增加「训练算力」与「数据规模」字段。第五，「基准缺失」是综述多次提及但没有给出解决方案的硬伤——其作者承诺维护GitHub仓库是缓兵之计而非根本解法；改进方向是联合社区发布标准化潜空间评测协议，类似于lm-evaluation-harness的角色。

未来研究方向可以分两类。综述作者明确提出的：（1）建立潜空间的统一理论基础——需要解释潜空间为什么有效、何时优于显式空间、哪些推理形式对潜空间是「原生」的；（2）发展原则性的可信潜空间方法——评估框架、控制接口、可解释性技术的三件套；（3）从「文本中介的多模态」过渡到「模态原生的多模态潜计算」——视觉、空间、动作等不再经过文本翻译而直接在潜空间处理；（4）从孤立多模态模型过渡到集成多模态系统——感知、世界建模、记忆、协同、动作规划在同一潜空间基底上协调；（5）将显式语言保留为外部接口（指令、生成、验证），潜空间作为内部工作区（思考、模拟、记忆、协同、动作）的「双层架构」；（6）开发可治理的潜空间——监督策略、过程级信号、可控接口、可解释框架四件套。基于综述成果可延伸的：（a）把潜空间方法与MoE、扩散模型、世界模型等其他前沿范式深度融合，例如用扩散过程生成潜动作；（b）探索潜空间的「元学习」——让模型自己学会何时进入潜模式、何时切回显式模式；（c）建立潜空间的「压缩率-性能」理论曲线，类似信息瓶颈的率失真分析；（d）把可信性问题与联邦学习、差分隐私结合，让潜空间在保护隐私的同时保持可解释；（e）面向AGI的潜空间统一框架，把符号推理、神经计算、具身感知统一在同一个潜变量空间内。

复现性评估需要分两层看。第一层是综述本身的复现性：作者公开GitHub仓库（https://github.com/YU-deep/Awesome-Latent-Space）维护所综述方法的资源列表，论文承诺持续更新；但论文本身未给出独立实验代码——作为综述这是合理的，因为其贡献是分类而非新算法。第二层是所综述工作的复现性：从表2-6看，约40%的工作公开了代码（标注「§ Code」），例如AURORA、AlignVLM、CoCoMix、IMM、SoftCoT++、CoLaR、CoMEM、ThinkAct、MemGen、LatentMas、Huginn、PonderLM-2、LoopFormer、MLRA等；其余60%仅有论文链接而未释放代码或权重。计算资源方面，所综述方法大多在1B-3B参数规模上验证（Ouro最大2.6B、MLRA 2.9B、DLCM 2.3B、Huginn 3.5B），单卡A100/H100集群一般可在数天内复现主实验；但具身方向如UniVLA、WholeBodyVLA、LoopFormer等需要额外机器人硬件或仿真平台（MuJoCo、Isaac Sim），复现门槛较高。数据方面，多数文本潜推理工作基于LLaMA3/Qwen2.5/Qwen3等公开预训练模型做后训练，输入是公开指令集；但视觉-动作方向的VLA数据集如OpenX-Embodiment、DROID等需要专门下载。综合来看，文本潜推理复现门槛最低、视觉次之、具身最难；建议读者优先复现带代码的Backbone类方法（Huginn/Ouro/LoopFormer）和Component类方法（COCONUT/CODI/SoftCoT/MemGen），因为它们架构清晰、依赖少。