生成式递归推理：把递归潜状态推理改造为概率多轨迹生成框架 Generative Recursive Reasoning

步骤一：编码器计算 $e_x=f_{enc}(x)$。步骤二：从固定初始状态 $z_0$ 开始一次监督步，内层先做 $K$ 次低层精炼 $l_{t,k}=f_L(h_{t-1},l_{t,k-1},e_x)$。步骤三：用 $l_t$ 做高层确定性更新 $u_t=f_H(h_{t-1},l_t)$，采样 $\epsilon_t\sim\mathcal{N}(\mu_\theta(u_t),\sigma^2_\theta I)$，置 $h_t=u_t+\epsilon_t$。步骤四：重复 $T$ 次转移后解码器读 $h_T$ 得预测并用交叉熵监督。步骤五：把当前步终端状态作为下一监督步初值，递归 $N_{sup}$ 步，配合深度监督与截断梯度（仅 $z_{T-1}\to z_T$ 回传）。步骤六训练时从后验采样噪声并最大化截断 ELBO=重建项$-$KL；步骤七推理时从先验并行采样 $N$ 条轨迹，用 LPRM 价值头或多数投票选最优候选。

新颖性有三层。其一，首次把递归推理形式化为潜变量生成过程，解通过对随机推理轨迹边际化得到，引入变分后验对齐训练先验。其二，提出宽度推理时扩展——通过并行采样 $N$ 条潜在轨迹并用学到的 LPRM 预测终端价值择优，突破了单纯靠深度扩展带来的延迟瓶颈。其三，消融证明收益来自变分框架而非随机性本身：把随机解码或随机初始化直接套到 TRM 上毫无帮助（N-Queens 仅 71.66%/71.82%），而移除引导（$\mathcal{N}(0,\sigma^2 I)$）在 N-Queens 骤降到 50.27%、移除随机性（$\mathcal{N}(\mu_\theta,0)$）直接归零，说明'可学习随机引导'是关键创新而非简单加噪。这种把概率潜状态空间视角与递归推理嫁接的设计在文献中尚属首次。

弱点一：训练效率瓶颈——深度监督要求顺序执行 $N_{sup}$ 步且每步回传，难以并行，改进方向是用异步/推测解码或把监督步蒸馏为更少步。弱点二：仅在小规模符号任务验证，泛化到语言、代码、多模态未证；应在大规模预训练语料上预训练 GRAM 骨干再迁移。弱点三：无条件生成质量偏低（MNIST FID 约 73），方差调度 $\sigma_\theta$ 易导致模式坍缩或过散；可借鉴扩散模型的噪声表和分类器自由引导。弱点四：宽度扩展需 $N$ 倍前向与一个 LPRM，推理成本随 $N$ 线性增长，缺少自适应早停或轨迹剪枝；可引入置信度门控。弱点五：变分后验与先验的间隙未量化，KL 项是否被低估尚不清楚，可加入事后重加权。

作者提出的方向：把递归生成扩展到层级递归的无条件生成新范式，并解决深度监督的训练效率问题以迈向更大基础模型。基于成果可延伸：其一，把 GRAM 与 Transformer 解码头结合做自然语言/代码推理，验证概率多轨迹思路在开放域的价值；其二，研究宽度扩展与深度扩展的联合自适应调度，用强化学习学习'何时采多少条轨迹'；其三，把 LPRM 升级为过程奖励并结合树搜索（如 MCTS），在潜空间做规划；其四，探索 GRAM 作为世界模型或 model-based RL 的概率动力学模块；其五，用 GRAM 的潜轨迹做可解释性分析，理解'推理路径多样性'与泛化的关系。这些都是把递归概率推理推向实用的下一步。

论文提供了项目主页链接（ahn-ml.github.io/gram-website）以及详细的附录 B.2 训练超参、附录 C 的实验配置，方法描述（公式 4-14、图2）足够精确，理论上可复现。但代码仓库在正文未见明确开源声明，关键组件（LPRM 训练见附录 A.2、ACT 细节见附录 A.1、截断 ELBO 近似见附录 A.3）分散在附录，需仔细整合。任务规模虽小（7M-12.6M 参数、Sudoku/ARC/N-Queens 等），但 ARC-AGI 训练成本作者明确指出'过高'以致 Looped TF 在 ARC 上缺数据，单卡复现不一定可行。变分推断对超参敏感，复现者需自行调 KL 权重与方差初始化，整体难度中等偏上。