基于语言模型先验从观测中学习 POMDP 世界模型 Learning POMDP World Models from Observations with Language-Model Priors
用 LLM 先验从纯观测轨迹中归纳可执行 POMDP，摆脱对真实隐藏状态的依赖。
前置知识
POMDP（部分可观测马尔可夫决策过程）
用元组 $(S, A, O, T, O, R, \rho_0, \gamma)$ 描述序贯决策，其中状态 $s\in S$ 不可直接观测，代理只能收到观测 $o\in O$，通过维护对状态的信念分布 $Q(s)$ 并按贝叶斯规则进行过滤更新来决策。
本文核心问题就是学习 POMDP 的转移、观测、奖励、初始状态四个分布，没有 POMDP 背景就无法理解为什么不能直接监督预测状态。
粒子滤波（Particle Filter）
一种用 $K$ 个带权样本来近似后验信念的非参数滤波方法，每步按提议分布传播粒子、再按观测似然重采样。本文每个粒子在 t+1 步按 $O^m(o_{t+1}|s^i_{t+1},a_t)$ 加权形成软信念。
Pinductor 的整个评估与规划都依赖粒子滤波在无真实状态时得到对状态的近似后验，没有它就无法度量候选模型的好坏。
LLM 引导的程序归纳（Code-based World Models）
用大语言模型把世界模型写成可执行代码而非神经网络参数，再以环境交互轨迹对代码进行迭代 refine，属于 verbalized machine learning。WorldCoder、GIF-MCTS、POMDP Coder 都属于此路线。
本文是该路线向 POMDP 的扩展，不熟悉这条脉络就无法判断 Pinductor 相对已有方法的相对位置和创新点。
UCB1 与 refinement tree
UCB1 是 bandit 中常用的探索-利用公式 $\text{UCB}=\bar{x}_i + c\sqrt{\ln N/n_i}$，用来在多个候选臂之间选择下一个要拉的对象。本文把它套到模型候选上构成 refinement tree，避免过早收敛到次优版本。
理解这一点才能看懂为什么 Pinductor 在多轮 refine 中既复用高分区又能偶尔冷启动新分支，这是它优于朴素采样的关键机制之一。
研究动机
现有 LLM 引导的世界模型方法（如 WorldCoder、GIF-MCTS、POMDP Coder）几乎都假设训练时能访问真实隐藏状态 $s_t$。POMDP Coder 虽把代码化扩展到 POMDP，但仍依赖事后全可观测——即 episode 结束后代理才知道那些在线决策时看不到的中间状态。在机器人走入杂乱环境或人类共存空间、不完全信息博弈等真实部署里，这种特权信号既在线无法获得、事后也不可得，于是这些方法都不能直接套用。另一类不依赖特权信号的方法是 tabular Bayes-adaptive、谱方法、神经潜变量世界模型等，但它们通常需要大量交互、特定模型类或强结构假设，从少量轨迹学不到像样的 POMDP，因此亟需一种只用 $(o,a,r,d)$ 轨迹就能做 sample-efficient POMDP 归纳的方法。
本文的目标是本文目标是提出 Pinductor (POMDP-inductor)：仅从观测-动作-奖励-终止 $(o,a,r,d)$ 轨迹出发，用 LLM 提出 POMDP 的 $\rho_0^m, T^m, O^m, R^m$ 四个可执行组件，再用基于信念的似然分数迭代 refine，最终输出一个支持在线信念空间规划的 POMDP 程序。具体而言希望它在 MiniGrid 系列任务上以远少于完整监督方法所需样本量匹配其性能与样本效率，并显著超过 tabular POMDP 基线，同时不依赖任何真实状态监督。
与已有工作不同的是，与既有 LLM 代码化世界模型相比，Pinductor 的独特切入角度在于把对真实状态的监督替换为对由模型自身诱导的信念下观测似然的期望，这是从基于特权 ground-truth 的修复信号到基于自洽信念的似然信号的范式转换。同时引入距离核软化 LLM 写出的硬观测模型，并用 transition 委员会的归一化投票熵给 LLM 提供 uncertain contexts，让它在没有 ground-truth 时也能定位需要修改的代码上下文。
核心方法
直觉上，可以把学一个 POMDP 想成让 LLM 边写程序、边让程序在已知轨迹上重演——能解释轨迹的才是好模型。Pinductor 采用 generate-evaluate-refine-plan 四阶段闭环：(1) 用 LLM 根据任务描述、$N=10$ 条离线轨迹与代码 API 一次性生成可执行 POMDP 四元组 $m=(\rho_0^m, T^m, O^m, R^m)$；(2) 用粒子滤波把每条轨迹在模型下跑一遍，按核化观测似然打分，得到期望对数似然 $L(P^m; D)$；(3) 把分数、具体诊断失败样例、以及 transition 委员会的归一化投票熵一起喂回 LLM 做 REx refine；(4) 用选出的 $m^\star$ 在信念空间做规划并继续在线交互，每条轨迹都不出现真实状态标签，所有信号都从观测和模型自己诱导的信念派生。
与现有方法的最大区别是用基于距离核的观测似然 $O^m(o_{t+1}|s^i_{t+1},a_t)\propto\exp(-d_{obs}(o^i_{t+1},o_{t+1})/\kappa)$ 软化 LLM 写出的硬观测模型 $O^{LLM}_m$，从而在没有 ground-truth 的情况下给出可比较、可求和的修复信号。具体地，$d_{obs}(o',o)=d_{grid}(g',g)+\lambda_{dir}\mathbf{1}[\theta'\neq\theta]+\lambda_{carry}\mathbf{1}[c'\neq c]$ 把 MiniGrid 观测分解为局部网格差、方向差、持有物差三项，让核宽度 $\kappa$ 控制多大距离算作可疑，再配合 transition 模型的委员会投票熵 $V_E(s,a)$ 定位不确定上下文。
方法步骤详情
完整步骤遵循 Algorithm 1：第一步用 INITIALPROMPT 从 $c,I,D$ 让 LLM 生成首批候选 $m_{j,k}$。第二步通过 PARTICLEFILTERKERNELSCORE：$K$ 个粒子按 $T^m$ 传播、按核似然得到信念 $Q^m_{t+1}(s)$ 与似然 $L(P^m;D)$（式 (8)）。第三步把 transition 模型作为投票集合，按 $V_{s,a}(y)=\sum_T \mathbf{1}[T(s,a)=y]$ 与归一化投票熵（式 (9)）得不确定区域 $V_E(s,a)$。第四步根据高 $V_E$ 的 $(s,a)$ 上下文构造 REFINEMENTPROMPT，依 UCB1 选父代，重复 $J$ 轮每轮生成 $M$ 个子代，候选池累积。第五步按 near-best 准则（式 18-19）在均值一倍经验标准差内的集合里均匀采样得 $m^\star$，避免对噪声过度承诺。第六步用 $m^\star$ 在信念空间做 POMDP 规划（沿用 POMDP Coder 的 A* 式规划器），在线轨迹再加入数据集触发下一轮 REx。
技术新颖性
技术上的新颖性集中在三点：第一，把对状态的监督信号替换为模型自洽的核观测似然，使得 POMDP 归纳完全摆脱 ground-truth；第二，把通常当作 bandit selection 的 UCB1 套用到模型候选 refine 上构造 refinement tree，避免单链 refine 的局部最优；第三，用 transition 模型委员会的归一化投票熵取代外部 oracle 提供 uncertain contexts，为 LLM 的下次修复提供指向上下文而非全局反馈，这些机制组合起来首次实现了无状态监督、可执行 POMDP、在线规划的完整闭环。
实验结果
Empty、Corners、Lava、Unlock、Four Rooms 五个 MiniGrid 上 Fig. 3 显示 Pinductor 平均回合奖励与胜率与有权访问真实状态的 POMDP Coder 几乎相当，并显著超过 tabular/random。具体数字：Empty Pinductor 100%（与基线持平）；Corners 93%/80%/83% vs POMDP Coder 80%；Lava 90%/83% vs 80%；Unlock 70%/53% vs 60%；Four Rooms 100% vs 90%；tabular 多数任务 3-7%，random ≈ 0。Fig. 4 显示 Pinductor 信念熵随回合下降、MAP 上真实状态质量上升，软核似然带来平滑收敛，硬匹配基线出现抖动。Fig. 5 显示 Pinductor 与 POMDP Coder 样本效率同步上升（轨迹 2→10），tabular 始终接近 0；LLM 消融（Qwen 3 14B / Qwen 3.6 Plus / Claude Opus 4.7）证明性能随模型能力单调提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MiniGrid Empty | Mean episode reward & win rate | Reward ≈ 1.0，win rate 100% | POMDP Coder Reward ≈ 1.0，win rate 100%；Tabular 与 Random 接近 0 | 在没有 ground-truth 的情况下与有权访问状态的基线持平 |
| MiniGrid Corners | Mean episode reward & win rate | Reward ≈ 0.83，win rate 93%/80%/83% | POMDP Coder Reward ≈ 0.80，win rate 80%；Tabular 7%；Random 0% | Reward 与胜率均略胜或追平特权状态基线，远超 tabular（约 10×） |
| MiniGrid Lava | Mean episode reward & win rate | Reward ≈ 0.83，win rate 90%/83% | POMDP Coder Reward ≈ 0.80，win rate 80%；Tabular 3%；Random 0% | 略优于有权状态基线，且 Fig. 5 样本效率与之相当 |
| MiniGrid Unlock | Mean episode reward & win rate | Reward ≈ 0.60，win rate 70%/53% | POMDP Coder Reward ≈ 0.60，win rate 60%；Tabular 7%；Random 0% | 胜率与特权基线可比；高难度任务上微弱优于 60%，与 POMDP Coder 持平 |
| MiniGrid Four Rooms | Mean episode reward & win rate | Reward ≈ 0.90，win rate 100% | POMDP Coder Reward ≈ 0.85，win rate 90%；Tabular 3%；Random 0% | 略胜特权状态基线 10 个百分点，超过 tabular 约 33× |
| Belief entropy (Fig. 4) | Across-episode belief entropy & mass on true state | 信念熵平滑下降，MAP 命中率上升 | POMDP Coder 因硬匹配出现抖动 | 核似然带来更平稳、信息量更高的后验收敛 |
局限与改进
作者明确指出三点局限：第一，实验仅覆盖 MiniGrid 五任务，未在异构环境中验证，也未做迁移学习或与 deep RL baseline 对照；第二，距离核、规划器、Demo 缓冲区这些超参当前是手工固定的，LLM 未能参与选择；第三，依赖 LLM API 调用导致方差较高，与 POMDP Coder [14] 中观察一致。从更广视角看还隐含几处局限：核宽度 $\kappa$ 与距离权重 $\lambda_{dir},\lambda_{carry}$ 是任务特定的，需要领域知识；奖励与终止项只通过 LLM 的局部诊断间接进入模型选择，没有显式 reward likelihood 评分；粒子数 $K$ 与 round 数 $J$、每轮候选数 $M$ 之间有耦合成本，高回合预算时可能成为瓶颈。
独立分析的弱点
独立分析五个弱点：(1) 距离核 $d_{obs}=d_{grid}+\lambda_{dir}\mathbf{1}[\theta'\neq\theta]+\lambda_{carry}\mathbf{1}[c'\neq c]$ 对 MiniGrid 结构化部分观测有效，但对像素或连续观测失效，需要任务特定相似度；改进方向是用对比学习或 VLM 得到 embedding 上的核。(2) 委员会投票熵 $V_E(s,a)$ 仅当候选 $T^m$ 差异足够大时才有信号，若 LLM 多轮给出相近模型会塌缩为零，改进是引入温度扰动或显式 prompt 强制多样性。(3) reward 与 termination 没有显式 likelihood 项，模型选择主要靠观测似然加 LLM 诊断，稀疏奖励任务可能退化，改进是为 $R^m,d^m$ 加独立预测误差目标。(4) UCB1 常数 $c_{ucb}$ 在跨环境中没有自适应，最好根据候选池奖励范围动态调节。(5) 整套方法依赖外部代码 API $I$，对于没有显式状态/动作/观测定义的开放世界则需要自动 API 发现。
未来方向
作者提出的明确方向是把 Pinductor 推广到 MiniGrid 之外的异构环境、做迁移学习与 deep RL 的对照、把 LLM 优化对象从世界模型推广到观测距离、规划器、Demo 缓冲区。基于本文成果自然延伸的方向还包括：(a) 用学到的 $Q^m$ 作为世界模型的诊断报告主动提出反事实动作并 query environment 以减少 explore 成本；(b) 把 belief-based likelihood 接到 deep latent world model 上做混合归纳以处理更高维观测；(c) 引入多 LLM cross-validation，把 committee 从候选 $T^m$ 扩展到不同模型族以进一步缩小 ground-truth 监督与 oracle-free 监督的差距；(d) 把 Pinductor 与在线 RL 控制器联合微调，使规划与学习共用同一信念；(e) 把 reward-likelihood 显式纳入打分，缓解稀疏奖励任务上的退化。
复现评估
作者在摘要和 Repository 中给出源码 https://github.com/atomresearch/pinductor，可下载完整 pipeline、prompt template 与超参。实验侧使用 Qwen 3.6 Plus 作为默认 LLM，附录还给出 Qwen 3 14B 与 Claude Opus 4.7 的消融 trace；离线轨迹数 $N=10$、refine rounds 从 POMDP Coder [14] 的 25 降到 5、粒子滤波用常数 $K$、UCB1 常数、$\kappa$、$\lambda_{dir},\lambda_{carry}$ 等都列在 Appendix A.4、Appendix D、Appendix H。整体看复现难度中等偏高：MiniGrid 框架本身公开、prompt 与 planning 接口明确，但需要稳定访问商业 LLM API，且不同 LLM 版本差异会引入方差，要复现表/图中的具体数字需要在 prompt 协议、API 版本、随机种子三处保持一致。
论文图表
