基于因子化世界状态的奖励预测

通过将观测分解为对象-属性结构，实现零样本跨域奖励预测

前置知识

马尔可夫决策过程 (MDP)

MDP 是强化学习的基础框架，定义为元组 $\mathcal{M} = \langle \mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R} \rangle$，其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}$ 是动作空间，$\mathcal{T}: \mathcal{S} \times \mathcal{A} \rightarrow \mathcal{S}$ 是状态转移函数，$\mathcal{R}: \mathcal{S} \rightarrow \mathbb{R}$ 是奖励函数。在本文中，作者扩展了标准 MDP 为目标增强型马尔可夫决策过程 (GA-MDP)，引入了目标空间 $\mathcal{G}$ 和观测映射 $\Omega: \mathcal{S} \rightarrow \mathcal{O}$，使得智能体可以在部分可观测条件下根据语言目标进行规划和决策。

理解 MDP 框架是理解本文奖励预测任务的基础，本文的核心创新就是在 GA-MDP 框架下如何设计更好的奖励函数。

EPIC 距离

EPIC (Equivalent Policy-Invariant Comparison) 距离是一种衡量两个奖励函数差异的指标，具有策略不变性。本文采用简化版本，基于 Pearson 相关系数计算：$D_{\text{EPIC}} = \sqrt{\frac{1}{2}(1 - \rho(\hat{R}, R))}$，其中 $\rho$ 表示 Pearson 相关系数，$\hat{R} = [\hat{r}_t]_{t=0}^n$ 是预测奖励序列，$R = [r_t]_{t=0}^n$ 是真实奖励序列。EPIC 距离保留了奖励的细粒度幅度信息，对规划任务至关重要。距离越低表示预测越准确。

EPIC 距离是本文评估奖励预测质量的核心指标，所有实验结果都通过该指标进行比较。

世界模型

世界模型是一种学习环境动态的模型，能够预测动作执行后的未来世界状态。在本文中，世界模型用于支持 System-2 规划：通过 LLaMA 等语言模型模拟文本环境的转移函数，预测给定当前状态和动作后的下一个观测 $o_{t+1}$。世界模型使得智能体可以在不实际执行动作的情况下进行前瞻搜索（如 MCTS），从而在复杂任务中做出更优决策。

本文提出的方法可以作为世界模型的奖励评估组件，帮助世界模型判断预测状态与目标的接近程度。

LLM-as-a-Judge

这是一种利用大语言模型作为评估器的方法范式。在本文的上下文中，LLM-as-a-Judge 指直接将目标描述和完整交互历史输入 LLM，要求其输出 0-100 的奖励分数。该方法分为无推理模式（直接输出）和推理模式（CoT 分析后输出）。虽然灵活且无需训练，但 LLM-as-a-Judge 的奖励信号是离散且不稳定的，因为生成过程的随机性使其难以提供连续的进度估计。

LLM-as-a-Judge 是本文的主要基线之一，理解其局限性有助于理解 StateFactory 的优势。

因子化状态表示

因子化状态表示是本文提出的核心概念，指将非结构化的观测文本分解为层次化的对象-属性结构。具体来说，每个世界状态被表示为一组对象实例 $e_i = (d_i, \{(\alpha_{i,l}, v_{i,l})\}_{l=1}^{L_i})$，其中 $d_i$ 是对象身份（如"Mug"），$\{(\alpha_{i,l}, v_{i,l})\}$ 是动态语义属性（如"location: on the table"）。这种表示将身份与属性显式分离，使得奖励可以通过语义相似度计算，而非依赖训练数据。

因子化表示是 StateFactory 方法的技术核心，它使得奖励预测可以在零样本条件下实现跨域泛化。

研究动机

现有奖励预测方法面临两大瓶颈。首先，监督学习的奖励模型存在严重的泛化问题。实验数据表明，当监督模型从训练域迁移到新域时，奖励预测误差平均增加 138%。例如，一个在 AlfWorld 上训练的监督模型在该域内达到 0.212 的 EPIC 距离，但迁移到 WebShop 时误差飙升至 0.618。这种过拟合源于监督模型学习的是域特定的表面模式，而非通用的进度概念。其次，对于在文本空间中操作的智能体，现有的基准数据集主要关注稀疏的、结果导向的奖励，难以系统性地评估奖励质量及其对规划过程的指导作用。现有数据集缺乏逐步的、细粒度的奖励标注，使得研究者无法准确评估奖励预测器在每一步是否正确估计了任务进度。

本文的目标是本文的直接目标是解决上述两个问题：一是构建一个能够准确预测逐步奖励的零样本方法，该方法无需任务特定的监督信号就能泛化到新环境；二是建立一个标准化的基准来严格评估奖励预测质量。具体而言，作者希望验证一个假设：良好的世界状态表示本身是否足以支持跨域的准确奖励预测？如果能通过结构化的状态表示将奖励估计转化为语义距离计算，就可以避免监督学习带来的偏差和过拟合问题。

与已有工作不同的是，本文的独特切入角度是「因子化」这一概念。与以往方法不同，StateFactory 不是简单地将观测编码为向量或提取对象级表示，而是将状态显式分解为层次化的对象-属性对。这种分解的关键优势在于：它将奖励预测从一个离散的生成任务（如 LLM-as-a-Judge）转变为连续的语义距离计算，从而产生更稳定、更细粒度的奖励信号。同时，与简单的目标状态距离方法不同，StateFactory 通过动态目标解释机制将抽象的文本目标迭代地锚定到具体的物理实体上，避免了「进步幻觉」问题——即当固定的目标表示无法适应环境变化时产生的虚假进度信号。

核心方法

StateFactory 的整体思路可以用一个比喻来理解：想象你在组装一个 IKEA 家具，说明书上写着「将桌面放在桌腿上」。传统方法会直接比较你的当前房间照片与最终成品照片，但这种方法会被背景、光线等无关因素干扰。StateFactory 则像一个细心的助手，它会先把你的状态分解为「桌面：在地板上」、「桌腿：已组装」等结构化描述，然后把这些描述与目标状态的结构化描述逐一匹配。奖励就是这些匹配分数的平均值。技术上，StateFactory 将 GA-MDP 分解为三个集成层：世界状态转移、状态提取 ($\hat{s}_t$) 和目标解释 ($\hat{g}_t$)。原始观测 $o_t = \Omega(s_t)$ 被蒸馏为结构化的对象-属性状态 $\hat{s}_t$，而文本目标 $g \in \mathcal{G}$ 被迭代地落地为动态目标状态 $\hat{g}_t$。奖励信号通过语义对齐计算：$\hat{r}_t = \text{sim}(\hat{g}_t, \hat{s}_t)$。

StateFactory 的核心创新是将奖励预测问题从「学习奖励函数」转变为「计算语义距离」。与监督方法的本质区别在于，StateFactory 不需要任何奖励标注数据——它只需要一个能够理解语义的嵌入模型。与 LLM-as-a-Judge 的本质区别在于，StateFactory 将离散的奖励生成转化为连续的距离计算，从而产生更平滑、更可靠的奖励信号。具体来说，创新体现在三个层面：（1）状态因子化——将对象身份与属性显式分离，消除语义干扰；（2）动态目标解释——将目标视为可迭代更新的蓝图，而非固定不变的参考点；（3）层次化路由——通过对象匹配→属性匹配→全局聚合的三步过程计算奖励，确保奖励既考虑对象身份正确性，又考虑属性满足程度。

方法步骤详情

StateFactory 的方法步骤如下。第一步是状态提取（State Extraction）：给定原始观测 $o_t$、历史状态 $\hat{s}_{t-1}$、上一步动作 $a_{t-1}$ 和目标上下文 $(g, \hat{g}_{t-1})$，使用跟踪函数 $f_{\text{state}}$ 动态更新语义状态：$\hat{s}_t = f_{\text{state}}(g, \hat{g}_{t-1}, \hat{s}_{t-1}, o_t, a_{t-1})$。输出是 $N$ 个对象实例的集合 $\{e_i\}_{i=1}^N$，每个实例包含身份 $d_i$ 和属性列表 $\{(\alpha_{i,l}, v_{i,l})\}_{l=1}^{L_i}$。第二步是目标解释（Goal Interpretation）：使用函数 $f_{\text{goal}}$ 将抽象文本目标 $g$ 迭代地落地为动态目标状态：$\hat{g}_t = f_{\text{goal}}(g, \hat{g}_{t-1}, \hat{s}_t, o_t, a_{t-1})$。目标解释遵循严格的规则：目标在第一步建立后保持不变，只允许两种合法修改——任务里程碑添加和细化/锚定。第三步是层次化路由（Hierarchical Routing）：对于目标中的每个对象实例 $e_k$，在当前状态中找到最佳匹配 $e_i$，计算复合对齐分数 $\Phi(e_k, e_i) = \text{sim}(d_k, d_i) \cdot \psi_{\text{attr}}(e_k, e_i)$。最终奖励通过对所有目标对象的最大匹配分数取平均得到：$\hat{r}_t = \frac{1}{|\hat{g}_t|} \sum_{e_k \in \hat{g}_t} \hat{r}_{k,t}$。

技术新颖性

StateFactory 的技术新颖性体现在以下几个方面。首先，它是第一个将对象-属性因子化引入奖励预测的方法，这与简单的对象级方法（如场景图）不同——StateFactory 不仅识别对象，还将每个属性作为独立的语义单元进行处理。这种细粒度分解消除了属性纠缠问题：例如「蓝色的杯子在桌子上」这个描述在传统方法中会被编码为一个整体，导致杯子位置变化时颜色信息成为噪声；而在 StateFactory 中，颜色和位置是独立的键值对，可以被独立追踪。其次，动态目标解释机制是全新的——以往方法通常在初始化时固定目标表示，导致「进步幻觉」问题。StateFactory 将目标视为可迭代更新的蓝图，能够根据环境反馈锚定抽象描述到具体实体（如将「CD」锚定为「cd 1」）。第三，层次化路由中的乘法交互 $\Phi(e_k, e_i) = \text{sim}(d_k, d_i) \cdot \psi_{\text{attr}}(e_k, e_i)$ 充当软逻辑门：对象身份错误时分数被抑制，属性不匹配时分数也保持低值，从而确保奖励计算的鲁棒性。

**Figure 2**: RewardPrediction Benchmark Overview - Representative trajectories across five diverse domains

**Figure 3**: Two paradigms of reward prediction

实验结果

本文在 RewardPrediction 基准上进行了全面的实验评估，该基准包含 2,454 条轨迹，覆盖五个不同的交互环境。核心发现如下：（1）StateFactory 在零样本条件下实现了总体 EPIC 距离 0.297，不仅优于最佳的无表示基线 LLM-as-a-Judge（0.322），还超过了单域监督模型的泛化表现。（2）监督奖励模型存在严重的泛化瓶颈：在训练域内表现优异（如 AlfWorld 上 0.212），但迁移到新域时误差平均增加 138%，验证了监督学习导致过拟合域特定表面模式的假设。（3）在消融实验中，从非结构化观测（0.57）到提取的文本状态（0.43）的转换带来了显著的距离降低，证实原始观测包含过多干扰信息。进一步的因子化到对象-属性结构将性能提升至 0.30。（4）动态目标解释与离线（Oracle）基线的差距极小（0.28 vs 0.30），表明目标解释机制有效地恢复了目标需求。（5）在下游任务中，ReAct + StateFactory 在 AlfWorld 上的成功率从 34.33% 提升至 55.97%（+21.64%），在 ScienceWorld 上从 22.63% 提升至 35.03%（+12.40%），在 BlocksWorld 上从 85.00% 提升至 93.00%（+8.00%）。（6）LLM 骨干的能力与性能正相关：启用推理模式（如 gpt-oss-20b 从 Low 到 Medium）将 EPIC 距离从 0.36 降至 0.30，确认扩展推理能力有助于复杂状态分解。（7）语义嵌入的判别能力与性能强相关：all-MiniLM-L6-v2（三元组准确率 0.81）实现最佳对齐（0.30），而较弱的 embeddinggemma-300m（0.67）表现不佳（0.45）。

**Table 1**: Main Results: StateFactory vs baselines across RewardPrediction benchmark

**Table 2**: Success Rate on AlfWorld, BlocksWorld, and ScienceWorld

**Table 3**: Statistics of the RewardPrediction Benchmark

**Table 13**: Ablation Study I: Representation

**Table 14**: Ablation Study II: Goal Interpretation

**Table 15**: Ablation Study III: Semantic Embeddings

**Table 16**: Ablation Study IV: LLM Backbone

**Table 17**: Trajectory Trace of Case Study 1: Look at CD under the desklamp

**Figure 5**: StateFactory ablation experiments

查看结构化数据

任务	指标	本文	基线	提升
AlfWorld（机器人规划）	EPIC 距离 (↓)	0.285	0.366 (LLM-as-a-Judge Best)	22.1% 降低
ScienceWorld（科学推理）	EPIC 距离 (↓)	0.288	0.391 (LLM-as-a-Judge Best)	26.3% 降低
WebShop（网页导航）	EPIC 距离 (↓)	0.286	0.374 (LLM-as-a-Judge Best)	23.5% 降低
BlocksWorld（经典规划）	EPIC 距离 (↓)	0.427	0.362 (LLM-as-a-Judge Best)	18.0% 提升 (该域 LLM-a-J 更优)
TextWorld（文本冒险）	EPIC 距离 (↓)	0.201	0.115 (LLM-as-a-Judge Best)	74.8% 提升 (该域 LLM-a-J 更优)
AlfWorld 成功率	Success Rate (%)	55.97	34.33 (ReAct)	+21.64%
ScienceWorld 成功率	Success Rate (%)	35.03	22.63 (ReAct)	+12.40%
BlocksWorld 成功率	Success Rate (%)	93.00	85.00 (ReAct)	+8.00%

局限与改进

本文的局限性可以从多个角度分析。首先，StateFactory 的性能高度依赖底层 LLM 的推理能力和嵌入模型的判别能力。消融实验表明，较弱的 LLM（如 Qwen3-14B，EPIC 0.58）或判别能力不足的嵌入模型（如 embeddinggemma-300m，EPIC 0.45）会导致性能显著下降，这限制了方法在资源受限场景下的应用。其次，在 BlocksWorld 和 TextWorld 两个域中，LLM-as-a-Judge 在零样本设置下表现优于 StateFactory（BlocksWorld 0.362 vs 0.427，TextWorld 0.115 vs 0.201），表明在某些结构化程度高、适合逆向工程的域中，隐式推理可能更有效。第三，StateFactory 的推理成本较高——每个时间步都需要调用 LLM 进行状态提取和目标解释，这在长轨迹场景下可能成为瓶颈。第四，当前评估仅覆盖五个文本环境，尚未在视觉或机器人控制等连续状态空间中验证。作者也承认，从低层连续规划到高层语言智能体规划的扩展，特别是对于需要更强语义和时间抽象的过程性任务，仍然是一个开放挑战。

独立分析的弱点

基于独立分析，StateFactory 存在以下可改进的弱点。（1）计算效率问题：每个时间步需要调用 LLM 进行状态提取（Module A 和 B）和目标解释（Module C），这意味着对于长度为 $T$ 的轨迹，需要 $3T$ 次 LLM 推理。改进方向可以是引入缓存机制——当状态变化微小时跳过提取步骤，或使用轻量级模型处理简单状态更新。（2）嵌入模型依赖性：方法对嵌入模型的选择敏感（all-MiniLM-L6-v2 vs embeddinggemma-300m 的 EPIC 差距达 0.15）。改进方向是设计针对世界状态的专用嵌入模型，或引入多嵌入模型的集成策略。（3）目标解释的脆弱性：虽然动态目标解释设计了严格的规则（如「第一步后目标不可变」），但这些规则依赖 LLM 的指令遵循能力。在复杂多步任务中，LLM 可能错误地添加或遗漏目标。改进方向可以引入验证机制——通过反向检查确认目标集的完整性。（4）缺乏对连续状态空间的处理：当前方法假设观测可以被完全文本化，对于视觉观测需要额外的描述生成步骤，这可能引入信息损失。

未来方向

基于本文成果，可以延伸出多个研究方向。（1）跨模态扩展：将 StateFactory 的因子化思想应用于视觉观测——通过对象检测和属性识别将图像分解为结构化表示，实现视觉世界中的奖励预测。（2）自适应粒度：当前方法使用固定的对象-属性粒度，未来可以研究根据任务复杂度动态调整分解粒度的机制——简单任务使用粗粒度表示，复杂任务使用细粒度表示。（3）与强化学习的结合：将 StateFactory 的零样本奖励作为内在奖励信号与环境的外在奖励结合，用于策略优化。（4）大规模预训练：利用 StateFactory 生成的结构化表示进行大规模世界模型预训练，学习通用的状态转移函数。（5）多智能体场景：将方法扩展到多智能体协作或竞争场景，研究如何在共享状态空间中进行分布式奖励分配。作者也指出，随着 LLM 在推理能力和参数规模上的持续进步，StateFactory 的性能有望持续提升——实验已验证这一趋势。

复现评估

本文的复现性评估如下。代码和数据：论文提供了项目页面 (https://statefactory.github.io)，但未明确说明代码是否开源。RewardPrediction 基准包含 2,454 条轨迹的数据集，作者描述了详细的数据构建流程（四阶段管道），包括正负样本生成、混合标签和严格过滤协议。算力需求：主要实验使用 gpt-oss-20b 作为推理骨干，通过 vLLM 推理引擎部署，采样温度 0.01。监督基线训练需要 2×A6000 或 2×A100 GPU，训练时间 4-20 小时不等。StateFactory 本身无需训练，但推理成本与轨迹长度成正比。嵌入模型使用 all-MiniLM-L6-v2（384 维向量空间），这是轻量级且广泛可用的。复现难度：中等。主要挑战在于：（1）需要访问 gpt-oss-20b 等强推理 LLM；（2）状态提取和目标解释的 prompt 设计细节较长（见论文 Appendix Table 9 和 10），需要仔细实现；（3）五个环境的设置和数据获取可能需要额外工作。总体而言，论文提供了足够详细的实现细节（包括完整的 prompt 模板、超参数和训练配置），如果能访问到相应的 LLM 和环境，复现应该是可行的。

基于因子化世界状态的奖励预测 Reward Prediction with Factorized World States