ROI-推理：通过预计算元认知实现推理的理性优化

让LLM学会在有限预算下智能分配计算资源，最大化投资回报率

前置知识

多重选择背包问题

背包问题的变种，其中物品被分为若干互不相交的类别，每类最多只能选择一个物品，每个物品有确定的价值和重量。目标是在总重量不超过背包容量的前提下，使总价值最大化。这是组合优化中的经典问题，在实际应用中广泛用于资源分配和投资组合选择场景。

本文将预算推理问题形式化为有序随机多重选择背包问题，每个问题对应一个类别，不同的推理努力程度对应类别内的物品，奖励和计算成本分别对应价值和重量。理解这个优化问题对把握本文的数学框架至关重要。

组相对策略优化（GRPO）

一种强化学习算法，通过采样一组轨迹并计算组级优势来更新策略。与传统的优势演员-评论家（A2C）或近端策略优化（PPO）相比，GRPO 不需要训练单独的价值函数，而是直接从组内奖励分布估计优势，简化了训练过程并提高了样本效率。

本文使用去偏组相对策略优化（Dr. GRPO）来训练 RARL 阶段，模型通过多轮考试模拟学习预算分配策略。理解 GRPO 的原理有助于掌握本文如何解决长视界信用分配问题。

元认知

指对自身认知过程的认知和控制能力，包括预测任务难度、评估所需努力、监控进度、调节策略等。在人类学习中，元认知能力表现为考试前浏览题目、决定先做简单题、计算剩余时间等行为。这是超越单一问题求解的高阶认知能力。

本文的核心动机就是赋予 LLM 元认知能力，让它们在生成答案前先思考是否值得投入计算，如何在不同任务间分配有限资源。这是本文与现有推理方法最本质的区别。

拒绝采样微调

一种从预训练模型生成数据，然后使用特定标准筛选（拒绝）样本，最后使用通过筛选的样本进行微调的技术。这种方法可以引导模型生成符合特定格式或质量要求的输出，同时保留模型的原始能力。在本文中，拒绝采样用于生成符合模板的训练数据。

MFT 阶段使用拒绝采样微调来教模型输出结构化的难度标签和推理模板。理解这项技术有助于掌握本文如何将元认知要求转化为可训练的监督信号。

研究动机

现有大语言模型虽然可以通过充足的计算实现强推理性能，但它们本质上不知道一个任务需要多少计算。作者在图 1 中展示了 DeepSeek-V3.2 在多问题考试任务上的行为：模型经常在早期问题上花费过多努力，导致后续问题预算不足。例如，作者观察到模型可能在第一道题上消耗了超过 512 个 token，留给后面两道题的预算就非常有限。这种缺乏全局规划的行为使得即使模型有很强的单问题求解能力，在多任务场景下也表现不佳。现有方法如 Chain-of-Thought、自我反思和测试时间缩放虽然能提升推理性能，但它们只关注局部问题求解，不学习如何跨多个任务分配有限计算资源。

本文的目标是本文的目标是让大语言模型获得内在的、预算感知的理性，使其能够在严格的全局 token 约束下，智能地分配计算资源以最大化整体性能。具体来说，作者希望模型能够：预测任务难度，估计额外推理的潜在回报，决定何时坚持、跳过或继续，考虑早期决策对后续任务预算的不可逆影响。这不仅仅是提升单问题准确性，而是学习在不确定性下的长期规划和资源分配策略。

与已有工作不同的是，本文的独特切入角度是将预算推理形式化为有序随机多重选择背包问题（OS-MCKP）。与现有方法的关键区别在于：首先，本文引入显式的预计算阶段，让模型在生成答案前先预测成本和效用；其次，本文使用硬预算约束而非软约束，迫使模型内化计算权衡；第三，本文将奖励定义在考试实例级别而非单问题级别，从而捕获长视界分配效果。这种从单问题求解到多任务资源分配的转变，是本文最本质的创新。

核心方法

ROI-Reasoning 采用两阶段框架，从直觉上讲类似于人类考生备考的过程。第一阶段 Meta-Cognitive Fine-Tuning（MFT）就像考生学习如何评估题目难度——在做题前先预测需要多少时间和成功的可能性，学会识别哪些题目不值得投入努力。模型通过学习输出结构化的难度标签来预计算成本，并在合适时候选择跳过（输出 NA）。第二阶段 Rationality-Aware Reinforcement Learning（RARL）就像考生参加模拟考试——在严格的时间限制下完成整套题目，通过反复练习学会如何在全局范围内优化资源分配。在考试环境中，模型只能按顺序答题，用掉的 token 不会回来，这迫使模型做出长远的战略性决策。

核心创新点是将推理问题重新定义为投资回报率（ROI）优化问题，每个推理决策都对应一个投资-回报对。与现有方法的本质区别在于显式的预计算机制和全局预算感知。现有方法如 Chain-of-Thouth、自适应推理长度控制等都是在生成过程中被动调整，而本文让模型在生成前先主动预测成本和收益，这是元认知的本质。另一个关键区别是本文使用考试级别的强化学习奖励，迫使模型考虑整体最优而非局部贪婪。这种预算感知的理性不是通过提示工程获得的，而是通过专门的训练流程内化到模型中的。

方法步骤详情

ROI-Reasoning 的完整流程包括两个阶段。第一阶段 Meta-Cognitive Fine-Tuning 包含两个子步骤：标记对齐训练模型输出标准化的难度标签 Level-k，其中 k 对应不同的 token 消耗范围（Level-0: <256，Level-1: 256-512，Level-2: >512，Level-3: 太困难跳过）；拒绝学习教模型在预期成本超过潜在收益时输出 \boxed{NA} 进行战略放弃。训练数据来自 GSM8K、MATH 和 AIME 2022-2024，使用拒绝采样生成符合模板的样本。第二阶段 Rationality-Aware Reinforcement Learning 将 N 个问题组合成一个考试实例，提供硬预算约束 B（训练时固定为 1024 token）。对于每个考试，采样 G 条轨迹计算组级奖励，使用 Dr. GRPO 更新策略，奖励函数为 R = Σ I[correct_i ∧ Level(Toki) = Level_i]。模型通过反复考试模拟学习何时坚持、何时放弃、如何平衡求解深度与题目数量。

技术新颖性

从技术新颖性分析，本文的贡献在于三个层面。首先是问题形式化层面，将预算推理建模为 OS-MCKP 是新的视角，为资源约束下的推理提供了理论框架。其次是训练方法层面，MFT 中的显式难度预测和 NA 输出机制为元认知提供了可操作的监督信号，这比仅仅依赖奖励信号更直接。第三是强化学习设计层面，使用考试级别的奖励和硬预算约束创造了不同于传统问答任务的训练环境，迫使模型学习长期规划。作者还提出了约等于的 Regret 指标来衡量排序损失，这是评估预算感知推理的新度量。虽然组件技术如 GRPO 和拒绝采样本身不是新的，但它们在这个特定问题框架下的组合和调整是创新的。

**Figure 2**: Overview of the ROI-Reasoning framework, including Meta-Cognitive Fine-Tuning and Rationality-Aware Reinforcement Learning

**Figure 3**: Structure of the ROI-Reasoning input prompt

实验结果

实验结果显示 ROI-Reasoning 在多个预算推理基准上显著提升整体性能并减少遗憾。在 Medium 测试中，MFT+RARL 在 512 token 预算下达到 0.97 分，基础模型仅有 0.60 分；在 Hard 测试中，512 token 预算下达到 0.93 分，基础模型为 0.49 分。更重要的是 Regret 指标，MFT+RARL 在 Medium 512 预算下遗憾值为 0.11，而 Plan-and-Solve 达到 1.33，Least-to-Most 为 0.57。作者还发现模型规模不直接反映元认知能力：Qwen2.5-Math-7B 并不优于 1.5B 版本，Qwen2.5-7B 反而优于其 Math 版本。这表明专门的数学预训练不能自动带来预算感知能力。图 5 显示 MFT+RARL 在难度预测上准确率很高，错误主要来自高估而非低估，这是更安全的失败模式。令人惊讶的是，即使大型模型如 GPT-4o-mini（Medium 512: 0.65 分）和 DeepSeek-V3.2（Medium 512: 0.88 分）也未能展示明显优势，支持了作者的观点：强推理能力不等于预算感知能力。

**Table 1**: Performance comparison under different difficulty levels and token budgets

**Figure 4**: Token length distributions across varying difficulties and constraints

**Figure 5**: Composition of predicted-level errors (correct, under-, and over-estimated) under different budgets on Medium and Hard test papers

查看结构化数据

任务	指标	本文	基线	提升
Medium 测试（1024 token 预算）	Score（满分 3）	1.13 (MFT+RARL)	0.60 (Qwen2.5-1.5B 基础模型), 0.52 (Least-to-Most), 0.40 (Plan-and-Solve)	相比基础模型提升 88.3%，相比最佳启发式提示方法提升 117.3%
Medium 测试（512 token 预算）	Score（满分 3）	0.97 (MFT+RARL)	0.33 (Llama-3.2-3B), 0.54 (Qwen2.5-Math-7B), 0.88 (DeepSeek-V3.2)	相比 DeepSeek-V3.2 提升 10.2%，验证了小模型通过元认知训练可以超越大模型
Hard 测试（512 token 预算）	Regret（越低越好）	0.16 (MFT+RARL)	5.60 (Plan-and-Solve), 2.46 (Least-to-Most), 2.73 (Qwen2.5-1.5B 基础模型)	相比 Plan-and-Solve 遗憾降低 97.1%，显著改善了资源分配策略
Medium 测试（1024 token 预算）	Regret（越低越好）	0.02 (MFT+RARL)	0.20 (Qwen2.5-1.5B 基础模型), 0.22 (Qwen2.5-7B)	接近最优排序，证明 MFT+RARL 学会了良好的全局规划

局限与改进

作者在局限性部分诚实地指出了几个限制。首先，使用 token 计数作为计算成本的代理是简化的，实际部署中还需要考虑时钟延迟、工具调用开销、验证成本或内存/上下文使用。其次，难度监督依赖粗粒度的离散级别和特定的拒绝协议（输出 NA），这可能无法直接转移到需要更细粒度或领域特定的放弃和校准的场景。第三，研究聚焦于固定提示结构的预算数学推理（每张试卷三个问题），元认知是一个比分配 token 解数学题更大得多的问题。我补充的观察是：论文没有详细讨论训练成本，MFT 和 RARL 都需要大量训练数据和计算；实验只在数学推理上验证，在其他领域如代码生成或常识推理的表现未知；难度标签是预定义的固定级别，可能不适合所有问题分布。

独立分析的弱点

从独立分析的角度看，本文有以下几个具体弱点。首先，当前框架假设问题是顺序处理的，早期决策不可逆，但在某些场景下可能允许重新排列问题顺序或跳过某些问题回头再做，这可以进一步改善资源利用。改进方向是学习动态排序策略，而不仅仅是顺序决策。其次，难度预测是单次的、静态的，没有在推理过程中根据中间结果动态调整，对于需要多步验证的问题可能导致误判。可以引入自适应的难度重新估计机制。第三，奖励函数要求预测级别与实际 token 消耗完全匹配（Level(Toki) = Level_i），这个条件可能过于严格，模型可能在正确答案上仅仅因为预测稍有偏差就得不到奖励。考虑使用软匹配或基于相对误差的奖励。第四，方法在当前设置下主要适用于确定性奖励（答案正确与否），对于主观任务如写作或代码生成，如何定义奖励需要更复杂的设计。

未来方向

作者提出的未来方向包括扩展到更广泛的智能体任务，如写作和编辑、代码生成和调试、工具使用（搜索、数据库查询、执行）和工作流自动化。这些场景涉及非平稳和延迟奖励、随机工具结果、安全约束，以及衡量任务成功而非答案精确匹配的评估。基于本文成果可以延伸的方向包括：研究更丰富的成本模型，结合延迟、工具调用次数、API 调用成本等多维度指标；探索层级元认知，不仅决定是否做某题，还决定用哪种推理方法（CoT、树搜索、工具等）；研究群体元认知，多个智能体如何协同分配共享计算预算；研究在线适应，如何在新领域快速学习成本-收益权衡而不需要完整重训练。另一个有趣的方向是研究人类反馈如何帮助校准模型的元认知判断，类似于 RLHF 但针对成本预测而非内容质量。

复现评估

从复现性角度评估，论文提供了相对详细的方法描述，但完整复现仍需要更多信息。数据方面，论文使用 GSM8K 和 MATH 的训练集以及 AIME 2022-2024 问题，这些是公开数据集，但具体的测试试卷构造方法（Medium 和 Hard）在附录中有详细描述。代码方面，作者提到使用 Qwen2.5-1.5B-Instruct 作为基础模型，训练细节如超参数、收敛标准等在附录 C 中提供。算力方面，论文没有明确报告训练所需的 GPU 数量和时间，但考虑到强化学习阶段需要多轮采样和训练，估计需要相当可观的计算资源。复现难度中等偏高，主要挑战在于实现正确的提示结构、奖励计算和 GRPO 训练流程。作者声明代码和数据将开源，这将大大降低复现门槛。论文提供了清晰的评估协议和基准结果，便于其他研究者比较。一个潜在的问题是 AIME 2025 数据（AIME25）可能在论文发表后才发布，复现时需要注意数据可用性。

ROI-推理：通过预计算元认知实现推理的理性优化 ROI-Reasoning: Rational Optimization for Inference via Pre-Computation Meta-Cognition