沙箱中的大语言模型：激发通用智能体能力 LLM-in-Sandbox Elicits General Agentic Intelligence

LLM-in-Sandbox的工作流程包括以下步骤：首先，配置沙箱环境S，如果有任务要求r则进行相应配置；初始化轮次计数器t=0；定义工具集{bash, file_editor, finish}。然后进入主循环，在每一轮中，模型基于任务提示p和历史交互生成工具调用$a_t$；如果$a_t$是finish命令则退出循环；否则在沙箱S中执行$a_t$获得观察结果$obs_t$；将$(a_t, obs_t)$追加到交互历史中；轮次计数器加1。循环结束后，从沙箱S中提取最终输出o（例如从/testbed/answer.txt读取），返回o作为最终结果。在提示设计上，系统提示鼓励模型利用计算工具而非自然语言进行计算，通过程序执行而非直接硬编码来推导答案，并告知模型环境是安全隔离的空间可以自由探索。输入输出处理上，利用计算机的文件系统灵活处理不同格式：输入可以通过提示或文件提供，输出被指示放置在指定位置（如/testbed/answer.txt）。

本文的技术新颖性体现在多个层面。首先，在系统设计层面，LLM-in-Sandbox是首个将计算机环境作为通用推理基础设施而非特定任务工具的研究，其轻量级设计（仅1.1GB镜像）相比SWE-Gym的6TB存储需求降低了数个数量级，同时支持所有任务而无需任务特定配置。其次，在方法论层面，LLM-in-Sandbox-RL首次提出在沙箱中使用非智能体数据进行强化学习训练的范式，这区别于传统的纯文本RL（LLM-RL）和特定领域的SWE-RL。通过将上下文存储为环境中的文件而非提示中，模型被迫主动探索环境，从而将环境交互内化为可迁移的技能。第三，在实验发现层面，本文首次系统性地证明了代码沙箱在非代码领域的价值，揭示了三种环境激发的元能力（外部资源访问、文件管理、代码执行）在不同任务领域的不同使用模式，以及强弱模型在环境利用效率上的显著差异。此外，本文发现了一个意外的迁移现象：在沙箱模式下训练的模型在纯文本模式下也表现出改进，因为结构化分解和自我验证等通过环境交互发展出的推理模式被内化到了模型的纯文本推理中。

本文存在几个值得关注的弱点。第一，弱模型问题：Qwen3-4B-Instruct在LLM-in-Sandbox模式下表现更差，这暴露了当前方法的局限性——环境交互能力并非所有模型都能自然获得。改进方向包括：设计渐进式训练课程，从简单环境交互开始逐步增加复杂度；或者开发自适应的环境交互策略，根据模型能力动态调整交互深度。第二，领域覆盖不均衡：生物医学领域的改进最不稳定，说明模型在某些需要专业领域知识的任务上难以有效利用环境。改进方向可以是预装特定领域的基础工具包，或在系统提示中提供领域特定的引导。第三，效率与能力的权衡：虽然长上下文任务的token消耗降低了，但其他任务的token消耗增加了（如化学任务平均增加18.4K tokens），说明环境交互带来的额外开销在某些场景下可能抵消能力提升的收益。改进方向包括优化工具调用效率、减少冗余的探索步骤。第四，评估方法的局限性：本文主要使用准确率作为评估指标，对于需要主观判断的任务（如创意生成）缺乏更细致的评估维度。

作者和本文成果共同指向了几个重要的未来研究方向。第一，计算机原生模型训练：作者主张将计算机交互作为一等训练目标，不仅通过大规模RL和真实环境反馈，还将计算机风格的推理纳入预训练阶段本身。这意味着未来的基础模型可能从一开始就具备环境交互能力，而非通过后训练获得。第二，LLM-in-Sandbox作为默认推理基础设施：作者展望LLM-in-Sandbox成为服务LLM的默认范式——分析任务获得可验证的计算，长上下文任务受益于基于文件的管理，创意任务产生实际输出而非文本描述。第三，智能体能力基准：LLM-in-Sandbox自然提供了评估智能体能力的标准化测试平台，指标$\Delta = \text{LLM-in-Sandbox} - \text{LLM}$量化了模型利用计算环境的有效性。第四，基于本文发现的扩展研究方向包括：探索更复杂的沙箱环境（如包含GUI、多用户协作）；研究环境交互与人类反馈的结合；将LLM-in-Sandbox应用于更广泛的任务领域（如科学研究、创意设计）；以及开发更高效的训练算法来降低LLM-in-Sandbox-RL的计算成本。

本文在可复现性方面表现良好。作者承诺将LLM-in-Sandbox作为开源库发布，兼容流行的推理后端（如vLLM和SGLang）以及基于API的LLM。代码沙箱的设计本身就是高度可复现的：基于Docker容器的Ubuntu环境，仅需约1.1GB存储空间，配置简单。训练数据使用的是公开可用的上下文任务数据集（Instruction Pre-Training的种子数据），不涉及隐私或许可问题。然而，完全复现本文结果面临一些挑战：第一，评估使用了多个商业API（Claude-Sonnet-4.5-Think、GPT-5等），这些API的访问需要付费且模型可能随时间更新；第二，本地模型服务需要单个NVIDIA DGX节点（2TB系统内存），这对大多数研究团队来说是较高的硬件门槛；第三，作者提到对测试问题进行了重构以防止基准泄露，并手动验证了采样轨迹，但这部分验证过程的具体细节和数据未完全公开。总体而言，核心方法的复现难度中等，但完整复现所有实验结果需要显著的计算资源和API访问权限。