OR-Space：工业优化代理全生命周期工作空间基准测试 OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents

OR-Space方法包含三个核心步骤第一是基准构建从IndustryOR的一百个基础问题开始通过两阶段管道生成工作空间实例。第一阶段生成与基础数学模型紧密对齐的清洁规范第二阶段将其重写为真实的业务导向工作空间包含领域术语对话冗余不一致的模式引用和噪声组织语言。对于构建每个实例被转换为统一的OR-Space工作空间表示问题描述参数表可执行代码运行时环境和评估记录被明确分离到异构工件中。对于修订在现有工作空间实例上合成程序化需求演化引入同时插入删除和修改变量和约束的耦合结构更新许多修订引入多变量约束耦合新业务规则会改变现有约束关系而非独立作用。对于解释从验证的求解器执行直接构造基于锚定的推理任务提取对偶变量绑定约束松弛值大M紧度条件和线性规划松弛边界等求解器衍生信号然后生成需要跨工作空间工件和优化状态进行多跳推理的业务导向分析问题。第二是任务定义包括三个生命周期导向的模式构建要求代理从业务文档和数据文件构建求解器就绪的优化模型修订要求代理在更新业务需求下修改现有优化工作空间解释要求代理基于执行记录回答关于解约束假设和业务含义的基于锚定的问题。第三是评估协议对构建和修订使用求解器评分提交被计为正确当且仅当脚本无错误执行返回最优状态相对于古罗比参考解的相对目标误差至多为零点零一。解释使用基于锚定的评判器rubric报告五维度平均分包括精确覆盖三十五分推理三十五分可信度二十分答案质量十分减去幻觉惩罚最高扣十二分。

OR-Space的技术新颖性体现在多个层面。在工作空间形式化层面将运筹学工作空间定义为结构化持久化可执行环境扩展了AMPL和Pyomo的模型数据分离范式将分离工件求解器执行状态和评估信号视为交互式基准状态的一部分。在任务设计层面定义构建修订解释三个生命周期模式区分模型构建结构修改和求解器锚定解释特别是修订中同时暴露遗留启发式代码和形式化公式发现强模型的上下文放大现象和弱模型的上下文中毒现象。在评估协议层面结合求解器锚定的目标值匹配和基于rubric的评判器既保证数学正确性又评估解释忠实度。在失败分析层面提供跨工作空间工件的一致性归因发现某些模型的构建失败中仅百分之二十一点四是数学建模错误百分之三十九点三是数据映射错误百分之二十八点六是幻觉约束。在基准构建层面使用两阶段管道和质量门并要求独立验证器从业务需求文档和数据文件重新求解确保一致性。在环境控制层面使用Docker沙盒一百二十秒时钟限制网络隔离温度小于等于零点一的确定性解码保证评估可重现性。

OR-Space在多个方面存在可改进的弱点。第一评估范围限于线性和混合整数规划模式未覆盖非线性优化随机规划动态规划仿真优化鲁棒优化等工业运筹学中的重要子领域这些领域可能涉及不同的建模模式和代理能力需求改进方向是扩展工作空间覆盖到这些领域引入非线性约束随机变量递归结构等。第二解释任务的评判器可能存在主观性尽管使用确定性解码和明确rubric仍可能对评判器模型选择提示设计锚点定义敏感可能引入系统性偏差改进方向是增加自动化一致性检查如约束逻辑验证数值一致性检查或使用多评判器一致性。第三数据集可能受训练数据污染影响特别是闭源模型可能在预训练中看到类似工业运筹学问题导致性能高估改进方向是使用更新数据源合成新拓扑或检测模型在合成实例上的异常性能。第四评估限于模型构建修订和解释未覆盖运筹学工程工作流的其他重要阶段如问题公式化从业务需求到数学问题的转换求解器调优参数设置分支策略选择敏感性分析对参数变化的鲁棒性结果部署集成到业务系统监控持续验证模型有效性改进方向是扩展任务模式覆盖这些阶段。第五算力和许可证需求限制可复现性古罗比等商业求解器需要许可证评估二十个模型在三百实例上需要大量图形处理器预算可能限制独立研究者参与改进方向是提供更便宜的替代求解器的完整结果预计算参考值或分阶段评估方案。第六工作空间复杂性分布可能存在偏差中位数十五到三十二个变量和约束这可能不代表某些工业应用的大规模混合整数规划实例改进方向是引入大规模实例或提供不同规模版本的数据集。

作者提出的未来研究方向包括第一扩展工作空间到其他运筹学模式如非线性优化随机规划仿真优化鲁棒优化测试代理在更广泛运筹学领域的能力第二改进解释评估探索自动化一致性检查多评判器一致性或人类专家标注第三研究代理在大规模商业优化实例上的能力使用来自真实线性规划和混合整数规划应用的数据而非合成拓扑第四探索运筹学代理的训练方法如使用OR-Space进行微调强化学习或课程学习以提高工作空间推理能力第五研究运筹学代理的工具使用和外部化如求解器应用程序接口调用数据可视化交互式调试以增强工作空间操作能力第六分析代理在不同工业运筹学领域的性能差异如供应链优化生产调度资源分配投资组合优化等第七研究代理在多运筹学工作流中的能力如同时处理多个相关优化问题跨问题一致性验证优化结果比较第八探索人机环运筹学工作流代理与人类运筹学工程师协作学习人类反馈适应领域特定约定。基于成果可延伸的方向包括第一研究修订中的上下文依赖模式定量分析什么类型的遗留代码对什么模型有帮助或有害设计智能上下文选择策略第二研究跨工作空间工件的一致性验证方法如自动检测数据模式不匹配约束逻辑冲突目标语义错误第三研究解释的可解释性技术如生成可视化交互式探索因果追踪帮助用户理解优化决策第四研究运筹学代理的鲁棒性和泛化能力如在噪声数据缺失值不一致文档下的表现第五研究运筹学代理的安全性和可靠性如检测和避免优化攻击对抗性数据修改保证解的可行性和合理性。

OR-Space在可复现性方面提供良好支持代码已在GitHub开源数据已在Hugging Face发布包含构建修订解释工作空间分割清单预言机目标求解器工件提示模板评估rubric运行器元数据基线输出数据集和评估卡片发布清单和面包屑元数据。基准构建管道记录所有语言模型调用的模型标识温度最终渲染用户消息和原始回复提示模板作为系统端记录用户端在运行时从工作空间JSON自动构造。评估使用Docker沙盒仅中央处理器无网络隔离新鲜Python解释器一百二十秒时钟限制古罗比十二点零点一用于预言机生成和主要后端鲁棒性分析在COPT PuLP CBC和HiGHS上重新运行选定设置基准包记录求解器版本模型标识提示解码设置令牌预算原始输出和评分追踪。主要通过第一次数字是一百实例上的固定分割描述性率二项标准误为根号下p乘一减p除以一百。基准构建使用人类运筹学经验研究者审查检查业务描述参数模式求解器执行状态和解释rubric间的一致性。然而可复现性存在挑战第一古罗比等商业求解器需要许可证可能限制独立研究者参与第二托管模型的语言模型推理通过提供商应用程序接口提供商侧硬件不受作者控制第三评估二十个模型在三百实例上需要大量图形处理器预算第四解释的评判器可能引入评判器模型选择依赖性第五数据集从一百个IndustryOR拓扑合成可能受训练数据污染影响总体而言OR-Space提供相对良好可复现性但算力和许可证需求可能限制完全复现。