KAT-Coder-V2 技术报告 KAT-Coder-V2 Technical Report

方法步骤的完整描述如下。首先是监督微调（SFT）阶段，针对五个专家领域分别进行训练。SWE Expert 使用三条互补的数据管道：Issue-PR 管道从数千个 GitHub 开源仓库提取合并的 PR 和相关 Issue 的配对数据，通过语义关联分析建立双向 Issue-PR 映射，提取合并前后的代码状态差异（diffs），重构完整的问题发现到故障定位到代码修复链条，构建检索任务和编辑任务，经过多阶段质量控制最终筛选出超过 200 万个高质量训练样本；AutoBuilder 管道从真实世界的仓库自动构建可验证的软件工程任务，包含三个阶段：环境设置（使用多代理协作自动构建隔离的 sandbox）、指令构建（使用 LLM 自动生成用户指令，确保指令只描述需求意图而不泄露实现细节）、实例验证（确保修复后的代码同时满足 F2P 和 P2P 条件），最终从 8000 多个开源仓库产生 30k 个经过验证的训练样本；Code Comprehension 管道产生基于真实仓库的交互式代码理解数据，包含仓库发现、Docker 环境构建、代码理解查询合成和轨迹合成七个阶段，每个仓库生成大约 8 个查询，每任务最多 150 个交互轮次。WebCoding Expert 采用 Tri-Perspective Label System，为每个设计规范维护三个对齐视图：用户感知到设计原理到技术实现，将生成从黑盒转化为可追溯的结构化推导，数据构建经过高质量设计截图收集、反向工程结构化提示词、种子 HTML 生成（经过设计师筛选）和通过 Teacher Model 进行大规模训练数据推导四个阶段。Terminal Expert 从专家标注数据、多代理合成数据、跨格式适应（通过 AutoBuilder 将 SWE 格式任务转换为 Terminal 格式，产生 10 种编程语言的 100K+ 可验证任务）和开源集成（包括 CLI-Gym 和 TermiGen 数据集）四个互补来源构建数据。WebSearch Expert 通过以搜索轨迹为基础的知识图谱构建管道构建数据，从搜索轨迹中提取命名实体并通过页面间的共现关系链接，形成桥接节点，沿着可控深度的路径采样多跳子图，然后使用 LLM 通过掩码关键实体生成 QA 对，经过两轮过滤（移除无需工具即可回答的样本，使用拒绝采样保留经验成功率在中间带的样本）最终构建超过 100K 训练样本。General Expert 保持模型在通用场景的核心竞争力，覆盖指令遵循、通用 QA 和代码-数学推理三个方向。其次是强化学习（RL）阶段，使用 Agentic Scaling 范式，沿着任务复杂度、意图对齐和 scaffold 泛化三个维度系统性地扩展训练数据。使用内部 Autobuilder 系统策划的基础任务池，采用最先进的闭源模型同时作为 Teacher 和 Judge 在安全的 sandbox 中生成和稳健地验证轨迹，明确过滤掉容易解决的任务，只保留即使对前沿教师模型也需要大量反思或迭代改进的挑战性实例。为了增强对 Sim-to-Real Gap 的鲁棒性，对任务描述应用语义增强，使用 LLM 将标准化的任务规范重写为从详细专家指令到口语化、欠规范查询的一系列变体，这种一个 commit 到多个提示词策略迫使模型从嘈杂、真实的用户输入中准确推断底层的工程意图。为了防止对任何单一 agent 框架的过拟合，将 scaffold 本身作为数据合成期间的独立变量，使用黑盒 scaffolds（Claude Code、OpenCode、Kilo Code 等）和白盒变体（SWEagent）生成轨迹，在相同的任务上跨多个 scaffolds 训练模型培养 scaffold 不可知、高度可迁移的问题解决行为。最后将 RL 格式概括为统一的 5 元组表示，其中 E 表示执行环境，T_tools 表示可用工具集，S_agent 表示特定的 scaffold 和系统提示词，I_task 表示任务指令，V_verifier 表示验证和奖励信号。在 RL 算法方面，提出了 Modified Turn-level Policy Optimization，通过将完整生成的序列分割为 N 个离散的轮次，对每个包含 token 子集的轮次计算独立的重要性比率，然后在轨迹组上应用剪切代理目标，其中 A_n 是组级优势。为了稳定 MoE RL 训练，提出了 MCLA（蒙特卡洛对数概率平均），在训练期间对每个轨迹的 forward pass 预取 8 次，并对相应的对数概率取平均，从而显著减少轨迹级估计器的方差。还结合了 IcePop（通过剪切过度差异 token 来抑制 RL 训练中的训练-推理不匹配），对齐 rollout 和训练之间的路由决策，进一步减少系统级不匹配。在工程方面，提出了 Tree Training 来消除树结构轨迹中的冗余计算，将整个轨迹树序列化为单个 DFS 展平序列并应用 per-token loss weight，实现了高达 6.2 倍的训练加速。最后是专家融合阶段，通过 On-Policy Distillation (OPD) 将多个领域专家合并成单个全能模型。在训练期间，统一的 Student 模型在混合领域提示词上主动生成完整轨迹。关键是将 Student 使用标准 RL loss 和专家指导的 OPD loss 进行联合优化。对于 RL 组件，环境（例如执行 sandboxes）提供稀疏的接地奖励以确保最终任务成功。对于 OPD 组件，为每个特定任务动态选择表现最好的专家作为 Teacher，该指定的专家评估 Student 的 on-policy rollouts 并通过其 log-probabilities 提供密集的 step-level 监督。

技术新颖性分析如下。在方法论方面，Specialize-then-Unify 范式是一个系统性的创新，它将 agentic coding 能力分解为五个正交的专家领域，每个领域经历独立的专门训练，然后通过 on-policy distillation 合并为单个模型。这与传统的混合训练或简单的权重平均方法形成鲜明对比，前者会导致不同领域训练信号的冲突，后者会导致灾难性遗忘。OPD 的创新在于它结合了 RL 的主动探索和知识蒸馏的密集监督，避免了离线 SFT 的暴露偏差，同时避免了计算昂贵的 full-logit 蒸馏。在基础设施方面，KwaiEnv 的模块化设计通过标准化接口解耦数据集、sandboxes、scaffolds 和验证逻辑，这是一个显著的工程创新。这使得新 scaffold 或数据集的集成只需配置相应的端点和认证，无需代码修改，大大降低了工程成本。在 RL 训练方面，Agentic Scaling 范式系统性地沿着任务复杂度、意图对齐和 scaffold 泛化扩展 RL 训练，这是一个方法论上的创新，因为它明确地针对 agentic coding 的三个关键维度进行数据扩展。MCLA 和 Tree Training 是算法和工程上的创新，前者通过减少对数概率方差来稳定 MoE RL 训练，后者通过消除树结构轨迹中的冗余计算来大幅提高训练效率。这些创新共同形成了从方法论到工程实现的完整解决方案，为构建强大的 coding agents 提供了新的路径。

独立分析的弱点包括：第一，在 agent 执行基准如 Claw-Eval 上与最先进模型存在明显差距，Pass@3 为 55.6% 而 Claude Opus 4.6 为 66.3%、GPT-5.4 为 66.3%，这表明在复杂 agent 场景下的技能调用、任务编排和动态调度策略仍有改进空间，改进方向可以包括增强对长时程任务的理解能力、优化多步推理策略以及提升对动态环境的适应性。第二，在通用任务方面，IFBench 基准上达到 67.0% 而 GPT-5.4 达到 73.9%、Gemini 3.1 Pro 达到 77.1%，这表明在某些通用指令遵循能力方面仍有提升空间，改进方向可以包括扩展指令遵循的多样性、增强对复杂约束的理解以及提升对组合任务的鲁棒性。第三，大规模 RL 训练的计算成本很高，虽然 Tree Training 实现了高达 6.2 倍的训练加速，但整体算力需求仍然巨大，这可能限制方法的可访问性和可扩展性，改进方向可以包括进一步优化计算效率、探索更高效的 RL 算法以及开发更轻量级的训练策略。第四，依赖内部专有系统（如 Wanqing 容器云平台）可能影响某些组件的完全复现性，这对于学术研究的可复现性是一个挑战，改进方向可以包括开源更多组件、提供更详细的实现文档以及开发可替代的开源实现。

未来研究方向包括：首先，作者提出通过进一步扩展 agentic RL 和更丰富的环境交互来缩小在某些 agent 执行基准（如 Claw-Eval）上的差距，这可能包括增加训练数据的多样性、提升对复杂 agent 场景的理解能力以及优化多步推理策略。其次，作者提出将 Specialize-then-Unify 范式扩展到 coding 以外的更广泛的 agentic 领域，这可能包括将方法论应用于其他领域（如科学计算、数据分析、自动化测试等）以及探索跨领域的知识迁移策略。第三，基于研究成果可延伸的方向包括探索更高效的专家融合策略以完全释放领域专门化训练的潜力，这可能包括开发更复杂的蒸馏算法、优化专家选择的动态机制以及探索更灵活的模型架构。第四，可以进一步优化 Tree Training 和 MCLA 等技术创新，这可能包括将 Tree Training 应用于更多类型的树结构任务、优化 MCLA 的计算效率以及探索其他稳定 MoE 训练的方法。第五，可以扩展美学评估基准的覆盖范围，这可能包括增加更多的前端场景、开发更细粒度的评估维度以及探索自动化的美学评估方法。

复现评估显示，模型在 https://streamlake.com/product/kat-coder 公开可用，但论文没有明确说明模型权重、训练代码或数据集是否完全开源。大规模 RL 训练需要显著的计算基础设施，包括支持数万个并发 sandbox 实例的能力，这对大多数研究团队来说是一个重大挑战。虽然 Tree Training 实现了高达 6.2 倍的训练加速，但整体算力需求仍然巨大。依赖内部专有系统（如 Wanqing 容器云平台）可能影响某些组件的完全复现性。然而，论文提供了详细的算法描述和实现细节，包括 MCLA 的对数概率平均方法和 Tree Training 的实现方法，这有助于理解方法的原理。评估结果基于 KwaiEnv 平台，该平台的架构和设计在论文中有详细描述，但平台本身是否开源尚不明确。总体而言，复现该工作的难度较高，主要受限于计算基础设施和对内部专有系统的依赖。