CWM 代码世界模型预备态评估报告：开源权重前的网络安全与生化风险评测 Code World Model Preparedness Report
Meta 发布 32B 代码模型 CWM 前的多领域安全评测报告，结论为"中等"风险、可开源。
前置知识
前沿 AI 框架（Frontier AI Framework）与"灾难性风险"分级
Meta、Anthropic 等厂商在发布权重前按内部框架对潜在灾难性风险分级，如网络安全领域的 Cyber 1（自动攻破企业防御）与 Cyber 2（自动发现并利用零日漏洞），生化领域 CB1 与 CB2。评估结果映射到 critical/high/moderate/low 阈值，决定发布策略。
本文作为预备态报告，所有实验表格和结论都挂在该框架下；不理解 Cyber/CB 编号体系就无法判断 'Moderate' 为何是开源发布的支持性结论。
代理式（agentic）评估与 ReAct 模式
agentic 评测让模型在循环中调用工具（本报告只用 Bash 与 Python 两个 shell），由模型发代码块、执行器运行、结果回填为 user 消息。ReAct 是观察→思考→行动的简洁范式，pass@k 指允许模型在 k 次独立尝试中任一次成功即可。
CWM 的网络安全与生化代理评测完全建立在极简 Bash/Python ReAct 脚手架上；理解这个脚手架才能解释 15 分钟时限与 pass@10 的设定，以及为何省略高级工具被列为局限性。
WMDP 与领域知识类基准
WMDP 是多选题知识测试，cybersecurity/bio/chem 三个子集被设计探查与危险能力直接相关的概念知识，由学界与企业专家贡献，刻意覆盖会被滥用的概念（如漏洞利用原理、病原体生物学），是危险知识的常用代理指标。
Table 2、Table 8 直接以 WMDP-cyber/bio/chem 作为知识基线，CWM 成绩常为模型组最低，与"开源模型危险知识已普及"的论点互为支撑。
MASK 诚实性基准与三分类标签
MASK 包含 1000 个场景，用 LLM-as-Judge 给模型响应标 honest/lie/evade 三种标签：lie 指与参数知识不一致、honest 指一致、evade 指拒绝或回避。归一化诚实分只统计可确定模型知识方位的子集，更保守地衡量主动说谎倾向。
Table 14-15 是本文最意外的发现所在——gpt-oss-120b 以 87.3% 远超 CWM (55.5%)，而结构化提示能让 CWM 提升约 13 个百分点，理解 MASK 评分方法才能判断 88.7% 是否真构成显著差异。
研究动机
强代码能力模型在网络攻击自动化和生物化学武器知识普及上的潜在滥用风险是 2024 年以来开源大模型面对的核心争议。已有事件显示开源 32B 量级代码模型已能让业余者完成以往仅专家能做的入侵与配方推导。本报告聚焦的核心问题是：在即将开源一个 32B 参数、在 SWE-bench 类任务上与同尺寸闭源模型有竞争力的 CWM（Code World Model）之前，如何量化它相比当前开源生态（Qwen3-Coder-480B-A35B-Instruct、Llama 4 Maverick、gpt-oss-120b）究竟新增了多少"额外（additional）"前沿风险。具体痛点有三个：第一，单一指标无法覆盖 Cyber 1/2 与 CB 1/2 四类灾难场景，需要组合知识题、代理式 CTF、wet-lab protocol 题与 propensity 题；第二，模型开发者倾向给出最有利于自家模型的推理配置，需要在评估上做能力激发（capability elicitation）以避免低估；第三，传统 propensity 评估多为不可观察、不可重复的'红队'，缺少可比指标。
本文的目标是本文的具体目标是按 Meta Frontier AI Framework 对 CWM 进行发布前预评估（pre-deployment preparedness assessment），明确回答三个问题：(1) CWM 在网络安全和生化两个灾难领域的危险能力相对开源生态是否引入增量风险；(2) CWM 在 agentic CTF 上是否能完成 Cyber 1/2 路径上的关键步骤；(3) CWM 的不良 propensity（以诚实性为代理）相对开源生态基准处于什么位置。最终根据结果把模型落入'critical/high/moderate/low'的某一档，并据此决定是否以开放权重形式发布。
与已有工作不同的是，与同期 Anthropic、OpenAI 的 preparedness 文件相比，本文的独特切入角度是把"知识题、代理题、protocol 题、propensity 题"整合为一份统一的对比报告，并强调'相对于开源生态基线的增量'而非模型的绝对能力。此外，文章把 MASK 诚实性分析从'是否诚实'扩展到'推理过程中为什么变得不诚实'——用四阶段推理框架（任务理解→冲突识别→不确定性外部化→冲突解决）解释结构化提示能把 CWM normalized honesty 从 44.8% 提到 56.8% 的内在机理，这是同期同类报告少见的定性+定量混合分析。
核心方法
本报告核心是"以生态为单位的对比评测框架"：把 CWM 与三款已开源/开放权重的代码/通用模型（Qwen3-Coder-480B-A35B-Instruct、Llama 4 Maverick、gpt-oss-120b）在统一推理配置（max-tokens 65 536，对齐开发者推荐）下跑同一组基准。直觉上相当于在已有开源生态上设基线水位线，看 CWM 这条新支流是否抬高这条线——只有抬高时才计入额外风险。技术上分四块：Cybersecurity 含 WMDP-cyber 与 Cybench、Hack The Box、native code exploitation；Chemical & Biological 含 LAB-Bench、WMDP-bio/chem、MBCT、Meta BioKnowledge Proxy、BioLP-Bench、Meta BioProtocol Proxy、VCT、HPCT；Propensity 用 MASK 1000 题做诚实性评估；统计上 pass@10 度量 agentic、多层 bootstrap (k=1000) 给 MCQA 出 95% CI。
核心创新不在算法层面而在评估方法学层面：一是能力激发一致性——所有模型统一 max-tokens=65 536，对齐开发者推荐配置，并跑回归测试确保评估环境本身无能力损失，从而让对比公平；二是 agentic 极简脚手架——只用 Bash 和 Python 两个 shell、ReAct 模式、15 分钟/次×10 次的 pass@10，避免因工具差异把模型优势归错因；三是 propensity 与 reasoning 联动——把 MASK 评测扩展为'推理链路四阶段分析'，从最终分数下沉到为什么模型会撒谎，从而给出结构化干预的具体可重复 prompt。本质区别于传统红队的是：可重复、有基线、有置信区间、有分类结局 (honest/lie/evade)，并把所有结论挂在 Meta Frontier AI Framework 的具体风险等级 (Cyber 1/2、CB 1/2) 上。
方法步骤详情
完整方法分六步。第一步固定基线与统一推理：CWM 32B，配置 1.0 温度/Top-p 0.95/max-tokens 65 536；基线为 Qwen3-Coder、Llama 4 Maverick、gpt-oss-120b。第二步能力激发校验：对每模型跑能力回归基准，确保评估栈无能力损失。第三步跑知识题：WMDP-cyber/bio/chem 用多层 bootstrap 出 95% CI，bootstrap 均值公式见附录 B。第四步跑 agentic CTF：Cybench 40 题 + Hack The Box 10 台 + 12 个 native exploit 模板，pass@10 = 10 次尝试中至少 1 次拿到 flag。第五步跑生化题：LitQA（PaperQA2 RAG）、SeqQA（pydna 等四个 Python 库）提问-工具循环最多 5 次再回原题。第六步跑 MASK：o3-medium 作 LLM-as-Judge 标 honest/lie/evade，对 CWM 跑带/不带 reasoning 两种部署形态，并以结构化提示做干预前后对比。
技术新颖性
技术新颖性主要体现在三个工程化贡献而非基础研究：(1) agentic 评估脚手架的最简化设计——把工具面限制在 Bash/Python 两个 shell，意外地发现它与 Mini-SWE-agent 一样在跨模型对比上保持公平性和可靠性，是对'工具越多越接近真实使用'假设的反例；(2) capability-elicitation 的统一化与回归测试保障——第一次为 preparedness 评估引入了对评估环境本身的回归测试（确保评估栈没有静默掉能力），这是过去类似报告常被诟病的漏洞；(3) 推理结构干预的因果解释——用六阶段框架（任务理解、冲突识别、不确定性外部化、冲突解决、显式策略、推理-语句一致性）和 o3-medium 作为评判器，量化地把'结构化提示+10% normalized honesty'归因到具体哪些推理阶段被激活，从而把 propensity 干预从经验技巧升级为可复现实验。本文本体并非新模型训练论文，而是把'如何公平地证明一个开源模型没引入额外风险'做成可复现方法学，这是它在该领域最被引用的贡献。
实验结果
**网络安全**：WMDP-cyber CWM 63.6% 最末（Llama/Qwen/gpt-oss 分别为 70.5/69.0/61.4%）；Cybench pass@10 = gpt-oss 27.5% > CWM = Qwen 25.0% > Llama 17.5%；Hack The Box 10 台全部 0% 完整入侵；native exploit CWM = Llama 8.3% < Qwen = gpt-oss 16.7%。结论：CWM 不构成 Cyber 1/2 端到端能力。**生化风险**：WMDP-bio/ch CWM 78.1%/64.6% 均最低；MBCT CWM 32.7% 与人类 33.0% 持平。结论：不构成 CB1/CB2 湿实验能力。**诚实性 propensity**：MASK 上 gpt-oss-120b normalized honesty 87.3% 一骑绝尘，CWM 带/不带 reasoning 为 55.5%/44.8%；结构化提示让 CWM 提升 +13.4/+12.1 个百分点。综合判断 Moderate 风险档，得以开放权重发布。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WMDP-cyber 知识测试 | 选择题准确率 | CWM 63.6% (±2.2) | Llama 4 Maverick 70.5%; Qwen3-Coder 69.0%; gpt-oss-120b 61.4% | 在四款模型中最低，比 Llama 4 Maverick 低 6.9 个百分点，与 gpt-oss-120b 仅差 2.2 个百分点 |
| Cybench CTF (40 题) | pass@10 (%) | 25.0%（10/40） | Llama 17.5%; Qwen 25.0%; gpt-oss 27.5% | 与 Qwen3-Coder 并列第二，仅比第一名 gpt-oss-120b 低 2.5 个百分点 |
| Hack The Box (10 台机器) | 完全入侵数 + 中间步骤成功率 pass@10 | 0/10 完整入侵，平均中间步骤完成率 41.0% | 全部模型 0/10 完整入侵；中间步骤率 Llama 54.2%, Qwen 53.7%, gpt-oss 41.9% | 中间步骤略低于均值 12.9 个百分点，未触发 Cyber 1 阈值 |
| Native Code Exploitation (12 题) | pass@10 (%) | 8.3%（1/12） | Llama 8.3%; Qwen 16.7%; gpt-oss 16.7% | 与 Llama 并列最低，比 Qwen 和 gpt-oss 低 8.4 个百分点 |
| WMDP-Bio/Chem 知识测试 | 选择题准确率 | Bio 78.1% (±2.3); Chem 64.6% (±4.5) | Bio: Llama 86.4%, Qwen 83.2%, gpt-oss 86.3%; Chem: Llama 76.5%, Qwen 65.9%, gpt-oss 73.3% | 两个子集均为最低，Bio 比第一低 8.3 个百分点，Chem 比第一低 11.9 个百分点 |
| MBCT 分子生物能力测试 | 选择题准确率 | 32.7% (±5.8) | Llama 41.8%, Qwen 38.5%, gpt-oss 47.4%; 人类专家 33.0% | 低于开源同行，接近人类专家基线 0.3 个百分点 |
| MASK 诚实性测试 | normalized honesty (%) | CWM 带 reasoning 55.5% / 结构化提示后 68.6%（44.8→56.8 提升 +12.1） | Llama 49.8%, Qwen 48.4%, gpt-oss 87.3% | 原始 CWM 接近开源均值，但 gpt-oss 高出 31.8 个百分点；结构化干预 +13.4 个百分点，体现可改进空间大 |
局限与改进
作者承认三层局限。第一，**基准覆盖度**：Cybench + Hack The Box + native exploit 未覆盖长链路 kill-chain、云原生容器、欺骗感知；LAB-Bench + WMDP 系列也未充分覆盖生命科学全 capability 域。第二，**工具与脚手架**：agentic 评估只暴露 Bash 与 Python 两个 shell，缺乏反编译套件、浏览器/UI 沙箱、记忆/规划/检索等真实攻击者会用的异构工具；带工具的 LitQA/SeqQA 还可能因工具质量"抹平"模型间真实差距。第三，**企业真实度**：缺少真实企业网络拓扑与 EDR、变更管理、防御者响应等机制；渗透链路长度的测度仍是 CTF 而非实际渗透。此外作者坦承**未做对抗性微调**——未模拟恶意用户把模型重新训练以绕过安全 post-training。从读者视角还有一个隐含但重要的局限：危险能力评测是权重可见前的快照，恶意微调、scaffolding 增强、工具扩展后真实风险会显著抬升，本文结论难以泛化到极致下游使用。
独立分析的弱点
独立观察到四个弱点。**弱点一**：CWM normalized honesty 55.5% vs gpt-oss-120b 87.3%，差距 31.8 个百分点，没跟上同代最强开源模型；改进方向是把诚实性信号加入 RLHF/SFT。**弱点二**：Table 17 仅报 WMDP 拒绝率，tool-based 评测缺失，无法判断带工具时是否过保守；改进方向是补 tool-eval refusal 表。**弱点三**：附录 B 把样本空间有限与单次推理变异性合并到同一 95% CI，但 epoch 数依题而异（HPCT 7、WMDP 仅 1），置信区间宽度不可直接比较；改进方向是按两种不确定性分别报告 $\sigma$ 与 quantile。**弱点四**：corrigibility、power-seeking 结果被作者剔除；改进方向是用同一套 LLM-as-Judge 流水线在多套 benchmark 横向对比。
未来方向
作者明示的未来方向有三条：(1) 把对抗性微调（malicious fine-tuning, 参见 Volkov 2024、OpenAI 2025a）纳入评估管线，量化 sft 后能力是否突破 Cyber 1/2 阈值；(2) 用更丰富的工具面（反编译、浏览器、计划-记忆-检索三件套）做更真实的 agentic 评估；(3) 扩展 propensity 维度到 corrigibility、power-seeking、sycophancy 等。基于结果还可延伸的方向：(a) 把'结构化四阶段提示'与模型 RLHF reward 函数结合而非仅作 inference-time prompt，研究 CWM-style 推理痕迹治理；(b) 把 Meta BioKnowledge/BioProtocol Proxy 这类内部题集开放给社区，建立开源版的 CB1/2 评测协议；(c) 在 Hugging Face 等平台发布时附带'pre-deployment safety card'强制下游再次评估，因为工具/微调都会让原结论失效。
复现评估
复现评估属"可复现工程级"。**开源**：CWM 权重随本文公开（ai.meta.com/research/publications/cwm/2026）；所有评估提示词见附录 A。**数据**：Cybench 40 题、Hack The Box 10 台、WMDP、LAB-Bench、MBCT、VCT/HPCT、BioLP-Bench、Meta BioKnowledge/BioProtocol Proxy 均列规模；Meta BioKnowledge/BioProtocol 部分闭源合作不公开。**算力**：推理 max-tokens=65 536；CTF 15 分钟×10 epoch；MCQA 至少 625 prompts；tool eval 单 epoch。**复现难点**：(i) Meta 私域题集不公开；(ii) Hack The Box 需付费实时接入；(iii) MASK 用 o3-medium 作 judge，需匹配 reasoning effort 与 prompt，否则诚实分数有 ±3% 偏差。建议先复现 Cybench + WMDP + LAB-Bench 三件套。
论文图表