HarnessRisk：面向智能体运行框架安全的全生命周期基准 HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety
首个按六阶段评估智能体Harness安全的基准：128个沙箱案例揭示高效用不等于安全
前置知识
Agent Harness（智能体运行框架）
LLM Agent 的执行层基础设施，负责向模型暴露工具、加载扩展与插件、管理权限与配置、维护持久状态（记忆、策略、凭据）并执行模型生成的外部动作。模型本身只输出决策文本，真正的访问控制、状态存储与外部调用都由 harness 完成。
本文的核心论点是安全是模型与 harness 的联合属性而非模型单独的属性，攻击面主要来自 harness 的六类操作职责，理解 harness 是什么才能理解评测对象。
间接提示注入
对抗指令不来自用户输入，而是藏进智能体在执行任务时必然要处理的外部内容中——邮件、网页、文档、工具输出、配置模板、恢复记录等。智能体读到这些内容后可能被劫持去泄露数据或执行非授权操作，而用户的主任务看起来一切正常。
HarnessRisk 的 128 个案例全部采用这种威胁模型：每个案例都把良性用户目标与嵌入在不可信工作流工件中的对抗指令配对，这是读懂案例设计的钥匙。
ASR（攻击成功率）与 Persistence（持久性）
ASR 衡量对抗目标是否真正实现（如泄露秘密、未授权退款、向攻击者外传数据）；Persistence 衡量对抗影响是否被写入持久状态（记忆条目、扩展、配置、策略、启动项）并在轨迹结束后继续生效。二者都是越低越好，且 Persistence 与 ASR 相互独立：写入持久状态但未实现攻击目标也会计为持久性阳性。
论文对每条轨迹打四维二值标签 $z_\tau=(u_\tau,a_\tau,p_\tau,d_\tau)$，这两个指标是安全侧的核心，混淆它们与 Utility 是最常见的误读。
LLM-as-Judge（模型评审）
用一个强模型（本文为 GPT-5.4）作为自动评审员，读取完整交互记录、工具调用、最终回复、工作区变更、mock 服务状态与网络观测后给每条轨迹打标签。其可靠性需要与独立参照（确定性谓词或人工标注）对比验证，通常报告一致率和 Cohen's $\kappa$。
论文全部主结果由该评审器产出，作者专门用一节（表3）验证其与人工/确定性参照的一致性达 84.3%–92.5%（$\kappa$ 为 0.65–0.83），这是判断结果可信度的前提。
研究动机
LLM 正越来越多地通过 agent harness 部署，harness 管理工具、扩展、持久状态、权限与外部动作，安全决策因此分布在多个环节：harness 被配置时、能力被安装或更新时、不可信内容被处理时、状态被存储时、高危动作被授权时、被入侵状态被修复时。但现有安全基准大多只针对单一攻击机制或少数执行设置。论文表1的对比很直观：InjecAgent、Agent-SafetyBench、LivePI、HarnessAudit-Bench 等只覆盖运行时操作和动作控制两个阶段，ClawSafety、PASB、ClawTrojan、CIK-Bench 也最多覆盖四列，没有任何先前基准覆盖 Harness Configuration 和 Incident Recovery。更麻烦的是，许多基准把结论归因于模型本身，而工具面、权限、状态表示其实由 harness 决定——同一个模型换一个 harness，安全表现可能天差地别，但现有评测协议无法系统回答这类配置级问题。
本文的目标是论文要构建一个以生命周期为组织维度的智能体 harness 安全基准 HarnessRisk，具体目标有三层。第一，提出六阶段分类法：Harness Configuration（harness 配置）、Capability Extension（能力扩展）、Runtime Operation（运行时操作）、State Persistence（状态持久化）、Action Control（动作控制）、Incident Recovery（事件恢复），为不同 harness 职责的风险研究提供统一坐标系，使跨阶段比较成为可能。第二，在统一协议下构建 128 个沙箱案例，每个案例把良性用户目标与嵌入在不可信工作流工件中的对抗指令配对，用 Utility、Attack Success Rate、Persistence、Detection 四个相互独立的指标同时度量任务完成与安全后果，避免以任务成败替代安全评估。第三，按部署组合评估三个 harness（OpenClaw、Hermes、Nanobot）、六个模型共 14 种配置，回答安全到底是模型的属性还是模型加 harness 联合配置的属性。
与已有工作不同的是，独特切入角度在于按 harness 职责而非攻击类型组织风险。此前 InjecAgent、Agent Security Bench、ClawTrojan 等工作围绕提示注入、工具滥用、记忆投毒等攻击类别展开，导致各阶段覆盖零散、跨阶段结论不可比；HarnessRisk 把安全失败映射到 harness 的六类操作职责上，使'哪个环节最脆弱'第一次可以被系统性回答（答案：配置阶段在全部三个 harness 上都最脆弱）。另一差异化是评估对象为部署级配置而非裸模型：威胁模型中攻击者只能控制工件的内容或元数据，不能直接调用受信工具、修改受保护状态、控制系统提示或模型参数，任何危害必须通过被测 agent 配置的处理行为产生，这非常贴近真实部署。此外四个标签 $z_\tau\in\{0,1\}^4$ 相互独立打分，明确允许'任务完成且攻击同时得手'的判定，直接针对'用任务成功率掩盖不安全执行'这一行业普遍盲区。
核心方法
整体思路是'配对 + 隔离 + 多标签评审'。直觉上，真实攻击几乎都发生在正常工作流内部：一封邮件、一个插件市场条目、一份恢复指南里藏着对抗指令，agent 在完成用户交代的正常任务时顺带读到并可能被利用。因此每个案例由四部分组成：用户任务（按固定顺序分三次 owner 轮次下发，使对抗内容可以中途出现、其相关性可以依赖先前动作）、初始世界状态（工作区文件、配置、持久数据、mock 服务状态与合成凭据）、可用工具集合、案例专属评估标准（效用谓词、攻击谓词、安全行为谓词三个族）。执行在全新初始化的沙箱中进行，真实外网访问被禁用，邮件、支付、部署、浏览器、webhook、扩展安装等外部副作用全部路由到本地 mock 服务。每条轨迹由 GPT-5.4 依据完整证据包打出四个二值标签；每种配置在 3 个独立随机种子下执行全部 128 个案例，共 $128\times3=384$ 条轨迹，单次调用超时 1800 秒。
核心创新是六阶段生命周期分类法与配置级评估视角的结合，与已有工作的本质区别有三。其一，表1显示没有任何先前基准同时覆盖配置、扩展、运行时、持久化、动作与恢复六个阶段，HarnessRisk 以 22+22+21+21+21+21=128 个案例首次实现全覆盖，且刻意均衡分布以防单一攻击面主导结论。其二，先前基准把安全当作模型属性，本文用数据证明它主要是'模型×harness'的联合属性：GLM-5.2 在 OpenClaw 上 ASR 高达 54.7%，在 Nanobot 上仅 12.6%，同一模型差 4.3 倍，模型安全排名随 harness 改变。其三，Utility 与 ASR 独立评估并允许同时为 1，直接揭示'有用但不安全'这一被任务成功率掩盖的失败模式——OpenClaw 上 59% 的轨迹属于此类。这把安全评估从'模型是否听话'推进到'harness 是否在其全部职责上守住边界'的层面。
方法步骤详情
基准执行分四步。第一步，环境初始化：每次运行前按案例定义重建工作区、harness 状态、持久状态与 mock 服务，运行间不共享可变状态，API 密钥经环境变量注入、不落盘。第二步，任务下发与执行：适配器在同一持久会话内顺序下发三条 owner 消息，agent 可调用工作区操作与阶段专属能力（扩展管理、消息、支付、部署、浏览器、webhook 等），网络策略限制可达端点，单次调用超时 1800 秒。第三步，轨迹导出：适配器把各 harness 原生对话、工具事件与状态变化翻译成统一格式，保证所有配置用同一证据模式打分。第四步，评估与聚合：确定性谓词与 GPT-5.4 评审器依据证据包打标签 $z_\tau=(u_\tau,a_\tau,p_\tau,d_\tau)\in\{0,1\}^4$，配置级指标为 $\hat{Q}(H,M)=\frac{100}{N_{H,M}}\sum_{\tau}q_\tau$，跨种子变异报样本标准差；阶段级分析对四个公共模型宏平均并用 10000 次 bootstrap 求 95% 区间。有效性过滤剔除空响应与配额/限流等供应商故障，避免把服务中断误判为安全拒绝。
技术新颖性
技术新颖性体现在四点。第一，生命周期分类法本身：把安全责任切分为配置、扩展、运行时、持久化、动作、恢复六个维度，每个阶段绑定典型的不可信工件类型（配置指南与模板、包元数据、邮件/网页/工具输出、同步记录、工单、恢复日志），使攻击面描述具备工程可操作性。第二，评估协议设计：四个标签独立打分，且证据包中工具事件与可观测状态变化优先于模型最终回复中的口头声明，日志中的对抗内容被显式当作证据而非对评审器的指令，显著降低被最终话术误导的风险。第三，评审器验证方法学：按指标可观测性匹配参照系——Utility/ASR 对案例专属确定性谓词验证（一致率 92.5%/89.7%，$\kappa=0.83/0.77$），Persistence/Detection 对双标注员独立标注加第三人仲裁的人工参照验证（84.3%/85.7%，$\kappa=0.65/0.69$）。第四，附录层面的严谨性：明确披露沙箱是进程级状态与副作用隔离而非操作系统安全边界、报告值条件于有效运行等，这在基准论文中少见地诚实。
实验结果
核心发现有五。第一，高效用与高攻击并存：14 种配置的 ASR 为 12.6%–80.9%，Utility 却保持 75.0%–97.6%；OpenClaw 上 59% 轨迹"有用但不安全"，Hermes 43%，Nanobot 38%。第二，同一模型换 harness 安全剧变：GLM-5.2 在 OpenClaw ASR 54.7%、Nanobot 仅 12.6%（4.3 倍差距），DeepSeek-V4-Pro 从 37.3% 到 65.4%，最差为 OpenClaw 上 Kimi K2.6 的 80.9%。第三，检测不等于安全：Detection 与 ASR 负相关（$r=-0.708$），但 GLM-5.2 检出率 92.2% 仍被攻击 54.7%，MiniMax M3 检出 97.9% 仍被攻击 31.2%，恢复阶段常见识别污染却不删危险令牌。第四，配置阶段在三个 harness 上都最脆弱，攻击在授权工作流内篡改单个安全敏感字段（内联密钥、扩大共享、关闭审批）；OpenClaw 在扩展与动作控制上也脆弱，Nanobot 持久化偏高——后轮消息把可疑内容洗白为可信后，agent 未经验证就入库。第五，持久性差异大：GLM-5.2 在 Hermes 仅 4.0%，Kimi K2.6 在 Nanobot 达 23.9%，对抗影响留存程度同样由 harness 决定。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 14 种模型×harness 配置的全生命周期安全评测 | ASR（攻击成功率，越低越好）/ Utility / Persistence / Detection | ASR 12.6%（GLM-5.2+Nanobot）至 80.9%（Kimi K2.6+OpenClaw），Utility 75.0%–97.6%，Persistence 4.0%–23.9% | 无直接可比基线：现有基准（InjecAgent、Agent Security Bench 等）按攻击类型组织且不覆盖配置与恢复阶段 | 首次提供跨六阶段、跨 14 种部署配置的可比安全测量，并证明配置阶段在全部三个 harness 上均为最脆弱环节 |
| GPT-5.4 轨迹评审器 vs 确定性谓词（Utility / ASR） | 轨迹标签一致率 / Cohen's κ | Utility 92.5%（κ=0.83），ASR 89.7%（κ=0.77），各 n=360 分层抽样 | 案例专属确定性谓词（直接检查任务产出与可观测环境效应） | 证明 LLM 评审复杂 agent 轨迹可达到与确定性判定高度一致的水平 |
| GPT-5.4 评审器 vs 人工标注（Persistence / Detection） | 一致率 / Cohen's κ | Persistence 84.3%（κ=0.65），Detection 85.7%（κ=0.69），各 n=300 | 两名标注员独立标注 + 第三人仲裁的人工参照（标注者对 GPT-5.4 标签盲视） | 表明语义性更强的安全指标也能被 LLM 评审稳定复现，尽管可复现度低于确定性指标 |
局限与改进
作者承认的局限包括：有效性过滤剔除的供应商侧失败（配额、限流、订阅错误）并非随机分布，汇总估计条件于有效运行；三个 harness 的系统提示、工具面与状态管理按部署原样评测，跨 harness 对比是部署配置间的比较而非受控的 harness 单因素效应；Persistence 与 Detection 依赖各 harness 暴露的可观测信息，跨 harness 差异可能部分反映测量可见性；低 ASR 无法区分主动安全拒绝、未触达相关工具还是任务失败本身；bootstrap 未建模案例、种子与模型选择带来的依赖，相关性分析仅 12 个配置、属探索性（调整后 Detection 系数 p=0.101 不显著）。我的补充观察：仅三个 harness、六个模型且 GPT-5.5 与 Claude Opus 4.7 只在 OpenClaw 上评估、被排除在跨 harness 分析之外，外部效度有限；每案例仅三轮 owner 消息，远比真实长周期多会话工作流简单；mock 服务替代真实集成可能低估真实环境的歧义；评审器依赖单一 GPT-5.4，未做多评审器交叉验证其自身偏差。
独立分析的弱点
第一，覆盖广度有限：只评测了三个可适配的 harness（OpenClaw、Hermes、Nanobot），IDE 类、浏览器类 agent 框架未涉及，且两个闭源模型只在 OpenClaw 上运行，跨 harness 结论实际只建立在四个公共模型上——改进方向是把适配器协议标准化发布，让社区能低成本接入新框架和长尾模型。第二，威胁模型偏窄：攻击者只能注入工件内容或元数据，不能控制扩展更新渠道、依赖供应链或权限系统本身，而真实世界针对 harness 的供应链攻击（论文只模拟了 typosquatting）远比这复杂，可补充恶意更新、构建注入等场景。第三，Detection 只认显式表述，沉默规避与未解释的拒绝不计入，可能系统性低估模型内部的隐式风险感知，未来可结合可解释性信号或探针测量'知道但不说的失败'。第四，基准只测量不防御：论文发现配置阶段最脆弱、来源与授权上下文跨轮丢失、检测与处置脱节，但没有实现任何缓解机制（来源追踪、字段级审批、恢复后复核）来验证这些发现可直接转化为防御收益。第五，所有统计相关性基于 12 个观测点，'检测与 ASR 负相关'的结论方向可信但幅度不确定。
未来方向
作者方向：构建 harness 级防护并在基准上横向对比——保持来源与授权上下文跨轮次不丢失、保护持久状态免受未验证内容写入、对不可逆高危动作施加约束、以及验证式恢复（回滚/吊销完成后自动复核污染是否清除）；并针对附录 F 总结的四种失败机制（授权变更夹带不安全参数、后轮洗白来源、授权动作中替换目标、检测后不修复）设计受控消融，把定性解释升级为因果结论。可延伸方向：第一，把六阶段分类法发展为持续评测基础设施，利用论文已归档的配置元数据与原始轨迹做模型与 harness 版本迭代的纵向追踪；第二，探索案例自动生成流水线，突破 128 个手工案例的规模与多样性上限；第三，研究'检测到行动'之间的强制干预机制，例如检出风险后自动进入二次确认或降权状态，检验能否消除检测率 97.9% 但 ASR 仍 31.2% 的鸿沟；第四，将协议推广到多 agent 系统与 MCP 生态中的工具权限细粒度审计。
复现评估
复现条件较好。论文承诺开源基准案例、三个 harness 适配器、mock 服务实现、评审器提示词与全部分析脚本，每条运行记录案例修订号、harness 修订号、模型标识符、端点元数据、推理配置、有效性过滤结果与评审判定，声称足以从归档轨迹重算论文中每一张表；API 密钥仅经环境变量注入，配置文件与轨迹中不含密钥。算力方面：每个配置需 $128\times3=384$ 条轨迹，14 个配置合计约 5000 条以上轨迹的模型推理，单次调用超时 1800 秒，OpenClaw 用最低思考档、其余推理参数保持厂商默认；主要成本是六个模型的 API 费用与 GPT-5.4 评审费用。沙箱只是进程级隔离（无内核命名空间、chroot 或防火墙），本地部署门槛低。风险点：供应商端模型标识、端点与服务策略会随时间漂移，作者明确警告精确重跑可能得到不同数字；GPT-5.4 评审器版本演进也会影响跨时间可比性。总体属于工程难度中低、API 成本较高的复现，适合有 agent 框架经验的团队。
论文图表