REDACT：从智能体能力轨迹中编辑敏感程序性技能 RedAct: Redacting Agent Capability Traces for Procedural Skill Protection
用选择性改写和行为水印保护智能体轨迹中的专有程序性技能，防止被下游蒸馏复用。
前置知识
工具使用智能体
能够调用外部工具（如代码执行、文件读取、API 调用）来完成复杂多步任务的语言模型系统，其行为通过执行轨迹 $\tau = (\{(r_t, a_t, o_t)\}_{t=1}^L, y)$ 记录，其中 $r_t$、$a_t$、$o_t$ 分别代表推理步、动作和观察，$y$ 是最终输出。
本文研究的核心对象就是这类智能体释放的轨迹，理解其多轮执行结构是看懂问题形式化的前提。
程序性技能与轨迹蒸馏
程序性技能 $s = (m, R)$ 是封装了可复用工作流、代码模板和领域启发式知识的结构化包；轨迹蒸馏指下游方法仅凭公开轨迹重建这些技能，从任务无关信号转化为可复用流程监督。
论文把"技能复用"区分为答案复制和程序性恢复，前者通过披露即可阻止，后者才是 REDACT 的真正防御目标。
行为水印（Trajectory-Level Watermarking）
在轨迹中插入功能中性的特定行为模式（如固定动作、错误恢复短语），使得被微调的学生智能体在遭遇激活短语 $\kappa_h$ 时会复现这些模式，从而被 $W_{detect}^h(\hat{\tau}) \in \{0,1\}$ 检测出来。
水印层是 REDACT 的第二大组件，决定了下游复用是否可被溯源，需要理解 hooks、activation key 和 detector 三元组。
归一化技能迁移率（NST）
衡量披露条件下游学生智能体相对无技能基线的进步占 Oracle 全技能进步的百分比，$NST = \frac{SSR_{cond} - SSR_{NoSkills}}{SSR_{Oracle} - SSR_{NoSkills}} \times 100\%$，越低代表技能泄漏越少。
这是论文评估防护效果的核心指标，所有主结论都围绕它从 44.7-67.1% 降到负值展开。
研究动机
工具使用智能体正从研究原型走向生物医药、金融估值、控制工程等专业领域的实际部署，这些系统的核心资产是团队精炼的程序性技能（专有公式、阈值、工具调用顺序与验证协议）。然而出于透明性与可调试性的需要，开发者经常公开发布智能体的执行轨迹；问题在于这些看似无害的轨迹其实包含了大量过程级细节，下游攻击者无需访问模型权重或私有技能文件，仅凭 trace 就能用单智能体合成、多智能体进化、检索复用和轨迹微调四种方式蒸馏出可复用技能。论文用 6 个前沿模型实测表明，相较 No Skills 基线，原始 trace 让下游平均 SSR 提升 3.8-5.7%，在 Hard 难度任务上甚至高 6.5-10.5%，这意味着轨迹已经构成真实的攻击面，而现有防御要么停留在答案层无法审计，要么用通用摘要破坏证据链，无法解耦"可审计性"与"技能保护"这一根本矛盾。
本文的目标是本文提出一个能在保留审计证据的同时系统化移除可复用程序性内容的安全轨迹发布框架 REDACT，并构建首个能定量评估该威胁的基准 CAPTRACEBENCH。具体目标是把 No Skills 下游学生策略的 SR/SSR 压回基线以下（NST 降至非正），让去除的技能信息不可逆地从对外工件中消失，同时通过嵌入行为水印为后续追踪二次复用提供概率证据。最终把"公开发布轨迹"从泄漏面变成可控的安全接口，使生物医药、金融估值等场景的开发者在不暴露专有公式/阈值/验证协议的前提下，依然能向用户提供调试与合规所需的可审计工件。
与已有工作不同的是，现有工作大多聚焦在保护 reasoning text（思路改写、token 级水印），对智能体轨迹中独有的"过程级程序性知识"缺乏建模；模型提取与训练数据抽取研究则在黑盒输出层运作，没有覆盖 skill re-distillation 这一新威胁。本文切入角度是同时形式化"轨迹作为安全接口"与"黑盒轨迹披露"两个新问题，把 key-item localization、选择性改写和行为水印整合到同一发布管线，并以 75 个长程任务、154 个 curated skill、7 个域的受控基准量化收益，与之前的纯理论或纯防御 demo 区别开来。
核心方法
REDACT 由部署侧（技能所有者）执行，假设发布者能预先访问完整的 skill 包 $s = (m, R)$ 以判断哪些过程信息属于需保护的 $I_{prot}(s)$，下游复用者只能看到公开工件 $z_{RA} = \phi_{RA}(x, \tau)$。整体直觉是：先做"信息瓶颈"——让 LLM 定位出公式、阈值、关键工具、私有启发式这些 key items 并交给人审核去重，然后用第二个 LLM 把含这些 key items 的中间轮抽象成任务级描述，只留下最终输出、工具使用证据、执行顺序等审计必需项；再做"信号嵌入"——在受保护轨迹的固定位置或工具/错误上下文后注入功能中性的 hook 行为，让被微调的下游学生一旦被激活短语触发就会暴露其来源。最终发布物比 answer-only 包含更多审计线索，又比 raw trace 显著降低可复用流程监督信号。
与已有 trace 防御的最大区别在于"显式 key-item 引导 + 双层架构"：通用改写只能缩短或抹平轨迹，关键信息仍以隐式形式残留，本文用 $g_\eta(d, s) \to K_{prot}$ 先显式枚举需要保护的离散条目并经 Human Review 去重（如合并"rise time < 10s"与"speed rise time < 10s"），再条件化改写 $\rho_\theta(d, \tau, K_{prot})$ 将其抽象，确保每个被移除项都有迹可循而非随机隐去；第二层把水印从文本层降到行为层，与现有 Kirchenbauer 类 token 水印不同，它依附的是工具调用而非字符序列，因此抵御改写和微调更鲁棒，且设计成可审计的 provenance evidence 而非所有权证明。
方法步骤详情
流程分四步：(1) Key-Item Locator：LLM 后端 $g_\eta$ 从 $d$、$s$ 抽取出覆盖公式、阈值、工具与验证协议的受保护项 $K_{prot}$；(2) Human Review：对 $K_{prot}$ 去重合并，如把"rise time < 10s"与"speed rise time < 10s"合为一条；(3) Rewriter $\rho_\theta$：以 $K_{prot}$ 为条件，把含保护项的中间轮抽象为任务级描述生成 $z_{RA}=\rho_\theta(d,\tau,K_{prot})$，但保留最终输出、工具证据与执行顺序；(4) Behavioral Watermarking：按 $W_{check}^h(c)$ 筛出可插入点 $\Omega_h$，按 $r\in[0,1]$ 采样 $\Lambda_h$，通过 $W_{inject}^h(c,\kappa_h)$ 得 $c'$；检测时用 $\kappa_h$ 触发学生回放，由 $W_{detect}^h(\hat{\tau})\in\{0,1\}$ 给出二元判定。
技术新颖性
技术上的新颖性体现在三点协同：第一次把"轨迹作为可被蒸馏的专有资产"建模为 black-box trace disclosure 的形式化博弈，定义出 $\pi^S(a \mid M(D_\phi^B), x, h)$ 等学生策略，使下游攻击与防御可同框比较；第一次给出显式 key-item localization + 条件改写而非通用改写的护栏，并用 CAPTRACEBENCH 上 NST 从 +51.6% 跌至 -36.6% 的对照组差异证明定位是关键；第一次把行为水印族（4 个 hooks）作为"复用概率证据"而非"所有权证明"嵌入受保护轨迹，使 standalone hook 在 Qwen3-8B/4B 上达到 93.6-100% TD 与 ≤1.9% FA，同时 contextual hook 零误报但选择性更低，符合安全工程的可信区间需求。
实验结果
主实验在 75 任务 × 6 模型后端展开：原始 trace 让下游 Extracted/Evolved/Retrieval 三类复用平均 SSR 达 73.5%/73.7%/71.8%，相比 No Skills 基线 68.0% 净增 +5.5/+5.7/+3.8pp，NST 区间 44.7–67.1%；改用 REDACT 后同指标跌至 67.5%/66.3%/65.5%，全部 ≤ 基线，NST 跌至 -5.9%~-29.4%。Hard 上加成 6.5–10.5% 被压到 ≤4.8%。RPI 由 17.0–39.1% 降至 8.9–24.6%（相对降 37–48pp）。Table 3：Env Check TD 93.6%/96.4%、FA ≤1.9%；Ritual Marker 近 100%/0% FA；Contextual 零误报但 TD 仅 16.4–32.2%。Table 5：key-item 引导使 NST 从 +51.6% 跌至 -36.6%。Figure 6 审计字段保留率 91.0–96.6%，70.6% 关键项被移除。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CAPTRACEBENCH 总览（含 7 域 75 任务） | Success Rate（SR） | REDACT Protected w/ Extracted/Evolved/Retrieval 平均 SR 分别为 46.1%、44.0%、43.4% | No Skills 基线 45.2%；Raw Trace 三通道 53.9%、52.0%、50.1% | SR 回落至基线之下 4-9pp，完全逆转 raw trace 带来的 +5-9pp 增量 |
| CAPTRACEBENCH 总览 | Step Success Rate（SSR） | 受保护三通道平均 SSR 67.5%、66.3%、65.5% | No Skills 68.0%；Raw Trace 73.5%、73.7%、71.8% | 将原始 +3.8~+5.7% 增益压成 -2.5~-0.5%（即 ≤基线） |
| 7 域 75 任务归一化评估 | Normalized Skill Transfer（NST） | Extracted/Evolved/Retrieval 三通道 NST = -5.9%、-20.0%、-29.4% | Raw Trace 对应 44.7%、62.0%、67.1% | 削减 49~96 个百分点，全部跌至非正区间 |
| 下游工件受保护内容回收（RPI） | Recovered Protected Information（%） | Extracted 24.6%、Evolved 21.1%、Retrieval 8.9% | Raw Trace 39.1%、36.7%、17.0% | 相对下降 37-48%，残留内容不再构成可重组流程 |
| Provenance Detection on Qwen3-8B/4B（20 Easy 任务×25 run） | True Detection / False Alarm | Env Check：TD 93.6/96.4%，FA 1.3/1.9%；Ritual Marker：TD 100/99.8%，FA 0/0% | Contextual Cross Check：TD 18.5/16.4% FA 0%（作为对照） | Standalone hook 在零所有权证明前提下提供 93%+ 可信复用证据 |
局限与改进
作者明确两点局限：(1) 评估在 75 个受控长程任务与自动验证器上完成，真实部署中的轨迹噪声、工具版本漂移与弱反馈会改变收益幅度；(2) Contextual hooks 在行为触发上比 Standalone 弱，虽然误报为零但 TD 仅 16.4-32.2%，需要更强语境触发器和更大开源学生模型（更多任务、更长训练）才能验证其上限。我自己观察的额外限制包括：(a) NST 跌到负值说明改写在某些通道反而使下游略低于无技能基线，提示存在过度抽象导致审计或检索不友好的风险，需要更细的 key-item 分级；(b) 水印只在微调学生上验证，对纯上下文检索学生（不更新权重）的迁移性仍待测；(c) Human Review 是必要步骤，意味着完全自动化的发布管线在该方案下不成立；(d) benchmarks 集中在 6 个闭源 CLI harness，缺少真实生产 SaaS 上 chain-of-thought 与 tool sandbox 的多样性。
独立分析的弱点
独立分析三个值得关注的方向：(1) Key-item 抽取依赖单次 LLM 调用 $g_\eta(d, s) \to K_{prot}$ 且仅做轻量 Human Review 去重，在跨域长尾任务上容易漏掉隐式参数（如超参排列、数据规约规则），建议改成多模型投票 + 形式化规则抽取，并把 reviewer 评分折进改写 prompt；(2) 仅"静态比例 $r\in[0.1,0.3]$" 控制水印密度，未考虑任务与水印重要性的耦合，对 Hard 任务可设计自适应 $r(d,s)$；(3) 改写层在 Hard 通道虽把 NST 压到 -17~-29%，但 RPI 仍残留 21-24%，提示抽象层粒度太粗，可引入 reasoning chain-aware segmentation，仅替换含保护项的 span 而非整轮改写，以更好保留结构化审计痕迹；(4) 评估只比较 4 类 reuse method，对新兴的在线 RL 微调和 agentic self-play 蒸馏未覆盖。
未来方向
作者提出的方向包括：构造更强的 contextual 触发器使其 TD 向 Standalone 看齐，在更大开源学生模型与真实部署日志上验证 provenance 信号稳健性，设计多模型自适应水印密度 $r(d,s)$ 并扩展 CAPTRACEBENCH。从结果延伸有四条更具野心的路径：(a) 把 REDACT 与 embedding 搜索结合，让自动 reviewer 校验 $K_{prot}$ 与改写后残留向量分布的一致性；(b) 在改写上引入 DP 风格的 $(d,s)\to z$ 信息瓶颈约束，给出 $\mathbb{E}[I(z;K_{prot})]\le\varepsilon$ 的可证明不可恢复下界；(c) 把 hook 族扩展到可验证 computation trace（插入冗余但等价的中间步骤），与 differential testing 联动；(d) 与 API-level watermarking 联合，把行为水印与 token entropy、response latency 融合成多层 provenance 证据链以应对零权重更新的纯上下文复用。
复现评估
作者承诺在论文发表后开源 CAPTRACEBENCH 任务元数据、验证器、评估脚本、改写 prompt 和水印检测器（已公开 code 仓库 github.com/XuShuwenn/RedAct），但具体的 private skill 数据、部署侧 trace 与凭证会被剔除以保护业务资产。复现所需算力集中在 6 个闭源 CLI（Claude Code、Codex、Gemini-CLI）+ Qwen3-8B/4B 微调以及 BenchFlow Docker 任务环境 ×5 次重复，对个人研究者来说闭源 API 成本与 GPU 微调门槛较高，预计全套主结果需要数百美元 API 费 + 单卡 A100/H100 几天工作量；改写层使用 Claude Opus 4.6 作为 default 后端但不锁死，可在配置中替换。复现难度中等，关键风险点在水印检测需要在 fine-tune 后的学生模型上重训而非用作者权重，且 NST/RPI 数值对 prompt 模板敏感，需要按附录 B/C 的版本严格对齐。
论文图表
概念图上半部分画了 raw agent trace 在公开后被攻击者蒸馏出 SKILL.md 的链路；下半部分并列展示 REDACT 通过选择性改写（一个圆形印章标记）与行为水印（另一个印章标记）同时作用于同一轨迹，使下游复用既失去可重组技能又留下可溯源信号。
把整篇论文要解的核心张力——"可审计 vs 可复用"——用一张图直观画出来，是读懂后续 problem setting 的入口。