PrivacyPeek：审计 LLM 智能体究竟获取了什么，而非它说了什么 PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say

方法步骤完整描述如下。**步骤 1·用例生成**：作者针对 7 类 acquisition behaviour（Normal-Filename Access、Sensitive-Filename Access、Cross-Format Access、Out-Dated Data Access、Excess-Field Access、Forbidden-Content Access、Out-of-Scope Inferential Access）写模板和领域种子，定义 $q_c$、$E_c$、$K^{acq}_c$、$K^{disc}_c$ 及获取目标与披露目标的对应关系；GPT-4o 只负责扩展结构（指令、system prompt、合成记录），不参与范围决策。**步骤 2·质量门**：每个用例必须通过 10 个确定性检查（schema 完整、单一 acquisition behaviour、allowed/forbidden 集不相交、存在可执行的安全路径、敏感项明确等），作者人工复审并剔除诱导性/欺骗性线索。最终得到 1182 个用例（Task1: 217、Task2: 158、Task3: 145、Task4: 138、Task5: 218、Task6: 163、Task7: 143）。**步骤 3·智能体执行**：用 Smolagents CodeAgent，每个用例最多 6 步，智能体只能通过 8 个固定工具（query_database、read_document、search_records、list_files、get_file_properties、write_note、send_message、export_report）访问数据，文件系统限制在这些工具内防止 Python 自绕过。**步骤 4·Acquisition Inspection**：对每个观测 $o_t$（$t<n$）规则匹配 $K^{acq}_c$ 中的项或其固定标识符是否出现，输出 $CER_c$。**步骤 5·Probe Elicitation**：任务完成后禁用工具和网络，发 case-specific 探针 $p_c$，用 GPT-4o 固定判官（固定 prompt、固定日期版本）判定回复 $r_c$ 是否披露 $K^{disc}_c$ 的目标，输出 $PLR_c$；同一判官作用于主回复 $a_n$ 得 $OLR_c$。

技术新颖性体现在五个方面。**(1) 焦点前移**：从披露阶段转到获取阶段，首次把“获取即泄露”作为评测对象。**(2) 七维行为分类**：把“过度获取”细分为属性层（文件名/格式/时间窗）和内容层（多余字段/禁读标记/推理证据）共 7 类，每类配 worked example，覆盖现实部署中常见的越界模式。**(3) 最小范围客观化**：通过 contract test 保证窄请求（如 fields="glucose,hba1c"）任务可完成且不返回越界项，使“是否应该获取”不再依赖主观判断——这一点是已有 agent 隐私 benchmark 都没做到的。**(4) CER/PLR 数学解耦**：$PLR = P(CER=1,PLR=1) + P(CER=0,PLR=1)$，把“获取后披露”与“未检测获取却披露”分离，对应 trajectory-mediated 和 inference-mediated 两种泄露机制。**(5) 条件化指标 HCER/HPLR**：通过 $HCER = \frac{\sum_c CER_c \cdot TCR_c}{\sum_c TCR_c}$ 排除“靠拒绝换低泄露”的退化策略，使跨智能体比较在可比效用下进行。这套组合在已有 agent privacy benchmark 中是首次出现。

独立分析的弱点：(1) **Benign-only 假设过强**——真实部署中 prompt injection、恶意工具、被 compromise 的用户才是最大风险源，benchmark 完全排除这些场景使其对生产环境的预测力打折扣。改进方向：在 benign 之外补充 adversarial 分轨，把 InjecAgent、AgentSecurityBench 的攻击场景与 acquisition 审计结合。**(2) 判官依赖 GPT-4o**——所有 PLR/OLR 都靠 GPT-4o 判官，存在判官偏好与被测模型同源的系统性偏差（尤其 GPT 系列被测时）。改进：多判官集成或人工校准子集。**(3) Marker subset 仅 44 例**——得出“标记反而抬高泄露”这样反直觉的结论时样本太小，统计功效不足。改进：扩大标记用例至至少 200 例并做配对实验，而非当前的 non-paired 描述性比较。**(4) 自绕过未完全堵死**——虽然限制 Python 标准库，但 CodeAgent 仍可能在 6 步内构造隐蔽的越界访问。改进：增加 trajectory 异常检测或沙箱日志审计。**(5) 跨域不平衡**——社交媒体+技术占 1/3，最小域约 3%，跨域比较的统计功效不均。改进：按域分层重采样报告 Wilson 区间。**(6) 无下游后果评估**——只测获取与披露率，不测真实泄露后果（身份欺诈、跟踪、歧视），难以转化为业务风险量化。

作者提出的方向：(1) 把 minimum scope 由作者设定转向由 workflow owner + 数据治理专家 + 隐私审核员协同设定，编码为 source allowlist、field projection、scoped view 或 pre-tool policy；(2) 探索 field-restricted API、scoped views、pre-tool policies 等在生成前约束智能体的机制（作者强调控制必须在信息进入上下文之前）；(3) context management 减少后期可恢复性（但承认无法撤销已发生的获取）。基于成果可延伸的方向：(4) 把 acquisition-stage 审计扩展到多模态智能体（参照 MPCI-Bench 的多模态情境完整性），研究图像/音频通道的获取行为；(5) 引入对抗分轨——结合 prompt injection、工具投毒（AgentPoison）、间接注入（InjecAgent）测获取行为在攻击下的退化；(6) 把 CER/PLR 框架迁移到 multi-agent 系统（参照 AgentLeak），研究内部通道如何放大获取面；(7) 探索训练时对齐——既然 self-restraint 来自后训练意图而非规模，可设计针对 acquisition 行为的 RLHF/DPO 偏好数据；(8) 动态 minimum scope——根据用户实时反馈或组织策略在线调整 $E_c$；(9) 长程任务扩展——把 6 步预算放宽到 20+ 步，研究获取行为随轨迹长度的累积效应。

复现评估总体良好。**开源情况**：论文承诺发布 PrivacyPeek benchmark（1182 用例、7 行为、16 域），但 arXiv 预印本中未见明确代码仓库链接（v2 版本），需关注后续 camera-ready。**数据**：合成记录，Task 3 含 119 DOCX + 147 XLSX + 30 PDF 用 python-docx/openpyxl/pypdf 解析，其余用 JSON；工具交互可执行。**框架**：用 HuggingFace 的 Smolagents（CodeAgent），固定 8 工具、6 步预算、固定 system prompt 模板（Fig.7 给出完整模板），所有智能体相同工具契约。**模型**：闭源 GPT-4.1/GPT-5.1、Claude-Sonnet-4/4.5 通过 API；开源 Qwen3-4B/14B/30B-A3B、Llama-3.2-3B/3.1-8B/3.3-70B 权重公开可下载。**判官**：GPT-4o 固定日期版本，固定 prompt（Fig.17 给出完整判官 prompt），模糊用例转人工复审。**统计严谨性**：Tab.9 给出 Wilson 95% 置信区间；指令变体在 Qwen3-4B 上 temperature=0.7、3 个随机种子重跑，均值 CER 降幅 5.47%、标准差 0.88%、配对置换检验 p<0.001。**算力**：开源模型最大 70B（Llama-3.3）和 30B-A3B（Qwen3 MoE），单卡或双卡可跑；闭源走 API。**难度**：主要难点在于复刻 1182 个用例的 $E_c$、$K^{acq}_c$、$K^{disc}_c$ 标注（论文给了协议和 10 个质量门但工作量可观），以及复现 GPT-4o 判官的“固定日期版本”（API 版本漂移可能导致判官行为变化）。整体属于“中等偏上”的复现难度，benchmark 数据发布后社区可较好地复现核心实验。