LLM Agent 中的多层级指令层次（Many-Tier Instruction Hierarchy） Many-Tier Instruction Hierarchy in LLM Agents
通过 PPI 让 LLM 动态处理任意多层级的指令冲突。
前置知识
Instruction Hierarchy（指令层次，IH）
Wallace 等人 2024 年提出的范式，通过给系统、开发者、用户、工具等消息来源分配固定优先级，让 LLM 在指令冲突时遵循更高权限指令，是当前 LLM 对齐与防御越狱、Prompt 注入的核心抽象。
本文是对 IH 的扩展，必须先理解传统 IH 如何用角色标签编码权限，才能体会 ManyIH 突破'固定层数瓶颈'的必要性。
Chat Template 与消息角色
现代 LLM 推理时使用固定对话模板，每条消息带 system/user/assistant/tool 等角色标签，模型据此判断指令可信度；OpenAI Model Spec 硬编码了 root、system、developer、user、guideline 五级权限。
ManyIH 的核心创新正是把权限语义从训练时固定的 chat template 中解耦，因此需要理解当前模板对权限表达的局限。
Privilege Prompt Interface（权限提示接口，PPI）
本文提出的新机制，在 prompt 中用 [[Privilege N]]...[[/Privilege]] 或 [[z=v]]...[[/z]] 等特殊标记显式标注每条指令的权限值，让模型在推理时根据数值大小而非消息角色判断优先级。
这是 ManyIH 的核心工具，所有实验和 benchmark 都依赖 PPI 在 prompt 中表达权限，是理解整篇论文的关键概念。
Prompt 注入与间接注入攻击
通过在工具输出、检索内容或外部数据中嵌入恶意指令，让 LLM 忽略系统级安全策略的攻击方式；传统 IH 通过赋予工具输出低于用户/系统的权限部分防御此类攻击。
ManyIH 论文把这种攻击重新框定为'指令冲突'，论证现实 Agent 中冲突来源远超 4-5 个传统角色，固定层级 IH 已不足以应对。
Agentic Setting 与多 Agent 系统
LLM 不再只是单轮对话模型，而是嵌入到可调用工具、维护 memory、与子 Agent 协作的复杂系统，如 Kimi K2.5 的 Agent Swarm；Agent 会接收系统提示、技能、memory、工具 schema、子 Agent 反馈等多源指令。
这是 ManyIH 的主要应用场景与固定层级 IH 失效的根源，理解 Agentic Setting 才能体会为何需要'任意多层'权限。
研究动机
现有 Instruction Hierarchy 存在'固定且少量层级瓶颈'：OpenAI Model Spec 仅 5 级权限（root > system > developer > user > guideline），学术界主流也只有 system > developer > user > assistant > tool 共 5 级，且都把权限与训练时硬编码的 chat template 角色绑定，共享同一角色的指令被视为等权限。真实 Agent 场景下假设完全不成立：编码 Agent 同时接收系统提示、技能调用、memory、工具 schema、配置文件、多 Agent 反馈等多源指令，可信度差异极大却被迫归入同一 user 或 tool 角色。Fig. 1 给出具体例子：3 条来自不同源的'User'消息类型指令（dev config 4 空格、skill file tab、user message 2 空格）在传统 IH 中无法区分优先级，只能任选其一。群体聊天（管理员/版主/成员）、深度研究 Agent（不同可信度检索证据）等场景天然多层，固定层级 IH 已不够用。
本文的目标是本文提出 Many-Tier Instruction Hierarchy（ManyIH）新范式，目标分四方面：(1) 设计 Privilege Prompt Interface（PPI），让每条指令通过 prompt 中的显式标签携带权限值，从而支持推理时动态实例化任意数量的权限层级；(2) 提出两种 PPI 实现——Ordinal Interface 用 1,2,3... 标记且低值优先，Scalar Interface 用任意标量 z=v 标记且高值优先，scalar 版支持在两个已有权限之间插入中间值；(3) 构建首个 ManyIH 基准 MANYIH-BENCH，包含 853 个 Agent 任务（427 编码 + 426 指令跟随），最多 12 个权限层级，跨越 46 个真实 Agent 场景；(4) 系统评估 10 个前沿模型（Gemini 3.1 Pro、GPT 5.4、Claude Opus 4.6/Sonnet 4.6、Grok 4.20 Beta、Kimi K2.5、Qwen 3.5 四尺寸）在 ManyIH 上的能力上限。
与已有工作不同的是，本文独特切入角度是'解耦'——把权限语义从 chat template 角色标签剥离，通过 prompt 接口在推理时动态注入。这一视角区别于此前所有 IH 改进工作：Wu 等人（2025）通过 Instructional Segment Embedding 在架构层加嵌入、Zheng 等人（2026）把 IH 当作推理任务微调、Guo 等人（2026）发布 IH-Challenge 训练集——这些方法都默认层级数在训练时固定。ManyIH 本质新颖性在于：(a) 不修改训练、不修改 chat template，仅靠 prompt 表达权限；(b) 权限值由部署方在推理时根据业务逻辑指定，模型不需要学习权限；(c) benchmark 设计遵循'非对抗、约束级验证、难度独立缩放、真实 Agent'四大原则，把 IH 复杂度与指令跟随难度解耦，使'层级数'成为可控变量，从而首次能精确量化'层级数提升'对模型的影响。
核心方法
ManyIH 整体思路是'在 prompt 中给每条指令贴权限标签'，让模型基于标签数值大小判断优先级。技术路线分三步：首先定义两种 Privilege Prompt Interface（PPI），Ordinal Interface 用 [[Privilege N]]...[[/Privilege]] 标记（低值权限高，如 Privilege 1 > Privilege 5），Scalar Interface 用 [[z=v]]...[[/z]] 标记（高值权限高，如 z=82 > z=61），并在 prompt 开头加入解释规则的元指令 $M$；然后模型把输入 $x$ 改造为 $x' = M \circ f(I_1, v_1) \circ \cdots \circ f(I_N, v_N)$，其中 $f(I_t, v_t)$ 是修饰函数，把权限值 $v_t$ 编码进指令文本；最后模型生成响应时按权限相对大小解决冲突，仅遵循更高权限指令。整个方法的核心假设是权限值由可信部署方事先指定（如根据 API 可信度、组织角色、业务逻辑），模型只需按数值比较而非学习权限。
ManyIH 与现有 IH 的本质区别在于'权限表达的位置'。传统 IH 把权限硬编码到 chat template 角色标签里，模型在训练时学会'系统消息永远高于用户消息'；ManyIH 把权限完全外化到 prompt 中的显式标签，使权限从训练时的固定量变成推理时的动态变量。这一解耦带来三个根本变化：(1) 层级数不再受训练时角色数限制，可以是 1 到任意正整数；(2) 同一条消息内的不同指令可以有不同权限（粒度细化到任意 token 序列，而非整条消息）；(3) 权限值的相对顺序决定冲突解决，绝对数值（如 z=95 vs z=82）只用于排序不携带语义。基于此，ordinal 与 scalar PPI 又进一步创新：ordinal 用整数顺序表达，scalar 用任意实数表达，且 scalar 允许在任意两个现有权限之间插入新层级（数值可任意连续），更灵活。
方法步骤详情
ManyIH 流程分六步。**输入构造**：部署方为每条指令 $I_t$ 分配权限值 $v_t$，ordinal 模式 $v_t \in \mathbb{Z}^+$（1 最高），scalar 模式 $v_t \in \mathbb{R}^+$（大者高）。**Prompt 修饰**：调用修饰函数 $f(I_t, v_t)$——Ordinal 下 $f(I, v) = [[Privilege\ v]]\ I\ [[/Privilege]]$；Scalar 下 $f(I, v) = [[z=v]]\ I\ [[/z]]$。**元指令拼接**：开头加 $M$，Ordinal 解释'冲突时遵循权限数字更低那条，同权限采纳位置更后的'；Scalar 解释'冲突时遵循 z 值更大的'。**最终输入**：$x' = M \circ f(I_1, v_1) \circ \cdots \circ f(I_N, v_N)$ 送入 LLM。**模型推理**：LLM 按权限相对大小解决冲突。**冲突验证**：benchmark 通过 AST 分析、token 检查或 LLM judge 验证每条约束。
技术新颖性
技术新颖性体现在四点。**第一，概念创新**：首次提出'任意多层 IH'抽象，指出'固定层级'是当前 IH 的根本瓶颈，过去所有 IH 改进工作（Wu 2025、Zheng 2026、Guo 2026、IHEval）都默认忽略这一维度。**第二，机制创新**：Privilege Prompt Interface 把权限完全外化为 prompt 的一部分，无需修改模型权重或 chat template，可即时部署到任何 LLM。**第三，benchmark 设计创新**：MANYIH-BENCH 遵循'非对抗 prompt、约束级验证、难度独立缩放、真实 Agent'四大原则，其中'难度独立缩放'让研究者能精确测出'层级数'对模型的影响。**第四，发现创新**：首次量化'表征敏感性'——ordinal/scalar 切换可造成 8% 精度下降，scalar 数值小扰动（$\delta \sim \text{Uniform}(-3, +3)$）导致 8-17% 样本翻转，说明当前 LLM 并未真正'理解'相对顺序，仍在做表面模式匹配。
实验结果
实验在 10 个前沿模型上展开，揭示三大发现。**发现一：ManyIH 是未解决难题**。Fig. 2 显示 Gemini 3.1 Pro 整体准确率仅 42.7%，GPT 5.4 仅 39.5%（尽管其在两层 IH 上 >99%），Qwen 3.5-397B 也只 34.1%。**发现二：层级数提升单调降低准确率**。Fig. 3 构造 6/8/12 tier 三版本（IF 难度固定），12 个模型-转换对中 11 个严格下降，幅度从 Qwen 3.5-9B 的 6.8% 到 Sonnet 4.6 的 24.1%。**发现三：表征敏感性惊人**。Table 1b 显示 ordinal → scalar 切换使 GPT 5.4 -8.4%、Opus 4.6 -8.0%；Table 2 显示 scalar 数值小扰动（$\delta \in [-3, +3]$）造成 5/6 模型 ≥8% 样本翻转率（最高 Qwen3.5-122B 17.1%、GPT 5.4 16.4%）。Table 1a 显示风格遵循是主要瓶颈（测试 >86%）；Fig. 4 揭示更长 CoT 不等于更高准确率。
![Effect of scalar z-value perturbation ($\delta \in [-3, +3]$) on coding subset.](/papers/2604.09443/images/table_2.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MANYIH-BENCH 整体（853 样本） | 准确率 (%) | Gemini 3.1 Pro 42.7%（最佳），GPT 5.4 39.5%，Opus 4.6 ~37% | 无（首个该方向基准） | 无；论文提出基准并证明前沿模型仅 ~40%，天花板预估 ~80% |
| MANYIH-BENCH 编码子集（427 样本） | 整体 / 测试 / 风格准确率 (%) | GPT 5.4: 60.9 / 89.7 / 67.9；Gemini 3.1 Pro: 59.0 / 91.3 / 65.1 | 无（首个该方向基准） | 无；风格遵循是主要瓶颈，测试准确率普遍 >86% |
| IH 层级数扩展（编码子集 6/8/12 tier） | 准确率下降幅度 (%) | Qwen 3.5-9B -6.8%，Sonnet 4.6 -24.1%（12 模型中 11 个严格下降） | 同模型在 6 tier 版本 | 下降（负面结果），证明当前模型无法泛化到更多层级 |
| Privilege 表征敏感性（Ordinal → Scalar） | 准确率变化 (%) | GPT 5.4 -8.4%，Opus 4.6 -8.0%，Sonnet 4.6 +2.3%，Qwen3.5-122B +5.9% | Ordinal PPI 在编码子集上的结果 | 无；展示小 prompt 变更可造成 ~8% 准确率差异 |
| Scalar 数值扰动（$\delta \sim \text{Uniform}(-3, +3)$） | 整体 / 测试 / 风格翻转率 (%) | Qwen3.5-122B 17.1%/8.2%/19.0%，GPT 5.4 16.4%/3.0%/16.9% | 原始 scalar 值（相对顺序不变） | 无；证明模型对数值大小敏感，未真正理解相对顺序 |
局限与改进
作者承认的局限：(1) 权限值由可信部署方事先指定，论文未研究如何自动学习或发现权限结构；(2) benchmark 是非对抗 prompt，未涵盖恶意用户通过伪造高权限标签进行攻击的场景，留作未来工作；(3) 编码子集仅基于 MBPP 与 4 大类风格约束（缩进、命名、引号、运算符），覆盖的代码风格有限；(4) 推理仅在 12 层级以内验证，更深层级的扩展性未测。本人额外观察的局限：(a) 评估方法依赖 LLM judge（IF 子集），存在 judge 模型本身的偏差风险，虽然人工验证准确率 >80%；(b) 样本量 853 相对较小，且 IF 子集生成完全依赖 Claude Opus 4.6，可能与模型家族偏好耦合；(c) 仅测试闭源 API 与 Qwen 系列，对 Llama、DeepSeek、Mistral 等开源模型覆盖不足；(d) 推理温度固定为 0，未考察采样随机性下的稳定性；(e) 缺乏失败模式分析（错误究竟出在冲突检测、权限比较还是指令执行），限制了对失败机制的深入理解。
独立分析的弱点
独立分析有以下三点主要弱点。**弱点一：缺乏对抗鲁棒性测试**。作者承认 PPI 可能被恶意使用——攻击者贴 [[Privilege 1]] 标签即可压过系统级安全策略。改进方向：在 benchmark 中加入对抗子集，并在训练中加入对抗样本。**弱点二：上限远低于 100%**。当前模型仅 ~40%，天花板预估 ~80%，剩余 20% 缺口来源不明。论文缺乏失败模式分析（是冲突检测、权限比较还是指令执行错误）。改进方向：对错误样本做细粒度分类（'忽略高权限'、'错误应用低权限'、'部分满足'），针对性微调。**弱点三：标量数值敏感性反直觉**。Table 2 显示 5/6 模型 ≥8% 样本对 $\delta \in [-3, +3]$ 小扰动翻转，说明模型未真正学到'只比较相对顺序'。改进：(a) 微调数据加入数值扰动；(b) 设计位置不变的排序编码；(c) 设计专门的 RL 训练目标。
未来方向
作者明确提出的未来方向：(1) **对抗鲁棒性**：研究恶意构造的高权限标签如何绕过系统安全策略，以及如何让模型识别'不应由用户指定的权限'。基于本文成果可延伸的方向：(a) **架构化 PPI**：把 prompt 中的权限标签转化为模型架构的一部分（如类似 Wu 2025 的 segment embedding），结合 prompt-based 的灵活性与 architecture-based 的可靠性；(b) **多模态扩展**：把 PPI 应用到视觉/音频等多模态 Agent 中；(c) **跨语言与跨文化**：PPI 在中英文混合 prompt 下是否同样有效；(d) **理论分析**：证明 ManyIH 在 $N$ 层级下的样本复杂度下界，建立统计学习理论；(e) **多轮对话中的权限漂移**：用户是否会在多轮交互中逐步提升自身权限，如何检测与防御；(f) **联邦 Agent 场景**：在多个组织协作的 Agent 系统中，PPI 能否承载跨组织信任关系。
复现评估
可复现性较好。**开源**：代码 github.com/JHU-CLSP/ManyIH，数据 hf.co/datasets/jhu-clsp/ManyIH-Bench，主页 jhu-clsp.github.io/ManyIH。**实验细节**：明确给出 10 个评估模型、推理超参数（max 40K tokens、temperature=0、reasoning effort=high）、bootstrap 95% CI。**资源需求**：闭源 API（Gemini/Claude/等）+ 本地 Qwen 3.5（397B 需多卡 A100/H100），算力中等偏上。**阻碍**：(a) GPT 5.4、Opus 4.6 等较新 API 价格不菲；(b) IF 子集 LLM judge 依赖 Claude Sonnet 4.6/Opus 4.6；(c) 闭源模型版本可能在复现时已更新。**总评**：可复现性强，完整复现 10 个模型成本较高（API 数千美元 + 数天 GPU），建议优先复现 Qwen scaling 实验与 scalar 扰动实验。
论文图表
