会话风险记忆(SRM):确定性预执行安全门的时间授权机制 Session Risk Memory (SRM): Temporal Authorization for Deterministic Pre-Execution Safety Gates
为AI代理添加会话级风险记忆,检测分布式多步攻击
前置知识
确定性预执行安全门
这是一种在AI代理执行动作前进行安全评估的机制。它通过规则或代数方法而非学习型分类器来评估动作,产生可解释、可复现的授权决策。这些系统不需要训练,不产生概率不确定性,以亚毫秒级延迟运行。例如ILION框架通过几何验证语义兼容性,每个动作被映射到21维语义向量,通过四层验证(共识否决层、身份漂移控制、身份共振分数、语义向量参考帧)来判断是否阻塞。
这是SRM的基础组件,SRM作为其时间扩展层存在,需要理解其无状态特性和限制才能理解SRM的设计动机。
指数移动平均(EMA)
指数移动平均是一种加权平均方法,对近期数据给予更高权重。计算公式为c_t = alpha乘以v_t加上(1-alpha)乘以c_{t-1},其中alpha介于0和1之间是更新率。当alpha较大时(如0.35),centroid快速适应新动作;当较小时,centroid更稳定。EMA不需要存储完整历史,只需维护当前状态,非常适合实时系统。
SRM使用EMA在三个地方:会话质心更新、基线风险估计、风险累积,理解EMA的参数含义和衰减特性对理解SRM的时序行为至关重要。
余弦距离
余弦距离衡量两个向量之间的方向差异,定义为1减去两个向量的余弦相似度。当两个向量方向相同时,余弦距离为0;方向完全相反时为1。对于语义向量,较小的余弦距离表示语义相似,较大的距离表示语义漂移。在SRM中,Delta_t衡量当前动作与已建立会话轨迹之间的语义偏离程度。
SRM使用余弦距离计算语义漂移信号,但论文发现在21维稀疏嵌入下,余弦距离饱和到1.0失去区分能力,这是理解当前SRM实现中漂移权重为0这一关键技术决策的基础。
基线减法
基线减法是一种去除会话特定直流偏移的技术。SRM在前K个turn(K=3)的预热窗口中,使用快速EMA(beta=0.40)计算会话特定的基线风险,之后冻结这个基线。调整后的风险信号只捕获相对于会话建立规范的偏离,而非绝对风险幅度。这类似于数字信号处理中的高通滤波,保留变化分量而抑制直流分量。
这是SRM实现零误报的核心机制。没有基线减法,SRM会对自然高风险角色的合法操作累积虚假风险。理解基线减法的工作原理对于理解SRM如何平衡检测率和误报率至关重要。
研究动机
现有的确定性预执行安全门(如ILION框架)存在结构性盲点:它们将每个动作独立评估,无法检测分布式攻击。例如,一个数据外泄攻击可能先查询内部数据库,然后创建本地备份,最后将压缩的归档文件上传到外部端点——每一步单独看都是合法的,但整体构成恶意行为。论文指出,无状态门能有效检测公然的恶意操作,但对那些将有害意图分解到多个各自合规步骤的攻击易受攻击。这种局限在多回合工作流执行器中尤为关键,因为代理正在从单步工具演进为能够组合复杂动作序列的系统。
本文的目标是本文的目标是设计一个确定性的时间授权机制,在不破坏底层门的延迟、确定性或可解释性保证的前提下,解决无状态门对分布式多步骤攻击的盲点。具体来说,SRM需要:不修改底层门配置、不需要额外模型组件或训练、不需要概率推理、保持亚毫秒级延迟开销、可按部署场景开启或关闭、与现有的确定性执行门架构兼容。通过维护紧凑的会话级行为轨迹表示和通过指数移动平均累积风险信号,SRM旨在检测那些仅随时间显现的分布式攻击模式。
与已有工作不同的是,本文的独特切入角度是将授权安全分解为两个正交维度:空间授权一致性(单个动作与代理角色的兼容性,由无状态门评估)和时间授权一致性(会话上的动作轨迹连贯性,由SRM评估)。这与传统方法将整个安全评估打包为一个黑箱分类器的做法形成鲜明对比。SRM不是替换或修改底层门,而是作为一个可选的时间模块处理相同的语义信号,设计明确补充而非替代。这种分解提供了在代理系统中进行会话级安全的原则基础,既保持了无状态门对公然违规的立即检测能力,又增加了对缓慢燃烧分布式攻击的轨迹级敏感性。
核心方法
SRM的整体思路是在每个代理会话开始时初始化一个语义质心向量,然后随着每个回合的进行,通过指数移动平均(EMA)更新这个质心来跟踪会话的evolving行为概况。同时,SRM计算风险信号:一个是语义漂移(当前动作与先前质心的余弦距离),另一个是基线调整后的门风险(原始门风险减去预热期间建立的会话特定基线)。这两个信号按权重组合后,通过另一个EMA累积到会话风险中。当累积风险超过阈值时,会话被标记为可疑。整个过程是确定性的、无概率的,与底层门使用相同的语义向量表示,不需要额外模型组件。
SRM的核心创新点是基线减法机制和风险累积策略。基线减法在前K个turn的预热窗口中计算会话特定的基线风险,之后冻结这个基线,只捕获相对于会话建立规范的偏离而非绝对风险幅度。这使SRM从绝对风险检测器转变为风险升级检测器,牺牲了对第一turn就开始的攻击的检测能力(由无状态门处理),换取对较长会话的近乎零误报率。另一个关键是保守的一次可疑,始终标记策略:一旦累积风险超过阈值0.20,会话就被标记,无论后续turn如何。这与底层门的否决哲学一致,确保边界的操作被标记而非批准。
方法步骤详情
SRM的工作流程包含七个步骤,按回合顺序执行。步骤1:计算语义漂移,衡量当前动作与先前质心的余弦距离。步骤2:更新会话质心,其中0.35是质心更新率。步骤3:在预热窗口(turns 1-3)内计算基线风险,其中0.40是基线EMA率,原始门风险为四个门分数的补数最大值。步骤4:计算基线调整后的风险,预热后基线冻结。步骤5:计算每回合风险信号,将漂移和门风险按权重组合,当前实现中漂移权重为0,门风险权重为1。步骤6:累积会话风险,其中0.75控制历史风险衰减。步骤7:做出决策:当累积风险超过阈值0.20时阻塞。总计算成本每回合为O(d)用于嵌入查找,O(d)用于余弦距离和质心更新,以及O(1)用于标量风险操作。
技术新颖性
SRM的技术新颖性体现在三个方面。首先,它是完全确定性的,所有计算都是闭式代数操作,不涉及概率推断或学习参数,这与现有基于机器学习的异常检测方法形成鲜明对比。其次,它通过基线减法实现了会话自适应的风险归一化,使得SRM对不同角色的自然风险特征具有鲁棒性,避免了为每个角色单独配置阈值的需求。第三,它明确区分了空间和时间授权一致性,提供了一种正交分解攻击面的概念框架——空间门检测公然违规,时间模块检测缓慢燃烧的分布式攻击。这种分层防御方法在保持底层门延迟保证的同时,增加了会话级风险感知能力。
实验结果
在80个会话的多回合基准测试(40良性,40攻击)上,ILION+SRM实现了完美的检测结果:检测率100%,误报率0%,精确度1.0000,F1分数1.0000。相比之下,无状态ILION的检测率也是100%,但误报率为5%,精确度为0.9524,F1分数为0.9756。SRM完全消除了误报,将F1从0.9756提高到1.0000。平均检测回合方面,SRM为4.45,无状态ILION为4.05,差异0.4回合。这反映了保守的累积设计:SRM需要持续的升高风险超过预热基线才会触发,因此在某些会话中,无状态门会在显式个体动作上首先触发。按攻击类别分析,SRM在16个慢速外泄会话中有3个比无状态门更早检测(平均检测回合:无状态3.9,SRM 5.2),在11个特权升级会话中有2个更早检测(平均检测回合:无状态4.1,SRM 4.5),在13个合规漂移会话中没有更早检测(平均检测回合:无状态4.2,SRM 4.5)。风险轨迹分析显示,在预热窗口(turns 1-3)之后,攻击会话的风险轨迹明显与良性分离,良性会话在整个过程中保持在接近零的累积风险,而攻击会话从第4回合开始显示渐进累积。延迟开销方面,SRM的每回合计算中位数为239.9微秒,在标准CPU环境下测量,符合实时预执行评估要求。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多回合攻击检测 | F1分数 | 1.0000 | 0.9756 (无状态ILION) | 提升2.5%,达到完美F1 |
| 多回合攻击检测 | 误报率(FPR) | 0% | 5% (无状态ILION) | 完全消除误报 |
| 多回合攻击检测 | 检测率 | 100% | 100% (无状态ILION) | 保持完美检测率 |
| 延迟开销 | 每回合中位数时间 | 239.9微秒 | <1毫秒 (ILION门本身) | 额外开销低于250微秒,满足实时要求 |
局限与改进
作者承认的局限性包括:首先,基准测试使用专门设计用于兼容ILION语义向量空间的结构化动作语法,真实世界的代理系统可能使用自然语言动作描述,对于21维关键词加权嵌入可能表现出不同特征。其次,漂移权重为0的发现表明当前余弦距离信号在使用关键词基础的21D嵌入时没有判别价值,因为稀疏向量空间中不同动作之间的余弦距离饱和到1.0,这是当前嵌入设计的属性而非SRM公式的限制。第三,80个会话的基准测试在绝对规模上是适度的,虽然专门结构化以隔离三个不同升级类别的多回合攻击动态,但更广泛的评估跨越更多样化的角色上下文、攻击模式和企业领域将加强可泛化性声明。此外,真实企业代理部署可能涉及分支工作流、异步并行动作和会话中断,在这样的非线性会话结构下评估SRM仍然是未来工作的重要方向。我观察到的另一个局限性是预热窗口3和阈值0.20的参数敏感性,这些值在论文中是经验设定的,但论文没有提供参数敏感性分析或鲁棒性评估,这使得SRM在不同场景下的泛化能力需要进一步验证。
独立分析的弱点
独立分析SRM的弱点,首先是固定预热窗口3的限制。对于短会话(少于3个turn),SRM无法建立稳定的基线,可能产生误报或漏报;对于长会话(超过10个turn),固定预热窗口可能无法捕获角色行为的时间变化。改进方向是实现自适应预热机制,根据会话长度或动作多样性动态调整预热期。第二个弱点是保守的一次可疑,始终标记策略。在真实场景中,某些会话可能在早期回合触发误报后恢复合法行为,但SRM无法宽恕,这可能导致过度阻塞。改进方向是引入冷却机制或恢复机制,允许会话在连续合规回合后降低累积风险。第三个弱点是漂移权重为0导致的漂移信号浪费。当前实现在21维稀疏嵌入下完全忽略语义漂移,失去了利用动作序列语义连贯性的机会。改进方向是使用更高维连续嵌入(如基于Transformer的)或重新设计语义向量表示以保留方向信息。第四个弱点是缺乏对抗性攻击防御。如果攻击者了解SRM的累积机制,可以通过插入低风险缓冲动作来稀释累积风险,从而逃避检测。改进方向是引入对抗性鲁棒性训练或更复杂的累积策略(如加权历史窗口)。
未来方向
作者提出的未来工作包括:评估使用更高维连续嵌入,预计这会产生有意义的漂移信号;扩展到分层会话结构;研究随时间学习会话特定风险概况的自适应阈值机制。基于论文成果,我建议的延伸方向包括:第一,跨领域泛化研究。当前基准测试专注于企业代理工作流,未来工作可以评估SRM在医疗、金融、司法等不同领域代理系统中的表现,这些领域有不同的语义结构和风险模式。第二,多代理系统扩展。当前SRM专注于单个代理的会话轨迹,未来可以研究代理间协作的风险累积,例如检测代理间合谋的分布式攻击。第三,在线学习和自适应阈值。虽然SRM设计为确定性,但可以研究在线学习机制,使阈值和衰减能够根据部署数据自适应调整,在保持确定性的同时提高泛化能力。第四,可解释性和审计性。未来工作可以研究如何可视化会话风险轨迹、提供决策解释、生成审计报告,这对于需要合规性和透明度的企业部署至关重要。第五,与其他安全机制的集成。SRM可以与异常检测系统、入侵检测系统、合规检查器等其他安全层集成,研究多层防御的协同效应和权衡。
复现评估
论文没有明确提供代码或数据集的开源信息,这对复现性构成挑战。基准测试ILION-SRM-Bench v1包含80个会话,使用结构化动作语法构建,跨越10个企业角色和三个攻击类别(慢速外泄、特权升级、合规漂移)。每个会话包含6-7个回合。论文提供了参数设置:质心更新率0.35、基线EMA率0.40、预热窗口长度3、风险衰减0.75、漂移权重0.00、门风险权重1.00、会话风险阈值0.20。延迟测量在标准CPU环境(Intel类处理器,无GPU)上进行,重复1000次基准测试。从算法描述来看,SRM的核心计算是EMA和余弦距离,这些计算在标准Python/NumPy环境中容易实现。然而,论文没有提供实际的基准测试数据集或用于生成合成会话的代码,这使得独立复现实验结果变得困难。未来的复现工作需要重建类似的合成会话生成器,模拟真实企业代理工作流的动作序列和攻击模式。算力要求方面,SRM本身的计算开销很低(<250微秒每回合),复现实验只需要标准CPU,不需要GPU。主要挑战在于理解和重建ILION框架的21维语义向量表示,这是SRM依赖的底层组件。
论文图表