FinVault：在执行落地环境中评估金融智能体安全性 FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
首个金融智能体执行安全基准，揭示50%攻击成功率
前置知识
LLM智能体（LLM Agent）
由大语言模型驱动的自主系统，能够规划任务、调用外部工具（如数据库查询、API调用）、维持长期记忆，并在复杂环境中执行多步骤操作。与传统的单轮生成模型不同，LLM智能体具有行动能力，能主动改变系统状态。在金融场景中，这类智能体被广泛应用于投资分析、风险评估和自动化决策等领域，其能力包括调用金融数据库、执行交易指令和生成合规报告等。
本文的核心研究对象就是金融LLM智能体的安全性问题，理解智能体与传统语言模型的本质区别（具备工具调用和状态改变能力）是理解本文安全评估动机的基础。
提示注入攻击（Prompt Injection）
一种针对LLM的攻击技术，通过在输入中嵌入恶意指令，试图覆盖或绕过系统提示（system prompt）中的安全约束。在智能体场景中，这种攻击尤为危险，因为被操纵的模型可能直接执行有害的工具调用操作。具体形式包括直接JSON注入和指令覆盖（Instruction Overriding），后者通过让模型将用户输入误认为系统指令来绕过安全边界。
本文将提示注入作为三类攻击技术之一进行系统评估，实验显示指令覆盖攻击在Qwen3-Max上ASR高达64.50%，而在Claude-Haiku-4.5上仅3.70%，体现了不同模型在指令级隔离设计上的巨大差异。
攻击成功率（Attack Success Rate, ASR）
衡量安全评估效果的核心指标，定义为成功触发目标漏洞的攻击次数占总攻击次数的比例。ASR越高表示模型越容易被攻破。在本文中，ASR通过观察沙箱环境中业务数据库的实际状态变化来判定——如果攻击导致了非合规的业务操作或风险后果，则认定攻击成功，而非仅凭模型的文本输出推断。
这是本文实验的核心评估指标。实验显示，最强壮的Claude-Haiku-4.5平均ASR仍达6.70%，最脆弱的Qwen3-Max高达50.00%，说明现有LLM在金融场景中的安全防护远未达标。
误报率（False Positive Rate, FPR）
防御机制将合法业务请求错误判定为攻击的比例。在金融场景中，FPR具有特殊的业务意义——过高的误报会导致正常交易被拦截，影响系统可用性和业务连续性。FPR与检测率（TPR）之间存在天然的权衡关系：提高检测率往往会增加误报，反之亦然。
本文发现现有防御方法在金融场景中面临严重的TPR-FPR权衡问题。例如LLaMA Guard 4的TPR为61.10%但FPR高达29.91%，而GPT-OSS-Safeguard的FPR仅12.15%但TPR仅22.07%，限制了实际部署的可行性。
沙箱执行环境（Sandboxed Execution Environment）
一种隔离的测试环境，模拟真实金融业务流程，包含可写入状态的业务数据库、权限检查机制、合规约束和审计日志。与传统基于文本输出或模拟工具接口的评估方式不同，沙箱环境允许通过观察实际的业务状态变化来判定攻击是否成功，从而提供更可靠的安全评估结果。
沙箱环境是FinVault的技术核心创新。本文构建了31个监管案例驱动的沙箱场景，使安全失败可以通过可观察的业务状态变化和审计轨迹来验证，而非依赖文本输出推断，这是与现有基准测试的根本区别。
研究动机
当前LLM驱动的金融智能体正在被大规模部署用于投资分析、风险评估和自动化决策等高风险场景，但其安全性评估严重不足。现有评估主要存在两个层面的缺陷：第一，在语言模型层面，安全评估集中于内容合规性测试，使用静态提示检测模型是否生成不当内容或拒绝不合规请求，但这种方法的风险刻画仅停留在“模型是否说出错误信息”的内容层面，无法捕捉多步骤决策、工具调用和状态转换中产生的系统性风险。第二，在智能体层面，虽然部分评估引入了工具调用能力，但环境建模仍然过于抽象——工具接口通常通过预定义响应或脚本来模拟，缺乏对真实金融业务流程中关键机制的建模，包括可写入状态的业务数据库、权限和配额约束以及可审计的操作轨迹。这导致攻击评估只能基于智能体的文本输出推断“成功”与否，难以验证攻击是否实际导致了不合规的业务操作或风险后果。更严重的是，美国SR 11-7模型和欧盟AI法案都将金融AI系统列为高风险类别，要求严格的治理、验证和审计。目前缺乏一个专门针对真实金融业务流程的端到端安全评估基准。
本文的目标是本文旨在构建FinVault——首个面向金融智能体的执行落地安全基准测试，系统性地评估LLM驱动的金融智能体在接近真实执行环境的对抗条件下的安全性和鲁棒性。具体目标包括：构建31个监管案例驱动的沙箱金融场景，配备可写入状态的业务数据库和明确的合规约束；定义107个基于真实监管违规模式的高风险漏洞；构建覆盖提示注入、越狱和金融特化攻击的963个测试样本；以及系统评估主流LLM和防御方法在金融场景中的实际表现。
与已有工作不同的是，本文的独特切入角度在于“执行落地”（execution-grounded）评估范式。与现有金融LLM评估（聚焦模型层面的内容合规）和通用智能体评估（使用模拟环境和抽象接口）不同，FinVault建立了可执行、可验证的操作环境，其中智能体通过工具链访问和更新场景数据库，环境层显式实现权限检查、合规约束和审计日志。这意味着攻击成功与否是基于可观察的业务状态变化及其后果来判定的，而非仅依赖文本输出。这种范式能够捕获真实金融工作流中因多步骤决策、工具调用和状态转换而产生的执行落地风险，填补了金融智能体安全评估领域的空白。
核心方法
FinVault的整体方法遵循“监管驱动的场景设计→漏洞定义→攻击构建→沙箱执行评估”的技术路线。首先，基于真实金融监管违规案例，设计31个覆盖六大金融业务领域（信贷、保险、证券、支付、合规/反洗钱、风险管理）的沙箱场景。每个场景配备可写入状态的业务数据库，支持智能体通过工具链访问和更新数据。然后，为每个场景定义3-5个来自真实监管违规模式的高风险漏洞，涵盖权限绕过、合规违规、信息泄露、欺诈审批和审计规避五类。接着，构建包含8种攻击技术的攻击用例库，通过专家设计、模型增强和人工验证三阶段流水线生成963个测试样本。最后，在沙箱环境中执行攻击，通过观察业务状态变化来判定攻击成功率。
FinVault的核心创新在于将安全评估从“文本推断”提升到“执行验证”的层面。与现有工作的本质区别体现在三个维度：第一，状态可写性——沙箱环境中的业务数据库是可写入的，攻击成功与否通过实际数据变化而非模型文本输出来判定；第二，合规约束显式化——环境层显式实现权限检查和合规约束，违规操作会被检测和记录；第三，审计可追溯——所有操作都有审计日志，支持事后分析。这种设计使得评估结果更加可靠，能够捕获真实金融工作流中的执行落地风险。此外，本文提出了金融特化的攻击分类体系，包括提示注入、越狱和金融特化攻击三大类共八种具体技术，系统覆盖了金融场景中的主要安全威胁。
方法步骤详情
FinVault的构建和评估流程包含以下关键步骤：（1）场景设计阶段，根据金融业务属性将31个测试场景组织为六个互补类别（信贷与借贷7个、保险服务4个、证券与投资5个、支付与结算4个、合规与反洗钱6个、风险管理5个），每个场景包含完整的业务工作流。（2）漏洞定义阶段，为每个场景定义3-5个基于真实监管违规模式的高风险漏洞，107个漏洞中合规违规占35%、欺诈审批占28%、权限提升占18%、信息泄露占12%、审计规避占7%。（3）攻击构建阶段，采用专家设计→模型增强→人工验证的三阶段流水线：金融合规专家和安全研究人员为每个漏洞设计种子攻击，LLM生成多样化的变体（包括跨语言风格改写、多技术组合和不同金融产品适配），安全专家最终验证攻击用例的针对性、真实性和成功标准的清晰度。（4）执行评估阶段，在沙箱环境中运行LLM智能体，智能体通过工具链访问和更新场景数据库，环境层执行权限检查、合规约束和审计日志，根据业务状态变化判定攻击是否成功。
技术新颖性
FinVault的技术新颖性体现在多个层面：首先，它是首个面向金融智能体的执行落地安全基准，区别于所有现有工作——现有金融LLM评估（如TRIDENT、CNFinBench、FINTRUST）聚焦模型层面，现有通用智能体安全评估（如InjecAgent、AgentDojo、Agent-SafetyBench）缺乏金融场景或执行落地验证。其次，沙箱环境中可写入状态的数据库设计是独特的技术贡献，使得安全评估从“推断”升级为“验证”。第三，基于真实监管违规模式的漏洞分类体系（权限绕过、合规违规、信息泄露、欺诈审批、审计规避）是金融领域特化的，反映了真实监管执法行动中的违规类型分布。第四，金融特化攻击分类（权威冒充、情感操纵等）填补了通用攻击技术在金融场景适配方面的空白。第五，论文首次系统性地揭示了不同LLM在指令级隔离设计上的巨大差异——Claude模型的ASR（3.70%）与Qwen模型（64.50%）之间存在17倍差距，这对模型安全架构设计具有重要指导意义。
实验结果
本文的实验评估了10个主流LLM和3个防御方法，揭示了金融智能体安全性的几个关键发现。首先，在基础提示下（无任何安全增强），不同模型的安全表现存在巨大差异：Claude-Haiku-4.5表现最稳健，平均ASR仅6.70%，而Qwen3-Max最为脆弱，平均ASR高达50.00%。Seed-1.6-Flash的ASR为42.30%，GPT-4o为37.60%，Qwen3-235B-A22B为35.60%，GPT-5-Mini为27.05%，DeepSeek-V3.2为23.60%，Gemini-Flash-Preview为23.60%，GLM-4.7为16.50%，Claude-Sonnet-4.5为7.40%。当不限定具体攻击技术，仅评估预定义漏洞是否可被成功利用时，漏洞妥协率更为惊人：最弱模型高达85.98%，即使最稳健的模型也达20.56%。在攻击技术层面，角色扮演和假设场景攻击最为有效，角色扮演在Qwen3-Max上ASR达64.50%；编码混淆攻击效果最差，表明现代LLM已具备一定的编码识别能力；指令覆盖攻击效果差异巨大（Qwen3-Max 64.50% vs Claude-Haiku-4.5 3.70%，差距17倍），反映了模型在指令级隔离设计上的根本差异。在场景层面，保险服务最容易受攻击（Qwen3-Max上ASR高达65.2%），信贷场景相对不易受攻击。在防御方法评估中，LLaMA Guard 4的TPR最高（61.10%）但FPR也较高（29.91%），GPT-OSS-Safeguard的FPR最低（12.15%）但TPR也最低（22.07%），LLaMA Guard 3表现最差（TPR 37.38%，FPR 43.93%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 金融智能体安全性（基础提示，平均ASR） | 平均攻击成功率 ASR (%) | FinVault基准下各模型ASR：Claude-Haiku-4.5为6.70%，Claude-Sonnet-4.5为7.40%，Qwen3-Max为50.00% | 无先前金融执行落地基准可对比 | 首次建立金融执行落地安全评估标准，揭示最强模型仍有20.56%漏洞妥协率 |
| 攻击技术效果评估（角色扮演攻击） | 角色扮演攻击 ASR (%) | Qwen3-Max: 64.50%, Seed-1.6-Flash: 51.40%, GPT-4o: 47.70% | 编码混淆攻击：Qwen3-Max 41.10%, Seed-1.6-Flash 46.70% | 语义级攻击（角色扮演）比技术攻击（编码混淆）平均高约15-20个百分点 |
| 防御方法检测性能 | TPR (%) / FPR (%) | LLaMA Guard 4: TPR 61.10% / FPR 29.91%; GPT-OSS-Safeguard: TPR 22.07% / FPR 12.15% | LLaMA Guard 3: TPR 37.38% / FPR 43.93% | LLaMA Guard 4在TPR上比LLaMA Guard 3提升23.72个百分点 |
局限与改进
作者明确承认了三个主要局限性：第一，虽然包含的八种攻击技术覆盖了当前智能体安全研究的主流范式，但新兴的攻击策略尚未被纳入评估范围，这意味着FinVault可能无法完全代表未来金融智能体面临的所有安全威胁。第二，虽然沙箱环境旨在模拟真实金融工作流，但在规模、集成复杂度和操作约束方面与生产级金融系统不可避免地存在差异，评估结果向真实部署场景的迁移性有待验证。第三，ASR指标将所有成功的攻击同等对待，没有区分攻击的严重程度或下游影响的差异——一次导致小额交易违规的攻击与一次导致大规模资金损失的攻击被同等计入ASR。此外，我观察到以下局限：评估仅覆盖了10个主流LLM，未包含金融领域专门微调的模型；漏洞分布偏向合规违规（35%）和欺诈审批（28%），对其他类型如信息泄露（12%）和审计规避（7%）的覆盖相对不足；攻击交互预算限制在10轮，可能无法完全模拟实际攻击中的多轮渐进式诱导。
独立分析的弱点
尽管FinVault在金融智能体安全评估方面做出了开创性贡献，但仍存在几个需要改进的方面：第一，攻击技术覆盖的局限性——仅包含8种攻击技术，未涵盖新兴的对抗策略如自适应攻击、多智能体协同攻击等，建议未来扩展攻击技术库并建立持续更新机制。第二，场景规模与复杂度——31个沙箱场景虽然覆盖了六大金融领域，但每个领域的场景数量有限（保险仅4个），难以全面代表真实金融业务的多样性，建议扩展场景规模并引入更复杂的跨领域业务流程。第三，漏洞类型分布不均衡——合规违规和欺诈审批占比过高（合计63%），而审计规避仅占7%，建议平衡各类漏洞的覆盖以更全面地评估安全风险。第四，ASR指标过于粗糙——不区分攻击严重程度，建议引入加权ASR或分层评估框架，将攻击后果的严重程度纳入评估。第五，防御方法评估的深度不足——仅评估了3个通用防御模型，未针对金融场景设计和评估专门的防御方案，建议开发金融特化的防御机制。
未来方向
基于FinVault的发现，未来研究可以从多个方向展开：第一，金融特化安全对齐——当前通用安全对齐无法有效迁移到金融场景，需要开发针对金融合规语境的安全对齐技术，特别是解决保险服务等高自由裁量权场景中的语义操纵问题。第二，指令级隔离增强——Claude模型在指令覆盖攻击上的低ASR（3.70%）表明严格的指令边界执行是有效的防御手段，值得深入研究并推广到其他模型。第三，多轮交互安全机制——渐进式诱导攻击的高ASR（Qwen3-Max上64.50%）表明单轮安全检查不足，需要开发能够检测多轮交互中累积信任操纵的动态防御机制。第四，金融特化防御模型——基于FinVault的数据集，训练针对金融场景的专用安全检测模型。第五，扩展攻击评估——纳入新兴攻击技术如自适应对抗攻击、多模态攻击等。第六，真实系统验证——在接近生产环境的金融系统中验证FinVault评估结果的迁移性。
复现评估
FinVault的复现性较好：作者已将代码开源在GitHub（https://github.com/aifinlab/FinVault），包含完整的基准数据集、沙箱环境实现和评估脚本。数据集包含31个场景、107个漏洞、856个攻击样本和107个良性样本，总计963个测试样本，规模适中，便于复现。然而，完整的实验评估需要调用多个商业LLM的API（包括GPT-4o、GPT-5-Mini、Claude-Sonnet-4.5、Claude-Haiku-4.5等），涉及显著的API调用成本。防御模型评估也需要部署LLaMA Guard 3/4和GPT-OSS-Safeguard，对计算资源有一定要求。沙箱环境的构建需要模拟金融业务数据库和合规约束，虽然作者提供了实现，但环境的真实性可能影响评估结果的可迁移性。总体而言，对于具有LLM API访问权限的研究者，复现是可行的。
论文图表
图中展示了三种评估范式的对比：(a) 现有金融LLM评估——主要在模型层面评估内容合规性，忽略智能体行为产生的系统性执行风险；(b) 通用智能体评估——局限于模拟环境，使用抽象接口，缺乏持久的状态变化；(c) FinVault——首个执行落地的金融安全基准，使用可执行环境和可写入状态的数据库，确保可验证的后果。
这张图清晰地展示了FinVault与现有工作的本质区别，帮助读者快速理解本文的核心贡献和定位。