FRAUDSkill：面向音频反欺诈检测的结构化冻结权重技能优化 FRAUDSkill: Structured Frozen-Weight Skill Optimization for Audio Anti-Fraud Detection
冻结音频大模型，只优化外部技能层，实现高精度低无效的封闭集反欺诈决策
前置知识
音频语言模型
以 Qwen2-Audio、SALMONN 为代表的多模态大模型，能直接接收语音波形并生成自然语言回答，内部将音频经编码器对齐到语言模型的表征空间。本文全程使用 Qwen2-Audio-7B-Instruct 并冻结其参数，只利用其语音理解与自由文本推理能力。
论文的核心设定是不动模型参数、只改外部技能层，因此必须先理解音频语言模型如何接收语音并输出开放式文本，才能明白为什么需要额外的结构化控制。
Macro-F1
对每个类别分别计算 F1（精确率与召回率的调和平均）后取算术平均。与按样本数加权的 W-F1 不同，Macro-F1 给每个类别相同权重，因此对少数类敏感。本文以场景、欺诈、类型三条路由 Macro-F1 的任务平均值作为主指标。
服务场景与欺诈类型分布极不均衡，只有 Macro-F1 能反映系统在少数欺诈类别上的真实表现，看懂 Table 1 与消融实验必须掌握这一指标。
冻结权重适配
不修改预训练模型的任何参数，而通过外部组件——提示、技能文档、路由策略、确定性后处理规则——改变其行为。与 SFT 相比省去训练算力、任务知识可随时替换；与纯人工提示相比，可以引入自动搜索与验证机制系统性地优化这些外部工件。
FRAUDSkill 整个框架建立在冻结权重之上，理解这一范式才能厘清它与 SFT（66.06%）、SkillOpt、EvoSkill 等基线的对比逻辑与公平性边界。
标签投影与路由归一化
标签投影 $\eta_q$ 借助固定别名映射表 $\mathcal{A}_q$ 把模型自由文本输出映射回官方标签集：精确标签保留、无歧义别名替换为规范标签、无法映射记为 INV。路由归一化 $\rho_q$ 强制执行条件协议：欺诈判定为 normal 时类型路由置 NA，判定为 INV 时下游类型同样连带无效。
这两个确定性算子是把无效率从 36.04% 压到 1.94% 的关键机制，是方法部分的结构化推理层的核心，也是消融中贡献最大的组件。
文本梯度与批评者-编辑器循环
借鉴 DSPy、APO 与 TextGrad 的优化思路：批评者模型 $\mathcal{G}_\phi$ 阅读执行轨迹与错误记录，生成自然语言诊断 $g_{t,P}$（相当于文本空间的梯度），编辑器 $T_\psi$ 据此产出若干候选修订程序，再由留出验证集打分做束搜索筛选，形成不涉及数值反向传播的迭代优化循环。
理解离线技能搜索如何运转，以及束宽 $b=3$、分支因子 $c=3$、五轮搜索、每批 64 例等配置的含义，都依赖这一概念。
TeleAntiFraud 基准
电话反欺诈语音基准，官方 SFT 划分含 10,711 条训练与 2,677 条测试样本（其中 1,453 条有欺诈类型标注），要求按场景识别→欺诈判定→条件类型分类的顺序输出封闭集标签。本文在音频级去重后以单条录音为评估单元。
所有数字（73.50% Macro-F1、1.94% 无效率）都定义在该基准及其音频级协议上，且与原数据集论文 7,021 条交互级协议的结果不可直接比较，阅读结果时必须注意这一协议边界。
研究动机
电信诈骗语音检测要求系统在一次通话中依次完成三个封闭集决策：先识别服务场景（account support、customer consultation、e-commerce promotion、public service、delivery service、other 共 6 类），再判定是否欺诈（normal/fraud），仅当判定为欺诈时才继续输出欺诈类型（bank fraud、phishing、identity theft、investment fraud、romance fraud、fake customer service、lottery fraud、other fraud 共 8 类）。冻结的 Qwen2-Audio-7B 共享基线在这套协议下 Macro-F1 仅 41.54%，无效率高达 36.04%：模型明明能听懂通话内容，却频繁输出 loan service、fake loan fraud 这类语义合理但不在官方标签体系内的词，被判为 INV 后整条决策链作废。错误分析显示文本层场景路由错误率达 74.2%，其中 91.1% 属于缺失或超出标签本体；类型路由错误率更高达 83.1%。现有适配手段陷入两难：微调把任务知识、标签约束和决策策略写死进权重，诈骗话术和标注政策一变就要重新训练；人工提示工程灵活，却无法保证结构化输出和跨路由一致性，早期一个无效预测会沿决策链向后传播并使整条链作废。
本文的目标是本文的目标是设计一个冻结权重适配框架，让同一个参数不动的音频语言模型输出符合官方标签本体和三段决策协议的封闭集预测。具体而言：把任务知识、反欺诈线索、路由策略和决策规则全部外化为可检查、可替换的模块化工件，通过从带标注的开发样例中自动诊断错误、改写程序、按留出验证表现筛选，使任务平均 Macro-F1 显著超过共享冻结基线；同时把无效输出率压到极低水平，保证场景、欺诈、类型三段决策逐级合法一致；最终做到无需任何训练即可即插即用部署，且所有工件在测试前冻结、绝不触碰测试标签，诈骗策略演变时只需重新搜索技能层而不必重训模型。
与已有工作不同的是，当时的技能优化工作虽已证明冻结模型可以靠外部技能进化获益，但切入角度都是任务通用的：SkillOpt 把任务信息压缩成单一可编辑文档做文本空间优化，EvoSkill 维护模块化技能文件夹并按执行失败发现和修订技能，二者既不建模三段条件决策链，也不保证输出落在官方标签集内。本文的独特之处是把外部技能优化与音频反欺诈的层级封闭集结构显式对齐：技能程序按路由组织（根指令、命名技能、路由策略三分），标签映射和路由归一化作为确定性算子与文本搜索严格分离，并形式化区分 INV（必需输出缺失）与 NA（协议允许跳过）；验证集只用于选程序和拟合选择器，测试标签全程隔离。这把开放式语音理解与结构化决策控制的职责彻底解耦，是已有冻结适配工作未曾覆盖的部署形态。
核心方法
直觉是：模型会听、会推理，但不会按规矩答题，那就把规矩抽出来放到模型外面。FRAUDSkill 把可编辑的外部状态定义为一个技能程序 $P=(r,\mathcal{K},\pi)$，其中根指令 $r$ 规定执行体角色、输出契约与官方标签本体，技能库 $\mathcal{K}$ 存放局部反欺诈知识（欺诈线索、类型边界、输出要求、跨路由一致性规则），路由策略 $\pi$ 根据当前路由 $q$ 和前序规范化历史 $h_{q-1}$ 决定激活哪些技能。系统分为严格分离的两阶段：离线技能优化在开发集 $D_{\text{opt}}$ 上跑轨迹、诊断错误，用批评者-编辑器循环改写程序，并以束搜索按留出集 $D_{\text{prog}}$ 上的路由感知准则保留最优程序集合；固定结构化部署阶段则让每个保留程序独立驱动冻结模型走完场景→欺诈→类型三条路由，自由文本经标签投影 $y^{(\ell)}_{q,\text{canon}}=\eta_q(q;\mathcal{Y}_q,\mathcal{A}_q)$ 和路由归一化 $y^{(\ell)}_q=\rho_q(y^{(\ell)}_{q,\text{canon}},h^{(\ell)}_{q-1})$ 变成规范化轨迹，最后由在校准集 $D_{\text{cal}}$ 上拟合的选择器 $\omega^*=\arg\max_{\omega\in\Omega_{\text{bal}}}\frac{1}{|Q|}\sum_{q\in Q}F^{\text{macro}(q)}(\hat{z}_{q,\omega},z_q)$ 聚合多条轨迹并投影回可行集输出最终决策。
核心创新是职责分离：冻结的音频执行体只负责开放式语音理解，封闭集有效性、路由一致性、类别平衡判断全部交给外部确定性工件承担。可行输出空间被形式化为 $\mathcal{C}=\mathcal{Y}_{\text{scene}}\times\{\text{normal}\}\times\{\text{NA}\}\cup\mathcal{Y}_{\text{scene}}\times\{\text{fraud}\}\times\mathcal{Y}_{\text{type}}$，任何必需输出无法映射即记 INV 并使下游连带无效，同时严格区分 INV（必需输出缺失或不可映射）与 NA（协议允许的合规跳过）。与 SkillOpt/EvoSkill 的本质区别在于：它们只优化模型怎么说，FRAUDSkill 额外用标签投影、路由归一化、多程序互补轨迹和类别平衡选择器决定最终答什么。消融数据直接印证了这一分工的价值——文本层路由感知搜索只带来 0.88 个百分点增益，而结构化推理层贡献了 29.84 个百分点，说明把生成与决策控制解耦才是冻结模型达到可用精度的关键。
方法步骤详情
第一步，定义任务与可行集：给定音频 $x$，三路由 $Q=(\text{scene},\text{fraud},\text{type})$ 各有官方标签集 $\mathcal{Y}_q$ 与固定查询 $u_q$，可行输出空间为 $\mathcal{C}$。第二步，轨迹级错误诊断：候选程序 $P$ 在 $D_{\text{opt}}$ 上记录完整轨迹 $\tau_P(d)=\text{Run}_{\text{text}}(P,x_d)$（含原始路由响应、临时解析标签、历史与跳过决策），错误分析器对照金标输出 $e_P(d)=\mathcal{E}(\tau_P(d),y_d)$，区分错误官方标签、不可映射输出、错误跳过类型决策与跨路由不一致，把下游类型错误与上游欺诈阻断分开归因。第三步，程序编辑：批评者 $\mathcal{G}_\phi$ 把采样批 $B_t$ 的错误总结为自然语言诊断 $g_{t,P}$，编辑器 $T_\psi$ 生成 $c$ 个邻域修订 $\mathcal{N}(P,g_{t,P})=\{T_\psi(P,g_{t,P},j)\}_{j=1}^c$，可改根指令、增删命名技能、细化欺诈类型边界或更新路由规则，但绝不触碰模型参数。第四步，验证筛选：束宽 $b=3$、分支因子 $c=3$、搜索五轮，所有候选按路由感知准则 $J$ 在 $D_{\text{prog}}$ 上打分（无效必需输出和错误跳过得零分），保留最优集合 $M$，最佳单程序 $P^*$ 即 FRAUDSkill-Text。第五步，链式部署：每个保留程序把根指令、激活技能、路由查询与前序规范化历史编译成上下文 $c^{(\ell)}_q=\mathcal{C}(r^{(\ell)},\mathcal{K}^{(\ell)}_q,u_q,h^{(\ell)}_{q-1})$，冻结模型生成 $q=f_\theta(x,c^{(\ell)}_q)$，经标签投影（精确标签保留、无歧义别名替换、失败记 INV）和路由归一化（fraud 必出合法类型、normal 置 NA、INV 连坐下游）后追加到历史。第六步，选择器拟合：在 $D_{\text{cal}}$ 上从有限配置族 $\Omega_{\text{bal}}$ 选出最大化任务平均 Macro-F1 的 $\omega^*$，测试期固定，最终预测 $\hat{b}_y(x;\omega^*)=\Pi_{\mathcal{C}}(\ldots)$ 投影回可行集。
技术新颖性
技术新颖性体现在四个层面。其一，路由感知的技能程序表示：根指令、命名技能、路由策略三分结构使外部知识天然对应三段条件决策链，而通用技能优化只有扁平文档或无路由语义的技能文件夹，无法表达类型路由仅在欺诈时执行这类条件依赖。其二，INV 与 NA 的形式化区分及可行集 $\mathcal{C}$ 上的确定性投影，让错误输出与合规跳过不再混淆，这是无效率指标可比、Joint Accuracy 有意义的前提。其三，文本搜索与结构化推理的严格解耦实验设计：组件分析从最佳文本程序出发逐个叠加封闭集投影、路由归一化、多路径推理、可靠性加权、类别平衡选择，干净地量化每层贡献（+10.81、+11.74、+4.10、+0.53、+2.66 个百分点），避免了搜索波动与组件贡献的混淆。其四，验证集拟合的类别平衡选择器只用于拟合固定聚合规则，不改模型不改程序，既保护少数类（引用长尾欺诈检测文献）又杜绝测试信息泄漏，所有程序、归一化规则和选择器均在测试前冻结，符合真实系统先部署后评估的约束。
实验结果
在 TeleAntiFraud 音频级测试集（2,677 条，其中 1,453 条有欺诈类型标注）上，完整 FRAUDSkill 取得 73.50% Macro-F1、79.40% W-F1、78.72% Accuracy、58.87% Joint Accuracy，无效率仅 1.94%，相对共享冻结基线（41.54%，无效率 36.04%）提升 31.96 个百分点，并明显超过纯 SFT 参照（66.06%），略低于 SFT+Memory（75.51%）。同为冻结权重方法，SkillOpt 和 EvoSkill 的 Macro-F1 反而降到 37.67%（−3.87）和 39.07%（−2.47），说明通用技能进化虽能把无效率降到 29.00% 和 34.19%，却换不来判别力；FRAUDSkill-Text 凭路由感知程序达到 42.42%（+0.88），Joint Acc 从 7.10% 升至 8.18%，但无效率仍高达 34.48%，证明单靠文本层搜索不足以完成结构化决策。组件消融（Figure 3）从最佳文本程序的 43.66% 出发：封闭集投影升至 54.47%，路由归一化至 66.21%（两者合计贡献 22.55 个百分点），多路径互补推理至 70.31%，可靠性加权至 70.84%（超多数投票 0.53），类别平衡选择最终 73.50%（对少数类保护贡献 2.66），结构化组件合计贡献 29.84 个百分点。错误分析（Table 2）显示 FRAUDSkill-Text 场景错误率 74.2%（其中 91.1% 为缺失/超本体输出）、欺诈错误率 32.9%（60.0% 为漏报、可阻断下游）、类型错误率 83.1%。文本搜索稳定性方面，种子 42/43/44 的 Macro-F1 为 43.66/42.69/40.92，均值 42.42%、样本标准差 1.39，波动大于平均增益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 音频反欺诈三段决策（TeleAntiFraud 音频级测试集，2,677 例） | Macro-F1（主指标，任务平均） | FRAUDSkill 73.50% | 共享冻结基线 41.54%；SkillOpt 37.67%；EvoSkill 39.07%；FRAUDSkill-Text 42.42%；SFT 参照 66.06%；SFT+Memory 参照 75.51% | 较共享基线 +31.96 个百分点，超纯 SFT 参照 7.44 个百分点，落后 SFT+Memory 2.01 个百分点 |
| 音频反欺诈三段决策 | Invalid Rate（无效率） | 1.94% | 共享基线 36.04%；SkillOpt 29.00%；EvoSkill 34.19%；FRAUDSkill-Text 34.48% | 较共享基线下降 34.10 个百分点 |
| 音频反欺诈三段决策 | Joint Accuracy（全链路全对正确率） | 58.87% | 共享基线 7.10%；FRAUDSkill-Text 8.18% | 较共享基线 +51.77 个百分点 |
| 冻结权重技能优化方法对比（同一 Qwen2-Audio-7B 执行体） | Macro-F1 | FRAUDSkill-Text 42.42% | SkillOpt 37.67%；EvoSkill 39.07% | 较最优冻结权重基线 EvoSkill +3.35 个百分点 |
| 结构化组件消融（自最佳文本程序 43.66% 起逐级叠加） | Macro-F1 累积 | 43.66%→54.47%（封闭集投影）→66.21%（路由归一化）→70.31%（多路径）→70.84%（可靠性加权）→73.50%（类别平衡选择） | 最佳单文本程序 FRAUDSkill-Text 43.66% | 结构化推理组件合计 +29.84 个百分点 |
局限与改进
作者明确承认两点：文本层技能搜索本身不稳定，跨种子样本标准差 1.39 大于对基线的平均增益 0.88，单靠文本层改进均值收益微弱；完整系统虽超 SFT 参照，但仍比 SFT+Memory 低 2.01 个百分点，且作者强调所有比较限定在其音频级评估协议内（2,677 条录音），与原数据集论文 7,021 条交互级结果不可直接比，基准原有的 LLM 慢思考评分也因输出为封闭集决策而未采用。我自己的观察还有：类型路由即便在文本阶段就高达 83.1% 错误率，全文未单独汇报结构化后类型路由的指标，最难环节可能只是被上游修复间接缓解；推理成本随保留程序数 $L$ 成倍增长，每个程序每条样本要走 2-3 次模型调用，延迟与费用是实际部署瓶颈；框架强依赖批评者/编辑器模型的质量，论文未披露该模型选型与搜索总开销；封闭集假设意味着新欺诈类型出现时必须人工扩充标签本体并重跑搜索，无需训练不等于零维护；且仅在 TeleAntiFraud + Qwen2-Audio 这一组合上验证，跨模型、跨基准泛化性未知。
独立分析的弱点
第一，多路径选择器看似鲁棒，实则把风险转移到校准集：若 $D_{\text{cal}}$ 与线上分布发生漂移（新型话术、方言口音、信道变化），拟合好的可靠性权重会失准，建议引入线上置信度监控与渐进重校准机制。第二，无效率 1.94% 并非零，剩余无效来自彻底无法映射的生成，可在投影前加一层基于嵌入相似度的检索式映射，或让模型直接输出标签 ID 而非自由文本，从源头消除歧义。第三，欺诈路由 60.0% 的错误是漏报（false normal，529 例），安防场景中漏报代价远高于误报，选择器的拟合目标可改为代价敏感 Macro-F1 或加入召回率硬约束。第四，每条样本需 $L$ 个程序各跑两三次调用，成本随程序数线性增长，可探索程序蒸馏——把多程序共识蒸馏进单一提示或小型判别头，兼顾精度与延迟。第五，批评者-编辑器循环的搜索随机性（标准差 1.39）与 API 开销缺乏核算，工程落地前应补齐成本模型，并考虑用多次搜索的集成或更稳定的打分器降低方差。第六，三段链式结构中上游 INV 会连坐下游，可研究局部修复或重问策略而非整链作废。
未来方向
作者在结论与伦理声明中把工作限定为防御性研究，并隐含两条延伸：把路由感知技能层推广到其他封闭集多模态任务，以及进一步剖析文本搜索与结构化控制各自贡献的普适性。基于其成果我还能想到几个方向：一是与轻量参数更新混合，冻结主干只微调适配器，系统比较技能层与参数层的边际收益曲线，回答何时该改提示、何时该改权重；二是开放式欺诈类型发现，用聚类或生成式本体扩展替代固定 $\mathcal{Y}_{\text{type}}$，缓解封闭集假设下新类型需人工扩表的问题；三是流式实时检测，把三段链改造成增量决策以支持通话中途拦截，而非事后判定；四是跨语言、跨信道（VoIP、AI 合成语音）鲁棒性评测，尤其针对深度伪造语音诈骗；五是引入对无效链的局部修复与主动重问；六是用路由级奖励的强化学习替代纯文本诊断的批评者循环，降低搜索方差并减少对外部大模型的依赖。
复现评估
代码以匿名链接 anonymous.4open.science/r/FRAUDSKILL-114514 开源，补充材料包含评估脚本、配置文件、官方标签本体、结果表、预测轨迹 schema、选定技能程序工件、选择器配置与本地回放脚本；最小验证路径可从发布的 JSON 结果重新生成论文表格 CSV 并校验轨迹 schema，本地回放模式无需任何 API 密钥即可检查路由序列、搜索与程序选择簿记、确定性归一化逻辑和输出文件结构。缺口在于：TeleAntiFraud 音频需按原数据集的访问条件获取，Qwen2-Audio-7B 权重需按上游许可自行下载，批评者/编辑器模型接口需自备凭据。完整复现五轮束搜索（优化批 64、束宽 3、分支因子 3）需要大量冻结模型推理与外部模型调用，且论文建议以三种子重复衡量波动。综合评估：后处理、表格与 schema 校验部分极易复现，端到端复现属中等偏难，需要 GPU 推理资源与外部模型 API，搜索阶段还有不可忽视的费用。
论文图表
对比两类适配范式：传统方法通过更新模型权重（微调）或人工反复修订指令（提示工程）来注入任务知识与决策规则；FRAUDSkill 则完全冻结音频语言模型，把任务知识、标签约束和路由策略外化为可自动演进的技能层，直接产出符合封闭集协议的反欺诈决策。
一图看清论文的问题定位与核心卖点——不训参数、只改外部工件，是引言部分结论的视觉浓缩，帮助读者在进入技术细节前建立整体对比框架。