PRESCAM：从早期对话预测诈骗进展的基准 PreScam: A Benchmark for Predicting Scam Progression from Early Conversations
提出诈骗杀伤链框架与PRESCAM基准，从早期多轮对话预测诈骗升级轨迹。
前置知识
Cyber Kill Chain（网络杀伤链）
源自MITRE等框架的网络攻击生命周期模型，把攻击分解为侦察、投递、利用、命令控制等有序阶段，强调攻击是有结构、多阶段的过程而非单次事件。
PRESCAM的核心创新Scam Kill Chain即借鉴此思路，把对话式诈骗建模为Initial Contact→Engagement→Termination三阶段，是理解全文方法论的关键类比。
Psychological Techniques（心理操纵技术）
社会工程学中诈骗者反复使用的心理操纵手段，如权威、紧迫感、信任建立、恐惧激发、稀缺性、幻影财富等，通过特定话术激活受害者特定心理状态。
PRESCAM把诈骗行为标注为PT Actions（pt, ut）元组，PT既是分类标签也是模型需要预测的目标，理解PT谱系才能看懂标注逻辑和动作预测评估方式。
LLM-as-a-Judge（大模型评判）
用强大LLM从生成自由文本中提取结构化标签或打分以替代人工评估，需配合人评校准一致性（如Cohen's κ）来保证可靠性。
本文对动作预测采用LLM-as-a-Judge提取原子动作和PT集，再算Action/PT HitRate；100样本人评验证达92%一致性与κ=0.774。
多轮对话进展建模
把对话视为按时间展开的状态/阶段序列，建模"对话走到哪一步"以及"下一步会发生什么"，区别于把整段对话当静态文本进行分类。
PRESCAM的核心立意即从"静态诈骗识别"转向"进展建模"，两个任务都要求模型具备阶段感知和时序推理能力，而非仅识别表面线索。
研究动机
现有诈骗研究存在两个核心局限：其一，绝大多数工作把诈骗当作"静态工件"处理——钓鱼网页、短信、伪造邮件等一次性诱饵，忽略多轮对话中诈骗如何随时间升级；其二，即便用LLM合成对话数据（Eder 2025、Yang et al. 2025b、Ma et al. 2025b、Kumarage et al. 2025），合成的对话带有生成模型的归纳偏差，无法反映真实报告的多样性。BBB 2016–2024年度风险报告显示"投资类"和"就业类"等对话式诈骗已成为过去十年最危险的诈骗类型，但学术界对它们的进展结构几乎一无所知。这导致在活体银行、消息应用等真实场景中，系统往往要等到诈骗者明确要求付款（Termination阶段）才能识别风险，错失最佳干预窗口。
本文的目标是本文构建第一个面向"真实对话式诈骗进展"的大规模基准PRESCAM，把原始、含噪的受害者叙述转化为结构化多轮对话，并设计两个互补任务：其一是实时终止预测（Real-time Termination Prediction），要求模型在任意时刻$t$根据$C_{\leq t}=(u_1,\ldots,u_t)$输出连续风险分数$\hat{p}_t\in[0,1]$判断对话是否临近终止；其二是诈骗者动作预测（Scammer Action Prediction），在Engagement阶段预测后续PT Actions序列$\hat{A}_{>t}=\mathrm{LLM}(C_{\leq t}, n_{remain})$。两任务合在一起直接探测模型是否真正理解诈骗背后的心理操纵时序结构。
与已有工作不同的是，本文的独特切入在于提出"Scam Kill Chain"（诈骗杀伤链）表示法，把对话式诈骗显式分解为三阶段$\mathcal{K}=\langle\phi_{IC}\to\phi_{EG}\to\phi_{TM}\rangle$，每阶段由若干PT Action $a_t=(p_t,u_t)$组成，使$C=\phi_{IC}\oplus\phi_{EG}\oplus\phi_{TM}$被切分成时序上不相交的阶段序列。这把"非结构化受害者叙述"与"模型需要预测的进展标签"用同一套心理操纵技术词汇联系起来，区别于把整段对话当作无结构文本的检测工作。配合一个从177,989份原始BBB报告出发、经过GPT-4o-mini提取与MiniMax-2.5加PT标注、最后用第二个LLM自反思+200人PhD评分核验的完整流水线，PRESCAM首次把"真实多轮诈骗"与"进展结构化标注"统一到同一数据集中。
核心方法
PRESCAM的方法直觉是：诈骗本质上是有结构的心理操纵过程，模型能不能捕捉这种结构、能不能在升级到不可挽回前识别风险，决定了它在真实防御场景中的价值。技术路线上分四步：(1) 用Scam Kill Chain形式化把对话式诈骗切分为三阶段并定义PT Action为最小标注单元；(2) 用LLM-based extractor（GPT-4o-mini）从177,989份原始BBB报告中筛出25,402条候选多轮对话，过滤为13,007条；(3) 用MiniMax-2.5对每条对话做Kill Chain结构化并标注PT，过滤后得到11,573条高质量实例；(4) 在该数据集上定义实时终止预测和诈骗者动作预测两个任务，并系统性评估从位置基线、TF-IDF、MLP、LSTM到BERT，以及GPT-4o-mini/DeepSeek-V3.2/Qwen3-235B-A22/Grok-4.1-fast等零样本LLM。
核心创新在于把"进展结构"作为一等公民显式建模：以往的诈骗检测只关心"这段文本是不是诈骗"或"它是哪一类"，而PRESCAM关心"对话走到Scam Kill Chain的哪一阶段了"和"下一步会执行什么PT Action"。本质上，Scam Kill Chain把"何时"和"做什么"两个时间维度用同一套PT词汇串起来——每个阶段由不同PT主导（Initial Contact常用Pretext&Trust，Engagement会用Phantom Riches、Urgency，Termination出现直接的Extraction要求），让模型必须学会追踪阶段切换和PT序列演化，而非依赖通用诈骗先验。这与已有方法的本质区别在于：(a) 不依赖合成数据，全部来自真实受害者报告；(b) 标注粒度到turn-level PT Action而非整段标签；(c) 评估指标全部围绕"进展准确性"而非"分类准确率"设计。
方法步骤详情
流水线分四步。**Step 1**：从BBB Scam Tracker抓2024–2025年共177,989份报告。**Step 2 抽取**：GPT-4o-mini过滤多轮对话，输出25,402条候选；剔除engagement rounds<2的样本剩13,007条。**Step 3 结构化**：MiniMax-2.5把对话组织为IC→EG→TM三阶段并标PT。Engagement细分多轮动作，每条action须有verbatim span且至少配一个PT标签（否则删除），得11,573条实例。**Step 4 质控**：second LLM作self-reflection agent复核；3位PhD对n=200样本打分平均7.10→7.37。**任务**：实时终止预测$\hat{p}_t=f_\theta(C_{\leq t})$；动作预测Unlimited设$\hat{A}_{>t}=\mathrm{LLM}(C_{\leq t})$，Limited设$\hat{A}_{>t}=\mathrm{LLM}(C_{\leq t}, n_{remain})$。
技术新颖性
技术新颖性体现在四个层面。**形式化**：首次把网络杀伤链迁移到对话式诈骗，用三阶段+PT Action定义$\mathcal{K}=\langle\phi_{IC}\to\phi_{EG}\to\phi_{TM}\rangle$，$a_t=(p_t,u_t)$，$C=\phi_{IC}\oplus\phi_{EG}\oplus\phi_{TM}$，使进展可被直接预测评估。**数据**：首次用177,989条真实报告结构化为11,573条带PT标注的多轮对话，覆盖20类诈骗长尾分布。**任务**：AT@FPR10%在$\tau_\alpha=\inf\{\tau:\mathrm{FPR}(\tau)\leq\alpha\}$下定义，$\mathrm{AT}=T_{TM}-\min\{t:\hat{p}_t\geq\tau_\alpha\}$，使不同方法预警时间可直接比较。**评估**：用LLM-as-a-Judge抽取$\Psi(\cdot)$原子动作集和$\Gamma(\cdot)$ PT集，再算Action/PT HitRate，二者解耦揭示"意图识别 vs 操作预测"差距。
实验结果
**实时终止预测（Table 1）**：BERT-base以AUC 83.4%、AUPR 65.6%居首，比position-only（77.6/53.3）分别+5.8和+12.3。TF-IDF+LR（81.1/61.6）、MLP embed（81.6/61.9）紧随。零样本LLM集体跌至position-only之下：GPT-4o-mini 67.4/44.9、DeepSeek-V3.2 69.9/47.3、Qwen3-235B-A22 68.7/45.2、Grok-4.1-fast 63.3/41.9。Grok在AT@FPR10%以2.03反超BERT的1.50。**动作预测（Table 2）**：Unlimited下Claude Sonnet 4.5以AHit 79.36%最高、DeepSeek-V3.2以PTHit 60.43%最高。Limited下AHit显著下降至57–64%区间，BERTScore/ROUGE-L反升，揭示约束输出主要让表面更接近参考。Figure 3显示Employment和Phishing易预测，Tech Support和Investment难度更大。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 实时终止预测（Real-time Termination Prediction） | AUC (%) | 83.4（BERT） | 77.6（position only）/ 67.4（GPT-4o-mini零样本） | +5.8 相对position-only；+16.0 相对最佳零样本LLM（Grok-4.1-fast 63.3） |
| 实时终止预测 | AUPR (%) | 65.6（BERT） | 53.3（position only）/ 41.9（Grok-4.1-fast） | +12.3 相对position-only；+23.7 相对Grok-4.1-fast |
| 实时终止预测 | AT@FPR10% (turns) | 1.50（BERT） | 1.76（position only）/ 1.80（GPT-4o-mini） | BRET稍差（-0.26/-0.30），但Grok-4.1-fast以2.03反超所有监督方法，提示零样本LLM在告警提前量上更激进 |
| 诈骗者动作预测（Unlimited） | Action HitRate (%) | 79.36（Claude Sonnet 4.5） | 65.15（GPT-4o-mini）/ 71.84（GPT-5-chat） | Claude领先GPT-4o-mini +14.21，领先GPT-5-chat +7.52 |
| 诈骗者动作预测（Unlimited） | PT HitRate (%) | 60.43（DeepSeek-V3.2） | 53.76（Claude Sonnet 4.5）/ 57.55（GPT-4o-mini） | DeepSeek V3.2 PT最强但AHit仅75.80，验证意图识别与操作预测的解耦 |
| 诈骗者动作预测（Limited） | Action HitRate (%) | 63.93（Claude Sonnet 4.5） | 40.45（GPT-4o-mini Limited） | Claude Limited 63.93 vs Unlimited 79.36，下降-15.43；BERTScore 0.8661 vs 0.8526反而上升，提示限制$n_{remain}$主要让生成更表面相似而非真恢复动作 |
局限与改进
作者明确承认的局限：(1) 终止预测中零样本LLM集体弱于position-only基线（最高Grok-4.1-fast AUC 63.3% vs position-only 77.6%），说明当前LLM对"诈骗何时升级"的内在表征不足；(2) 动作预测中AHit与PTHit存在持续gap（Claude 79.36% AHit vs 53.76% PTHit；DeepSeek 75.80% vs 60.43%），模型可推断"操纵意图"却难预测"具体执行步骤"；(3) Limited下BERTScore/ROUGE-L升高而AHit/PTHit下降，说明这两个文本相似度指标在结构化预测任务中具有误导性；(4) 数据来源单一（BBB Scam Tracker）且标注依赖LLM流水线，200人评审虽给出平均7.37/8分但仍无法消除幻觉风险；(5) 标注粒度受限于PT taxonomy。我自己的额外观察：(6) 训练集仅80/20 split，缺少跨类别、跨时间段的鲁棒性测试；(7) LLM-as-a-Judge用GPT-4o-mini，与被测模型能力档次不均衡，可能低估弱模型真实差异。
独立分析的弱点
**弱点1：零样本LLM在终止预测上被简单基线压制**。Grok-4.1-fast AUC 63.3%低于position-only 77.6%，说明模型对"对话到了哪一阶段"缺乏稳定表征。改进方向：把Scam Kill Chain阶段信息以in-context demonstration或prefix-tuning形式注入LLM。**弱点2：动作预测的AHit与PTHit解耦未被正面利用**。当前评估只报告两个独立指标，无奖励一致性的设计，导致DeepSeek和Claude难分高下。改进方向：设计联合打分$\mathrm{Joint}=\alpha\cdot\mathrm{AHit}+\beta\cdot\mathrm{PTHit}$或强制结构化输出。**弱点3：动态边界$t$的选取依赖GPT-4o-mini标注**，存在LLM-bootstrap偏差。**弱点4：数据集长尾分布未被显式处理**。**弱点5：缺少与人类反诈专家的预测对比**，所有baseline都是模型。
未来方向
作者在Conclusion提出的方向：(1) 把PRESCAM推广为"进展感知"诈骗分析的统一基准；(2) 推动从静态识别向"在Termination之前"的可执行干预系统发展。基于成果可延伸的方向：(3) 把Scam Kill Chain扩展到更多阶段（如Suspicion、Recovery），并研究阶段切换的早期信号；(4) 结合RAG或工具调用让模型在预测时检索相似历史诈骗案例，提升AHit；(5) 把进展预测与对话干预策略结合，让模型不仅预测"会做什么"还能建议"应该怎么回应"；(6) 探索多模态版本，加入语音、视频通话中的情绪与微表情信号；(7) 在反诈产品中做A/B测试，验证PRESCAM-trained模型在真实活体消息场景中的早警收益；(8) 研究反事实推理："如果用户在第$t$步拒绝响应，诈骗会如何发展"。
复现评估
**开源情况**：作者描述了完整的数据集schema、构造prompt（附录E、附录F）、评测prompt和自反思checklist，但截至成文未明确承诺代码与数据公开链接。**数据规模**：原始177,989→结构化11,573条实例，20类诈骗，每条含阶段结构、turn-level PT标注和scammed标签，可直接使用。**算力门槛**：训练侧监督模型都是base级（BERT-base、TF-IDF、MLP、LSTM），单卡A100即可在小时内完成；零样本LLM评估需调用GPT-4o-mini、DeepSeek-V3.2、Qwen3-235B-A22、Grok-4.1-fast、Claude Sonnet 4.5、Llama-3.3-70B、GPT-5-chat的API，预算约数十至数百美元可复现主表。**复现难度**：中等偏上，难点在于LLM结构化标注的非确定性及Judge prompt需原样复用，整体方法路径清晰、指标定义形式化，复现性较好。
论文图表
