RiskChainBench：混淆平台消息还原与证据驱动的网页调查基准 RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation
把混淆消息还原和网页风险调查串成一条链，用入口门控离线组合揭示跨阶段损失。
前置知识
混淆文本规避
平台违规推广者用表情符号穿插、同音字替换、汉字拆分、视觉相似字符和冗余符号改写消息，使内容对人可读但对基于表面模式的审核系统不可见。例如'报实价'写成'报纸吃'这类暗语，或把跳转链接域名拆成竖排字符加拆字处理。TNT、ToxiCloakCN、PCR-ToxiCN、HomoP-CN 等工作分别研究了英文扰动、中文遮蔽攻击、拼音替换和同音还原的单独场景。
本文的 Task 1 就是从这类混淆文本中还原规范消息、操作意图和跳转入口，六种混淆配方直接对应这些规避手法，理解混淆形式才能看懂分层评测结果。
入口门控离线组合
论文的核心评测协议：模型先对一条固定的主变体消息提交还原结果（含排序的入口候选列表），冻结后再做网页调查。离线评分时检查主变体的排名第一入口是否解析到正确网站，即 $g_i = \mathbb{I}[\rho(\hat{z}^{(1)}_{ij}) = i]$；若失败则整个端到端案例记为 $\bot$，已冻结的网页轨迹和评分不变。这样无需重跑浏览器就能把 Task 1 的入口错误传播到端到端成绩。
整个论文的端到端视角（Table 2 和 Figure 1）都建立在这个门控函数上，它把'恢复跳转目标'与'调查网站'两个阶段的误差显式关联起来。
证据引用评测
网页智能体在冻结的浏览器轨迹 $\tau_i = (o_0, a_0, \ldots, a_{T_{i-1}}, o_{T_i})$（$T_i \leq H$，30步/600秒预算）之后，必须输出风险结论、理由和证据引用 $?E_i = \{(t_k, \ell_k)\}$，其中 $t_k$ 指向轨迹中实际观察到的步骤。一个固定的多模态证据裁判模型只评估结论与轨迹的证据关系（忠实性、充分性、完整性、一致性四维），不参与任务标签判定。
这是论文对轨迹评测文献（AgentRewardBench 发现没有单一裁判跨基准一致、REFLECT 暴露证据验证弱点）的回应，理解证据引用机制才能区分'人工标签定对错'与'裁判定证据质量'两条评分线。
三层人工标注金标
四位受训标注者依据共同编码本对每个网站给出三元判定 $d_i \in \{V, N, U\}$（违规/非违规/证据不足）和九种主违规类型 $c_i$。每站两人独立标注，分歧触发盲审，必要时协调员仲裁；判定一致性 82.50%、联合标签一致性 80.17%，Krippendorff's $\alpha$ 分别为 0.6553 和 0.7425。冻结金标含 394 违规、181 非违规、25 证据不足网站。
Task 2 的决策准确率、宏 F1 和分层精确匹配全部以这套人工金标为准，样本量和一致性数字决定了评测的可信度。
研究动机
中文平台的违规推广产业链（色情、诈骗、赌博、非法交易）几乎从不在明文里直接说意图：发布者用表情码、同音字、拆字、视觉相似字符和冗余符号改写消息，再通过改写过的域名、暗号和操作指引把用户引流到外部网页。现有评测把这条链路切成了互不相关的两半：混淆文本基准（Hatemoji、OTH、ToxiCloakCN、PCR-ToxiCN、HomoP-CN、CodedLang）只到'还原出消息'或'给出分类标签'为止；网页智能体基准（WebArena、MalURLBench、SecureWebArena、FraudSMSWalker）研究对可疑链接的交互和安全行为，但不考察消息侧。这留下一个平台治理的关键盲区：一个很小的还原错误就可能改变下游调查的目标网站，而分开评测文本和网页无法暴露这种跨阶段损失，模型排行榜在'会还原'和'能调查'之间的能力错配完全不可见。
本文的目标是论文要把'混淆消息还原'和'证据驱动的网页调查'按目标网站身份串联起来，构造一个可复现、可重置、完全离线的基准。具体目标包括：构造 600 个源会话共 3,600 条合成 token 文本混淆输入（六种配方各司其职）；为每个源会话配一个从 2,500 个离线网站池中按精确配额选出的人工标注本地网页环境，形成 600 个人工金标场景；建立统一的评测协议，使 Task 1（消息还原）和 Task 2（VLM 网页智能体调查）可以分别打分，再通过固定的主变体入口门控离线组合出端到端成绩；最后在十个主流模型上定位失败发生在哪个阶段。
与已有工作不同的是，独特之处在于三点。第一，按'目标网站身份'而非消息对齐：指向同一网站的六条消息变体作为嵌套变体挂在同一网站实例下，Task 1 以消息变体为单位、Task 2 以网站为单位，两者通过固定的主变体入口门控 $g_i$ 离线相遇，网页阶段完全看不到源消息、规范消息、模型还原结果或原始域名，杜绝了从消息侧语义直接推出网站结论的捷径。第二，跳转话术与目标风险被构造为独立属性，非违规但话术暧昧的站点保留为有意义的困难负例。第三，人工金标决定任务对错，固定多模态证据裁判只提供覆盖率条件化的证据诊断，两条线不混淆——这直接回应了 AgentRewardBench 关于'没有单一 LLM 裁判能跨基准一致'的教训。
核心方法
整体思路直觉：平台风险调查本质是一条链——先从混淆消息里恢复'要去哪、做什么'，再到目标网页上收集证据并下结论，任何一环断了整条链就断。RiskChainBench 用网站实例 $b_i = (\mathcal{M}_i, \mathcal{X}_i, y_i)$ 作为主单位，其中消息集 $\mathcal{X}_i = \{(x^*_{ij}, e^{x}_{ij})\}_{j=1}^{K_i}$ 含规范源消息 $x^*_{ij}$ 及其 token 文本混淆 $e^x_{ij}$，$S=600$、$K_i=6$，共 $N=\sum_i K_i = 3600$。技术上分三步：确定性流水线生成混淆变体并把所有编辑存入可逆轨迹；离线构建保留页面结构与交互反馈的本地沙盒网站；评测时同一底层模型先做 Task 1 还原（输出规范消息、操作意图、排序入口列表，且在浏览前冻结），再做 Task 2 网页调查（只看通用指令 $u$、无标签探索脚手架 $h_i$ 和本地环境 $\mathcal{M}_i$），最后用主变体的排名第一入口计算门控 $g_i$ 离线组合端到端成绩，全程无需二次浏览器运行。
核心创新是'入口门控的离线冻结组合'。已有工作的两段评测互不相通：文本基准不知道恢复出的跳转目标是否真的可用，网页基准默认路由正确。本文让还原先于浏览发生且之后不可撤销（'先承诺后浏览'），网页观测因此无法修正还原错误，也无法泄露域名信誉捷径；评分时主变体排名第一入口 $\hat{z}^{(1)}_{ij}$ 必须解析到网站 $i$ 才放行，即 $g_i = \mathbb{I}[\rho(\hat{z}^{(1)}_{ij}) = i]$，失败记 $\bot$ 且低排名候选不能补救、不做自动纠正、不把错误入口路由到其他基准站点。由此端到端损失可精确归因：$\Delta_{gate} = Acc^w_d - Acc^e_d$（web-only 准确率减门控准确率，百分点），把误差干净地归到入口恢复而非调查质量变化。这一设计与 FraudSMSWalker '隐藏信誉捷径'的思路同源，但把消息语义也一并隔离，且组合不需重跑。
方法步骤详情
第一步，平衡选站：对冻结的 2,500 个离线网站池跑确定性混合整数规划，精确配额控制呈现形式、可见主题、语言，并约束交互深度、工程难度、来源分层和主机族集中度（最多每族 8 站），选出 600 个场景，跨 339 个主机族，595 站支持点击回放、333 站支持有状态回放。第二步，合成消息与混淆：600 个源会话各含保留域入口，六种配方（复合还原、拼音替换、入口混淆字符、混合词汇与平台 token 损坏、少行入口布局、字形安全竖排布局）生成六条变体，所有编辑可逆；平台 token 档案转录 EmojiAll 六个公开二级目录的 80 个文本码加 12 个研究者提供的 Bilibili 码；同音候选与汉字映射自建并用 pypinyin 0.54.0 校验；自动检查器拦截畸形入口、不可逆变换和重复，规范目标使用保留 .test 命名空间的三标签唯一域名。第三步，人工金标：四名标注者按共同编码本给三元判定和九类违规类型，两人独立、盲审加仲裁，最终 394 违规/181 非违规/25 证据不足。第四步，Task 1 评测 3,600 条消息，指标为 Entry Top-1、完整还原率、$CER = \frac{\sum_i \sum_j ED(\hat{x}_{ij}, x^*_{ij})}{\sum_i \sum_j |x^*_{ij}|}$、Entry Recall@k。第五步，Task 2 用 BrowserGym 加 Playwright 跑 30 步/600 秒预算的轨迹，每模型-网站对一条，之后同一模型看脱敏轨迹输出结论 $(\hat{d}_i, \hat{c}_i)$、理由和证据引用；固定多模态裁判给 $s_i = J_\phi(\tau_i, \hat{E}_i, \hat{y}_i, \hat{r}_i) = (s_{i1}, s_{i2}, s_{i3}, s_{i4})$ 四维证据分。第六步，离线门控组合与分层诊断。
技术新颖性
技术新颖性体现在四个层面。其一，问题形式化：把'跨渠道平台风险调查'定义为入口链接的过程链——还原、目标识别、网页探索、证据接地判断——并证明现有任一类基准都只覆盖其中一段。其二，协议工程：冻结还原 + 离线门控让端到端评测只需一次浏览器运行，$\Delta_{gate}$ 直接量化入口恢复造成的损失（论文实测范围 0.7 至 32.3 个百分点），这比'跑两遍再对账'既省钱又消除了重跑方差。其三，数据构造：3,600 条完全合成消息（不含任何社媒采集内容）配 600 个人工金标本地环境，六种混淆配方与九类违规类型正交，可分层分析混淆形式、严重度与入口位置；冻结审计验证精确可逆性、token 档案隔离、金标分离和凭据卫生。其四，评分架构：任务正确性归人工标签，证据质量归固定裁判（不看金标、模型身份、URL 和隐藏推理），协议校验器 $V(\tau, E) \in \{0,1\}$ 只查动作合法性与引用可解析性——三层职责分离避免了裁判泄漏金标或决定胜负。
实验结果
Task 1（3,600 条消息，十个模型）：Entry Top-1 从 35.19%（Kimi K2.6）到 95.22%（GPT-5.4），但完整还原率（规范消息+意图+排名第一入口全对）排名不同——GPT-5.6 SOL 以 73.31% 居首且 CER 最低 1.11，GPT-5.4 完整还原仅 66.06%、CER 1.62；Kimi K3 的 CER 低至 1.59 但 Entry Top-1 只有 84.58%，证明字符级恢复质量不能替代对可执行入口的单独评测。尾部模型（Kimi K2.5 39.86%、Qwen3.6 Plus 39.06%、Kimi K2.6 35.19%）与头部差距悬殊。Task 2（600 网站）：三元决策准确率 26.3%（Claude Sonnet 5）到 62.8%（GPT-5.6 SOL），分层精确匹配 26.2% 到 61.0%；GPT-5.6 SOL 同时拿下决策准确率 62.8%、决策宏 F1 59.3 和 H-EM 61.0，而类型宏 F1 由 Kimi K2.5 以 48.1% 领先（GPT-5.6 SOL 42.8%），显示细粒度定性是另一项独立能力。门控端到端（Table 2）：准确率跌至 16.7%（Kimi K2.6）到 60.8%，损失 0.7 至 32.3 个百分点——GPT-5.6 SOL 仅损 2.0，Opus 4.8 仅损 0.7，但 Kimi K2.5 从 55.2% 暴跌 29.5 个百分点至 25.7%，Qwen3.6 Plus 损失最大 32.3 个百分点跌至 19.3%，Kimi K2.6 损失 24.8 个百分点跌至 16.7%，榜单几乎重排。失败归因（Figure 5）：汇总看执行失败占 31.9%、缺报告 8.2%、决策错 12.3%、类型错仅 0.9%，分层成功 46.6%；逐模型看 Opus 4.8 执行失败率最低 4.5% 但报告缺失高达 36.7%，Kimi K3 执行失败 44.0%，Doubao 2.0 执行失败 57.7%。人工标注质量：判定一致性 82.50%、联合标签 80.17%，Krippendorff's $\alpha$ 为 0.6553/0.7425；隐藏重复样本决策一致性 97.9%。主指标置信区间来自 2,000 次 website 级 bootstrap 重采样。Gemini 3.6 Flash 因缺席冻结的报告批次在 Task 2 不参与排名。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Task 1：混淆消息还原（3,600 条） | Entry Top-1（排名第一入口精确匹配率） | 最佳 GPT-5.4 达 95.22%，GPT-5.6 SOL 94.31%，Opus 4.8 92.94% | 最弱模型 Kimi K2.6 仅 35.19%，Qwen3.6 Plus 39.06% | 头部与尾部模型差距约 60 个百分点，凸显入口恢复能力两极分化 |
| Task 1：完整还原率与 CER | Full（消息+意图+入口全对）↑ / CER ↓ | GPT-5.6 SOL 73.31% / 1.11 双第一 | Kimi K2.6 完整还原仅 16.06%，CER 高达 20.19 | 字符错误率 1.11 对 20.19，低 CER 不保证高 Entry Top-1（Kimi K3 例） |
| Task 2：网页风险调查（600 网站） | 三元决策准确率 / 分层精确匹配 H-EM | GPT-5.6 SOL 62.8% / 61.0% 均第一 | Claude Sonnet 5 仅 26.3% / 26.2% | 最领先系统也只有约六成准确率，稳定探索仍是主要瓶颈 |
| Task 2：违规类型宏 F1（394 个金标违规网站） | Type F1 | Kimi K2.5 以 48.1% 领先 | GPT-5.4 仅 26.4%，Claude Sonnet 5 26.0% | 类型定性冠军与决策冠军（42.8%）不是同一模型，能力不可互相替代 |
| 端到端：入口门控离线组合 | Gated Acc 与损失 $\Delta_{gate}$（百分点） | GPT-5.6 SOL 60.8%（损 2.0），Opus 4.8 49.2%（损 0.7） | Qwen3.6 Plus 跌至 19.3%（损 32.3），Kimi K2.6 跌至 16.7%（损 24.8） | 同一模型 web-only 排名与门控排名几乎重排，证明跨阶段损失评测的必要性 |
| Task 2 首次失败归因（600 次运行/模型） | 各阶段失败占比 | 汇总：执行失败 31.9%，报告缺失 8.2%，决策错 12.3%，类型错 0.9% | 无（诊断性分析） | 执行失败是决策错误的近 3 倍，类型错仅 0.9%，说明瓶颈在探索而非判断 |
局限与改进
作者明确承认四点：每个模型-网站对只跑一条轨迹，未测重跑方差；若干违规类型样本稀疏（九类中仅六类有非零支持）；证据诊断以裁判成功覆盖为条件，覆盖率不足时不可解读；证据量表的效度尚待在同一隔离环境中用冻结的人工轨迹审计验证。此外我个人观察到：其一，所有消息是完全合成的，虽然避免了真实数据伦理问题，但与真实黑产话术的分布差距未知，论文引用 CodedLang、ADVJARGON 等真实数据工作却明确不导入其条目，混淆配方的生态效度（external validity）只能靠配方多样性间接保证；其二，入口门控只检查主变体排名第一候选，对使用重排序或候选融合的系统可能低估实际部署表现；其三，99 个文字模型版本横跨 2025-2026 年的不同知识截止日期，且 Task 2 中 Gemini 3.6 Flash 缺席，模型间比较带有快照偏差；其四，30 步/600 秒的统一预算对强探索者可能偏紧——执行失败占 31.9% 中有多少是预算不足所致无法区分。
独立分析的弱点
独立分析出四个弱点。第一，合成到真实的鸿沟：六种配方是确定性流水线生成的，规则可学习——一个过拟合配方分布的还原器在这个基准上可能虚高，但面对真实黑产不断演化的话术（如 CodedLang 记录的'报纸吃'式隐喻）会失效；改进方向是引入小规模真实混淆样本做差分评测或域随机化。第二，门控的单一入口假设：只认主变体排名第一候选，等于假设系统输出一个置信排序；现实中平台系统可能并行验证多个候选入口，改进方向是报告 Entry Recall@k 门控曲线，量化'允许前 k 个候选'下的端到端增益。第三，执行失败的诊断粒度不足：31.9% 的执行失败被归为一类，但没有区分是观察解析失败、动作被环境阻断、还是超时；改进方向是给执行失败建立子类型分类法，并做预算消融（如 15/30/60 步）分离能力与预算效应。第四，证据裁判自身无金标校准：虽然固定了裁判版本与提示词，但四维证据分（忠实性/充分性/完整性/一致性）与人类判断的对齐度只有'有可用时的验证分支'，论文自己声明'不声称四维人工审计结果'；改进方向是先冻结一个小规模人工审计集作为裁判的校准锚点再扩量。
未来方向
作者在结论中提出三个方向：测重跑方差（多次运行估计方差而非只做 website 级 bootstrap）、扩充代表性不足的违规类型与语言、在同一隔离环境中用冻结人工轨迹审计验证证据量表。基于论文成果还可延伸：其一，把入口门控用作强化学习的奖励信号训练还原器（论文已声明沙盒支持后续智能体训练研究），用 $\Delta_{gate}$ 作为过程奖励；其二，向多语言扩展——目前混淆与消息均为中文生态（pypinyin、汉字拆分、中文平台 token），同形字攻击在拉丁字母系平台同样猖獗；其三，交互深度消融：333 个有状态回放站点与 595 个点击回放站点的难度差异值得单独报告；其四，把证据裁判扩展为可对比多个候选结论的成对裁判，缓解单点裁判偏差；其五，研究入口恢复与网页调查的联合模型——当前协议强制两阶段分离，联合推理（如带着还原假设去网页验证再回头修正）是否更优是开放的架构问题，但需要新协议允许受控的信息回流。
复现评估
复现友好度相当高。论文承诺发布基准本体、评测协议和可重置的本地沙盒，明确支持后续智能体训练研究；规范目标使用保留 .test 命名空间的三标签唯一域名，无真实 URL、无scheme、无外部服务依赖，冻结审计验证精确可逆性与凭据卫生，网络完全隔离。评测侧需要调用十个商业模型的 API（GPT-5.2/5.4/5.6 SOL、Opus 4.8、Sonnet 5、Kimi K2.5/K2.6/K3、Doubao Seed 2.0、Qwen3.6 Plus），每模型-网站对一条 30 步/600 秒预算的 BrowserGym-Playwright 轨迹，600 站乘 10 模型即约 6,000 条轨迹加 3,600 次还原调用，估计需要数百美元级 API 费用与数天墙钟时间；固定多模态裁判再跑一遍脱敏轨迹。主要复现门槛在于：六种混淆配方的生成代码与配额规划器（混合整数规划）的工程细节、四名标注者的编码本和仲裁流程无法完全程序化，若只复用发布金标则标注成本可省；主指标区间来自 2,000 次 bootstrap，确定性强。总体判断：学术复现中等偏易（数据+协议+沙盒齐备），全量榜单复刻需要可观的 API 预算。
论文图表
柱状对比图，展示十个模型在 600 个网站上的离线入口门控端到端准确率。门控准确率范围从 Kimi K2.6 的 16.7% 到 GPT-5.6 SOL 的 60.8%；GPT-5.4 为 52.3%、Opus 4.8 为 49.2%、Kimi K3 44.5%、GPT-5.2 49.0%，而 Kimi K2.5 跌至 25.7%、Qwen3.6 Plus 19.3%、Claude Sonnet 5 19.2%、Doubao 2.0 18.2%。任一阶段失败都记为 ⊥。
这是论文开篇的'钩子'图：它一眼展示端到端视角下榜单几乎重排——web-only 阶段的一些中游模型在入口门控后跌入底部，直接论证了'分开评测文本和网页会掩盖跨阶段损失'的核心动机。