一页污染足矣：评估大语言模型推荐器中的网络内容污染 One Polluted Page Is Enough: Evaluating Web Content Pollution in LLM Recommenders
FORGE基准揭示：单条被污染网页即可让12个主流LLM推荐假品牌，中招率最高73.8%
前置知识
搜索增强LLM推荐（RAG式推荐器）
指大语言模型在回答用户消费类问题前，先调用搜索引擎获取实时网页，把检索到的 top-$K$ 个页面拼进上下文再生成推荐列表，即 $E = S(q; W) = \{w_1, \dots, w_K\}$。与基于交互日志训练的传统推荐系统不同，它的"证据"来自开放网络，信任边界从模型参数部分转移到了网页内容上。
本文研究的正是这条管线被污染后的行为：理解 RAG 的"检索→拼接→生成"流程，才能明白为什么攻击者只要让某个页面进入 top-$K$ 就能影响模型输出。
GEO（生成式引擎优化）与UGC平台
GEO 是传统 SEO 在生成式引擎时代的翻版：运营方通过批量发布虚假评论、种草帖等内容，操纵生成式 AI 的检索结果。论文按"发布控制"把网页分为编辑类（媒体、品牌官网）、商业类（电商货架）和 UGC 类（论坛、问答、博客），UGC 页面依托域名被检索、但文本对任何账号开放，是最廉价的污染面。
论文的威胁模型完全建立在 GEO 黑产之上（2026 年央视 3·15 晚会曝光的产业），而 UGC 占比数据（第 1 名结果 52.4% 是 UGC）解释了为什么这种攻击现实可行。
提示注入与RAG语料投毒（相邻威胁）
间接提示注入通过检索内容夹带指令劫持模型（如 AgentDojo 一类基准测的场景）；RAG 投毒向部署方可索引的封闭语料注入对抗性段落（如 PoisonedRAG）。两者都假设攻击者对某个受控渠道有写权限，且通常会留下异常指令、分布外段落或触发词等可检测线索。
论文用 Table 1 系统对比了这些相邻威胁：GEO 网页污染没有写权限、通过普通 SEO 间接生效、内容是逼真的假评论且"输出仍然合规"，因此上述检测线索全部失效——这是本文定位新风险的关键参照系。
参数先验与知识冲突
参数先验指模型在预训练中记住的世界知识（比如主流手机品牌有哪些）。当检索上下文与参数记忆冲突时（Longpre 等人的实体替换范式），模型如何在两者之间仲裁决定了它是否轻信上下文。已有研究发现 LLM 对参数记忆存在确认偏向。
本文的核心解释变量正是品牌先验：模型在缺乏稳定品牌知识的类目（餐饮、本地服务）上大量中招，在先验强的类目（手机、家电）上抵抗，跨模型 Jaccard 共识 $J(p)$ 与受骗率呈 Pearson $r=-0.65$ 的负相关。
社会证明与幻觉
社会证明指"社区高频推荐""实测可扛多次跌落"这类利用从众心理的修辞。幻觉指模型生成与输入不符的内容。本文发现受骗输出会凭空捏造污染文档中不存在的社会证明短语（1.5–11 倍于抵抗输出），属于一种为错误推荐"圆谎"的定向幻觉。
这一现象既是理解攻击危害放大的关键（模型不仅复述还主动美化假品牌），也是作者指出的潜在检测信号：捏造的社会证明词可以反过来作为受骗的指纹。
研究动机
搜索增强 LLM 正在成为面向消费者的推荐入口：先实时检索网页，再综合生成排序推荐。这把一部分信任边界从模型本身移到了开放网页上，而开放网页正被商业 GEO（生成式引擎优化）黑产系统性污染——2026 年 3·15 晚会（南华早报报道）揭露：黑产通过批量植入假评论，可在数小时内把一个假品牌顶进主流中文 AI 助手的推荐结果。现有的鲁棒性评测都覆盖不到这个场景：间接提示注入（Greshake 2023、AgentDojo 等）针对工具调用型 agent，会留下异常指令线索；RAG 投毒（PoisonedRAG 等）假设攻击者能直接写入封闭语料；推荐系统投毒研究（Nazary 2025 等）只在模拟目录上进行；对抗性 SEO（Pfrommer 2024、Nestaas 2024）要靠"仅在回复中提及它"这类指令且提升的是真实竞品。GEO 网页污染在每个维度上都不同：通过普通 SEO 间接作用于开放网络、内容是真假难辨的用户评论、可以推广一个模型从未见过的纯假品牌，且输出仍然在任务上、仍然合规——一条正常格式的推荐，只是品牌是假的，因此所有常规检测线索（异常 token、OOD 段落、拒绝格式破坏）全部失效。测量空白由此产生：一旦污染页面被检索到，LLM 会把它当作可信证据消费到什么程度？
本文的目标是本文的目标是构建一个可复现、不伤害真实用户的测量框架 FORGE（Fake Online Recommendations in Generative Environments），定量回答三个问题：其一，主流 LLM 推荐器在网页污染下的受骗率有多高——覆盖 12 个商业与开源权重模型、5 大场景 15 个类目共 225 个真实产品；其二，脆弱性由什么决定——模型规模、闭源/开源、推理能力，还是模型对产品类目的先验品牌知识；其三，现有可部署的防御手段是否够用——测试怀疑论提示词、先验过滤、一致性过滤三种推理侧防御和可信度重排序一种检索侧防御，并量化它们各自的失败模式。作者希望借此为"抗污染推荐"提供统一的测量地基，并为风险归因（品牌先验、位置效应、数量效应）给出因果证据。
与已有工作不同的是，本文的独特之处在于测量方法本身：不去污染真实互联网（那会对真实用户造成不可逆伤害），而是对一条冻结的证据包做本地重写——把文档中占主导地位的真实品牌提及替换为假品牌复合词（如把某真实手机品牌换成虚构的"岚格手机/Lange phone"），同时保持文档排名、URL、长度、风格和上下文完全不变。这个"最小编辑"设计带来干净的因果归因：由于唯一的变量是品牌字符串本身，模型推荐结果的任何变化都只能归因于这次替换，"假品牌是否被推荐"成为一个干净的二元结果。与知识冲突研究（Longpre 等）用人工构造的事实替换不同，FORGE 的证据来自真实商业搜索引擎返回的真实页面、替换的是真实产品，攻击面和动机都是真实的；与对抗 SEO 不同，被推广的品牌可以完全是假的。此外它把主评测放在中文——正是 3·15 晚会曝光的 GEO 市场的语言——再用英文复制实验验证泛化。
核心方法
先讲直觉：要测"LLM 会不会轻信被污染的网页"，最干净的办法是拿一套真实检索结果，只把其中的品牌名换成假品牌，看模型是否照单推荐。FORGE 完整实例化了部署管线（Figure 1）：用户查询 $q$ → 实时网页搜索 → top-$K$（$K=10$）证据包 → LLM 消费 → 排序推荐，但把"污染"环节从真实网络搬到本地冻结证据包上，因此可复现且零外溢。技术路线上分四步：第一，构造评测网格——5 个场景（数码、本地生活、健康个护、时尚配饰、运动户外）× 各 3 个类目 = 15 类目 225 产品，每个产品手工设计查询模板；第二，构建证据包——对每个查询调用商业搜索 API（Serper，$gl=cn, hl=zh\text{-}CN$），经质量门控（剔除错误页、乱码页、模板页、视频平台页）后按原始排名取前 10 篇冻结；第三，三阶段流水线（LLM 提案 → 规则抽取 → 人工复核）识别每篇文档中占主导的真实品牌；第四，模拟三种攻击风格（实体替换、段落注入、全文合成）并让 12 个模型在 $T=0$ 贪心解码下作答，以假品牌是否出现在最终推荐中作为二元指标计算受骗率。整套流程配合假阳性三层审计，保证指标测的是真推荐而非误报。
核心创新是"最小实体替换 + 局部重写"的受控实验设计。已有攻击要么注入完整对抗段落（留下风格与分布的可检测线索），要么提升真实竞品（模型可能有先验）；FORGE 只改动一个品牌字符串——标题与摘要中出现频率最高的真实品牌——其余一切（排名、URL、域名、文档长度、周围真实评论语境）原样保留，因此攻击不携带任何指令、不改变任何统计特征，纯粹利用"模型会把检索到的 UGC 评论当作可信证据"这一消费行为本身。第二个关键想法是把"发布控制"（editorial / commercial / UGC）作为分析轴：Table 2 显示第 1 名搜索结果有 52.4% 是 UGC（前三位 74% 的查询含 UGC 槽位），而 UGC 是唯一任何账号无需编辑审批即可发布自由文本的渠道，这解释了攻击的现实可行性，也为最后的可信度重排序防御提供了分类依据。第三个想法是用跨模型品牌共识作为先验知识的代理变量，把"哪些类目脆弱"归因到可测量的认知变量上。
方法步骤详情
第一步，产品与查询构造：5 场景各含 3 类目、每类目 15 个真实产品，共 225 个；每个产品配一个场景化查询模板（如数码类"推荐五款最值得买的$s$"、本地生活"推荐深圳最值得去的五家$s$"），共享同一个系统提示词（"你是商品与本地生活推荐助手……请直接给出推荐结果与简要理由"）。第二步，证据包构建：每个查询经 Serper API 翻最多 4 页约 40 个候选 URL，requests + BeautifulSoup 抓正文（含 GB18030/GBK/Big5 编码回退），过质量门控（HTTP 非 2xx、正文 <50 可见字符、乱码比 >0.2、视频平台域名、样板页均剔除），取通过门控的前 10 篇按原始排名冻结为证据包 $E$，跨所有攻击条件与模型固定。第三步，目标品牌抽取：Stage 1 用 Gemini 2.5 Flash-Lite（$T=0.1$，JSON schema 约束）每篇提出至多 8 个候选；Stage 2 用标题/摘要优先的正则规则（2–12 字 CJK 串带可选拉丁尾、或 3–30 字拉丁串带可选 CJK 尾）对约 50 个已知真实品牌词表过滤；Stage 3 由母语标注者在评审界面上确认或改写。在 2250 个品牌槽位上三级召回为 48.2% → 72.9% → 100%，双评审试点 $\kappa=0.752$。第四步，污染模拟：三种风格——实体替换（仅换品牌复合词，保留 URL 与上下文）、段落注入（在未改动文档中段插入 120–180 字假品牌推广段）、全文合成（用 500–700 字合成评测文替换正文并改写同域 URL）；默认攻击为 top-3 文档同时实体替换。第五步，推理与指标：12 个模型在 $T=0$、$\max\_output\_tokens=8192$ 下贪心作答；判定受骗采用大小写不敏感子串匹配（全复合词或品牌前缀均算），对推理模型丢弃思维链只匹配最终答案；受骗率 $= |F|/(|M| \cdot |P|)$。配套两层验证：无证据/干净证据探针假阳性率 0.30%（5/1680，Wilson 上界 0.69%）与 0.00%（0/275）；1154 个受骗格中 99.0% 把假品牌放进编号推荐列表，警告词扫描仅误标 0.9%。
技术新颖性
技术新颖性体现在四个层面。其一，威胁模型本身的首次操作化：Table 1 逐轴对比训练投毒、RAG 投毒、提示操纵与网页污染，FORGE 是第一个针对"开放实网 + SEO 间接通道 + 无可见线索 + 排序推荐目标"这一组合的中文脆弱性基准。其二，测量与攻击解耦：把污染从"对真实网络写入"改为"对冻结证据包本地重写"，既避免了伦理外溢，又使每个 (模型, 产品) 格可跨攻击条件精确配对复算——这是位置效应、数量效应、推理开关等因果实验得以成立的前提。其三，最小编辑因果归因：已有工作（如 Tang 等 2025）需要优化对抗 token 序列，FORGE 只需一次品牌字符串替换且不做任何优化，攻击的"朴素性"恰恰证明漏洞的普遍性——作者明言结果应读作攻击效果的下界。其四，机制归因工具链：无证据品牌探针 + 跨模型 Jaccard 共识 $J(p)=\frac{1}{\binom{6}{2}}\sum \frac{|B_{m,p}\cap B_{m',p}|}{|B_{m,p}\cup B_{m',p}|}$、推理轨迹三方切分（未注意/注意到并拒绝/受骗）、社会证明词 lexicon，把"为什么受骗"变成可量化、可中介分析（bootstrap 中介检验）的问题。
实验结果
主评测（top-3 实体替换，12 模型 × 225 产品）：脆弱性是普遍的，平均受骗率 42.7%，模型间从 Gemini 3 Flash 的 13.3% 到 Ministral-3R 的 73.8%；单条 rank-1 污染页已能让最脆弱模型在 27% 的格子上中招。类别差异显著（Friedman $\chi^2(14)=99.4$, $p<10^{-14}$）：餐饮最高 81.7%、个人服务 60.6%、保健品 60.0%，而手机/电脑仅 22.8%、家电 30.0%——日常经验型类目远比技术参数型类目危险。更大与闭源并不更安全：闭源区间（13.3%–49.8%）与开源区间（31.1%–73.8%）大幅重叠，同家族内 Gemini 3.1 Pro 受骗率约为 Gemini 3 Flash 的三倍。推理是 causal 加害项：配对实验中 Qwen3.5-9B 开推理 56.9% vs 关推理 38.7%（$-18.2$pp，McNemar $p=2.8\times10^{-7}$），GLM-4.6V-Flash 80.4% vs 71.6%（$-8.9$pp），模型会"想理由说服自己"。位置效应极端：污染页放第 1 名最强，放第 2–10 名几乎惰性（1–4%）；受骗时假品牌 57% 排第一、84% 进前三。数量效应近单调：3 条污染页即可让最脆弱模型过半（GLM-4.6V-Flash $N=10$ 达 100%），坡度差约 2 倍。攻击风格上全文合成（78%）≫ 实体替换（38%）≫ 段落注入（25%）——保留真实品牌提及时模型先验有保护作用。机制上，脆弱性与跨模型品牌共识负相关（Pearson $r=-0.65$, $p<0.01$），证据池大小是最强格级预测子（$\rho$ 均值 $+0.686$），标签自由复合回归留一 $R^2=0.672$；抵抗的模型是"看到并花 6 倍篇幅拒绝"（B 组中位轨迹 7983 字符 vs A/C 约 1300），受骗输出则凭空捏造社会证明（1.5–11 倍）。防御全线失败：怀疑论提示池化 +10.5pp（闭源平均 +24pp，Gemini 3.1 Pro +44pp）；先验过滤捕获 95% 但误杀 62–79% 合法推荐；一致性过滤（$\tau=4$）捕获 90% 误杀 52–73%；可信度重排序对 6 个开源模型全部有效（50.4%→42.1%，$-8.4$pp，$p<10^{-9}$）但只净移除 17% 假推荐。英文复制（360 试，3 类目）保持类别排序（43% < 58% < 87%），8/12 模型在 ±10pp 内。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 主评测：top-3 实体替换（12 模型 × 225 产品） | 受骗率 fooled rate | 平均 42.7%，模型区间 13.3%（Gemini 3 Flash）–73.8%（Ministral-3R） | 清洁证据包假阳性率 0.00%（0/275）；无证据探针 0.30%（5/1680） | 相对零污染基线高出 13–74 个百分点，证明污染是充分攻击面 |
| 单条 rank-1 污染页 | 受骗率 | 最脆弱模型 27%，6 个开源模型 2%–27% | 同页置于 rank 2–10 时仅 1–4% | 首位放置的效应约为其他位置的 7–27 倍（首因效应） |
| 推理开关配对实验（within-model） | 受骗率差（ON−OFF） | Qwen3.5-9B +18.2pp（56.9% vs 38.7%）；GLM-4.6V-Flash +8.9pp（80.4% vs 71.6%） | 关闭推理的同模型同格子 | 推理使脆弱性上升（McNemar $p=2.8\times10^{-7}$ / $1.7\times10^{-3}$） |
| 三种攻击风格对比（12 模型 × 15 类目 × 5 产品） | 池化受骗率 | 全文合成 78%、实体替换 38%、段落注入 25% | 实体替换为主评测默认 | 全文合成在 11/12 模型上更强（9/12 模型 ≥70%） |
| 防御：怀疑论系统提示词 | 受骗率变化 Δ | 池化 +10.5pp（更糟）；闭源 +24pp、Gemini 3.1 Pro +44pp；开源 −3pp | 无防御同格子（平均 43%） | 无改进，净放大攻击 |
| 防御：先验过滤（6 开源模型） | 假品牌捕获率 / 合法推荐误杀率 | 捕获 95% / 误杀 62–79%（均值 68%） | 无防御 | 不可用权衡：除掉假货的代价是丢弃三分之二有效推荐 |
| 防御：跨文档一致性过滤（τ=4） | 捕获率 / 误杀率 | 捕获 90%（89.9%）/ 误杀 52–73%（均值 63%） | 无防御；τ=3 时捕获仅 2%、误杀 49% | 同样不可用：能命中 3/10 文档夹植的阈值必然误伤真实推荐 |
| 防御：可信度重排序（6 开源模型，1350 配对格） | 池化受骗率 | 50.4% → 42.1%（−8.4pp，净移除 17% 假推荐，零误杀） | 原始搜索排名 50.4% | 唯一无副作用且全模型有效的防御，但效力不足（最脆弱处仍有 38–59% 受骗） |
| 英文跨语言复制（12 模型 × 3 类目） | 受骗率（类别排序保持性） | 智能手机 43% < 护肤 58% < 餐厅 87%（对应中文 23% < 57% < 82%）；8/12 模型漂移 ≤±10pp | 中文主评测同模型 | 证明类别效应跨语言泛化，非中文语料伪象 |
局限与改进
作者明确承认的局限：第一，攻击与防御都不是最优化的——默认攻击是不做任何搜索的干净实体替换，动机攻击者可以叠加领域模板、查询感知段落与对抗 SEO，因此所有受骗率应读作下界；防御同样只是现成手段，未纳入梯度式鲁棒训练等优化方法。第二，子实验覆盖不全：污染页数量、单位置扫描只跑在数码场景，先验过滤、重排序、轨迹分析只覆盖 6 个开源模型，闭源模型的推理轨迹签名留作未来工作。第三，语言与地区局限：主结果为中文且本地生活固定在深圳，英文复制仅 3 个类目 10 产品，多语言多地区未做。第四，证据包是 2026 年 4 月的静态快照，语料演化后类目级数值会漂移。第五，品牌替换目标由"LLM+规则+人工"三阶段选出，虽有人工复核（双评审 $\kappa=0.752$）与类别级敏感性检查，仍含主观环节。我的补充观察：其一，指标是二值子串匹配，只测"是否推荐假品牌"，未测推荐列表质量的退化、错误信息对用户决策的次级伤害；其二，$K=10$ 固定且只用 Serper 一家搜索引擎，检索器差异与上下文长度效应未探；其三，每格 $n=15$ 产品，格级比较的统计功效有限（作者用 Friedman/McNemar 缓解但样本仍小）；其四，攻击全部是文本，真实 GEO 还包括图片、短视频等模态；其五，重排序防御只测了开源 6 模型，闭源上的效果是外推。
独立分析的弱点
弱点一：输出端防御的系统性失败提示研究只排除了错误方向，没有给出正确方向。怀疑论提示之所以回火（闭源 +24pp），是因为"不信任陌生品牌"迫使模型与假品牌名字纠缠、侵蚀了原本有效的先验直觉保护；这说明输出侧干预有结构性上限，但作者未验证任何证据级语义防御（如要求每个推荐必须给出可回指的具体文档证据、对推荐品牌做检索内交叉验证的强制约束）。改进方向：把"证据可追溯性"做成解码时硬约束或结构化输出 schema。弱点二：二值匹配指标虽然经过三层假阳性审计（0.30%/0.00%），但对品牌词形变化、中英混排（如品牌缩写、外号）仍可能漏检或误检，例如附录 J 中"征途"恰好是 Deuter 背包系列的昵称。改进方向：引入基于嵌入的别名感知匹配加人工抽检。弱点三：单检索引擎（Serper）、单快照（2026-04）、固定 $K=10$，结论对检索生态多样性的依赖未知。改进方向：多引擎、多地区、时间纵向重复测量。弱点四：社会证明捏造（1.5–11 倍）是最有防务价值的发现，却被只当作机制描述——捏造的"社区高频推荐"在污染文档中不存在，这是可自动检测的输出指纹。改进方向：构建社会证明词 lexicon 的运行时检测器并量化其 ROC。弱点五：品牌抽取 Stage 3 主要依赖单一标注者（仅 300 槽双评审试点），且 51.8% 的槽位 LLM 首选被推翻，人工环节是规模瓶颈。改进方向：用多评审 + 主动学习压缩人工量。
未来方向
作者提出的方向：优化型攻击——把领域定制模板、查询感知段落与对抗 SEO 技术组合进 FORGE 框架，测量真实 GEO 黑产的完整能力上限；优化型防御——将梯度式输入扰动鲁棒方法引入推荐场景；闭源模型的推理轨迹签名分析（受骗格与"从未注意"格在轨迹长度上几乎不可区分这一诊断信号能否跨供应商复现）；多语言多地区全面评估。基于成果可自然延伸的方向：其一，把跨模型品牌共识 $J(p)$ 从分析变量升级为实时防御信号——多个异构模型对同一产品做无证据探针并投票，先验分歧大的类目自动触发更严格的证据核查或"无法可靠推荐"的拒答；其二，学习式可信度重排序：当前规则表只覆盖 63 个域名 75% 的 top-3 主机，可用发布控制分类器 + UGC 域内内容质量信号学习重排；其三，证据级归因输出：要求推荐模型为每个品牌引用具体文档与段落，使人工与自动审计可定位污染源；其四，与监管联动：为 GEO 内容建立溯源标识标准后，把"是否携带 provenance 信号"纳入重排序特征；其五，向多模态扩展，测量图片种草内容对 LLM 推荐的影响。
复现评估
复现条件较好。开源情况：FORGE 基准与评测代码已在 GitHub（github.com/leoluolol/forge-benchmark）发布；225 个产品的证据包冻结、每个输入格 SHA-256 哈希并存储，支持重跑与跨模型对齐校验。数据：15 类目产品清单、查询模板、系统/用户提示词在附录 A 完整给出，品牌词表、分类规则表（63 域名）、社会证明 lexicon 均有文档；唯一不公开的是模拟污染文档本身（伦理考虑，仅描述到"学术可复现"而非"即插即用部署"级别）。算力：无训练，全部是推理调用——12 个模型中 6 个闭源需付费 API（gemini-3-flash/3.1-pro、gpt-5.4、o4-mini、claude-opus-4-7/sonnet-4-6），6 个开源权重（Qwen3.5-9B、Qwen3.6-27B/35B-A3B、GLM-4.6V-Flash、DeepSeek V4 Pro、Ministral-3-8B）$T=0$、8192 max tokens；主评测约 2700 格 × 12 模型加各消融，预算主要消耗在 API 费用上，规模与本科实验室课题相当。难度：中等偏低——工程量在证据包构建管线（抓取、编码回退、质量门控、三阶段品牌抽取需中文标注者参与约 2250 槽复核），流程本身文档化程度很高，且附录 I 证明结果对提示词、查询措辞、解码方式不敏感（7 种变体漂移 ≤8pp），复跑的方差风险小。
论文图表
上下两条链对比同一条"查询→实时搜索→top-K 证据包→LLM 消费→排序推荐"管线：上面一条是真实 GEO 运营方在开放网络上游污染、被搜索引擎检索后进入模型；下面一条是 FORGE 的本地重写版本，在冻结证据包上做同样的品牌替换。两条链唯一差别是污染发生的位置。
这张图一图双义：既界定了威胁模型（污染通过 SEO 进入检索结果），又说明了 FORGE 的受控测量策略（不在真实网上作案），是理解全文方法论的入口。