野外环境下的来源偏好：LLM智能体如何按来源偏爱商品及其缓解方法 Source Preference in the Wild: How LLM Agents Favor Items by Source, and How to Reduce It
12个LLM智能体在端到端搜索中按来源偏爱商品，偏好可压倒内容质量，补全信息或提示可缓解。
前置知识
端到端搜索智能体
指LLM智能体自己发起搜索、阅读结果并代替用户挑选条目的完整流程，而非只对给定候选做选择题。本文中智能体以ReAct风格循环运作：先输出search[查询]动作调用Tavily搜索API获得最多10条带标题、摘要和URL的结果，再评估这些结果并输出select[编号]选中若干条目，或返回搜索页换关键词，每回合最多3次搜索。
来源偏好只有在智能体亲自检索、结果集由真实搜索引擎决定时才算「野外」现象。理解该设定是理解所有实验设计以及「位置与满意度必须被控制」这一论证的前提。
Bradley-Terry配对比较模型
把成对比较结果聚合为每个对象一个强度评分的经典统计模型：对象$s$胜过对象$j$的概率与$\exp(\beta_s)$成正比。本文加入Davidson平局扩展，用参数$\nu$刻画「两个都被选或都未被选」的$D=0$情形，通过带$\ell_2$惩罚的极大似然估计各来源评分$\beta_s$，再换算成偏好分$\tau_s$。
论文的核心度量——偏好分$\tau_s$与SOURCE+/SOURCE-/SOURCE0分类——全部建立在该模型上。不懂它就无法理解评分如何在不同对手组合之间保持可比。
需求匹配对与位置控制
借鉴观察性研究的匹配设计：在同一请求的结果列表中，挑出来自不同来源、且被判满足完全相同需求集合$q$的两条结果构成匹配对；再把长度$L$的列表做$L$次循环轮换，使每条结果在每个展示位恰好出现一次（循环拉丁方），从而在同等满足度、同等位置下比较选择差异$D_c=Y_c-Y_{c'}$。
这是论文排除「来源的商品本身更好」和「来源结果位置更靠前」两类混淆、把高选择率归因于来源身份的关键设计。
DPO直接偏好优化
一种免奖励模型的偏好对齐算法：给定同一提示下的偏好回答与非偏好回答，直接优化两者对数似然比来拉开差距。本文用LoRA（秩16、学习率$5\times10^{-6}$、DPO系数$\beta=0.1$）在8B级模型上训练，偏好标签只取决于「哪个商品更满足需求」，与来源无关。
第6节用DPO在训练数据中制造或消除「来源-质量」关联，是论证来源偏好可以被训练数据塑造和消除的核心工具。
短路学习
Geirhos等人提出的概念：模型学到输入中与目标相关但并非因果的捷径特征。本文假设来源就是这样的捷径——训练中某些来源频繁与更优商品共同出现，模型便学会「见来源即判优」，绕过逐条核对需求满足度的推理。
它解释了为什么来源偏好在满足度完全相同的选择中依然起作用，是第6节训练实验和第7节「成见填补缺失信息」假说的理论出发点。
FDR假发现率控制
对大量假设检验同时进行时控制「假阳性发现占比」的方法。本文在请求层面做聚类bootstrap（$B=10{,}000$次重采样并重新拟合BT模型）得到$p$值，再用Benjamini-Hochberg程序在每个模型×领域内把FDR控制在5%，据此把来源标记为SOURCE+、SOURCE-或SOURCE0。
理解分类标签的统计含义（SOURCE0只代表证据不足而非无偏好）以及结果为何可信，需要知道这一多重检验校正流程。
研究动机
LLM智能体正越来越多地代替用户做决定：挑商品、订酒店、选论文。如果智能体对来自某些网站（来源）的条目有一贯偏爱，即「来源偏好」，用户看到的选择面会被收窄，更优条目可能仅因出身被跳过；若这些选择又回流为训练数据，偏好还会自我强化，把曝光集中到少数受青睐的来源。此前工作（如Khan et al., 2026）只在「把相同内容贴上不同来源标签」的受控呈现中发现偏好，但真实搜索中每个来源提供的条目在内容与需求满足度上本就不同，单看选择率无法区分「该来源的货更好」与「智能体偏爱该来源」；位置效应（列表前部更常被选）也会混淆结论。因此，来源偏好是否存在于端到端搜索、来源信息本身是否因果地影响选择，此前并无答案。
本文的目标是本文的目标是在真实端到端搜索环境中严格确立并量化来源偏好：在控制需求满足度与展示位置的条件下，测量12个智能体模型在购物、住宿、学术三个领域中对各来源的偏好强度并分类；通过隐藏、恢复与交换来源信息的受控实验，检验来源身份本身是否因果地影响选择；进而回答偏好的两个机理问题——偏好训练中的「来源-质量」关联能否制造这种偏好、推理时的信息缺失能否触发对来源的先验成见——并评估补全缺失信息、反成见系统提示与再平衡训练数据三类缓解手段的有效性。
与已有工作不同的是，独特之处在于把观察性研究的匹配设计与因果干预结合起来：先在野外轨迹中用「需求匹配对+循环轮换位置」挤出「同等条件下谁被更常选中」，再用Bradley-Terry模型把不同对手组合下的比较换算成可比的来源评分$\tau_s$；随后不满足于相关性，直接对来源信息本身做隐藏、恢复与标签交换实验以建立因果性；最后用陌生假来源（Kelto-Varnis等）的DPO实验把「偏好在训练中如何产生」变成可控变量，并针对「信息缺失触发成见」给出可操作的推理期干预。已有工作要么只做受控呈现、要么只研究推荐列表内的曝光公平性，均未在端到端搜索中同时回答「是否存在、为何存在、如何缓解」这三个问题。
核心方法
整体思路先给直觉：想知道智能体是否「以貌取源」，就要让不同来源的商品在满足度相同、位置相同的条件下同台竞争，看谁被更常选中——如同用Elo等级分把棋手胜负换算成实力。技术上，作者让12个模型在ReAct循环中通过Tavily API对4,822个真实请求（WebShop 1,500、HotelQuEST 786、ScholarGym 2,536）做端到端搜索；用一个「来源盲」LLM裁判（Qwen3.8-27B，剔除URL与来源名后逐条判断需求满足度；与人类一致性Krippendorff's $\alpha$为0.65-0.75，接近人工评分员之间的0.67-0.72）给每条结果打满足度标签；构造需求匹配对并在所有循环轮换位置上比较，得到选择差异$D_c\in\{-1,0,1\}$；用带Davidson平局扩展的Bradley-Terry模型估计各来源评分$\beta_s$并换算为偏好分$\tau_s=\frac{\exp(\beta_s)-1}{\exp(\beta_s)+1+\nu\exp(\beta_s/2)}$（式1），表示该来源比平均来源多被选中的概率点数；最后用请求级聚类bootstrap与5% FDR校正把来源分为SOURCE+、SOURCE-、SOURCE0。在此测量框架上再做三组实验：披露条件（隐藏/仅URL/原始）、来源标签交换、以及DPO训练与信息补全干预。
核心创新是「来源身份的因果隔离」。已有研究要么呈现相同内容只换来源标签（缺乏真实搜索生态），要么观察真实搜索但无法排除商品质量与位置混淆。本文的关键一步是两者兼得：在野外轨迹里用需求匹配对加位置轮换保证「除来源外一切相同」，从而测出净偏好；再用两组受控实验直接操纵来源信息本身——其一，对同一结果列表从完全隐藏来源信息到仅恢复URL再到恢复来源名，观察偏好分如何随之扩大；其二，对需求匹配对保持标题与内容完全不动、只交换显示的来源，用$T^+-T^-$度量同一内容在贴上偏好来源标签时的选择率提升。与已有方法的本质区别在于：把「来源」从一个无法触及的混杂变量变成可操纵的实验因子，从而把偏好的成因定位到「来源信息本身」这一最小因果单元上。
方法步骤详情
步骤如下：(1)采集轨迹：每个请求由智能体发出搜索，Tavily返回平均8.83条结果（标题+摘要+URL，来源定义为URL的可注册域名），智能体至多搜索3次并选择任意子集，温度0、种子42（GPT-5.6-Luna除外）。(2)判定满足度：来源盲裁判逐项判断每条结果是否满足请求需求（购物用WebShop结构化需求，另两域先由LLM抽取可验证需求并经人工审核）。(3)构造匹配对：同一列表中来自不同来源且满足需求集合$q$完全相同的两条结果配对，列表做$L$次循环轮换使每条结果在每个位置各出现一次。(4)逐位置比较得$D_c$：仅一方被选记$\pm1$，双方都选或都未选记0。(5)拟合BT-Davidson模型：少于15个匹配对的来源并入共享评分的「对手」池，岭惩罚$\lambda=0.005$，评分中心化后按式(1)得$\tau_s$。(6)分类：$B=10{,}000$次请求级bootstrap重拟合，BH校正FDR至5%，$\beta_s$显著为正/负分别记为SOURCE+/SOURCE-。(7)倒置分析：配对仅差一条需求满足的条目，统计倒置率$\mathrm{Inv}_{\ell,m}$。(8)干预实验：三档披露条件；来源标签交换（每对做2种顺序×2种指派共4次评估）；DPO训练（Balanced/Aligned/Reversed三条件各5,000训练对、LoRA秩16、5,000次更新）；补价格与系统提示干预。
技术新颖性
新颖性体现在四点。(1)测量层面：首次在端到端搜索中量化来源偏好，借用观察性研究的倾向匹配与循环拉丁方位置控制，并用BT-Davidson模型妥善处理「都被选/都未选」的平局（$D_c=0$），是对Chatbot Arena式评分方法的巧用与扩展；稀疏来源并入共享评分的对手池，使小来源的比较信息也不浪费。(2)推断层面：请求级聚类bootstrap加$\ell_2$惩罚加BH的FDR控制，使上千个来源×模型假设检验的结论稳健——对$\lambda\in\{0,0.01,0.1,1\}$的敏感性检验不改变任何SOURCE+/SOURCE-标签。(3)因果层面：隐藏到仅URL再到原始的三步披露与内容固定的标签交换，把效应分解到URL与来源名两个成分上，发现URL贡献了绝大部分效应。(4)机理解释层面：用假来源DPO把「训练关联」变成可实验操纵的变量，用补价格与Designate提示验证「推理期成见填补」假说，把相关、因果、机理三层证据链补齐。
实验结果
在4,822个请求、12个模型、3个领域上，144个模型×来源组合中110个被显著归为SOURCE+或SOURCE-，偏好分中位数分别为+15和-18个百分点。模型间高度一致：12个模型全部偏爱Walmart，10个偏爱Booking.com，约一半回避Expedia（GPT-5.4-nano低至-52pp），arXiv在学术域被普遍偏爱（+16到+34pp）；例外是GPT-5.4-nano回避Amazon与eBay而其他模型偏爱。倒置实验显示：当较不满意的条目来自偏好来源、较满意条目来自回避来源时，前者仍以中位68%的概率被选（$\mathrm{Inv}_{+,-}$）；反过来几乎从不被选（$\mathrm{Inv}_{-,+}$中位仅2%）；中性来源对（$\mathrm{Inv}_{0,0}$）为19%。控制实验中，隐藏来源信息使SOURCE+的$\tau$平均下降5.8pp、SOURCE-上升5.9pp，其中仅恢复URL就贡献了80%以上的差距扩大（11个模型中9个）；交换来源标签使同一内容的选择率最多提高+64.7pp（Llama-4-Maverick，购物域），12个模型均在至少一个领域p<0.01。DPO实验：目标来源与偏好回答对齐80%时选择率升至70.1-75.1%，仅20%时降至24.5-28.5%；用Balanced数据可把既有的Amazon偏好从53.7-62.7%拉回49.7-51.9%。推理期干预：补全缺失价格使SOURCE+选择率下降2.8-28.3pp；Designate提示再降7.4-22.5pp，而General提示几乎无效。附录I还发现$\tau_s$与来源平均满意度正相关（20个最频来源下Pearson r为0.778/0.598/0.677），为「训练期来源-质量关联」假说提供动机。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 端到端搜索来源偏好测量（12模型×3领域，144个模型-来源组合） | SOURCE+/SOURCE-分类数与偏好分$\tau_s$中位数 | 110/144个组合显著，SOURCE+中位+15pp，SOURCE-中位-18pp | 无偏好假设（全部SOURCE0，$\tau_s=0$） | 76.4%的组合表现出显著方向性偏好，且来源选择高度跨模型一致 |
| 偏好来源的较差条目 vs 回避来源的较优条目 | 倒置率$\mathrm{Inv}_{+,-}$（中位） | 68% | 中性来源对$\mathrm{Inv}_{0,0}$=19% | +49pp，来源偏好可压倒需求满足度差异 |
| 回避来源的较差条目 vs 偏好来源的较优条目 | 倒置率$\mathrm{Inv}_{-,+}$（中位） | 2% | $\mathrm{Inv}_{+,-}$=68% | 66pp的不对称性，且回避侧效应强于偏好侧（$\mathrm{Inv}_{0,-}>\mathrm{Inv}_{+,0}$） |
| 来源标签交换（标题与内容固定，购物域最大值） | 选择率差$T^+-T^-$ | +64.7pp（Llama-4-Maverick）；多数模型购物域+30pp以上 | 0（内容与位置均衡时期望无差异） | 12个模型在至少一个领域p<0.01，证明来源信息本身因果影响选择 |
| 假来源DPO制造来源偏好（Aligned：目标来源配偏好回答80%） | 等满足度测试对上目标来源选择率 | 70.1-75.1%（Qwen3.5-9B/Llama-3.1-8B/Tulu-3-8B） | 预DPO与Balanced条件约50% | +20至+25pp；Reversed（20%配对）反向降至24.5-28.5% |
| 再平衡训练数据消除既有Amazon偏好 | 等满足度测试对上Amazon选择率 | Balanced后49.7-51.9%；Reversed后17.7-25.3% | 预DPO为53.7-62.7% | 偏好被拉平至无偏好水平，甚至可完全反转为偏爱原回避来源 |
| 推理期缓解：补全缺失价格（Same Price） | SOURCE+条目选择率相对Base的变化 | -2.8至-28.3pp（5个模型全部下降） | Base选择率68.8-96.4% | 补全信息即显著削弱对来源成见的依赖 |
| 推理期缓解：反成见系统提示（Designate vs General） | SOURCE+条目选择率变化 | Designate降低7.4-22.5pp；General仅-1.1至+1.3pp | Base无干预 | 替换成见有效而仅否认成见无效，提示干预需针对具体先验 |
局限与改进
作者承认的局限：Designate提示需要事先知道哪个来源被回避，是对症下药而非除根；General提示基本无效，说明单纯否认成见不够；SOURCE0只表示证据不足而非无偏好；LLM裁判虽经人工验证，Krippendorff's $\alpha$仅0.65-0.75；API模型的解码无法完全确定。我的补充观察：(1)所有结果来自单一搜索引擎Tavily，来源在结果中的曝光与排序由引擎决定，「野外」程度受引擎生态限制；(2)裁判只看标题与摘要片段，而本文环境禁止点进网页，若智能体可浏览页面核实信息，来源偏好可能减弱，结论对可深度浏览的智能体的适用性未知；(3)附录I的相关分析是描述性的，未计入$\tau_s$与平均满意度的估计不确定性；(4)机理实验仅覆盖8-9B开源模型与三对假来源，对闭源前沿模型真实训练中偏好如何形成仍属推测；(5)论文没有实际模拟「选择回流训练数据」的反馈回路，偏好自增强的风险是合理推断而非演示。
独立分析的弱点
(1)单一搜索引擎依赖：Tavily的排序本身可能系统性偏向大站，建议在多个引擎（Bing、Google CSE、Brave）与不同重排序条件下重复实验，检验$\tau_s$的引擎不变性。(2)裁判可靠性：$\alpha$约0.7意味着相当比例的需求判定与人不一致，而满足度匹配是整个测量的基石，可引入多裁判集成并对分歧对人工复核，报告误配率对$\tau_s$的敏感性分析。(3)缓解手段不实用：Designate需要已知哪个来源被回避且只反制不除根，可研究让模型自查「我是否因来源而非内容做判断」的自我审计提示，或在解码层面对来源token做去偏处理。(4)机理外推性弱：假来源DPO规模小（5,000对、8B模型、LoRA秩16），真实预训练与RLHF中来源关联的形成过程未验证，可在更大模型上用真实域名做剂量-反应实验。(5)缺乏经济后果分析：只测选择率，未量化曝光集中度（如HHI指数）、被跳过来源的流量损失与长期生态影响，可接入市场侧指标。(6)检索深度浅：至多3次搜索、只见摘要，真实智能体会翻页与打开详情页，来源效应在多轮累积与更丰富信息下是否放大或衰减值得专门检验。
未来方向
作者方向：发表时发布代码与数据集；把补全信息、反成见提示、再平衡DPO发展为通用去偏工具。基于成果可延伸：(1)训练侧预防——在偏好数据构造时强制「来源×质量」正交（即论文Balanced条件的思路规模化），或在目标函数中加入来源去相关正则，从源头防止捷径形成；(2)机制可解释性——定位模型内部表示来源信息的注意力头与回路，直接验证「来源即捷径」的机制假说，解释为何URL贡献了大部分披露效应；(3)反馈回路仿真——把智能体的选择数据回流微调，实测偏好自增强的临界条件与速度；(4)跨域推广——在新闻引用、航班、招聘、医疗信息等高风险场景测量来源偏好并检验同一套干预；(5)平台与监管视角——把$\tau_s$发展为智能体中介市场的曝光公平性审计指标，为搜索引擎、商家与监管者提供合规工具；(6)推理期结构化防御——对检索结果中的缺失属性显式标注「未知」而非让来源先验填补，系统比较各类提示工程与信息补全策略的去偏效果与代价。
复现评估
复现可行性较好，但需要API预算。数据：WebShop、HotelQuEST、ScholarGym均公开，Accommodation的572个地点替换变体有明确构造规则（143个请求各生成4个变体）；作者承诺发表时发布代码与数据集。模型：12个中8个为开源权重（Llama-3.1-8B、Llama-4、Qwen系列、Tulu-3-8B等）可完全本地复现，4个闭源API模型受提供商路由与非确定性影响；解码设温度0、种子42并实际验证了开源模型输出的一致性。算力：机理实验仅需单GPU的LoRA训练（秩16、bf16、5,000次更新、有效批大小8、学习率$5\times10^{-6}$），普通实验室可负担；主测量实验的成本在于12模型×4,822请求×每个列表$L$次轮换的API调用，$B=10{,}000$次bootstrap重拟合是轻量CPU计算。难度中等：统计管线（匹配对、BT-Davidson拟合、聚类bootstrap）逻辑清晰，附录B-J给出了全部超参、提示模板与验证细节；主要风险是Tavily实时搜索结果随时间漂移，复现时需缓存结果快照或接受来源集的轻度差异。
论文图表
三个领域的评估请求集构成：购物1,500条（WebShop打乱后的前1,500条）、住宿786条（HotelQuEST全部214条+143个请求各4个地点替换变体共572条）、学术2,536条（ScholarGym全部），总计4,822条。
它说明评估数据的来源与构造方式，是复现研究和判断结论覆盖面的基础信息。
散点图展示来源偏好分$\tau_s$与其商品平均需求满足度的正相关：在每领域20个最高频来源下，Pearson r为购物0.778、住宿0.598、学术0.677，且在全部33个模型×领域组合中两个相关系数均为正。该关系为「模型在训练中见过类似的来源-质量关联并学会将其作为捷径」的假说提供了动机。
它连接了观测（来源越好越被偏爱）与机理实验（第6节的训练假说），是论文证据链中承上启下的一环。
假来源DPO实验的完整提示模板：系统消息要求在select[1]/select[2]两个动作中二选一；用户消息包含指令与两条结果，每条有Title、Content和合成的Source字段（Kelto与Varnis）；原始URL被移除、实体名被替换为[website]后再注入假来源。
它保证三个训练条件（Balanced/Aligned/Reversed）除来源指派比例外一切相同，是理解机理实验严格控制变量的关键材料。
一个真实推理示例：请求要求50美元以下的婴儿童装，eBay条目摘要未提价格，Walmart条目也未提价格，但模型推理称「Walmart更可能有50美元以下定价」，从而选择Walmart条目——用对来源的先验成见填补了内容中缺失的价格信息。
它是「缺失信息触发来源成见」假说的定性证据，让Table 6中的定量干预有了具体可感的机制画面。