同一声明，不同判断：多语言金融虚假信息检测中的场景诱导偏差基准 Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection
提出面向多语言金融虚假信息检测的场景偏差基准 MFMD-Scen，系统评估 22 个主流大模型的角色/区域/身份条件偏差。
前置知识
金融虚假信息检测（Financial Misinformation Detection）
该任务要求模型判断一条金融相关声明是否真实，重点在于识别涉及货币、资产、市场叙事或金融收益承诺的误导内容。本文不仅做二分类，还进一步在不同情景提示下评估模型的判断稳定性，以揭示场景信息如何改变判断边界。
论文的核心贡献是把传统二分类任务扩展为“声明 + 场景条件”的评估框架，因此读者必须先理解金融虚假信息检测的基本任务形式和高风险应用场景。
大模型行为偏差（Behavioral Bias in LLMs）
行为偏差指模型在语义等价输入下，因为角色、情绪、上下文或文化线索而产生系统性预测偏移。这类偏差在心理学上对应过度自信、损失厌恶、羊群效应等，在金融语境下会直接影响风险判断和合规决策。
整篇论文的研究目标就是量化这种偏差。作者通过固定声明、变化场景来观察预测偏移，因此理解行为偏差的来源和度量方式是读懂方法与结论的关键。
场景条件推理（Scenario-conditioned Verification）
场景条件推理要求模型在给定角色、地区或身份设定后，重新评估同一声明的真实性。本文将场景拆分为 persona（角色 + 性格）、region（角色 + 地区市场）和 identity（角色 + 族群与信仰），从而实现对输入变化的受控分析。
这是论文方法论的核心设计：通过对照“有场景”与“无场景”表现来计算偏差。若不熟悉该范式，很难理解为何同一声明在不同提示下会产生截然不同的判断。
F1/MAV/AM 等偏差度量
论文用 macro-F1 衡量分类性能，用 AM（算术均值）反映偏差方向，用 MAV（绝对偏差均值）反映偏差幅度。通过对比场景条件前后 F1 的变化，作者得到 $\mathrm{Bias}_{\mathrm{scen}} = |\mathrm{F1}(l_{\mathrm{scen}}, l_{\mathrm{gold}}) - \mathrm{F1}(l_{\mathrm{base}}, l_{\mathrm{gold}})|$。
所有结果讨论都围绕这些指标展开，尤其是 Figure 3–5 的雷达图和热力图。理解 AM/MAV 的含义，才能判断偏差是整体偏高、偏低还是波动剧烈。
研究动机
论文指出，LLM 已被广泛用于金融分析与决策支持，但其行为偏差在高风险场景下可能引发系统性错误。现有研究多依赖直接提问或极度简化的一般场景，难以复现真实投资环境中的角色差异、市场氛围与跨文化信息传播。特别是在多语言金融虚假信息检测任务中，现有基准如 FinFact、FinDVer 固定评估上下文，缺乏对场景变化的控制实验，导致无法量化同一声明在零售投资者、机构策略师或企业主等角色下产生的判断偏移，也难以观察低资源语言如何放大这些偏差。
本文的目标是本文旨在构建一个覆盖英文、中文、希腊语和孟加拉语的综合基准 MFMD-Scen，用于系统评估主流 LLM 在角色、地区、身份交互场景下的金融虚假信息检测偏差。作者希望通过受控实验回答三类问题：不同角色如何改变判断边界？不同金融市场（如美国、亚太、中国大陆）是否会引发方向性偏移？族群与信仰信息在不同角色下会产生怎样的交互效应？
与已有工作不同的是，相较于以往行为经济学实验或单一语言虚假信息数据集，本文的独特切入角度在于“场景轴 × 语言轴”的组合设计。作者不仅邀请金融专家设计 persona、region、identity 三套场景，还在同一全球新闻集上进行多语言翻译与母语审查，从而把场景复杂度、语言资源稀缺度和身份交叉性纳入同一评估体系。这使得研究不再停留在静态标签准确率，而是能够量化场景信息如何覆盖声明内容信号，揭示模型对情境先验的依赖程度。
核心方法
整体方法可分为数据构建和场景化评估两部分。首先，作者基于 FinFact 的 Snopes 子集收集完整声明，并补充 2024 年至 2025 年 9 月的金融关键词新闻，由金融背景标注者筛选出 502 条金融相关内容。随后，从中再选出具有全球影响的 144 条声明，翻译成中文、希腊语、孟加拉语，并通过母语者审校保证质量。接着，作者在每种语言版本下设计三类场景提示：persona（角色与行为金融偏差）、region（角色与市场环境）、identity（角色与族群信仰）。最后，所有模型在“无场景”与“有场景”两种提示下进行二分类，从而得到 $l_{\mathrm{base}}$ 与 $l_{\mathrm{scen}}$，再计算 F1 变化量作为偏差指标。
核心创新在于把金融虚假信息检测从单点验证升级为“场景敏感验证”。传统基准只看模型是否识别假新闻，而 MFMD-Scen 通过固定声明、变化场景来观察预测边界的漂移。更重要的是，场景设计兼顾显式（explicit）与隐式（implicit）偏见提示：前者直接陈述性格或偏见，后者用叙述线索暗示行为倾向。这种方法能区分模型在“被明确告知偏见”与“需自行推理偏见”时的稳健性，也揭示了身份与角色交互时的非线性效应。
方法步骤详情
步骤 1：构建多语言金融声明集。起点为 Snopes 财经声明，补全原文后由两名金融背景标注者筛选，最终得到 502 条金融声明；再从中挑出 144 条全球新闻，使用 GPT-4.1 翻译成中文、希腊语、孟加拉语，并由母语者评估与修订。步骤 2：设计场景提示。persona 子任务将零售投资者、专业投资者、企业主三种角色分别与过度自信、损失厌恶、羊群效应、锚定效应、确认偏误五种偏见结合，各设显式和隐式版本；region 子任务覆盖欧洲、美国、亚太、中国大陆、澳大利亚、阿联酋六个市场，为每种角色撰写监管、文化与风险氛围描述；identity 子任务在零售投资者和企业主两种角色下，枚举 16 个族群-信仰组合（如 American-Christianity、Chinese-Islam 等），并按统一模板生成提示。步骤 3：模型推理。22 个主流 LLM（含闭源与开源、推理型与标准型）分别在无场景 baseline 和各类场景提示下回答“True/False”。步骤 4：偏差计算。用 macro-F1 衡量分类表现，场景偏差 $\mathrm{Bias}_{\mathrm{scen}}$ 由场景前后 F1 差的绝对值给出；再用 AM 与 MAV 聚合多模型趋势，必要时结合具体案例分析方向性翻转。
技术新颖性
技术新颖性体现在三个层面。其一，评估范式升级：不是仅统计准确率，而是用受控场景变化度量预测边界漂移，将偏差定义为 $\mathrm{Bias}_{\mathrm{scen}}=|\mathrm{F1}_{\mathrm{scen}}-\mathrm{F1}_{\mathrm{base}}|$，使偏差可量化、可跨模型比较。其二，场景维度扩展：首次将行为金融五大偏见、六个国际金融市场和多族群-信仰身份整合进同一基准，且每个维度都有显式与隐式设计，从而捕捉“身份与角色交互”的非线性偏差。其三，多语言对齐设计：通过全球新闻集+母语审校的流程，减少地域新闻干扰，让语言资源差异本身成为可观测变量，为低资源语言偏差研究提供新基线。
实验结果
在 MFMD-persona、MFMD-region 与 MFMD-identity 三个子任务上，22 个模型均表现出明显场景偏差。首先，所有模型在 FALSE 类别上的 F1 均高于 0.85，说明判断假新闻相对稳健；但 TRUE 类别性能普遍下滑，显示模型更倾向保守地判假。其次，场景注入会系统性地移动预测边界：在零售投资者角色与羊群效应场景下，模型多呈负向偏差，表明情境线索压过了声明内容；在专业投资者或企业主角色下，偏差幅度相对更小。地区场景中，亚太与中国大陆市场诱导的负向偏差最显著，而美国与欧洲场景更接近 baseline，反映出训练语料或市场熟悉度差异。身份场景则揭示交互效应：American 身份多呈正向偏差，Chinese 身份多呈负向偏差，且同一族群在零售投资者与企业主角色下可能出现方向翻转，例如 Arab-Islam、African-Islam 在 RI 负向、在 CO 正向。低资源语言（希腊语、孟加拉语）偏差更大，说明语言校准不足会放大场景先验的影响。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GlobalEn 金融虚假信息检测 | Accuracy | GPT-4.1 在 GlobalEn 上达到 0.896 | Mixtral-8x7B 在 GlobalEn 上为 0.667 | 提升 22.9 个百分点，显示闭源大模型在英文全球金融声明上仍具明显优势 |
| MFMD-persona 场景偏差评估 | TRUE 类别 AM | 零售投资者 + 隐式羊群场景在英文数据上对多个模型产生最高负向偏差 | 无场景 baseline 的 TRUE F1 约 0.489（22 模型均值） | 场景注入后 AM 降至 -0.289（以 Mistral-7B 为例），偏差幅度超过 0.28，说明羊群叙事能显著压低真实判断率 |
| MFMD-region 场景偏差评估 | TRUE 类别 MAV | 亚太场景平均 MAV 约 0.133（Retail Investor） | 欧洲场景 MAV 约 0.076 | 偏差幅度增加 0.057，显示新兴亚洲市场提示更容易引发预测漂移 |
| MFMD-identity 场景偏差评估 | TRUE 类别方向翻转 | Chinese-Buddhism 在 Retail Investor 下 AM 约 -0.279 | Company Owner 下同身份 AM 约 0.021 | 由负转正的翻转幅度约 0.300，证明角色提示能彻底改变身份线索的影响方向 |
局限与改进
作者在 Limitations 部分指出：由于数据源以 Snopes 为主，筛选后的金融声明集中假新闻占比偏高，需要按类别分别分析以缓解不平衡影响；此外，人类标注受资源限制，某些地区仅两位志愿者，结果只能作为粗糙参照。本文还存在未明说但值得关注的局限：场景提示仍由人工撰写，可能引入作者视角的文化刻板印象；评估仅限二分类任务，未覆盖置信度、解释性或多选推理；GPT-4.1 翻译虽经审校，但在希腊语等低资源语言仍有少量明显错误，可能影响偏差计算。总体而言，基准更擅长揭示问题，尚未提供系统性的缓解策略。
独立分析的弱点
首先，数据层面存在类别不平衡与来源单一问题。Snopes 侧重英文网络谣言，难以覆盖亚太、中东等地特有的金融叙事，导致地区场景的外部效度受限。改进方向可以引入本地金融监管公告、财经媒体与企业披露，形成多中心语料。其次，场景设计依赖人工模板，显式/隐式二分法虽然直观，但无法捕捉渐进式偏见或跨场景叠加效应。未来可尝试通过受控扰动生成或博弈式对话来丰富场景变体。再次，评估指标仅关注 macro-F1 与偏差绝对值，缺少对置信度分布、拒答率或解释质量的分析。加入不确定性估计与解释一致性指标，有助于辨别模型是“改变答案”还是“改变推理依据”。最后，开源模型与闭源模型差距显著，但论文未深入讨论推理链长度、工具调用或检索增强对偏差的调节作用。
未来方向
作者在结论中提出 MFMD-Scen 可为后续偏差缓解研究提供基线，建议未来探索提示校准、强化学习或人类反馈等方法以降低场景敏感性。基于本文成果，还可延伸三条方向：一是将基准扩展为动态场景生成框架，通过自动化角色/地区/身份组合提升覆盖密度；二是引入跨任务评估，例如同一模型在虚假信息检测、风险评估和投资者情绪分析之间的偏差一致性；三是研究偏差缓解策略在不同语言资源条件下的迁移效果，尤其是针对低资源语言的多语言对齐或检索增强方案。
复现评估
论文附带 GitHub 仓库（https://github.com/lzw108/FMD），公开场景模板、评估脚本与部分数据说明，开源透明度较高。评测使用 4 块 NVIDIA A100（80GB）GPU 完成，对中小实验室而言算力门槛不算极端。多语言数据由 GPT-4.1 翻译并经母语者审校，作者也报告了各阶段一致性（如希腊语翻译 Cohen's Kappa 0.723），方便后续复核。需要留意的是，闭源模型（如 GPT-5-mini、Claude-Sonnet-4.5）依赖商业 API，未来版本迭代可能导致结果漂移；此外，部分模型因安全策略拒绝作答（如 Gemini、Claude 在某些身份子任务上输出为空），复现时需记录缺失数据处理方式。总体而言，若能固定 API 版本并补充更多本地语料，复现难度可控。
论文图表
该示意图展示同一句“People on Facebook promise to send $750 to your Cash App account for free.”在无场景 baseline、OverConfidence 角色、USA 地区以及 Latino & Christianity 身份四种设定下的判断变化：baseline 为 False，但加入角色或身份场景后，模型可能给出不同答案。
Figure 1 用直观案例说明论文核心问题——场景信息如何改变同一声明的判断结果，是理解全文研究动机的最佳入口。
展示 GPT-4.1 翻译出现的四处明显错误之一，配合人工修订版本，说明为何需要母语者复查。
Figure 7 直接呼应论文对翻译质量的讨论，提醒读者低资源语言结果的可靠性受翻译误差影响。