← 返回 2026-06-11

使用大语言模型构建社会世界模型 Building Social World Models with Large Language Models

Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You 📅 2026-06-09 👍 2 2026-07-13 08:37
LLM应用 事件归因 时间序列预测 社会模拟 预测市场
arXiv HuggingFace PDF

提出社会世界模型框架，利用LLM学习社会信念如何随事件演变的动态规律

前置知识

预测市场

预测市场是一种金融机制，参与者通过交易基于未来事件结果的合约来下注，合约价格聚合了市场参与者的集体信念。例如，关于某候选人能否当选总统的合约，价格会反映市场认为该事件发生的概率。相比民调，预测市场具有更好的信息聚合特性，因为参与者有真实金钱投入，决策更加深思熟虑。Polymarket和Kalshi是当前两大主流预测市场平台，2025年交易量超过440亿美元。

本文将预测市场价格作为社会信念的量化指标，解决了传统社会观点测量方法的噪声、模糊和不具代表性的问题，为评估社会信念演化提供了高保真的时序数据。

事件归因

事件归因是指在观察到社会信念变化后，识别出驱动该变化的具体外部事件的过程。这涉及语义相关性、时间先后顺序和方向一致性等多个维度的判断。例如，看到加密货币价格上涨，需要判断是哪个新闻报道导致了这一变化，而非仅仅观察相关性。本文采用LLM作为后验归因器，通过后见之明视角分析新闻是否可能是价格变化的因果驱动因素。

传统方法缺少显式的"事件-信念变化"标签，本文提出的后验指导训练范式通过LLM的因果对齐能力自动生成伪标签，解决了归因标注难题，使模型能够学习事件如何驱动信念变化的机制。

社会世界模型

社会世界模型是将社会信念视为状态、将社会事件视为外生动作的转移模型，形式化为 P(st+1 | st, et)，其中 st 是历史信念轨迹，et 是候选事件。不同于传统的物理世界模型（如机器人视频预测），社会世界模型处理的是语义驱动的、由人类心理和文化背景影响的状态转移。本文的SWM框架包含三个组件：先验归因器 Pη、后验归因器 Qφ 和世界模型 Pθ。

理解社会世界模型概念是读懂本文方法论的基础，它通过将社会动力学建模为状态转移问题，使得LLM能够模拟和理解社会信念如何响应事件而演变，为预测和干预社会共识提供了新范式。

ELBO优化

证据下界是变分推断中的核心概念，用于最大化边际对数似然 log P(st+1 | st, Et) 的下界。在本文中，训练目标 Lθ,η = -EZt∼πt [log Pθ(st+1 | st, eZt)] + DKL(πt ∥ Pη) 可以视为负ELBO，其中 Qφ 作为变分分布，Pθ 作为似然，Pη 作为先验。不同的是，本文中变分分布是冻结的，而先验是可学习的。

理解ELBO框架有助于理解本文训练目标的设计思路，它通过后验指导蒸馏的方式，将后见之明的归因知识转移到前向推理模型中，使得模型能够在事件发生前就预测其可能的影响。

研究动机

现有方法在建模社会信念演化时面临三大核心挑战。首先是可量化性和数据稀缺，社会信念是语义驱动的集体观念，难以像物理状态那样被结构化数据捕获。传统的民意调查存在响应和参与偏差，社交媒体语料反映的是自我选择的用户群体，系统性地偏离更广泛公众观点。这使得建立标准化基准来评估社会信念如何响应真实世界刺激几乎不可能。其次是社会转移的语义复杂性，即使有数据，控制社会转移的机制也是非符号和语义驱动的，由微妙的心理学和文化背景而非明确的编码法则支配。传统的统计或符号模型无法捕捉这些丰富的、隐式的转移规则。第三是缺少显式归因标签，即使观察到信念变化，特定事件与该变化之间的关系往往模糊不清，缺少显式监督，模型难以学习社会信念动力学背后的机制。

本文的目标是本文的目标是建立一个能够捕捉社会信念如何响应重大事件而演化的通用框架。具体而言，作者提出社会世界模型概念，旨在学习社会信念的状态转移函数，通过挖掘社会数据中的时间模式并优化证据下界，而不需要显式的人类标注来链接事件和信念变化，也不需要昂贵的人口普查数据。该框架应该能够在政治、金融、加密货币等多个领域中预测社会信念，并提供对潜在社会信念动力学机制的可解释性洞察。

与已有工作不同的是，本文的独特切入角度是利用预测市场数据作为社会信念的高保真代理信号，并采用后验指导的训练范式解决归因标注难题。与现有工作的关键区别在于：传统社会事件预测工作关注预测事件的最终结果，而非预测事件发生后公众观点的轨迹；主流社会模拟方法依赖LLM驱动的基于主体的建模，通过模拟个体微观决策来推导宏观模式，计算成本高且校准脆弱，而本文直接在宏观层面参数化社会动力学，规避了这些问题；近期以"社会世界模型"命名的工作聚焦于微观层面行为或交互任务，而本文纯粹关注宏观层面预测。此外，本文首次从真实世界预测市场数据构建基准，将社会信念转化为可量化的时序格式，填补了该领域评估基准的空白。

核心方法

社会世界模型是一个生成式框架，通过状态转移范式 P(st+1 | st, et) 刻画社会信念动力学。它将集体信念视为语义状态，将社会事件视为外生动作。整体思路是利用LLM的常识知识和社会智能，学习社会信念如何响应事件而演变的规律。方法包含三个关键技术突破：首先通过预测市场数据"接地"社会信念状态，建立SWM-Bench基准；其次利用LLM作为"转移引擎"来导航语义复杂性；最后引入后验指导机制桥接归因鸿沟。训练流程分为三步：收集观测到的状态-事件转移；通过KL散度优化先验归因器 Pη；使用归因事件对世界模型 Pθ 进行后验指导训练。

核心创新点是后验指导的训练范式，它解决了缺少显式"事件-转移"标签的难题。作者的洞察是：归因在后见之明中要容易得多。一个冻结的LLM后验归因器 Qφ 能够可靠地判断哪个候选事件的时机和内容解释了观察到的变化，产生一个尖锐分布 πt。必须在结果揭示前行动的前向模型则学习匹配这些后见之明标签：Pθ 学习在归因事件条件下的转移动力学，Pη 学习在没有 st+1 访问权限的情况下预测归因。这个过程是一种伪标签形式：后见之明提供标签，前瞻从中学习。另一个关键创新是将事件归因从转移动力学中解耦，使得单个学习到的世界模型天然支持两种不同的下游任务：预测和模拟。

方法步骤详情

方法步骤包含三个核心阶段。第一阶段是数据准备，从Polymarket和Kalshi收集2022年12月至2026年1月的历史数据，每个转移三元组中，st 是包含最近16天价格历史的社会状态，Et 是从GNews API获取的最多30个候选新闻事件集合，限制在目标观察前三天内。通过z-score子采样过滤掉低波动点，保留统计显著的移动。第二阶段是后验归因，使用冻结的Qwen3.5-397B模型 Qφ 对每个候选新闻返回独立伯努利责任分数 si ∈ [0, 1]，通过Bradley-Terry/Luce构造转化为归一化概率分布 πt。第三阶段是训练，先验归因器 Pη 通过最小化前向KL散度 DKL(πt ∥ Pη) 学习，世界模型 Pθ 通过最小化加权的平方误差 Lwm = Σi∈It πit ||Δt - μθ(st, eit)||2 学习，其中 Δt = st+1 - st 是实际变化，μθ(st, eit) 是预测变化。

技术新颖性

技术新颖性体现在多个方面。首先，本文首次提出将预测市场数据作为社会信念的高保真量化指标，解决了传统社会观点测量方法的噪声和偏差问题。其次，后验指导的训练范式是一种新颖的自监督学习框架，它通过冻结的LLM后验归因器生成伪标签，绕过了昂贵的人工标注需求。第三，本文将事件归因和转移动力学解耦的设计使得模型既能用于预测（通过先验归因器加权），又能用于模拟（直接条件化于特定事件），这种灵活性在现有工作中未见报道。第四，本文假设了一阶事件近似和条件事件外生性，这使得在保持可解释性的同时将复杂的现实问题简化为可学习的形式。最后，本文提出了稀疏归因机制，大多数市场移动的因果信号集中在单一相关事件上，这为模型的效率提供了理论基础。

Overview of the social world model training framework. Our architecture employs LLMs as the backbone for three core modules: the social attributor (Pη), the posterior-guided social attributor (Qφ), and the social world model (Pθ). Notably, only Pη and Pθ are updated during training.
Figure 2: Overview of the social world model training framework. Our architecture employs LLMs as the backbone for three core modules: the social attributor (Pη), the posterior-guided social attributor (Qφ), and the social world model (Pθ). Notably, only Pη and Pθ are updated during training.

实验结果

实验结果显示SWM在预测新闻驱动的市场移动方面特别有效。在归因子集上，SWM (prior)在Polymarket上实现了最高的方向准确率0.685，在Kalshi上方向准确率达到0.845，并且在所有四个归因指标上表现强劲：MASE 0.800，MAE 0.084，相关性0.380。这意味着8B的SWM与显式潜在事件归因在方向预测上匹配或超过了GPT-5.5等前沿LLM。SWM (posterior)的 oracle上界显示，一旦识别出驱动事件，世界模型 Pθ 能够准确模拟转移：在Kalshi上方向准确率达到0.894，相关性达到0.525，表明预测的关键瓶颈是先验归因器 Pη 在嘈杂新闻周期中隔离和加权正确因果冲击的能力。消融研究表明，更大的模型 consistently 提高预测性能：在Kalshi上，MASE从0.6B的0.884降至8B的0.738，相关性从0.290提高到0.525；在Polymarket上，MASE从0.977降至0.892，相关性从0.161提高到0.439。时间序列窗口的消融显示，将窗口从w=1延长到w=16带来的增益有限，大多数增益在w=4时就已实现，表明简短的价格历史足以捕捉与单步信念预测相关的社会动量。

Dataset statistics of SWM-Bench. #Train, #Test, and #Total denote the number of transition triples (st, Et, st+1). #News is the average candidate-set size |Et| per triple, and #Markets is the number of prediction markets covered.
Table 1: Dataset statistics of SWM-Bench. #Train, #Test, and #Total denote the number of transition triples (st, Et, st+1). #News is the average candidate-set size |Et| per triple, and #Markets is the number of prediction markets covered.
Evaluation results on SWM-Bench. We report MASE, MAE, directional accuracy (DA), and Pearson correlation (Corr) on Polymarket and Kalshi. For each platform, we evaluate both the full test set (all) and the attributed subset (attr), which consists of test examples where the posterior attributor (Qφ with Qwen3.5-235B) assigns a non-zero probability to at least one candidate news event.
Table 2: Evaluation results on SWM-Bench. We report MASE, MAE, directional accuracy (DA), and Pearson correlation (Corr) on Polymarket and Kalshi. For each platform, we evaluate both the full test set (all) and the attributed subset (attr), which consists of test examples where the posterior attributor (Qφ with Qwen3.5-235B) assigns a non-zero probability to at least one candidate news event.
Ablation on the social attributor size. Qwen3-0.6B/4B/8B are trained with KL and tested on Kalshi and Polymarket. Larger attributors have better performance.
Figure 3: Ablation on the social attributor size. Qwen3-0.6B/4B/8B are trained with KL and tested on Kalshi and Polymarket. Larger attributors have better performance.
Ablation on the social world model size. Qwen3-0.6B/4B/8B are trained and tested on Kalshi and Polymarket. Larger world models have better performance.
Figure 4: Ablation on the social world model size. Qwen3-0.6B/4B/8B are trained and tested on Kalshi and Polymarket. Larger world models have better performance.
Ablation on the time series window size. We change the time-series history length from 1/2/4/8/16 in the input. The evaluation is conducted with Kalshi data.
Figure 5: Ablation on the time series window size. We change the time-series history length from 1/2/4/8/16 in the input. The evaluation is conducted with Kalshi data.
查看结构化数据
任务指标本文基线提升
Kalshi方向准确率 DA 0.845 GPT-5.5: 0.711 +18.8%
Kalshi MASE MASE↓ 0.800 GPT-5.5: 0.997 -19.8%
Kalshi相关性 Corr 0.380 GPT-5.5: 0.242 +57.0%
Polymarket方向准确率 DA 0.685 GPT-5.5: 0.534 +28.3%
Polymarket MASE MASE↓ 0.933 GPT-5.5: 0.985 -5.3%

局限与改进

作者承认的局限性包括：LLM基础后验归因不能正式认证因果关系，而是作为因果对齐的解释过滤器，可能偶尔锁住虚假相关性。例如，对于以太坊价格下跌的案例，归因器频繁地将同一篇报道平淡交易的文章重复用作"原因"，无论实际移动方向如何。高归因反映的仅仅是语义重叠而非潜在因果事件。另一个局限是条件事件外生性假设在某些情况下较弱。当假设A1失败且多个事件共同驱动一个转移时，归因于单个事件的学得效应可能被高估。Polymarket上算法交易更重，更多移动是内生流动驱动而非新闻驱动，这损害了基于归因的训练。此外，模拟模式的保真度根本上受限于底层LLM骨干是否成功内化了多步骤系统性或经济机制，这在案例研究中有所体现。作者还观察到不同市场类型之间的性能差异，Kalshi问题与基本面事件关联更强（产生可学习更新，非空归因率19%；只有17%的大移动回撤），而Polymarket可能承载更重的算法交易，更多移动是内生流动驱动。

独立分析的弱点

独立分析的弱点包括：首先，模型依赖预测市场作为社会信念的代理，这可能引入系统性偏差，因为预测市场参与者并非完全代表普通公众，市场流动性、交易费用等因素会影响价格形成。其次，后验归因器虽然能够生成高质量的伪标签，但其判断依赖于LLM的预训练知识和推理能力，对于某些领域的因果关系可能理解不足，特别是在需要专业领域知识的场景中。第三，一阶事件近似假设在复杂现实场景中可能过于简化，当多个事件交互影响信念变化时，模型的预测精度可能下降。第四，模型在Polymarket上的表现相对较弱，这暴露了方法对市场结构的敏感性，需要针对不同市场类型进行适配。第五，模型的模拟能力受限于LLM对复杂经济和社会系统的理解深度，例如在弱日元企业利润场景中的错误预测表明模型未能理解汇率对通胀的多步骤传导机制。改进方向包括：集成更丰富的外部知识源（如经济数据库、专业报告）来增强LLM的领域知识；开发多事件联合建模框架以处理复杂交互；针对不同市场类型设计自适应的训练策略；通过多任务学习或课程学习提升模型对经济机制的深层理解。

未来方向

作者提出的未来研究方向包括：探索参数化的社会世界模型扩展到更多领域和更复杂的场景；改进后验归因器的因果推理能力，使其能够更可靠地区分真实因果和虚假相关；研究如何将SWM框架与其他社会模拟方法（如基于主体的建模）结合，形成更完整的社会动力学建模体系。基于本文成果可延伸的方向包括：将SWM应用于实际的政策制定和决策支持系统，帮助预测公众对不同政策选项的反应；开发实时监测系统，检测社会中异常、突然或非自然的信念变化，以识别和反击协调的影响操作；研究如何将SWM与其他模态数据（如图像、视频）结合，捕捉更丰富的社会信号；探索将SWM扩展到跨文化比较研究，理解不同文化背景下社会信念演化的差异；研究如何将因果发现和干预学习整合到SWM框架中，使其不仅能够预测信念变化，还能推荐干预措施以达到期望的社会效果。

复现评估

本文的复现难度较低。作者开源了完整的数据集（CC BY-NC-ND 4.0许可）和代码（MIT许可），数据集从Polymarket和Kalshi的公开API收集，新闻数据来自GNews API。训练细节在附录中完整披露，包括超参数（学习率10^-5 for Pη，2×10^-5 for Pθ with regression head 5×）、批大小（有效28）、训练轮数（1个epoch）等。所有训练实验在8个A100 80GB GPU上进行，推理在单个A100 80GB GPU上运行。模型使用Qwen3骨干，采用bf16精度、FSDP全分片、激活/梯度检查点进行全参数微调。基线方法包括多种时间序列模型和LLM方法，实现细节清晰。然而，需要注意数据获取的时间敏感性，因为预测市场数据和历史新闻需要从特定时间点收集，这可能会影响完全复现。此外，397B的后验归因器需要大量计算资源，这可能限制部分研究者的复现能力，但作者提供了不同规模的模型选项。

论文图表

Social events shape future social beliefs. (Top) Each line tracks one social belief over time, derived from real-world Polymarket data. A breaking event triggers a sudden shift across multiple social beliefs. (Bottom) An example illustrating how social events directly or indirectly drive changes in social beliefs.
Figure 1: Social events shape future social beliefs. (Top) Each line tracks one social belief over time, derived from real-world Polymarket data. A breaking event triggers a sudden shift across multiple social beliefs. (Bottom) An example illustrating how social events directly or indirectly drive changes in social beliefs.

图1展示了社会事件如何塑造未来社会信念。顶部每条线追踪一个社会信念随时间的变化，数据来自真实世界的Polymarket。一个突发事件触发了多个社会信念的突然变化。底部是一个示例，说明了社会事件如何直接或间接地驱动社会信念的变化。图中显示了Solana价格预测和特朗普赢得总统选举等具体案例，展示了重大新闻事件（如选举结果）如何影响多个不同领域的公众信念。

这张图对理解论文至关重要，因为它直观地展示了社会世界模型要解决的核心问题——社会信念如何响应事件而变化。它提供了具体的例子说明单一重大事件（如选举结果）可以同时影响多个不同的社会信念（如加密货币价格、经济政策预期等），这为SWM框架的动机提供了视觉支持。此外，图中的趋势线展示了信念演化的时序特性，为理解论文中使用时间序列数据建模社会信念的方法奠定了基础。

Figure 6: Event set size ablation. MASE on Kalshi and Polymarket as the event set size N varies, under random, prior-guided, and posterior-guided selection. Posterior saturation supports attribution sparsity.

图6展示了事件集大小的消融实验。在Kalshi和Polymarket上，当事件集大小N变化时，在随机、先验指导和后验指导选择策略下的MASE表现。后验指导的选择器在单个事件时就匹配了完整集性能，先验指导的选择器在m=5时达到相同水平，而随机选择器开始时弱得多，需要完整集才能赶上。这与归因稀疏性一致：市场移动的大多数因果信号集中在单一相关事件中。Polymarket是一个例外，随机选择器在大约m=10时可以超过后验指导的选择器，这表明Polymarket上的后验归因后见之明可靠性较低，可能偶尔排除了真正相关的事件。

这张图展示了事件候选集大小和选择策略对性能的影响，结果支持了归因稀疏性的关键洞察。后验指导策略在m=1时就饱和表明大多数市场移动确实由单一主导事件驱动，这验证了论文的一阶事件近似假设。先验指导策略在m=5时达到相同水平表明训练后的归因器能够将少数相关事件识别为高排名候选。Polymarket上的异常行为揭示了市场结构的差异——算法交易可能导致更多内生移动，使得新闻归因更困难。这个发现对于理解SWM的适用边界很重要，也暗示了针对不同市场类型可能需要不同的策略选择。此外，这个消融为实际部署提供了指导——对于类似Kalshi的市场，只需要考虑排名前5的候选事件，可以显著降低计算成本。

Figure 7: Posterior attribution distribution. Mean posterior attribution at ranks 1–10 for Qwen3-32B and Qwen3.5-397B. The 397B posterior is markedly sharper, concentrating mass on the top-1 event.

图7展示了后验归因分布。显示了Qwen3-32B和Qwen3.5-397B在排名1-10上的平均后验归因。397B后验明显更尖锐，将质量集中在top-1事件上（top-1质量0.787），但只为11.9%的转移识别了外部新闻原因。32B后验更平坦（top-1质量0.603），但归因了47.8%的转移。这揭示了精度和覆盖率之间的权衡：更大的后验产生更精确的归因但覆盖更少的转移，较小的后验覆盖更多但精度较低。

这张图展示了后验归因器规模的影响，揭示了精度与覆盖率之间的关键权衡。这个发现有几个重要含义：首先，它解释了为什么397B后验训练的模型在归因子集上表现更好（更高的相关性），但在完整测试集上表现更差（由于有限的覆盖率）；其次，它为训练策略的选择提供了指导——如果下游任务优先考虑高置信度因果关系，使用大型后验；如果需要全人群覆盖率，使用中型后验；第三，这个权衡反映了LLM推理的本质——更大的模型更保守，只有在确信时才归因，而较小的模型更宽松，可能会产生更多假阳性。这个洞察对于理解SWM训练的鲁棒性很重要，也暗示了未来可能的工作方向——如何同时获得高精度和高覆盖率。

Figure 9: Case studies for forecasting and simulation. We illustrate the two modes of SWM. (Top) Forecasting: The prior attributor and the world model jointly generate a prediction by computing an attribution-weighted sum across candidate news events. (Bottom) Simulation: The world model operates independently to estimate belief shifts conditioned on real or counterfactual events.

图9展示了预测和模拟的案例研究，说明了SWM的两种模式。顶部预测模式：先验归因器和世界模型通过计算候选新闻事件的归因加权和联合生成预测。在特朗普-普京会议场景中，模型将最高归因分数（0.583）分配给俄乌和平协议新闻，世界模型将其映射到正向方向移动（+0.12）。模型还成功捕捉了微妙的负向信号——关于英国追踪俄罗斯间谍船的新闻获得小归因分数但产生逻辑负向预测。底部模拟模式：世界模型独立运作，估计条件化于真实或反事实事件的信念移动。当直接查询真实新闻事件时，世界模型产生对齐的方向估计（如植田的加息信号 +0.14）；对于完全假设的冲击，如全球油价崩溃30%，模型正确触发预测的加息概率降低（-0.16）。

这张图对理解SWM的两种推理模式至关重要。预测模式展示了系统如何在现实世界部署中工作——从嘈杂的新闻流中自动识别相关事件并生成加权预测。模拟模式展示了系统的"假设"能力——可以询问"如果发生这个事件会怎样？"并获得估计的信念移动。案例研究展示了模型的具体能力：能够区分正相关和负相关事件，能够捕捉微妙的因果机制，能够处理完全假设的场景。然而，弱日元企业利润场景的错误预测也暴露了局限性——模型未能理解多步骤经济机制。这个案例研究为理解SWM的优势和边界提供了具体例子，也展示了其在实际应用中的潜在价值（如政策影响评估）。