迈向真实世界人类行为模拟：基于长周期、跨场景、异构行为轨迹的大语言模型基准评测 Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

步骤一采集：快手 5 场景 9-11 月端到端日志按时间戳交错合并为统一时序流，附 caption、价格、OCR、ASR 等元信息。步骤二两级清洗：行为级用 99.9 分位数阈值（视频 879s、直播 9601s）剔除误触挂机（每用户去 91 条）；文本级先正则后用 Qwen2.5-72B-Instruct 纠错，OCR 压缩 85.9%、ASR 5.2%。步骤三代表采样：用户编码为四维向量 $\mathbf{v}_u$（人口/活跃度/兴趣/场景），K-Means 聚类取 200 人。步骤四匿名合规：本地 Qwen3-235B 替换敏感实体为 等占位符，剔除有害内容并人工复核。步骤五任务定义：给定 $p_u$、$H_u = \{(c_i, a_i)\}_{i<t}$ 与 $c_t$，预测 $\hat{y}_t = f_\theta(H_u, c_t, p_u)$，覆盖二值/连续/文本行为。步骤六评测：6,000 个平衡任务，二值 F1、连续 NMAE、文本由 Claude-Sonnet-4.5 四维作裁判。

技术新颖性体现在三方面：第一，把'跨场景因果链长度'和'兴趣覆盖率增益'这两个原本定性的观察转化为可量化的诊断指标，确立了评测真实行为基准的最低门槛；第二，用 19 维行为率向量的 intra/inter 距离比 $\rho = d_{\text{inter}}/d_{\text{intra}}$（人类 0.29 vs LLM 0.7-0.87）首次把'人格趋同'从直觉变成可度量现象；第三，将 LLM 模拟器的偏差分解为 hyper-activity（正样本率 40-60% 高估）、utopian bias（情感向中性-正向坍缩）、persona homogenization 三类，给出可针对性改进的诊断框架，这是已有基准都没有做过的元层级分析。

独立分析识别出三处可改进的弱点。其一，评测任务设计存在分布偏移：6,000 个任务按'时序、场景、价值'三维度平衡采样，但真实用户每天产生的动作数服从长尾分布，少量活跃用户主导了大部分交互，这会稀释对'长尾用户'的评估信号；改进方向是按用户活跃度分层（heavy/medium/light）报告细分指标。其二，'LLM-as-Judge'评估用 Claude-Sonnet-4.5 评其他模型，但裁判本身也有 positivity bias，会系统性高估礼貌、流畅的回答，掩盖了真实 LLM 模拟的负面情绪缺失；改进方向是引入多个异质裁判（如人类标注 + 开源裁判 + 闭源裁判）做一致性检验。其三，记忆管理实验仅比较 RAG 与摘要两种策略，未尝试显式建模因果链（如时序图、事件指针），而这正是论文自己强调的'真实决策依赖跨场景因果'所暗示的方向；改进方向是设计带因果链感知的位置编码或图结构记忆模块。其四，benchmark 公开了 200 用户约 212 万条交互，但缺少对单条交互的难易度标注和错误原因归因，研究者无法定位模型究竟在哪类动作上失败。

作者明确提出维护公开 leaderboard 以纳入新模型与新记忆算法，这是最直接的延伸。基于本文发现可进一步展开的方向包括：第一，针对 positivity-and-average 偏差设计去偏训练目标，例如在 RLHF 中加入'反事实负面用户'对比样本，或在 SFT 中混入人工标注的低互动/高流失用户轨迹；第二，探索显式因果链感知的记忆管理，用时序事件图或因果指针替代 RAG 的语义相似度检索，论文已暗示 RAG 忽略因果依赖是其失效主因；第三，把 OmniBehavior 扩展到跨平台、跨文化场景，验证'积极平均人'偏差是否在非中文语境下同样存在；第四，结合离线策略评估（Off-Policy Evaluation）把 LLM 模拟器接入真实推荐系统 A/B 实验，量化模拟-部署差距；第五，将 19 维行为率向量作为 persona embedding 微调开源 LLM，使其在保留长尾人格的同时仍能预测准确行为。

复现性整体较好：作者在论文、项目页（OmniBehavior.github.io）和 GitHub 公开了代码与数据集，200 名用户的 212 万条交互可下载；评测用了 6,000 个平衡任务并给出采样准则；超参与 prompt 见 Appendix C；硬件使用 NVIDIA A800-SXM4-80GB，单卡即可重跑 32K 上下文实验。复现难度主要在三处：一是评估依赖 Claude-Sonnet-4.5 作文本裁判，需要相应 API 访问权限且成本不低；二是部分闭源模型（Claude-Opus-4.5、GPT-5.2、Gemini-3-Flash）API 可能已更新或限流，研究者需在 leaderboard 上重新对齐版本；三是用户画像与历史序列的 prompt 构造涉及长上下文拼接，长度截断策略未在正文详尽披露，需要查 Appendix C.2 才能完全复现。