Vela：以用户行为为监督点燃大模型智能 Vela: User Behavior as Supervision Sparks LLM Intelligence
把10万用户真实行为变成训练信号，35B模型用户理解与通用能力双提升
前置知识
用户行为序列（隐式反馈）
平台自动记录的时间戳事件流，如浏览、搜索、购买、发帖、关注、点踩。与评分、问卷等显式反馈相对，隐式反馈无需用户额外操作、规模巨大但含噪声（看了不等于喜欢）。Vela 把行为历史在切分点 $t$ 处分为可见历史 $H_{<t}$ 与隐藏未来 $H_{\geq t}$。
整篇论文的监督信号都来自这个『切一刀』的时间结构：前段是模型输入，后段是天然标注。理解它是理解任务构造、评分方式的前提。
set-F1
集合型预测指标 $s(a_i)=\frac{2|\hat{Y}_i\cap Y_i|}{|\hat{Y}_i|+|Y_i|}$，其中 $Y_i$ 是真实答案集合、$\hat{Y}_i$ 是预测集合，同时惩罚漏选和多选。对『预测用户会买哪些商品』这类无序多选问题最为合适。Vela 中开放预测题先用 LLM 评分器把语义等价的预测映射到真实条目，再计算 set-F1。
它是 Vela 中 Predictive 题族（Objective 与 Open-prediction）的核心打分公式，VelaBench 与 PurchaseIntent 等评测都依赖集合匹配类指标。
拒绝采样式蒸馏与 RFT
用强教师模型按任务生成多条解答轨迹，仅保留评分最高且超过阈值的轨迹去微调学生模型，即 SFT 数据的『择优蒸馏』。RFT（拒绝采样微调/自蒸馏）则让学生模型自生成轨迹再训练自己，用于对齐自身能力上限。Vela 的轨迹准入规则（最高分须超过难度过滤阶段的均分）是典型实现。
Vela-Instruct（教师 2.4T 模型生成）与 Vela-RFT（35B 模型自生成）的构造方式，以及两版模型 11.5 对 2.0 分的性能差距，都建立在这套流程的理解之上。
GSPO
Group Sequence Policy Optimization，Qwen 团队提出的序列级强化学习算法：对同一 prompt 采样一组响应，用组内序列级奖励的相对优势替代 token 级优势估计，避免了长度与噪声带来的不稳定。论文用完全相同的 GSPO 配置，分别从基座模型和 Vela SFT 检查点出发做 RL，比较不同起点的最终效果。
Figure 6 的 RL 实验（同为 GSPO、起点不同、差 7.7 分）是论文『更强基座』论点的关键证据，需要理解 GSPO 作为受控变量的角色。
分布外（OOD）评测
用与训练数据构造过程独立的基准检验泛化能力，避免『背模板』的虚假收益。本文分两组：用户相关 OOD（PurchaseIntent、ProfileSummary、PersonaBench、AdRecommendation，均为独立构建的真实行为基准）与通用 OOD（AIME 2026、GPQA-Diamond、IFBench、CL-bench、CL-bench Life），分别回答泛化与通用能力两个问题。
论文的核心主张——用户行为训练不只提升域内任务、还迁移到 OOD 场景甚至通用能力——完全依赖这组 OOD 基准的证据链。
研究动机
现有 LLM 的训练语料以网页、教科书、代码和合成数据为主，这些来源即使涉及用户内容，也无法刻画具体个人行为如何随时间演化，导致模型在『用户维度智能』上明显不足——即从数周到数年的真实行为历史中推断个体偏好、意图与未来动作的能力。近期评测显示，通用能力更强的模型在用户面向场景中并不总是更好：给定行为历史时模型会漂向平均用户画像（OmniBehavior），历史越长准确率越低（FineRob），个性化能力薄弱（PrefEval 等）。而真实应用——从基于长期行为历史执行动作的个人助手，到预测用户行为的推荐与广告系统——恰恰要求个性化、长时程、证据约束的判断。例如判断某个具体用户接下来会买什么，必须从其浏览、搜索、购买记录中整合证据并追踪偏好变化，这是静态文本或合成数据训练无法覆盖的。
本文的目标是本文提出并验证『以用户行为为监督』（user behavior as supervision）范式：训练信号直接来自用户在内容平台上的真实行为，用户后续的实际动作就是天然标注。具体由 Vela 框架落地三个研究目标：(1) 解决工程问题——把 10 万匿名用户、跨度数周到数年、含浏览/搜索/购买/发帖/关注/点踩六类行为的记录，经 91 个真实任务模板转化为 10 万个可训练任务与训练轨迹；(2) 量化收益——用这些数据微调 Qwen3.6-35B-A3B，检验能否在 VelaBench（982 个 held-out 任务）和 4 个用户相关 OOD 基准上大幅超越基座；(3) 检验副作用——这类数据究竟是增强还是损害通用能力（AIME 2026、GPQA-Diamond、IFBench、CL-bench 等 5 个通用 OOD 基准），并进一步考察数据规模扩展和作为 RL 起点的价值。
与已有工作不同的是，已有工作多把用户行为数据用于单一应用：P5 把多个推荐任务统一成 text-to-text 目标，RLPF 用预测反馈优化用户摘要，DEEPER 用预测与观测行为的偏差修正动态画像。这些研究停留在特定任务上，留下三个开放问题：如何系统性地把异构原始行为记录转化为多样化且监督良好的可训练任务；在行为数据上训练能在多大程度上提升广义的用户相关智能；以及它对通用能力是增益还是损害。Vela 的独特切入在于：不为某个应用定制数据集，而是设计覆盖 6 类行为、4 种题型、91 个模板的完整任务体系，让隐藏未来的真实行为直接充当预测题的 ground truth、可见历史充当 Rubric 题的评分依据，并首次系统评估该范式在 10 个基准、5 个数据规模（4.7K 到 75K）以及 GSPO 强化学习起点上的表现。
核心方法
直觉很朴素：用户『接下来真正做了什么』是对其历史最可靠的标注。与其靠人工标注或让模型编造偏好，不如在行为日志时间轴上切一刀，让模型看着前段（可见历史 $H_{<t}$）推测后段（隐藏未来 $H_{\geq t}$），再用后段真实行为打分。技术上 Vela 分四步：(1) 数据整理——10 万用户匿名记录按浏览/搜索/购买/发帖/关注/点踩六类组织成时间戳事件流；(2) 任务合成——用 91 个模板（Predictive 族的 Objective/Open-prediction，Rubric 族的 Open/Attribution）实例化复合任务，每题得分 $s(a_i)\in[0,1]$，任务得分为 $k$ 题均值；(3) 难度过滤——基座作答 4 次估计难度，保留均分 $[0.2,0.8]$ 的中等难度任务；(4) 轨迹生成与筛选——每任务 4 条轨迹择优保留，形成 Vela-Instruct（约 7.5 万条）与 Vela-RFT（9,375 条），分别微调出 Vela-35B-A3B 与 RFT 版本。
核心创新是把『未来行为』变成免费且真实的监督信号。与静态文本或合成数据不同，用户行为记录自带时间结构：切分点 $t$ 前是输入、后是答案。预测题的 ground truth 由确定性规则从 $H_{\geq t}$ 提取，Objective 题做精确集合匹配，Open-prediction 题经语义映射后用 set-F1 $s(a_i)=\frac{2|\hat{Y}_i\cap Y_i|}{|\hat{Y}_i|+|Y_i|}$ 打分；Rubric 题（画像总结、行为归因）以可见历史为证据基准，由评分器按任务特定 rubric 打分。与 P5、RLPF 等单任务工作的本质区别有三点：其一，任务体系横跨 6 类行为与 4 种题型，且对同一未来事件只在 Predictive 与 Attribution 模板中二选一，防止归因题泄露预测答案；其二，难度过滤把训练集中在基座均分 $[0.2,0.8]$ 的区间，既排除秒杀的简单题也排除学不会的超难题；其三，轨迹择优且须超过难度均分的准入机制，保证每条训练数据都高于基座当前水平。
方法步骤详情
第一步数据整理：对某社交媒体平台 10 万用户记录去除姓名、联系方式、账号 ID 等 PII，涉 PII 记录整条剔除，按六类行为组织成事件流。第二步任务合成：用 Qwen3.6-35B-A3B 分词器把历史切成 72K-120K token 片段，前约三分之二为可见历史 $H_{<t}$、其余为隐藏未来 $H_{\geq t}$；同一未来事件只在 Predictive 与 Attribution 模板中二选一以防答案泄露；Objective 题自动生成含干扰项的候选列表，Open 与 Attribution 题由 Qwen3.8-2.4T-A95B 作曲家生成问题与 rubric，共得 10 万任务。第三步难度过滤：基座关思考作答 4 次，保留均分 $[0.2,0.8]$ 的任务。第四步轨迹生成：每任务生成 4 条轨迹，最高分超过难度均分才保留；2.4T 教师生成 Vela-Instruct（约 7.5 万条），35B 自生成 Vela-RFT（9,375 条）。最后用 Swift 微调：打包 131,072 token、2 epoch、学习率 $1\times10^{-5}$。
技术新颖性
技术新颖性体现在三个层面。范式层：首次把『真实用户行为』确立为可扩展的通用监督源——在公开人类文本逐渐成为 scaling 瓶颈的背景下，行为数据是仍在持续增长的信号源，且其时间切分结构让标注零成本。系统层：91 个模板按 6 类行为 × 4 题型（Objective 28、Open-prediction 22、Open 12、Attribution 29）组合，配合『预测/归因互斥』设计规避答案泄露，这是数据工程上精细的防泄漏机制；难度过滤 + 轨迹准入的双重质量控制把 10 万候选压缩到 7.5 万高质量样本。实证层：首次系统回答了三个此前开放的问题——行为数据训练可迁移到 OOD 用户场景（平均 +6.2）、可增强而非损害通用能力（平均 +4.0）、可作为比基座更强的 RL 起点（GSPO 后 +7.7）。消融还量化了难度过滤的独立贡献（用户 OOD +1.1），这种把范式、数据管道、规模曲线、RL 起点串成完整证据链的做法在同类工作中少见。
实验结果
主结果：Vela-35B-A3B 在 10 个基准全部超越 35B 基座 Qwen3.6-35B-A3B。域内 VelaBench 51.5→63.0（+11.5），超过 2.4T 的 Qwen3.8-2.4T-A95B 与 284B 的 DeepSeek-V4-Flash。用户 OOD 平均 41.3→47.5（+6.2）：AdRecommendation +11.2、ProfileSummary +10.1、PersonaBench +3.2、PurchaseIntent 仅 +0.2。通用 OOD 平均 +4.0：IFBench +6.7、CL-bench Life +5.6、GPQA +4.6、AIME +0.8，五项全正。自蒸馏 RFT 版仅 +2.0 且通用持平，教师轨迹质量是关键。消融：难度过滤令用户 OOD 再 +1.1。规模化：4.7K 样本即达 59.2，75K 达 63.0 未饱和，两类 OOD 同步上升。RL：同为 GSPO，Vela 起点较基座在 VelaBench（66.2/58.5）与 ProfileSummary（37.6/29.9）均高 7.7 分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VelaBench（域内用户理解，982 个 held-out 任务） | set-F1 与 rubric 均分综合 | 63.0 | Qwen3.6-35B-A3B 51.5 | +11.5（并超过 2.4T 参数的 Qwen3.8-2.4T-A95B 的 62.3） |
| AdRecommendation（广告推荐查询生成，用户 OOD） | LLM 评分器 rubric（意图推断与广告交互） | 62.3 | Qwen3.6-35B-A3B 51.1 | +11.2，追平 DeepSeek-V4-Flash |
| ProfileSummary（用户画像与兴趣结构化总结，用户 OOD） | 画像/核心兴趣/推断兴趣三组 rubric | 30.5 | Qwen3.6-35B-A3B 20.4 | +10.1（RL 后可达 37.6） |
| IFBench（指令遵循，通用 OOD） | 规则化评分 | 69.2 | Qwen3.6-35B-A3B 62.5 | +6.7 |
| GPQA-Diamond（科学问答，通用 OOD） | 准确率 | 87.4 | Qwen3.6-35B-A3B 82.8 | +4.6（RFT 变体则降至 80.8，-2.0） |
| 通用 OOD 五基准平均（AIME 2026 / GPQA / IFBench / CL-bench / CL-bench Life） | 各基准平均 | 58.2 | Qwen3.6-35B-A3B 54.2 | +4.0，五项全部为正 |
局限与改进
作者坦承的局限：数据来自单一社交媒体平台，六类行为未必覆盖其他场景；语料匿名且不公开，仅承诺开源模板、prompt 与代码；ProfileSummary 等任务的绝对分数仍低（30.5），说明用户建模远未解决。我的补充观察：(1) PurchaseIntent 仅 +0.2（44.0 vs 43.8），候选排序类任务几乎没有收益，可能与候选列表构造和 recall@20 指标的饱和有关；(2) VelaBench 与训练任务共用 91 个模板和同一个评分器（Qwen3.8-2.4T-A95B），评分器偏差与模板适应可能放大表观收益，尽管 OOD 增益部分缓解了这一担忧；(3) 对比模型思考档位与训练数据各不相同，横向比较公平性存疑；(4) RFT 版本仅 9,375 条样本，规模太小，难以支撑对自蒸馏路线的强结论；(5) 通用能力 +4.0 的机理未做分析，无法排除是 131K 长序列打包训练带来的副效应而非行为监督本身；(6) 隐私仅做了标识符去除，行为序列本身的再识别风险（去匿名化攻击）未讨论。
独立分析的弱点
弱点一，任务同构风险：VelaBench 与训练集共用 91 个模板、同一作曲家与评分器，+11.5 的域内提升中可能含有模板适应成分。改进方向：按模板家族做 leave-one-out 消融，报告未见模板类型上的表现。弱点二，行为不等于偏好：购买、点踩等行为受平台推荐算法、库存和促销影响，把行为当 ground truth 会把系统偏差注入模型。改进方向：引入反事实校正或按行为置信度（如自然回访、对比浏览后购买）加权。弱点三，评分器单点依赖：作曲家、评分器均为 Qwen3.8-2.4T-A95B，Rubric 题分数可能系统性偏向该模型的风格。改进方向：多评分器集成并报告评分者间一致性（如 Kappa）。弱点四，长上下文成本：片段长 72K-120K token，训练用 131K 打包，推理时上下文开销巨大，论文未报告延迟与成本。改进方向：研究行为历史压缩、证据检索或分层摘要替代全量历史。弱点五，规模单一：仅在 35B-A3B 一个模型上验证，结论对小模型或稠密模型的外推性未知，且 RFT 样本量过小（9,375）使自蒸馏结论不牢。
未来方向
作者提出将该范式扩展到更多真实任务与场景。基于成果可延伸的方向：(1) 数据规模继续上探——Figure 5 显示 37.5K→75K 在 VelaBench 上仍在增长且未饱和，百万用户量级的 scaling 行为值得验证；(2) 多平台多模态行为融合，如点击流、视频观看时长、语音助手交互，检验监督信号的跨域鲁棒性；(3) 把『行为作为监督』推广到 Agent 训练：用户对 Agent 动作的接受/拒绝/修正天然构成 reward 信号，可与 GSPO 结合做在线 RFT，这是本文 RL 实验的直接延伸；(4) 系统研究轨迹质量与教师规模的定量关系（本文只有 2.4T 教师与 35B 自蒸馏两个点）；(5) 隐私增强训练：联邦式或差分隐私下的行为监督，以及合成行为数据的隐私-效用权衡；(6) 机理分析：为何用户行为数据能提升 IFBench（+6.7）与 CL-bench Life（+5.6）这类与用户无关的通用指标，可用表示探针定位可迁移能力的来源；(7) 难度过滤的自动化：目前用固定阈值 $[0.2,0.8]$，可探索随训练进程动态调整的课程学习。
复现评估
开源情况：论文承诺公开任务模板、生成与评分 prompt、训练与评测代码（GitHub: AllSpark-Research/Vela），可复现性声明较为具体，附录提供了行为记录示例与模板。核心障碍是数据：10 万用户行为记录来自未具名社交媒体平台且经匿名化，外界几乎不可能获得等价数据，复现者只能用公开数据集（电商日志、Reddit 历史、移动 App 使用记录）替代，任务分布会有显著差异，论文数字基本无法逐位复现。算力方面：微调 35B-A3B MoE 用 Swift 框架、131K token 打包、2 epoch，估计需要数十张 A100/H100 级别的卡；更大的隐性成本在数据构造——用 Qwen3.8-2.4T-A95B（xhigh 档）作曲 10 万任务、难度过滤对每任务评分 4 次响应、轨迹生成再评分数十万次，API 或私有部署成本不菲。流程规则明确（切分比例、二选一策略、阈值 $[0.2,0.8]$、择优准入），逻辑上可完整重实现。总体评估：中等偏高难度——管道可复现，结果难复现，建议后来者以替代数据集验证方法有效性而非复现具体分数。
论文图表
