用可执行仿真代码作特权上下文,经在线自蒸馏让视频模型内化物理规律,3K样本超越80K SFT
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
系统地将五种扩散模型RL目标适配到少步蒸馏模型,统一代码库对比并给出选型指南
冻结编码器+最长稳定前缀训练,让流式语音识别输出永不回改且逼近全上下文精度
检测教师漂移起点并验证可恢复性,只在可教前缀上蒸馏,提升低资源语言推理。
用实例级反思门控与跨轮次奖励记忆,自适应校准多源情感奖励的信任权重
首个token级自适应OPSD:多教师池配合投票与KL选择,逐token匹配最优监督
历史引导轨迹采集:只定投入位置、不进智能体上下文,解决率提升2.33点
把自身权重量化或剪枝成弱副本,用两者token级对比作密集监督,无需特权信息即可提升推理
十个前沿AI智能体在真实资源约束下自主后训练同一基座模型,并用人类投票反馈继续改进
发现提示内容几乎不重要,定位首个错误步骤的位置才是自蒸馏收益来源
多领域后训练数据策划基准:评测智能体能否让模型在五域同时持续进步
仅凭主题词让模型自编题目自造答案,经自蒸馏循环实现零数据自我提升
开放数据级联蒸馏加专家RL与多教师在线蒸馏,4B模型以更少数据超越8B对手
组合任务触发隐式思考预算缩水,长推理任务率先失效,按脆弱性分批可省43%token
用分层SFT与窗口交互强化学习训练35B MoE模型,自主完成长程机器学习实验优化
四个前沿智能体104小时自主把Qwen3-4B基座后训练到官方指令模型水平
用构建-执行-修订闭环批量合成带状态用户模拟器的协作环境,训练出的小模型比肩千亿参数模型。
SFT初始化后,在16个可验证奖励合成环境中做PPO,让游戏操控超越演示并泛化到未见游戏。
三个智能体组成评估-诊断-生成闭环,让文生图模型自动生成适配自身弱点的RL训练数据
Vela:以用户行为为监督点燃大模型智能
👍 76把10万用户真实行为变成训练信号,35B模型用户理解与通用能力双提升