面向选项选择式模型的图决策诊断基准,覆盖结构认知、图文融合与序列构造
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
多模态
长上下文
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
评测基准
高效推理
自监督学习
工具调用
对比学习
扩散语言模型
参数高效微调
视觉-语言-动作模型
Transformer
工具使用
LoRA
持续学习
自蒸馏
LLM评估
多模态推理
RAG
模仿学习
综述
信息检索
LLM推理
信用分配
在线策略蒸馏
合成数据
模型压缩
模型可自生成重放数据保护旧能力,较大模型还能挑选重放目标。
用教师减基座的偏移替代端点目标做MOPD,目标更近更均衡,省35%算力
把条件记忆变成可编辑知识接口,联合更新共享n-gram嵌入实现近乎完美的知识修改
方向感知的门控与修复让原生NVFP4强化学习稳定训练且提速2.3倍
验证器决定哪些失败轨迹获得教师引导,按组难度加权,弥补GRPO盲区
SHERPA:教会大语言模型自适应地教学
👍 10用多轮强化学习让教师模型适应不同学习偏好的模拟学生,直接最大化学习成效
迈向大语言模型的参数内记忆增强
👍 8以参数位置与获取时机两轴,系统梳理大模型参数内记忆增强方法
把每层要删除的子空间参数化为可学习正交投影,端到端对齐网络输出,高压缩率下大幅超越现有低秩压缩方法
低秩梯度草图+预测KL步长控制,RL训练内存省45.7%,27B单机8卡稳定训练
基础模型可借训练数据中的线索触发推理
👍 12仅固定开头两个token,基础模型推理性能即可追平RL版本
领域继续预训练与验证SFT专用化LLM生成可执行量化代码,并发现工具调用能力退化
用蛋白质结构生成可验证问答与几何信号微调LLM,通用推理基准平均提升3.23个百分点
融合专家输出分布与隐藏状态双重监督,单个1.5B学生模型超越各领域专家教师
用 GMM 门控把微调更新的影响限制在新数据支撑域内,让大模型学新不忘旧
SCALE冻结SFT增量,仅用预测熵学习有符号门控,实现特征的抑制、反转与外推
提出 Box2-Bench 度量选择性依赖,并仅用坏工作流训练出能抵制误导引导的模型
LSD把已解题组路由到EMA自教师做在线蒸馏,消除冗余长度且精度不降反升
按各域反馈方差缩放多教师蒸馏优势,找回被淹没的数学增益
后训练在无关决策上留下行为阴影
👍 44仅凭单个词的教师回复,同源学生即可习得私有小样本微调的能力