← 前一天
2026-02-05
后一天 → 今日

FASA：基于频率感知的稀疏注意力机制

👍 154

利用 RoPE 频率块的功能稀疏性，训练无关地动态预测 token 重要性以压缩 KV 缓存

Yifei Wang, Yueqi Wang, Zhenrui Yue, Huimin Zeng, Yong Wang, Ismini...
KV缓存压缩 RoPE 注意力稀疏化 长上下文 高效推理
✅ 已总结
详情 →

多模态过程奖励模型的训练数据效率研究

👍 80

提出BIS评分筛选MPRM训练rollout，10%数据即可匹配全量性能

Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan...
多模态大语言模型 强化学习 数据选择 视觉推理 过程奖励模型
✅ 已总结
详情 →

重新思考大语言模型强化学习中的信赖域

👍 38

用散度约束替换PPO的比率裁剪，解决LLM强化学习中训练不稳定和效率低下的问题

Penghui Qi, Xiangxin Zhou, Zichen Liu, Tianyu Pang, Chao Du, Min Lin, Wee Sun Lee
PPO RLHF 信赖域优化 大语言模型微调 强化学习
✅ 已总结
详情 →

残差上下文扩散语言模型

👍 37

通过回收被丢弃的中间计算信号，显著提升扩散语言模型的推理准确率

Yuezhou Hu, Harman Singh, Monishwaran Maheswaran, Haocheng Xi, Coleman...
并行解码 扩散语言模型 数学推理 残差学习 高效推理
✅ 已总结
详情 →

自提示语言模型增强强化学习

👍 31

通过训练时注入自生成提示解决 GRPO 稀疏奖励下的优势崩塌问题

Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian
GRPO 大语言模型对齐 强化学习 数学推理 策略优化
✅ 已总结
详情 →

CL-Bench：上下文学习能力基准测试

👍 23

首个评估大模型从复杂上下文中学习新知识能力的基准，当前最强模型仅解决23.7%任务。

Shihan Dou, Ming Zhang, Zhangyue Yin, Chenhao Huang, Yujiong Shen, Junzhe...
上下文学习 基准测试 大语言模型评估 长上下文推理
✅ 已总结
详情 →

VLS：通过视觉语言模型引导预训练机器人策略

👍 22

提出训练无关的推理时引导框架，利用VLM生成可微奖励函数来引导冻结的机器人扩散策略适应分布外场景。

Shuo Liu, Ishneet Sukhvinder Singh, Yiqing Xu, Jiafei Duan, Ranjay Krishna
扩散策略 推理时适应 机器人学习 模仿学习 视觉语言模型
✅ 已总结
详情 →

量化统一多模态模型中理解与生成之间的鸿沟

👍 12

提出GAPEVAL双向基准，揭示当前统一多模态模型仅实现表面统一而非深层认知融合

Chenlong Wang, Yuhang Chen, Zhihan Hu, Dongping Chen, Wenhu Chen, Sarah...
Item Response Theory 多模态模型 理解与生成 知识对齐 评估基准
✅ 已总结
详情 →

面向通用LLM推理的基于似然的奖励设计

👍 8

对数概率奖励在可验证和不可验证领域均为CoT训练提供统一信号

Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier
大语言模型 奖励设计 强化学习 推理优化 链式思维
✅ 已总结
详情 →

A2Eval：具身智能的自主自动评测框架

👍 8

用两个协作智能体自动构建平衡评测基准并生成可执行评测流程，压缩85%冗余样本、降低77%评测成本

Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi...
具身智能 多智能体系统 自动化评估 视觉语言模型 评测基准
✅ 已总结
详情 →

利用虚拟头实现高效自回归视频扩散

👍 8

通过识别并压缩注意力中的虚拟头实现自回归视频扩散模型的无损加速

Hang Guo, Zhaoyang Jia, Jiahao Li, Bin Li, Yuanhao Cai, Jiangshan Wang,...
KV缓存压缩 扩散模型 推理加速 注意力优化 视频生成
✅ 已总结
详情 →

面向多智能体讨论的上下文学习方法

👍 4

通过学习动态上下文生成器，解决多LLM讨论中的不一致性问题，提升20%-50%性能

Xingyuan Hua, Sheng Yue, Xinyi Li, Yizhe Zhao, Jinrui Zhang, Ju Ren
上下文学习 多智能体系统 大语言模型协作 讨论一致性
✅ 已总结
详情 →

HalluHard：一个困难的多轮幻觉评测基准

👍 4

提出950道高难度多轮幻觉基准，揭示前沿LLM仍存在约30%+的幻觉率

Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko
事实性评估 基准测试 多轮对话 大语言模型 幻觉评测
✅ 已总结
详情 →

代理压缩用于语言建模

👍 3

通过混合压缩和原始字节表示训练，实现高效语言建模并保持字节级推理接口

Lin Zheng, Xinyu Li, Qian Liu, Xiachong Feng, Lingpeng Kong
压缩 字节级模型 表示学习 训练效率 语言建模
✅ 已总结
详情 →