Meta发布首个支持1600+语言的MT系统,小模型性能超越70B大模型
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
元认知驱动框架,提升跨学科创意新颖性
通过策略驱动的技能选择与分层奖励实现数学推理能力的持续进化
提出AttnRes用softmax注意力替代固定残差累加,解决PreNorm深度信息稀释问题
混合深度注意力机制(MoDA)
👍 83MoDA:通过跨层深度KV注意力解决LLM深度扩展中的信息稀释问题
大语言模型中的动机研究
👍 17LLM展现类人动机结构:自报告动机可预测行为与表现
揭示LLM推理中'认识论不确定性外化'的关键作用及其信息论框架
基于宝可梦的大规模AI决策基准,含对战与速通双赛道评估框架
将细粒度专家设计从中间维度扩展到输出维度,突破现有MoE缩放律的性能瓶颈
LMEB:长时记忆嵌入基准测试
👍 75提出针对长期记忆检索的嵌入模型评估框架,涵盖4类记忆、22个数据集、193个检索任务
通过持久记忆和自进化机制,让多智能体AI科学家从失败中学习并持续提升研究能力
通过均值-残差分解隔离激活异常值,实现稳定高效的FP4训练
大模型预训练权重附近密布着多样化的任务专家
基于元强化学习与自我反思的智能体搜索
👍 11MR-Search:元RL结合自我反思解决稀疏奖励下的智能体搜索
提出关联创造力基准,通过知识图谱路径生成评估LLM的创意联想能力
通过压缩LLM潜在响应生成输出空间嵌入,无需标注数据
ICRL:纯RL框架实现LLM工具调用,无需SFT,渐进消除少样本提示
聚合外部批评与组内对比两种NL反馈,以离策略脚手架引导RL探索,实现2.2倍样本效率提升
通过强化学习训练路由器,解决LoRA混合模型中路由权重塌陷问题
用预训练的泛化价值模型V0作为先验,自适应融合稀疏采样经验均值,实现低方差基线估计