独立训练的 Transformer 权重千差万别,但都收敛到同一低维算法核心
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出用认知模型和AI算法作为语言代理设计模板的方法论框架
用离散动作模板替代温度采样,提升思维树的多样性和可控性
发现音频扩散模型存在语义瓶颈层,局部激活转向实现最优音乐概念控制
将推理时转向向量转化为组件级 rank-1 权重编辑,实现更优的属性-效用权衡
整合安全评估与内部诊断的开源工具包,实现从黑盒测试到白盒洞察的范式转变
通过梯度归因定位安全关键神经元并进行聚类微调,在极少参数下显著提升代码安全性
提出LATENTLENS方法,证明LLM中视觉token在各层均具有高度可解释性
用混合因子分析器将LM激活空间分解为低秩高斯区域,实现更好的可解释性和控制
可靠且负责的基础模型:综合综述
👍 8横跨9个维度系统梳理基础模型可靠性与责任感的研究全景图
学习大语言模型激活的生成式元模型
👍 5用扩散模型学习LLM激活分布,作为先验提升引导干预和可解释性
提出Data2Behavior任务和MDF方法,在微调前预测训练数据可能诱导的意外偏差和安全风险
LLMs的CoT推理是近视的增量转换,而非全局规划
揭示指令令牌作为模态仲裁结构锚点,浅层缓冲深层仲裁的稀疏头机制
将FFN解耦为无上下文的token级神经检索记忆,提升可解释性并支持预计算卸载
大语言模型中的稀疏奖励子系统
👍 13发现LLM隐藏状态中存在稀疏的奖励相关神经元子系统
将权重微调、LoRA 和激活引导统一为动态权重更新,揭示偏好-效用权衡规律
RLVR优化的推理模型作为嵌入模型骨干时并无优势,但对比学习可对齐两者
用影响函数追踪 LLM 可解释单元到训练样本的因果起源
语言模型的线性表征(如事实性维度)会随对话动态翻转,对可解释性构成挑战