307M参数的土耳其语掩码扩散语言模型,媲美数倍大的自回归模型
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
仅调约102个缩放参数,用进化策略校准 DiT 各模块权重,即可显著提升生成质量并加速推理
通过因式分解范数和融合 Triton 内核,解决 DoRA 高秩配置下的内存和效率瓶颈
LoRA2让每个LoRA组件自适应学习最优秩,在保持生成质量的同时大幅降低内存消耗
通过零初始化低秩残差适配器,在冻结的 ViT 上实现参数高效迁移学习
通过LoRA和超图神经网络高效适配通用医学视觉语言模型
通过异构归纳偏置和压缩瓶颈结构,实现视觉-语言模型的高效少样本适应
首次在原生3D空间实现骨架精确控制的轻量级生成框架
用可学习前瞻 token 和轻量 LoRA 预测未来注意力重要性,实现零开销高效 KV 缓存驱逐
用 Task Vector 表征口音方向,通过缩放与组合实现细粒度口音强度控制和混合口音合成
通过低秩旋转建模权重方向变化,将多步扩散蒸馏为高质量单步生成器,参数效率提升10倍。
通过强化学习训练路由器,解决LoRA混合模型中路由权重塌陷问题
用上三角矩阵W把图像特征几何变换后再与文本匹配
用可验证物理奖励和LoRA微调小型推理模型求解梁静力学,发现模型学到程序模板而非物理方程
ROSA2 提出词与权重的联合优化框架,将多轮测试时策略适配的准确率提升30%并减少40%对话轮次。
用Dynamic LoRA提升少数民族语言OCR性能39%-66%
用 LoRA 权重基底跨越视觉类比空间
👍 13提出 LoRWeB,通过可学习的 LoRA 基底和动态编码器组合,实现对未见视觉类比任务的泛化编辑。
通过识别和聚类安全相关神经元,实现高效的后置安全对齐,大幅减少训练参数并保持模型能力。
通过梯度归因定位安全关键神经元并进行聚类微调,在极少参数下显著提升代码安全性
用模型自身参数初始化旁路FFN记忆,实现高效测试时训练