用复合奖励信号的强化学习训练医学视觉语言模型,实现开放性临床推理
标签:
全部
强化学习
扩散模型
大语言模型
基准测试
视频生成
LLM智能体
世界模型
视觉语言模型
GRPO
多模态大模型
知识蒸馏
基准评测
具身智能
流匹配
机器人操作
多智能体系统
智能体
LLM Agent
可解释性
图像生成
代码生成
多模态学习
检索增强生成
注意力机制
RLVR
后训练
视频理解
机器人学习
长上下文
多模态
数学推理
图像编辑
VLA
数据合成
多模态大语言模型
推理加速
高效推理
评测基准
自监督学习
工具调用
对比学习
扩散语言模型
视觉-语言-动作模型
参数高效微调
Transformer
工具使用
LoRA
持续学习
LLM评估
自蒸馏
多模态推理
RAG
模仿学习
综述
LLM推理
信息检索
信用分配
在线策略蒸馏
模型压缩
合成数据
提出稀疏拓扑注意力和33K多尺度QA数据集,专攻肝癌WSI诊断
提出多层次评估框架,揭示MLLMs在双手协调中「高级推理强、精细执行弱」的协调悖论
提出基于可执行代码的框架评估MLLMs物理推理能力,发现模型依赖视觉模式匹配而非真正物理理解
字节跳动医疗AI团队提出的医疗视觉语言基础模型,在30+基准测试中达到SOTA性能。
提出结构化属性指令数据集ASID-1M和验证管道,显著提升视频描述的细粒度和可靠性
通过训练时区域蒸馏取代推理时工具缩放,实现单次前向传播的细粒度视觉感知。
以草稿进行思考:基于逻辑重建的光学解压
👍 36将视觉推理重构为逻辑解压,通过极简DSL草稿实现确定性视觉验证
面向可验证推理的多模态事实级归因
👍 3提出 MURGAT 基准,评估 MLLM 在复杂推理中为每个事实提供精确多模态引用的能力
仅用60K纯文本对微调,从视频MLLM中间层提取嵌入即可达到视频检索SOTA
通过四阶段训练流程(中期训练、离线强化学习、在线强化学习、模型合并)构建统一的GUI智能体,在多个基准测试中达到SOTA
提出Demo驱动的视频上下文学习任务与基准,通过两阶段训练提升MLLM从演示中学习新技能的能力
通过RL训练的策略模型自适应决定何时及如何使用世界模型进行视觉空间推理
让分割模型像人一样边搜边想,突破 MLLM 内部知识瓶颈
多模态过程奖励模型的训练数据效率研究
👍 60提出BIS评分筛选MPRM训练rollout,10%数据即可匹配全量性能
提出MCR框架,通过结构化跨模态推理消除MLLM在定位命名实体识别中的模态偏见
揭示指令令牌作为模态仲裁结构锚点,浅层缓冲深层仲裁的稀疏头机制
通过多轮强化学习训练MLLM自主调用分割工具,实现超越人工提示的医学图像分割
面向多模态大语言模型的认知超感知
👍 15用视觉想象链增强MLLM的认知推理能力
通过自评估模态相关性动态调整对比解码权重,无需训练即可抑制跨模态幻觉