GLM-5V-Turbo：迈向多模态智能体的原生基础模型 GLM-5V-Turbo: Toward a Native Foundation Model for Multimodal Agents
Z.ai发布原生多模态智能体基座,集成CogViT与多任务RL。
前置知识
视觉语言模型 (VLM)
视觉语言模型把视觉编码器(如ViT)与语言模型结合,通过投影层将图像/视频token送入LLM主干,实现图文联合理解。代表工作有GPT-4V、Gemini、Qwen-VL等。
GLM-5V-Turbo本身就是一种VLM,只有理解视觉编码器如何接入LLM主干才能看懂CogViT和MMTP的设计动机。
多令牌预测 (Multi-Token Prediction, MTP)
MTP让语言模型在每个位置同时预测后续多个token,通过轻量级共享参数的预测头提升训练信号密度和推理效率,代表工作如DeepSeek-V3,设预测深度 $k$ 则损失 $\mathcal{L}_{MTP}=\sum_{i=1}^k \mathcal{L}_i$。
本文MMTP是MTP的多模态扩展,需先理解文本MTP才能体会视觉token在MTP head中三种方案(直传/mask/占位符)的比较。
GUI Agent
GUI Agent指能像人一样通过观察屏幕、操作鼠标键盘完成任务(规划-动作循环)的AI系统,典型评测如OSWorld(桌面)、AndroidWorld(手机)、WebVoyager(浏览器),核心评估成功率指标。
GLM-5V-Turbo的核心部署场景是智能体在GUI中执行长程任务,涉及截图理解、元素定位、多步规划,是评估模型的关键场景。
强化学习在LLM后训练中的应用
RLHF、GRPO、DPO等方法把人类偏好或规则奖励信号注入LLM,本文使用相对视觉策略优化(Relative VPO)等形式,优势估计为 $\hat{A}_t=\sum_{t'\geq t}\gamma^{t'-t}r_{t'}-V(s_t)$。
GLM-5V-Turbo在30+任务上做联合RL并展示比SFT更稳定的跨域增益,需要理解RL基本原理才能体会多任务协同训练的价值。
上下文并行与序列并行
把超长序列沿序列维度切分到多个GPU以处理单卡放不下的长上下文,形式上设总长度 $L$ 切到 $P$ 个rank则每rank分到 $L/P$ 个token。视觉patch数量往往远超文本,需要专门partition策略避免跨rank通信。
MMTP设计的关键考量是保持对context parallelism/sequence partitioning的兼容,这决定了为何选<|image|>占位符而非直接传视觉embedding。
研究动机
现有智能体系统存在多模态感知与推理执行之间的断层。绝大多数多模态大模型把视觉当作'语言模型的辅助接口'——先用视觉编码器抽特征再喂给LLM,这在GUI操作、长视频理解、网页视觉元素解析等任务下,感知错误会沿流水线向决策和执行环节传播。作者观察到,即便是当前最强VLM,在细粒度感知(RefCOCO-avg仅靠SFT)与空间理解(PointBench)上仍频繁出错;在AndroidWorld、OSWorld这种GUI智能体评测里,感知阶段失误直接导致规划与动作错误。此外,主流MLLM通常在文本训练范式基础上简单堆叠视觉模块,导致多模态RL基础设施(显存、通信、负载均衡)在面对变长视觉输入(尤其是长视频patch)时捉襟见肘,无法支撑30+任务的联合RL优化。
本文的目标是构建一个原生支持多模态智能体的基础模型GLM-5V-Turbo,把视觉感知深度融入推理、规划、工具调用和执行的每一个环节,而非作为外挂接口。具体目标包括:开发专门面向智能体下游任务的视觉编码器CogViT、设计兼顾多模态输入与基础设施友好性的MMTP训练目标、在30+任务类别上做联合多任务RL、并搭建支持大规模多模态RL的训练栈;同时扩展多模态工具链并发布自建评测基准ImageMining,以验证'think with image, deep search with image'范式。最终目标是使GLM-5V-Turbo在多模态编码(Design2Code 94.8)、GUI智能体(AndroidWorld 75.7, OSWorld 62.3)、Claw框架评测(PinchBench 87.0/80.7)等维度达到或超过Claude Opus 4.6、Kimi K-2.5等业界旗舰,同时不牺牲纯文本编码能力(CC-Backend 22.8, CC-Frontend 68.4)。
与已有工作不同的是，本文的独特切入角度是把'感知、推理、规划、执行'视为贯穿模型设计与训练的统一过程,而非分阶段独立优化。三个差异化视角:第一,主张感知仍是高阶能力的根基,提出用多模态编码(如SVG生成)作为感知学习的代理任务;第二,主张智能体能力应通过分层优化(元素感知→单步动作→轨迹级)而非端到端长程RL单一目标来构建;第三,把'任务规范、可靠验证、过程受控'作为端到端长程任务能否成为可优化信号的决定性因素,并以Vision2Web等基准为实例化示范。这种'模型-训练-基础设施-评测-工具链-框架'的协同视角,与单纯堆参数或单纯做长程RL的工作形成鲜明对比。
核心方法
GLM-5V-Turbo的方法可分四层:模型层、训练层、基础设施层、应用层。直觉上,它要解决的核心问题是'如何让一个模型既能看清世界,又能在世界里行动',因此整条技术路线围绕'视觉感知-语言推理-工具执行'闭环展开。模型层引入CogViT视觉编码器和MMTP多模态训练目标;训练层在预训练、SFT、RL三阶段深度融合视觉与语言,并在RL阶段联合优化30+任务;基础设施层为长变长视觉输入的RL设计统一任务/奖励抽象、流水线解耦、细粒度显存管理和拓扑感知的partition;应用层通过扩展多模态工具链、对接Claude Code/AutoClaw等框架,并发布ImageMining基准验证vision-centric deep search能力。
核心创新点有三个,每个都和现有方案有本质区别。第一个是CogViT,不同于SigLIP或DINO这类通用视觉编码器,它专门为智能体下游任务做了两阶段预训练:Stage1用SigLIP2+DINOv3双教师做35% mask的MIM并加入QK-Norm保证logit稳定,Stage2用80亿规模中英双语图文语料做sigmoid SigLIP对比学习并切到NaFlex变分辨率。第二个是MMTP,系统在三种候选方案(直接传视觉embedding、mask掉视觉token、用<|image|>占位符)中选了第三种,本质是用一个共享可学习的特殊token代替所有视觉embedding送给MTP head,既避免跨pipeline并行阶段的视觉embedding通信,又天然兼容sequence/context partitioning。第三是大规模多任务RL,相对单任务RL展现的'跨域干扰更小、思考模式可迁移、覆盖外的领域可能衰退'是新现象。
方法步骤详情
步骤1:CogViT Stage1,双教师(SigLIP2+DINOv3)、35% masking、Muon训练MIM,损失 $\mathcal{L}_{MIM}=\|f_\theta(\tilde{x})-f_{teacher}(x)\|^2$。步骤2:Stage2,8B中英双语图文、sigmoid SigLIP loss、64K batch、NaFlex变分辨率对比学习。步骤3:LLM预训练,CogViT经MLP投影与文本混合,涵盖OCR、coding、GUI、video等十余类。步骤4:SFT加入'感知纠错'critic数据。步骤5:MMTP,视觉token替换为<|image|>占位符。步骤6:30+任务联合RL,使用Relative VPO。步骤7:基础设施——VLM RL Gym统一环境、rollout与reward回调解耦、ViT独立显存、长视频patch数据加载阶段CP/TP partition、序列+ViT token联合bin-packing。步骤8:工具链与框架集成,通过zai_*工具集部署到Claude Code与AutoClaw。
技术新颖性
技术新颖性可从三个维度评估。第一,在视觉编码器层面,大多数通用VLM直接复用SigLIP或CLIP这类预训练编码器,本文则提出专门面向'细粒度识别+几何/空间感知'的CogViT并使用双教师MIM+对比学习两阶段路线,QK-Norm与Muon的组合也并非业界主流配置。第二,在训练目标层面,MMTP的多模态扩展本身就少见,关键在于设计决策有清晰的工程理由(避免跨pipeline并行stage的视觉embedding传播、降低MTP head容量压力),且在0.5B模型上做了Option1 vs Option3的消融验证'占位符方案训练损失更低、收敛更稳定'。第三,在基础设施层面,本工作公开声明的几个工程经验——ViT与projector独立显存管理、长视频patch的数据加载阶段partition、约7GB的GPU通信buffer节省、序列长度+ViT token联合bin-packing——都是面向大规模多模态RL的一手工程洞察,公开材料中很少有如此系统的描述。
实验结果
GLM-5V-Turbo展现'强多模态、稳文本'。多模态工具:ImageMining 30.7、BrowseComp-VL 51.9、MMSearch 72.9、SimpleVQA 78.2,MMSearch-Plus 30.0相对GLM-4.6V近8倍跃升。编码:Design2Code 94.8超Claude Opus 4.6。GUI智能体:AndroidWorld 75.7、OSWorld 62.3。Claw:PinchBench 87.0/80.7、ClawEval 57.7/75.0、ZClawBench 57.6。纯文本:CC-Backend 22.8、CC-Frontend 68.4、CC-RepoExploration 72.2,超越GLM-5-Turbo。RL相对SFT广泛稳定增益:RefCOCO-avg +4.8%、PointBench +3.2%、MVBench +5.6%、SUNRGBD +7.7%、OCRBench +4.2%、CharXiv +7.7%、STEM +1.8%、OSWorld +4.9%、MMSearch +3.5%。RL展示更弱跨域干扰。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ImageMining (vision-centric deep search) | accuracy | 30.7 | GLM-4.6V | 新基准217条覆盖7领域5推理类别 |
| BrowseComp-VL | accuracy | 51.9 | GLM-4.6V | 相对前代大幅提升 |
| MMSearch | accuracy | 72.9 | 前代多模态搜索 | +3.5% RL相对SFT |
| MMSearch-Plus | accuracy | 30.0 | GLM-4.6V | 近8倍跃升 |
| SimpleVQA | accuracy | 78.2 | 前代VLM | 视觉问答领先 |
| Design2Code | score | 94.8 | Claude Opus 4.6 | 超越Claude Opus 4.6 |
| AndroidWorld | success rate | 75.7 | 前代GUI agent | 手机GUI智能体领先 |
| OSWorld | success rate | 62.3 | SFT-only | +4.9% RL相对SFT |
| PinchBench (Claw) | score | 87.0 / 80.7 | 业界Claw评测 | Claw执行大幅领先 |
| ClawEval | score | 57.7 / 75.0 | 前代Claw评测模型 | 显著提升 |
| ZClawBench | score | 57.6 | 业界基准 | Claw综合评测领先 |
| CC-Backend | score | 22.8 | GLM-5-Turbo | +0.2% RL相对SFT |
| CC-Frontend | score | 68.4 | GLM-5-Turbo | 超越纯文本基座 |
| CC-RepoExploration | score | 72.2 | GLM-5-Turbo | 超越纯文本基座 |
| RefCOCO-avg (2D grounding) | accuracy | RL阶段 | SFT-only | +4.8% |
| PointBench | accuracy | RL阶段 | SFT-only | +3.2% |
| MVBench (video) | accuracy | RL阶段 | SFT-only | +5.6% |
| SUNRGBD (3D grounding) | accuracy | RL阶段 | SFT-only | +7.7% |
| OCRBench | accuracy | RL阶段 | SFT-only | +4.2% |
| CharXiv | accuracy | RL阶段 | SFT-only | +7.7% |
| MMMU_Val/MMMU_Pro/MathVista/LogicVista | accuracy | RL阶段 | SFT-only | +1.8% |
局限与改进
作者明确承认的局限集中于第6章'Remaining Challenges',可归纳为三点。其一是'更好智能体策略的涌现'仍是开放问题——智能体训练仍重度依赖人工或强过滤的cold-start轨迹,导致模型只能在熟悉路径附近做局部优化,难以自主发现sub-agent分解、多智能体协作等更丰富的组织形式。其二是'多模态上下文管理'是长程智能体的核心瓶颈——图像/视频消耗context预算远高于文本,系统普遍采取丢弃早期视觉观测的折中,这会损害后续推理;而当前memory机制仍以文本为中心,在压缩视觉细节(布局、空间关系、视频时序变化)上力不从心。其三是'模型与harness的协同塑造'——同一模型在不同任务分解、工具策略、memory设计、验证workflow下表现可能天差地别,harness本身会随模型能力阶段变化而价值翻转。此外,ImageMining 30.7虽然领先但绝对分数仍偏低,说明vision-centric deep search远未被解决;CC-Bench-V2的+0.2%提升也说明视觉加入对编码能力的'不损害'更多是'不拖后腿'而非'显著加成'。
独立分析的弱点
独立观察到的弱点有四点。第一,ImageMining只有217条测试样本且由Z.ai自建,样本规模偏小,统计稳健性需要更大规模的独立复现;30.7的绝对分数也偏低,说明该任务远未饱和。第二,MMTP只在0.5B小模型上做了Option1 vs Option3的消融,未在大模型规模公开验证占位符方案是否仍然最优,可推广性存疑。第三,30+任务联合RL的相对增益幅度分布不均(OCR +4.2%、3D grounding +7.7% vs CC-Backend +0.2%),作者未系统解释为何某些任务类别收益显著而某些几乎持平,缺少per-task reward shaping或task difficulty分析。第四,'覆盖外领域衰退'的现象被一笔带过,缺少量化指标(例如哪些类别衰退、衰退多少),也未给出补救策略(例如定期混入覆盖外domain的数据)。改进方向:为每个评估类别建立单独的held-out probe、用无偏估计量化'覆盖代价'、探索prioritized experience replay或task-conditional PPO以缓解分布坍缩。
未来方向
未来研究方向可分为作者明示与可延伸两类。作者明示的方向:让模型自主发现更好的推理与智能体策略(包括sub-agent分解、多智能体协作、灵活分层决策);设计原生支持视觉保真压缩的多模态memory机制;系统化研究harness与model的co-design,把任务分解、工具策略、memory与验证loop作为可联合优化的设计变量。可延伸方向:第一,把CogViT两阶段训练与MMTP的<|image|>占位符方案推广到视频与音频模态,验证在3D或时序输入下是否仍优于直接传embedding;第二,把相对视觉策略优化(Relative VPO)扩展到多模态reasoning-aware RL,例如对图像区域做hierarchical credit assignment;第三,基于Vision2Web的workflow-based verification思路构建跨域端到端智能体评测套件,让任务规范/验证流程/反馈结构形成可复用协议;第四,把ImageMining的'WEB_VISUAL visual jump'约束形式化并推广为通用metric,使得'是否真正依赖视觉'可被自动量化。
复现评估
复现评估需分维度讨论。开源情况:GLM-5V-Turbo模型权重可通过https://chat.z.ai/体验(部分专有工具),官方skills仓库https://github.com/zai-org/GLM-skills公开,ImageMining基准仓库https://github.com/zai-org/ImageMining公开,但主模型代码与训练数据并未完全开源,第三方难以从零复现完整训练流水线。数据方面:CogViT Stage2使用8B规模中英双语图文语料,RL覆盖30+任务类别,数据规模和组成基本透明但具体来源未完全披露。算力方面:双教师MIM+对比学习两阶段+30+任务联合RL对算力要求极高,64K global batch size的SigLIP loss、35% masking ratio的MIM、长视频CP/TP partition、序列长度+ViT token联合bin-packing都指向千卡以上训练规模,中小实验室难以复现。复现难度因此很高,核心创新点可在0.5B-3B规模做消融,但完整SOTA指标几乎不现实。
论文图表
