WeVisOne-VL：从物体到像素的统一视觉感知模型 WeVisOne-VL: Unified Visual Perception from Objects to Pixels

第一步，数据引擎 WDE（Section 2）。知识图谱以 Wikipedia/WordNet 初始化，组织类别概念与 referring 表达并做规范化；据此定向采集图像-query 对。检测标注：SAM3 与自研 DINO 式开放词汇检测器并行出候选，合并成共享候选池，再用 Qwen3-VL 逐候选做 query-区域语义复核、去重并解决冲突。Referring 标注：在 SAM3 Agent 框架上加入自研检测器作为第二定位专家，Qwen3-VL 检查表达中的属性、状态、动作、关系约束并区分目标与上下文物体。随后 SAM2 为每个实例生成可见区域 binary mask，mask 继承所属 query。难例构造：从混淆概念、视觉相似类别、受控改写（如把「红车」改成「蓝车」必须全图复核确认图中确无蓝车才能成为负例）与模型失败四种来源构造；hard negative 的目标集为空，教模型拒绝。Matting 流水线：对每个带 mask 的实例取 BiRefNet 的 $\alpha_B$ 与 MatAnyone2 的 $\alpha_M$ 两个候选，BiRefNet 候选须通过八项空间一致性检查（$|B| \ge 8$、IoU$\ge 0.5$、覆盖率$\ge 0.5$、前景精度$\ge 0.8$、面积比$\in[0.5,2]$、框 IoU$\ge 0.7$、质心偏移$\le 0.15$ 倍对角线等），否则在 IoU$\ge 0.9$ 时回退 MatAnyone2，再不行保留原 mask；然后用冻结的 SAM2.1-Base+ 加可训练 matting head（多尺度 L1 与 Laplacian 损失训练）训练专用标注器，对全部实例重标注生成最终 alpha 伪标签。每轮训练后组织错误审查，区分模型错误与标注错误，分别走采样加权或退回修正。最终产出 1 亿图像、约 36 亿框。第二步，三阶段课程 SFT（Table 1、11）。S1 任务对齐：冻结 ViT 与 projector，只训 LLM，90.2M 样本、13K 步，每图 16–512 visual token，上下文 4096，单类响应限 50 框以内以防极稠密样本引发的重复输出坍塌，像素任务此时只做下一词元预测监督。S2 分辨率与密度扩展：解冻全部模块，visual token 上限提到 1960、单响应最多 500 框、上下文 8192，40.5M 样本 9K 步。S3 token–pixel 交替：先用 250M 分割样本对随机初始化的解码器 warm-up 100K 步（$\mathcal{L}_{seg} = 20\mathcal{L}_{focal} + \mathcal{L}_{dice}$，512×512 输出），只保留解码器权重与学到的 嵌入挂回 S2 checkpoint；再以 1:1 比例交替 NTP 与分割任务联合训练 9K 步（$\mathcal{L}_{joint} = \mathcal{L}_{NTP} + 10\mathcal{L}_{seg}$，LLM 用 LoRA r=128）；最后冻结 VLM，用 130M matting 样本以 1024×1024 分辨率微调解码器 100K 步（$\mathcal{L}_{mat} = 200\mathcal{L}_{l1} + 5\mathcal{L}_{grad} + 50\mathcal{L}_{lap} + \mathcal{L}_{hard}$）。第三步，混合任务 RL：用 SFT 模型对候选 prompt 采样一组回答计算奖励，以不确定性分数 $U(x) = 4\mu_x(1-\mu_x)\sigma_x$ 挑出「有时成功有时失败」的中等难度样本约 140K，补齐框监督与 pointing 数据共 178K；用 GRPO（每组 G=8）优化完整结构化响应的 grounding reward：$r_i = 2\sum_{(\hat{b},b^*) \in \mathcal{M}_i} \mathrm{IoU}(\hat{b},b^*)^3 \big/ (N_{gt} + N_{pred})$，其中 $\mathcal{M}_i$ 是按语义类别做的匈牙利一对一匹配，IoU 取三次方以放大高 IoU 区间的精度差异，同时惩罚漏检与重复；负样本只有不输出任何目标才得奖励 1；分割任务要求框后必须跟 。SFT 用 128 卡、RL 用 160 卡。

与最近的 VLM 定位模型相比：Rex-Omni 同样用量化坐标 token 和几何感知 RL，但输出止步于框/点/OCR 文本，本文在其上加 →像素输出的桥梁，并系统性训练拒绝能力；LocateAnything 走并行解码路线追求速度，本文坚持自回归但补齐像素与拒绝。与指代分割模型相比：LISA 把 [SEG] 类 token 映射到 mask 解码器，但查询与本文的「 隐藏状态 + 框先验 Fourier 编码」实例化方式不同，且均无 alpha 连续输出，Ref-ZOM 拒绝率（GSVA 41.9%、UniPixel 0.3%）远低于本文 86.0%；Text4Seg 把 mask 序列化为文本，token 开销大且边界精度受限。与 MLLM+SAM 组合（Sa2VA、SAM2-Matting、Matte Anything）相比：省去独立大分割模型，语言条件抠图开箱即用，WeRefMat 上 referring prompt 的 MAD 9.8 对 Qwen3.5-9B+SAM2-Matting 的 22.4。数据侧与 GRIT 等自动标注工作的区别在于：共享知识图谱驱动的语义发现、跨任务实例对齐、alpha 监督扩展和错误反馈闭环是系统工程层面的创新，而非单一标注技巧。训练侧的不确定性感知样本选择 $U(x)=4\mu(1-\mu)\sigma$ 也是对 GRPO 数据效率的针对性改进。

第一，级联误差没有修复机制： 的掩码完全依赖先验框，框错了 mask 必错，而 RL 又不提供像素反馈。改进方向是把 cIoU/MAD 纳入 GRPO 奖励做全链路优化，或对 表示施加与像素特征的对比学习约束，让隐藏状态携带更充分的实例证据。第二，自监督数据闭环有自我强化风险：WDE 用 SAM3+Qwen3-VL 标注再回头训练同源模型，系统性偏差可能被逐轮放大，人工抽检比例论文未披露。改进方向是对高争议样本提高人工复核覆盖率，并引入异构模型交叉验证降低同源偏差。第三，通用能力退化未被量化：报告没有给出 MMMU 或通用 VQA 的前后对比，无法评估「感知专用化」的代价，这对想拿它当通用助手的用户是盲区。改进方向是混入通用多模态指令数据，或以 LoRA 适配器形式发布感知能力便于叠加。第四，无 CoT 的推理上限：Ref-Adv 对抗指代只有 50.5，否定加多约束的组合表达仍易错，Figure 6 的成功案例都是单约束场景。改进方向是提供可选的 thinking 模式，或测试时自验证循环（生成候选→自查语义约束→修正）。第五，解码器画布固定（分割 512、抠图 1024）：对 4K 输入的发丝、远处细小文字可能欠采样，WeRefMat 上 referring MAD 9.8 距离 box prompt 的精度仍有差距也部分源于此。改进方向是分块推理或多分辨率 refinement 级联。

作者明确提出的方向：集成 agent 框架，通过多轮工具交互渐进细化视觉理解；加强意图推理以应对真实世界中模糊、犹豫的用户指令；持续向可部署的可靠感知系统演进。基于论文成果可以自然延伸的方向包括：（1）把 grounding reward 从 box 层面扩展到 mask/alpha 层面，让 RL 直接优化边界质量，补齐「RL 不碰像素」的短板；（2）沿着 SAM3 的概念提示思路把统一感知扩展到视频——跟踪、视频指代分割与视频抠图，WDE 的实例对齐监督范式可以直接迁移到时序；（3）Figure 13 展示的 grounded caption 能力有数据价值，可批量产出「短语-区域」对齐语料反哺 VLM 预训练，形成数据飞轮；（4）把 WDE 本身开源为通用自动标注基础设施，其知识图谱驱动的定向采集对其他感知模型同样适用；（5）坐标 token 接口向 3D 定位、深度与时序坐标扩展，探索具身场景下的统一感知输出空间。

开源情况良好：代码在 GitHub（Tencent/WeVisOne-VL）、权重在 HuggingFace（collections/tencent/wevisone-vl）、项目页齐全，提供 2B/4B 两个规模。推理非常友好：模型小、贪心解码、无 CoT， 解码器仅 9.6M 参数，单卡消费级 GPU 即可部署，工程集成成本低。但完整复现训练门槛很高：WDE 语料（1 亿图像、36 亿框）与关键组件自研开放词汇检测器均未开源，公共数据（SA-1B、CC3M、GRIT、LAION 等）可以拼凑但规模打折；训练需要 128 GPU（SFT）+ 160 GPU（RL），BF16 精度、ZeRO-2/FSDP2 分布式，附录 Table 11 给出了完整超参（含 LoRA r=128、α=256、各阶段学习率 2e-5/5e-6/1e-6 等），细节披露充分。合理路径是：下载权重做推理与下游微调（容易）；按论文数据配方复刻一个小规模 WDE 并在开源数据上重训（中等偏难）；完整预训练（不建议，性价比低）。总体判断：用起来容易，从头复现难，难点在数据而非算法。