多模态视觉语言模型中的人类区域适应性研究 Anthropogenic Regional Adaptation in Multimodal Vision-Language Model
提出GG-EZ框架通过区域数据过滤与模型合并实现视觉语言模型的区域适配且保留全局能力
前置知识
监督微调 (SFT)
在预训练模型上使用标注数据继续训练，使其适配特定任务或领域。本文中先用 SEA 区域数据微调得到 $\theta_{regional}$，再用合并策略保留全局能力。
SFT 是本文 GG-EZ 的第一步操作，如果不知道 SFT 会改变模型权重并可能损害原有能力，就无法理解为什么需要后续合并步骤。
线性模型合并 (Model Merging)
对两个模型权重做线性插值：$\theta_{merged}(\beta)=\beta\cdot\theta_{regional}+(1-\beta)\cdot\theta_{global}$，其中 $\beta\in[0,1]$ 控制区域模型占比。该方法无需额外训练即可融合两种能力。
本文核心创新就是线性合并。理解 $\beta$ 参数的作用是看懂 SEA-Gemma-3 10% 等模型命名以及 GRP 提升机制的关键。
KOF 全球化指数
由瑞士 KOF 经济研究所提出的量化各国全球化程度的指数，含经济、社会、政治三个维度。本文中取其"人际交流"子项作为全球化因子 $\alpha$ 的来源。
本文用 KOF-GI 推导 $\alpha=0.43$，直接影响 GRP 优化目标。理解这个指数来源才能读懂为什么不同区域应使用不同的 $\alpha$。
奖励模型 (Reward Model)
对数据或生成结果打分的模型，输出连续质量分数。本文中使用 UnifiedReward 对候选样本打分，阈值 $\tau=3$ 过滤低质量样本。
数据质量过滤依赖奖励模型。若不理解奖励模型如何工作，就无法理解 Phase 1 数据筛选的具体机制。
扩散模型 (Diffusion Model)
通过逐步去噪生成图像的生成模型。本文中 SDXL 是基础架构，仅微调 UNet 而保持 VAE 不变，得到 SEA-SDXL。
扩散模型与 VLM 的微调策略不同，需要理解为什么只动 UNet 才能保留全局图像生成能力。
研究动机
现有视觉语言（VL）模型在跨区域部署时面临严重的人类中心失配问题。在欠发达和发展中地区（如东南亚、非洲、印度、中东），训练数据被少数地区主导，导致模型输出文化不敏感、出现刻板印象、在 SEAVQA、CVQA、World Cuisines 等区域基准上表现显著下降。Cahyawijaya 等人报告指出 MAYA-8B、PaliGemma-2-10B、Pangea-7B、Qwen2-VL-7B、Gemma-3 等多语言 VLM 都无法生成文化相关回答；而 VIOLET、Baseer、VARCO-VISION、SEA-LION-VL 等区域专用模型虽在本地表现强，但在更广泛的全球语境下严重退化。具体而言，Gemma-3 在 SEAVQA 上的得分比全球通用基准低 14 个百分点，而纯区域微调模型在 WorldCuisine 等通用任务上又会损失 17% 以上的性能，呈现出"全球模型缺区域、区域模型缺全球"的两难困境。
本文的目标是本文的具体目标是提出"人类区域适配"（Anthropogenic Regional Adaptation）这一基础范式，系统化地评估 VL 模型在区域上下文下的人类中心对齐程度，并在保留全局泛化能力的同时提升区域表现。具体而言有三个目标：定义 Global-Regional Parity（GRP）优化目标 $\max_{\theta}\,\alpha\cdot Q^{\mathcal{R}_{global}}+(1-\alpha)\cdot Q^{\mathcal{R}_{regional}}$；设计一个架构无关、轻量级的 GG-EZ 方法；通过东南亚 11 国案例研究在三种架构上验证方法有效性。
与已有工作不同的是，本文的独特切入角度是从"全球化因子 $\alpha$"入手，把区域适配问题重新定义为一个带权衡参数的优化问题，而非简单的区域微调。已有工作要么只做纯区域微调（损害全局），要么只做纯全局训练（忽略区域），本文则提出用 KOF 全球化指数客观量化区域与全球的相对重要性，再用线性模型合并在训练后阶段融合两种能力，避免重训。此外，把同一套方法在 VLM、扩散模型、嵌入模型三种异构架构上验证，这种架构无关性也是已有工作未充分展示的。
核心方法
GG-EZ 整体直觉是"先在区域数据微调得到区域专家模型，再与原全局模型做线性插值，使合并模型同时具备区域知识和全局能力"。技术路线分两阶段：第一阶段区域质量过滤，用 $F_{rf}(x,r)$ 筛选目标区域样本，用奖励模型 $F_{rm}(x)=\theta_{reward}(x)\geq\tau$（$\tau=3$）控制质量，并把英语语料翻译到印尼、泰、越等 9 种区域语言；第二阶段全局-区域精炼，先在 $D_{sft}\subseteq D_{filtered}\cup D_{translation}$ 上对 $\theta_{global}$ 做监督微调得到 $\theta_{regional}$，再用线性合并 $\theta_{merged}(\beta)=\beta\cdot\theta_{regional}+(1-\beta)\cdot\theta_{global}$ 融合两者；最优 $\beta^*$ 通过最大化 GRP 目标在 $[0,1]$ 网格搜索得到。
核心创新点是与已有"区域专用模型"或"暴力微调"方法的本质区别：GG-EZ 不试图训练一个完美模型，而是接受区域微调会损害全局的现实，然后用廉价的后处理线性合并"召回"被损害的能力。本质上是把区域适配从单一训练目标转成"两阶段+合并"的范式。第二个关键区别是引入 KOF 全球化指数推导 $\alpha$，让区域-全球权衡变得客观、数据驱动，避免研究者凭直觉设参。第三是架构无关性，同一套数据过滤+微调+合并流程同时适用于 27B 参 VLM（Gemma-3）、3.5B 扩散模型（SDXL）和 1B 嵌入模型（SigLIP-2），验证了方法的通用性。
方法步骤详情
方法分四步。第一步筛选：用 $F_{rf}$ 从 SEA-VL、CulturalGround、MAmmoTH-VL（英→9 种 SEA 语言）中锁定 SEA 样本，UnifiedReward 取 $\geq 3$ 得 $D_{filtered}$。第二步翻译：$T$ 把英语指令翻译到印尼、马来、泰、越、菲、柬、老、中、泰米尔语得 $D_{translation}$。第三步微调：分别对 Gemma-3（$\eta=2\times10^{-5}$，bs=64，3 epochs）、SDXL（$\eta=1\times10^{-5}$，bs=32，4 epochs，仅调 UNet）、SigLIP2-SO400m（$\eta=5\times10^{-6}$，bs=128，2 epochs）训练得 SEA-Gemma-3、SEA-SDXL、SEA-SigLIP2。第四步合并：VLM $\beta\in\{0.05,0.10,0.5,0.7\}$，其他 $\beta\in\{0.25,0.5,0.75\}$，按 $\alpha=0.43$ 选 GRP 最大的 $\beta^*$ 输出最终模型。
技术新颖性
技术新颖性体现在四个层面。理论上，把区域适配重新形式化为带全球化因子 $\alpha$ 的 GRP 优化问题，并用 KOF 全球化指数提供客观锚点，这是首次把社会科学量化指标引入 VL 模型区域适配。方法上，提出"区域过滤+奖励过滤+翻译增强"三层数据流水线，以及"区域 SFT+线性合并"两阶段训练框架，结构清晰且无需昂贵 RLHF。实验上，首次在 VLM、扩散模型、嵌入模型三种异构架构上同时验证同一套框架。消融上，发现仅用 20% SEA-Mammoth 数据会导致性能下降 70%，加入 WorldCuisine 数据反而让 GRP 降低约 42%，揭示了数据"量"与"质"同等重要的反直觉结论。
实验结果
核心发现分三类实验。在 VLM 上（Table 1），SEA-Gemma-3 10% 以 GRP 64.1 超过原版 Gemma-3 的 59.4（+4.7），平均 SEA 专用性能 63.8 比原版 56.3 提升 7.5 个百分点，全球性能 64.4 反而优于 Gemma-3 的 63.5；纯区域微调 SEA-Gemma-3（无合并）GRP 仅 42.2，证实合并必要性。人类评估（Table 2）显示 SEA-Gemma-3 10% 在越南语（2.61）、马来语（2.25）均超过 Gemma-3。在扩散模型上（Table 3），SEA-SDXL 25% 在 DPGBench 取得 74.75，超过原版 SDXL 的 73.75；Table 4 中 SEA-SDXL 25% 在传统、地标、美食三类文化指标正确性和自然度上全面领先。在嵌入模型上（Table 5），SEA-SigLIP2 75% 以 GRP 27.96 大幅超过原版 SigLIP2 的 25.17（+11.1%），且全球 CVQA 27.12 反而优于原版 25.51，展现"双向增益"。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SEA-VLM 区域+全球综合 (Table 1) | GRP 综合分 | 64.1 (SEA-Gemma-3 10%) | 59.4 (Google Gemma-3) | +4.7 (+7.9%) |
| SEA-VLM 东南亚专用平均 (Table 1) | SEAVQA/WC/CVQA 平均 | 63.8 | 56.3 | +7.5 |
| SEA-VLM 人类评估 (Table 2) | GRP 平均排名 | 2.31 (SEA-Gemma-3 10%) | 2.29 (Gemma-3) | +0.02 |
| SEA-SDXL 全局图像生成 (Table 3) | DPGBench Overall | 74.75 (SEA-SDXL 25%) | 73.75 (SDXL) | +1.00 (+1.4%) |
| SEA-SDXL 人类评估 (Table 4) | Correctness Overall | 1.569 (SEA-SDXL 25%) | 1.491 (SDXL) | +0.078 |
| SEA-VL Embedding 综合 (Table 5) | GRP | 27.96 (SEA-SigLIP2 75%) | 25.17 (SigLIP2) | +2.79 (+11.1%) |
| SEA-VL Embedding 全球 CVQA (Table 5) | Global CVQA Score | 27.12 (SEA-SigLIP2 75%) | 25.51 | +1.61 |
局限与改进
局限性分作者承认与读者推断两类。作者明确指出：实验仅在东南亚 11 国案例上验证，方法在非洲、印度、中东等其他欠代表区域的可迁移性未经验证；人类评估规模有限（仅 SEA-AYA 和 SEA-VL VQA 两套小规模数据），且依赖母语标注者，可能存在标注偏差；KOF-GI 使用 2023 年版本，全球化指数随时间漂移可能导致 $\alpha$ 需重新校准；合并权重 $\beta$ 是网格搜索得到，缺乏理论保证的最优性解释。从读者角度还可补充：第一，全文未充分讨论合并对模型安全性和偏见的影响——区域数据可能携带新的刻板印象或敏感内容；第二，GG-EZ 假设区域微调不会改变模型架构，但若涉及 tokenizer 扩展则合并无法直接应用；第三，$\beta$ 在三种架构上取值差异巨大（VLM 用 10%，扩散模型用 25%，嵌入模型用 75%），但论文没有给出选择 $\beta$ 的一般性原则或预测公式，限制了方法的易用性；第四，论文只测试了线性合并，未对比 SLERP、TIES、DARE 等更复杂的合并算法。
独立分析的弱点
独立分析至少存在四个弱点。第一，最优 $\beta$ 选择缺乏自动化机制：当前做法是对每个模型做网格搜索，但 SEA-Gemma-3 用 10%、SEA-SDXL 用 25%、SEA-SigLIP2 用 75%，跨架构差异极大，未来可引入基于验证集 GRP 的贝叶斯优化或可学习路由器来自动选 $\beta$。第二，依赖 KOF-GI 这一外部社会科学指标可能引入滞后偏差，2023 年的全球化水平未必反映当前社会状态，可考虑用实时社交媒体数据动态更新 $\alpha$。第三，数据过滤阶段的奖励模型阈值 $\tau=3$ 是经验值，论文承认做了消融但未给出对其他 $\tau$ 值的敏感性曲线，建议在附录中补充。第四，合并后模型在 safety、红队攻击、对抗样本上的鲁棒性未被评估，区域文化数据可能引入新偏见或绕过原有安全机制，需要补充 FairFace、ToxiGen 等公平性基准测试。
未来方向
未来研究方向可分为作者暗示与成果可延伸两类。作者在结论中暗示可推广到其他区域（非洲、印度、中东、拉美），并提出 GRP 框架可作为人类中心对齐的基础范式。基于本文成果可延伸的方向包括：第一，把 GG-EZ 与 DPO、RLHF 等对齐技术结合，在区域适配同时保证人类偏好对齐；第二，探索多区域同时适配的合并策略，例如把 SEA、中东、北非三个区域模型合并为多区域模型；第三，把全球化因子 $\alpha$ 推广为区域感知的动态权重，针对不同 prompt 类型自适应切换区域与全局侧重；第四，扩展到视频、音频等多模态，研究时空数据的区域适配；第五，把 GRP 评估框架标准化为 benchmark，让不同区域研究者公平比较；第六，结合 RAG 等检索增强技术，让模型能在推理时动态选择区域知识，避免合并后单一模型的表达局限。
复现评估
复现评估整体较好。代码、数据、模型权重全部开源在 HuggingFace 集合 "SEACrowd/sea-vl-phase-2-multimodal-vision-language-models-for-sea"，涵盖训练语料、评测数据集、最终模型权重。数据层面，SEA-VL、CulturalGround、MAmmoTH-VL 都是公开数据集，翻译流程使用的翻译模型和奖励模型 UnifiedReward 也已开源。算力方面，VLM 用 27B Gemma-3 全微调需要多机多卡 A100/H100（论文未明说具体卡数，但感谢 Oracle 和 AI Singapore 提供算力），扩散模型 3.5B 和嵌入模型 1B 相对轻量，单机 8 卡即可复现。复现难度中等偏上，主要门槛在 SEA 区域数据的预处理和多语言翻译质量保证上，特别是柬埔寨语、老挝语等低资源语言的翻译效果不稳定，可能导致最终指标 1-2 个百分点的波动。人类评估部分因依赖母语标注者，完全复现成本较高。
论文图表
图 1 通过左右两个 2x2 象限图对比"全球模型"（Broad coverage, gaps in underrepresented regions）与"区域专用模型"（Local excellence, failure in broader global contexts）的差异。横轴 Well-aligned/Low performance 表示在某一区域的表现，纵轴区分区域与全球上下文。
图 1 把全文的核心理论动机可视化，明确指出当前两类模型各自的缺陷，是理解为什么需要 GG-EZ 这一"折中方案"的关键图像。