Omni-Persona：全模态个性化的系统化基准测试与改进 Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization

Omni-Persona 的方法流程可以拆解为五个步骤。第一步，构建 Persona Modality Graph (PMG)——将每个用户的 $N$ 条记忆条目形式化为节点 $V = \{Q, C_1, ..., C_K\}$，每个节点 $C_i = (v_i, a_i, t_i)$ 包含图像、5–15 秒音频、文本三类信号；查询节点 $Q$ 同样可以是图像、音频或文本输入；任务就是判定是否存在有向边 $e_{q \to j}$。第二步，定义四类匹配场景——I2I(图找人脸)、A2A(声找说话人)、T2T(文本找文本属性)、T2Any(文本找跨模态属性)，覆盖 18 个细粒度任务。第三步，构造评测集——总计约 750 条，其中 answerable 391 条、unanswerable 359 条；不可回答样本通过两类扰动生成：hard distractors(长相/声音相似的他人作为干扰)和 no-GT retrieval(完全删除目标人物上下文)；评测时上下文以 interleaved 顺序排列，模拟真实检索系统的输出。第四步，实施 SFT 基线——使用 10K(及 1K 子集)合成语料，包含 12 种任务类型、覆盖图像/音频/文本的基础接地与 absent-persona 弃答；基于 ms-swift 框架和 LoRA 微调。第五步，实施 RLVR 训练——设计两类奖励，感知奖励(规则式)判断模型 yes/no 决策是否匹配 GT 标签；检索奖励(LLM-as-judge)使用 GPT-5.4 验证模型回答是否被检索证据支持(answerable 时)或是否正确弃答(unanswerable 时)；两者均为二元 0/1 反馈；RLVR 不需要参考响应，仅依赖可验证结果信号，基于 TRL 框架和 LoRA 微调。评测阶段，所有模型在 750 条固定查询上跑一遍，使用 Cal = (Ans + Unans)/2 作为主指标，1-FA 和 TA 作为反幻觉附加指标，ROUGE-L 作为生成质量参考。

Omni-Persona 的技术新颖性体现在四个层面。形式化层面，首次将全模态个性化抽象为 PMG 上的跨模态路由问题，PMG 本身是简单的图结构，但其巧妙之处在于把'该不该回答'建模为边的有无 (Eq → j = 0/1)，从而把 answerable 与 absent-persona 场景统一在同一形式下，这是既有个性化论文 [6, 8, 9, 10, 17] 都未做到的。基准层面，首个跨图像+音频+文本的统一个性化评测，且把不可回答样本设为约 50%——这在 [6, 8, 9] 中通常只占 10% 以下；配合 hard distractors 干扰，评测压力更接近真实 RAG 部署环境。指标层面，Cal 指标的提出直接催生了对 Gemini-3-Flash 等'高 Recall 但低 Cal'模型的反思——Table 2 显示 Gemini-3-Flash 的 Ans 高达 71.4% 但 TA 仅 20.0%，没有 Cal 指标这种幻觉就被掩盖。训练层面，本文是首篇在受控条件下(同合成流水线、同 LoRA、同基座)系统比较 SFT 与 RLVR 在全模态个性化上的工作，结论'RLVR 一致提升 Cal 但引发过度保守弃答'为后续 reward shaping(不对称权重、per-modality 奖励)提供了清晰基线。

尽管 Omni-Persona 提供了首个全模态个性化诊断框架，仍存在若干可深入分析的弱点。弱点一，RLVR 过度保守弃答问题——Figure 4(c) 显示 Qwen2.5-Omni-3B+RLVR 后 1-FA 从 75.2% 跌到 56.8%(-18.4pp)，是所有模型中最严重的退化，说明二元奖励下小模型最容易被 reward-hacking 诱导为'什么都不敢答'。改进方向包括：(i) 对 grounding 失败施加重于 abstention 错误的非对称负奖励；(ii) 加入'自信度惩罚'项——模型若过于频繁弃答则扣分；(iii) 使用 RLHF 中的 pairwise 比较替代二元奖励。弱点二，SFT 数据的真实性瓶颈——论文 Figure 4(a) 显示 SFT-1K 到 SFT-10K 几乎无收益，本质是合成数据无法对齐真实 test-time 查询分布。改进方向：(i) 引入真实用户日志(经隐私脱敏)作为数据源；(ii) 用 on-policy 采样——基于当前模型在 benchmark 风格查询上的失败样本反向构造 SFT 数据；(iii) 用 model-generated rationales 增强参考响应质量。弱点三，A2A 音频接地的根本性短板——所有开源模型在 A2A 上比 I2I 落后 15–25 个百分点，论文把原因归结为'表征容量限制'但未给出具体归因。改进方向：(i) 在音频编码器上加 LoRA 专门微调；(ii) 引入 speaker verification 预训练任务作为辅助 loss；(iii) 对 A2A 单独设计感知奖励权重。弱点四，评测指标的可解释性——Cal 是 Ans 和 Unans 的简单平均，但 Table 2 显示 TA 和 1-FA 经常反向变化(如 Qwen2.5-Omni-3B+RLVR 后 TA +17.8 但 1-FA -18.4)，平均化可能掩盖这种权衡。改进方向：(i) 引入 Pareto frontier 分析；(ii) 对不同应用场景提供不同加权 Cal；(iii) 报告 Ans-Unans 的联合分布而非单一均值。弱点五，复现门槛——RLVR 训练依赖 GPT-5.4 作为检索奖励的 LLM-as-judge，而 GPT 系列 API 价格、版本、限流都会影响训练稳定性，对学术界复现形成实质性障碍。

作者在论文中明确提出了几个未来方向并隐含了若干可延伸的研究线索。直接方向一，更精细的奖励设计——基于现有 RLVR 引发的过度保守弃答问题，作者提议引入 grounding 与 abstention 之间的非对称权重，例如对 grounding 失败施以 $-2$ 而对 abstention 错误施以 $-1$，从而打破二元奖励下'宁弃不错'的次优均衡。直接方向二，扩展到更长上下文与多用户——当前 PMG 假设 K 个上下文节点，未来可以探索数十甚至数百节点的检索结果接地，考验模型的注意力分配能力；也可以扩展到多用户联合记忆，模拟家庭助理场景。延伸方向三，把 PMG 推广到视频模态——当前 v_i 是单张图像，可以扩展到 5–10 秒短视频片段，把'认识一个人'的任务从静态人脸识别升级到动态行为识别。延伸方向四，与 speaker verification 社区结合——A2A 任务的核心是声纹识别，可以借鉴 ECAPA-TDNN、ResNet 等专用声纹模型的设计思路，为 A2A 设计专用 encoder head。延伸方向五，把 RLVR 的二元奖励升级为 dense reward——例如对部分正确的回答给 0.5 奖励而非 0，从而提供更细粒度的学习信号。延伸方向六，跨语言个性化——当前评测全在英语，未来可探索中文、日语等多语言下的全模态个性化能力。延伸方向七，部署视角的安全性研究——Cal 指标下'准确弃答'被认为是正面行为，但恶意用户可能利用这一能力让模型'故意漏答'隐私相关查询，需要研究安全机制。

从复现角度看，论文提供了较为完整的实现细节但仍面临实质性障碍。开源情况方面，作者明确指出使用 ms-swift 框架做 SFT、TRL 框架做 RLVR(后者仓库为 github.com/huggingface/trl)，LoRA 微调降低算力门槛，但 RLVR 的检索奖励依赖 GPT-5.4 作为 LLM-as-judge，这是闭源 API，复现时需要付费且版本稳定性不可控。数据规模方面，10K SFT 语料、1K 子集、~750 评测项均给出明确数字，作者还提到 Figure S.1 展示了 RLVR 训练框架示例，但论文主体未公开训练数据本身的获取渠道，仅描述了合成流水线流程，第三方难以直接复用。算力门槛方面，全模态模型的 LoRA 微调本身并不算高，理论上 4–8 张 A100/H100 即可完成 SFT-10K 实验；RLVR 需要频繁调用 GPT-5.4 做在线奖励估计，单次实验预算可能在数百到数千美元，对学生团队门槛较高。模型与评测方面，Gemma4-E2B-it (2.3B) 和 Qwen2.5-Omni-3B 的推理可以在单张 4090/A100 上完成，但音频处理和长上下文推理会显著占用显存。难度评估方面，论文提供了详细的 prompt 模板(Appendix I)和 judge-reliability 分析(Appendix C.2)，但 Appendix D 的实现细节需要精读才能复现。总体而言，核心算法思想(PMG + Cal + RLVR)是可复现的，但完整实验涉及多个第三方闭源依赖(GPT-5.4)和大模型推理资源，完整重现难度中等偏高。