感知还是偏见：多模态大模型能否超越人格判断的第一印象？ Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality?
提出GPR任务与MM-OCEAN基准，揭示MLLM 51%正确评分无证据支撑。
前置知识
Big Five (OCEAN) 人格模型
心理学最经典、跨文化验证最充分的人格分类法，把人格稳定分解为五个相对正交的维度：开放性(O)、尽责性(C)、外向性(E)、宜人性(A)、神经质(N)。每个维度是一个连续谱，个体落在不同位置，被广泛用于临床与社会研究。
本文所有评分、推理、grounding任务都围绕Big Five五维度展开，必须先理解这五个维度的含义，才能看懂T1评分、T2推理链和各维度的子分析。
多模态大语言模型 (MLLM)
在大语言模型基础上接入视觉、音频编码器，能同时理解图像、视频、语音与文本的统一模型，如GPT-5、Gemini 3、Qwen3-VL、Claude Opus等。本文评测27个MLLM，13个闭源、14个开源，参数规模从7B到402B。
MLLM是被评测的对象，理解它们的高风险人机交互应用背景（面试筛选、心理分诊、社交机器人）才能明白为什么人格感知与证据接地如此重要。
显性人格识别 (Apparent Personality Recognition, APR)
从短视频或面部/语音线索预测被试Big Five分数的回归任务，代表性基准是ChaLearn First Impressions V1/V2（约10k个15秒单人演讲片段）。传统APR只输出连续数值分数，不要求任何解释或证据来源。
APR是本文要超越的旧范式。读懂全文的关键在于理解作者为何把APR的纯回归形式判定为有根本缺陷——它无法区分真正理解与表面偏见。
AI-as-Judge 评估
用一个强模型（本文用GPT-4o-mini）作为自动评分裁判，对被评估模型的开放式输出按多个维度（如证据覆盖、逻辑连贯、接地准确、方向准确）打分的评测范式，可规模化但存在判官偏置，本文用Spearman ρ≥0.92跨判官检验。
Task 2的开放式推理质量完全依赖AI-as-Judge打分，理解这一机制及其可靠性边界（附录J的跨判官检验）才能正确解读T2排行榜。
Grounding（证据接地/锚定）
要求模型的每个判断都必须锚定到可观测的具体证据（如某时间段的微表情、某次肢体动作、某段语调变化），而非凭直觉给出结论。本文的形式化约束是证据集 $E_i \subseteq \{1,\ldots,K\}$，即每个特质判断必须引用至少一个观察到的线索。
Grounding约束是区分GPR与APR的本质，也是整篇论文核心概念Prejudice Gap的基石。不理解grounding就无法理解PR/HR等失败模式指标的含义。
多智能体人机协作标注流水线
用多个分工的LLM智能体（观察者Observer、心理学家Psychologist、考官Examiner、对齐器Aligner）配合人类审核，分阶段产出原子行为观察、人格推理链、多选题的数据构建方法，本文为五阶段流水线，24名训练标注员+专家评审。
MM-OCEAN数据集的质量直接决定基准可信度。理解这条流水线才能判断标注的78.2%接受率、77%一致性等质量指标是否足够，以及文本泄漏过滤的作用。
研究动机
多模态大模型正快速进入高风险的人际场景：AI面试筛选、基于面部与语音线索的心理健康分诊、适应用户特质的社交机器人、随玩家情绪调整的智能NPC，这些系统的核心能力都是人格感知——从可观测行为推断稳定心理特征。然而现有评测存在根本缺陷：传统APR基准（如ChaLearn First Impressions V1/V2）把任务框定为对Big Five分数的数值回归，这种形式无法区分一个真正理解人的模型和一个只会“蒙对”的模型。模型可能只靠表面相关性（如“笑脸→高宜人性”）就取得低预测误差，却完全不理解支撑证据——即“答对了但理由错”。这一问题具有现实紧迫性：半个世纪的个人感知研究证明，准确的特质推断依赖对注视、姿态变化等具体行为微线索的整合，而非格式塔印象；EU AI Act已把基于人格的招聘与教育系统列为高风险，并强制要求每个部署预测有可解释的证据链。
本文的目标是本文目标是正式定义并评测一种全新任务——接地式人格推理（Grounded Personality Reasoning, GPR），要求模型不仅给出Big Five评分，还必须把每个评分锚定在可观测的行为证据上，形成“评分—推理—接地”的完整链条。具体而言，模型需在三方面展示能力：(1)感知细粒度的多模态行为线索，(2)推理这些线索如何映射到人格特质并给出证据化分析，(3)在针对特定子技能（如微表情定位、时序因果推理）的结构化多选探针上展示能力。为此作者构建MM-OCEAN基准（1104个视频、5320道接地MCQ），设计三层评测框架，并提出四个样本级失败模式指标，最终在27个代表性MLLM上揭示模型推理链究竟在哪里断裂。
与已有工作不同的是，本文的独特切入角度在于把“人格感知”从纯数值回归提升为“证据接地的推理链评测”，这在以往任何基准中都没有同时做到。如表1所示，无论是APR基准（ChaLearn FI、UDIVA）、通用视频基准（MVBench、Video-MME）、社会认知/心理理论基准（SocialIQA、FANToM）还是情感理解基准（MELD、EmoBench），都没有同时满足四个维度：针对视频人格、要求证据接地推理、评测推理链本身、提供细粒度线索接地探针。MM-OCEAN沿这四个维度全面填补空白。更关键的是，作者用接地约束 $E_i \subseteq \{1,\ldots,K\}$（每个特质判断必须引用至少一个观察线索）从形式上区分了GPR与APR，并提出PR/CR/IR/HR四个跨任务指标，能在样本级定位推理链在哪一步断裂——这是评测方法学上的本质创新。
核心方法
MM-OCEAN的整体思路是“先让多智能体把行为线索拆到原子级，再让人类校准，最后用三层任务和跨任务指标榨干模型推理链的每一环”。技术上是一条五阶段的人机协作标注流水线：四个LLM智能体（Observer、Psychologist、Examiner、Aligner）与两类人类角色（24名训练标注员、专家评审池）交织工作。数据来源于ChaLearn First Impressions V2的约10k个15秒单人英文演讲片段。最终产出三层细粒度标注：约13.5k条经人类核验的原子行为观察（横跨表情、动作、音频、背景四个感知通道）、5520条特质级人格分析、5320道线索接地MCQ（过滤后平均每视频4.8道）。评测时对每个模型跑三层任务：T1序数人格评分、T2开放式评分推理、T3结构化线索接地，再用跨任务诊断指标定位失败。
核心创新是把人格感知从“答对分数”重构为“评分—推理—接地的联合成功”。其形式化是接地约束 $E_i \subseteq \{1,\ldots,K\}$——模型对每个特质的判断 $r_i=(\ell_i, E_i, rat_i)$ 必须引用至少一条已观察线索 $o_k=(d_k, ts_k, te_k, desc_k, b_k)$，这条约束正是GPR区别于APR（APR只评测 $\hat{y}_i$）的本质。与已有方法的根本区别在于：作者不满足于聚合的任务分数，而是把每个样本的预测在三个独立轴（评分、推理、线索检索）上二值化为 $r_k=\mathbb{1}[R_k\geq\theta_k]$（默认 $\theta_1=\theta_3=0.5$, $\theta_2=0.7$），从而把 $2^3=8$ 种结果分解为四种可解释原型——偏见率PR、虚构率CR、整合失败率IR、整体接地率HR，让评测能精准说出模型是“答对但理由错”还是“有线索但评错分”。
方法步骤详情
流水线分五阶段。Stage 1（原子线索标注）：Observer接收视频与转录，输出最小不可分行为事件（如单次挑眉），每条带OBS-ID、感知维度、起止时间戳、事实描述、身体部位标签；24名标注员逐条核验（78.2%接受、14.6%修正、5.9%删除，重叠池一致性77%），对保留的表情/动作观察用帧精确工具细化时间戳与紧致边界框。Stage 2：Psychologist基于核验观察对每个Big Five特质产出结构化分析，含特质等级（GT连续分映射到5序数级）、引用线索的推理链、置信度理由。Stage 3：Examiner生成7类线索接地MCQ（推理簇4类+视觉接地簇3类），每题6选项含3类干扰。Stage 4：Aligner做确定性代码检查与LLM语义审查（C1–C4一致性）。Stage 5：文本泄漏过滤用两个纯文本LLM（GPT-4o-mini、Gemini Flash）只看题干选项答题，两者都答对的判为转录可推导而丢弃，确保每道保留题需多模态接地；专家做最终人工校正。T1报告精确匹配准确率与MAE，T2用AI-as-Judge沿4维打分（1–10），T3报告总体与各类别准确率。
技术新颖性
技术新颖性集中在四点。第一，首次把人格感知形式化为GPR，用接地约束 $E_i \subseteq \{1,\ldots,K\}$ 把“真正感知”与“表面偏见”在评测层面区分开，而APR只评测 $\hat{y}_i$。第二，首创PR/CR/IR/HR四个样本级跨任务失败模式指标，能在 $2^3=8$ 个格子中定位推理链断裂点——这是评测方法学的本质进步，传统T1榜单会50–56%评分准确率的模型判为“胜任”，但同一模型PR高达40–87%。第三，提出评级—接地错位度 $\text{RGM}(m)=\frac{1}{2}[\text{rk}_{T2}(m)+\text{rk}_{T3}(m)]-\text{rk}_{T1}(m)$，把模型划分为“自信评分者”（RGM≥+5，评分好但下游差）与“谨慎推理者”（RGM≤−5，评分差但推理接地好）两类原型，提供清晰诊断价值。第四，五阶段人机协作流水线中引入“文本泄漏过滤”这一反作弊机制，强制每道MCQ都需多模态接地，从源头保证基准的判别力。
实验结果
在27个MLLM上评测揭示了普遍的“偏见鸿沟（Prejudice Gap）”。整体平均偏见率PR=51.3%——超过一半正确评分无接地；平均整体接地率HR仅10.4%，全场最好的Gemini 3 Flash也只到33.5%，最弱的LLaVA-NeXT-Video/InternVL3为0.0%。闭源Top-3平均PR≈14.5%，开源Top-3（Qwen3.5-397B等）≈47.0%。开源与闭源差距在评分（$\Delta_{T1}=-5.6\%$）与解释（$\Delta_{T2}=-3.6\%$）上很小，但线索检索骤增到 $\Delta_{T3}=-26.6\%$。按类别：时序因果最易（64.8%），空间定位（30.7%）与微表情（34.6%）最难，闭源优势全集中在视觉接地簇（空间+19.5pp、时空联合+21.8pp）。HR变异系数CV≈0.93远大于T1≈0.13，HR排名与等权任务均值Spearman ρ≈0.97，证明HR是高区分度度量。RGM原型显示Llama-4-Maverick（+14）是典型自信评分者，Gemini 2.5 Flash（−16.5）是典型谨慎推理者。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| T1 序数人格评分（精确匹配准确率） | Acc_T1 (%) | 全场最高 Gemini 3 Flash 64.1%（MAE 0.42） | 随机基线 20.0%；开源最优 Qwen3-VL-30B 55.8% | Gemini 3 Flash 比随机高+44.1pp，比开源最优高+8.3pp；但50–56%的模型仍被判'胜任'实则PR高 |
| T3 结构化线索接地（总体准确率） | Acc_T3 (%) | 全场最高 Gemini 3.1 Pro 70.6% | 随机基线 16.7%；最弱 LLaVA-NeXT-Video 16.7% | 闭源Top-3在视觉接地簇比开源Top-3高+19.5pp（空间定位）/+21.8pp（时空联合） |
| 整体接地率 HR（评分+推理+接地三者同时正确） | HR (%) | 全场最高 Gemini 3 Flash 33.5% | 全场最低 LLaVA-NeXT-Video/InternVL3-8B 0.0%；平均10.4% | HR变异系数CV≈0.93远大于T1的0.13，是区分度最高的综合指标 |
| 偏见率 PR（评分正确但线索错误） | PR (%) | 全场最低（最好）闭源Top-3≈14.5%；最佳单模型 Gemini 3.1 Pro 10.8% | 平均51.3%；开源Top-3≈47.0%；GPT-4o-mini 87.9% | 揭示传统T1榜单系统性高估能力：51%正确评分缺接地 |
| 开源vs闭源差距分解 | Δ_Tk = Top3-open − Top3-closed (%) | Δ_T1=-5.6, Δ_T2=-3.6, Δ_T3=-26.6 | 评分与解释差距小，线索检索差距大 | 定位行为线索检索是开源模型最该补的短板 |
| T2 开放式评分推理（AI-as-Judge 4维复合） | S_T2 (1–10) | 全场最高 Gemini 3 Flash/GPT-5.5 均6.65 | 最弱 LLaVA-NeXT-Video 1.94；跨判官Spearman ρ≥0.92 | 推理能力模型间差距相对小，但跨任务成功率（HR）才暴露真问题 |
局限与改进
作者承认的局限有三点：第一，MM-OCEAN聚焦于来自First Impressions V2的短时长、单人英语演讲片段，'显性人格'特指该数据集的构念，跨文化与多语言、多人交互、长视频场景未覆盖；第二，Task 2推理质量依赖AI-as-Judge协议，存在判官偏置风险（虽用跨判官ρ≥0.92做了稳健性检验）；第三，接地操作化仅基于MCQ式的线索检索，可能未穷尽grounding的全部含义。我的额外观察是：(1)数据源单一（全部来自ChaLearn FI V2约10k片段的子集），被试表现可能受“面对镜头演讲”这一特定情境影响，泛化到自然对话、职场交互的能力存疑；(2)15秒片段极短，难以考察稳定特质的纵向一致性；(3)Big Five连续分被离散化为5个序数级，丢失了细粒度信息，序数阈值 $\theta_k$ 的选择（附录I做了3×3×3扫描但默认仍为0.5/0.7）对PR/HR绝对值有直接影响；(4)27个模型的T2都由GPT-4o-mini单一判官评定，尽管附录J做了Claude/Gemini交叉检验，但判官自身的grounding能力同样存疑。
独立分析的弱点
独立分析后我认为有五点弱点。第一，数据源单一且情境特殊：1104个视频全来自First Impressions V2的单人镜头演讲，被试常刻意“表现”某类人格，模型可能学到“表演性线索”而非自然行为；改进方向是引入UDIVA式双人对话、第一人称长视频与非英语多文化样本。第二，15秒窗口过短：稳定特质推断理应跨更长时间尺度，短窗口易让模型依赖瞬态表面特征（如开场微笑），改进方向是构建30秒–3分钟多片段纵向基准并考察特质时间稳定性。第三，AI-as-Judge依赖：T2的4维评分全由GPT-4o-mini给出，判官自身grounding能力会成为天花板，且同族模型可能有同源偏置；改进方向是用多判官集成并对判官做blind的grounding审计。第四，MCQ式接地局限：6选项MCQ可能被位置偏置（附录X测了σ）或选项措辞泄漏污染，且无法考察模型“主动发现”线索的能力；改进方向是加开放式时空定位（输出时间戳与边界框）并比IoU。第五，原型划分较粗：RGM仅用±5阈值二分，改进方向是用连续RGM分布与多阈值HR曲线，并引入“部分接地”中间状态。
未来方向
作者明确提出的方向包括：跨文化与多语言视频、用于Task 2可靠性的多判官集成、超越MCQ的更丰富grounding操作化。基于成果我认为还可延伸四条。第一，纵向人格基准：把同一被试在多个时间点、多种情境（演讲/对话/协作任务）下的表现纳入，考察模型能否推断特质的跨情境一致性，这是心理学上人格构念的核心定义但目前基准完全缺失。第二，因果干预式grounding：借鉴反事实MCQ的思路，进一步对视频中特定线索做编辑删除（如去掉微笑片段），看模型评分与推理如何变化，从而验证“该线索是否真正因果支撑了评分”，这能直接量化PR中哪些是无害的统计捷径、哪些是真正的偏见。第三，从评测到训练：把PR/HR作为训练目标，用RLHF或DPO显式惩罚“答对但无grounding”的输出，培育真正接地的MLLM——本文已定位问题，下一步是用这些指标做对齐。第四，把grounding扩展到其他社会认知任务：心理理论、情绪识别、意图推断都可套用rating-reasoning-grounding三层框架与PR/HR指标，建立统一的社会认知评测范式。
复现评估
复现评估分四方面。开源情况：论文明确release代码与数据集（标题区有Code/Dataset标记），1104个视频、原子观察、特质分析、MCQ均计划公开，对学术复现友好。模型可获得性：14个开源模型（Qwen3-VL系列、GLM-4.6V、Gemma-4、Llama-4、InternVL3、MiniCPM等）权重公开、用vLLM部署可完整复现；但13个闭源模型（GPT、Gemini、Claude系列）依赖商业API，版本（如Gemini 3 Flash、Claude Opus 4.6）会随时间漂移，严格复现需锁定API快照，现实较难。算力需求：5320道MCQ × 27模型 × 多帧采样，闭源走API有调用成本，开源7B–402B通过vLLM需多卡GPU（附录Z详述），完整跑一遍成本不低。标注流水线：五阶段人机协作+24名标注员+专家评审（附录B）门槛很高，普通团队难重建同等质量新数据，但好在作者开源成品。总体看，用开源数据+开源模型复现T1/T3核心结论（Prejudice Gap、PR/HR分布）可行、难度中等；完整复现27模型榜与T2需相当资源。
论文图表
