交互式 AI 智能体中的认知年龄对齐评估 Evaluating Cognitive Age Alignment in Interactive AI Agents
提出首个基于 WISC 心理测量的交互式基准 ChildAgentEval，系统评估多模态智能体能否模拟 6-17 岁儿童的真实认知发展轨迹。
前置知识
WISC（韦氏儿童智力量表）
Wechsler Intelligence Scale for Children 是临床上评估 6-16 岁儿童智力水平的金标准测验，由言语理解、知觉推理、工作记忆、加工速度四大指数组成，可输出 FSIQ（总智商）和因子分。本文借鉴其构念框架但用网页化任务替代受保护的临床题项。
本文所有任务设计、年龄分层、标准化评分与 z 分数换算都直接借鉴 WISC 范式，是理解为什么四个认知因子（Gc/Gf-Gv/WM/PSI）这样划分以及为什么用 z=(S-100)/15 报告结果的关键。
CHC 智力模型（Cattell-Horn-Carroll）
现代心理测量学综合 Cattell-Horn 与 Carroll 理论形成的分层智力模型，将智力分为 Gc（晶体智力）、Gf（流体推理）、Gv（视觉空间）、WM（工作记忆）、PSI（加工速度）等多个宽域与窄域能力。
ChildAgentEval 的 10 个子测验（Test 1-10）正是映射到 CHC 四个一级因子（Gc/Gf-Gv/WM/PSI），这决定了实验如何聚合因子分以及如何解释 MLLM 在不同认知域上的强弱差异。
认知年龄对齐（Cognitive Age Alignment）
本文提出的新概念，指交互式智能体能否根据目标年龄段系统性地调整其推理复杂度、工作记忆容量与语言风格，而非简单降低整体准确率。具体表现为年龄相关的行为轨迹（如单调递增的分数曲线）而非单一能力压缩。
这是论文核心评估范式的转变：从最大化正确率到行为校准；不理解此概念就无法读懂为何'7 岁 agent 分数比 baseline 低'反而是好的，以及为何需要技能蒸馏而非角色扮演提示。
多模态智能体（MLLM-based Agent）
基于多模态大语言模型构建的智能体，能通过视觉理解+浏览器操作（点击、键入、翻页）在网页环境中执行多步任务。本文使用 Playwright 驱动模拟浏览器，模型需像人类被试一样'看'页面、操作 DOM 元素。
理解智能体需要'看+操作'而非纯文本问答是必要的——这也是 Block Design 必须用编号 DOM 标签避免视觉定位失败的工程原因，以及为什么评估同时记录点击日志和最终答案。
研究动机
当前 MLLM 智能体评估范式几乎完全聚焦于'是否做对题'，把更高正确率和更复杂的任务完成度视为单维优越。例如 Phan 等人的通用 agent 评测、Lu 等人的 VQA 基准，都以 accuracy 作为唯一或主要指标。儿童导向 AI（辅导、安全、看护、发育陪伴场景中部署的系统）若按此逻辑优化，会始终给出成人级抽象的答案，使用超出儿童认知范围的高级词汇、过长的工作记忆调用和过深的推理链，反而违背 Vygotsky 提出的'最近发展区'原则——孩子真正需要的不是最强的答案，而是适合其认知支架的解释。即便在'让模型扮演孩子'的标准年龄提示下，作者在预备实验中也观察到模型仅改变表面语气而不改变底层推理行为，导致 FSIQ 分数沿年龄轴呈现平坦甚至下降的曲线，例如 GPT-5.4 baseline 在 7/10/13/16 岁分别得到 0.53/0.49/0.46/0.52 的非单调轨迹。这暴露出评估层与部署场景之间的根本错位。
本文的目标是本文将评估目标从'最大化任务正确率'重构为'行为校准'，具体提出两个目标：(1) 建立 ChildAgentEval 基准——一个受 WISC-IV 启发、覆盖 Gc/Gf-Gv/WM/PSI 四个认知因子、共 10 个交互式子测验的网页化评估平台，能在 6-17 岁区间按临床标准产生 FSIQ 与因子分 z 分数；(2) 检验能否通过显式的技能约束，让高能力 MLLM 智能体在要求其'像 7 岁孩子一样'时真正产生年龄排序的行为轨迹，而非仅做表层风格模拟。最终回答的核心问题是：交互式 AI 智能体能否有意识地将自己的推理复杂度、记忆保留与沟通风格与目标发展年龄对齐。
与已有工作不同的是，已有相关工作在三个方向均存在缺口：第一，KidGym（Ye 等, 2026）虽借鉴 Wechsler 提出 12 个任务，但缺少年龄分层和发展心理学校准，未评估智能体在交互场景下能否发展性对齐；第二，ChildSafe（Murali 等, 2026）评估儿童 AI 安全但聚焦风险内容而非认知行为；第三，KidGym 之前的成人导向心理测量工作（Ilić & Gignac 2024、Galatzer-Levy 等 2024）把模型与人类常模做对照但没有'agent 交互+多步操作+年龄分层'三重叠加。本文独特切入角度是把 WISC 的构念翻译为浏览器可执行任务（DOM 编号避免视觉定位失败、跨页呈现避免上下文窗口泄漏），并从真实儿童语料（CHILDES、OCSC、LCCPW 等）中蒸馏出 6 维认知档案向量（Gc/Gf/Gv/WM/PSI/Social），通过 5 个认知过滤器模块把它'灌'进智能体的提示层、记忆层和推理规划层。
核心方法
方法分两大块。第一块是 ChildAgentEval 评估平台本身：用有限状态机（FSM）编排 10 个 WISC 启发的子测验，每个子测验复刻临床施测规则（起点项、Discontinuation 规则、Reversal 规则），使用 Playwright 驱动浏览器，强制智能体执行真实点击/键入/翻页操作，全程记录遥测日志（点击序列、延迟、步数），最终把原始分经 WISC 风格年龄常模表换算为因子分和 FSIQ。第二块是技能引导蒸馏（Skill-Guided Distillation）：从 6-17 岁儿童多源语料出发，先用统计分析抽取语言学与认知标记（词汇多样性、语义具象度、句法深度、因果连接词比例等），再用教师 LLM 把统计分布转译为'认知技能卡'——显式规定目标年龄的词汇上限、推理步数上限、典型错误模式与社会视角；最后用 5 个认知过滤器（词汇抽象过滤器、工作记忆掩膜、推理预算控制器、视觉依赖模块、社会视角过滤器）把这些约束注入到 agent 的提示层、记忆层和推理规划层中，按目标年龄自动加载对应配置。
核心创新是把'年龄对齐'从'风格模仿'升级为'结构性约束'。已有方法（标准年龄提示）的失败模式是：模型收到 'act as a 7-year-old' 的提示后只改变语气词汇，仍调用最强推理路径和最大记忆容量，所以分数曲线是平的。本文的关键区别在于：(a) 用真实儿童语料 CHILDES/OCSC/LCCPW 蒸馏出可量化的认知档案向量，把抽象的发展心理学概念变成 6 个数值维度；(b) 不只改系统提示，而是改 agent 内部机制——物理性地截短跨页记忆注入噪声、限制 CoT 步数、限制词汇抽象层级、注入视觉错觉偏差、限制社会视角到第一人称；(c) 反转评估逻辑：在 ChildAgentEval 中，'7 岁智能体分数比 baseline 低'是成功的证据而非失败，只要分数沿年龄轴单调上升。
方法步骤详情
完整的 ChildAgentEval 流程包括六步。Step 1 任务编排：FSM 把 10 个子测验（Block Design/Test1、Similarities/Test2、Digit Span/Test3、Picture Concepts/Test4、Coding/Test5、Vocabulary/Test6、Letter-Number Sequencing/Test7、Matrix Reasoning/Test8、Comprehension/Test9、Symbol Search/Test10）按 CHC 四个因子分组并按临床规则确定每个年龄的起点项、难度递增与终止阈值。Step 2 智能体初始化：选定 MLLM 后端（GPT-5.4/Gemini-3.1-Pro 等），greedy decoding 温度 0.0，输入目标年龄与可选的认知技能卡配置。Step 3 浏览器交互：Playwright 驱动 Chromium，agent 通过截图理解+DOM 操作完成点击/键入/翻页，遥测系统记录每一步的 action type、坐标、延迟、当前页面状态。Step 4 客观题与开放题分级：Picture Concepts/Matrix Reasoning/Block Design/Symbol Search 与早期词汇题用 0/1 二元评分，Coding 在时间窗内计正确操作数，Similarities/Comprehension/高级 Vocabulary 用 0-1-2 分制，由 GPT-5.4 作 grader 但所有开放题须经独立人工核验。Step 5 常模转换：原始分经 WISC 风格年龄常模表查表换算为 scaled score（均值 10 标准差 3），再按因子聚合为 Gc/Gf-Gv/WM/PSI 指数分（均值 100 标准差 15），最终合成 FSIQ。Step 6 蒸馏约束注入：当启用 Skill-Guided 模式时，在提示层加载目标年龄的认知技能卡；在记忆层启用工作记忆掩膜（截断或加噪跨页上下文）；在推理层注入推理预算控制器与视觉依赖模块；在输出层应用词汇抽象与社会视角过滤；五个模块的干预强度在独立校准集上微调以逼近人类常模，并在保留测试集上验证泛化。
技术新颖性
技术新颖性体现在三方面。第一，把'行为校准'量化为可测量的发展轨迹：论文首次用 Spearman ρ、总分 gap(16-7)、回归 slope 三种统计量把'年龄对齐'从哲学命题变成可证伪的指标——baseline GPT-5.4 三项分别为 -0.40、-0.01、近 0，而 skill-guided 后变成 1.00、0.09、明显为正。第二，认知档案向量是数据驱动而非启发式：通过对 6-17 岁真实语料统计词汇多样性（MLU、Type-Token Ratio）、语义具象度（Brysbaert 评分）、句法深度、因果连接词频、心理状态动词频、视角标记、叙事连贯分、言语修复率等八类指标，让每个年龄带的认知上限由数据决定而非人工编造。第三，约束分层注入而非统一 prompt：把工作记忆限制在记忆层、把 CoT 步数限制在推理层、把词汇限制在输出层、把社会视角限制在解释模板层——这种分层机制比单一 system prompt 更接近 Piaget 与 Vygotsky 描述的真实发展限制。
实验结果
实验在四个年龄锚点（7/10/13/16 岁）与两种条件（Baseline vs Skill-Guided）下评估 6 个 MLLM 智能体，主要发现可凝练为三点。第一，标准年龄提示无法产生稳定的发展轨迹。GPT-5.4 baseline 沿 7→10→13→16 岁的总分为 0.53/0.49/0.46/0.52，Spearman ρ=-0.40；Gemini-3.1-Pro 在 7 岁时 Gf/Gv z=0.53 反而高于 16 岁的 -1.87，呈反向退化；Qwen3.6-Plus baseline 四个年龄 FSIQ z 全为负且单调下滑（0.13→-0.60→-1.60→-1.60）。这说明把'7 岁'写进 prompt 不会让模型调用 7 岁的认知资源。第二，技能引导在强专有模型上能产生单调上升的发展轨迹。GPT-5.4 skill-guided 总分沿 6-8→9-11→12-14→15-17 分别为 0.41/0.42/0.49/0.50，Spearman ρ 跃升至 1.00，gap(16-7)=0.09；Gemini-3.1-Pro 同样从负相关转为正相关；语言相关 Gc 因子上单调性最稳定（GPT-5.4 T2 从 0.68 升到 0.95），证明词汇抽象过滤器起效。第三，对齐在不同认知域不均衡。Gc 与 WM 在强模型上可被技能卡调节（如 Gemini-3.1-Pro WM z 从 5.33 降到 1.47-4.47 区间），但 Gf/Gv 与 PSI 几乎对约束免疫——所有模型 PSI z 普遍为 -2 到 -3.7，Block Design（T1）得分被压在 0.06-0.15 区间，说明 MLLM 缺乏类人的工作记忆衰减与视觉处理速度瓶颈；open-weight 模型（Qwen3.5-27B、Gemma-4-31B-It）因基线能力不足，技能引导反而把它们'打哑'——总分几乎不动（Qwen 0.23→0.28；Gemma 0.23→0.27），提示蒸馏需要后端本身具备一定可控性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FSIQ z（年龄标准化总智商偏差） | z = (S-100)/15 | GPT-5.4 skill-guided 6-8 岁 FSIQ z=1.40，15-17 岁 z=0.07（baseline 同条件 0.13→-0.60→-1.60→-1.60 完全反向） | 标准年龄提示下 GPT-5.4 FSIQ z=2.07/1.33/0.13/0.20，Spearman ρ=-0.40 | Spearman ρ 从 -0.40 提升到 1.00（单调性完全反转），gap(16-7) 从 -0.01 提升到 0.09 |
| Gc 因子（晶体智力：Similarities/Vocabulary/Comprehension） | z-score 与 T2/T6/T9 子项归一化分 | GPT-5.4 skill-guided Gc z 沿 6-8→15-17 为 3.87/2.80/2.93/2.60，T2（Similarities）从 0.68 升到 0.95 | GPT-5.4 baseline Gc z=5.33/4.93/2.93/2.47，单调下降（7→16 岁时 Gc 反而退化） | 单调性翻转：baseline 强模型 Gc 沿年龄下降，skill-guided 沿年龄保持稳定（2.60-3.87 区间） |
| WM 因子（工作记忆：Digit Span/Letter-Number Sequencing） | z-score 与 T3/T7 子项分 | Gemini-3.1-Pro skill-guided WM z 从 baseline 5.33 降至 1.47-4.47 区间，T3 从 1.00 降至 0.47-0.63 | 所有 baseline WM z 均在 3.67-5.33 高位，无年龄区分度 | 成功模拟工作记忆衰减：低龄带 WM 显著低于基线，反映工作记忆掩膜起作用 |
| Gf/Gv 因子（流体与视觉推理：Block Design/Picture Concepts/Matrix Reasoning） | z-score 与 T1/T4/T8 子项分 | GPT-5.4 skill-guided Gf/Gv z=-2.13→-3.20；T1（Block Design）=0.06-0.09 极低 | GPT-5.4 baseline Gf/Gv z=-2.00→-3.20；T1=0.09-0.15 | 几乎无改善：T1 始终被压在 0.10 以下，说明视觉空间瓶颈无法通过提示层约束解决 |
| PSI 因子（加工速度：Coding/Symbol Search） | z-score 与 T5/T10 子项分 | 全模型 PSI z 普遍在 -1.93 到 -3.67 之间；T10 最高仅 0.57（GPT-5.4 baseline 16 岁） | PSI z 同样系统性偏低，模型间无显著差异 | 未改善：加工速度瓶颈对所有模型、所有条件、所有年龄均成立，反映架构层面缺时间约束 |
局限与改进
作者明确承认的局限有四：(1) 评估平台是黑盒式浏览器自动化，可能与真实人类被试在 WISC 施测环境下的注意力/动机模式不同；(2) 技能引导的干预强度需要在独立校准集上手调，对未见年龄段或新模型的迁移性未充分验证；(3) MLLM 缺少类人工作记忆衰减、视觉注意瓶颈与处理速度上限，导致 Gf/Gv、WM、PSI 三因子的对齐几乎全部失败——这其实是一项结构性限制而非方法缺陷，但也意味着仅靠提示层蒸馏不可能完整复现发展轨迹；(4) 实验只覆盖 4 个年龄锚点（7/10/13/16），中间年龄（如 8、9、11、12、14、15）通过 6-8/9-11/12-14/15-17 区间聚合，颗粒度有限。我自己的额外观察是：(a) 技能引导对低能力 open-weight 模型（Qwen3.5-27B、Gemma-4-31B-It）几乎无效，总分变化幅度<0.05，这暗示蒸馏方法对基座能力有门槛要求；(b) 评分助手 GPT-5.4 与被评智能体共享模型族可能引入同源偏差；(c) 训练用的儿童语料（CHILDES 等）以英语口语为主，跨语言、跨文化的认知发展常模未经验证；(d) 评估仅基于单次 greedy decoding，未报告多次采样的方差，结果的稳定性未知。
独立分析的弱点
独立分析五个可改进的弱点。第一，技能引导在低能力后端失效。当基座模型的指令遵循与可控性不足时，过强的认知约束反而会把它推到任务失败区（Qwen3.5-27B skill-guided WM z=-1.00 到 -2.20，远低于 baseline 的 4.47-5.33）。改进方向是引入'约束强度调度器'——根据模型自身能力评估（如先用基准子集诊断）自适应降低低能力后端的过滤强度，或先用 SFT/RLHF 在小规模 child corpus 上做轻量级后训练补足基座能力。第二，构念漂移风险：把 WISC 临床题改编为网页题后，'Block Design 用 DOM 编号选块'实际上剥离了视觉-运动整合这一核心构念。改进方向是结合鼠标轨迹、平滑度等运动学信号重建构念保真度，或在评分时把'操作流畅度'作为子指标。第三，z 分数尺度问题。FSIQ z 在专有模型上呈现 baseline 高/低年龄低、skill-guided 沿年龄下降但波动小的不对称形态（GPT-5.4 6-8 岁 z=1.40 到 15-17 岁 z=0.07），z 跨度仅约 0.1-0.2 远小于一个标准差 1.0，统计功效可能不足。改进方向是按发展心理学文献做非线性的 z 标定或回归到百分位排名。第四，缺少对话式纵向数据。WISC 强调跨任务表现的一致性，但 ChildAgentEval 的 10 个子测验是独立施测的。改进方向是增加跨子测验的情境黏性任务，比如让 agent 在 Coding 后用 Comprehension 解释其策略。第五，评分助手同源偏差。GPT-5.4 同时是被评对象和评分员，存在自我偏好风险。改进方向是引入跨家族独立评分模型（Gemini 或 Claude）做交叉验证并报告 inter-rater κ。
未来方向
作者在讨论部分提出三个未来方向：(1) 年龄特定的后训练——把发展约束直接嵌入模型参数而非仅靠提示，建议用 child corpus + 约束解码做 SFT/RLHF；(2) 探索架构层面的记忆衰减与视觉注意机制，模拟生物发育的硬件级约束；(3) 把 ChildAgentEval 扩展到 3-5 岁学龄前与 18+ 成人两端做连续发展谱。我补充的可行方向有：(a) 把基准发布为持续排行榜并开放第三方智能体提交，以跟踪下一代 MLLM 是否在认知年龄对齐上有进步；(b) 增加纵向实验，让同一智能体在不同会话间展现'成长'，以评估在线发展能力；(c) 跨文化扩展，验证非英语母语儿童语料蒸馏出的技能卡在英语任务上是否仍有效，反之亦然；(d) 把'年龄对齐'与'教育有效性'挂钩——在 ChildAgentEval 上对齐得好的 agent 是否在真实儿童辅导场景中真的能产生更好的学习增益；(e) 与 Theory of Mind 基准（如 Lombardi & Lenci 2025）结合，验证年龄对齐是否提升心智化能力。
复现评估
复现性评估整体良好但有门槛。代码与数据已开源在 https://github.com/PediaMedAI/ChildAgentEval（论文明确给出链接），Python+Playwright 技术栈对熟悉智能体框架的研究者来说门槛中等。主要的复现成本集中在三处：(1) 硬件——评估 6 个模型 × 8 个条件（4 年龄 × 2 模式）× 10 个子测验的交互式网页任务，每次运行需真实 MLLM API 调用与 Playwright 浏览器会话，开源模型（Qwen3.5-27B、Gemma-4-31B-It）需自备多卡 GPU 推理环境（建议至少 2×A100 80G）；(2) API 成本——GPT-5.4、三个 Gemini、Qwen3.6-Plus 四种专有模型在 temperature=0 下做完整 10 测验需要可观 token 预算；(3) 数据——儿童语料（CHILDES、OCSC、LCCPW、ClassBank）多数公开但部分需申请，附录 C 列出具体数据切分。整体而言，'会跑'难度 3/5，'复现出相同结论'难度 4/5（受 API 模型版本迭代影响——'GPT-5.4'/'Gemini-3.1-Pro'等命名暗示这是较新模型，老版本可能跑不出论文中报告的分数）。
论文图表
