词汇共识：人工智能体中的有根基词学习与共享意义 Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents
提出Lexical Consensus框架，发现词学习遵循感知一致性梯度，感知距离而非语义距离支配获取
前置知识
符号根基问题
由Harnad于1990年提出，核心问题是：符号如何获得系统内在的意义，而不是依赖于外部观察者的解释。在纯粹基于文本的学习中，符号可能仅通过与其他符号的关系获得意义，这种形式主义不足以支撑真正的语义理解。有根基语言学习试图通过将语言符号与感知、行动和交互直接连接来解决这一问题。在本文中，标签被认为有根基当它能够支持可靠的图像到标签命名、标签到图像检索、拒绝词汇外输入以及抵抗证伪控制。这种定义是受限制的：它不解决完整的符号根基问题，而是定义了在有根基感知基底上可测量的第一层根基。
本文的核心目标是在受控条件下操作化有根基词汇获取这一概念。理解符号根基问题对于区分真正的语言学习与纯粹的表面模仿至关重要，这是从基于模仿的评估转向基于获取的评估的理论基础。
感知一致性梯度
本文的核心经验发现：词学习成功度随着概念与感知几何的对齐程度单调下降。具体表现为四个层次：原生概念（一个标签对应一个原生视觉类别）最容易学习；连贯过度扩展（标签分组感知或语义上相关的类别）仍高度可学；中析取概念（分组类别具有中等感知距离）性能下降；远析取概念（标签连接感知空间的遥远区域）接近随机水平。这一模式表明早期词汇获取不是任意的集合学习，而是名称在感知一致性区域上的稳定化。通过计算类中心之间的余弦距离来量化，距离越小表示概念成员占据相近的感知区域。例如在CIFAR-10上的实验中，原生概念命名准确率约为0.943，近析取约为0.847，中析取约为0.654，远析取约为0.530（chance约等于0.333）。
这一梯度是理解在冻结感知基底上哪些词汇概念可以获取的关键。它界定了词汇获取的边界条件，对于设计能够真正学习和使用语言的人工智能系统具有指导意义。
双向根基评估
框架评估词汇获取的两个方向：条件C1评估图像到标签命名，给定测试图像x，智能体预测标签，命名准确率为C1准确率等于测试集中正确预测的比例。条件C2评估逆向方向标签到图像检索，给定标签和候选池，智能体选择与标签关联度最高的候选图像，检索准确率为C2准确率等于查询中检索到有效实例的比例。这两个条件暴露了有根基词学习的不同维度：命名反映概念与几何的兼容性，检索反映记忆保真度和候选集区分能力。
双向评估对于全面理解词汇获取至关重要。仅评估命名可能会忽略检索能力，仅评估检索可能会忽略命名能力，两者结合才能更完整地评估有根基词汇学习。
解离实验设计
为验证感知一致性梯度不是测量同义反复而设计的前注册实验。实验引入独立于感知距离的语义距离度量，测试当两个预测不一致时哪一个支配获取准确率。使用CIFAR-100数据集，对于100个类别的所有4950个类对，计算两种独立的距离：感知距离为冻结DINOv2-small嵌入空间中的类中心余弦距离，语义距离为WordNet同义词集上计算的1减去Wu-Palmer相似度。每个类对根据感知和语义距离是否高于中位数被分类到四个象限：Q1两者都近、Q2两者都远、Q3感知远但语义近、Q4感知近但语义远。从每个象限采样25个类对，共100对，在3-way、5-shot设置下评估。回归分析显示感知距离是C1准确率的主导预测因子（感知系数等于负0.212，p小于10的负7次方，偏R平方等于0.245），而语义距离没有显著解释力（语义系数等于负0.013，p等于0.660，偏R平方等于0.002）。
解离实验提供了强有力的证据，证明感知一致性梯度是由感知基底的几何结构支配的，而不是由概念层级的定义度量或语义相关性支配的。这对于理解早期词汇学习的认知基础具有根本重要性。
冻结感知基底
使用预训练的视觉编码器（本文中为DINOv2-small）作为固定的感知表示层。每幅图像通过冻结视觉编码器编码为嵌入向量，其中编码器表示参数在整个实验中保持固定的预训练DINOv2编码器。嵌入在距离计算前归一化为单位向量。冻结编码器的目的不是模拟完整的感知学习，而是提供一个受控的感知基底以隔离词汇获取。该基底中的结构不被视为混淆因素，而是使获取可测量的条件。这与人类词学习相似：人类词学习也从结构化的感知开始，而不是从无组织的感官场开始。实验问题因此变成：当教授概念与可用感知几何变得或多或少的兼容时，词汇学习如何表现。
冻结感知基底是区分词汇获取与感知学习本身的关键设计选择。它允许研究者测量在固定感知基底上哪些词汇概念可以获取，在哪里获取失败，从而界定词汇学习的边界条件。
研究动机
现代人工智能评估仍然主要围绕任务性能、基准准确率和行为模仿组织。在自然语言处理中，这种倾向特别明显：系统经常通过在预定义任务下产生流畅、正确或类人输出的能力来评估。这些评估对于跟踪进展很有价值，但它们留下了一个更深的问题：人工智能体能否从有根基经验中获取新的词汇意义，在未见实例中保持这些意义，并以双向方式作为名称和检索提示使用它们。这种基于模仿的评估方法无法测量人工智能体获取、使用和稳定类语言映射的能力，而这些能力对于真正的语言理解至关重要。此外，现有研究尚未系统地回答在结构化感知基底上词汇获取如何随教授概念与感知几何的对齐程度而变化这一关键问题。
本文的目标是本文的目标是引入Lexical Consensus，一个在结构化感知基底上研究有根基词学习的实验框架，并回答以下核心问题：（1）智能体能否从有限的有根基示例中学习新颖的词-概念映射？（2）这些映射能否在从图像到标签和从标签到图像两个方向泛化？（3）它们的成功如何依赖于教授概念与智能体可用感知几何之间的关系？（4）多个智能体能否收敛到共享的词汇使用，共识是否重塑内部表示或仅协调共享感知几何上的决策？（5）命名和检索是否暴露不同的能力，词汇获取是否遵循可测量的梯度？（6）观测到的效果是否在随机标签、随机嵌入、排列绑定、词汇外拒绝、更难视觉类别、无反馈基线和随机反馈控制等证伪条件下存活。
与已有工作不同的是，本文的独特切入角度是将语言获取作为人工智能评估的核心维度，强调从机器是否可以模仿语言行为转向机器是否可以在环境中获取、使用和稳定类语言映射。与现有工作不同，本文不评估智能体是否已经知道一个词，而是评估智能体能否使新颖词变得对感知、泛化、检索和社会协调可用。框架故意使用冻结的感知编码器，不将基底中的结构视为混淆因素，而是作为获取可以测量的条件。概念雕刻评估区分原生概念、连贯过度扩展、中析取概念和远析取概念，直接测试词学习是否仅仅重新命名编码器中已存在的聚类，或者框架可以测量获取随着概念离开原生类别边界时如何成功和失败。框架还包括双向评估（图像到标签命名和标签到图像检索）、多智能体共识机制、信息论测量、表征对齐分析以及全面的证伪控制，这些组合在现有工作中未见。
核心方法
Lexical Consensus框架包含四层：冻结感知编码器、可学习词汇层、可选多智能体共识机制和测量层。整体思路是使用冻结的DINOv2-small视觉嵌入作为结构化感知基底，使用Carroll风格的人造词汇（如slithy、mimsy、vorpal）作为实验词汇，测试智能体能否从有限的有根基示例中获取人造标签、双向泛化它们，并在受控获取设置中稳定它们。框架通过概念雕刻评估测试获取是否不仅仅是重新命名原生聚类，而是随着教授概念与冻结感知几何的对齐程度变化而遵循可测量的梯度。方法直觉是早期词汇学习受感知一致性约束：智能体在教授概念对应感知空间的连贯区域时更可靠地学习标签，当教授概念跨越该空间的遥远区域时性能下降。技术路线是使用简单的可解释词汇机制（质心、多质心、示例k-NN）加上线性判别基线，在相同的冻结嵌入和相同的配对episode上操作，从而区分感知基底的作用与词汇机制的作用。
核心创新点是感知一致性梯度：词汇获取不是任意的集合学习，而是名称在感知一致性区域上的稳定化。当教授概念对应原生感知类别时获取最可靠，连贯过度扩展保持高度可学，中析取概念部分退化，远析取概念接近随机。这一梯度通过概念雕刻评估（原生、近析取、中析取、远析取概念层）和预注册解离实验（在CIFAR-100上分离感知距离和语义距离）得到确认。另一个核心创新是双向根基评估：图像到标签命名（C1）测量概念-几何兼容性，标签到图像检索（C2）暴露记忆保真度，两者不冗余。第三个核心创新是证伪控制设计：通过随机标签、随机嵌入、排列绑定、词汇外拒绝、重复打乱、更难类别、同构检索池、无反馈基线和随机反馈控制等严格测试确保观测到的效果不是平凡的解释。
方法步骤详情
方法步骤包括：步骤1是感知基底构建，使用冻结DINOv2-small编码器将所有图像编码一次并缓存，归一化嵌入为单位向量，计算silhouette score作为基底诊断。步骤2是人造词汇构建，从Lewis Carroll的发明词汇中绘制标签，这些标签在语音上合理但在实验上未根基。步骤3是概念类型定义，定义四个概念层：原生概念（一个人造标签对应一个原生视觉类别）、近析取概念（标签分组两个感知或语义连贯类别）、中析取概念（分组具有中等感知距离的类别）、远析取概念（标签分组感知距离遥远的类别）。步骤4是单智能体词汇学习，智能体接收每个标签的支持集，构造质心并归一化，给定保持图像，质心学习者分配具有最大余弦相似度的标签。步骤5是双向根基评估，条件C1评估图像到标签命名，条件C2评估标签到图像检索。步骤6是多智能体共识，智能体通过共识账本交互，当最大协议超过阈值0.70时接受共识标签。步骤7是测量与证伪，计算信息论测量（如条件熵和标准化互信息）、表征对齐（质心漂移、智能体间距离、区域分歧），并应用全面的证伪控制。
技术新颖性
技术新颖性体现在六个方面：第一，引入概念雕刻评估，区分原生概念、连贯过度扩展、中析取概念和远析取概念，测试获取是否遵循感知一致性梯度。第二，进行预注册解离实验，在CIFAR-100上分离感知距离和语义距离，证明梯度由感知距离支配而不是语义相关性。第三，双向根基评估，区分图像到标签命名（概念-几何兼容性）和标签到图像检索（记忆保真度），发现示例机制在检索中优于压缩质心原型。第四，多智能体共识机制，测试独立播种的智能体能否收敛到共享的Carroll词汇，共识是否重塑表示或仅协调共享感知几何上的决策。第五，信息论测量和表征对齐分析，使用条件熵、标准化互信息、质心漂移、智能体间距离和区域分歧等指标区分词汇协议与表征变化。第六，全面的证伪控制设计，包括随机标签、随机嵌入、排列绑定、词汇外拒绝、平衡标签、重复打乱、更难类别、同构检索池、无反馈基线和随机反馈控制，确保观测到的效果不是平凡的解释。
实验结果
核心发现是词汇获取遵循感知一致性梯度：原生类别最容易获取，连贯过度扩展保持高度可学，中析取概念退化，远析取概念接近随机。在CIFAR-10的3-way、5-shot、30episode设置中，原生概念命名准确率约为0.943，95%置信区间为0.922到0.961，近析取约为0.847，置信区间为0.832到0.861，中析取约为0.654，置信区间为0.637到0.672，远析取约为0.530，置信区间为0.510到0.550，chance约为0.333。预注册解离实验确认梯度由感知基底的几何结构支配而不是语义相关性：在感知和语义距离不一致的概念对中，获取准确率跟踪感知预测因子（偏R平方等于0.245，p小于10的负7次方），而语义预测因子没有显著解释力（偏R平方等于0.002，p等于0.660）。双向评估揭示命名和检索不冗余：C1命名测量概念-几何兼容性，C2检索暴露记忆保真度，示例机制在检索中一致优于压缩质心原型，特别是在连贯多模态概念上（原生概念gap为正0.032，置信区间为0.007到0.056，p等于0.017；近析取概念gap为正0.074，置信区间为0.051到0.098，p小于0.001）。多智能体共识显示智能体可以收敛到共享的Carroll词汇，共识反馈改善协议但共享DINOv2几何已经诱导独立播种智能体之间的强对齐（无反馈基线held-out共识准确率0.9833，反馈条件下1.0000）。表征对齐实验显示共识反馈在当前架构下不实质性重塑内部表示（平均对齐增益仅0.0016），共享感知几何是主导稳定力量。证伪控制显示根基地效应当感知或图像-嵌入-标签绑定被破坏时退化或崩溃（随机嵌入下C1等于0.3000，C2等于0.2500；排列绑定下C1和C2都等于0.0000）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 原生类别命名 | C1准确率 | 0.943 [0.922, 0.961] | Random 0.346 | +172.5% |
| 近析取概念命名 | C1准确率 | 0.847 [0.832, 0.861] | Random 0.344 | +146.2% |
| 中析取概念命名 | C1准确率 | 0.654 [0.637, 0.672] | Random 0.329 | +98.8% |
| 远析取概念命名 | C1准确率 | 0.530 [0.510, 0.550] | Random 0.342 | +55.0% |
| 原生概念检索 | C2准确率 | 0.497 [0.446, 0.548] | Centroid 0.465 | +6.9% |
| 近析取概念检索 | C2准确率 | 0.380 [0.338, 0.419] | Centroid 0.306 | +24.2% |
| 感知距离预测 | 偏R2 | 0.245 | 语义距离0.002 | 显著主导 |
局限与改进
局限性包括：第一，实验仍然是受控的词汇episode而非开放端语言学习，智能体不获取句法、语用学、对话策略、组合语义或具身行动，仅学习视觉嵌入上的词-概念映射。第二，使用冻结感知编码器（DINOv2-small），这限制了关于感知改变的语言效应的结论，结果不显示智能体从头获取感知，也不显示语言重新组织视觉编码器本身。第三，数据集和领域范围有限，使用受控的视觉类别和概念层，不建立相同梯度将在更丰富数据集、更细粒度领域或更自然主义类别层次中成立。第四，概念结构受限于原生类别、连贯过度扩展、中析取概念和远析取并集，尚未测试组合语言，智能体不学习形容词-名词组合、关系描述或属性和对象的系统重组。第五，学习者架构简单，质心学习者是有意简单和可解释的，present学习者仍然是冻结嵌入上的浅层机制，具有可训练感知、属性注意力、情景记忆或神经适应的更丰富智能体可能支持不同形式的获取。第六，双向根基评估中检索设置仍然是人造的，候选池是实验构造的，即使在包含硬负样本和OOV污染时也是如此。第七，多智能体共识使用原生概念，个体智能体已经接近天花板，限制了反馈效应的敏感性。第八，表征重组实验一致表明共享有根基感知在当前架构中主导词汇反馈，这是重要的负结果，但不应推广到测试条件之外。
独立分析的弱点
独立分析的弱点包括：第一，冻结感知编码器限制了感知可塑性，无法研究语言是否以及如何重新组织感知表示本身。改进方向是引入可训练的感知或词汇适配器，测试当感知允许适应时远析取或基于属性的概念是否可以变得可学。第二，当前概念层仅测试类别层次的扩展，不测试组合语言，限制了框架对于理解组合性和系统泛化的适用性。改进方向是扩展框架到组合词汇和系统泛化，测试智能体能否获取属性、关系和新颖组合的标签，而不仅仅是类别层次的扩展。第三，多智能体共识实验在原生概念上接近天花板，限制了反馈效应的敏感性，无法充分测试共识在困难概念上的效果。改进方向是在中析取概念上重新运行共识协议，其中个体准确率留有实质性空间让反馈作用，这是共识效应的最直接信息测试。第四，检索设置仍然是人造的，候选池是实验构造的，与真实使用场景存在差距。改进方向是在更大更自然的候选空间中测试检索，其中干扰项数量、语义相似性和开放世界不确定性更接近真实使用。第五，数据集和领域范围有限，主要使用CIFAR-10和CIFAR-100，不覆盖更丰富的视觉领域、细粒度区别或自然主义类别层次。改进方向是测试更大数据集、更多样视觉领域、代表性不足类别、合成属性控制刺激和细粒度区别如视觉相似动物物种或对象子类型。第六，学习者架构简单，可能不是最优的词汇获取机制。改进方向是探索更丰富的智能体架构，包括注意力机制、情景记忆、元学习和神经符号混合模型，以支持更复杂形式的词汇获取和泛化。
未来方向
未来研究方向包括：第一，扩展框架到组合词汇和系统泛化，测试智能体能否获取属性、关系和新颖组合的标签。第二，引入可训练的感知或词汇适配器，测试当感知允许适应时远析取或基于属性的概念是否可以变得可学。第三，在更大数据集和更多样视觉领域上测试框架，包括细粒度领域、自然主义类别层次和合成属性控制刺激。第四，探索更丰富的智能体架构，包括注意力机制、情景记忆、元学习和神经符号混合模型。第五，在更大更自然的候选空间中测试检索，更接近真实使用场景。第六，研究中析取概念上的共识协议，更充分测试共识效应。第七，探索更丰富的交互协议和更长的交流历史，以测试词汇稳定化在人工智能体社区中的更广泛主张。第八，扩展框架到包含句法、语用学和对话策略，更接近完整的人类语言学习。
复现评估
复现评估：论文提供了详细的实验协议、参数设置和注册决策规则（特别是预注册解离实验，规则在附录I中逐字重现）。所有实验记录为结构化事件，账本记录图像标识符、概念分配、标签、学习者类型、支持/查询分割、候选池构造、置信度分数、共识结果和每轮指标，支持可追溯性、错误分析、配对统计测试和未来扩展。然而，论文未明确声明代码开源，也未提供预训练模型或数据处理脚本的公开链接。算力需求方面，使用DINOv2-small作为冻结编码器，计算主要是嵌入距离和简单学习者（质心、k-NN、线性分类器），相对轻量，可在标准GPU上运行。总体复现难度中等，框架设计良好且文档详细，但缺乏开源代码和数据处理管道可能增加复现障碍。
论文图表
