记忆增强的视觉-语言智能体：用于持久且语义一致的物体描述生成

统一VLM框架，融合情景记忆+数据关联+探索策略，跨视角生成一致物体描述

前置知识

视觉-语言模型(VLM)

视觉-语言模型是一类在大规模图像-文本对上预训练的多模态模型，能够同时理解视觉输入并生成自然语言描述。代表工作包括BLIP-2、Qwen-VL、LLaVA、InternVL等。VLM通常以Transformer为骨干，通过cross-attention或Q-Former将图像特征注入语言模型，从而实现对图像内容的语义理解和开放词汇的描述生成。

本文的方法EPOS-VLM正是在Qwen3-VL等VLM基础上做LoRA微调，所有数据关联、描述生成、动作预测的输出都通过同一自回归VLM产生；理解VLM的输入输出范式是阅读本文的基础

具身导航与实例分割

具身导航指智能体在3D场景中通过移动获取多视角RGB-D观察并完成任务。常用仿真平台如Habitat提供了标准化的接口。实例分割（如Mask2Former）从RGB图像中检测出每个物体的边界框 $\mathbf{b}_j^t \in \mathbb{R}^4$ 和3D位置 $\mathbf{p}_j^t \in \mathbb{R}^3$（通过深度投影和相机位姿计算）。这种先检测再描述的两阶段流水线是当前具身描述任务的主流做法。

本文沿用实例分割作为前置模块，但创新点在于把下游的数据关联、描述生成、动作选择统一到一个自回归模型中；理解这套流水线对把握本文的端到端创新至关重要

自回归序列生成与特殊token

自回归模型按token顺序逐步生成输出序列，每一步根据已生成的token预测下一个token的概率。在VLM中，可以通过在词表中新增特殊结构token（如[OBJ]、[POS]、[CAPTIONS]、[MATCH]、[NEW_ID]、[ACTION]等）来让模型在生成自然语言的同时输出结构化决策。本文将记忆序列化为文本块并通过特殊token包裹，使预训练VLM无需修改架构即可处理结构化记忆。

本文的核心技术之一就是把对象级情景记忆序列化为带特殊token的文本块，并设计[MATCH]/[CAPTION]/[ACTION]等结构化输出token实现三任务联合自回归生成；理解特殊token机制是阅读方法部分的关键

数据关联与多目标跟踪

数据关联源自多目标跟踪领域，指将当前帧的检测与已建立的目标轨迹进行匹配，从而维持物体跨时间的身份一致性。常用度量包括关联准确率(Acc)、F1-Match、F1-New、ID切换(IDSW)、轨迹碎片化(Frag)等。本文将这一概念引入具身描述任务，通过[MATCH] token显式链接当前检测与记忆中的持久物体ID。

数据关联是本文要解决的核心问题之一——VLM本身无法维持物体身份，需要显式的关联机制；理解这些跟踪度量（Acc、F1-M、F1-N、IDSW、Frag）是阅读Table 4的基础

SBERT语义相似度与描述一致性

SBERT是基于预训练语言模型的句向量编码器，可将任意文本映射为固定维度的句嵌入。两个描述的语义一致性通过其SBERT嵌入的余弦相似度(Cosine Similarity, CS)度量，越接近1表示语义越一致。本文用Mean CS、Median CS和四分位距(IQR)三个统计量来量化同一物体跨多个视角的描述一致性，IQR越低表示描述越稳定。

SBERT-CS是本文评估语义一致性的核心指标(Mean CS、Median CS、IQR)，理解其定义和意义是理解Table 2、3、5结果的关键

LoRA高效微调

LoRA(Low-Rank Adaptation)在冻结的预训练权重旁添加低秩分解矩阵 $\Delta W = BA$（$B \in \mathbb{R}^{d\times r}, A \in \mathbb{R}^{r\times k}$，秩 $r \ll \min(d,k)$），仅训练少量参数即可让模型适配新任务。本文在2块A100 GPU上用LoRA对Qwen3-VL-2B进行微调，per-device batch size=16，梯度累积4步，最大梯度范数裁剪1.0。

LoRA是本文对大模型VLM进行微调的实际技术选择，决定了训练成本和复现所需的算力

研究动机

现代视觉-语言模型（VLM）虽然在单张图像的描述任务上取得state-of-the-art性能，但当被部署到具身导航场景时会暴露严重缺陷。核心问题是跨视角的语义不一致(semantic inconsistency)：当一个具身智能体在3D场景中移动时，同一个物理物体因观察距离、角度和遮挡变化，会被VLM描述为相互矛盾的内容——例如对同一张灰色沙发，在不同视角下可能被分别描述为「gray couch with a grey blanket」、「bed with a gray headboard and grey pillows」、「large gray couch with pattern pillows」。这种语义漂移(semantic drift)破坏了物体身份的持续性，使语言无法作为具身推理、建图和决策的持久表征。已有方法试图通过多视角监督、事后聚合(post-hoc aggregation)或两者结合来缓解不一致，但这些方法普遍将「探索、数据关联、描述生成、学习」解耦为多个阶段：探索策略往往是基于启发式或独立训练，而描述一致性被视为聚合后的涌现属性而非可端到端优化的目标，导致智能体无法根据当前描述的不确定性主动选择更有信息量的视角来消解歧义。此外，现有的多阶段管线在数据关联上普遍依赖高分辨率稠密点云（每条轨迹可达1 GB），计算和存储开销巨大，难以长时程运行。

本文的目标是本文的目标是设计一个统一的、端到端可优化的具身描述框架EPOS-VLM（Embodied Persistent Object Semantics Vision-Language Model），将「数据关联、物体级描述生成、主动探索策略」三个子任务统一在同一个自回归VLM策略中。模型应能在长时程导航中维护一个紧凑的、可token化的对象级情景记忆，使同一物体在多次观察中产生持久身份与语义一致的描述；同时其动作策略应根据当前的不确定性主动选择能消解歧义的视角；整体系统需要在保证描述质量的同时保持近常数推理时间和低于10 kB的内存占用。

与已有工作不同的是，本文的独特切入角度是端到端联合优化跨视角语义一致性。与已有方法相比有三个本质区别：第一，方法层面，区别于IC3、ECO-score、LD-CPS等先独立描述再聚合的事后方案，本文把一致性作为可学习的损失直接注入到VLM的token级交叉熵中；第二，记忆层面，区别于Galliena et al. [8]使用稠密点云（带视觉和语言嵌入）做关联，本文用稀疏的3D位置+token化的描述历史构成固定容量的情景记忆，把数据关联重新表述为模型在自回归序列中显式输出[MATCH] token；第三，动作层面，区别于CaBOT、Frontier Exploration等几何驱动的探索，本文让动作策略与描述和数据关联共享同一个VLM输出，描述的不确定性直接驱动下一步动作。这种单策略-多任务的统一视角是本文最核心的方法论创新。

核心方法

EPOS-VLM的整体思路可以概括为把具身描述问题转成单次自回归序列预测。直观上，可以想象一个机器人正在房间中边走边记录它看到的每个物体：每走一步，它把当前看到的图像、已探索过的地图、过去见过的所有物体的「小档案」（包含位置和历史描述）一起交给一个VLM；VLM读完所有这些信息后，按顺序输出三类决策——当前画面里的每个检测框对应到记忆里哪个老朋友（或者是个新面孔[MATCH]），每个物体的最新描述应该是什么[CAPTION]，以及下一步该往哪走[ACTION]。技术路线上，作者先在Habitat仿真器中用基于描述分歧(disagreement)的启发式策略收集了大规模多视角导航轨迹，并通过新提出的3D-CPS伪描述器为每个物理物体生成一个viewpoint-invariant的伪描述 $\tilde{c}_o$；然后用这些伪描述作为自监督监督信号，以LoRA方式在Qwen3-VL-2B上微调整个自回归策略 $\Phi_\theta$，让模型在看到当前RGB、explored map和记忆 $\mathbf{M}_{t-1}$ 的联合上下文 $\mathbf{X}_t = [\mathbf{I}_t, \mathbf{E}_t, \mathbf{M}_{t-1}]$ 后，能直接输出结构化的 $[\text{MATCH}] \Pi_t [\text{CAPTION}] C_t [\text{ACTION}] a_t$ 序列。

EPOS-VLM的核心创新在于把跨视角语义一致性从一种后处理统计性质变成一个端到端可学习的监督目标。其本质区别于已有方法的技术特征有三：第一，作者设计了序列化情景记忆——把对象级记忆 $\mathbf{M}_t = \{o_{id,o}, \mathbf{p}_{t,o}, \mathcal{C}_{t,o}\}$ 编码为带[OBJ]、[POS]、[CAPTIONS]等特殊token的文本块并以[SCENE-START]/[SCENE-END]包裹，使其能直接作为预训练VLM的语言上下文，从而无需对VLM架构做任何修改就能让模型读到长时程物体历史；第二，作者把数据关联重新表述为VLM自回归输出中的[MATCH] $r_t^j \rightarrow o_o$ 或[MATCH] $r_t^j \rightarrow [\text{NEW\_ID}]$ 结构化token——身份分配不再依赖视觉外观相似度，而是从视觉证据、空间近邻性和记忆语义中联合推理得出；第三，作者提出了3D-CPS伪描述器，它通过多视角描述频率字典过滤掉视角相关的噪声，并基于3D点云覆盖度选择最具区分度的物体crop，再用大模型Qwen3-VL-30B综合生成一个viewpoint-invariant的伪描述 $\tilde{c}_o$，使训练监督本身已经具有跨视角一致性。

方法步骤详情

方法的具体流程可分五个步骤。第一步是视觉观测和瞬时ID标注：智能体在时间步 $t \in \{1,\ldots,T\}$ 接收RGB-D观测 $\mathbf{I}_t \in \mathbb{R}^{H\times W\times 4}$，由Mask2Former实例分割得到 $K_t$ 个检测 $\{\mathbf{b}_j^t, \mathbf{p}_j^t\}$，并为每个检测分配一个随机采样的瞬时ID $r_j^t \in \mathbb{N}$ 直接渲染到图像上，作用是让模型在图像中能指称具体检测。第二步是情景记忆序列化：记忆 $\mathbf{M}_t = \{o_{id,o}, \mathbf{p}_{t,o}, \mathcal{C}_{t,o}\}$ 中每个对象条目被编码为 $[\text{OBJ}]\;o_{id,o}\; [\text{POS}]\;(\hat{x},\hat{y},\hat{z})\; [\text{CAPTIONS}]\;(c_i, f_i)\}_{i=1}^L$ 的文本块，多个对象条目用[SCENE-START]/[SCENE-END]包裹，$(\hat{x},\hat{y},\hat{z})$ 是3D位置 $\mathbf{p}_{t,o}$ 的离散化数值token，$(c_i, f_i)$ 表示该对象已观测到的描述 $c_i$ 及其出现频次 $f_i$。第三步是数据关联：对每个当前检测，模型自回归输出[MATCH] $r_t^j \rightarrow o_o$（关联到已有物体）或[MATCH] $r_t^j \rightarrow [\text{NEW\_ID}]$（新建物体），并据此更新记忆中的位置和描述计数。第四步是描述生成和动作选择：模型继续输出[CAPTION] $C_t$（当前观测到物体的最新描述）和[ACTION] $a_t \in \mathcal{A}$（离散动作集中的一个），完整输出 $Y_t = [\text{MATCH}] \Pi_t [\text{CAPTION}] C_t [\text{ACTION}] a_t$ 通过单次自回归前向产生。第五步是训练：在Habitat的HM3D场景中用基于描述分歧的启发式策略采集轨迹，再用3D-CPS为每个物理对象生成伪描述 $\tilde{c}_o$；训练时对每个观察过对象 $o$ 的帧，监督模型生成 $\tilde{c}_o$ 而非视角相关描述；优化器为AdamW，学习率 $2\times 10^{-4}$，权重衰减0.01，前3%步线性warmup，2块A100上per-device batch=16、梯度累积4步、最大梯度范数裁剪1.0，共训练3个epoch。

技术新颖性

技术新颖性体现在三个层次。第一是表示层：把对象级情景记忆通过特殊token+离散化数值token纯文本化注入预训练VLM，无需引入新的位置编码或cross-attention模块，巧妙利用了VLM已具备的读长prompt能力。第二是任务层：把具身描述研究中被独立看待的数据关联、描述、动作三任务，用同一组[MATCH]/[CAPTION]/[ACTION]结构化token统一在一次自回归前向中，理论上让任务间可以相互正则——例如描述不确定性高的对象会通过记忆传到动作选择，引导主动观察。第三是数据层：3D-CPS将伪描述生成从纯语言聚合（如LD-CPS）升级为3D-Ground视觉选择+语言频率统计+大模型综合，SPICE提升+8.92 p.p.、CS提升+5.26 p.p.，是少见的同时利用3D几何和语言先验的伪描述方案。三个层次共同支撑了端到端可学习的跨视角一致性这一核心贡献。

**Fig. 2**: Overview of the proposed EPOS-VLM model

实验结果

论文通过5个互补任务的系统实验验证了EPOS-VLM的有效性。第一，伪描述质量（Table 1，HM3D测试集）：3D-CPS在所有指标上一致超越基线，B4=28.54 vs LD-CPS的21.02，M=31.97 vs 26.86，RL=61.13 vs 53.10，CI=1.92 vs 1.36，SP=44.73 vs 35.81，CS=78.26 vs 73.00，SPICE绝对提升+8.92 p.p.、CS提升+5.26 p.p.，相对IC3的SPICE提升更高达+32.86 p.p.，说明3D-Ground视觉选择显著优于纯语言聚合。第二，物体级描述质量与一致性（Table 2，HM3D）：EPOS-VLM在B4=25.86、M=27.89、RL=59.88、CI=1.87、SP=41.82、CS=77.12上全面超越Qwen3-VL/BLIP-2/Intern-VL/CoCa/Florence等开源VLM以及Galliena et al. [8]的多阶段管线；CI提升+0.75（vs Intern-VL 0.98），SP提升+9.76 p.p.，与最佳VLM（Intern-VL）相比SP+11.80 p.p.。在一致性上Mean CS=89.37、Median CS=90.32、IQR=2.79，相比基线VLM（IQR>25）实现数量级降低，比Galliena et al. [8]进一步+7.12 p.p. CS和-6.08 IQR。消融实验中w/o memory变体的SP从41.82骤降至27.67（-14.15 p.p.）、CS从89.37降至52.12（-37.25 p.p.），证实情景记忆是核心组件。第三，跨域泛化（Table 3，HM3D训练→Gibson测试）：EPOS-VLM在CI=1.63、SP=39.14、CS=75.86上仍全面优于Galliena et al. [8]（CI=1.05、SP=35.58、CS=66.03），Mean CS=85.83 vs 78.18，IQR=4.17 vs 11.92，说明学到的记忆+一致性机制可迁移到完全未见过的环境。第四，数据关联与可扩展性（Table 4 + Fig. 3）：EPOS-VLM的Acc=0.93、F1-M=0.97、F1-N=0.89、IDSW=0.09、Frag=0.06，相比稠密点云基线（Acc=0.91）持平或略优，但推理时间稳定在~0.7s/步（基线在>100步后线性增长），内存占用<10 kB（基线增长到~1 GB），数量级的效率提升。第五，动作策略消融（Table 5）：EPOS-VLM策略相对Random Goal和Frontier Exploration在CI、SP、Mean CS上均最高（CI=1.87 vs 1.50/1.38，Mean CS=89.37 vs 80.21/80.33），证实记忆驱动的动作选择确实能主动消解歧义。

**Table 1**: Pseudo-captioning performance on manually annotated HM3D test set

**Table 2**: Caption accuracy and consistency on HM3D manually annotated test set

**Table 3**: Caption accuracy and consistency on Gibson manually annotated test set (trained on HM3D)

**Table 4**: Data association performance over exploration trajectories on HM3D test set

**Table 5**: Caption accuracy and consistency varying exploration policy on HM3D

**Fig. 3**: Mean and standard deviation of inference time and memory occupancy

**Fig. 4**: Comparison of object captions predicted by Qwen3-VL and EPOS-VLM across successive viewpoints

查看结构化数据

任务	指标	本文	基线	提升
物体级伪描述生成(HM3D)	BLEU-4	28.54	21.02 (LD-CPS)	+7.52 (绝对)
物体级伪描述生成(HM3D)	SPICE	44.73	35.81 (LD-CPS)	+8.92 p.p.
物体级伪描述生成(HM3D)	SBERT-CS	78.26	73.00 (LD-CPS)	+5.26 p.p.
物体级描述生成(HM3D)	CIDEr	1.87	1.12 (Galliena et al.)	+0.75
物体级描述生成(HM3D)	SPICE	41.82	39.78 (Galliena et al.)	+2.04 p.p.
跨视角描述一致性(HM3D)	Mean CS	89.37	81.98 (Galliena et al.)	+7.39 p.p.
跨视角描述一致性(HM3D)	IQR (越低越好)	2.79	8.87 (Galliena et al.)	-6.08
跨域描述生成(HM3D→Gibson)	SPICE	39.14	35.58 (Galliena et al.)	+3.56 p.p.
数据关联(HM3D)	F1-Match	0.97	0.95 (Galliena et al. 稠密点云)	+0.02
数据关联(HM3D)	内存占用	<10 kB	~1 GB (稠密点云)	数量级降低
动作策略消融(HM3D)	Mean CS	89.37	80.21 (Frontier Exploration)	+9.16 p.p.

局限与改进

作者明确承认两点局限：第一，EPOS-VLM依赖外部实例分割模型（Mask2Former with Swin）来提供边界框和初始3D位置，分割错误会直接传播到数据关联和描述生成中，导致错框错描述问题；第二，所有实验都在Habitat的HM3D和Gibson静态、photo-realistic、理想传感器的仿真环境中完成，尚未在真实机器人、含传感器噪声、非静态场景中验证。本人观察到的额外局限包括：(1) 模型使用Qwen3-VL-2B作为VLM骨干，描述能力受限于2B参数的容量上限，复杂场景的细粒度属性可能仍不足；(2) 训练监督完全依赖3D-CPS生成的伪描述，存在自监督的上限锁定风险——若3D-CPS对某类物体系统性产生偏差（如漏掉小物体），模型会继承这种偏差；(3) 跨域实验只到Gibson，场景数量和多样性仍有限（HM3D 128训练场景+27验证+28测试，Gibson 32测试场景），更剧烈的域偏移（如室内到室外、不同光照、不同文化背景的陈设）下性能衰减程度未量化；(4) 推理时虽然单步近常数时间，但单步0.7s相对于实时具身控制（通常要求<100ms）仍有差距，长时程任务中可能成为瓶颈。

独立分析的弱点

独立分析三个可改进的弱点。第一个弱点是伪描述的天花板效应：3D-CPS依赖Qwen3-VL-30B作为外部描述器生成监督信号，这相当于把模型的能力上限绑定到一个更大的VLM上；当面对训练集中未见过的新颖物体类别或复杂场景时，3D-CPS可能产生次优监督，进而限制EPOS-VLM的学习效果。改进方向是引入更鲁棒的伪描述机制——例如基于3D点云属性或人工校验的高质量小规模种子集来bootstrap，或者采用多伪描述器ensemble并通过置信度加权。第二个弱点是实例分割的级联错误传播：当前流水线假设Mask2Former输出足够准确，但实际场景中漏检、误检、边界框粗糙都会直接破坏数据关联——例如把同一物体的两个分割块当成两个不同物体，或把相邻物体错误合并；改进方向是将实例分割也纳入端到端训练，或者为EPOS-VLM增加一个无匹配则拒绝的兜底机制，让模型在不确定时不输出[MATCH]而触发重检。第三个弱点是动作空间过于简单：动作集 $\mathcal{A}$ 是离散的（如move_forward、turn_left），不能表达「快速后退到3米外换一个更佳视角」这种连续、高阶的运动意图，限制了主动消歧的能力；改进方向是引入连续动作或参数化运动原语（如基元库+选择器），并把记忆中的描述分歧度作为内在奖励信号的一部分强化训练。

未来方向

作者明确提出的未来方向包括：(1) 把实例分割集成进模型内部，避免外部模块的级联错误；(2) 解决真实部署中的传感器噪声和实时性约束；(3) 把方法扩展到动态场景，处理新出现、移动或被遮挡后再现的物体。基于本文成果可延伸的方向还包括：(a) 记忆机制的迁移——把token化的对象级情景记忆推广到更通用的场景图或任务级记忆，支持长时程任务规划（如「我需要去厨房拿桌上的红杯子」）；(b) 多模态记忆扩展——目前的记忆只包含位置和描述，可以加入物体间空间关系（在桌子上）、时间属性（最近一次被观察到是10秒前）、交互历史（被智能体推过）以支持更复杂的具身推理；(c) 主动学习的闭环——将EPOS-VLM的不确定性度量反馈到3D-CPS中，针对性请求人类标注那些最不确定的伪描述，逐步提升训练监督质量；(d) 跨任务统一框架——将描述、关联、导航三个任务进一步与具身问答、目标指代、指令跟随等任务联合训练，探索一个通才具身VLM的可能性。

复现评估

作者提供了完整的开源资源：代码、模型权重和数据均可在 https://hsp-iit.github.io/epos-vlm/ 公开获取。实验基于Habitat仿真器（HM3D 128训练/27验证/28测试场景，Gibson 32测试场景），数据集为标准的HM3D和Gibson splits。训练算力需求明确：2块NVIDIA A100 GPU，3个epoch，per-device batch=16+梯度累积4步（有效batch=128），AdamW学习率 $2\times 10^{-4}$，权重衰减0.01，前3%步warmup，梯度裁剪1.0；采用LoRA微调Qwen3-VL-2B。复现难度中等偏低：核心依赖是Habitat仿真环境配置、Qwen3-VL基座模型权重、以及3D-CPS依赖的Qwen3-VL-30B（用于离线生成伪描述）。对读者而言，主要的技术风险点是(1) 3D-CPS的3D-Ground crop选择需要精确的相机位姿和深度图，Habitat数据准备流程需要严格按作者说明执行；(2) LoRA的具体rank和target modules在Supp. Mat中给出，需要按表对照配置；(3) 评测用的B4/M/RL/CI/SP需用coco-caption等标准实现，SBERT-CS需固定backbone以保证可比性。整体而言，由于方法流程清晰、参数明确、代码开源，预期可以在2-4周内完成主要表格的复现。

记忆增强的视觉-语言智能体：用于持久且语义一致的物体描述生成 Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning