RecGOAT：基于图最优自适应传输与双语义对齐的LLM增强多模态推荐 RecGOAT: Graph Optimal Adaptive Transport for LLM-Enhanced Multimodal Recommendation with Dual Semantic Alignment

RecGOAT的完整方法流程如下。第一步是物品模态增强：对每个物品i，使用预训练LLM（Qwen3-Embedding-8B）编码其文本描述得到文本特征$x_t^i$，使用LVLM（LLaVA-1.5-7B）编码其商品图片得到视觉特征$x_v^i$。第二步是构建物品-物品图：对文本和视觉两个模态，分别用KNN算法基于余弦相似度构建冻结的物品-物品图，保留每个节点的Top-K最相似邻居边，然后用多头GAT进行图学习，通过聚合多跳邻居信息增强每个物品的协同语义表示$z_m^i$。第三步是ID嵌入学习：构建用户-物品交互图，采用LightGCN的轻量传播规则在L层传播后平均得到ID嵌入$z_{id}^u$和$z_{id}^i$。第四步是用户文本增强：为每个用户构建个性化行为提示（包含交互历史的物品文本描述），用QwQ-32B推理用户多维度偏好，生成结构化文本回答再编码为用户的文本模态特征$x_t^u$，并在用户-用户文本图上用GAT进一步传播和优化。第五步是实例级对齐（CMCL）：对每个物品的三对模态表示（ID-文本、ID-视觉、文本-视觉）计算InfoNCE对比损失，拉近同一物品不同模态的表示、推远不同物品的表示。第六步是分布级对齐（OAT）：将LLM模态特征分布作为源分布、ID嵌入分布作为目标分布，计算归一化L1距离作为代价矩阵$C_m$，通过Sinkhorn算法求解正则化OT得到最优传输矩阵$T_m^0$，再叠加可学习残差矩阵$\tilde{T}_m$得到自适应传输矩阵$T_m$，将模态特征传输到ID空间得到对齐表示$\hat{Z}_m = Z_m \cdot T_m$。第七步是融合与优化：将三个对齐后的表示（$\hat{Z}_t$、$\hat{Z}_v$、$Z_{id}$）加权平均得到统一表示$Z$，用BPR损失优化推荐性能。

RecGOAT在技术新颖性上有多处显著贡献。首先，在问题定义层面，它是第一个系统性地识别并理论分析LLM表示与ID信号之间语义异质性问题的工作，并提出了双粒度对齐的解决范式，这在之前的LM增强推荐方法中从未被充分探讨。其次，在方法设计上，将最优传输理论引入模态-ID对齐是一个全新的视角——虽然OT已被用于知识图谱嵌入（OTKGE）和多模态知识蒸馏（MOTKD），但从未有人探索OT在对齐LLM增强模态与推荐ID信号方面的潜力。更重要的是，RecGOAT的自适应传输矩阵设计（基础OT矩阵+可学习残差）是一个巧妙的创新，它解决了纯几何驱动的OT无法感知下游推荐任务的问题。第三，在理论贡献上，论文严格证明了统一表示在对齐一致性和融合全面性两个维度上的数学保证——Theorem 3.5给出的误差界明确指出，通过同时优化Wasserstein距离和InfoNCE损失，统一表示的目标误差严格低于任何单一模态，这种形式化的理论保证在多模态推荐领域是非常少见的。第四，在用户表示初始化方面，RecGOAT使用QwQ-32B进行个性化行为偏好推理，而非常见的随机初始化或聚合历史交互物品特征，这使其能更准确地描绘用户画像。

第一，LLM推理成本过高是一个实际部署的重大瓶颈。RecGOAT需要为每个物品运行Qwen3-Embedding-8B（文本）和LLaVA-1.5-7B（视觉），还要为每个用户用QwQ-32B进行个性化行为推理，这在百万级物品和千万级用户的工业场景下计算开销极大。改进方向包括：使用更轻量的LLM（如小型蒸馏模型）、离线预计算并缓存LLM表示、或设计增量更新策略只对新物品/新用户运行LLM推理。第二，Sinkhorn算法的收敛性在实践中可能不够稳定，特别是当源分布和目标分布差异较大时，正则化参数ε的选择对结果敏感。论文未报告Sinkhorn的迭代次数和收敛曲线，建议后续工作探索更稳定的OT求解器或自适应正则化策略。第三，自适应传输矩阵中的残差矩阵$\tilde{T}_m$是一个$d \times d$的全矩阵，在高维特征空间（如d=256或更大）下参数量可达数万，可能引入过拟合风险。改进方向可以考虑低秩近似或稀疏约束来减少残差矩阵的参数量。第四，三个模态对的对比学习权重是均匀的（等权加和），但不同模态对的对齐难度可能不同，自适应权重调整策略可能带来进一步的性能提升。

作者在结论中提出了两个明确的未来方向：一是探索多个最优传输对齐之间的交互作用，当前RecGOAT独立地为文本和视觉模态各计算一个OT对齐，未来可以研究跨模态OT之间的耦合优化；二是将语义对齐方案扩展到全模态大推荐模型（Omni-modal Large Recommendation Model），覆盖文本、视觉、音频、用户行为序列等更多模态。基于本文成果，还可以延伸以下几个方向：首先，可以探索RecGOAT在冷启动场景中的表现——当新物品只有文本/视觉信息没有交互数据时，分布级对齐是否能更好地将LLM语义迁移到ID空间。其次，理论分析可以推广到用户嵌入动态更新的场景，建立更紧的误差界。第三，可以将RecGOAT的对齐框架应用于跨域推荐，例如将一个域（如电子产品）的LLM语义对齐到另一个域（如图书）的ID信号。第四，结合因果推断思想，探索OT对齐过程中哪些语义维度对推荐最重要，实现可解释的模态融合。

RecGOAT的代码已在GitHub开源（https://github.com/6lyc/RecGOAT-LLM4Rec），这是复现的重要基础。数据集方面，三个Amazon数据集（Baby、Sports、Electronics）是推荐领域的标准公开基准，可从公开链接获取。实验设置清晰：8:1:1的数据划分、5-core过滤、4096维视觉特征和384维文本特征使用MMRec框架提供的标准特征。然而，复现面临的主要挑战在于LLM推理：需要部署Qwen3-Embedding-8B（8B参数）、LLaVA-1.5-7B（7B参数）和QwQ-32B（32B参数）三个大模型进行特征提取和用户偏好推理，这对GPU显存和计算资源要求较高（至少需要多张高端GPU）。此外，论文部分超参数（如GAT的层数和头数、Sinkhorn的正则化参数ε、学习率等）在主文中未完整列出，可能需要查阅代码仓库获取完整配置。总体而言，复现难度中等偏高，主要瓶颈在LLM推理的算力需求而非方法本身的复杂度。