京东氧气AI商品中心：面向商品理解、管理与应用的工业级LLM/VLM解决方案 JD Oxygen AI Item Center (Oxygen AIIC) V1: An Industrial-Scale LLM/VLM-Centric Solution for Item Understanding, Management, and Applications
京东构建的工业级商品知识平台，实现数百亿SKU的高质量知识生产与服务
前置知识
本体
本体是对某个领域内概念、属性及其相互关系的规范化描述。在电商场景中，本体包括类别层次结构、属性键、属性值和场景标签。例如服装类别下的男装衬衫包含袖长等属性键，长袖等属性值，以及世界杯观赛套装等场景标签。本体为商品知识提供了标准化的语义框架，使不同来源的信息能够统一理解和处理。构建高质量的电商本体需要结合专家领域知识和大规模数据挖掘能力。
本文核心依赖于动态演化的本体来驱动商品知识生产，理解本体的概念、结构和构建方法对于把握整个系统的知识基础至关重要。
SKU/SPU
SKU是库存单位，是电商平台中的最小可售商品单元，每个SKU对应具体的商品配置如颜色和尺寸组合。SPU是标准产品单位，是同一物理商品的不同SKU的集合。例如同一款手机的不同颜色和配置属于同一个SPU。在电商数据中，同一SPU下的多个SKU往往共享大部分商品信息和属性，这种同质性是本文优化策略的关键依据。系统通过SPU级前缀缓存复用和SKU级语义去重来减少计算冗余。
本文针对数百亿SKU的大规模知识生产场景，利用SKU与SPU的层次关系实现计算负载降低和缓存复用，这是理解系统效率优化策略的基础。
语义搜索
语义搜索是通过向量表示将查询和文档映射到统一的语义空间，然后计算向量相似度来匹配相关内容的技术。与基于关键词的搜索不同，语义搜索能够理解词义之间的语义关系，即使查询和文档使用不同的词汇也能找到匹配结果。本文使用训练好的表示模型将商品信息和本体条目编码为向量，通过余弦相似度计算检索Top-K候选属性值，为后续的精确判别阶段提供紧凑的候选空间。
S2D架构的语义搜索然后判别流程是本文的核心创新之一，理解语义搜索的工作原理对于把握系统的可扩展性和泛化能力至关重要。
LoRA/MoE
LoRA是一种高效的模型适配方法，通过冻结预训练模型参数并添加低秩矩阵适配器来实现知识注入。权重更新形式为$\Delta W = \rho \cdot BA$，其中$B \in \mathbb{R}^{n \times r}$和$A \in \mathbb{R}^{r \times m}$是低秩矩阵，$\rho$和$r$分别表示缩放因子和秩。MoE是混合专家架构，通过动态激活不同的专家模块来处理不同任务。本文使用LoRA构建增量专家池，通过GRPO策略实现专家的动态组合。
增量学习和模型进化是本文的核心技术，理解LoRA和MoE的工作原理对于把握模型如何持续适应新任务和新领域至关重要。
InfoNCE损失
InfoNCE是一种对比学习目标函数，用于训练表示模型区分正负样本。给定锚点样本、正样本集$V^+$和负样本集$V^-$，InfoNCE损失定义为$L_{InfoNCE} = -\frac{1}{|V^+|}\log\sum_{i=1}^{|V^+|}\frac{\exp(sim(\tilde{e}, \tilde{e}^+_i)/\tau)}{\exp(sim(\tilde{e}, \tilde{e}^+_i)/\tau) + \sum_{j=1}^{|V^-|}\exp(sim(\tilde{e}, \tilde{e}^-_j)/\tau)}$，其中$sim$表示余弦相似度，$\tau$表示温度系数。该损失通过最大化正样本对的相似度并最小化负样本对的相似度，学习高质量的向量表示。
本文在多个表示模型训练阶段使用InfoNCE损失，理解其数学原理和训练目标对于把握系统如何学习统一的商品语义空间至关重要。
研究动机
传统电商商品知识系统在工业级规模下面临三大核心瓶颈。在需求侧，商品信息不完整和用户描述方式的多样性导致语义鸿沟。例如，用户可能搜索炭灰色或莫兰迪色系，但商品数据中可能只记录了其他表达方式，这种语义不匹配会降低用户体验和流量分配效率。在供给侧，商家需要提供并持续维护多维度的商品信息，但手工操作方式成本高昂、效率低下，导致商品信息质量下降，限制了商家吸引流量的能力。在运营侧，市场趋势频繁变化和日益细粒度的运营需求使得趋势感知和商品运营变得更加困难，最终约束了平台的整体运营效率。此外，传统基于BERT的NER等NLP技术受限于模型容量和任务特定微调，难以跨越异构电商数据源的分布差异，对新兴概念的泛化能力不足，同时存在人工标注瓶颈。
本文的目标是本文的目标是构建一个工业级、可扩展、可自我进化的商品知识基础设施，能够在京东平台上为数万类商品和数百亿SKU生产高质量的结构化知识。具体而言，系统需要实现三个核心目标：一是构建能够快速演化的百万级本体，支持动态扩展和敏捷更新；二是实现高吞吐、低成本、高质量的大规模知识生产，在保持知识质量一致高的同时，将推理成本和延迟控制在预算范围内；三是高效支持多样化的下游需求，包括实时服务、高吞吐近线特征和离线后处理等，在同一平台上同时满足这些高度并发、领域特定的需求。最终目标是将大模型的理论潜力转化为工业部署的现实价值。
与已有工作不同的是，本文的独特切入角度在于构建了一个完整的端到端工业级商品知识基础设施，而非孤立的算法改进。现有工作大多专注于商品知识图谱、本体扩展、商品知识生产或电商领域基础模型中的某一个方面，缺乏系统级协调。本文将这四个方向有机整合：通过人机协作实现本体动态演化，通过S2D架构实现知识生产与模型参数解耦，通过增量学习和自进化实现模型能力持续提升，通过统一的商品通道实现多样化服务。更重要的是，本文关注大规模部署的生产和管理效率，这是学术研究较少涉及但对工业应用至关重要的维度。此外，本文提出的LoRAM初始化、GROLE专家组合策略、Latent CoT蒸馏、自适应噪声注入等技术创新，都是在实际工业挑战驱动下的针对性解决方案。
核心方法
Oxygen AIIC的整体架构采用模块化设计，包含五个紧密协调的模块：本体工程、AI商品库、商品理解大模型、商品通道和应用矩阵。本体工程是知识基础，通过高效的人机协作构建包含数百万条目的高质量本体。AI商品库将商品映射到本体，通过S2D架构和吞吐量优化策略实现可扩展、高吞吐的知识生产。商品理解大模型支持本体构建和AI商品库生产，通过增量学习和模型自进化实现稳定可控的能力提升。商品通道是中央枢纽，提供统一的服务层，支持秒级、分钟级、天级的生产和分发流水线。应用矩阵是价值交付层，将商品知识资产和模型能力转化为标准化服务，在大规模业务场景中部署。这五个模块不是孤立运作，而是形成一个端到端的闭环，涵盖大规模本体构建、海量知识生产、集中资产管理、分级访问和跨领域反馈。
本文的核心创新点在于将动态本体与模型参数解耦，通过S2D架构实现可扩展的知识生产。传统端到端模型将本体知识隐式编码在模型参数中，适应本体更新代价高昂且常导致OOD性能下降。S2D架构将本体外部化为独立的知识库，在语义搜索阶段使用表示模型检索相关的本体条目，在判别阶段模型仅判断商品是否与检索到的本体条目匹配。另一核心创新是LoRAM初始化基于幅度原理，通过离散正弦变换构造确定性正交基$\xi$并与预训练权重增益系数$\beta$集成，定义低秩矩阵的初始状态：$B(0) = \beta \cdot \xi_n$, $A(0) = \beta \cdot \xi^\top_m$，同时进行权重补偿$W \leftarrow W - \beta^2 \xi_n \xi^\top_m$。Latent CoT蒸馏通过位置对齐的蒸馏损失$L_{distill} = \frac{1}{L}\sum_{i=|x|+2}^{|x|+L+1}\|h^S_i - h^{T-1}_{i}\|^2$将推理能力内化到单次前向传播中。
方法步骤详情
本体的构建采用自顶向下的专家定义和自底向上的算法增长相结合的方式。专家定义类别层次、核心属性集合、代表性属性值和特征场景标签，建立本体骨干。算法驱动的本体增长通过知识发现、知识融合和知识验证三个阶段实现。知识发现阶段使用训练好的知识发现模型从异构数据源中识别潜在概念，达到91%精度和79%召回率。知识融合阶段通过表示、聚类和选择三个步骤合并同义和语义相关概念，将发现的450万个概念减少到210万个候选本体概念。知识验证阶段通过多LLM协作验证框架进行质量验证和重要性评估。AI商品库的生产采用S2D架构，语义搜索阶段使用表示模型将商品信息和本体条目编码到统一语义空间，检索Top-K候选属性值。判别阶段使用训练好的判别模型在recalled候选空间内执行精确知识识别。吞吐量优化通过计算负载降低、缓存复用和异步流水线并行三个策略实现。
技术新颖性
本文的技术新颖性体现在多个层面。在架构层面，S2D架构首次将本体与模型参数解耦，为大规模知识生产提供了可扩展的技术路径，解决了传统方法难以适应动态本体演化的问题。在算法层面，LoRAM初始化基于幅度原理通过确定性正交基构造强更新动量的初始状态，加速收敛并提升精度；GROLE策略基于GRPO优化通过任务反馈实现专家的动态组合；Latent CoT蒸馏通过位置对齐的蒸馏损失将推理能力内化到单次前向传播中；自适应噪声注入策略基于奇异值分解动态调整扰动强度。在系统层面，SKU级语义去重和属性级相关性探测实现了从所有SKU乘以所有属性到差异化SKU乘以高相关属性的计算范式转变；SPU级前缀缓存复用通过提示结构优化、缓存感知局部性保证和内存管理调优提升生产吞吐量超过6倍。
实验结果
Oxygen AIIC在京东平台上实现了大规模部署，覆盖数万个商品类别，每天处理数亿次商品更新，积累了数千亿条商品知识资产。知识生产方面，最新模型在端到端AI商品库生产中达到94.2%精度和82.8%召回率，与S2D基线相比分别提升2.2%和4.5%。商品信息丰富度提升至3.35倍，平均每个SKU的属性数量增加到1.5倍。吞吐量优化方面，通过联合应用计算负载降低、缓存复用和异步流水线并行三个策略，整体吞吐量效率提升超过10倍。业务应用方面，搜索流量覆盖率达到80.4%，商品信息质量问题下降37%，核心属性自动填充率超过80%，商品创意优化点击率提升约9%。商品运营决策周期从数周缩短到数天，新品上线到生产数据的端到端周转时间从30天以上缩短到约2周。相同商品识别准确率在京东零售所有物理类别中超过90%。对于新增本体条目，只有0.8%的属性精度下降超过5%。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 商品知识识别 | Precision/Recall | 94.2%/82.8% | 92.0%/78.3% | +2.2%/+4.5% |
| 搜索流量覆盖 | 覆盖率 | 80.4% | 未报告 | 新增指标 |
| 商品信息质量 | 问题率下降 | -37% | 未报告 | 新增指标 |
| 核心属性填充 | 自动填充率 | >80% | 未报告 | 新增指标 |
| 商品创意优化 | 点击率提升 | +9% | 未报告 | 新增指标 |
| 本体相似度测试 | Spearman相关系数 | 0.86 | 0.62 | +0.24 |
局限与改进
作者承认Oxygen AIIC V1存在三个主要局限性。首先，本体工程中关系建模仍然处于初步阶段，尚未达到规模化，这限制了Oxygen AIIC赋能应用的潜力，也难以高效存储和使用JD积累的行业知识。其次，尽管生成的知识质量已经很高，但在数百亿商品规模下不可避免地产生大量在线失败案例影响用户体验，如何及时检测和修正这些缺陷仍然是核心挑战。第三，监督微调可能导致灾难性遗忘，如何在提升领域能力的同时不降低模型的通用能力是关键挑战。从观察角度，本文的方法高度依赖于精心设计的数据合成和选择策略，这些策略的有效性可能受到数据质量和领域特性的限制。此外，虽然吞吐量优化策略在当前规模下表现良好，但随着本体规模和商品数量的持续增长，系统架构可能需要进一步优化以保持线性可扩展性。
独立分析的弱点
从独立分析的角度，本文存在几个潜在的弱点和改进方向。首先，多LLM协作验证框架虽然通过多数投票机制减少了单个模型的变异性和误判，但这种方法增加了计算成本和系统复杂度，在高并发场景下可能成为性能瓶颈。改进方向可以是研究更高效的验证策略，例如使用专门训练的小型验证模型或采用知识蒸馏技术将多个大模型的能力集成到单个模型中。其次，样本效用测量策略基于认知差距$L_{excess}(x) = L_u(x) - L_w(x)$，但这种方法假设专家模型在所有样本上都优于当前模型，这在实际情况中可能不成立。改进方向可以是引入更鲁棒的效用测量方法，考虑模型的不确定性和置信度，或者采用多专家模型的集成策略。第三，自适应噪声注入策略虽然增强了表示鲁棒性，但噪声强度的全局系数需要手动调整，可能不是最优的。
未来方向
作者提出的未来工作方向包括三个主要方面。首先，加强本体工程，扩展关系建模，丰富本体，并支持基于图的推理。这将使Oxygen AIIC能够更深入地理解商品之间的语义关系，支持更复杂的应用场景。其次，开发在线不良案例发现机制，结合数据飞轮和模型自进化，使知识消费能够反馈并驱动知识生产。这将形成一个更紧密的闭环系统，实现更快的迭代和更高质量的知识生产。第三，研究更有效的方法来缓解域适应过程中的灾难性遗忘，潜在方向包括扩展MoE架构中的专家数量、通过改进的问题表述简化任务复杂度、以及通过显式知识注入增强提示。基于本文的成果，还可以延伸出其他研究方向。例如，研究跨域知识迁移机制，使在某个类别或领域学到的知识能够高效迁移到新领域；探索多模态知识融合的更深层次整合。
复现评估
本文的复现评估面临一定挑战。从开源情况来看，论文没有明确声明是否开源代码或模型，这使得独立复现更加困难。从数据角度来看，京东的商品数据、用户查询和本体知识是专有的，外部研究者无法获得相同的数据集，这使得直接复现实验结果几乎不可能。然而，论文提供了相对详细的方法描述和系统架构，以及多个关键的性能指标，为理解系统的有效性提供了充分的信息。从算力角度来看，系统在华为昇腾NPU上部署，处理数百亿商品规模的数据需要大规模计算资源，这对于大多数研究机构来说是不现实的。从难度角度来看，系统涉及多个复杂组件的协调，以及大量的工程优化，完整复现整个系统的难度极高。然而，论文中的关键算法相对独立，可以在小规模数据集上验证其有效性。
论文图表
该图展示了传统商品知识系统在需求侧、供给侧和运营侧的典型失败案例。需求侧显示用户无法理解高级颜色如精致的灰色或莫兰迪色系，导致用户体验差和流量分配效率低。供给侧显示商家管理的商品数据通过手工维护效率低下，商品信息质量下降。运营侧显示运营效率低和错失机会。图中还标注了快速出现的新概念、海量SKU和多样化需求这三个关键挑战，以及它们如何影响传统系统的性能。
这张图对理解论文至关重要，因为它清晰地阐述了传统电商商品知识系统面临的三大核心瓶颈，这正是本文要解决的问题。通过具体的失败案例，读者可以直观地理解问题的现实影响和紧迫性，为后续理解解决方案的必要性和有效性奠定基础。
虽然论文中没有显式标注为Table 1的表格，但论文中报告了多个关键性能指标。知识生产方面，最新模型达到94.2%精度和82.8%召回率，相比S2D基线的92.0%和78.3%分别提升2.2%和4.5%。商品信息丰富度提升至3.35倍，平均每个SKU的属性数量增加到1.5倍。吞吐量效率整体提升超过10倍。业务应用方面，搜索流量覆盖率达到80.4%，商品信息质量问题下降37%，核心属性自动填充率超过80%，商品创意优化点击率提升约9%。相同商品识别准确率超过90%。本体相似度测试的Spearman相关系数从0.62提升到0.86。对于新增本体条目，端到端周转时间从30天以上缩短到约2周。
这些性能指标对理解论文至关重要，因为它们量化了系统的有效性和影响力，展示了从模型性能到业务价值的完整链路。通过对比基线指标和本文方法的结果，读者可以直观地理解各个技术创新的贡献，以及整个系统在工业规模下的实际效果。