生成式AI与机器学习协作通过数据标准化预测集装箱停留时间 Generative AI and Machine Learning Collaboration for Container Dwell Time Prediction via Data Standardization
利用生成式AI标准化非结构化货物和所有者信息，提升集装箱停留时间预测精度14.68%
前置知识
集装箱停留时间
指进口集装箱从船舶卸载到最终离开港口的整个时间跨度。这一指标直接影响港口堆场管理效率，因为准确的停留时间预测可以让操作人员优化堆叠位置，减少场桥的重新搬运操作。停留时间受多种因素影响，包括货物类型、所有者性质、通关速度、提货安排等。在港口运营中，预测停留时间是一项具有高度不确定性的任务，因为提货卡车的到达时间通常无法提前知晓。
本文的核心目标是准确预测ICDT，这是理解整个问题域的基础。只有理解了ICDT的定义、影响因素和预测难度，才能理解为什么需要引入生成式AI来处理非结构化数据，以及预测结果如何应用于堆叠策略优化。
电子数据交换
电子数据交换系统是一种用于在供应链各参与方之间自动传输商业文档的标准化通信协议。在港口物流场景中，EDI跟踪进口集装箱通关过程中的各种状态变化，包括卸载完成、放行订单签发、预提货通知、闸口离开等关键节点。每个EDI状态更新都携带时间戳信息，反映了集装箱当前所处的通关阶段，这些时间信息可以被用来重新计算和更新剩余停留时间预测。
本文引入了基于EDI状态的动态重新预测机制，理解EDI的工作原理和状态含义对于把握论文方法创新至关重要。EDI状态更新提供了时间相关的动态特征，使得预测模型能够随着通关进度不断优化预测结果。
HS协调制度编码
HS编码是世界海关组织开发的国际商品分类系统，目前有超过200个国家使用该系统作为关税征收和贸易统计的基础。HS编码采用层级结构：两位数表示章，四位数表示品目，六位数表示子目。例如，编码2009表示水果或蔬菜汁，200979表示其他苹果汁。本文使用HS编码对集装箱内装载的货物信息进行标准化，从非结构化的货物描述转换为结构化的分类代码。
HS编码是本文用于标准化货物信息的关键工具。理解HS编码的层级结构和分类逻辑，有助于理解为什么生成式AI能够将五花八门的货物描述统一映射到标准分类，以及不同粒度级别的编码对预测性能的影响差异。
KSIC韩国标准产业分类
KSIC是韩国统计厅建立的国家标准分类系统，基于联合国国际标准产业分类制定，同时反映韩国产业结构特点，用于系统性地对经济活动进行分类。KSIC采用字母加数字的层级结构：一位字母表示大类，两位数字表示中类，三位数字表示小类。例如，I表示住宿和餐饮业，I56表示食品和饮料服务活动，I561表示餐馆和移动式食品服务活动。本文使用KSIC编码对货物所有者所属的行业进行标准化分类。
KSIC是本文用于标准化所有者信息的工具。理解KSIC分类体系有助于理解为什么所有者信息可以转化为有用的预测特征，以及不同行业类型的货物所有者可能如何影响集装箱的停留时间。
研究动机
进口集装箱停留时间预测是提升港口堆场管理效率的关键环节，准确的预测可以减少场桥的重复搬运操作。然而，现有研究面临一个根本性限制：决定停留时间的两个关键因素——货物信息和所有者信息——都以非结构化文本形式记录，无法被机器学习模型直接利用。这些信息需要专家人工解读并按照标准分类系统进行归类，但人工标准化过程耗时耗力，在运营环境中几乎不可行。现有尝试如Kourounioti等人将货物信息手动分类为八个类别，或Xie等人使用GloVe词嵌入匹配HS编码，都存在语义损失、泛化能力差、需要构建领域专用词汇表等问题。根据文中所述，即使是相对先进的词嵌入方法，在处理超出训练数据的缩写、技术术语和特定领域行话时也表现不佳，需要持续更新和维护。
本文的目标是本文的具体目标是将生成式AI与机器学习相结合，构建一个协作框架来解决上述问题。该框架利用Gen AI将非结构化的货物信息和所有者信息自动标准化为国际标准代码（HS码和KSIC码），然后结合EDI状态更新的动态信息，使机器学习模型能够准确预测进口集装箱停留时间。更深层的目标是通过改进的预测结果优化集装箱堆叠策略，减少场桥的重新定位次数，从而实证验证生成式AI在港口物流领域提升生产力的潜力。
与已有工作不同的是，本文的独特切入角度在于首次将生成式AI应用于港口物流领域的非结构化数据标准化。与现有研究依赖监督学习方法、需要构建大规模预标注训练数据集、主要对特定来源或领域的数据有效不同，生成式AI利用其强大的预训练知识和语言理解能力，可以直接从给定输入执行标准化，无需复杂预处理或训练数据集构建，具有更高的泛化能力。更重要的是，当信息不足时，Gen AI可以像人类一样执行网络搜索来增强推理所需的信息，甚至从有限的短文本中进行标准化。此外，通过提供标准化结果背后的推理过程，Gen AI使输出可解释和响应，这在实际运营环境中对建立信任和便于人工审核至关重要。
核心方法
该方法的整体思路是建立一个双层协作框架：第一层是标准化层，使用生成式AI将非结构化的货物信息和所有者信息转换为结构化的标准编码；第二层是预测层，结合标准化的结果、基础变量和EDI状态变量，训练多个机器学习模型来预测不同EDI状态下的剩余停留时间。方法的核心创新在于引入了一个缓存机制来存储标准化结果，当相同的输入信息再次出现时直接重用，从而最小化重复的Gen AI调用，降低了运营成本。当EDI状态更新时，系统会触发动态重新预测，使预测结果随着通关进度的推进而不断优化。
核心创新点在于利用生成式AI的强大语言理解能力来处理港口物流中高度非标准化的文本记录，并通过EDI状态跟踪实现预测的动态更新。这与已有方法的本质区别在于：传统方法要么完全忽略非结构化数据，要么依赖监督学习需要大量标注数据且泛化能力差；而Gen AI可以直接理解各种形式的文本描述，包括缩写、行话、品牌名等，并将其映射到标准分类系统，无需额外训练。另一个关键创新是设计了验证机制，让Gen AI能够自主评估输入信息是否足以进行标准化，返回Type-1（有效）、Type-2（信息不足）或Type-3（无效）三种状态，这大大提高了数据质量控制的自动化水平。此外，将预测的停留时间直接应用于堆叠策略决策，形成端到端的优化闭环，实现了从数据标准化到运营效率提升的完整价值链。
方法步骤详情
方法步骤的完整描述如下：首先，当进口集装箱卸载时，系统收集基础变量包括集装箱尺寸、类型、重量、起运国、承运商、星期几、是否节假日等，以及非结构化的货物信息和所有者信息。其次，标准化层首先查询标准化缓存，如果找到相同的输入则直接返回缓存的标准化结果；否则生成包含指令、任务描述和原始信息的提示词，调用Gen AI执行标准化。Gen AI返回JSON格式的标准化结果，包括三个层级的标准编码、验证检查类型、推理说明、证据标记符和公司规模等字段，并将结果存入缓存。然后，根据EDI状态的更新，预测层使用不同的特征组合。在初始IN状态，使用基础变量和标准化结果预测初始停留时间；当EDI状态更新到CR或CP时，额外添加经过时间和到期日期变量，重新预测剩余停留时间。每个EDI状态训练独立的预测模型，其中e属于{IN, CR, CP}集合。最后，将预测的停留时间应用于堆叠策略：对于新到集装箱，遍历所有堆放位置，选择顶部集装箱预测停留时间最长的位置进行堆叠，使预计很快离开的集装箱更靠近堆叠顶部，从而减少需要重新定位的集装箱数量。
技术新颖性
技术新颖性体现在多个方面：一是首次在港口物流领域应用生成式AI进行非结构化数据标准化，证明了LLM在工业场景中处理专业术语和缩写的能力；二是设计了三层级的标准化机制，从粗粒度的章级到细粒度的子目级，实验证明越细粒度的标准化能够提供更有信息量的特征；三是提出了Gen AI自我验证机制，能够自主判断输入信息是否足够进行标准化，大大提高了数据质量控制的自动化水平；四是将预测结果直接嵌入到运营决策流程中，实现了从数据预处理到生产效率优化的端到端解决方案；五是创新性地结合了EDI状态跟踪的动态更新机制，使预测能够随着业务进展不断优化，这比静态的一次性预测更符合实际运营场景的需求。此外，缓存机制的设计不仅降低了成本，还使得系统随着运行时间的增加，标准化效率越来越高，这在实际部署中具有很高的经济价值。
实验结果
核心发现是生成式AI标准化的引入显著提升了ICDT预测性能。实验基于釜山港2024-2025年两年共394,386条进口集装箱记录，采用平均绝对误差作为评估指标。在20%测试集比例下，未使用标准化的CAT模型在IN、CR、CP三个EDI状态的MAE分别为38.613、26.913、2.033小时；使用标准化后，MAE降至33.253、23.710、1.892小时，性能提升分别为13.88%、11.90%、6.94%。CAT模型在所有测试场景下都取得了最佳性能，比XGBoost和LightGBM分别高出约2%和4%。深度学习模型如FT-Transformer、NODE、TabNet在所有情况下都表现不佳，甚至在CP状态下比均值基线还差16.30%，验证了树模型在表格数据上的优势。标准化粒度分析显示，Level-3组合在IN、CR、CP状态的MAE分别为33.253、23.710、1.892，比Level-1组合分别提升8.50%、7.74%、4.20%，证明更细粒度的标准化能提供更有价值的特征。SHAP分析显示HS编码在IN和CR状态是最重要的影响变量，贡献度分别达16.83%和11.31%，说明标准化信息确实是预测的关键因素。堆叠策略模拟实验表明，在平均堆场占用率40%的条件下，使用预测ICDT的堆叠策略相比基准策略减少了7.65%的重新定位次数，在最佳条件下可达到14.68%的减少。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 进口集装箱停留时间预测 | 平均绝对误差（小时） | 33.253 (IN状态) | 38.613 (未标准化) | 13.88% |
| 停留时间预测 | 平均绝对误差（小时） | 23.710 (CR状态) | 26.913 (未标准化) | 11.90% |
| 停留时间预测 | 平均绝对误差（小时） | 1.892 (CP状态) | 2.033 (未标准化) | 6.94% |
| 堆叠策略优化 | 重新定位次数减少率 | 14.68% (最佳情况) | 0% (随机堆叠) | 14.68% |
| Gen AI标准化一致性 | Level-3一致性率 | CI: 90.31%, OI: 84.05% | N/A | N/A |
局限与改进
局限性分析包括作者承认的和观察到的几个方面。首先，生成式AI无法保证对相同输入产生一致的输出。一致性测试结果显示，在Level-1级别CI的一致性率为98.44%，但到Level-3降至90.31%；OI从Level-1的96.15%降至Level-3的84.05%。这种一致性下降通常发生在输入信息不足时，当Gen AI判断标准化可行时输入文本平均长度为85字符，而判断无效时仅约20字符。其次，该方法高度依赖于输入文本的质量。当CI描述过于简短如TUBE、STERILE、GARMENTS时，Gen AI无法获取足够的语义信息进行准确分类。第三，本文仅在釜山港单一集装箱终端进行实验，框架在不同国家、不同港口的泛化能力有待验证。第四，研究假设ICDT与变量之间存在可预测的关系，但在某些港口由于存储费用过低导致ICDT可长达90天，这种情况下ICDT更多取决于利益相关者的随意决策而非变量关系，可能限制预测模型的有效性。最后，安全性和隐私问题也是实际部署需要考虑的挑战，因为货物信息和所有者信息都属于敏感数据，将数据发送给外部商业Gen AI服务可能引发港口运营商和客户的安全担忧。
独立分析的弱点
独立分析的弱点包括：第一个弱点是在信息不足场景下的标准化可靠性问题。当输入文本过于简短或模糊时，Gen AI可能产生不一致的分类结果，改进方向可以是设计更智能的提示词工程，或引入多代理机制对标准化结果进行交叉验证。第二个弱点是Gen API用成本问题。虽然缓存机制可以随着时间推移降低成本，但在系统初期成本仍然较高，改进方向是开发性能相当但资源消耗更小的小型语言模型，既提高实用性又能解决安全顾虑。第三个弱点是单港口研究的泛化性限制。改进方向是在多个不同国家和港口环境进行验证，特别是那些EDI系统不同、语言环境不同的港口。第四个弱点是对高质量训练数据的依赖。改进方向是建立系统的运营标准和利益相关方协作机制，确保数据质量。第五个弱点是在高堆场占用率条件下重新定位减少效果有限。当堆场占用率超过80%时，使用标准化结果带来的额外益处几乎消失，改进方向可能是结合其他优化策略如动态堆场容量分配。第六个弱点是安全性考虑。改进方向是在港务局层面建立Gen AI基础设施或在各终端内部部署本地化模型，消除信息泄露风险。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的几个方向。首先，需要进一步改进标准化的一致性。这可能涉及推进提示词工程技术，引入多代理方法来验证标准化结果，或者采用检索增强生成使标准化能够直接访问目标分类系统。其次，开发性能与商业Gen AI相当但资源效率更高的紧凑型语言模型，这是集装箱终端应用的重要研究方向。这样的模型将提高实际部署能力，同时也能解决安全问题。第三，由于本研究仅在釜山港单一集装箱终端进行，未来工作应在多样化的港口环境中验证所提框架的泛化能力。第四，可以探索将框架扩展到其他EDI状态，如终端预约系统，当提货卡车预期到达时间通过TAS确认时，可以进一步细化预测。第五，可以研究如何将框架与其他优化技术结合，如在堆叠策略中考虑更多实时因素如设备位置、作业队列等。第六，可以探索将该方法应用于其他物流场景如空港货运、内陆堆场等。最后，从环境保护角度出发，可以深入研究减少重新定位对能源消耗和碳排放的影响，量化框架在可持续港口运营方面的贡献，这符合现代港口同时追求生产力和环境性能的趋势。
复现评估
复现评估方面，论文提供了较为详细的方法描述和实验设置，但完整复现仍面临一定挑战。论文明确指出使用了Gemini 2.5 Flash作为Gen AI模型，并给出了完整的提示词设计附录1和附录2，这为标准化部分提供了明确的复现指导。数据集描述为釜山港2024-2025年两年共394,386条记录，但实际数据集未公开，这是复现的主要障碍。代码层面，论文以伪代码形式给出了标准化缓存算法和堆叠决策算法，但未提供实际源代码。实验细节方面，论文详细描述了变量定义、模型超参数设置如XGBoost、LightGBM、CAT的选择依据，测试比例的设置（20%、30%、40%），以及评估指标MAE的计算公式。算力需求方面，深度学习模型和树模型训练需要一定的计算资源，但Gen API用会带来额外的API调用成本。整体来说，如果研究者能够获得类似结构的数据集，按照论文描述的方法和提示词设计，应该能够复现核心结果，但由于数据私有性和Gen AI模型状态的可变性，完全精确复现可能存在一定难度。论文在讨论部分也提到了Gen AI输出不一致性的问题，这确实会影响复现的精确度。
论文图表
该图展示了基于HS编码和公司规模分级的ICDT分布对比，重点关注前100个二级HS编码中样本量最大的代表性编码。图中对比了大型企业和中小型企业在不同HS编码下的ICDT分布，使用独立t检验检验统计显著性。结果显示对于某些产品类别如HS 2309（动物饲料制剂）、HS 2916（不饱和单羧酸）等，大型企业表现出更短的ICDT和更小的方差。
这张图对理解论文重要，因为它揭示了OI和CI的交互效应对ICDT的影响。当产品特性（如易腐性）主要决定离港速度时，企业规模对ICDT的影响有限；但对于某些产品类别，企业规模的统计显著性差异表明这两类信息具有互补特性，这为同时使用OI和CI作为预测特征提供了合理性。
该图展示了三个EDI状态（IN、CR、CP）下各变量的SHAP值重要性排序。IN状态下HS编码、KSIC编码、星期几是最重要的三个变量。CR状态下HS编码仍然最重要，其次是经过时间变量和KSIC编码。CP状态下到期日期变量变得极其重要，达到34.72%，HS编码和KSIC编码仍然保持较高重要性。
这张图对理解论文重要，因为它定量验证了Gen AI标准化的结果确实是ICDT预测的关键变量。SHAP分析显示标准化编码在几乎所有EDI状态下都是最重要的特征之一，这为论文的核心贡献提供了强有力的证据支持。同时图中还展示了EDI相关变量随着状态变化的重要性变化，体现了动态更新机制的价值。
该图通过可视化对比展示了p-ICDT策略和基准策略的堆叠效果差异。图中的红色标记表示堆叠倒置情况，即下层集装箱的提货时间早于上层集装箱，这种情况会导致上层集装箱需要重新定位才能取出下层集装箱。对比显示，在相同条件下，p-ICDT策略相比基准策略减少了超过50%的堆叠倒置。
这张图对理解论文重要，因为它直观地展示了p-ICDT策略如何通过优化堆叠顺序减少需要重新定位的集装箱数量。减少堆叠倒置意味着更多集装箱可以直接从上层取出，这直接翻译为运营效率的提升和成本的降低，是论文实用价值的直观证明。
该图展示了在正常堆场占用率条件下的一周内重新定位减少性能。图中对比了三种策略：不使用标准化结果的基线、使用标准化结果的p-ICDT策略、以及操作基准。结果显示在不使用标准化结果的情况下平均重新定位减少率为12.46%，而使用标准化结果后达到19.25%，证明标准化信息能够在相同预测模型下进一步减少重新定位。
这张图对理解论文重要，因为它展示了在实际运营条件下，Gen AI标准化带来的具体效率提升。19.25%的重新定位减少率相比12.46%有显著提升，这量化了Gen AI对港口运营效率的实际贡献，验证了框架的实用价值。
该图展示了在模拟期间堆场占用率最高的一周内重新定位减少性能。与图6类似，对比了使用和不使用标准化结果的性能差异。在堆场占用率较低的时间点，使用标准化的案例能够取得更大的重新定位减少率（如29.60% vs 15.88%），但在堆场占用率超过80%时，两者的改善幅度基本相同（均为7.33%）。
这张图对理解论文重要，因为它揭示了Gen AI标准化效果的边界条件。在高堆场占用率条件下，标准化的额外益处变得有限，说明框架的有效性受到运营环境约束。这为实际部署提供了重要启示，即需要维持适当的堆场占用率水平以最大化标准化的效果。
该图综合比较了不同核心组件组合下的重新定位减少效果。图中展示了五种配置：操作基准、不使用标准化也不使用EDI重预测、仅使用EDI重预测、仅使用标准化结果、完整框架（标准化加EDI重预测）。结果显示重新定位减少率按特定顺序依次降低，完整框架相比基准平均减少9.25%。
这张图对理解论文重要，因为它量化地分解了两个核心组件的独立贡献和协同效应。EDI重预测贡献约1.49%的额外减少，而标准化结果贡献约3.44%的额外减少，证明两者都有价值且可以协同工作，这是框架设计合理性的重要证据。
该表格定义了模拟中使用的所有符号表示，分为堆场布局、事件与集装箱、堆叠决策三类。堆场布局包括堆场索引、行索引、贝位索引、层索引和位置集合。事件与集装箱包括EDI索引、状态类型、关联容器、预测函数等。堆叠决策包括最长停留时间、最佳位置和重新定位数量等。
这个表格对理解论文重要，因为它定义了模拟算法的形式化表示，是理解堆叠策略和重新定位计算的基础。清晰的符号定义使得复杂的堆叠决策过程可以被精确描述和实现，这是确保模拟结果可复现和可验证的前提。
该表格对比了不同堆场占用率下三种堆叠策略的重新定位数量。p-ICDT策略相比基准策略在平均占用率21.8%时减少14.68%，在平均占用率74.7%时仅减少2.89%。a-ICDT策略提供理论上限，在低占用率时可减少超过30%的重新定位。整体平均来看，p-ICDT相比基准减少9.26%。
这个表格对理解论文重要，因为它量化了预测ICDT在实际运营中的价值。重新定位减少率直接翻译为运营成本和能源消耗的降低，这是论文实用价值的核心证据。表格还揭示了占用率对效果的影响，为实际部署提供了重要指导。
该表格分析了Gen AI标准化对重新定位减少的影响。使用标准化结果的CAT模型相比不使用的模型，在所有堆场占用率条件下都实现了更少的重新定位，平均减少率为3.19%。在最大占用率达到100%的条件下平均减少1.11%，在其他条件下达到4.23%。在类似实际运营条件的Yard 5设置下减少了2.02%。
这个表格对理解论文重要，因为它孤立了Gen AI标准化的独立贡献。即使使用相同的预测模型和堆叠策略，标准化信息也能带来额外的效率提升，这直接证明了Gen AI在港口物流中的实际价值，而不仅仅是学术上的预测性能改进。
该表格分析了基于EDI的重新预测对重新定位的影响。不使用EDI重预测时相比基准平均减少8.57%，使用EDI重预测时达到9.26%，表明EDI重预测提供了额外的0.69%平均减少。在类似实际运营条件的Yard 5设置下，额外减少1.32%。
这个表格对理解论文重要，因为它孤立了EDI动态重新预测的独立贡献。虽然提升幅度相对较小，但证明了随着EDI状态更新不断优化预测是值得的，这与CR状态MAE从33.253降至23.710的预测性能提升相呼应。
该表格报告了CI和OI标准化的一致性测试结果。CI在Level-1的一致性率为98.44%，Level-2为96.63%，Level-3为90.31%。OI在Level-1为96.15%，Level-2为91.25%，Level-3为84.05%。一致性率使用公式计算，衡量相同输入在10次重复请求中返回相同结果的比例。
这个表格对理解论文重要，因为它揭示了Gen AI的一个关键限制：输出不一致性。随着标准化层级增加，一致性率下降，这反映了更细粒度分类对输入信息质量的要求更高。这是论文在讨论部分承认的主要局限性之一。
该表格展示了Gen AI对无效分类的推理示例。对于TUBE，Gen AI推理该术语过于宽泛，缺乏材料、用途或直径等具体属性；对于STERILE，仅表明状态或特性，不提供具体产品名称或材料信息；对于GARMENTS，缺乏材料成分、产品类型、针织还是梭织等详细信息。
这个表格对理解论文重要，因为它展示了Gen AI在无法标准化时的推理过程，这体现了系统的透明度和可解释性。清晰的推理输出可以帮助识别数据质量问题，促进与领域专家的讨论和后续的数据清理工作。