LLM能否清理你的数据？面向应用就绪数据准备的LLM方法综述 Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs
系统综述LLM在数据清洗、集成、增强三大数据准备任务中的方法、评估与挑战
前置知识
数据准备（Data Preparation）
数据准备是将原始数据集转化为高质量数据的过程，涵盖去噪损坏输入、识别跨数据集关系、提取有价值洞察。在实际场景中，企业约20%-30%的收入因数据低效而损失。数据准备涉及三大核心任务：数据清洗（消除错误和不一致性）、数据集成（从多个来源对齐和合并数据）、数据增强（添加语义标签和元数据）。传统方法依赖静态规则、手动干预或窄域模型，难以应对数据量和异构性的持续增长。
本文的核心研究对象，理解数据准备的三大任务分类法是把握整篇综述结构和内容的基础
上下文学习（In-Context Learning, ICL）
上下文学习是指大语言模型通过在提示中提供少量示例（few-shot）来执行特定任务的能力，无需更新模型参数。例如，在数据清洗任务中，可以在提示中给出几个标准日期格式转换的例子（如"7th April 2021"→"20210407"），模型就能学会对新的日期执行类似转换。ICL是LLM应用于数据准备的核心技术之一，因为它允许通用模型通过精心设计的提示快速适应各种数据处理任务。
本文讨论的许多LLM数据准备方法都基于ICL范式，理解ICL的工作原理对于把握提示工程类方法至关重要
检索增强生成（Retrieval-Augmented Generation, RAG）
RAG是一种将外部知识检索与LLM生成相结合的技术框架。在数据准备场景中，RAG首先从数据湖或知识库中检索与当前处理任务相关的上下文信息（如相似的数据记录、相关的元数据、外部知识图谱中的实体三元组），然后将这些信息注入到LLM的提示中，以增强模型的推理准确性。RAG使LLM能够处理训练数据中未见过的领域特定或私有数据集，通过动态注入补充上下文来实现更准确的值恢复和元数据生成。
RAG是本文讨论的多种数据准备方法的核心技术组件，特别在数据清洗和数据增强任务中被广泛应用
智能体工作流（Agentic Workflow）
智能体工作流是指利用LLM构建能够自主规划、执行和反思的智能代理系统。在数据准备场景中，智能体可以解释模糊的数据模式（规划阶段）、调用外部工具执行数据处理操作如上三角化、去除空格等（执行阶段）、评估处理结果并进行迭代修正（反思阶段）。典型的智能体数据准备系统包括CleanAgent和AutoDCWorkflow，它们将LLM作为控制器协调多个数据处理工具，实现端到端的自动化数据准备管道。
智能体方法代表了LLM数据准备的最新范式演进，是本文讨论的重点方向和未来趋势
模式匹配（Schema Matching）
模式匹配是数据集成中的核心任务，目标是识别不同数据库模式之间的语义对应关系。例如，将一个表中的"employee ID"列与另一个表中的"staff number"列匹配。形式上，给定源模式$S_s$和目标模式$S_t$，学习映射函数$f_{sm}$将每个源属性$A_s$映射到语义等价的目标属性$A_t$。传统方法依赖手工规则和统计相似度匹配，难以处理语义歧义（如同义词、缩写、领域特定术语）。LLM增强方法利用预训练语义知识来解析这些歧义。
模式匹配是本文数据集成部分的核心子任务，理解其定义和挑战对于把握相关方法的技术特点至关重要
研究动机
传统数据准备方法面临四大根本性局限。首先，高度依赖人工和专业知识：传统方法主要依赖固定规则和领域特定配置，如正则表达式和验证约束，需要大量手动努力和专业领域知识。例如，数据标准化通常需要复杂的手工脚本（如用户自定义函数）或手动约束（如日期格式规则），数据错误处理管道依赖手工规则定义的固定检测-纠正工作流，不仅维护成本高，还容易在纠正过程中引入新错误。其次，语义感知能力有限：传统基于规则的方法主要依赖统计模式或句法匹配，无法准确识别需要语义推理的复杂不一致性。例如，基于相似度的传统匹配技术难以解决缩写、同义词或领域特定术语等语义歧义。第三，跨任务泛化能力差：传统深度学习模型通常需要专门的特征工程或领域特定训练，严重限制了其在不同领域和数据模态间的泛化能力。微调的实体匹配模型在分布外实体上性能显著下降，监督数据标注模型在代表性不足的子群上表现不佳。第四，对标注数据的依赖和有限的知识整合能力：小模型方法通常需要大量高质量准确标注的示例，而现有方法缺乏整合多样化上下文的灵活性。
本文的目标是本文的具体目标是对LLM增强的面向应用就绪数据准备进行系统性综述。作者聚焦于三个在现有研究和实际管道中出现最多的核心任务：数据清洗（包括标准化、错误处理、数据填补）、数据集成（包括实体匹配、模式匹配）和数据增强（包括数据标注、数据画像）。具体而言，本文旨在：（1）刻画数据准备的基本范式转变，从基于规则、模型特定的管道向提示驱动、上下文感知和智能体准备工作流的转变；（2）提出以任务为中心的分类法，系统组织现有方法并提炼其设计原则；（3）分析各方法的优劣势，包括改进的泛化能力、语义理解与LLM扩展成本高、持续幻觉等局限；（4）总结常用数据集和评估指标，为全面评估提供基准；（5）讨论开放研究挑战并勾画前瞻性路线图。
与已有工作不同的是，本文的独特切入角度体现在以下几个方面。与现有LLM和数据准备综述相比，本文提供了三大核心任务（清洗、集成、增强）在多种数据模态（表格、文本等）的全面综述，而现有综述通常局限于特定任务或仅覆盖表格模态。在分类体系上，本文提出了按底层技术系统组织的统一分类法，包括基于提示、微调、混合、智能体等类别，而现有综述要么使用粗糙的通用分类，要么局限于特定方法。在范式转变方面，本文系统考察了数据准备如何从基于规则的系统演进到LLM智能体框架，总结了相应的优劣势，而现有研究仅单独呈现工作，对范式转变和领域演进的分析有限。此外，本文特别关注新兴挑战，如推理成本、幻觉、跨模态一致性等，以及可扩展LLM-数据系统、可靠的智能体工作流设计、鲁棒评估协议等前瞻性方向。
核心方法
本文采用系统性文献综述方法，对数百篇近年文献进行全面调查。整体框架可以类比为一个三层金字塔：底层是三大核心任务分类（数据清洗、数据集成、数据增强），中层是每个任务下的子任务划分（如数据清洗下包含标准化、错误处理、数据填补），顶层是每个子任务的技术方法分类（基于提示的端到端方法、代码合成方法、任务自适应微调方法、混合LLM-ML方法、智能体方法）。在技术路线上，本文首先刻画了数据准备从传统范式到LLM增强范式的根本转变，然后逐一对每个子任务的代表性方法进行深入分析，包括其提示设计、推理策略、模型适配和工具集成等技术细节。最后，本文汇总了代表性数据集和评估指标，并系统讨论了开放挑战和未来方向。
本文的核心创新在于提出了一个统一的、以任务为中心的技术分类体系，将LLM增强的数据准备方法按底层技术原理系统组织。这一体系揭示了几个关键的范式转变趋势。第一个趋势是从手工准备到指令驱动和智能体自动化的转变：LLM通过自然语言交互和自动化工作流生成，大幅降低了数据准备的手动努力和专业门槛。例如，用户可以直接用文本提示定义转换逻辑，无需编写复杂的用户自定义函数。第二个趋势是语义推理增强准备执行：与依赖句法相似度的传统方法不同，LLM增强方法将语义推理融入准备工作流，利用预训练语义知识解决缩写、同义词和领域术语的歧义。第三个趋势是从领域特定训练到跨模态泛化：LLM增强技术减少了对领域特定特征工程和任务特定训练的依赖，展示了跨数据模态的强适应性。第四个趋势是知识增强的最小标注准备：LLM通过利用预训练知识和动态整合外部上下文，大幅降低了对大量高质量标注数据的需求。
方法步骤详情
本文的方法按以下步骤展开。首先，明确研究范围和定义：将数据准备定义为三个核心任务——数据清洗（产生标准化和去噪数据）、数据集成（从不同来源识别和组合相关数据）、数据增强（为数据集添加语义洞察），每个任务下划分2-3个子任务。其次，对每个子任务进行技术分类：将现有方法按底层技术分为基于提示的端到端方法（利用结构化提示直接指导LLM）、代码合成方法（指示LLM生成可执行代码执行准备任务）、任务自适应微调方法（在任务特定数据集上微调LLM）、混合LLM-ML方法（将LLM与机器学习模型集成以平衡准确性和效率）、智能体方法（利用LLM智能体协调和执行准备工作流）。第三，对每个子任务的代表性方法进行深入分析：描述其提示设计策略（如指令引导、推理增强、批量处理等）、上下文构建方法（如上下文学习、检索增强、知识图谱增强等）、模型适配技术（如参数高效微调LoRA、指令调优等）、工具集成方式（如调用数据处理API、生成可执行代码等）。第四，汇总代表性数据集和评估指标：按任务和数据粒度整理基准数据集，按评估维度组织指标体系。最后，系统讨论开放挑战和未来方向：包括全局感知清洗、通用跨域集成、交互式增强等具体挑战。
技术新颖性
本文的技术新颖性主要体现在以下几个方面。第一，全面性与系统性：与以往仅覆盖特定任务或特定模态的综述不同，本文首次对数据清洗、数据集成、数据增强三大任务在表格、文本等多种数据模态下的LLM增强方法进行全面系统综述，涵盖了数百篇近年文献。第二，统一的分类框架：本文提出的以任务为中心、按底层技术分类的统一框架，比以往使用粗糙通用分类或仅聚焦特定方法（如仅智能体系统）的分类方式更为精细和有条理。第三，范式转变分析：本文系统分析了数据准备从基于规则系统到LLM智能体框架的演进过程，总结了每个范式的优势和局限，这是以往综述中较少涉及的。第四，任务特定的方法论差异总结：本文发现数据清洗采用混合LLM-ML方法进行准确的错误检测和修复，数据集成强调多模型协作以扩展匹配和对齐，数据增强整合检索增强和混合提示技术以增强语义理解，这些差异化的总结为实际应用提供了有价值的指导。第五，前瞻性的挑战与路线图：本文不仅总结了当前挑战（如推理成本、幻觉、评估不完善），还提出了可扩展LLM-数据系统、可靠智能体工作流设计、鲁棒评估协议等前瞻性研究方向。
实验结果
作为一篇综述论文，本文的核心发现体现在对领域现状的系统性总结和趋势分析上。首先，在数据标准化任务中，LLM-GDO使用用户指定的提示和参数化模板将数据标准化规则编码为文本指令，LLM-Preprocessor提出统一提示框架，通过零样本链式思维提示和批量提示来解决幻觉、领域偏移和计算成本问题。Evaporate通过提示LLM生成可执行代码从半结构化文档中导出结构化表示，结合多个候选函数以提升准确性。在数据错误处理任务中，Cocoon-Cleaner使用批量提示，序列化每列的1000个条目，允许LLM在最少监督下（仅5个标注元组）迭代识别和修复拼写错误和不一致格式。LLMErrorBench引导LLM通过迭代的数据集检查、目标纠正和自动质量评估序列来处理错误。GIDCL构建微调数据时结合标注元组和LLM生成的伪标注元组，每个训练实例包含指令、序列化错误单元格及其行列上下文、上下文学习示例和检索增强示例。在实体匹配任务中，MatchGPT准备指导时选择上下文演示并自动生成文本匹配规则，BATCHER通过贪婪覆盖选择策略将多个实体对打包到单个提示中以提高效率。在模式匹配任务中，LLMSchemaBench设计不同任务和上下文的提示，采用角色规范、匹配标准定义、链式思维推理指令和结构化输出格式。在数据标注任务中，CHORUS结合正确标注演示、序列化数据样本、元数据、领域知识和输出格式指导，LLMCTA使用提示驱动方法（如自优化和自纠正）产生并迭代改进标签定义。OpenLLMAnno展示了微调的开源LLM在专门文本标注任务中优于GPT-3.5等专有模型，使用100个样本即可实现12.4%的准确率提升。在数据画像任务中，AutoDDG指导LLM基于数据集内容和预期用途生成面向用户和搜索优化的描述，LLM-HTS指导LLM为表格和列推断开放集语义类型，用于构建层次语义树。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数据标准化 | F1-score | 综述涵盖方法 | 传统规则方法 | 减少手工编写脚本工作量，支持跨格式泛化 |
| 数据错误处理（Hospital数据集） | Precision/Recall/F1 | LLM增强方法 | 传统启发式方法 | 减少领域专家依赖，支持自动规则发现 |
| 实体匹配（abt-buy） | F1-score | LLM增强方法 | 传统监督方法 | 减少任务特定训练数据需求，提升跨域泛化 |
| 模式匹配（Synthea/MIMIC） | Precision/Recall/F1/Accuracy | LLM增强方法 | 传统模式匹配 | 利用语义推理解决歧义，减少手工规则 |
| 数据标注（DBpedia Ontology） | Accuracy/F1 | 微调LLM方法 | GPT-3.5 | 100样本时准确率提升12.4% |
| 数据画像（Public BI Benchmark） | Precision/Recall/F1/Hit Rate | RAG增强方法 | 统计画像方法 | 生成语义级元数据，超越关键词匹配 |
局限与改进
本文的局限性主要体现在以下几个方面。作为综述论文，本文未提出新方法或进行统一的实验验证，因此无法提供各方法在相同基准上的公平对比。本文的分析依赖于原始论文报告的结果，而这些结果可能受到不同实验设置、数据集版本和评估协议的影响。在数据准备评估方面，本文指出当前评估主要关注正确性（Precision、Recall、F1-score），而对鲁棒性（跨不同数据分布的稳定性）、排名质量（检索增强方法的Top-k精度）和语义保持（生成输出与参考内容的语义一致性）等方面的评估不足。在智能体方法的讨论中，作者承认虽然智能体编排支持更自主的数据准备工作流，但相对较少的系统在实践中被完整研究和实现，表明可靠和鲁棒的智能体部署仍有待探索。此外，作者指出当前评估基准主要为结构化或封闭形式任务设计，无法反映现实世界数据增强结果的质量和有用性。从独立观察来看，本文对某些技术细节的讨论深度不均，对提示工程类方法的讨论较为充分，但对微调和混合方法的具体实现细节讨论相对较少。此外，本文虽然提出了统一的分类框架，但某些方法可能跨越多个类别，分类边界的模糊性可能影响实际应用中的参考价值。
独立分析的弱点
本文在以下几个方面存在独立分析的弱点。第一，评估体系的标准化不足：虽然本文汇总了代表性数据集和评估指标，但各子任务间缺乏统一的评估框架。数据标准化主要用F1-score，数据填补用Accuracy和ROUGE，实体匹配用F1，这些指标缺乏可比性。改进方向是建立跨任务的统一评估协议，包括标准化的基准数据集划分、一致的指标定义和可重复的实验设置。第二，对LLM幻觉问题的处理讨论不够深入：幻觉是LLM应用于数据准备的核心风险，可能导致数据损坏而非修复。本文虽然提到了幻觉问题，但对具体的检测和缓解策略（如不确定性估计、自一致性验证、形式化验证等）缺乏系统性讨论。改进方向是系统总结现有幻觉缓解技术，并分析其在数据准备场景中的适用性和效果。第三，成本效益分析缺失：本文讨论了LLM的推理成本，但缺乏系统性的成本效益分析。实际应用中，LLM API调用成本、延迟和吞吐量是关键考虑因素，但本文未提供不同方法在相同任务上的成本-效果对比。改进方向是在统一基准上评估各方法的准确率-成本权衡曲线。第四，对隐私和安全问题的讨论有限：数据准备通常涉及敏感数据，但本文对LLM数据准备方法的隐私风险（如数据泄露、模型记忆）和安全考虑缺乏深入讨论。
未来方向
基于本文的分析和发现，未来的研究方向包括以下几个方面。在数据清洗领域，全局感知和语义灵活的清洗是一个重要方向：现有方法主要在局部上下文（如单行或小批量）上操作，未来应探索将LLM与外部分析引擎集成的混合系统，实现局部实例和数据集级信号的联合推理。鲁棒和错误控制的清洗也至关重要：需要设计不确定性感知的智能体清洗框架，使用保守决策策略、形式化验证机制和显式风险控制。在数据集成领域，通用和跨域集成是核心挑战：需要开发不依赖模式描述的技术，直接从数据实例（如值分布和共现模式）推断语义对应关系。规则约束和全局有效集成也值得探索：需要增强LLM管道与约束求解器和图推理模块的集成。在数据增强领域，交互式人机协作增强是关键方向：需要开发LLM可解释推理、征求反馈并基于人类指导增量优化的交互框架。多方面和开放式增强评估也需要标准化基准来支持多维度评估和更丰富的评估标准。此外，可扩展的LLM-数据系统设计、可靠智能体工作流的原则性设计、鲁棒评估协议的建立是贯穿所有任务的共同方向。
复现评估
作为一篇综述论文，本文不涉及具体算法的实现和复现，但从综述的角度来看，其可复现性体现在以下方面。首先，本文引用了大量相关研究，涵盖了从2023年至2026年初的最新文献，为读者提供了丰富的参考资料和进一步研究的起点。本文在GitHub上维护了一个名为Awesome-Data-LLM的资源库（https://github.com/weAIDB/awesome-data-llm），持续追踪该领域的最新进展。其次，本文提出的统一分类框架为研究者提供了一个清晰的概念结构，可以指导系统性地理解和设计LLM增强的数据准备系统。第三，Table I详细汇总了各方法的技术特征（包括提示策略、上下文构建、模型适配等维度），为实际应用中的方法选型提供了有价值的参考。第四，Table II汇总了代表性数据集的详细信息（包括任务、模态、粒度、数据量、评估指标），为研究者选择基准提供了便利。然而，本文也存在一些复现性限制：由于是综述论文，各方法的实验结果来自原始论文，可能受到不同实验设置的影响；某些引用的预印本文献可能尚未经过同行评审；资源库的持续维护情况未知。
论文图表
这张图展示了面向应用就绪数据准备的整体框架，将数据准备定义为三大核心任务：数据清洗、数据集成和数据增强。左侧展示了数据低效的三个来源：一致性与质量问题（包括非标准格式、噪声、不完整性）、隔离与集成障碍（包括分散系统、实体歧义、模式冲突）、语义与上下文限制（包括缺失元数据和未标注数据）。中间展示了三大核心任务如何分别解决这些问题。右侧展示了面向不同下游应用（如可视化分析、企业BI、模型训练、欺诈监控、数据市场）的输出数据类型：信息丰富的结构化数据、可信统一数据、去噪标注数据、标准化画像数据、元数据丰富集成数据。
这张图对理解论文至关重要，因为它直观展示了本文的核心框架——三大数据准备任务与数据低效来源的对应关系，以及与下游应用的连接。通过这张图，读者可以快速理解本文的整体结构和研究范围。
这张表是本文最核心的技术汇总表，详细列出了各子任务下每种代表性方法的技术特征。表格按任务分类（数据标准化、数据错误处理、数据填补、实体匹配、模式匹配、数据标注、数据画像）组织，每种方法标注了以下技术维度：提示策略（ICL、CoT、集成、反思等）、上下文构建（关键词、语义、其他）、模型适配（SFT、RL等）、智能体工作流、输出类型（LLM推理、程序合成、混合）、数据模态和发表年份。例如，LLM-GDO采用端到端标准化方法，使用ICL和LLM推理；CleanAgent采用基于智能体的标准化方法，使用工作流编排。
这张表对理解本文的分类框架至关重要，它提供了所有方法的技术特征对照，是方法选型和技术对比的重要参考。
这张表详细汇总了各任务的代表性数据集，包括以下维度：分类（数据标准化、数据错误处理、数据填补、实体匹配、模式匹配、数据标注、数据画像）、数据集名称、任务类型、数据模态、数据粒度（单元格/元组/列/表/文档）、数据量和评估指标。例如，Hospital数据集包含1000行，用于数据标准化和错误处理任务，采用Precision/Recall/F1-score评估；abt-buy数据集包含1097对元组对，用于实体匹配任务，采用F1-score评估。
这张表对理解本文的评估基准至关重要，它为研究者选择合适的基准数据集和评估指标提供了系统性参考。