Typhoon OCR：面向泰语文档提取的开源视觉语言模型 Typhoon OCR: Open Vision-Language Model For Thai Document Extraction
开源VLM专注泰语文档OCR，2B小模型超越GPT-5等大模型
前置知识
视觉语言模型(VLM)
视觉语言模型是一类能够同时处理图像和文本的多模态深度学习模型。这类模型通常由视觉编码器（如ViT）和语言模型（如LLM）组成，通过跨模态注意力机制将视觉特征与文本语义对齐。在文档OCR任务中，VLM可以直接将文档图像作为输入，输出结构化的文本内容，无需传统的多阶段流水线。典型代表包括Qwen-VL、InternVL、Gemma等系列模型。
Typhoon OCR正是基于VLM架构构建的，理解VLM的工作原理是理解本文方法的基础
全参数监督微调(SFT)
全参数监督微调是指在预训练模型的基础上，使用带有标注的数据对模型的所有参数进行更新的训练方式。与LoRA等参数高效微调方法不同，SFT会修改模型的每一个权重，因此能够更深入地适应目标任务。在本文中，作者使用文档图像-结构化文本对作为监督信号，对Qwen-VL系列模型进行SFT，使其学会从泰语文档图像中提取和重建文本内容。
本文的核心训练方法就是SFT，理解这一概念有助于把握模型训练的技术细节
BLEU/ROUGE-L/Levenshtein距离
这三个是评估文本生成质量的标准指标。BLEU通过计算预测文本与参考文本之间的n-gram重叠度来衡量词汇准确性，取值范围0-1，越高越好。ROUGE-L基于最长公共子序列衡量文本的结构和序列相似性，同样取值0-1。Levenshtein距离（编辑距离）计算将预测文本转换为参考文本所需的最少编辑操作次数，归一化后取值0-1，越低表示错误越少。
这是本文评估模型性能的核心指标体系，理解这些指标才能正确解读实验结果
数据增强与合成数据
数据增强是通过对原始数据施加变换来扩充训练集的技术。在OCR领域，常用方法包括图像模糊、噪声添加、压缩伪影模拟等。合成数据则是完全由算法生成的训练样本，本文通过采样泰语词汇、视觉元素、数学公式，并使用Augraphy库进行文档级增强，生成包含混合内容的合成泰语文档图像。这种方法特别适用于低资源语言场景，因为真实标注数据稀缺且采集成本高昂。
合成数据是本文解决泰语数据稀缺问题的关键技术手段，占V1.5训练集的37.6%
量化感知训练(QAT)
量化感知训练是在模型微调过程中模拟量化效果的训练技术。通过在训练时引入量化噪声，使模型在推理阶段使用低精度（如INT8/INT4）时仍能保持较高精度。与训练后量化（PTQ）相比，QAT能够让模型更好地适应量化带来的信息损失，通常能获得更好的精度-效率权衡。本文在V1.5版本中应用QAT，使2B模型在保持高性能的同时支持高效低精度推理。
QAT是V1.5实现轻量化部署的关键技术，解释了为何2B模型能超越7B模型
研究动机
现有视觉语言模型在文档OCR任务上存在严重的语言偏见问题。主流VLM如Qwen3-VL、Gemma 3、InternVL 3.5等模型主要在高资源语言（如英语、中文）上训练，导致在处理低资源语言时性能显著下降。泰语作为表音文字具有独特的复杂性：首先是书写系统的复杂性，包括堆叠变音符号、依赖上下文的元音位置、以及缺乏显式词语边界，这些特性严重阻碍了可靠的文本分割和识别；其次是文档类型的多样性，泰语文档涵盖行政表格、财务记录、收据、表格报告等，布局密集且不规则。在本文的评估中，GPT-4o在泰语财务报告上的BLEU分数仅为0.25，Gemini 2.5 Flash也仅为0.52，而Typhoon OCR达到了0.90以上。这种巨大的性能差距表明，通用VLM无法有效处理泰语文档的视觉和语言特性。
本文的目标是本文的核心目标是开发一个专门针对泰语文档提取的开源视觉语言模型。具体而言，作者希望构建一个能够同时处理泰语和英语文档的统一框架，具备文本转录、布局重建和文档级结构一致性等能力。此外，作者追求在保持甚至提升性能的前提下大幅降低模型规模——从7B参数降至2B参数，使模型能够在资源受限的环境中高效部署。最终目标是证明，通过针对性的领域适应和精心设计的数据流水线，开源小模型能够达到甚至超越大型商业模型的性能，为低资源语言的文档理解提供实用的解决方案。
与已有工作不同的是，本文的独特切入角度体现在三个层面。第一，在数据层面，作者提出了一个四阶段数据构建流水线（传统OCR提取→VLM重组→自动化质量控制→人工验证），专门针对泰语多模态数据稀缺的问题。这一流水线结合真实文档和合成数据，构建了包含155,403个样本的训练语料库。第二，在模型设计层面，V1.5版本引入了统一模式（Unified Mode），消除了V1中需要用户选择Default Mode或Structure Mode的复杂性，简化了使用体验。第三，在训练策略层面，作者采用量化感知训练，使模型在训练阶段就适应量化效果，从而支持高效低精度推理。这些创新共同构成了一个完整的技术路线，专门针对低资源语言文档理解的挑战。
核心方法
Typhoon OCR的技术路线可以概括为'针对性数据构建+领域适应微调+轻量化优化'三阶段流程。整体直觉是：与其从头训练一个大模型，不如利用现有的强大VLM作为基础，通过精心构建的泰语专用数据集进行领域适应。具体而言，作者选择Qwen-VL系列作为基础模型（V1使用Qwen2.5-VL，V1.5使用Qwen3-VL），然后在包含真实文档和合成数据的混合数据集上进行全参数监督微调。训练数据的多样性（涵盖财务报告、政府表格、书籍、手写文档、信息图表等）确保了模型对各种文档类型的泛化能力。最终，通过量化感知训练，模型能够在保持高性能的同时支持轻量化部署。
本文的核心创新在于多阶段数据构建流水线和统一训练框架的设计。与现有方法的本质区别体现在：第一，传统OCR方法通常采用文本检测-识别的两阶段流水线，而Typhoon OCR将文档理解视为端到端的序列生成任务，直接从图像生成结构化文本；第二，通用VLM如GPT-4o采用通用训练策略，而Typhoon OCR使用任务对齐的训练语料，包含专门为文档提取任务设计的监督信号；第三，V1.5版本创新性地引入统一模式，将原本需要用户选择的两种操作模式合并为一个模型，消除了模式选择的复杂性。此外，合成数据生成流水线（泰语词汇采样→视觉元素组装→文档合成→数据增强）是解决低资源语言数据稀缺的关键创新。
方法步骤详情
Typhoon OCR的方法分为数据构建和模型训练两个主要阶段。数据构建阶段：首先从多种来源收集文档，包括数字原生文档和扫描材料；然后执行四阶段流水线——Stage 1使用传统OCR系统和PDF文本层解析提取文本内容，生成可靠的字符级和词级转录；Stage 2使用开源VLM（如Qwen3-VL和Dots.OCR）配合结构化提示重组提取的文本，将其转换为连贯的文档表示；Stage 3通过基于代理的一致性检查进行自动化质量控制，检测结构不一致、内容缺失或重复等问题；Stage 4对部分样本进行人工验证，移除存在严重错误的样本。模型训练阶段：将文档图像调整为固定宽度1800像素（保持宽高比），使用全参数SFT在4×H100 GPU上训练3个epoch（V1）或2个epoch（V1.5），最终基于验证集性能选择最优检查点。
技术新颖性
本文的技术新颖性体现在多个方面。首先，四阶段数据构建流水线是一个创新的数据工程方案，它将传统OCR的可靠性与VLM的语义理解能力相结合，通过自动化质量控制确保数据质量，这是首次在泰语文档OCR中应用如此系统化的数据构建方法。其次，V1.5版本的统一模式设计消除了操作模式选择的复杂性，这在技术上意味着模型需要学习更灵活的文档理解策略，而非针对特定模式的固定行为。第三，合成数据生成流水线是一个完整的系统工程，整合了泰语词汇采样（PyThaiNLP）、东南亚文化视觉元素（SEA-VL Crawling）、图表数据（ChartCap）和数学公式（LaTeX OCR），并使用Augraphy进行文档级增强，这种多源数据合成方法在低资源语言OCR领域具有开创性意义。最后，量化感知训练与VLM微调的结合也具有创新性，使模型在训练阶段就适应量化效果。
实验结果
本文的实验结果表明，Typhoon OCR在泰语文档提取任务上取得了显著的性能提升。在V1版本的评估中（Table 2），Typhoon OCR 3B和7B模型在财务报告和政府表格上大幅超越基线模型：在泰语财务报告上，Typhoon OCR 3B（PDF模式）的BLEU达到0.90，ROUGE-L达到0.93，Levenshtein距离仅为0.08，而GPT-4o的对应指标分别为0.25、0.51和0.56，Gemini 2.5 Flash分别为0.52、0.70和0.35。在政府表格上，Typhoon OCR 3B的BLEU达到0.92，同样显著优于基线。值得注意的是，PDF模式和图像模式的性能差异很小，表明模型成功对齐了视觉和文本表示。V1.5版本的评估（Tables 3-5）进一步证明了数据和训练优化的威力：尽管参数量从7B降至2B，V1.5在平均BLEU上达到0.644，超越V1的0.558；平均ROUGE-L达到0.774，超越V1的0.686；平均Levenshtein距离降至0.251，优于V1的0.332。更重要的是，V1.5在多数类别上超越了GPT-5和Gemini 2.5 Pro，例如在政府表格上BLEU达到0.870，而GPT-5仅为0.569。这些结果表明，针对性的数据和训练策略比单纯增加模型规模更有效。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 泰语财务报告 | BLEU | Typhoon OCR 3B: 0.90 (PDF), 0.90 (Image) | GPT-4o: 0.25, Gemini 2.5 Flash: 0.52 | 较GPT-4o提升260%，较Gemini提升73% |
| 泰语政府表格 | BLEU | Typhoon OCR 3B: 0.92 (PDF), 0.93 (Image) | GPT-4o: 0.25, Gemini 2.5 Flash: 0.74 | 较GPT-4o提升268%，较Gemini提升26% |
| 泰语书籍 | BLEU | Typhoon OCR 3B: 0.63 (PDF), 0.64 (Image) | GPT-4o: 0.34, Gemini 2.5 Flash: 0.47 | 较GPT-4o提升88%，较Gemini提升36% |
| 平均性能 (V1.5) | BLEU | V1.5 2B: 0.644 | V1 7B: 0.558, GPT-5: 0.459, Gemini 2.5 Pro: 0.605 | 较V1 7B提升15.4%，较GPT-5提升40.3%，较Gemini提升6.4% |
| 平均性能 (V1.5) | ROUGE-L | V1.5 2B: 0.774 | V1 7B: 0.686, GPT-5: 0.618, Gemini 2.5 Pro: 0.743 | 较V1 7B提升12.8%，较GPT-5提升25.2%，较Gemini提升4.2% |
| 平均性能 (V1.5) | Levenshtein距离 | V1.5 2B: 0.251 | V1 7B: 0.332, GPT-5: 0.390, Gemini 2.5 Pro: 0.289 | 较V1 7B降低24.4%，较GPT-5降低35.6%，较Gemini降低13.1% |
局限与改进
尽管Typhoon OCR取得了显著的性能提升，但仍存在多个局限性。首先，模型在严重退化的输入上表现不佳，如低分辨率图像、运动模糊和遮挡情况，这表明当前的数据配方和噪声建模还有改进空间。其次，模型目前主要支持泰语和英语，尚未扩展到其他低资源语言，限制了其在更广泛场景中的应用。第三，在视觉异质性较高的类别（如信息图表和手写表格）上，虽然V1.5相比V1有显著改进，但仍落后于商业模型，例如在信息图表上V1.5的BLEU为0.408，而Gemini 2.5 Pro达到0.465。第四，评估主要在内部数据集上进行，尚未在公开学术基准（如ThaiOCRBench）上进行全面评估，这可能限制了结果的可比性和可复现性。最后，模型专注于文档提取任务，尚未支持图表理解和结构化信息提取等高级推理任务。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，在数据层面，尽管作者构建了包含155,403个样本的数据集，但真实泰语文档的多样性仍然有限，特别是对于罕见文档类型（如特殊格式的政府证书、少数民族语言混合文档等），合成数据虽然扩充了规模，但可能无法完全覆盖真实场景的复杂性。其次，在评估层面，评估数据集是内部构建的，缺乏与公开基准的直接对比，这使得性能声称的可信度受到一定影响；此外，评估指标（BLEU、ROUGE-L、Levenshtein）主要衡量文本层面的准确性，未能充分评估布局重建的质量和语义一致性。第三，在技术层面，模型采用固定1800像素宽度的图像输入，对于高分辨率文档可能丢失细节信息，而对于低分辨率文档又可能引入不必要的插值伪影。改进建议包括：引入更多真实泰语数据源（如与泰国政府机构合作）、在公开基准上进行评估、以及开发自适应分辨率策略。
未来方向
作者提出和可延伸的未来研究方向包括多个方面。首先，扩展模型支持更多低资源语言是一个自然的研究方向，特别是东南亚地区的其他语言（如缅甸语、老挝语、高棉语等），这些语言与泰语共享类似的书写复杂性挑战。其次，将框架扩展到更高级的文档理解任务，如图表理解、结构化信息提取和文档问答，这需要从单纯的OCR能力升级到真正的文档智能。第三，改进模型对退化输入的鲁棒性，可以通过更丰富的数据增强策略（如模拟不同扫描设备、拍照角度、光照条件）或显式的噪声建模来实现。第四，探索更高效的模型架构，如使用知识蒸馏将大模型的能力迁移到更小的模型中，或设计专门针对OCR任务的轻量化架构。最后，在实际部署场景中进行大规模评估，收集用户反馈以持续优化模型性能。
复现评估
本文在可复现性方面表现良好。作者开源了所有关键资源：代码仓库（https://github.com/scb-10x/typhoon-ocr）和模型权重（包括Typhoon OCR 7B和V1.5 2B两个版本），均托管在Hugging Face上，采用宽松的许可证。数据方面，虽然完整训练数据未公开，但作者详细描述了数据构建流水线的每个阶段，并引用了多个公开可用的数据源（如CoSyn-400K、iAPP Thai handwriting dataset、olmOCR-mix-0225等），其他研究者可以据此复现类似的数据集。算力方面，训练在4×H100 GPU上进行，对于V1训练3个epoch，V1.5训练2个epoch，这种计算需求对于学术研究机构是可承受的。复现难度主要在于数据构建阶段，特别是需要收集多样化的泰语文档并进行四阶段质量控制，这需要一定的领域专业知识和人力投入。总体而言，本文的开源程度和方法描述的详细程度为学术复现提供了良好基础。
论文图表
