利用形态学进行历史手稿计量学分析 Leveraging Morphology for Historical Script Metrological Analysis
结合检测式文本识别和原型重建，实现古籍字迹的可扩展、客观的计量学分析
前置知识
古籍字迹学（Paleography）
研究历史手稿图形性质的学科，包括识别抄写员的手迹、分析手稿类型、比较字母形状等。传统方法依赖专家记忆和视觉比较，具有主观性。现代计算方法试图通过提取可量化特征来客观化这一过程。
本文的核心应用领域，理解古籍字迹学的研究目标（如手迹识别、字体分类、空间组织分析）对于理解论文的贡献至关重要
检测式文本识别（Detection-based Text Recognition）
不同于序列到序列的转录方法，检测式文本识别明确预测每个字符实例及其空间位置（边界框），提供字符级别的标注和几何信息，包括位置、宽度、高度和宽高比。DTLR（Detection Transformer for Line Recognition）是代表性方法，基于 DETR 架构预测字符边界框和类别标签。
本文方法的基础，理解检测式方法与序列方法的核心差异，以及为什么检测式方法能提供古籍计量学所需的几何信息，是读懂本文的关键
原型重建（Prototype-based Reconstruction）
Learnable Typewriter 提出的方法，为每个字符学习一个原型图像（可学习的参数），同时学习空间变换（缩放、位置）来重建文本行。通过最小化重建损失，原型自动学习字符的典型形状。这种方法提供了可解释的字符表示。
本文的核心技术组件，理解原型如何学习、如何与检测式方法结合，以及为什么原型能提供古籍字迹的形态学分析基础
古籍计量学（Paleographic Metrology）
对古籍手稿的空间组织特征进行量化测量的研究，包括字符尺寸（宽度、高度、宽高比）、字符间距、词间距、垂直排列等。早期方法依赖手工测量，后来发展出半自动工具（如 Graphoskop）。目标是提供客观、可重现的测量来支持手迹比较和分类。
本文要解决的核心问题，理解计量学的测量需求（如一致性、客观性、可扩展性）以及现有方法的局限性，有助于理解论文的创新价值
CTC 损失（Connectionist Temporal Classification）
用于序列标注任务的损失函数，允许模型在不知道对齐信息的情况下学习输入序列（如图像特征）到输出序列（如字符序列）的映射。CTC 通过引入空白符号（blank）处理输入和输出长度的差异，适用于没有逐字符标注的文本行识别任务。
本文训练方法的关键组件，DTLR 在微调阶段使用修改的 CTC 损失，理解 CTC 的工作原理有助于理解论文如何在只有行级别转录监督的情况下学习字符检测
研究动机
传统古籍字迹分析依赖于专家古文字学家的记忆和比较能力，这个过程虽然严谨，但本质上具有主观性，限制了结果的可沟通性、可重现性和可扩展性。虽然计算机辅助方法已经存在，但它们要么依赖大量预处理或手工分割（如 SPI 和 ISGI 系统），要么在字符边界定义上存在不一致性（如基于 HMM/GMM 的文本-图像对齐方法，错误率约 10-13%）。Learnable Handwriter [46] 虽然能从行级别转录学习字符原型，但不考虑字符宽高比的变化，且原型会学习背景和上下文信息，需要在高字符错误率（CER = 4.3%）时提前停止训练，无法提供古籍计量学所需的准确测量信息。此外，古籍字符边界定义具有内在模糊性（如字母的悬挂部分、延伸笔画、字母融合等），任何人工或视觉确定都会引入主观性。
本文的目标是本文的目标是构建一个系统，将形态学和计量学这两个传统上独立的方法结合起来，使用形态学来定义一致的、可扩展的古籍计量学测量。具体来说，通过学习字符原型并将其与特定字符实例最佳对齐来定义字符边界，从而提供客观、可重现的字符尺寸和间距测量，支持手迹识别、字体类型分析、空间组织研究等古籍学任务。同时，方法应该能够在只有行级别转录监督的情况下工作，训练稳定高效，原型质量高且不含上下文噪声。
与已有工作不同的是，本文的独特切入点是将检测式文本识别与基于原型的图像重建相结合，利用检测式方法预测的边界框来变形和放置字符原型，从而实现两个目标：（1）通过边界框明确隔离每个字符的主体，防止 Learnable Handwriter 中原型学习相邻字母笔画的问题；（2）通过边界框实现字符宽高比的变化，这是 Learnable Typewriter 不支持的。更重要的是，本文将边界框定义为与整个数据集的平均字符最佳对齐的结果，而不是由人工标注定义，这提供了客观、一致的字符边界定义。通过在 14 世纪末期的 Grandes Chroniques de France（Paris, BnF, fr. 2813）抄本上进行案例研究，展示了方法在区分四个抄写员手迹（GP1-GP4）和发现细微变异方面的有效性，同时只需要单个文本列就可在 160 页上计算测量，展示了方法的可扩展性和训练数据的节省性。
核心方法
本文方法的核心思想是结合检测式文本识别和基于原型的图像重建，在统一的框架中同时获得可解释的字符原型和准确的字符定位信息。架构基于 DINO-DETR，使用 ResNet50 骨干网络，对文本行图像进行前向传播，预测每个字符的边界框、类别概率、RGB 颜色向量。同时，网络学习一组字符原型（48×48 分辨率的灰度图像）和一个 CNN 预测的低分辨率背景图像。通过将原型按照预测的边界框进行仿射变换（包括位置、缩放、宽高比变化）并组合到背景上，重建原始文本行。训练采用三阶段策略：首先在合成数据上使用标准 DINO-DETR 检测损失进行预训练，帮助网络学习准确的字符边界框；然后在完整数据集上使用修改的 CTC 损失和 L1 行图像重建损失联合训练基础模型；最后为每个分析单元（如抄写员手迹）微调模型，冻结除原型和概率预测头之外的所有组件。通过原型与实例的最佳对齐定义的边界框，可以计算古籍计量学所需的测量，如字符宽度、宽高比、双字母间距、词间距等。
本文的核心创新点有两个：（1）通过检测式方法预测的边界框来定义字符边界，边界框不是由人工标注定义，而是定义为与整个数据集的平均字符最佳对齐的结果。由于边界框预测头和骨干网络在最后一步训练中被冻结，边界框对应于与整个数据集的平均字符的最佳对齐，因此在不同子集之间是一致定义的。这提供了客观、可重现的字符边界定义，避免了主观性。与 Learnable Typewriter 的关键区别是，本文的对齐通过边界框实现，支持宽高比变化，这是古籍计量学的关键需求。（2）将检测式文本识别与基于原型的重建相结合，同时获得可解释的字符原型和古籍计量学所需的准确测量。检测式方法防止原型被多次使用来重建给定字符（如 Learnable Handwriter 中报告的 用两个类似 的形状重建），并且利用预测的边界框改变字符宽高比，而 Learnable Typewriter 只预测缩放和位置。此外，通过分层组合附近的原型然后简单求和掩码和颜色，减少了计算时间和内存占用（2.5× 减少）。
方法步骤详情
方法分为三个主要步骤。第一步：合成数据预训练。使用与 DTLR 类似的合成数据，但做小修改以支持学习重音符号。使用标准 DINO-DETR 检测损失（分类损失、边界框回归损失、匈牙利匹配损失）进行 100 万次迭代训练，学习率 $10^{-4}$，批大小 4，字母表 167 个符号，3k 随机采样字体。第二步：基础模型训练。在数据集的所有文本行上，使用修改的 CTC 损失和 L1 行图像重建损失（权重 3）联合训练。首先训练原型和分类器 80k 迭代，批大小 16，学习率 $10^{-4}$；然后训练完整网络 300k 迭代，批大小 32，原型学习率 $10^{-4}$，文本识别架构学习率 $10^{-5}$。第三步：分析单元微调。为每个分析单元（如抄写员手迹）进行 4k 次迭代微调，批大小 4，原型学习率 $10^{-2}$，背景和字符分类器学习率 $10^{-5}$，所有其他组件（包括颜色预测）保持冻结。最后，使用预测的边界框计算古籍计量学测量：字符宽度 $w$、宽高比 $w/h$、双字母间有符号距离 $d_b$、双字母包围盒宽高比 $w_b/h_b$、连续单词首尾字符间距离 $d_w$。为获得与图像分辨率无关的直观单位，使用小写字母 m 平均宽度的一半 $w_m/2$ 作为参考空间单位进行归一化。
技术新颖性
本文的技术新颖性体现在三个方面。（1）架构设计：扩展了 DTLR 方法，为每个输出标记添加了边界框回归器和专门用于重音符号和缩写的分类器，限制了字母表大小；添加了线性头预测每个字符的 RGB 颜色；在重建模块中使用预测的边界框进行仿射渲染，而不是简单粘贴，支持字符宽高比变化。背景预测使用 2 层 CNN（3×3 卷积 256 通道 + BatchNorm + ReLU，然后 1×1 卷积 3 通道 + sigmoid + 高度最大池化），结果双线性上采样到完整图像分辨率。（2）训练策略：三阶段训练结合了 DTLR 的检测损失和 Learnable Handwriter 的重建损失，预训练阶段使用合成数据学习准确边界框，基础训练阶段联合学习文本识别和重建，微调阶段为每个分析单元专门化原型。这种策略在只有行级别转录监督的情况下实现了准确的字符边界框预测和高质量的原型学习。（3）测量定义：通过原型对齐定义字符边界，提供了客观、可重现的测量。进一步地，为了更好地匹配人类感知，在 48×48 画布上定义更紧的边界框，通过计算滤波掩码（与 Learnable Handwriter [46] 相同的策略）。实验中，这个紧边界框平均比画布小 2.8 像素。错误剔除策略使用动态规划对齐真实和预测转录，检测插入、删除、替换错误，丢弃任何与错误相邻的测量以及接触图像边界的边界框；为避免离群值，排除每个分析单元和每个字符或双字母的高度或宽度偏离均值超过 4 标准差的边界框（只排除 0.1% 的数据）。
实验结果
实验在 14 世纪末期的 Grandes Chroniques de France（Paris, BnF, fr. 2813）抄本上进行，该抄本由四个抄写员（GP1-GP4）在 1375-1379 年间复制。扩展了现有注释 [44] 到 160 个分析单元（只考虑每页的外列以避免装订折叠造成的失真，忽略红字行和截断行），总计约 6,800 行转录和 280k 字符。与 Learnable Handwriter [46] 的比较显示：（1）内存效率显著更高：批大小 128 时，本文模型需要 12.7 GB 内存，而 Learnable Handwriter 需要 31.3 GB。（2）训练速度显著更快：1 天 20 小时达到收敛（CTC 和重建损失在 50k 迭代后不再下降），而 Learnable Handwriter 需要 5 天 2 小时。（3）原型质量更高：虽然 Learnable Handwriter 达到略低的最终 CER（1.2% vs 1.4%），但其代价是原型退化、收缩并积累上下文噪声，无法用于形态学分析，需要使用 CER 为 4.3% 的早期检查点。图 5 显示 15 个最频繁字母的原型比较：Learnable Handwriter 即使在提前停止时也纳入相邻字母笔画，原型小于画布且中心不一致；本文方法由于边界框明确隔离每个字符主体，原型紧密贴合且中心良好，相邻字符的伪影更少。使用相同策略定义紧边界框，本文方法平均移除 2.8 像素，而 Learnable Handwriter 需要移除 18.4 像素。古籍计量学分析在两个维度上进行：比例一致性和水平压缩。字符宽高比分析（图 6a）显示四个图形轮廓（GPs）已经可以区分，支持性证据是互补字母（如 和 ）的成对比较（图 7a）揭示每个图形轮廓内结构化的比例关系，出现两个相干的比例制度：一个由 GP1 和 GP4 共享，另一个由 GP2 和 GP3 共享。字母 的宽高比与变异系数的关系（图 7b）显示执行一致性：GP1 变异最低，形成紧密集群表明强内部轮廓稳定性；GP4 显示可比的聚类模式但变异系数更高；GP2 和 GP3 显示更大变异。水平压缩分析（图 6b）显示双字母间距离始终为负，表明边界框系统重叠，而词间距离为正。词间距离分析（图 6c）显示 GP1 在复制开始后显著减小，然后稳定，发现这种微妙效果可能与更高效的空间管理策略有关。双字母 的宽高比与距离的交叉分析（图 7c）表明间距实践不直接映射到字母形态。双字母 的距离与变异系数的交叉分析（图 7d）显示 距离在所有 GPs 中最小（与 Meyer 第一规则有关，即相反弓融合），变异系数在 GP2、GP3、GP4 和部分 GP1 中相似，但在 GP1 中变化更大，有时取非常负值。定性检查发现 主要用相反弓融合执行，但在特定页面中出现间隔，几乎只在行末位置（如 作为介词或词开头），这种替代间距在其他 GPs 中未观察到。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本识别（字符错误率 CER） | CER (%) | 1.4 | Learnable Handwriter: 1.2（但原型退化，需使用 CER=4.3% 的早期检查点） | CER 略高但原型质量显著更高，可直接用于形态学分析 |
| 内存占用（批大小 128） | GPU 内存（GB） | 12.7 | Learnable Handwriter: 31.3 | 减少 59.4%（2.5× 减少） |
| 训练速度 | 训练时间 | 1 天 20 小时 | Learnable Handwriter: 5 天 2 小时 | 减少 62.8%（2.7× 加速） |
| 原型质量（紧边界框像素移除） | 平均移除像素 | 2.8 像素 | Learnable Handwriter: 18.4 像素 | 原型更紧凑，噪声减少 84.8% |
局限与改进
作者承认的局限性：（1）字符边界定义的内在模糊性：许多元素如悬挂部分（如 ）、悬挂循环（如环形 ）、延伸笔画、辅助笔画、相反弓融合（如 ）、连字等使确定精确边界具有挑战性。虽然本文通过原型对齐减少了这种变异性，但任何定义都涉及一定的主观性。（2）方法依赖于准确的转录：虽然只需要行级别转录，但转录质量直接影响原型学习和测量准确性。错误剔除策略可以减轻影响，但无法完全消除。（3）方法在特定手稿上验证：案例研究是在单个抄本（Paris, BnF, fr. 2813）上进行的，虽然抄本具有四个不同的图形轮廓，但方法在其他类型的古籍（如不同语言、不同时期、不同书写风格）上的泛化能力需要进一步验证。（4）训练效率仍有提升空间：虽然比 Learnable Handwriter 快 2.7 倍，但基础模型训练仍需要 300k 迭代，对于非常大的数据集可能仍然耗时。作者未明确承认但可以观察到的局限性：（1）背景预测是低分辨率的：虽然双线性上采样到完整图像分辨率，但丢失了高频细节，可能在复杂背景上影响重建质量。（2）原型大小固定为 48×48：虽然对 Latin 字母足够，但对于复杂字符（如汉字）可能不够。（3）颜色预测的作用不明确：虽然添加了 RGB 颜色预测，但论文中没有展示颜色对古籍计量学的贡献，可能是多余的。（4）错误剔除策略可能引入偏差：排除偏离均值超过 4 标准差的边界框可能排除真实变异，特别是在小样本分析单元中。（5）方法假设分析单元已知：案例研究中需要知道哪些页属于哪个抄写员，实际应用中可能需要先进行无监督聚类。
独立分析的弱点
独立分析的 weaknesses：（1）固定原型分辨率 48×48 可能不足以捕捉某些复杂字符的细节，特别是对于具有大量笔画或精细结构的字符。改进方向：使用自适应原型大小，根据字符复杂度调整分辨率，或使用可变形卷积来增强表达能力。（2）背景预测的低分辨率可能限制方法在复杂背景上的适用性，如损坏或污损的古籍页面。改进方向：使用更高分辨率的背景预测，或添加背景建模模块，学习纸张纹理、污渍、褪色等背景特征的表示。（3）RGB 颜色预测模块在古籍计量学中的作用不明确，增加了不必要的计算开销。改进方向：移除颜色预测或替换为更相关的特征（如笔画粗细、墨水密度）预测，这些特征对古籍分析更有价值。（4）错误剔除策略使用固定阈值（4 标准差）可能不适用于所有分析单元，特别是小样本或高度异质性的单元。改进方向：使用自适应阈值，根据样本量和数据分布动态调整，或使用更鲁棒的统计方法（如中位数绝对偏差）。（5）方法假设分析单元已知，需要先验知识将页面分组。改进方向：添加无监督聚类模块，基于测量自动发现分析单元，或将聚类与测量学习联合进行端到端训练。（6）训练仍然计算密集，特别是对于大规模数据集。改进方向：使用知识蒸馏，将大模型的知识转移到小模型；或使用渐进式训练，先在小数据集上学习原型，再在大数据集上微调。
未来方向
作者提出的未来研究方向：（1）扩展到其他类型的古籍和书写系统：虽然案例研究在 Latin 字母的中世纪抄本上展示，方法可以扩展到其他语言（如汉字、阿拉伯文）和时期（如早期手稿、现代书法）。不同书写系统可能需要调整架构（如原型大小、重建策略）和测量定义。（2）结合其他古籍分析任务：本文专注于字符尺寸和间距测量，可以扩展到其他古籍分析任务，如笔画分析（笔画粗细、方向、曲率）、连字检测、缩写分析、装饰元素识别等。这些任务可能需要添加专门的模块或损失函数。（3）与古籍专家工作流集成：将方法集成到古籍专家的日常工作流中，提供交互式可视化工具（如图 3 的线性图和交叉图），支持专家探索、发现和验证古籍特征。可以添加用户反馈机制，允许专家调整测量定义或注释结果。（4）大规模数据集验证：在更大规模、更多样化的古籍数据集上验证方法，评估其在不同时期、地区、书写风格上的泛化能力。可以创建基准数据集，定义标准评估协议。（5）实时分析应用：探索方法在实时分析场景中的应用，如古籍数字化、在线展览、教育工具等。这可能需要优化推理速度，减少计算开销。基于成果可延伸的 future_work：（1）古籍演变研究：使用方法量化古籍特征的纵向变化（如几个世纪内字符形状、间距的演变），研究书法风格的演变和文化传播。（2）古籍分类和聚类：基于测量特征进行无监督聚类，发现新的图形轮廓或抄写员群体，或监督学习构建古籍分类器，自动识别时期、地区、书写风格。（3）古籍修复和鉴定：使用方法量化古籍的破损程度（如字符模糊、间距异常），辅助修复决策；或用于鉴定古籍的真伪，比较测量特征与已知真本的差异。（4）古籍检索和推荐：基于测量特征构建古籍检索系统，允许专家查询相似手稿或特定风格特征；或构建推荐系统，根据专家兴趣推荐相关古籍。（5）古籍教育应用：开发教育工具，使用方法可视化古籍特征，帮助学生理解古籍学概念，或创建互动练习，训练专家的视觉比较能力。
复现评估
复现评估：论文声明数据和代码公开可用（https://malamatenia.github.io/morphology4metrology-analysis），包括方法和分析的代码。数据集托管在 Zenodo（DOI: https://zenodo.org/records/18745702），包含 160 个分析单元的标注（Paris, BnF, fr. 2813 的 160 页外列）。算力需求：虽然论文没有明确列出硬件配置，但从内存使用（批大小 128 时 12.7 GB）可以推断需要至少 16 GB GPU 内存。合成预训练阶段需要 100 万次迭代，基础训练需要 300k 迭代，微调每个分析单元需要 4k 迭代，总共约 5 天训练时间（比 Learnable Handwriter 的 5 天 2 小时快 62.8%）。难度评估：中等。虽然论文提供了详细架构和训练参数，但实现仍需要深度学习框架（如 PyTorch）和检测模型（DINO-DETR）的知识。合成数据生成可能需要额外的设置。数据集是公开的，但可能需要注册或同意使用条款。代码公开性是关键，如果代码质量高且文档完善，复现难度较低；如果代码不完整或缺少文档，复现难度较高。建议作者提供：（1）Docker 容器或 conda 环境文件，确保依赖版本一致；（2）预训练权重，避免从零开始合成预训练；（3）详细的使用说明，包括数据下载、预处理、训练、评估、可视化的完整流程；（4）超参数搜索的日志，帮助理解如何选择当前超参数；（5）错误分析脚本，帮助理解方法的失败案例。
论文图表
图 4 展示了数据集摘要，包含来自 Paris, BnF, fr. 2813 的 160 个分析单元。表格列出了四个图形轮廓（GP1、GP2、GP3、GP4）的页面范围和分析单元数量：GP1（1r-376r，65 个单元）、GP2（265v-457v，54 个单元）、GP3（353vb-484ra，35 个单元）、GP4（484rb-491v，6 个单元）。
这张图对理解论文很重要，因为它提供了案例研究数据集的完整概览。数据集是 Grandes Chroniques de France（Paris, BnF, fr. 2813），14 世纪末期由四个抄写员复制的抄本。图 4 清楚地展示了四个图形轮廓（GP1-GP4）的页面分布，帮助读者理解数据集的结构和规模。注意到页面范围有重叠（如 GP1 和 GP2、GP2 和 GP3），这反映了实际古籍中可能存在的复杂性（不同抄写员可能在同一时期工作）。分析单元数量（65、54、35、6）也表明 GP4 的数据较少，这可能在分析中引入更大的变异性。