Lius：基于翻译模型的教学语言学方法——在古邦马来语中使用持续指令调优 Lius: Translation Model Based Instructional Lingustic Using Continual Instruction Tuning In Kupang Malay

方法的第一步是句子表示提取，使用KeyBERT方法结合印尼BERT模型（IndoBERT-large-p2）来识别句子中最具语义代表性的词汇。具体来说，首先获取句子嵌入表示$E_{W_{id}}$（从BERT模型的[CLS] token输出得到）和每个词的嵌入$E_{W_i}$，然后计算它们之间的余弦相似度：$\cos(E_{W_{id}}, E_{W_i}) = \frac{E_{W_{id}} \cdot E_{W_i}}{\|E_{W_{id}}\|\|E_{W_i}\|}$，选择相似度最高的词$W^* = \arg\max_i \cos(E_{W_{id}}, E_{W_i})$作为句子表示。第二步是构建四种类型的语言学指令：Context-Based Prompt通过双语词典检索$W^*$在古邦马来语中的等价词$W_{mkn}^*$，并从词典中检索包含该词的$n$个示例句子来强化模型理解；Semantic Mapping-Based Prompt将$W_{mkn}^*$映射到使用单语古邦马来语文本训练的FastText嵌入向量$E(W_{mkn}^*)$，然后在目标语言中搜索$n$个最接近的邻词；Phonetic-Based Prompt通过语音规则$R(c_{id}) \to c_{mkn}$（对于所有$i$，如果$c_{id} \neq c_{mkn}$）将源语言的句子表示映射到目标语言，并使用序列匹配算法计算语音相似度；List-Group-Label-Based Prompt识别与特定术语相关的词汇列表，将这些词汇分组并为每个组分配标签。第三步是Continual Instruction Tuning训练，对于每个输入$x$，模型依次学习$(x, I_1) \to y$、$(x, I_2) \to y$、$(x, I_3) \to y$、$(x, I_4) \to y$，其中$I_1, I_2, I_3, I_4$是对应相同翻译目标$y$的四种不同指令形式。训练过程中还混入1000个来自原始Cendol模型的训练样本作为Experience Replay来防止灾难性遗忘。

本文的技术新颖性体现在多个方面。首先，Instructional Linguistics方法首次将语言学理论系统性地融入到大语言模型的指令设计中，每种指令类型都基于明确的语言学原理：Context-Based Prompt受到Guo等人和Merx等人的工作启发，Semantic Mapping-Based Prompt受到Ghazvininejad等人的字典短语级提示启发，Phonetic-Based Prompt受到Atkinson和Raugh在教学法领域的工作启发，List-Group-Label-Based Prompt受到Rekrut的技术词汇教学启发。其次，Continual Instruction Tuning训练范式是对传统指令调优方法的重要改进，它通过逐步学习不同指令形式使模型能够更深入地理解任务。第三，本文专注于古邦马来语这种特定的低资源语言，这种语言具有独特的语言学特征（如基于马来语的克里奥尔语、最小的形态复杂性、特殊的元音系统），为研究低资源语言翻译提供了有价值的案例。第四，本文的评估非常全面，不仅包括自动评估指标（SacreBLEU、chrF++、TER、ROUGE-L），还包括与多种基线模型的比较（包括多语言LLMs、多语言NMT、区域LLMs），以及人类评估和鲁棒性测试。最后，本文还探索了模型的多语言泛化能力和多任务能力，发现模型在爪哇语、巽他语和印尼语之间的双向翻译任务上表现出色，同时在情感分析和主题建模等其他任务上也有良好表现。

本文存在几个可以改进的弱点。首先，Instructional Linguistics方法虽然创新，但四种指令类型的相对贡献和相互作用尚未充分探索，不清楚每种指令类型在不同场景下的重要性，未来可以通过消融实验来分析每种指令类型的独立贡献和组合效应。其次，Continual Instruction Tuning训练范式的计算成本较高（Large模型训练时间超过6小时），未来可以探索更高效的训练策略，如并行学习不同指令形式或使用更高效的优化算法。第三，方法依赖于双语词典的可用性和质量，对于完全没有词典资源的超低资源语言，可以探索自动词典构建方法或利用跨语言词嵌入来替代。第四，人类评估显示翻译质量仍未达到母语者期望的高质量标准，特别是在准确传达含义方面仍有挑战，未来可以引入更复杂的指令类型或结合检索增强生成（RAG）技术来提升翻译质量。第五，模型在词语删除等极端鲁棒性测试场景下存在困难，有时会产生幻觉内容，未来可以探索专门的鲁棒性训练技术或引入输入重构机制来改善模型对不完整输入的处理能力。第六，评估者间的一致性较弱反映了古邦马来语缺乏标准化规范，未来可以参与建立古邦马来语的标准化书写规范或开发更客观的评估方法。

基于本文的研究成果，可以从多个方向进行未来研究。首先，作者提出的将Instructional Linguistics方法应用到其他低资源语言上，特别是那些具有复杂形态变化的语言，以验证方法的泛化能力。其次，可以探索更多类型的语言学指令，如基于句法结构、语义角色标注、语用信息等指令类型，以进一步丰富模型的语言学知识。第三，可以结合检索增强生成（RAG）技术，在翻译过程中动态检索相关的平行句子或词典条目，以提升翻译质量。第四，可以探索更高效的Continual Instruction Tuning训练策略，如动态学习率调整、自适应指令选择等，以降低计算成本。第五，可以参与建立古邦马来语的标准化书写规范，这不仅有助于提升模型评估的客观性，也有利于该语言的数字化保护和发展。第六，可以探索模型在其他低资源NLP任务上的应用，如文本摘要、问答、对话系统等，以验证方法的多任务泛化能力。第七，可以研究如何将本文方法与大规模多语言预训练结合，如在大规模预训练阶段就融入语言学指导的指令，以提升模型的低资源语言处理能力。最后，可以探索人类在环（human-in-the-loop）的方法，通过母语者的反馈来持续改进翻译质量和指令设计。

本文的复现性情况如下。作者在论文中明确指出使用Cendol mT5模型作为基础架构，这是一个开源的多语言大语言模型，支持印尼语和18种本地语言。作者使用了三种模型变体（small: 350M参数、base: 580M参数、large: 1.2B参数），所有模型的训练参数在论文中有详细说明（如max_input_length: 128、max_output_length: 52、batch_size: 32/16、lr: 3e-5、使用BF16、梯度检查点、梯度累积等）。数据方面，作者从Bhinneka Korpus、BibleNLP、The Language Archive等来源收集了66,521对印尼语-古邦马来语平行句子对，其中53,217用于训练，13,304用于测试。作者还编译了约3,200个词汇条目的双语词典，以及从Tapaleuk News、Jakarta Field Station、Taxi1500-RawData、诗歌和pantun等来源收集的单语数据集。计算资源方面，作者使用单个40GB A100 GPU进行所有模型训练，使用单个8GB GeForce RTX 4060 Ti进行评估和推理。训练和评估过程总共耗时约13天，包括Small、Base和Large模型各2天训练时间。作者还使用了Weights & Biases平台来监控模型训练和GPU利用率。虽然论文中没有明确提到代码是否开源，但考虑到作者使用的是开源的Cendol mT5模型，且论文中对方法描述较为详细，整体复现难度中等。主要挑战可能在于数据的获取（特别是古邦马来语的平行语料和单语数据）以及计算资源的要求（需要A100 GPU）。