PINGPONG：一个面向多轮码混对话的自然基准数据集 PingPong: A Natural Benchmark for Multi-Turn Code-Switching Dialogues
首个覆盖5种语言组合的多人群码混对话基准，揭示当前大模型在真实码混场景下的显著不足
前置知识
代码混用（Code-Switching）
代码混用是指在一个对话或句子中交替使用两种或以上语言的语言现象。这不是随意的混杂，而是多语言者在社交互动中的自然行为，受到语境、情感、话题等多因素驱动。例如，一个印尼-英语双语者可能在讨论技术话题时用英语说专业术语，而在表达情感时切换回印尼语。代码混用发生在词汇、句子、段落甚至单个话语内部等多个层次上，是全球超过半数人口的日常沟通方式。
理解代码混用的本质是理解本文的前提——PINGPONG正是要捕捉这种真实、自然、多层次的语言交替行为，而非简单的双语平行文本。
代码混用指数（Code-Mixing Index, CMI）
CMI是一种量化代码混用强度的指标，由Gambäck和Das在2016年提出。它通过分析一个话语中各语言的分布来衡量混合程度。CMI值越高表示语言混合越频繁、越密集。例如CMI=0.75意味着话语中约75%的内容处于混用状态。原始公式建议将命名实体分开处理以避免指数虚高，但对于低资源语言往往缺乏可靠的NER工具，因此本文采用简化的计算方式。
CMI是本文描述数据集语言复杂性的核心指标之一，论文Table 3中报告了五种语言组合的平均CMI值（从0.352到0.757），直接反映了数据集的语言混用程度。
切换点分数（Switch Point Fraction, SPF）
SPF由Pratapa等人在2018年提出，它关注的是语言切换的频率而非混合的强度。具体计算方式是：语言切换位置的数量除以所有可能的切换位置的总数。例如，如果一个有10个词的话语中有3处语言切换，SPF=0.3。SPF和CMI是互补的：CMI衡量'混合了多少'，SPF衡量'切换得多频繁'。
SPF与CMI一起提供了对数据集语言切换行为的全面刻画。论文数据显示SU-ID-EN的SPF高达0.467，表明该三语组合中几乎每隔两个词就有一次语言切换。
SQuAD 2.0不可回答问题设计
SQuAD 2.0是斯坦福问答数据集的重要版本，它在原有可回答问题的基础上引入了不可回答问题。这些不可回答问题被精心设计为五个类别：否定（Negation）、反义（Antonym）、实体替换（Entity-Swap）、互斥（Mutual-Exclusion）和不可能条件（Impossible-Condition）。这些问题看似合理但实际在给定文本中无法找到答案，用于测试模型是否真正理解了文本内容，而不是简单地进行模式匹配。
PINGPONG的QA任务采用了完全相同的不可回答问题设计范式，这是评估模型是否真正理解码混对话内容的关键测试手段。
多语言大语言模型（Multilingual LLMs）
多语言大语言模型是在大规模多语言语料上预训练的神经网络语言模型，能够处理多种语言的输入和输出。本文评估的模型包括英语中心模型（如Gemma系列）、多语言模型（如Qwen2.5、Aya23）以及区域专用模型（如Sailor2面向东南亚、Sahabat-AI面向印尼、ALLAM面向阿拉伯语）。这些模型的参数规模从3B到9B不等，代表了当前开源社区的主流水平。
本文的核心实验就是评估这些多语言LLM在码混对话上的表现，揭示它们在真实多语言场景下的能力差距。
研究动机
尽管全球多语言人口已超过单语人口，代码混用在日常沟通中无处不在，但当前NLP系统对码混对话的处理能力严重不足。具体而言，现有码混数据集存在多重缺陷：首先，许多数据集从未公开发布（如TamilMixSentiment、ArzEn、MIPE），严重限制了研究的可复现性和可持续性。其次，绝大多数基准只覆盖双语码混，仅有一个数据集（MHE）涉及三语场景，这意味着大量真实的多语言交互模式未被捕捉。第三，语言和区域覆盖极为狭窄——大多数数据集聚焦于南亚-英语组合（如Hindi-English、Malayalam-English），而东南亚、非洲、北非等区域的码混现象严重缺乏研究资源。第四，现有数据集大多基于单句级别的情感分析或NER任务，缺乏真正的多轮对话场景。在现有的对话式码混数据集中（如ASCEND、GupShup），对话通常是简单的线性交替发言，缺少多线程结构、远距离回复、发言者主导度差异等真实对话的核心特征。更关键的是，这些数据集的评估任务局限于传统分类任务，未能涵盖问答、摘要等需要深度理解的生成式任务。GPT-4o等现代大模型在生成码混文本时产生的对话呈现出严重的单调性：僵硬的轮替结构、均匀的发言分布、一致的话语长度，几乎不存在连续发言或远距离回复。
本文的目标是本文的核心目标是构建一个能够真实反映多语言社群日常沟通方式的码混对话基准数据集。具体而言，PINGPONG要实现以下可量化目标：覆盖至少5种语言组合（包括双语和三语场景）、每种组合包含100个由2-4名发言者参与的多轮对话、对话长度从17轮到189轮不等以体现真实变异、定义至少3个下游生成式任务（问答、摘要、主题分类）以全面评估模型能力、通过人类标注者对比验证数据集相比机器生成数据的自然性优势，并在该基准上系统评估当前最先进的开源和闭源大语言模型。
与已有工作不同的是，本文的独特切入角度在于三个维度的'自然性'。第一，数据采集的自然性：通过Discord平台组织真实多语言者的群聊会话，而非让标注者编写脚本化对话。参与者在预设话题下自由交流15分钟，自然地在语言间切换，这种设计确保了码混行为的真实性。第二，对话结构的自然性：人工对话展现出多线程结构（回复经常指向多轮之前的消息）、发言者主导度严重不均（某些人主导对话而其他人较少发言）、话语长度高度变异（从一两个词的简短反应到长篇解释），这些特征在机器生成的对话中完全缺失。第三，评估任务的自然性：引入需要推理能力的不可回答问题（沿用SQuAD 2.0的五类设计）、要求理解对话整体结构的摘要任务、以及基于真实话题的多标签分类任务，这些都比传统的NER或情感分析更能反映模型对码混对话的深层理解能力。
核心方法
PINGPONG的构建方法可以用一个比喻来理解：它像是在一个多语言咖啡馆里安装了一台录音机。研究者首先识别出全球最常见的代码混用语言组合，然后为每种组合招募一位'语言冠军'（language champion）——即该语言组合的母语者，负责协调整个数据收集过程。语言冠军通过招募表格筛选出合格的标注者，然后通过Discord平台将他们分成2-4人的小组。每个小组在分配的话题下进行15分钟的自由文字聊天，期间鼓励他们自然地在语言间切换。对话收集完成后，另一组标注者负责为这些对话创建下游任务标注：最多10个问答对（5个可回答+5个不可回答）、最多3个摘要、以及基于预定义话题的主题分类标签。整个流程确保了数据的真实性、多样性和可评估性。
PINGPONG的核心创新在于它不是简单地收集码混文本，而是捕捉码混行为发生的真实社交语境。与已有方法的最本质区别体现在三个方面。首先，'多人群聊'范式取代了'双人对话'或'单句标注'范式——在2-4人的群聊中，码混行为受到社交动态（谁在主导对话、谁在回应谁）的影响，这比一对一的结构化对话更能反映真实场景。其次，'多线程回复结构'的引入是一个关键突破：人工标注的对话中，发言者经常回复几轮甚至十几轮之前的消息（论文中回复距离的平均度数达到2.7-4.2），而机器生成的对话几乎总是线性即时回复（度数仅0.05-1.1）。第三，'可回答/不可回答'双轨QA设计要求模型不仅要能从对话中提取信息，还要能判断问题是否可回答——这在之前的码混基准中从未出现过。
方法步骤详情
PINGPONG的构建分为五个主要步骤。第一步，招募准备：每种语言组合的识别和语言冠军的选定，语言冠军设计招募表格收集人口统计信息和语言能力自评，并通过语言评估（用指定语言组合写一段短文）筛选出能够自然进行码混的标注者。第二步，分组与对话收集：将选定的标注者分成100个小组（50个2人组、25个3人组、25个4人组），通过Discord平台进行15分钟的文字聊天。参与者被要求：使用指定的语言组合、自然地在语言间切换、使用Discord的回复功能保持对话连贯性、不使用真名以保护匿名性。每个标注者参与多个小组以弥补标注者数量有限的问题。第三步，问答标注：不参与对话收集的标注者为每个对话创建最多10个多项选择题（5个选项，E选项为'无正确答案'），其中可回答问题强调推理能力（答案不能直接从对话中获取，需要外部知识或结构化推理），不可回答问题遵循SQuAD 2.0的五类设计。第四步，摘要标注：每位标注者为对话撰写3-5句话的摘要，遵循四个质量维度：连贯性（句子间的逻辑流畅性）、流畅性（单个句子的语法质量）、相关性（只包含重要的、与话题相关的信息）、一致性（所有事实都有对话支持）。第五步，主题分类：将预定义的初始话题映射为五个类别——科学技术、娱乐、社会文化、教育、日常生活。
技术新颖性
PINGPONG在技术新颖性上有多处突破。首先，在数据集设计层面，它是第一个同时满足以下条件的码混基准：覆盖双语和三语码混（5种语言组合）、采用多人群聊范式（2-4人）、包含真正的生成式任务（QA和摘要）、以及提供结构化的对话标注（包括回复引用关系）。Table 1的对比清楚地显示，此前没有任何数据集能同时满足这些条件。其次，在评估框架层面，PINGPONG引入了'推理能力测试'：通过可回答问题要求模型进行跨轮推理（答案不在对话中直接出现），通过不可回答问题测试模型的自我认知能力（知道什么时候'不知道'）。第三，在数据质量验证层面，论文通过Table 4的定量分析证明了人工对话在多个维度上显著优于GPT-4o生成的对话：消息长度方差（人工66.5 vs 机器35.1）、回复总数（人工658.2 vs 机器2.6）、回复距离度数（人工2.729 vs 机器0.048）、发言者轮次不均衡比（人工1.366 vs 机器1.019）。人类偏好评估也一致倾向于人工对话（得分2.7 vs 2.2）。
实验结果
实验结果揭示了当前大语言模型在码混对话理解上的显著不足。在问答任务上，大多数模型表现极差：以ID-EN为例，Qwen2.5-3B-Instruct仅获得5.86%的准确率，即使表现最好的Gemma2-9B-Instruct也只达到11.92%（零样本无推理）。相比之下，SU-ID-EN组合的准确率普遍较高（Gemma2-9B达到91.31%），但这可能与该语言组合的特殊性质有关。推理机制的引入带来了显著提升：在ID-EN上，Qwen3-8B从8.68%提升到21.41%，提升幅度达146%；在JV-ID-EN上，Aya23-8B从23.03%提升到31.51%。然而，推理对不可回答问题的提升效果并不一致——只有在Qwen3系列（具有原生推理能力）中才观察到稳定提升。少样本学习对QA和主题分类的影响有限，大多数情况下提升不显著甚至出现下降。在摘要任务上，ROUGE-L分数普遍较低，ID-EN上最好结果约为0.292（Gemma2-9B-Instruct，零样本无推理），而在AR-DZ-FR上，大多数模型的ROUGE-L低于0.1。值得注意的是，区域专用模型（如Sahabat-AI-Gemma、Sailor2-8B）在覆盖的语言组合上通常优于通用多语言模型，这凸显了文化适应性和语言特化训练的重要性。主题分类任务中，模型在不同语言组合间的性能差异显著，最高准确率约为68.69%（Sahabat-AI-Gemma在ID-EN上），但AR-DZ-FR组合上大多数模型表现挣扎。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 问答（QA）- ID-EN | Accuracy (%) | Gemma2-9B-Instruct: 11.92%（零样本无推理），Sailor2-8B: 27.68%（区域模型） | 随机猜测约20%（5选1） | 推理模式下Qwen3-8B提升至21.41%，Gemma3-4B提升至25.05% |
| 问答（QA）- SU-ID-EN | Accuracy (%) | Gemma2-9B-Instruct: 91.31%，Sahabat-AI-Gemma: 91.91% | Aya23-8B: 84.44% | 大多数模型在该组合上表现优异，准确率超过85% |
| 问答（QA）- HA-EN | Accuracy (%) | Gemma2-9B-Instruct: 82.83% | Qwen3-4B: 55.55%，Aya23-8B: 29.80% | Gemma2-9B显著领先其他模型 |
| 问答（QA）- AR-DZ-FR | Accuracy (%) | Gemma2-9B-Instruct: 52.52% | SILMA-9B-Instruct: 0.0%，Qwen2.5-3B: 22.22% | 该组合整体表现最差，SILMA-9B完全失败 |
| 对话摘要 - ID-EN | ROUGE-L | Gemma2-9B-Instruct: 0.250 | Aya23-8B: 0.203，Qwen2.5-3B: 0.205 | 最佳模型的ROUGE-L约为0.25，远低于单语摘要任务的典型水平 |
| 对话摘要 - SU-ID-EN | ROUGE-L | Gemma2-9B-Instruct: 0.290，Sailor2-8B: 0.291 | Aya23-8B: 0.239 | 该组合摘要表现相对最好 |
| 对话摘要 - HA-EN | ROUGE-L | Gemma2-9B-Instruct: 0.243 | Qwen3-4B: 0.045，Qwen3-8B: 0.025 | 模型间差异极大，Qwen3系列在该组合上几乎失败 |
| 主题分类 - ID-EN | Accuracy (%) | Sahabat-AI-Gemma: 68.69% | Sailor2-8B: 22.22%，Gemma3-4B: 49.49% | 区域专用模型在该任务上显著优于通用模型 |
| 主题分类 - AR-DZ-FR | Accuracy (%) | Qwen3-8B: 56.57% | SILMA-9B: 0.0%，Gemma3-4B: 33.33% | SILMA-9B在该组合上完全失败，ALLAM-7B仅41.41% |
局限与改进
论文作者坦承了以下局限性：首先，语言覆盖虽然包含5种语言组合，但远非穷尽——全球存在大量未被研究的码混现象，PINGPONG仅提供了'可扩展的基础'。其次，区域覆盖限于三个地理区域（东南亚、西非、北非），南亚、东亚、拉丁美洲等重要码混区域未被包含。第三，由于缺乏可靠的多语言NER工具，CMI计算采用了简化的公式（不区分命名实体），可能导致对码混强度的度量不够精确。第四，评估的模型范围虽然多样，但随着LLM领域的快速发展，需要持续扩展评估范围。从我的独立观察来看，数据集还存在以下局限：每个语言组合仅100个对话的规模可能不足以支撑统计显著的结论；15分钟的对话时长限制可能无法捕捉更长对话中的码混模式变化；标注者的年龄分布偏年轻（大多数在18-34岁），可能无法代表所有年龄段的码混行为；主题分布不均匀（如HA-EN中51%为日常生活话题），可能引入话题偏差。此外，论文未报告标注者间一致性（inter-annotator agreement），这对QA和摘要任务的质量评估至关重要。
独立分析的弱点
PINGPONG虽然在基准设计上迈出了重要一步，但仍存在几个值得改进的弱点。首先，数据集规模偏小：每种语言组合仅100个对话，对于训练和微调来说远远不够，甚至对于可靠的评估也可能存在方差过大的问题。改进方向是将对话数量扩展到500-1000个，并引入跨话题的分层抽样以确保代表性。其次，QA任务的设计存在潜在偏差：可回答问题被要求'不能直接从对话中获取答案，需要推理'，但这种设计可能导致问题过于依赖外部知识而非对话理解本身。改进方向是设计更多基于对话内推理（如因果推理、时间推理、社交推理）的问题类型。第三，摘要任务缺乏细粒度的质量评估：论文仅报告ROUGE-L等自动指标，但未进行人类评估来衡量摘要的事实准确性、信息覆盖度和流畅性。改进方向是引入基于LLM-as-judge的评估框架或进行大规模人类评估。第四，区域模型的覆盖不完整：Sailor2和Sahabat-AI仅覆盖东南亚组合，SILMA和ALLAM仅覆盖北非组合，缺乏跨区域的统一评估基线。改进方向是开发或评估更多跨区域的多语言模型。第五，对话的元数据利用不足：论文记录了回复引用关系但未在下游任务中显式利用这一结构信息。改进方向是设计需要理解对话线程结构的任务，如'追踪某个观点在对话中的演变'。
未来方向
基于PINGPONG的成果，未来研究可以在多个方向上延伸。首先，扩展语言覆盖：将基准扩展到南亚码混（如Hindi-English、Tamil-English）、拉丁美洲码混（如Spanish-Portuguese）、以及更多非洲语言组合，构建真正的全球码混评估体系。其次，引入更复杂的下游任务：如码混对话中的立场检测（stance detection）、情感演变追踪、对话行为分类（dialogue act classification）、以及跨语言信息检索。第三，探索码混特定的模型优化方法：当前模型在码混任务上的糟糕表现表明，单纯的多语言预训练不足以应对码混场景，需要开发码混感知的训练策略（如码混数据增强、语言切换点建模、跨语言对齐优化）。第四，研究码混程度与模型能力的关系：PINGPONG已经提供了CMI和SPF指标，未来工作可以系统分析这些指标与模型性能的相关性，揭示模型在什么程度的码混下开始'崩溃'。第五，利用对话结构信息：PINGPONG的回复引用关系提供了丰富的对话结构信号，可以用于训练对话结构感知的模型。
复现评估
PINGPONG在可复现性方面表现良好。数据集已开源，论文提供了详细的标注指南（Appendix A-D）、超参数配置（Table 7）、以及完整的实验结果（Appendix F）。数据收集通过Discord平台进行，该平台免费且广泛可用，降低了复现门槛。然而，复现存在几个挑战：首先，需要招募能够自然进行码混的母语标注者，这在某些语言组合（如HA-EN、AR-DZ-FR）中可能难以实现。其次，标注者的补偿标准（高于当地最低工资）因地区而异，可能影响跨区域的复现成本。第三，论文评估的模型大多为7-9B参数规模，在消费级GPU上需要量化才能运行，完整复现所有实验可能需要多卡设置。第四，部分区域模型（如Sahabat-AI、SILMA）的可用性和兼容性可能随时间变化。总体而言，数据集本身的复现难度较低（只要能招募到合适的标注者），但完整复现实验结果需要中等规模的计算资源和多语言专业知识。
论文图表
