compar:IA：法国政府的LLM竞技场，用于收集法语人类提示词和偏好数据 compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data
法国政府搭建开源LLM竞技场，收集60万+法语提示词和25万+偏好投票，填补非英语偏好数据空白
前置知识
RLHF (基于人类反馈的强化学习)
RLHF是一种训练方法，通过收集人类对模型输出的偏好判断（如'哪个回答更好'），训练奖励模型，再用强化学习优化语言模型。核心思想是让模型生成符合人类价值观的输出，而非仅仅预测下一个token。典型流程包括：收集人类偏好数据、训练奖励模型、用PPO等算法优化策略模型。OpenAI的InstructGPT和ChatGPT都采用了这一方法。
本文的核心目标就是收集RLHF所需的人类偏好数据，尤其针对法语等稀缺语言。理解RLHF才能理解为什么偏好数据如此重要，以及本文数据集的价值所在。
DPO (直接偏好优化)
DPO是Rafailov等人2023年提出的替代RLHF的方法。它跳过了训练奖励模型的步骤，直接从偏好数据中优化语言模型策略。核心公式是损失函数L_DPO = -E[log sigma(beta * log(pi_theta(y_w|x)/pi_ref(y_w|x)) - beta * log(pi_theta(y_l|x)/pi_ref(y_l|x)))]，其中y_w是偏好回答，y_l是非偏好回答。优点是训练更稳定、计算成本更低。
DPO是RLHF的重要替代方案，同样需要大规模人类偏好数据。本文收集的偏好数据可直接用于DPO训练。
盲测配对比较 (Blind Pairwise Comparison)
一种评估方法，用户同时看到两个模型的回答，但不知道哪个模型生成了哪个回答。用户基于回答质量进行偏好判断。这种方法减少了品牌效应和期望偏差——用户不会因为'这是GPT-4的回答'而偏向它。LMSYS Chatbot Arena是该方法的代表性平台。评估流程通常是：用户输入提示词、两个模型分别生成回答、并排展示（无标识）、用户投票选择偏好、揭示模型身份。
本文的compar:IA平台正是采用这种方法收集偏好数据，理解盲测机制是理解本文数据质量保证的关键。
Bradley-Terry模型
一种经典的配对比较统计模型，用于从成对比较结果中估计各对象的'实力'。假设两个对象i和j进行比较，i获胜的概率为P(i>j) = pi_i/(pi_i+pi_j)，其中pi_i是对象i的实力参数。通过最大似然估计从大量配对比较数据中学习各对象的实力参数，常用于棋类排名和竞技场排行榜。
本文使用Bradley-Terry模型从偏好投票数据中构建模型排行榜，这是理解本文如何从原始偏好数据得出模型排名的关键方法。
PII检测 (个人可识别信息检测)
识别和过滤文本中包含的个人可识别信息（Personally Identifiable Information），如姓名、地址、电话号码、邮箱等。本文采用基于LLM的方法，在数据发布前检测对话中是否包含个人数据。策略是保守的：一旦检测到PII，整个对话及其关联的投票和反应数据都会被排除，而不是尝试匿名化特定文本片段。这种做法降低了数据量，但减少了重新识别风险。
隐私保护是本文数据发布流程的核心环节，理解PII检测策略有助于评估数据集的可用性和合规性。
研究动机
大语言模型在非英语语言上表现出明显的性能下降、文化错位和安全漏洞。根本原因在于训练数据和人类偏好对齐数据严重偏向英语。例如，Llama 2的技术报告显示，法语仅占其训练语料的0.16%。这种不平衡导致非英语语言的流畅性降低、语域不匹配、文化不适当回应以及安全保证减弱。虽然RLHF和DPO等训练方法需要大量人类偏好数据，但法语等语言的偏好数据集极度稀缺且大多不公开。在现有的开放偏好数据集中，法语对话仅占很小比例（LMSYS Chat-1M中报告为1.5%）。私有系统虽然可能收集了大量多语言交互数据，但这些数据集对小型或新兴的工业、学术和公共部门参与者不可及，限制了模型多样性和竞争。
本文的目标是本文的目标是介绍compar:IA——一个由法国政府发起的开源数字公共服务，专门设计用于从以法语为主的普通用户群体中大规模收集人类偏好数据。具体目标包括：（1）构建一个低门槛的盲测配对比较平台，让非技术用户也能参与评估；（2）收集大规模的法语自由形式提示词和偏好投票数据；（3）在隐私保护前提下公开发布数据集，供学术、工业和公共部门使用；（4）作为可复制的基础设施，支持其他语言的类似数据收集工作。截至2026年2月7日，平台已收集超过60万个自由形式提示词和25万多个偏好投票，其中约89%为法语数据。
与已有工作不同的是，本文的独特切入角度在于将公共部门定位为AI评估基础设施的建设者。与商业驱动的LMSYS Arena不同，compar:IA由法国文化部和跨部门数字事务局（DINUM）联合运营，作为非商业数字公共服务。这种定位带来了几个关键差异：（1）数据完全开放发布，而非部分开放；（2）不需要账户创建，最大限度降低参与门槛；（3）强调教育和公众意识提升功能，而非纯技术评估；（4）通过政府背书获得更广泛的公众信任和参与。此外，compar:IA是首个针对法语大规模收集偏好数据的开放平台，填补了非英语偏好数据的关键空白。平台还整合了环境影响评估，向用户展示推理的能源消耗估算，促进对AI使用的反思。
核心方法
compar:IA的核心方法是通过精心设计的用户体验收集大规模人类偏好数据。整体思路分为三个层次：首先是平台设计层面，采用盲测配对比较范式，用户输入提示词后，两个模型分别生成回答并排展示，用户阅读后进行偏好判断。这种方法减少了品牌效应和期望偏差。其次是数据收集层面，平台收集三个层次的信号：对话级偏好投票（用户选择整体偏好）、消息级反应（对单条消息的细粒度判断）、以及完整的对话上下文。第三是数据发布层面，所有数据经过LLM驱动的隐私过滤流程后，以三个独立数据集的形式公开发布。平台的技术架构从最初的Gradio原型演进为FastAPI后端配合SvelteKit前端，模型推理通过OpenRouter等按token计费的API完成，实现了可预测的成本和模型多样性。
compar:IA的核心创新不在于技术算法，而在于将盲测配对比较方法适配给普通公众，并将其定位为公共基础设施。与LMSYS Arena等平台相比，compar:IA有几个本质区别：（1）参与门槛极低——不需要账户，只需勾选数据使用同意复选框即可开始；（2）界面设计避免技术术语，提供上下文解释和视觉引导，让没有LLM架构知识的用户也能有意义地参与；（3）提供提示词建议功能，缓解'空白页效应'（虽然实际使用率不到6%）；（4）在模型揭示阶段展示环境影响估算，引入对AI使用的反思维度；（5）采用保守的隐私策略——检测到PII时排除整个对话而非尝试匿名化；（6）作为政府公共服务运营，数据连续公开发布而非部分开放。这些设计选择使得compar:IA能够从更广泛的用户群体中收集更自然的交互数据。
方法步骤详情
compar:IA的数据收集流程包含以下步骤：（1）用户进入平台，输入自由形式的提示词。提示词完全不受约束，反映真实使用场景而非预定义任务。界面也提供可选的提示词建议，但使用率不到6%。（2）两个模型分别对提示词生成回答。两个回答并排展示，不包含任何标识信息。用户可以阅读两个回答，如果愿意还可以继续对话，从而收集多轮交互数据。（3）反馈在两个层次上提供。用户可以对单条消息做出反应（捕获细粒度判断），也可以对整体对话进行投票（选择偏好回答）。这两个机制产生不同但互补的信号。（4）反馈提交后，平台揭示模型身份并显示相关元数据，包括模型描述和额外的上下文信息。用户还会看到推理环境影响的估算，基于生成的token数量、模型架构和规模。对于专有模型，架构和规模基于公开信息估算。能源消耗通过Ecologits库估算。（5）所有收集的数据在发布前经过LLM驱动的个人数据检测流程。每个对话被评估是否可能包含个人或敏感信息。当检测到个人数据时，整个对话及其关联的投票和反应被排除（约5%的对话被过滤）。（6）过滤后的数据以三个独立数据集发布：comparia-conversations（对话数据）、comparia-votes（偏好投票）、comparia-reactions（消息级反应），托管在Hugging Face并镜像到data.gouv.fr。
技术新颖性
compar:IA的技术新颖性主要体现在系统设计而非算法创新上。首先，它是首个由政府主导、面向法语大规模收集人类偏好数据的开放平台，填补了非英语偏好数据集的关键空白。截至收集时，法语在现有开放偏好数据集中仅占1.5%，而compar:IA提供了数十万法语提示词和交互数据。其次，平台的隐私保护策略具有方法论意义：采用保守的整对话排除策略而非尝试span级匿名化，避免了匿名化不完整、语义失真或残留可识别性等风险，同时简化了GDPR合规。第三，平台将环境影响评估整合到用户体验中，通过Ecologits库为每个推理请求估算能源消耗，促进对AI使用的反思。第四，作为公共基础设施的定位使得数据连续公开发布，而非像商业平台那样部分开放，这对研究社区具有独特价值。第五，平台展示了将盲测配对比较方法适配给非技术普通用户的可行性和有效性，超过30万独立访客和60万+提示词证明了这种设计的吸引力。
实验结果
compar:IA的核心成果体现在数据规模、用户参与和数据质量三个维度。在数据规模方面，截至2026年2月7日，平台收集了超过60万个自由形式提示词和25万多个偏好投票。语言分布以法语为主（89.14%），英语占8.55%，西班牙语0.64%，丹麦语0.31%，德语0.27%。在主题分布上，技术/教育类提示词占主导（自然科学+教育=31.95%），但其他话题也有广泛覆盖，包括商业与经济（10.10%）、社会问题（6.94%）、娱乐（6.72%）、政治（6.43%）、文化（5.43%）、艺术（4.73%）等。在用户参与方面，平台吸引了超过30万独立访客，参与完全是自愿的，用户不获得补偿、排名或徽章。778名唯一用户在Hugging Face上请求访问三个数据集。在数据使用调查中，25名受访者中68%为学术/研究人员，20%代表私有公司，使用目的包括模型训练（32%）、研究（24%）和评估（20%）。平台提供104个模型（29个专有，其余为开源或开放权重），通过Bradley-Terry模型构建了法语模型排行榜。与Bunka.ai的合作分析揭示了四种主要交互类型：学习、寻求建议、内容生成和信息检索，以及领域与交互类型的系统关联。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 法语偏好数据规模 | 提示词数量 | 600,000+ | LMSYS Chat-1M中法语约1.5% | 提供数十万法语提示词，法语占比89.14% |
| 偏好投票规模 | 投票数量 | 250,000+ | 无直接可比的法语偏好数据集 | 首个大规模法语偏好投票数据集 |
| 平台参与度 | 独立访客数 | 300,000+ | N/A | 展示了盲测配对比较对普通公众的吸引力 |
| 模型覆盖 | 可用模型数 | 104个模型（29专有） | N/A | 覆盖广泛的专有和开源模型 |
局限与改进
作者坦诚地讨论了多方面的局限性。首先是用户代表性问题：平台不收集社会人口统计信息，因此无法按年龄、职业、教育水平或地理分布对用户进行特征化，限制了跨用户群体的偏好分析。其次是专业和任务特定覆盖不足：数据集可能低估了专业和敏感用例，因为用户通常不愿提交工作相关、机密或受监管的查询，法律、医疗、行政管理等领域表示不足。第三是评估偏差和自选择效应：参与是自愿和自选择的，用户群体偏向对AI或数字工具已有兴趣的人群，通过教育和机构网络的推广进一步强化了这一特征。第四是竞技场风格平台的固有局限：用户可能采取评估或实验心态，提交更短、更简化的提示词来'测试'模型，而非完成真实任务；配对评估本身也有结构性限制，比较两个回答可能掩盖绝对质量或无法捕捉不易对比的维度。第五是模型配置和基础设施约束：系统提示策略随时间演变，闭源模型行为不完全透明，不同推理提供商的模型量化精度可能不同，这些因素引入了潜在的混淆。第六是回答风格偏差：产生更长、更自信、更多表情符号或更对话化回答的模型可能被偏好，即使底层信息质量相似。此外，响应延迟、用户投票行为的不可完全观察性等也是已知偏差来源。
独立分析的弱点
本文存在几个可改进的弱点。首先，用户代表性不足是一个核心问题——不收集人口统计数据虽然降低了参与门槛，但也限制了偏好分析的深度。改进方向可以是引入可选的匿名人口统计信息收集（如年龄段、职业大类），在不增加隐私风险的前提下支持分层分析。其次，隐私过滤策略过于保守，约5%的对话因PII检测被完全排除，而没有尝试更精细的匿名化。可以探索结合命名实体识别（NER）和差分隐私的span级匿名化方法，在数据可用性和隐私保护之间取得更好的平衡。第三，数据集缺乏对提示词难度、任务类型和对话质量的结构化标注，限制了细粒度分析。可以引入自动标注流程，对提示词进行分类和难度评级。第四，环境影响估算基于Ecologits库的通用估算，未考虑实际推理硬件和能源来源的差异，准确性有限。第五，平台的提示词建议功能使用率不到6%，说明引导机制效果有限，可能需要更有效的设计来帮助不熟悉AI的用户生成有意义的提示词。
未来方向
作者提出了几个重要的未来方向。首先是国际化和多语言扩展：平台的底层架构是语言无关的，可复用于任何语言，当前重点是欧洲中低资源语言（已开始丹麦语扩展），目标是每种语言达到数万级别的提示词和偏好投票。多语言部署还支持跨语言分析，使用一致协议研究模型行为和用户偏好如何随语言和文化背景变化。其次是增强数据标注和元数据：未来可能引入可选的元数据收集，包括宽泛的用户类别或对AI系统的自我声明熟悉度，用于上下文化的偏好信号和基本分层分析。第三是专业竞技场：为专业或行业用例建立专门的竞技场，使用受控队列、明确同意和更严格的访问条件，支持公共管理、教育或受监管行业的高质量任务特定偏好数据。基于本文成果还可延伸的方向包括：利用收集的提示词作为种子生成合成训练数据；开发基于偏好的模型评估基准；研究人类-AI交互的模式和趋势；以及将平台基础设施开源后支持更多国家和地区的类似部署。
复现评估
compar:IA在可复现性方面表现良好。平台代码是开源的，数据集在Hugging Face和data.gouv.fr上公开发布，采用Etalab 2.0开放许可证。三个数据集（comparia-conversations、comparia-votes、comparia-reactions）均可自由访问。隐私过滤后的数据可直接用于研究，原始数据集上传到Hugging Face但受门控限制仅用于研究目的。复现的挑战在于：（1）数据收集需要大规模用户基础和持续运营，难以在实验室环境复制；（2）模型推理通过OpenRouter等商业API完成，具体模型版本和配置可能随时间变化；（3）平台使用的Ecologits库需要额外安装；（4）系统提示策略随时间演变，历史数据可能反映不一致的配置。对于研究者而言，直接使用已发布的数据集是最佳选择；对于希望部署类似平台的机构，开源代码和架构文档提供了良好的起点，但需要自行解决模型接入和用户获取问题。
论文图表