可靠且负责的基础模型：综合综述 Reliable and Responsible Foundation Models: A Comprehensive Survey
横跨9个维度系统梳理基础模型可靠性与责任感的研究全景图
前置知识
基础模型 (Foundation Model)
基础模型是指在大规模多样数据集上预训练的大型神经网络，具备通用能力，可以通过上下文学习、监督微调或强化学习等方法适配到广泛的下游应用。典型代表包括大语言模型（LLM）、多模态大语言模型（MLLM）、图像生成模型和视频生成模型。基础模型的核心特征是「通用性」——它们不是为单一任务设计的，而是作为各种应用的基础。
本文综述的全部讨论都围绕基础模型展开，理解其定义、分类和核心特征是阅读本文的前提。
对齐 (Alignment)
对齐是指让基础模型的行为与人类偏好和价值观保持一致的过程。主要技术包括监督微调（SFT）——用高质量数据直接训练模型模仿理想回答；基于人类反馈的强化学习（RLHF）——训练奖励模型来评估回答质量，再用PPO等算法优化生成策略；以及直接偏好优化（DPO）——绕过奖励模型直接从偏好数据优化策略。对齐的目标是让模型既有帮助性（helpful）又无害（harmless）。
对齐是本文9个维度之一，也是理解安全、幻觉、不确定性等多个章节的交叉主题。论文用大量篇幅讨论对齐技术及其局限性。
幻觉 (Hallucination)
幻觉是指模型生成的内容与真实世界知识或输入上下文不一致的现象。在LLM中表现为事实性幻觉（与世界知识矛盾）和忠实性幻觉（与输入指令矛盾）；在MLLM中还表现为对象幻觉（描述不存在的物体）。幻觉的来源包括训练数据缺陷、模型架构局限、以及自回归解码中的路径依赖和错误累积。
幻觉是基础模型最突出的可靠性问题之一，本文从定义、检测到缓解进行了系统梳理，也是理解模型不确定性的重要切入点。
分布偏移 (Distribution Shift)
分布偏移指训练分布与测试分布不一致的情况，分为协变量偏移（特征分布变化）、标签偏移（标签分布变化）和概念偏移（特征-标签关系变化）。基础模型虽然在海量数据上训练表现出强大的泛化能力，但面对特定领域或时间推移带来的知识更新时，仍可能产生不可接受的错误。常见的应对策略包括上下文学习（ICL）、检索增强生成（RAG）、微调和模型编辑。
分布偏移直接影响模型在真实场景中的可靠性表现，本文详细讨论了OOD检测、泛化和领域适配三种应对范式。
AIGC检测 (AI-Generated Content Detection)
AIGC检测是指判断给定内容（文本、图像、音频、视频）是否由AI模型生成的任务，本质上是一个二分类问题。检测方法分为三大类：零样本检测器（基于统计特征如困惑度、曲率等）、水印检测器（在生成时嵌入可检测信号）、神经网络检测器（训练后验分类器）。随着生成模型质量的快速提升，AIGC检测面临越来越大的挑战。
AIGC检测是本文的最后一个维度，它与安全、公平性等主题存在深刻交叉，对维护数字信息完整性至关重要。
研究动机
基础模型（包括LLM、MLLM、图像生成模型和视频生成模型）已经在法律、医疗、教育、金融、科学等众多领域广泛部署。ChatGPT在不到三个月内达到1亿月活用户，DeepSeek-R1仅用一个月就达到了同样规模。然而，这些模型的可靠性和责任感问题日益突出：它们可能产生带有偏见的输出、泄露训练数据中的隐私信息、被对抗攻击破解、生成与事实不符的幻觉内容、对自身不确定性缺乏认知、在分布偏移下性能退化、内部工作机制不透明、以及生成难以辨别真伪的AIGC内容。这些风险在高安全要求场景（如医疗诊断、法律咨询、自动驾驶）中尤为严重，可能导致实际的社会危害。此前的综述往往只聚焦于单一问题（如仅讨论幻觉或安全性），缺乏对这些维度之间交叉关系的系统分析。
本文的目标是本文旨在提供一份全面、统一的综述，系统梳理基础模型在可靠性与责任感方面的研究进展。具体目标包括：（1）覆盖9个关键维度——偏见与公平性、对齐、安全性、隐私、幻觉、不确定性、分布偏移、可解释性和AIGC检测；（2）横跨4类基础模型——LLM、MLLM、图像生成模型和视频生成模型；（3）揭示各维度之间的交叉联系和共同挑战；（4）为每个维度梳理现状并勾画具体的研究前沿方向；（5）帮助研究人员、从业者和政策制定者设计、部署和监管负责任的AI系统。
与已有工作不同的是，本文的独特切入角度在于其「横切面」分析视角。与先前专注于单一主题的综述不同，本文的核心贡献在于呈现一个跨越9个维度、4类模型的统一分析框架。这种视角揭示了各维度之间被忽略的关键交叉关系：例如，对抗训练在提升安全性的同时可能加剧公平性问题；RLHF在改善对齐的同时可能破坏模型的校准性；分布偏移同时影响幻觉和不确定性的表现；可解释性方法是诊断偏见、缓解幻觉和增强安全性的共同基础。论文通过Figure 1的全景图和Section 12的交叉分析，将这些散落在不同领域的关系系统化地呈现出来，提供了单一领域综述无法给出的全局洞察。
核心方法
本文不是提出新方法的论文，而是一篇大规模综合综述（survey），其「方法」即是综述的组织框架和分析范式。论文采用双重分类体系：横轴是4类基础模型（LLM、MLLM、图像生成模型、视频生成模型），纵轴是9个可靠性与责任感维度。这就好比用一个9x4的矩阵来组织整个研究全景——矩阵的每个单元格代表一类模型在某个维度上的具体挑战和解决方案。在每个维度内部，论文按照统一的逻辑展开：先给出定义和分类体系，然后分别讨论检测/评估方法和缓解/保护方法，最后总结当前局限和未来方向。这种结构化的组织方式使得读者既可以在某个维度上纵向深入，也可以跨维度横向比较不同模型面临的不同挑战。论文覆盖了截至2025年5月公开可用的文献，总计引用超过1000篇论文。
本文最核心的创新不在于技术方法，而在于分析范式的转变——从单一问题的深入分析转向多维度交叉的系统性理解。论文通过Section 12的交叉分析，揭示了几组关键的维度间相互作用：（1）安全性与公平性的冲突——对抗训练虽然提升鲁棒性，但可能不成比例地损害边缘化群体的性能；（2）对齐与不确定性的矛盾——RLHF训练可能破坏模型的概率校准，使模型过度自信；（3）幻觉、不确定性与分布偏移的三重纠缠——OOD数据导致模型产生过度自信但错误的输出，进而引发幻觉；（4）安全性与AIGC检测的攻防对称性——检测本质上是一个对抗任务，防御者通常处于劣势；（5）隐私与安全的共同威胁——越狱攻击可以绕过隐私保护机制，提取敏感信息。这些交叉洞察是任何单一维度综述无法提供的，也是指导未来研究的关键线索。
方法步骤详情
作为综述论文，其「步骤」体现在文献梳理和分析的系统流程中。论文首先在Section 2定义了4类基础模型的数学形式化（如LLM的映射 f: X -> Y，MLLM的 g: X1 x X2 x ... -> T），建立统一的符号体系。随后在Sections 3-11中依次深入9个维度：每个维度均按照定义、评估/检测、缓解/保护、局限、未来方向的五段式结构展开。对于偏见与公平性（Section 3），论文从8种社会偏见类型出发，梳理了基于生成文本、特征嵌入和token选择概率的三类评估方法，以及训练阶段和推理阶段的缓解策略。对于对齐（Section 4），论文详细覆盖了SFT、RLHF（包括超越传统奖励模型、超越人类标注数据、超越PPO三个发展方向）和提示工程三大技术路线。对于安全（Section 5），论文按LLM、MLLM和图像生成模型分别讨论越狱攻击、提示注入攻击和后门攻击及其防御。其他维度遵循类似结构，形成连贯的分析体系。最终在Section 12进行跨维度的交叉分析和总结。
技术新颖性
本文的技术新颖性主要体现在三个方面。第一，覆盖面的广度前所未有：此前最全面的相关综述（如Huang et al. [402]）最多覆盖7-8个维度，而本文完整覆盖9个维度且包含4类模型，特别是首次将视频生成模型纳入可靠性综述的范围。第二，交叉分析的深度：Section 12系统分析了6组维度间的交叉关系（偏见-安全、偏见-AIGC检测、安全-隐私、安全-AIGC、不确定性-对齐、幻觉-不确定性-分布偏移-对齐），揭示了各领域研究者可能忽略的相互影响。第三，组织框架的统一性：论文为所有维度建立了一致的分析模板（定义、检测、缓解、局限、未来），使得跨维度的比较成为可能，读者可以清晰地看到同一技术（如RLHF）在不同维度上的不同影响。
实验结果
作为综述论文，其「结果」体现为对各领域研究现状的系统性总结和关键洞察。在偏见与公平性方面，论文识别出8种社会偏见类型（贬义语言、语言多样性、规范性、错误表征、刻板印象、仇恨言论、显性歧视、隐性歧视），并指出当前评估方法主要局限于token或段落级别，难以捕捉自回归生成过程中偏见的逐步传播。在对齐方面，论文发现RLHF虽然有效，但面临可处理性（高质量反馈获取困难）和通用性（难以建模多元价值观）双重挑战；DPO等直接对齐方法虽然简化了训练流程，但容易在分布外设置中过拟合。在安全方面，论文总结了越狱攻击的竞争目标假说——帮助性与安全性目标之间的冲突导致模型在无法同时满足两者时暴露脆弱性。在幻觉方面，论文提出了统一的概率定义：当验证谓词 p_v(y|x_input, x_external, f) < epsilon 时，模型输出 y 被判定为幻觉。在不确定性方面，论文发现校准技术如温度缩放和标签平滑对LLM有效，但对齐技术（如RLHF）可能破坏模型的概率校准。在AIGC检测方面，论文指出困惑度检测器对非母语写作者存在显著偏见——TOEFL作文被误判为AI生成的比例远高于母语者。论文还发现各维度之间存在深层联系：对抗训练同时影响安全和公平性；分布偏移同时加剧幻觉和不确定性；越狱攻击可以绕过隐私保护机制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 偏见评估 | WEAT效应量 | 综述总结多种评估方法 | 无统一基线 | 覆盖8种偏见类型和三类评估范式 |
| 幻觉检测 | FActScore | 综述对比检索/内部状态/不确定性三类检测 | 传统BLEU/ROUGE指标 | 更细粒度的事实验证 |
| AIGC文本检测 | DetectGPT准确率 | 综述对比零样本/水印/神经网络三类检测 | 人工检测 | 自动化的多维度检测框架 |
| 对齐效果 | 人工评估偏好 | RLHF/DPO/SimPO等多种方法对比 | 纯SFT | DPO简化训练流程但牺牲OOD鲁棒性 |
| 分布外泛化 | OOD准确率 | ICL/RAG/微调/模型编辑四类方法 | 直接推理 | ICL在低资源场景优于微调 |
局限与改进
本综述的主要局限在于以下几个方面。首先，作为一篇覆盖9个维度、4类模型的大规模综述，每个维度的讨论深度不可避免地受到篇幅限制——例如对齐部分虽然覆盖了SFT、RLHF和提示工程，但对每个具体算法的理论分析不如专门的对齐综述深入。其次，论文覆盖的文献截至2025年5月，考虑到基础模型领域的快速发展，一些最新进展（如推理模型的进一步发展、新的多模态架构）可能未被纳入。第三，虽然论文在Section 12尝试了跨维度的交叉分析，但这种分析更多是定性描述而非定量实证——例如对抗训练加剧公平性问题的论述虽然引用了相关工作，但缺乏统一基准上的系统实验验证。第四，论文主要聚焦于英文文献和西方学术社区的研究，对中文、日文等其他语言社区的相关工作覆盖有限。第五，视频生成模型部分相比其他三类模型的讨论明显薄弱，反映了该领域研究尚处早期阶段的现实。此外，论文本身不提出新方法或新实验，其贡献主要在于组织和综合，而非原创技术贡献。
独立分析的弱点
本文作为综述存在几个值得注意的弱点。第一，交叉分析的深度不足：虽然Section 12识别了6组维度间关系，但这些分析停留在引用相关工作加定性描述的层面，缺乏统一实验框架下的实证验证。例如，论文指出对抗训练可能加剧公平性问题，但没有给出在统一设置下安全性和公平性之间的帕累托曲线。改进方向是设计覆盖多维度的统一评估基准，实证量化各维度间的权衡关系。第二，对新兴架构和范式的覆盖不够及时：论文虽然提到了State-Space Models和Linear RNNs等新兴架构，但未深入讨论它们在可靠性维度上的独特挑战。随着这些架构的快速发展，未来综述需要更频繁地更新。第三，缺乏统一的评估标准对比：虽然每个维度都讨论了多种评估方法，但不同维度之间的评估标准缺乏统一性——例如偏见评估的WEAT分数与AIGC检测的准确率之间无法直接比较，这限制了跨维度的量化分析。第四，对实际部署场景的关注不足：论文主要讨论学术研究，对工业界实际部署中的可靠性问题（如延迟约束下的安全防护、大规模服务中的幻觉治理）讨论较少。改进方向是增加工业实践案例和真实部署数据。
未来方向
论文在每个维度末尾都提出了具体的未来研究方向，以下是跨维度的关键主题。第一，可扩展的监督（Scalable Oversight）：随着模型能力超越人类评估者，如何可靠地监督超智能AI系统成为核心挑战，弱到强泛化和可扩展监督是两个主要研究方向。第二，多模态统一可靠性框架：当前大部分可靠性研究集中在文本模态，但MLLM和视频生成模型面临跨模态的独特挑战，需要发展模态无关的统一检测和保护方法。第三，持续学习与知识更新：基础模型需要在不灾难性遗忘的前提下持续适应新知识，垂直遗忘（通用到专用）和水平遗忘（跨领域）都是待解问题。第四，形式化安全保障：当前大多数防御方法缺乏理论安全保证，发展可证明安全的防御机制是重要方向。第五，不确定性驱动的可靠部署：将不确定性估计与选择性拒答、澄清请求等操作策略结合，在高风险场景中实现可靠的模型部署。第六，统一的可靠性评估基准：建立覆盖多维度、多模型的统一评估框架，使跨维度的定量比较成为可能。
复现评估
作为综述论文，本文本身不涉及可复现性问题（没有提出新方法或新实验）。但论文的参考价值在于其系统化的文献组织：每个维度都提供了清晰的分类法（taxonomy）和方法总结，读者可以快速定位感兴趣的具体工作并按照原始论文进行复现。论文引用的大部分工作都有公开的代码和数据集（如FActScore、POPE、DetectGPT等）。对于想要复现具体技术的读者，论文的Figure 1全景图和各章节的分类图（如Figure 5、7、11、12、14、16、20、24、27、29、30）是很好的导航工具。需要注意的是，部分讨论的商业模型（如GPT-4、Claude 3等）的对齐和安全细节未完全公开，相关复现可能受限。论文的文献覆盖截至2025年5月，对于快速发展的领域（如推理模型、视频生成），读者可能需要补充最新文献。
论文图表
这张图展示了LLM在面对「男性比女性更擅长领导」和「女性比男性更擅长领导」两个相反陈述时的不同响应。模型对前者进行了反驳和去偏见处理，但对后者不仅未识别出偏见，反而支持了基于性别的刻板印象声称。这揭示了模型偏见的不对称性。
这个具体示例生动说明了LLM偏见问题的复杂性——模型可能对某些方向的偏见有防御能力，但对相反方向的偏见毫无察觉。