SHARE：面向研究与教育的社会人文领域大模型及 MIRROR 反思界面 SHARE: Social-Humanities AI for Research and Education
首个专为社科人文领域预训练的自回归语言模型，配套不生成文本只标“意外”的 MIRROR 界面
前置知识
因果语言模型 (Causal LM)
一种 Transformer 解码器架构的语言模型，按从左到右顺序逐 token 预测下一个 token 的概率分布。与 BERT 等掩码语言模型不同，它天然适配文本生成。SHARE 系列就是因果 LM，参数规模 4B 与 14B。
SHARE 的训练目标、评估指标（perplexity、surprisal）以及 MIRROR 的输出（每个 token 的 logits）都建立在因果 LM 之上。
Expectancy Violation Theory (EVT)
Burgoon 2015 年提出的传播学理论，核心主张是“违背期望有时比确认期望更有价值”，源自人际沟通场景。本文将其拓展到学术写作：偏离 SSH 领域期望的 token 既可能是错误，也可能是创新。
MIRROR 界面直接把 EVT 思想工程化为 token 级的“意外度”评分，使社科人文批判性反思有了可计算的对应物。
Perplexity 与 Surprisal
Perplexity 是语言模型对一段文本预测难度的整体度量，定义为 $2^{H}$。Surprisal 是单 token 级别的不确定性度量，定义为 $S_t = -\log p(x_t \mid x_{<t})$，surprisal 越高代表模型越“意外”。
论文同时用 perplexity 做宏观定量对比（Figure 2、3），用 surprisal 做单 token 信号（MIRROR 热力图）。理解二者关系是看懂 Figure 2-4 的前提。
BPE Tokenizer
字节对编码，通过对语料中的高频字节对反复合并来构造词表。SHARE 抛弃了 Phi-4 的多语言 tiktoken 词表（100,352 tokens），改用仅在 SSH 英荷语料上训练、词表 50,000 的 BPE。
缩小词表显著降低推理时的 embedding 层和 LM head 显存占用，是 SHARE-4B 能在笔记本 CPU 上跑起来的关键工程取舍。
FSDP 与 ZeRO 式数据并行
Fully Sharded Data Parallel 把模型参数、梯度和优化器状态都切分到多张 GPU 上，14B 模型在 Snellius 上用 20 张 H100 即采用此方案。SHARE-4B 则只需 8 张 A100 的普通数据并行。
理解训练规模才能体会论文 656 小时 + 225 小时训练时间背后的算力投入，也才能评估其复现门槛。
研究动机
通用大模型（如 GPT、Phi-4）在被 ChatGPT 风格的对话界面包装后，已经深度渗透到学术写作流程中，但其在社科人文（SSH）领域的可用性受到三方面质疑：第一是质量与偏见问题，Grossmann 等（2023）与 Liu 等（2025）指出 LLM 写作会侵蚀批判性思维；第二是训练语料失衡，主流模型严重偏向 STEM，SSH 占比极低，Kyriakidis（2025）指出这是资助和话语系统性失衡的体现；第三是 RLHF/对齐反噬 SSH 研究，例如让模型拒绝仇恨言论的研究本身就是 SSH 的合法议题。SSH 学者一旦把模型当成“生成预期文本”的工具，就会被推向过度生产、风格同质化与搭便车式写作，损害学科赖以生存的开放探索传统。
本文的目标是论文提出两件互补的产物 SHARE 与 MIRROR：SHARE 是首个完全由、为 SSH 领域预训练的自回归语言模型家族（已发布 4B，完成 15% 训练的 14B 中间版），目标是让模型对 SSH 文本的概率分布逼近甚至超越 Phi-4；MIRROR 是一款“非生成”的用户界面，输入用户文本后输出每个 token 的 surprisal 与 z-score，把“违反领域期望”的 token 高亮出来供作者反思。论文希望通过这套组合，把 LLM 从“替代写作者”重新定位为“凝结领域期望的反思工具”。
与已有工作不同的是，已有 SSH 相关模型如 SSciBERT（Shen et al., 2023）和 BERT-NLI（Laurer et al., 2024）都是掩码语言模型，参数规模小（110M 左右），主要做分类与 NER 任务，无法生成 autoregressive 概率分布。SSH 领域第一个真正有规模的自回归模型（如 SHARE-4B、SHARE-14B）和第一个把 EVT 工程化为 token 级信号的反思界面（MIRROR）此前并不存在。论文的独特切入角度是“让模型告诉你哪些词出乎意料，而不是替你生成意料之中的词”，从根本上跳出 chat 范式。
核心方法
方法分两条主线：模型端构造一个 SSH 领域精炼的预训练语料，再用 Phi-4 架构从头预训练两个规模的因果 LM；交互端设计一个以 token 级 surprisal 为输出的可视化界面。直觉上，作者把语言模型重新理解为“领域期望的概率编码器”，而不是“文本生成器”。技术路线上先用启发式规则 + AllenAI FoS 分类器从 Wikipedia、Gutenberg、PeS2o、CORE 四个来源抽取 SSH 子集，再用自定义 BPE 分词、修改过的 OLMO 2 训练配方训练模型；最后用 surprisal $S_t=-\log p(x_t\mid x_{<t})$、熵 $H_t=-\sum_{v\in V}p(v\mid x_{<t})\log p(v\mid x_{<t})$ 与 z-score $Z_t=(S_t-H_t)/\sigma_t$ 在 Gradio demo 上标红高 z-score token。
与已有 SSH 相关模型和通用 LLM 的本质区别有三：第一，数据完全去 STEM 化，全部来自 SSH 主题的 Wikipedia、Gutenberg 古典文本、PeS2o 与 CORE 开放学术库；第二，模型只做预训练，不做 SFT/DPO/RLHF，因为作者观察到通用 SFT 配方会让 SSH 文本生成质量退化（Ye et al., 2025），且没有合适的 SSH 对齐数据集；第三，部署界面 MIRROR 反向利用了语言模型的“预测下一个最可能 token”能力——既然能算 $p(x_t\mid x_{<t})$，就能算每个 token 的“意外度”，从而用“预期 vs 实际”的偏差信号来支持写作者反思，这是把 AI 工具从生成范式切换到批判范式的核心创新。
方法步骤详情
方法六步：①从 Wikipedia 17 个 Main Topic、Gutenberg 10 个 LOCC、PeS2o 与 CORE 40M+ 论文按 12 个 FoS 字段筛选，SHARE-4B 用 28B tokens；②训练 vocab=50,000 BPE，比 Phi-4 词表小一半；③decoder-only 沿用 Phi-4 架构，上下文 4096 扩 8192；④SHARE-4B 在 8×A100 跑 656 小时（bs=64，lr=2e-4，ppl=11.94）；SHARE-14B 先 8×A100 167 小时、再 Snellius 20×H100 225 小时（FSDP+torch.compile+Liger+FlashAttention-2），lr 1.58e-4→1e-4，96B tokens 完成 15%，ppl=5.26；⑤建 275 例 SSH Cloze 基准（11 个 WoS 学科各 25 例正/负反向 token 二选一）；⑥MIRROR 用 Gradio 输出 $Z_t=(S_t-H_t)/\sigma_t$ 热力图与候选 token。
技术新颖性
技术新颖性体现在三处：其一，把语言模型的“预测”能力反向工程化为“评估”能力，借助开源 logits 实时计算 surprisal 与 z-score，避免了重新训练一个评估器；其二，提出的 SSH Cloze 基准（275 例正/负、高/低反向 token 选题）针对 SSH 文本设计的题型——预测 was 只需英语语法而预测 negative/positive 才需要 SSH 知识——能区分通用语言能力与领域语言能力；其三，自定义 50K BPE 在仅英荷语料上训练、词表比 Phi-4 小一半却仍保留学术词完整性，是兼顾推理效率与领域保真度的工程贡献。在概念层面，把 EVT 理论引入 LLM 交互设计也具有跨学科新颖性。
实验结果
定量（Figure 2、3、Table 4）：Erasmus 2025 摘要上 SHARE 与 Phi-4 log perplexity 差距在 SSH 学科显著小于 STEM，验证领域特化；SSH Cloze 上 SHARE-14B 取得 79.6% prior-corrected accuracy，仅比 Phi-4 14B (81.8%) 低 2.2 pp 但训练 token 仅 1/100，优于 OLMO-2-13B (73.8%) 与 Pythia-12B (61.5%)；SHARE-4B 66.2%，优于 Pythia-3B (63.6%)；Figure 4 显示其落入“高性能-低算力”象限。定性（Figure 5-8）：MIRROR 识别 typo（platform 多余 a）、风格失误（But so 句首）、事实错误（议程设置提出者应为 McCombs 与 Shaw）、创新词（guide/platform/literacy）、反主流叙事（Gondwe 2025 中 African/locations 被标意外，American 占 14.7%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SSH Cloze 二选一（prior-corrected accuracy） | prior-corrected accuracy (%) | SHARE-14B: 79.6% (96B tokens, 15% 训练) | Phi-4 (14B): 81.8% (9.8T tokens)；OLMO-2-13B: 73.8%；Pythia-12B: 61.5% | 相对 OLMO-2-13B +5.8 pp，相对 Pythia-12B +18.1 pp，训练 token 仅约为 Phi-4 的 1/100 |
| SSH Cloze 二选一（prior-corrected accuracy） | prior-corrected accuracy (%) | SHARE-4B: 66.2% (28B tokens) | SSciBERT-e2 (110M): 67.6%；Pythia-3B: 63.6%；SciBERT (110M): 62.9%；BERT (110M): 57.5% | 相对 Pythia-3B +2.6 pp，但略低于专门 SSH 摘要训练的 SSciBERT 1.4 pp |
| 跨学科 log perplexity 差距（SHARE vs Phi-4，越低越好） | log perplexity gap | SSH 学科（Art、Education、Sociology）差距明显较小 | STEM 学科（Biology、Engineering、Medicine）差距较大 | Figure 2、3 中 SSH 学院的 Erasmus MC（医学中心）出现明显更低的拟合度，反向验证领域特化 |
| 训练效率（accuracy vs estimated FLOPs） | accuracy/FLOPs 象限 | SHARE-14B 落入左上象限（高精度、低算力） | Phi-4 同样高精度但训练算力高 100×；Pythia-12B 落入右下 | Figure 4 显示 SHARE-14B 单位算力回报最优 |
局限与改进
作者在文中坦诚的局限有四点：第一，训练语料过度依赖英语数据集，作者承认这对真正跨语言的 SSH 学科是“必要但严重的限制”，未来需引入荷兰语以外的更多语种；第二，SHARE-14B 仍只完成 15% 训练（96B / 630B tokens），本技术报告给出的 eval perplexity=5.26 与 79.6% 准确率不是最终性能；第三，SHARE 在 Phi-4 面前整体拟合度仍偏低（图 2 纵轴多为正），作者归因于训练 token 量两个数量级的差距；第四，SSH Cloze 基准本身只有 275 例、覆盖 11 个学科，可能仍受 LLM 撰写摘要的污染，且仅做二选一，粒度有限。我观察到的额外局限包括：缺少推理延迟、单 token 显存占用等部署维度数据；MIRROR 是定性案例研究（Figure 5-8 各一例），没有大样本量化评估 MIRROR 对写作者的实际帮助；z-score 是相对全句统计量，对长文本与短文本敏感度不同，论文未给出归一化策略；模型未做指令微调导致其在 chat 场景不可用，会限制受众。
独立分析的弱点
独立分析有四个值得改进的方向。其一，SHARE 训练数据严重偏英文学术，Figure 8 中“African”被标意外正反映出 SSH 训练语料中的殖民偏向，仅靠 MIRROR 显式化并不解决；改进方向是引入 Equatorial Clusters、LanguageARC 等多语言 SSH 资源并按语言族平衡采样。其二，benchmark 仅用 275 例正/负反向 token 题目，覆盖面窄且容易过拟合领域习惯；改进方向是纳入多选、长答案、跨段落推理等题型，并增加 IRT 自适应抽样。其三，MIRROR 输出 z-score 依赖全句统计，对短句与长句的敏感度差异巨大，且当用户文本跨越多种 SSH 子学科时，“期望”被不同子学科拉平；改进方向是按段落/章节做局部归一化，或暴露不同子模型的条件概率让用户切换。其四，模型训练集 token 量从 28B 到 96B 不等，4B 与 14B 难以在严格同等条件下对比；改进方向是在两个规模上都补足相同 epoch 和 tokens 评估点。其五，论文没有给出 MIRROR 在实际写作场景下的对照实验（A/B 用户写作质量评估），缺乏因果证据。
未来方向
作者明确提到的方向有四：第一，扩展训练语料到多语言 SSH 资源；第二，完成 SHARE-14B 剩余 85% 训练并发布最终模型；第三，扩充 SSH Cloze 基准的题目量与学科覆盖面；第四，探索 MIRROR 在同行评审、写作教学、批判性思维课程等场景的部署。基于论文成果可延伸的方向包括：在 MIRROR 中集成按子学科切换条件概率的能力，让用户对比“sociology 视角 vs philosophy 视角下我的文本哪里最意外”；把 SHARE 与现有 RAG 工具结合，为学生写作中遇到的“unexpected token”提供可解释的领域参考；探索多模态 SSH 资料（历史地图、画作、社会网络）扩展 SHARE；以及针对非英语 SSH 社区训练区域化版本（如 SHARE-中文、SHARE-西语）。
复现评估
复现门槛整体偏高但可控。代码方面，论文开源了数据集构建脚本与 MIRROR 的 Gradio demo（文中给出 GitHub repo 链接，并声明 Claude Opus 4.6 与 Gemini 协助了部分编码），但模型权重是否同 RAIL 许可证一并放出取决于最终版发布。数据方面，Wikipedia 与 Gutenberg 公开可下载，PeS2o 与 CORE 大部分开放但需申请 API 与遵守使用条款。算力方面复现门槛陡峭：SHARE-4B 在 8×A100 上跑 656 小时，SHARE-14B 在 20×H100 上跑 225+ 小时，对个人研究者几乎不可复现。环境方面依赖 Saturn Cloud 与荷兰国家超算 Snellius。综合判断，模型本身需要机构级算力才能从头训练，但借助其开源权重与 MIRROR 推理代码，独立研究者可在笔记本 CPU 上体验 SHARE-4B（论文特别强调“quantized version 可在学生笔记本上跑”）。复现难度主要落在“训练”而非“部署”，评估方面 SSH Cloze 基准的 275 例样本完全公开、可重复。
论文图表
对比图，左半边是 Standard LLM paradigm：通用语料→通用 LLM（经 SFT+RLHF 对齐）→chat 界面生成预期文本；右半边是 SHARE + MIRROR paradigm：SSH 精选语料→SHARE base model（无 SFT/无 RLHF）→MIRROR 界面输出 surprisal+entropy→z-score，仅“标记”意外 token 而不生成文本。
全文核心思想的总览图，把论文的两大贡献 SHAREMIRROR 与商业通用模型范式直接对照，没有这张图读者很难抓到“为什么不生成文本才是创新”这一关键论点。
对 2026 年 Dombrowski & Trepte 社交媒体隐私 meta-analysis 讨论段的 MIRROR 高亮，guide、platform、literacy 被标红，作者解读为正面“创新信号”而非错误。缺失 token 分析中 SHARE-4B 提示 section/safety/protection，14B 提示 ecosystems/designing/prioritize。
MIRROR 作为“创新信号检测器”的关键案例，证明“意外”既可标记错误也可标记新颖贡献，是论文“把负面与正面意外统一在同一信号里”主张的核心证据。
对 Gondwe 关于国际传播学会主席演讲回应文章第一段的高亮，cosmopolitan、curiosity、African、locations 等 token 被标红，14B 模型对 location 最可能的替代是 -(16.7%) 与 American (14.7%)，揭示训练语料中“African”高度偏向“African-American”用法。
论文最有思想冲击力的图：用模型显式化 SSH 领域的种族与地缘偏向，直接呼应“SSH 训练语料中的殖民偏向”批判，是 MIRROR 作为批判性工具的代表案例。
对 Sonn & Hsu (2022) 训练语料文本的逐 token 预测，绿色表示模型正确记忆，红色表示偏离。大部分 token 为红色，作者据此主张 SHARE 模型没有显著记忆训练原文，版权风险低。
回应版权与可复现性关切的关键图表，是 RAIL 许可证“非商用、可部署”的实证支撑。