LLM 推理痕迹中的认知片段实现可解释的人类项目难度预测 Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction
利用大型推理模型的认知片段序列来预测和教育评估中的题目难度
前置知识
Schoenfeld 认知片段理论
该理论将问题解决过程分解为按时间顺序排列的功能片段，包括阅读、分析、计划、实施、探索、验证、监控和作答八个片段。每个片段代表问题解决过程中的特定阶段，例如 'Analyze' 表示对问题结构的深入分析，'Implement' 表示具体计算或推理步骤的实施，'Verify' 表示对中间结果的检验。这种分类方法基于对人类数学问题解决过程的观察，已被广泛用于理解复杂问题的认知过程。
本文使用该理论对 LLM 的推理痕迹进行标注和分析，以构建结构化的过程表示，这是理解难度与认知过程关联的基础。
项目反应理论（IRT）
项目反应理论是心理测量学的核心框架，用于估计题目参数和考生能力。IRT 模型（如 2PL、3PL）通过考生作答数据估计题目的难度参数 b，该参数反映题目的固有难度，通常在 logit 尺度上表示。IRT 假设考生答对题目的概率是题目参数和考生能力的函数，例如在 2PL 模型中 P(Y=1|θ,b,a) = 1/(1+exp(-a(θ-b)))，其中 θ 是考生能力，b 是题目难度，a 是题目区分度。
本文的难度标签来自 IRT 校准，理解 IRT 有助于评估预测结果的实际意义以及模型输出的 psychometric 属性。
思维链提示
思维链提示是一种引导大语言模型逐步展开推理过程的技术，通过在提示中加入 'Let's think step by step' 等指令，促使模型显式输出中间推理步骤。大型推理模型（如 QwQ、Qwen3-32B）在推理模式下会自动产生包含思考痕迹的输出，这些痕迹可以被分割成句子并标注认知片段。
本文依赖 LRM 产生的推理痕迹作为认知过程信号，理解 CoT 有助于理解数据来源和方法的可扩展性。
研究动机
在教育评估领域，题目难度预测是构建公平且有效的测试的核心挑战。传统方法依赖昂贵的实测校准，需要大规模预测试，成本高、耗时长且难以扩展。例如，经典测验理论（CTT）和项目反应理论（IRT）需要从数百名考生的作答数据中估计题目参数，这在新题开发阶段尤其困难。自动化方法通常将难度视为项目文本的属性，从文本内容、元数据或嵌入表示中预测，但它们忽略了题目所诱导的认知过程和问题解决负担，缺乏关于认知过程的可解释证据。
本文的目标是本文旨在构建一个既能准确预测人类题目难度又能提供可解释过程证据的框架。核心思想是将难度不仅视为项目文本的属性，而且视为题目所引发的问题解决负担的可观察后果。通过利用大型推理模型（LRM）产生的推理痕迹，将难以直接观察的认知需求转化为可扩展的结构化信号，从而实现对难度的预测和解释。
与已有工作不同的是，已有方法大多从项目文本或模型输出中提取特征，但它们很少将推理过程本身的结构化信息用于难度预测。尽管有研究使用 LLM 的不确定性、推理长度或直接判断，但这些信号缺乏与人类 psychometric 难度的显式对齐，且往往难以解释。本文的独特之处在于将认知片段理论应用于 LRM 推理痕迹，从中提取结构化过程特征，首次将问题解决的认知负担直接纳入难度预测模型。
核心方法
Epi2Diff 框架的整体思路是将 LLM 的推理痕迹转化为认知片段序列，从中提取紧凑的动态特征，并与题目语义表示结合，用于预测难度。具体而言，对于每个题目，首先使用 QwQ-32B 或 Qwen3-32B 等 LRM 生成多个推理痕迹，然后将每个痕迹分割成句子，并使用在标注数据集上训练的 RoBERTa 分类器将每个句子标注为八个认知片段之一。接着，从标注后的片段序列中提取三类特征：长度特征（总 token 数、思考部分 token 数、答案部分 token 数）、片段分布特征（每个片段的 token 计数和比例）以及转移特征（相邻片段对的转移计数）。这些特征被组织成一个 83 维的向量，并与使用 Sentence-BERT 编码的题目语义嵌入拼接。为了提高鲁棒性，模型还模拟不同能力水平的学生（弱、中、强）生成推理痕迹，并将来自多个学生档案的特征进行平均。最后，训练一个分类器或回归器在最终表示上预测难度。
核心创新是将认知片段理论应用于 LLM 推理痕迹，从中提取结构化过程特征，而不是简单地使用推理长度或模型输出。这种方法揭示了题目难度与推理过程结构之间的关联：更难的题目会诱导更投入的、迭代的、以实施为中心的片段动态，而不仅仅是更长的响应。通过将推理痕迹分解为功能片段，并建模这些片段的分布和转移，Epi2Diff 提供了一种既可预测又可解释的难度表示，这是与仅基于文本或长度表示的本质区别。
方法步骤详情
方法步骤如下：第一步，数据准备和标注。使用 ThinkARM 数据集中由五个 LRM 生成的推理痕迹，构建包含 231,913 个标注句子-片段对的语料库，训练 RoBERTa 分类器进行句子级片段预测。第二步，推理痕迹生成。对于每个题目，使用 QwQ-32B 和 Qwen3-32B 生成推理痕迹，分别模拟直接、弱、中、强四种学生档案，共得到八个痕迹。第三步，片段标注和特征提取。对每个痕迹进行句子分割，使用训练好的 RoBERTa 分类器标注每个句子，然后计算长度特征（3 维）、片段计数（8 维）、片段比例（8 维）和转移矩阵（64 维），形成 83 维过程特征向量。第四步，语义编码。使用 Sentence-BERT 对题目文本编码，得到语义嵌入。第五步，多档案聚合。对同一题目，将来自不同学生档案的过程特征向量进行平均，得到聚合后的过程表示。第六步，特征拼接和预测。将语义嵌入与聚合后的过程特征拼接，得到最终表示，训练 XGBoost 分类器或回归器预测难度。
技术新颖性
该工作的技术新颖性在于首次将认知片段理论大规模应用于 LLM 推理痕迹，以预测人类题目难度。与仅使用文本嵌入或推理长度的方法不同，Epi2Diff 建模了推理过程的结构，揭示了难度与片段组成和转移模式之间的关联。此外，该方法引入了基于档案的聚合策略，通过模拟不同能力水平的学生，增强了表示的鲁棒性。实验表明，这种方法不仅在预测上优于多种基线，而且提供了可解释的过程证据，例如发现更难的题目倾向于从分析转向实施、持续实施并循环回分析或验证，这种分析-执行-细化循环是难度的重要标志。
实验结果
在四个真实教育数据集上的实验表明，Epi2Diff 一致优于强基线方法。在 SAT Math 上，Epi2Diff 达到 0.730 的准确率和 0.728 的 macro-F1，比最好的 LLM 监督微调基线（Qwen3-4B full，ACC 0.698，F1 0.705）相对提升约 4.6% 在准确率上。在 SAT Reading & Writing 上，Epi2Diff 的 ACC 为 0.631，F1 为 0.626，同样优于所有基线。在回归任务中，Epi2Diff 在 Cambridge 数据集上达到 RMSE 7.612 和 R² 0.396，在 USMLE 数据集上达到 RMSE 0.291 和 R² 0.121，显著优于多数 LLM 基线，其中一些基线的 R² 甚至为负。消融研究显示，结合语义和过程特征的完整表示表现最佳，移除任何过程特征组都会损害性能。特征重要性分析表明，语义特征仍然是重要的锚点，但片段组合和转移组也贡献了 substantial 的重要性（例如在 Both (Role) 设置下，Epi.+Tran. 的 permutation importance 为 0.136，超过 Sem. 的 0.084）。关键发现是难度具有结构化的过程签名：更难的题目导致更多的中间工作、更多的实施中心努力以及更强的分析-执行流，而不仅仅是更长的响应。具体而言，Implement 的计数和比例与难度正相关，而 Verify、Read 和 Plan 的比例与难度负相关。最强的正向转移是 Analyze→Implement、Implement→Implement 和 Implement→Analyze，这表明更难的题目涉及从分析或计划到执行的转换、持续执行以及围绕实施的局部细化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SAT Math 分类 | ACC / Macro-F1 | 0.730 / 0.728 | Qwen3-4B (full): 0.698 / 0.705 | 相对提升约 4.6% ACC 和 3.3% F1 |
| SAT Reading & Writing 分类 | ACC / Macro-F1 | 0.631 / 0.626 | Qwen3-4B (full): 0.619 / 0.618 | 相对提升约 2.0% ACC 和 1.3% F1 |
| Cambridge 回归 | RMSE / R² | 7.612 / 0.396 | ModernBERT: 8.200 / 0.299 | RMSE 降低约 7.2%，R² 提升约 32.4% |
| USMLE 回归 | RMSE / R² | 0.291 / 0.121 | RoBERTa: 0.298 / 0.076 | RMSE 降低约 2.3%，R² 提升约 59.2% |
局限与改进
作者承认，本研究中的推理痕迹来自有限的 LRM（主要是 QwQ-32B 和 Qwen3-32B），不同模型的啰嗦程度、分解粒度、痕迹组织和中间推理的显式性可能会影响诱导的片段分布、转移模式和下游预测。此外，尽管在四个基准上进行了评估，但覆盖的领域、题目格式和标签设置仍然有限，未来需要在更多样化的评估设置中验证框架。另一个潜在局限是生成多个推理痕迹的计算成本较高，虽然基于档案的聚合比简单重复采样更有效，但仍然需要多次 LRM 调用。
独立分析的弱点
Epi2Diff 的一个主要弱点是它依赖于 LRM 产生的推理痕迹的质量和风格。如果推理痕迹过于冗长、缺乏结构或偏离人类认知过程，那么提取的片段特征可能不准确，从而影响预测性能。例如，某些 LLM 可能倾向于产生重复的验证或无效的探索，这会引入噪声。另一个弱点是框架在计算上较为昂贵，因为它需要为每个题目生成多个推理痕迹（每个题目 8 个痕迹），这可能在大规模应用中成为瓶颈。此外，当前的方法假设片段标注器在跨领域和跨任务上是鲁棒的，但在新的题目类型或领域上，标注器的性能可能会下降。最后，Epi2Diff 的性能仍然依赖于语义特征，如果题目文本缺乏语义信息或表示不足，过程特征可能无法完全弥补。
未来方向
作者提出未来工作可以在多个方向扩展。首先，探索更丰富的片段抽象和更细粒度的过程表示，例如引入子片段或层次片段以捕获更复杂的认知模式。其次，研究如何在保持预测性能的同时降低计算成本，例如通过更高效的采样策略或使用更小的推理模型。第三，将框架扩展到更多样化的评估设置，包括开放式问题、编程任务和跨学科题目。第四，探索将认知片段与其他可解释信号结合，例如眼动追踪数据或思维协议，以进一步提高预测的准确性和可解释性。最后，研究如何利用预测到的难度信息来改善测试构建、自适应学习和教学设计。
复现评估
该项目已在 GitHub 上开源，提供了完整的代码、数据预处理脚本和模型权重。推理痕迹标注器基于 ThinkARM 数据集训练，该数据集包含大规模 GPT-5 标注和人工验证的黄金集。实验使用的四个数据集（SAT Math、SAT Reading & Writing、Cambridge、USMLE）均为公开可用。对于 LRM 推理痕迹生成，作者使用 QwQ-32B 和 Qwen3-32B，这些模型可以通过相应渠道访问。消融实验和特征重要性分析都提供了详细的设置和结果。整体而言，该工作具有良好的复现性，研究者可以使用提供的工具和数据重现主要实验。
论文图表
