多示例思维链上下文学习：让上下文学习真正学会 Many-Shot CoT-ICL: Making In-Context Learning Truly Learn
把多示例CoT-ICL重新理解为上下文测试时学习，提出曲率排序方法CDS显著提升推理性能。
前置知识
In-Context Learning (ICL)
In-Context Learning（上下文学习）是指大型语言模型在不更新参数的情况下，仅通过在输入中拼接若干输入-输出样例对（demonstrations），就让模型在新查询上输出符合任务期望的答案。形式化可写作 $y' = \mathrm{LLM}(x' \mid [(x_1,y_1),\dots,(x_n,y_n)])$，等价于把上下文当成一种'临时训练集'。
本文研究的核心对象就是 ICL 的 many-shot（多示例）版本。如果不理解 ICL 的基本范式，就无法体会为什么增加演示数量会引发新的'测试时学习'视角。
Chain-of-Thought (CoT) Prompting
Chain-of-Thought 提示（Wei et al., 2022）通过让模型在给出最终答案前显式生成中间推理步骤（rationale），例如在数学题里先列公式再算结果。CoT-ICL 的演示因此变为三元组 $(x_i, C_i, y_i)$，其中 $C_i$ 是推理链。
本文正是研究带 CoT 的 many-shot ICL（CoT-ICL），发现传统 many-shot ICL 的稳定缩放规律在加入 CoT 后会崩溃，必须用'过程吸收'而非'模式匹配'来解释。
Test-Time Compute / Test-Time Learning
Test-Time Compute（测试时计算）指在推理阶段通过额外的计算（如采样、搜索、自我修正）来提高模型表现而不更新权重。Snell et al. (2025) 等工作显示合理分配推理算力可媲美甚至超过扩参。本文进一步把 long-context 的演示序列视为一种'上下文中的测试时学习'，把前向传播视为无梯度的在线适配。
作者用以替代'模式匹配/检索假设'的关键隐喻，整个原理部分（§5）和CDS方法都建立在此视角之上。
Embedding 空间中的轨迹曲率（Curvature）
把每个演示 $(x_i, C_i, y_i)$ 通过 embedding 模型（如 Qwen3-Embedding-4B）映射为向量 $e_i \in \mathbb{R}^d$。考虑一串演示，相邻两段位移向量 $v_i=e_i-e_{i-1}$ 与 $v_{i+1}=e_{i+1}-e_i$ 之间的夹角 $\theta_i = \arccos\!\left(\frac{v_i\cdot v_{i+1}}{\|v_i\|\|v_{i+1}\|}\right)$ 即'局部曲率'，整条序列的总曲率 $\Theta(O)=\sum_i \theta_i$ 量化概念跳跃的剧烈程度。
曲率是本文度量演示顺序'知识平滑度'的数学工具，也是 CDS 算法直接优化的目标函数（式 4）。
研究动机
已有研究几乎一致地报告：把上下文窗口扩大到可以塞入几十甚至上百条演示后，传统 ICL 在分类等非推理任务上表现稳定提升，且对演示顺序的敏感度也随规模上升而下降（Baek et al., 2025; Bertsch et al., 2025）。这一叙事让社区普遍以为 ICL 本质上是'规模化的模式匹配'或者'上下文中的 RAG 检索'——只要多塞几条相似样例，模型就能找到对的 pattern。但本文通过系统实验（GSM8K、MATH、DetectiveQA，n=16/32/64/128）发现：当把 CoT 推理链塞进演示三元组后，这套规律在很多设定里完全崩溃：在 Llama-3.1-8B、Qwen2.5-7B/14B、Llama-3.3-70B 等'非推理 LLM'上，把演示从 20 增加到 80 条，GSM8K 与 geometry 的准确率不升反降（Figure 2），把演示顺序随机打乱 5 次后标准差甚至随 n 增大而增大（Figure 6）。传统'相似度检索'在 BANKING77 等分类任务上仍然好用，但在几何/数论等推理任务上，最相似的 top-k 演示集合反而比最不相似集合更差（Figure 5），因为两道题'问题长得像'并不等于'解法过程兼容'，相似度检索会在过程层面误导模型。
本文的目标是本文的目标是回答三个紧密耦合的问题：(1) many-shot CoT-ICL 在什么条件下能稳定缩放、什么条件下会失效；(2) 为什么基于问题相似度的检索在推理任务上不可靠；(3) 在已经确定缩放有效的子集（reasoning-oriented LLM × 推理任务）上，能否提出一个原理驱动的演示排序方法把性能再往上推。据此作者提出'上下文测试时学习'的统一视角，把 long context 从'检索缓冲区'重新解读为'结构化课程（structured curriculum）'，并给出两个设计原则与一个具体算法 CDS。
与已有工作不同的是，与已有方法相比，本文切入角度有三处独特。其一，'曲线化的演示选择（CDS）'不是另一个相似度检索方法，而是直接优化嵌入轨迹的平滑度，这一可量化的几何量来自教育心理学中的'最近发展区'类比；其二，作者用 procedural-corruption ablation（Table 2）首次给出'模型确实在吸收演示里的推理过程而非仅仅抄答案'的直接证据——把同一题目配上不相关的推理链后，n=128 下 Qwen3-14B 在 geometry 上掉 2.51 个百分点；其三，通过跨模型传递实验（Table 6-8）发现'reasoning-oriented 训练先验'比单纯增大参数更能让模型利用演示里的过程，把 deepseek-R1（685B）这类 reasoning 模型的有效性归因到了一种'过程解读先验'而非模型容量。
核心方法
方法可以一句话概括为：'把 many-shot CoT-ICL 重构为上下文测试时学习，用两条设计原则约束演示池，再用一个基于曲率的近似优化把演示排成一条平滑曲线'。直觉上，可以把整个 prompt 想成一本'临时教材'，模型在前向时不是查表，而是边读边学——读得过难它就跟不上，读得东一榔头西一棒它就建立不起概念图。因此每个示例必须落在模型的'可理解区'，相邻两示例之间的概念跨度要渐进。技术上作者用 Qwen3-Embedding-4B 把每个完整演示 $(x_i, C_i, y_i)$ 编为向量 $e_i$，把序列当作嵌入空间里的折线；总曲率 $\Theta(O)=\sum_{t=2}^{n-1}\arccos\frac{v_t\cdot v_{t+1}}{\|v_t\|\|v_{t+1}\|}$（式 4）越小代表概念过渡越平滑。CDS 用 TSP 启发式（nearest-neighbor + 2-opt）在大约不到一分钟 CPU 时间内把 n≤128 的演示排成接近最优的低曲率路径。
核心创新有二。第一个是把检索假设从'相似度匹配'升级为'过程兼容性 + 信息流平滑'，并据此提出两条原则：(i) Ease of Understanding 演示必须落在模型自身生成分布附近，因此 self-generated 而非数据集提供的 CoT 即便含有错误答案也能喂饱弱模型；(ii) Smoothness of Knowledge Progression 相邻演示应在嵌入空间形成低曲率轨迹。第二个是把这两个原则压成可计算的目标——总曲率——并把它接到 TSP 启发式上，避免在 $n!$ 的排列空间里硬搜。区别于传统'相似度检索'的关键是：CDS 既不强求相邻演示语义贴近（避免答复窄化的局部聚集），也不允许出现概念急转，而是把欧氏邻近度 $\delta_{ij}$ 与局部曲率代理 $\gamma_{ij}$ 共同塞进边代价 $D_{\mathrm{CDS}}(i,j) = \delta_{ij}+\gamma_{ij}$ 中。
方法步骤详情
完整流程包含五个步骤，每一步都给出明确输入输出。第一步：构造候选池。从训练集 split 取 n 个候选演示，每个为三元组 $(x_i, C_i, y_i)$，$C_i$ 取数据集中标注的推理链；输入是数据集训练 split，输出是大小为 n 的演示池。第二步：嵌入。用 Qwen3-Embedding-4B 把 'Question + CoT + Answer' 拼接成一个字符串过编码器，取默认表征得到 $e_i\in\mathbb{R}^d$；输入是文本三元组，输出是 d 维向量序列 $\{e_1,\dots,e_n\}$。第三步：构造边代价。对每个无序对 (i,j) 计算归一化欧氏距离 $\delta_{ij}=\|e_j-e_i\|/(\max_{a,b}\|e_b-e_a\|+\epsilon)$ 与基于中点近邻 $k(i,j)$ 的曲率代理 $\gamma_{ij}=\frac{1}{\pi}\arccos\frac{(e_j-e_i)^\top(e_{k(i,j)}-e_j)}{\|\cdot\|\|\cdot\|}$，得到 CDS 边代价 $D_{\mathrm{CDS}}=\delta_{ij}+\gamma_{ij}$。第四步：构建最短哈密顿路径。以 D 为边权建完全图，用 nearest-neighbor 初始化游走 + 2-opt 局部搜索生成游走，在最长边处断开得到候选路径；重复 10 个不同起点，挑选平滑度得分 $1/(1+\bar\theta)$ 最高的路径作为最终排序 O。第五步：注入 prompt 并推理。按 O 的顺序把所有演示拼在查询 $x'$ 前送入 LLM，沿用模型厂商的 RoPE scaling 与解码默认设置。
技术新颖性
技术新颖性可拆为三点。第一点是把曲率这一微分几何概念首次系统地引入 ICL 文献——之前的工作用嵌入距离（语义检索）或语义相似度（pattern matching），但从未把相邻位移向量的转角当作优化目标。第二点是'过程吸收'的因果验证设计（Table 2）很巧妙：保留每道题与最终答案，仅替换推理链 $C_i\to C_0$，从而把'过程是否被使用'与'答案是否被复制'隔离，让 n=128 的成绩差异成为'模型当真读了 CoT'的直接证据。第三点是 self-generated CoT 优于 ground-truth CoT 这一反直觉现象——Figures 7-8 显示 Llama-3.1-8B 即便被喂入错误答案率较高的 self-generated 演示，仍胜过数据集作者写的 rationale，作者给出的解释落在 Principle 1（演示须落在目标模型的生成分布中），这把 ICL 文献长期默认的'高质量 CoT = 数据集标注'假设彻底翻转。
实验结果
实验围绕五个研究问题展开，每个都对应具体数据。首先是 scaling 不对称：Figure 2 显示在 Llama-3.1-8B / Qwen2.5-7B-14B / Llama-3.3-70B 上，把演示从 20 加到 80，WSC、COPA、NLU、TREC、BANKING77 等分类任务（暖色曲线）单调整体保持稳中向上，而 GSM8K、C&P、prealgebra、geometry、DetectiveQA（冷色曲线）的归一化准确率出现下行台阶；Figure 3 更进一步说明这一现象在 Llama 3.3 70B（非 reasoning LLM）上仍存在，但对 QwQ-32B 和 R1-685B 翻转为正向 scaling。其次是 retrieval hypothesis 失效：Figure 5 在 BANKING77 上 'Original / Most Similar / Most Dissimilar' 三组对比中，最相似集合稳定最好；但在 geometry、number theory、DetectiveQA 上，最相似集合要么持平要么差于'最不相似'或原始集合，Appendix A.4 给出的定性例子清楚显示两道题'问题长得像'但解法用了不变量/分解方式不同，过程不兼容。第三是 Procedural-corruption：Table 2 显示在 n=16 时 Valid 与 Corrupted（替换 $C_i$ 为同一个静态链）几乎无差，但 n=128 时 Qwen3-8B 从 67.01 掉到 65.76、Qwen3-14B 从 73.07 掉到 70.56，证明只有当演示足够多时模型才'用上'过程；同表还显示 n 从 16 升到 128 让 Qwen3-14B 的 accuracy 从 66.18 提升到 73.07，同时把思考 token 数减少 24.02%——长 CoT 上下文让模型'内部化了程序'。第四是 self-generated CoT：Figures 7-8 在 Llama 3.1 上 origin 集合 GSM8K 只得 28%，而 self-generated cr/wr 集合大约接近 40-45%；Qwen3 family 也呈现 self-generated first > origin 的稳定排序，且随着模型变强（Qwen3-14B vs 8B）该差距收窄，与 Principle 1 '理解能力越强，越能用 ground-truth' 一致。第五是 CDS 实际收益：Table 3 中在 DetectiveQA 上 gpt-5.2 用 CDS bge 在 n=128 从 85.71 提升到 88.31（+2.60pp），Qwen3-14B 从 72.73 升到 75.32（+2.59pp）；Table 4 显示在 number theory n=64 上 CDS 对 Qwen3-14B 达到 87.78 vs 高曲率对照 84.26（+3.52pp），geometry 上 CDS 在 n=128 对 Qwen3-14B 达到 74.32 vs high curv 71.80（+2.52pp），与 abstract 中所述最多 5.42pp 增益一致（出现在 gpt-5.2 number theory 从 91.11 提升到 92.59 等位置）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K 数学应用题（reasoning） | Exact-match Accuracy | 使用 self-generated CoT (first set) 时，accuracy 从 origin ~28%（Llama 3.1）提升到 ~40-45% 区间；Qwen3-8B/14B 在多示例下保持稳定 | Origin (dataset-provided CoT) 在 Llama 3.1 上 n=20-80 时 28%；Figure 2 还显示其在非 reasoning LLM 上从 20→80 准确率下降 | Llama 3.1 self-generated vs origin 约 +12-15 个百分点（Figure 7） |
| MATH (geometry / number theory) | Exact-match Accuracy | Qwen3-14B: geometry n=128 73.07（thinking en）vs 70.56（thinking dis）；CDS bge n=128 geometry 74.32（Qwen3-14B），75.99（gpt-5.2） | Origin（默认 ordering）n=128 geometry 66.18（Qwen3-14B thinking on），75.78（gpt-5.2） | CDS vs origin n=128 geometry：Qwen3-14B +1.25pp，gpt-5.2 +0.21pp；CDS vs high-curvature baseline n=64 number theory：Qwen3-14B +2.96pp |
| DetectiveQA 长上下文叙事推理 | Exact-match Accuracy | Qwen3-14B CDS n=128 = 75.32；gpt-5.2 CDS bge n=128 = 88.31 | Origin n=128：Qwen3-14B 72.73，gpt-5.2 85.71 | Qwen3-14B +2.59pp，gpt-5.2 +2.60pp（CDS bge n=128，Table 3） |
| BANKING77 / TREC / NLU (non-reasoning classification) | Normalized Accuracy | Figure 2 显示在 Llama-3.1-8B、Qwen2.5-7B/14B 上随演示数增加保持稳定 | 20-shot 作为 baseline 在非 reasoning LLM 上 | 虽未报精确数字，但曲线变化提示 many-shot ICL 在分类任务上单调或近单调提升，与 Figure 6（左）显示的低方差行为一致 |
局限与改进
局限性可分作者声明与笔者观察两层。作者在 Impact Statement 与 Conclusion 部分坦承他们的视角主要是经验性的而非理论证明，CDS 的 TSP 启发式给出的是次优路径而非全局最优，且过度依赖 embedding 模型对'问题 + CoT + 答案'的可分性。本文所有 scaling 实验均限在 n≤128，因为 CoT 长度使得 n≥256 难以塞入当前已用 RoPE scaling 的 Qwen 系列上下文；CDS 在 number theory 这种 baseline 已经 90%+ 的任务上增益很小（Table 3），因为顶部空间有限；CDS 没有评估在跨域迁移（如把几何任务的演示喂给代数任务）下的表现；以及没有把闭源 reasoning LLM 与开源 reasoning LLM 在同样 embedding、同样演示下的差距做归因分析。从笔者观察看，本文主要关心 reasoning-oriented 模型与推理任务的子集，迁移到非 reasoning LLM 的推理任务上效果有限甚至为负；'self-generated 优于 ground-truth'的结论让方法对生成质量高度敏感，作者只用 temperature=1.0 采样 10 次，对更多样采样下的稳定性没有交代；最后，曲率计算对 embedding 模型选择有依赖（Table 3 同时报告 CDS 与 CDSbge），而论文未给出 embedding 选择对其他指标（如 OOD 任务、跨语言）影响的进一步分析。
独立分析的弱点
独立分析至少有以下四点弱点及对应改进方向。第一，CDS 优化的是轨迹曲率，但没有把'演示是否真正落在 target 模型的生成分布里'这一约束显式纳入成本函数；当数据集中存在与 target 模型分布不匹配的演示时，CDS 仍可能把它们排进路径前段。改进方向是引入 per-demo 的'可理解度得分'（如自生成 CoT 的接受概率），把 $D_{\mathrm{CDS}}$ 改为 $D_{\mathrm{CDS}}(i,j)+\lambda\cdot\max(0, p_\theta(d)-\tau)$，让低可理解度的演示被推后甚至剔除。第二，procedural-corruption 的强度只测了一档（全部 $C_i\to C_0$），没有从'替换 25%/50%/75%'的渐进曲线看 CoT 吸收阈值；这一信息对设定演示预算很关键。第三，self-generated CoT 实验只用了 temperature=1.0 ×10 采样，对更多采样、更高温度（如 1.2-1.5）下的鲁棒性以及'错误答案但过程正确'混合场景下的细粒度表现缺乏分析；改进方向可扩展为'cr ∪ wr'或过程级 / 答案级独立打分的对比设置。第四，CDS 在 number theory 这种高分饱和任务上的增益几乎消失，作者只简单归因于'天花板效应'，但未做统计显著性或 bootstrap 区间，也没有把这一现象与任务的'内在程序多样性'挂钩；改进方向是引入'程序熵'度量，作为预筛演示池的辅助信号。
未来方向
作者已经在 Discussion 中指出 future directions 包括把 long context 从 retrieval buffer 转化为 structured curriculum，并提出了一些与教育心理学对接的隐喻（如 zone of proximal development）。除此之外至少可以延伸三个方向：第一，把 CDS 的曲率优化与例如 RLHF / DPO 这类 test-time preference optimization（Li et al., 2025b）结合，让'过程监督信号'不再依赖固定数据集，而是通过在线自我修正持续调整；第二，把 CDS 的 TSP+2-opt 启发式替换为可学习的排序模型（如 ListMLE / Pointer Network），允许在更大 n（256+）或者跨任务场景下端到端训练，并在长视频、长代码等更长的推理链任务上验证；第三，把'curvature × procedural absorbance'框架扩展到多模态 ICL，把文字之外的工具调用、图像思维链也纳入嵌入空间，测试曲率度量是否仍能作为过程相容性的代理指标。
复现评估
复现评估整体偏正面。作者在正文与附录明确给出所有受试模型清单（Llama-3.1-8B-Instruct、Llama-3.3-70B-Instruct、Qwen2.5-7B/14B-Instruct、Qwen3-8B、Qwen3-14B、QwQ-32B、DeepSeek-R1-685B 以及 gpt-5.2），任务清单（SuperGLUE WSC/COPA、NLU、TREC、BANKING77；GSM8K、MATH（geometry/number theory/counting/probability/prealgebra/precalculus/algebra）；DetectiveQA），embedding 模型（Qwen3-Embedding-4B 与 bge-m3 两种），RoPE scaling 配置（沿用厂商推荐），以及每个任务的 prompt template（Appendix E，Figure 11-18）。Appendix A 详述了相似度检索的候选池、split 设计、cosine 计算和构造 most-similar / most-dissimilar 集合的具体流程；Appendix C 给出了 Algorithm 1 完整伪代码；Appendix D 详述 CDS 实现细节并声称在标准 CPU 上 n=128 不到一分钟。数据集（GSM8K、MATH、SuperGLUE、DetectiveQA）均公开，可直接下载；Qwen 系列模型在 HuggingFace 公开可下。算力方面，文章没有显式给 GPU 时长，但能跑 685B R1 + 70B Llama 3.3 加上多 seed 估计至少需要数十到上百张 A100 级别 GPU；研究者若想完整复现，需要可访问 GPT-5.2 商用 API 和 DeepSeek-R1 671B（权重公开但部署成本较高）。复现难度评分：中等偏难；CDS 算法本身代码可在普通笔记本跑（<1 分钟），但全量 5-seed × 多模型 × 多任务的 scaling 实验需要集群算力。
论文图表
示意图把 long-context prompt 重新描述为'概念课程'：演示像教科书章节一样从易到难排列，相邻章节之间的概念跨度平缓，整本'书'喂给 LLM 后在前向传播中完成某种无梯度适配。
这是全文的核心隐喻，所有后续原则与 CDS 都建立在此视角之上，必须在 motivation/method 章节介绍。
横轴为归一化准确率、纵轴为演示数量的散点图，分别针对 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 三个非 reasoning LLM；暖色曲线（WSC、COPA、NLU、TREC、BANKING77）显示稳定上升，冷色曲线（GSM8K、C&P、prealgebra、geometry、DetectiveQA）则出现下行台阶或随机震荡。
这是揭示'many-shot ICL 稳 / CoT-ICL 不稳'的关键可视化，是 motivation 章节的实证基石。
在 BANKING77 上 most-similar 集合稳定优于 most-dissimilar；但在 geometry、number theory、DetectiveQA 上关系逆转，最相似集合反而更差；面积填充表示相对优势。
直接挑战 retrieval hypothesis，并桥接到 in-context test-time learning 视角，是 motivation 章节的关键图。
Qwen3-8B 与 Qwen3-14B 在 geometry、number theory、DetectiveQA 上 thinking 启用 (en) 与禁用 (dis) 的对比；启用思考带来 1-5 个百分点提升，同时减少输出 token 数。
支持'reasoning-oriented prior 让模型更能消化演示过程'的论点，是 reasoning 机制存在因果作用的关键 evidence。
在 geometry 上对比 standard many-shot CoT（Valid，每条 demo 配自己原 CoT）vs corrupted（保留题目与最终答案，把所有 $C_i$ 替换为同一静态链 $C_0$）；n=16 时两者近乎相同，n=128 时 corrupted 让 Qwen3-8B 掉 1.25pp、Qwen3-14B 掉 2.51pp。
给出'模型真的在学习过程而不是抄答案'的最直接因果证据，是 Principle 1 与 §6 CDS 的核心前提。
在 number theory、geometry、DetectiveQA 三任务、gpt-5.2 与 Qwen3-14B 两模型、CDS 与 CDSbge（用 bge-m3 嵌入）两种设定下，CDS 普遍优于 origin；几何与 DetectiveQA 增益最大（最高 +2.6pp），number theory 因 baseline 已高增益较小。
CDS 方法的主结果表，涵盖任务、embedding、目标模型三维度的鲁棒性。
用同一组 bge-m3 嵌入，但用 inverted curvature cost 构造高曲率对照组；number theory 与 geometry 上 CDS 普遍优于 high curv（最大差 +3.52pp Qwen3-14B n=64 number theory），说明曲率本身是因果变量而不是 local clustering 的副产品。
作为 CDS 曲率假设的因果消融，是 method 章节关键 evidence。
展示一道几何题与一道被检索为'最相似'的题目：query 是直角三角形斜边上的高问题，'相似'演示用的是 30-60-90 三角形的 1:2 ratio；两个问题字面像但解法过程不兼容，模型沿用'相似'演示的过程会得到错误答案。
Appendix 中提供但承担核心反例作用，最直观说明 similarity-based selection 为何在 reasoning 上失败。