自生成反馈破坏测试时训练稳定性：长程适应的因果分解 Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation
模型持续从自身输出学习会损害对真实文本的预测，因果分解锁定反馈回路并给出独立证据验证修复。
前置知识
测试时训练（Test-Time Training, TTT）
TTT 指模型在推理阶段继续更新自身一部分参数（而非保持冻结），从当前处理的输入中学习，把信息存进权重。TTT-E2E 在预训练时就模拟这种在线更新（内循环），并通过元学习让初始化参数在更新后依然好用；推理时对滑动窗口 Transformer 最后几层的 MLP 做每块一步的梯度更新。
本文研究的核心问题正是：当 TTT 的快速权重在长流上被模型自己的输出反复更新时，适应过程为什么会失稳。
快速权重与读/写操作
快速权重是相对预训练得到的静态权重而言、在推理中快速变化的一组参数（概念源自 Schmidhuber 1992）。论文用 $W_t$ 表示处理完第 $t$ 个文本块后的状态：模型可以只让 token 进入注意力而不更新权重，也可以保留该块的梯度更新使 $W_t \to W_{t+1}$。
全文所有对照实验都围绕读/写开关展开：Writes Off 只读不写，Closed Loop 又读又写，区别即是否持久化生成文本的更新。
NLL、nats 与论文的度量 $D/H/E$
负对数似然（NLL）衡量模型对文本的预测质量，单位 nats（以 $e$ 为底），越低越好。论文定义 $D_c = L_{c,\text{last}} - L_{c,\text{first}}$ 为某策略首末评测的 NLL 变化，$H_c = D_c - D_{\text{off}}$ 隔离保留生成更新的额外退化，$E_c = L_{c,\text{last}} - L_{\text{off,last}}$ 为端点残余差距。
所有结论都用这三个量的 nats 数值表达，不理解定义就无法读懂表格中 +3.01、+6.00 等数字的含义。
模型坍缩（自食其果）
模型坍缩指生成模型递归使用自身输出训练时质量与多样性下降，如 Shumailov et al. (2024, Nature) 的跨代训练实验，以及混合真实数据可延缓坍缩的后续研究。本文与之相关但不同：研究单个推理流内的反馈——同一模型边生成边学习，权重变化又改变后续训练数据。
理解本文与既往合成数据反馈研究的联系与区别，才能体会其单流内因果分解的新意。
核采样与重复惩罚
核采样（top-p）只在累积概率超过 $p$ 的最小 token 集内采样（本文温度 1、top-p 0.95）；重复惩罚则压低已出现 token 的概率以抑制循环重复。论文证明这些解码手段只能改变退化速度（如全支撑采样把 128K 端点差距从 3.010 降到 1.452 nats 且晚期斜率最大），无法判断哪次更新安全。
这是理解第 4 节与附录 B.2 中一整组失败修复实验的背景：改解码器≠解决问题。
LoRA
LoRA 在冻结的原权重旁挂低秩矩阵，只训练 $\Delta W = BA$ 这一小部分参数。本文在 WebShop/ALFWorld 智能体实验中用 rank-16 LoRA 更新 Qwen3-4B（约 1.8M 参数）与 Qwen3.8-27B 的部分投影层，把测试时写入落到标准模型上，每episode两步 Adam。
智能体部分的所有策略对比（Writes Off / Closed Loop / Settlement）都建立在此参数化写入机制之上。
研究动机
测试时训练（TTT）让模型在推理时把输入信息写进快速权重，是长文档、流式输入与长期运行智能体的关键技术——否则 128K 以上的历史必须全部塞进注意力窗口，代价高昂。但 TTT-E2E 原论文只在 8K+8K 的短评测窗口内验证收益，没有人回答：当训练数据来自模型自己的输出、且更新被持久保留时，长程适应是否稳定？这不是纯假设：智能体确实从自己生成的动作标签中学习（WebShop 的 prompt–action 对、ALFWorld 的任务轨迹），TTT 层在长流中不断写入。既往模型坍缩研究（如 Nature 2024 的跨代训练）关注用模型 A 的输出训练模型 B，而单个推理流内权重改变未来训练文本、未来文本再改变权重的 performative 反馈从未被系统测量，更没有与三个混淆因素分开：合成数据本身质量差、退化 token 占据注意力、更新把损害存进权重。
本文的目标是本文有三个递进目标。第一，确立现象：在 125M、760M、3B 三个 TTT-E2E 配置，以及用普通 Adam 直接更新 Qwen3-4B 原有前馈权重的设定下，量化保留生成文本更新（Closed Loop）相对丢弃更新但照常阅读（Writes Off）给独立人类文本预测造成的额外损害 $H$，并绘制失效边界——多大的外部真实文本暴露能阻断失败。第二，因果归因：通过三个逐一移除依赖的匹配对照（Fixed Generation、Recorded Replay、成对单更新分支），把损害分解到改变未来训练文本、注意力中的退化内容、权重中持久存储的损害三条通路上。第三，给出修复准则：证明源拟合与重复度都不是安全写入的判据，提出在独立真实证据上评估完整候选状态后再提交的 Settlement 规则，并在语言模型 NLL 与 WebShop/ALFWorld 任务指标上验证它既能挡住损害、又能保留有用的适应。
与已有工作不同的是，独特之处在于把该不该写入当成可干预的因果问题而非工程调参问题。作者构建的三个对照彼此嵌套、层层收窄：Fixed Generation 保留合成来源与更新次数，只切断更新决定未来训练文本这一条边；Recorded Replay 固定同一份已产出的退化 token，对比只读与读写，把注意力代价与权重代价分开；成对单更新分支再从完全相同的状态出发，隔离单次更新的迁移效应。这与跨代模型坍缩研究、aTTT（episode 内对重复 token 降权）、VANE（用后续视觉观测验证更新）都不同：它定位的是单流内反馈边本身，并用梯度冲突分析（$g_{\text{self}}$ 与 $g_{\text{real}}$ 的余弦）从机理上解释为什么更新能更好拟合其来源与更新会损害新文本可以同时成立。重尾发现——少数轨迹造成大多数大失败——进一步否定了用流位置或重复度判定写入安全的简单规则，直接引出对候选状态做独立证据评估的 Settlement 思路。
核心方法
先给直觉：问题不在生成的文本是坏数据，而在学习结果的函数决定了下一次学习的输入。实验平台是 TTT-E2E：125M 模型 12 层、宽 768，前 9 层为 8192-token 滑动窗口注意力，最后 3 层每层带 SwiGLU 快速权重 MLP；每个 1024-token 块做一次带裁剪的 SGD 内循环步。每条 128K 流以 8K 真实文本开始，随后生成 105 个块，期间插入 15–16 次独立真实文本评测；每次评测前快照并恢复全部携带状态（快速权重、KV 缓存、位置、缓冲区），保证评测不影响主流走向。核心度量：$D_c = L_{c,\text{last}} - L_{c,\text{first}}$ 为策略 $c$ 首末评测的 NLL 变化，$H_c = D_c - D_{\text{off}}$ 隔离保留生成更新的额外退化，$E_c = L_{c,\text{last}} - L_{\text{off,last}}$ 度量端点残余；95% 区间按书聚类做配对 bootstrap（书内先平均种子）。在此之上依次叠加 Fixed Generation、Recorded Replay、单更新分支三个干预，再做真实文本暴露调度与 Settlement 验证两个修复实验，最后用 WebShop/ALFWorld 检验任务级后果。
核心思想是匹配对照的因果分解加外部证据判据。Fixed Generation 让冻结的 $W_0$ 生成全部训练块、学习者照常更新，保留合成来源与更新次数而只移除反馈边，结果在 125M/760M 消除 98.3%/98.8% 的 Closed Loop 差距——证明元凶是反馈而非合成来源。Recorded Replay 把同一份退化 token 以只读与读写两种方式重放，分离出注意力内代价（+1.606 nats）与权重存入代价（+2.268 nats，3B 上 +0.193）。成对单更新分支证明一次更新可以改善其来源拟合（$\Delta$源 NLL $-.035\sim-.145$）却同时恶化下一段真实文本（$+.002\sim+.038$），即源拟合不能为写入背书；梯度余弦与一阶预测量 $g_{\text{real}}^\top\Delta W$ 能在施加前排序这种伤害。与已有方法的本质区别在于：不再问合成数据好不好，而是问这条更新是否改变并恶化了未来的学习过程，并把答案操作化为在独立真实文本上比较 $L(q; W)$ 与 $L(q; W+\delta)$ 的 Settlement 准则。
方法步骤详情
(1) 主对照：Closed Loop 与 Writes Off 共享相同初始权重与 8K 真实前缀，都生成并阅读 105 个 1024-token 块（温度 1、top-p 0.95），区别仅在是否保留每块更新；六本 PG-19 书、五种子、128K 流上计算 $H$。(2) Fixed Generation：独立缓存的冻结 $W_0$ 生成全部后续块，附录验证扰动学习者状态不改变生成器输出。(3) Recorded Replay：接收者先只读回放保存的退化录音，再恢复状态、保留更新重放同样 token，差值即写入代价；3B 用六源书×六不相交接收书、双向聚类 bootstrap 复制。(4) 单更新分支：在生成位置 1/33/65/97 复制权重与注意力缓存，两份拷贝同读一块、一份保留一份丢弃，测 $\Delta$源/$\Delta$真实 NLL 与重复度；并预计算梯度余弦 $s_{\cos}$ 与 $g_{\text{real}}^\top\Delta W$，与 96 个实测代价做 Spearman 相关。(5) 暴露边界：105 个生成槽中 0/5/11/21/33 个换成真实块（均匀或突发排列），测 $H$ 与真实文本收益 $B$。(6) Settlement（算法 1）：候选更新入队 $P$；新真实文本 $q$ 到达时对累计已接受状态 $S$ 顺序计算 $\mathcal{A}(\delta; S, q) = L(q; S) - L(q; S+\delta)$，仅当 $\mathcal{A} \ge 0$ 才提交，无 $q$ 则挂起；每个候选基于已接受状态而非原始 $W$ 判定，避免分别安全、合并有害的陷阱。
技术新颖性
新颖性有四层。(1) 对象新：首次在单模型、单推理流内对自反馈做因果定位，区别于跨代训练的模型坍缩研究与 episode 级的 aTTT。(2) 方法新：三个干预层层收窄（全在线→固定生成器→固定文本→固定单次更新），每步只动一个依赖，配以书级配对 bootstrap、状态快照恢复（39 个携带张量逐位一致）与生成器隔离验证（写入强度缩放的范数校验最差相对误差 1.15e-7），方法论接近严格对照实验。(3) 发现新：损害是状态依赖且重尾的——末段均值 0.751 nats 而中位数仅 0.0064，72 个配对代价中 12 个超过 0.5 且全部来自 24 条源序列中的 4 条，越阈的源-接收对此后持续越阈；参数位移量与损害完全不排序（Fixed Generation 位移 .01387 大于 Closed Loop 的 .00857 却几乎无害）。(4) 修复新：Settlement 把写入许可从标签规则（Source Masking）升级为对完整候选状态的评估规则，并用标签腐蚀实验证明其在标签不可靠时更稳健，用 joint-commit 陷阱（真实文本收益 $-1.093$ nats）说明必须验证将要提交的累计状态而不是单个增量。
实验结果
(1) 主对照：Closed Loop 相对 Writes Off 使独立真实文本 NLL 额外上升 +3.01 [+1.86, +4.20]、+6.00 [+4.27, +7.73]、+0.40 [+0.30, +0.51] nats（125M/760M/3B），损害随自写次数累积、在原 8K+8K 评测窗内几乎不可见。(2) 普通 Adam 更新 Qwen3-4B 同样失败：LR $10^{-4}$ 时 $H=+1.231$ [.580, 2.350]，同配置学真实文本却收益 +.168。(3) 因果分解：Fixed Generation 消除 98.3%/98.8% 差距（残差仅 .052/.073）；Replay 中只读退化 token 已代价 +1.606、写入再存入 +2.268（3B 复制 +.193 [.104, .327]）；参数位移与损害不排序。(4) 单更新同时改善源拟合（−.035～−.145）并伤害下一段真实文本（+.002～+.038），Closed Loop 历史下代价从 .0062 升至 .1126；梯度余弦（$\rho$ −.502～−.788）与一阶预测（$\rho$ +.632～+.794）八个区间全部显著排序伤害。(5) 末段损害重尾：均值 .7512 vs 中位数 .0064，12/72 超 0.5 nats 且全部来自 4/24 源序列。(6) 缓解边界：每 8 块重置残留 5.8% 伤害但只保 44.1% 收益；均匀混入 33% 真实块把伤害压到 6%，同比例突发式仍剩约 60%。(7) Settlement：端点差距 .067/−.021（含零），仅接受 22/936 与 18/312 个生成候选；全真实流接受 89/113 并保留 .0534 收益；无验证变体残留 .90/1.04/.28 nats、加 Settlement 全部进 .04；标签 100% 腐蚀时比 Source Masking 低 0.43 nats。(8) 智能体：WebShop 精确成功率 .1053→.1853（Writes Off .1600）；ALFWorld 未见任务 27.6%→91.0%（Writes Off 86.8%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 128K PG-19 长流持续自写（125M TTT-E2E，六书五种子） | 独立真实文本额外 NLL 退化 $H$（nats，越大越差） | Closed Loop +3.01 [+1.86, +4.20] | Writes Off（参照，0） | 对照揭示保留生成文本更新的累积损害；95% 区间不含零 |
| 128K PG-19 长流持续自写（760M TTT-E2E） | 独立真实文本额外 NLL 退化 $H$（nats） | Closed Loop +6.00 [+4.27, +7.73] | Writes Off（参照，0） | 三个规模中损害最大，确认方向跨尺度一致（非缩放律） |
| 3B TTT-E2E 固定文本重放（六源书×六不相交接收书） | 写入相对只读的额外 NLL（nats） | +0.1927 [+0.1043, +0.3272] | 只读回放同一份退化 token | 证明权重存入的额外损害在 3B 依然存在且逐书为正 |
| Qwen3-4B 原有权重 Adam 测试时更新（无 TTT 模块） | 额外 NLL 退化 $H$ / 真实文本收益 $B$（nats） | $H=+1.231$ [+0.580, +2.350]（LR $10^{-4}$） | Writes Off；同配置在真实文本上 $B=+0.168$ | 同一更新规则在真实文本有益、在自生成循环中有害，失败不限于 TTT-E2E |
| 切断反馈（Fixed Generation，125M/760M） | 相对 Writes Off 的端点残余（nats） | .052 / .073 | Closed Loop 3.01 / 6.00 | 移除 98.3% / 98.8% 的差距，定位反馈回路为元凶 |
| Settlement 独立证据验证（125M/760M 生成流） | 端点差距 $E$（nats，越低越好） | .067 / −.021（区间均含零） | Closed Loop 3.183 / 1.263 | 近乎消除端点损害，同时在全真实流接受 89/113 候选、保留 .0534 适应收益 |
| WebShop 智能体（Qwen3-4B LoRA，五配对种子，150 测试目标） | 精确成功率（reward ≥ 1） | Settlement .1853 ± .0202（仅保留 10/180 更新块） | Closed Loop .1053 ± .0597；Writes Off .1600；Fixed Generation .1800 ± .0089 | 比 Closed Loop 高 +0.0800，且在每个配对种子上胜出 |
| ALFWorld 未见任务（Qwen3.8-27B LoRA，134 任务，3 种子） | 未见任务成功率（%，越高越好） | Settlement 91.0 / 90.0（更新规模 8/16） | Closed Loop 27.6 / 18.7（3 种子中 2 个为 0）；Writes Off 86.8 | 比 Closed Loop 高 63.4 / 71.3 个百分点，且保住 19%–33% 的更新块 |
局限与改进
作者承认的局限：(1) 三个规模的损害幅度差异很大（0.40 vs 6.00 nats）且 760M 与 3B 训练谱系不同，结论只是方向的跨尺度复制而非缩放律；(2) 数据污染只能筛查不能排除——候选书 0/1 在大模型下未适配损失异常低（3B 损失比 10.35/4.12），换用书 2–7 后仍无法证明零污染；(3) Settlement 的残余区间含零但不是等价性检验，不能断言达到 Writes Off 水平，且它需要可识别的独立真实文本；(4) 智能体实验仅 3–5 个种子，ALFWorld 上 Settlement 总成功率 83.2%–83.8% 与 Writes Off 的 82.1% 不能算可靠提升，验证还带来每 25 个任务 20 个验证任务的额外开销。我的补充观察：(1) 语言模型实验全部在 PG-19 英文小说域，跨域泛化未知；(2) 每个候选都要在验证段上做只读前向，936 个候选的顺序验证开销可观，且验证段的选取本身依赖可信的真实文本判别；(3) 重尾结论基于 24 条源行、3 个接收偏移的固定接收者重放，样本规模有限；(4) 3B 损害比 760M 小一个数量级的原因未解释；(5) WebShop 的验证种子与评估种子从同一测试划分选任务且 runner 不强制不相交，存在轻微选择泄漏风险。
独立分析的弱点
独立分析的弱点与改进方向。(1) 对验证证据的硬依赖：纯自主场景（自对话、无外部真值的数据流）没有天然真实文本，Settlement 只能挂起或退化为任务奖励；可改进为学习一个真实分布探针，或用熵、自一致性等无参考信号近似 $\mathcal{A}$。(2) 计算成本：每个候选需两次只读前向且必须顺序累积判定；论文已证明 $g_{\text{real}}^\top\Delta W$ 与实测伤害的 Spearman $\rho$ 达 .63–.79，可做两阶段筛选——一阶信号预淘汰、仅对边界候选做完整状态验证。(3) 写入控制不解决读取损害：即使 Settlement 挡住所有写入，注意力中的退化 token 仍造成 +1.606 nats 损失，应与重复惩罚、退化检测-重生成等流级控制器联动。(4) 重尾意味着均匀防护是浪费：4/24 轨迹贡献几乎所有大失败，可做在线异常轨迹检测与针对性回滚，而非对每次写入同等设防。(5) joint-commit 陷阱说明需要事务式状态管理：把更新当可回滚事务、验证组合状态后再提交，类似数据库两阶段提交，而非逐个增量判定。(6) 内循环只有单步 SGD/Adam，多步或更大学习率的反馈动力学未探索，稳定性结论可能随更新算子改变。
未来方向
作者明确指向的延伸包括：把独立证据验证推广到其他可写记忆架构（Titans、In-Place TTT、线性注意力快速权重）与视觉-语言-动作模型（与 VANE 的未来观测验证对接），以及在智能体中用任务指标作验证信号。基于本文成果还可延伸：(1) 理论化闭环动力学——把 $W_{t+1} = W_t + \eta\nabla_W \log p(x_t; W_t)$、$x_{t+1} \sim p(\cdot\,; W_{t+1})$ 写成随机动力系统，借 performative prediction 的稳定性条件解释何时收敛、何时进入 4/24 轨迹那样的爆发区。(2) 自适应证据调度——Table 12 表明真实文本节奏是被控量，可按梯度冲突或生成熵在线决定何时索取外部文本，最小化检索/标注成本。(3) 重置与验证的分层组合——每 8 块重置挡住 94.2% 伤害却损失 55.9% 收益，Settlement 无损但昂贵，先廉价信号筛、再状态验证、兜底重置的三层策略值得系统比较。(4) 回滚式智能体记忆——把快速权重当版本化存储，验证失败的候选状态可恢复，天然解决 joint-commit 陷阱。(5) 真实部署测量——在生产级长会话助手上估计自写失败的自然触发频率，把 128K 实验结论映射到真实使用时长与用户可见退化。
复现评估
复现条件良好。代码与实验清单在 https://github.com/lingjivoo/ttt-ouroboros 公开，manifest 记录模型文件与 PG-19 数组的 SHA-256、书单选择阈值与全部脚本。125M/760M 按官方 4800 步配方在 2.5B DCLM token 上训练、再走 PG-19 32K 长度扩展即可复现；3B/128K TTT-E2E、Qwen3-4B、Qwen3.8-27B 直接用发布权重，LoRA 部分仅约 1.8M 可训练参数。数值工程校验充分：格式转换后序列损失差 3.6e-5、3B 前向 token 级 NLL 相关 0.9996、快照恢复 39 个张量逐位一致、内循环反向与二阶实现差 6e-16；统计上用书级 20000 次配对 bootstrap，3B 重放还对源/接收双向聚类。难点在流式基础设施（状态快照恢复、键控行采样、生成器隔离）需要仔细实现；算力上 125M/760M 实验单卡可负担，3B 与 27B 智能体实验需要多卡推理。总体属于中高工程难度，但可信度与可复现性在同类实证论文中属上乘。
论文图表
八种控制手段的端点差距与晚期斜率：top-p .99 最差（3.3531）；全支撑采样端点 1.4520 但晚期斜率最大（+.1979）；重复惩罚 1.1 降至 .8794；每 8 块重置快权重降至 .1749（5.8%），每 32 块重置仍剩 1.9218（63.9%）。
它说明解码器只能延缓不能阻止失败（斜率不降），而重置是强基线但有代价，为引入逐候选验证提供了必要性论证。
单更新真实文本代价按流位置分解：Closed Loop 历史下从位置 1 的 .0062 涨到位置 97 的 .1126，而 Writes Off 与 Fixed Generation 历史下始终在 .0008–.0063 徘徊。
它显示单次写入的边际代价随闭环历史增长约 18 倍，是反馈放大机制最直接的数值证据。
同一 Qwen3-4B 配置在 teacher-forced 真实文本上的收益：$B$ 在 $10^{-5}$ 为 .1392、$10^{-4}$ 为 .1680，两个独立适配态均为正。
它与 Table 17 构成同配置的双面证据：更新规则本身没问题，问题出在学习对象是自身输出，排除学习率不可用的解释。
24 条源序列在 7 个阶段的固定接收者重放：末段均值 .7512 但中位数仅 .0064，标准差 1.731，超 0.5 nats 的案例从首段 0/72 升至末段 12/72。
它是重尾结论的原始数据，说明平均代价由少数爆发轨迹拉动，位置只能提示风险、不能判定安全。
十六书策略对比：Closed Loop 残留 2.8853 nats；重复加权降到 1.5637（优于随机剂量 2.0558 与均匀剂量 2.4861）；只读真实上下文 1.3979；均未达到 Writes Off。
它证明重复只是症状而非充分的准入规则：基于重复的降权虽优于盲降权，但残余损害仍超过 1.5 nats。
四种提交方式的伤害与收益：普通写入 $H$=+1.56、$B$=+.034；分别验证后合并提交 $H$≈0 但 $B$=−1.093（灾难性）；顺序验证 $B$ 只剩 +.019；Settlement $H$≈0 且 $B$=+.037。
它揭示逐个安全不等于合并安全的事务性陷阱，证明 Settlement 的顺序累计验证是保留适应收益的必要设计。
WebShop 智能体：Writes Off 精确成功率 .1600；Closed Loop .1053±.0597（保留全部 180 块）；Fixed Generation .1800±.0089；Settlement .1853±.0202（仅保留 10/180 块）；奖励分别为 .3309/.4356/.3724/.3823。
它证明反馈通路也损害任务行为，且在所有候选共享同一生成标签、标签规则失效的设定下，验证奖励仍能选出有用的少数更新。