TimeEvo：时间序列智能体的失败驱动自进化 TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent
让智能体从自身失败中合成工具，只有配对验证证明修复多于破坏时才采纳
前置知识
LLM 智能体与工具调用
LLM 智能体解读用户请求、规划分析步骤并调用外部工具（通常是带签名的 Python 函数），再把工具输出与自身推理综合成自然语言答案。冻结智能体指模型权重不变、能力全部外置在工具库中的设计，改库不改模型。
TimeEvo 的全部改动都发生在工具库层面，模型本身冻结不动，理解工具调用机制是理解库如何被进化的前提。
Self-Refine 自我修正
Madaan 等人 2023 年提出的框架：让模型对自己的输出生成反馈并据此修订，可迭代多轮，无需额外训练。它假设模型再想一遍就会更好，但从不核对这次修订破坏了多少原本正确的答案。
论文的静默伤害现象就是用一轮 Self-Refine 度量的（147 个答案被改、56 个被改坏），它同时也是五个基线之一。
配对比较与置信下界
在新旧两版系统上对同一批问题作答并逐题对比：修复数 $h$、破坏数 $m$、配对增量 $\delta=(h-m)/n$，置信下界 $\delta_{lb}=\delta-1.96\sqrt{\max(h+m,1)}/n$ 近似单侧 95% 置信。只有下界为正才认为提升是真实的而非小样本噪声。
TimeEvo 的准入门槛完全建立在这套统计量上，是防静默伤害的核心机制，读懂门槛必须先懂配对下界。
时间序列问答基准
把时序分析题封装成三元组 $(q, S, O)$：自然语言问题 $q$、一条或两条输入序列 $S$（可带协变量）、封闭选项集 $O$，金标答案由输入唯一决定，可自动判分。任务覆盖异常检测、分类、预测选择、序列匹配等。
论文的十任务套件全部是这种形式，实验协议、配对增量、准确率指标都以此为基础。
决策树与平衡准确率
浅层决策树把工具算出的特征映射到决策边界；平衡准确率 $\mathrm{BalAcc}$ 对各类别的召回取平均，对标签不平衡稳健。TimeEvo 限定树只能用训练行拟合（每类至少 16 样本、内部 $\mathrm{BalAcc}\ge 0.55$），并以 AST 编译进工具源码。
这种 train-only 校准是异常检测工具的隐藏组件，也是消融中影响最大的部件之一。
技能库自进化
自我进化智能体的一条主线：从历史轨迹蒸馏可复用的技能或教训并维护成增长的库，如 Voyager 的技能库、Reflexion 的经验教训；近期 SkillOpt、CoEvoSkills 还会在部署前用留出分数预测试技能。
TimeEvo 属于这一谱系，但准入标准不同——要看修复了多少、破坏了多少，了解谱系才能看清它的差异点。
研究动机
基于工具的时序智能体由人事先配置工具库，论文通过逐题配对分析首次系统命名了两个失败现象。其一是人-智能体工具错位：给同一个冻结智能体装上 TimeART 的 21 个专家工具后，有任务变好也有任务变坏——异常检测任务在 GPT-5.6-luna、GPT-5.6-terra、GPT-5.4-mini 三个骨干下分别下降 6.25、8.75、5.79 个百分点，尽管工具库里就有专门的异常检测工具；T3 与被提升的 T2/T4 同属一个任务家族，却在所有骨干上一致受损。其二是静默伤害：一轮通用 Self-Refine 修改了 147 个答案，其中 49 个修对、56 个把原本正确的改错、42 个错换错，最终总分却只动不到 1 个百分点；另两个骨干上分别触及 97 和 163 个答案、破坏 45 和 56 个，总分同样几乎不动。根源是结构性错配：一个工具是否有用要逐题在运行时才见分晓，而工具供应在部署前一次性固定，并用单一平均分评判。
本文的目标是论文的中心问题是：时序智能体能否从自身诊断出的失败中补齐真正缺失的工具，同时可度量地保护已答对的题目免遭静默伤害？目标分解为四条：(1) 进化信号来自失败本身——把训练集错误聚类为能力缺口，为每个缺口规划一个测量契约；(2) 工具只产出数值证据、永不输出答案；(3) 任何自造更新必须通过逐工具预筛与整库配对准入门槛两级验证，只有统计上证明修复多于破坏才准入，被拒轮次整轮回滚、智能体分毫不动；(4) 推理时采用保守残差审查，scope 外题目结构上不可能被降级。最终目标是在十个时序问答任务、三个骨干上，从空库出发实现每个任务、每个骨干都正提升。
与已有工作不同的是，自我进化智能体的既有工作分两路：Reflexion、EvolveR 把轨迹蒸馏成经验教训；Voyager、SkillOpt、CoEvoSkills 维护并预测试技能库；时序侧 TimeClaw 只在固定工具库上蒸馏使用经验。但它们的更新准入至多看最终总分或逐任务检查，从不追究这次更新破坏了多少原本正确的答案——在单一平均分里破坏与修复互相抵消，这正是静默伤害的制度根源。工具增强路线（TimeART、TS-Reasoner 等）则把人类预判直接固化成静态库。TimeEvo 的独特切入是把失败当作工具库自身的监督信号：不是让人猜智能体需要什么，也不只是让模型泛泛反思，而是从错误中诊断缺失的测量、合成纯证据工具，并以配对门槛按修复减破坏仲裁准入，把评估粒度从平均分细化到逐题翻转。
核心方法
直觉上，智能体在失败之前并不知道它缺什么工具，而失败样本正是缺失某个数值测量的最直接证据。TimeEvo 据此把进化做成循环：每轮先在训练集重放当前库、把错误聚成不相交的失败桶，每个桶由规划器写成一个测量契约（缺什么测量、需要什么输入、成功标准、适用 scope 与反 scope），再由合成器产出确定性的 Python 工具；整个候选库通过预筛与配对门槛后才写入链式库 $\mathcal{L}_r=(\mathcal{L}_0,T_1,\dots,T_r)$。技术上，第 $k$ 阶段按声明的 scope 匹配题目，仅对范围内题目让同一个冻结模型结合工具证据 $\mathcal{E}_k(x)$ 审查既有答案，范围外直接透传：$$\mathcal{A}_{\mathcal{L}_k}(x)=\begin{cases}\rho_k\big(x,\mathcal{E}_k(x),\mathcal{A}_{\mathcal{L}_{k-1}}(x)\big) & x\in\mathrm{scope}(T_k)\\ \mathcal{A}_{\mathcal{L}_{k-1}}(x) & \text{otherwise}\end{cases}$$这保证升级是纯增量式的：答错的被修，答对的最大程度保持原样，被拒的轮次不留任何痕迹。
核心创新有三层，与已有方法有本质区别。第一，契约而非答案：失败桶得到的是所需证据的测量契约而不是作答规则，合成工具被沙箱与契约双重约束为 evidence-only——永不输出判定、选项字符串或数据集特定常数，输入不可得时弃权而非编造，从制度上杜绝工具直接吐答案。第二，配对准入门槛：已有技能库用最终总分或逐任务检查准入更新，TimeEvo 让当前库与候选库在同一验证集上配对作答，统计修复数 $h$ 与破坏数 $m$，要求 $\delta=(h-m)/n>0$ 且置信下界 $\delta_{lb}=\delta-1.96\sqrt{\max(h+m,1)/n}>0$ 才放行——3 比 0 的小样本提升因下界为负照样被拒，直接堵死静默伤害的通道。第三，保守残差审查：传入答案是默认值，只有工具真正执行且审查明确决定替换才改答案。三者合起来，把更新是否值得信任从感觉问题变成可检验的统计命题。
方法步骤详情
一轮进化六步走。第一步基础通过：当前链在训练集全量作答（语义指纹缓存），得到错误集 $F_r=\{x\in D_{train}: v_{r-1}(x)=0\}$。第二步失败聚类：按是否有工具触发分两区（工具缺陷 vs 覆盖缺口），先从至多 150 个错误定义至多 8 个类别，再按 32 题一批严格 JSON 指派全部错误；超 64 题的桶分裂一次、不足 2 题的丢弃。第三步两级规划：局部规划器为每桶产出契约（根因、所需测量、输入签名、成功标准、scope/anti-scope）并声明动作 CREATE/REFINE/RESCOPE/RETIRE；全局规划器合并重复测量、收窄重叠 scope，不兼容合并被机械拒绝。第四步合成：每契约至多 3 次尝试，产出单函数、零参数、无 while 循环的确定性工具，经沙箱白名单校验；可调用 Chronos-2 作预测原语，需要决策边界时在训练行上拟合浅决策树（每类至少 16 样本、内部 $\mathrm{BalAcc}\ge 0.55$）并 AST 编译进源码。第五步预筛：在本桶至多 32 个留出错误上要求至少 1 次可归因修复（工具绑定、执行、轨迹可见），修复率 $\ge 0.40$ 提前停止。第六步配对准入：新旧两库在完整验证集配对作答，严格路径要求 $h>0$ 且 $\delta_{lb}>0$；单轮补充规则要求 $\delta>0$、净修复 $\ge\max(3,\lceil 0.02n\rceil)$、伤害率 $\le 0.10$；被拒库按 $m_u>0\wedge h_u=0$ 或 $m_u-h_u\ge 3$ 一次性剪枝、恰好重测一次；通过后 scope 校准再过一次门槛才入链。推理时智能体先答，最多检视 3 个入围工具，默认保留原答案。
技术新颖性
技术新颖性有四点。其一，把两个此前未被命名的人-智能体工具错位与静默伤害变成可度量的诊断对象，用逐题配对翻转计数替代平均分，这一评估粒度的细化本身就是方法论贡献。其二，证据唯一性约束：已有技能库合成的技能常直接干预作答，TimeEvo 的工具被限制为纯数值证据，判定权始终留给冻结模型，这使库可跨模型迁移——luna 长出的库装进 Claude-opus-5 仍带来 +10.50。其三，防过拟合的验证设计：只允许一次剪枝、一次重测，scope 校准后必须再过门槛，作者明确指出反复重测会让库慢慢拟合验证集；门槛按实测修复仲裁而不看产物类型，29 个部署库中 25 个纯工具、4 个接纳了文本补丁。其四，阈值从拍脑袋变成测出来：决策边界由训练行拟合的浅树给出并编译进工具源码，消融中去掉校准后两个 Anomaly 运行整库被拒、颗粒无收。
实验结果
主实验（Table 1）覆盖 10 任务 × 3 骨干 × 6 方法：TimeEvo 是唯一在全部 30 个任务-骨干组合上都正提升的方法，十任务平均增益 luna +8.79（56.0→64.8）、terra +7.21（56.6→63.9）、mini +8.73（54.6→63.3），单任务合并增益 +1.5 到 +14.7。反观基线：固定 Chronos-2 只在其专长的两个预测层级有效（T4 最高 +22.22）而异常检测为负；TimeART 21 工具在 Anomaly 上 −6.25/−8.75/−5.79；Self-Refine 十任务均值 −0.93；vote@5 花五倍预算仅 +0.79/−0.21/+1.64；few-shot ICL 读同样的训练数据却在 Classification 上最多掉 10.42 分。迁移实验：luna 的库装进三个更强模型，十任务均值 +10.50/+10.65/+8.27，30 个结果仅 1 个为负；Anomaly 上两个 Claude 模型 +26.25/+26.50，远超 luna 自身的 +14.69，21/30 落在等增益对角线上方。消融：去校准后两个 Anomaly 运行整库被拒；去门槛后 mini-Anomaly 以 −1.25 收尾（完整方法 +16.25）；去 scope 损失 1.00–9.25；以 Chronos 或 21 工具为根分别比空根低 3.04–18.50 和 8.25–21.50。残差链对覆写：覆写多修 16–25 题但破坏悬殊（59 对 19、26 对 3）。进化漏斗：30 轮中 4,910 个错误 99.76% 入桶，483 次合成尝试 47.0% 过预筛，部署 113 个产物（108 工具 + 5 文本补丁），22 次直接通过、7 次剪枝后通过、1 次回滚。门槛校准：严格接受区全部测试为正，边界区 1 个假阳性（T1 库 −1.27）与 1 个保守假阴性（Merrill，诊断 +5.00）。三轮运行显示工具一轮即稳定：+18.50、+2.75、第 3 轮被拒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 十任务平均（GPT-5.6-luna） | 测试准确率均值 | 64.8（+8.79 pp） | 无工具基线 56.0；最强基线 Chronos-2 固定工具 60.7（+4.63） | 较无工具 +8.79 pp，较最强基线 +4.11 pp，且全部 30 格为正 |
| TimeMQA Anomaly（GPT-5.6-luna） | 准确率 | 74.9（+14.69 pp） | TimeART 21 专家工具 53.9（−6.25 pp） | 较人类工具库高 21.0 pp，人类库在此任务三个骨干全负 |
| TSAQA-DT（GPT-5.4-mini） | 准确率 | 83.3（+16.00 pp） | 无工具 67.3；vote@5 仅 68.1 | +16.00 pp，为该骨干最大单任务增益之一 |
| MMTS Match（GPT-5.4-mini） | 准确率 | 89.0（+16.88 pp） | 无工具 72.1；Self-Refine 80.2 | +16.88 pp |
| Anomaly 迁移（Claude-sonnet-5 装 luna 的库） | 准确率 | 85.5（+26.50 pp） | 裸模型 59.0；同库在 luna 自身仅 +14.69 | 迁移增益接近养库模型自身增益的两倍 |
| TimeMQA Classification（GPT-5.6-luna） | 准确率 | 61.1（+12.08 pp） | few-shot ICL 39.8（−9.17 pp） | +12.08 pp，对照直接读训练数据的 ICL 反而大幅下降 |
局限与改进
作者承认的局限：正式协议只跑一轮进化（ROUNDS=1），多轮动态仅有一个三轮案例研究；十个任务全部是封闭选项的多选题，gold 答案由输入唯一决定，开放作答与数值预测任务未覆盖；进化依赖带标注的 train/val 划分，聚类与门槛都需要金标准答案。我的补充观察：其一，成本不低——30 轮运行处理 4,910 个基础错误、483 次合成尝试，每轮门槛要求新旧两库各答一遍完整验证集，合成还在更高推理档位运行；其二，门槛仍会犯错——唯一测试为负的已接受库（T1，−1.27）与被拒的好库（Merrill，诊断 +5.00）说明边界区判断有噪声；其三，scope 依赖规划器声明、靠字段匹配路由，声明失准则工具闲置或误触发，去 scope 消融掉 1.00–9.25 分暴露其脆弱；其四，全部结论建立在专有前沿模型上（GPT-5.6 系、GPT-5.4-mini、Claude-5 系），API 依赖使复现昂贵且结果可能随版本漂移；其五，异常任务修复后仍只有 74.9–77.2，说明单靠补测量对困难任务有修复上限。
独立分析的弱点
弱点一：对标注数据的强依赖。失败聚类、决策树校准、配对门槛全部需要金标准答案，而金融风控、工业运维等真实场景标注稀缺昂贵；改进方向是引入弱监督或让门槛在无标注时退化为分布偏移检测。弱点二：验证成本线性翻倍。整库配对门槛加上预筛，一轮进化的推理开销约为普通评估的 2–3 倍；改进方向是序贯检验——先在验证子集上算下界，可疑再全量。弱点三：封闭选项限制了工具形态。evidence-only 工具在选择题上表现出色，但真实分析需要数值预测区间或开放文本输出；改进方向是把门槛指标从准确率翻转扩展到连续指标的成对比较。弱点四：scope 由规划器声明、靠字段匹配路由，声明与实际行为的脱节只能靠事后校准部分弥补；改进方向是用执行轨迹学习一个路由器。弱点五：工具一轮即稳定是单案例观察而非保证，多轮进化可能对验证集适应性过拟合，需要样本外的预算分配与早停机制。弱点六：迁移的 30 个结果中仍有个别负例（如 sol 的 Classification −2.50），说明库与模型能力分布并非完全解耦。
未来方向
作者明确指向的方向包括：把单轮协议扩展为受控多轮进化（三轮案例已显示第 2 轮转向使用指引、第 3 轮自停），以及廉价模型养库、强模型部署的养成-移植范式——迁移实验中 Anomaly 的 +26.50 已超过 luna 自身的 +14.69。基于本文成果可延伸的研究：其一，跨域检验——十个任务全部来自公开基准，把进化库移植到金融、医疗、交通等真实流数据，检验工具的域鲁棒性与 RETIRE 机制在分布漂移下的表现；其二，把配对门槛从准确率翻统计推广到连续指标（预测误差的成对 t 检验与置信下界），打开回归与预测任务；其三，理论化准入——当前 $\delta_{lb}$ 是正态近似下界，可给出有限样本保证或改用精确二项检验；其四，经验教训库与工具库的联合进化、跨智能体共享工具市场的组合研究；其五，把失败驱动的契约合成推广到代码、数据分析等其他智能体领域。
复现评估
复现条件较好但依赖昂贵 API。代码已开源（github.com/Muyiiiii/TimeEvo）；附录 C 冻结了全部协议旋钮（Table 3：预筛 32 题、门槛 $Z=1.96$、净修复下限 3、伤害率上限 0.10、合成重试 $K=3$ 等）与逐步流程，附录 A 给出十个任务的来源与冻结划分（按序列分组防泄漏，如 Anomaly 400/400/400、Merrill 从官方 5779/1000/1036 下采样到 240/120/240），六个数据源全部公开。主要障碍是模型：四个智能体角色都跑 GPT-5.6-luna（合成档位 medium），迁移实验还需 Claude-opus-5/sonnet-5 与 GPT-5.6-sol，均为专有模型；每轮含全训练集基础通过、483 次合成尝试与两次全验证集推理，30 轮运行的 LLM 调用在数十万次量级。有 API 预算的团队按附录逐旋钮复现属中等难度；若换用开源骨干，则需重验门槛阈值的可迁移性。协议透明度在同类自进化工作中属少见的高水准。
论文图表
(a) 同一冻结智能体在装上/不装 TimeART 21 个专家工具下的逐任务对比，覆盖十个 QA 任务与三个骨干：改善任务涂蓝、受损任务涂橙，异常检测在三个骨干下分别 −6.2/−8.8/−5.8 pp，且改善与受损的方向在所有骨干上一致复现；(b) 一轮通用自我修正前后的逐题配对：147 个答案被改动，49 个修对、56 个修坏、42 个错换错，总分净变化不到 1 pp（各骨干/任务分别有净 −12、净 +15、净 −7 等方向相反的变动），破坏被平均分完全掩盖。
这张图是全文的问题陈述：工具错位与静默伤害两个现象是 TimeEvo 全部设计的动机，异常任务的一致下降与 56 broken vs 49 fixed 的数字直接引出配对准入门槛的必要性。