构建AI研究团队以自主发现线性注意力架构 Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
16个跨学科AI研究员组队，在有限算力下自主发现优于GDN2的线性注意力架构CFDN
前置知识
线性注意力与固定大小循环状态
softmax注意力需要缓存全部历史token的Key-Value，计算与显存随序列长度增长。线性注意力（Katharopoulos等，2020）改用固定大小的循环状态（通常是矩阵 $S_t\in\mathbb{R}^{d_k\times d_v}$）累积历史键值关联，读取时用查询做线性变换，以常数显存、支持chunkwise并行训练的方式处理长序列。后续设计主要围绕三个轴：记住什么、如何修正、如何检索。
本文搜索对象就是线性注意力架构，团队提出和修改的都是循环状态的记忆表示、更新规则与读出方式，不懂这一框架就无法理解CFDN到底改了什么。
Delta规则与DeltaNet/GDN/GDN2
Delta规则源自快速权重编程：写入新键值对时先减去状态在 $k_t$ 方向的现有投影，实现覆盖式修正而非无限叠加。DeltaNet将其引入线性注意力；GDN加入数据依赖的门控衰减；GDN2（本文基线，Hatamizadeh等2026）进一步用逐通道的擦除门与写入门把遗忘和写入解耦。
搜索起点是GDN2，CFDN就是在其矩阵记忆上添加上下文向量并改变修正顺序，全文的技术讨论都围绕这条脉络展开。
折扣UCB（置信上界）多臂老虎机
多臂老虎机研究每轮只能试一个选项时如何平衡利用与探索。UCB给每个臂打分 $\bar{r}_i+c\sqrt{\ln t/N_i}$：历史均值高、被试次数少的臂得分高。折扣版本按 $\gamma^{t-t_j}$ 衰减历史奖励，让近期表现权重更大，适合非平稳环境。本文用它决定每轮由哪位研究员获得实验机会。
公式(1)的折扣UCB是整个系统的资源分配核心，消融实验专门比较了它与均匀轮换的差异，是理解论文贡献的关键。
大海捞针（NIAH）与RULER检索评测
NIAH把关键信息（针）埋入长干扰文本中，要求模型复述该信息，检验长上下文中的信息是否仍可访问。RULER将其系统化为S-NIAH-1/2/3与MK-NIAH等任务族。本文搜索阶段用teacher-forced代理（只检查后续token是否为argmax）加速评测，全量评测则要求模型真实生成答案。
检索是效用函数的三大指标之一，CFDN最大的提升正来自这里（搜索反馈28.91%→50.00%），也是分析其逐任务退化局限的关键。
FLOPs匹配的训练预算
比较架构时若各用相同token数训练，计算量大的架构实际占了便宜。FLOPs匹配按每token参考计算量 $F(x)$ 反推token数 $T(x)=B\lfloor C/(BF(x))\rfloor$，使每个候选消耗相同总计算量 $C$。本文以GDN为锚点（150M约15B tokens，$C\approx1.56\times10^{19}$ FLOPs），更贵的架构自动获得更少token。
这是有限实验预算叙事的基础：CFDN的token数反而最少（13.53B vs GDN 15B），胜利更有说服力；实现阶段还有不大于1.2倍基线速度的硬性门槛。
自主科研智能体（Autoresearch Agent）
指由LLM驱动的闭环科研系统：提出假设、写成代码、运行实验、解读结果、提出下一轮假设。代表工作有AI Scientist（固定流水线）、AlphaEvolve与ShinkaEvolve（LLM作变异算子的进化搜索）、ASI-Arch（线性注意力架构搜索）等。它们证明agent能完成提案-实现-评测全流程，但多为单agent或固定角色。
本文属于这一脉络，但研究的问题是团队如何组织：谁提出、记住什么、机会给谁。了解前作才能看清其受控消融的新意所在。
研究动机
自主科研智能体（AI Scientist、AlphaEvolve、ASI-Arch等）已能把假设生成、代码实现、实验评测连成闭环，但在成熟领域存在两个问题。第一，单一视角容易陷入局部最优：所有候选由同一模型按同一推理模式生成，探索被限制在狭窄邻域；线性注意力正是这样的成熟领域——RetNet、GLA、Mamba-2、DeltaNet、GDN、KDA、GDN2每篇工作大多只沿记住什么、如何修正、如何检索三个轴改动一到两个选择。第二，实验昂贵导致机会稀缺：本文每个候选都要从头训练约150M非嵌入参数模型（GDN锚点约15B tokens、$1.56\times10^{19}$ FLOPs），80轮预算内无法测完所有想法，必须决定谁获得下次机会、早期失败如何改变后续方向。而已有多智能体系统（VirSci、CORAL、AgentRxiv等）虽给agent分配了不同背景，却没有在真实训练并评测所提架构的结果层面检验背景多样性的价值，没有检验共享证据之外私有记忆是否有增量，也没有在成员间自适应分配研究机会。
本文的目标是本文的目标是构建并验证一个AI研究团队的组织框架，让一群各持不同学科背景的持久化LLM研究员能够在有限实验预算下相互衔接彼此的发现、维持在开放式问题上的持续进步，并用受控实验回答三个问题。其一，团队能否发现真正有用的架构：具体选址线性注意力，以GDN2为基线，在约150M参数、FLOPs匹配预算下搜索，再把最强发现放大到1.3B参数验证有效性。其二，哪些组织成分真正起作用：通过移除学科背景（no background）、清除迭代间私有历史（fresh memory）、把自适应选择换成固定顺序轮换（uniform selection）三个变体做对照，保持agent模型、迭代数（80轮）、单候选训练预算与搜索反馈完全一致。其三，成功的发现是如何跨研究员形成的：追踪提案谱系（如CFDN从GDN2出发经历I21/I33/I44/I56四次修改）以及提案中声明的父代关系（Table 14），把组织设计与发现过程联系起来。框架聚合四个组织因素：专家背景、纵向私有记忆、自适应机会分配、评审与评测器设计。
与已有工作不同的是，本文的独特切入角度是把团队组织方式本身当作研究对象和受控变量。此前工作要么用单agent或固定流水线（AI Scientist、Agent Laboratory），要么用LLM当变异算子的进化搜索（AlphaEvolve、ShinkaEvolve），要么用固定角色分工（NADER的固定角色树、ASI-Arch的研究员-工程师-分析师管线），要么虽组了异质团队却从不对照有/无背景差异对实际实验结果的影响（VirSci、ASCollab、CORAL、ScienceClaw）。自适应分配本身也不新——Virtual Lab决定哪个专家接手议程、ShinkaEvolve决定哪个模型执行下次变异、SwarmResearch决定扩展哪个分支——但没有工作在成员各有背景和私人研究史的前提下，自适应地决定下一位提案者是谁；而这个选择直接决定团队接下来将拥有什么证据。本文把这三个空白合成一个可检验的问题：在固定总预算（80轮迭代）下，改变谁探索、记住什么、机会给谁，比较发现结果的差异，从而把团队组织从叙事层面提升为有数字因果证据的设计科学。
核心方法
直觉上，论文想复刻真实实验室的分工：懂贝叶斯滤波、动力系统、流式算法的研究员同时攻同一问题，看相同的实验数据，却从各自领域提出互补修改。技术上，团队由16个基于同一底座模型（GPT-6 Astra，经Codex harness调用）的研究员组成，每人初始化一份约2000-2300词的学科档案（先验知识与数学工具、科学洞见、研究习惯三类内容），维护跨迭代私有笔记；所有提案、评审、实验结果进入共享记录，每10轮由director汇总成共享教训。每轮六步：折扣UCB选出研究员；提案（数学定义、参数化、可并行形式、FLOPs分解）；技术与新颖性双盲评审；按意见修改或撤回；独立实现agent编码，通过集成与速度检查（步时不大于1.2倍GDN2）后在FLOPs匹配预算下从头训练并评测；提案者反思并更新笔记。效用 $U(x)=\frac{1}{3}\left[\frac{L_0-L_x}{s_L}+\frac{Q_x-Q_0}{s_Q}+\frac{R_x-R_0}{s_R}\right]$ 综合三类指标相对GDN2的归一化改进，奖励 $r_j=\max\{0,U(x_j)-U(x^{ref}_j)\}$ 只奖励超越当前最优的增量。
核心创新有三点，每一点都与已有系统存在本质区别。第一，用学科档案实现正交探索：不是让同一个模型多采样几次（那是进化搜索的做法），而是给每个研究员注入一套先验知识、数学工具与研究习惯，使同一份共享证据在不同人眼中指向不同的下一步——例如贝叶斯滤波背景的研究员会把预测误差相对不确定性归一化（归一化新息思想），用能量归一化修正量，这是其他视角想不到的修改。第二，私有纵向记忆与共享证据双轨并行：共享记录保证别人试过什么、结果如何人人可见，私有笔记保证个体能沿自己的研究线持续深入（重访未解决问题、修正自己的假设）；消融证明二者不可互相替代——fresh memory变体最高只到0.56效用。第三，把谁做下一个实验建模为折扣UCB老虎机：以超越当前最优的效用增量为奖励 $r_j=\max\{0,U(x_j)-U(x^{ref}_j)\}$，折扣因子 $\gamma=2^{-1/32}$ 让近期贡献权重更大、给表现好的研究员连续性，探索项 $c\sqrt{\log(\sum_k N_k(t))/N_i(t)}$（$c=0.25$）保护尚未被充分测试的研究员；同一预算下，自适应选择找到的最优架构效用为1.04，均匀轮换只有0.76。
方法步骤详情
每轮六步。(1) 选择：按折扣UCB $A_i(t)=\bar{r}_i(t)+c\sqrt{\log(\sum_k N_k(t))/N_i(t)}$ 打分（$\gamma=2^{-1/32}$，$c=0.25$），最高者获本轮机会；前16轮强制每人轮一遍；有未结案研究者不可入选；最多8人并行、提案串行防重复。(2) 提案：入选者查阅私有历史与共享记录，指明改什么、为何有效、何种结果证伪假设，并给出状态方程、参数化、可并行训练形式与FLOPs分解。(3) 评审：技术评审（不看共享历史，查数学与可行性）先行，价值评审（用共享历史查重复与价值）把关，双盲；被拒直接反思。(4) 修改：作者解决意见、产出实现规格；核心机制须更换则撤回。(5) 实现-训练-评测：实现agent编码，通过集成与速度检查（优化器步时不大于1.2倍GDN2，训练进度在1.2倍基线时间内达到25/50/75/100%），按 $T(x)=B\lfloor C/(BF(x))\rfloor$ 分配token从头训练，评估语言建模、常识推理、检索三项指标。(6) 反思：提案者对照原假设解读结果，区分机制问题与实现问题，更新私有笔记并分享教训；每10轮由director汇总共享教训。
技术新颖性
新颖性在三个层面。系统层面：先前架构搜索要么是单agent进化（AlphaEvolve以LLM为变异算子）、要么固定角色流水线（ASI-Arch的研究员-工程师-分析师）、要么独立agent池化设计（AIRA），本文首次让16个持久化异质研究员在同一开放问题上长期协作，并把'谁提案下一个想法'作为核心决策——该选择决定团队下一步获得什么证据，与选择哪个算子执行变异本质不同。实证层面：首次对团队组织做受控消融——各变体共享相同agent模型、迭代数、训练预算与反馈，只改变背景、记忆、分配之一，把'背景有价值''私有记忆有超出共享证据的增量''自适应分配优于均匀轮换'从直觉变成数字结论（最优效用1.04 vs 0.54/0.56/0.76）。架构层面：CFDN本身也新——在GDN2矩阵记忆外引入无被动衰减的循环上下文向量 $m_t$，用学到的参考地址 $\mu$ 让矩阵读写相对原点进行，上下文先吸收预测误差、矩阵拟合剩余误差 $\delta^{rem}_t=(1-c^2\beta_t/\kappa_t)\,\delta_t$，且两修正可代数合并为单一秩一更新，保持与chunkwise并行训练兼容。
实验结果
主搜索80轮迭代完成63个候选评测，最强架构CFDN在150M搜索尺度效用1.04（GDN2为0.00，KDA −0.59，GDN −1.29）；尽管训练token最少（13.53B vs GDN 15.00B），搜索反馈三项全面占优：语言建模困惑度12.21→11.90、常识推理44.48%→44.63%、检索28.91%→50.00%。150M全量（Table 1）：Wiki困惑度33.84优于GDN2的34.93，LAMBADA 52.33优于54.74，NIAH 29.76%高于25.79%，CSR 43.29%略低于GDN2的43.60%但高于GDN与KDA。1.3B验证（Table 2）：CFDN五类全部最佳——Wiki 15.74、LAMBADA ppl 11.04、CSR 54.53%、NIAH 67.29%、真实检索33.41%（GDN2为16.05/11.22/52.65/66.86/32.52）。组织消融（Figure 3）：完整系统最优效用1.04，无背景0.54、无私有记忆0.56、均匀选择0.76，且非评估数量差异所致（63 vs 65-68个候选）；无背景第22轮后停滞，完整系统最强提案在第68轮。目标消融（Table 3）：LM-only搜索LAMBADA更好（46.40）但CSR 42.25%、NIAH 26.73%更差。谱系（Figure 1）：I21/R16引入循环上下文（0.715）→I33/R05静态地址原点（0.803）→I44/R10能量归一化修正（0.887）→I56/R10矩阵优先跌至0.052→R09反转为上下文优先得CFDN（1.045）；Table 14显示主运行41/54提案声明跨研究员父链接，仅9/41子代超过父代。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 线性注意力架构搜索（150M，搜索反馈） | 聚合效用 U ↑ | CFDN 1.04 | GDN2 0.00（KDA −0.59，GDN −1.29） | 较基线 +1.04，为全部63个候选中最高 |
| 语言建模 WikiText-2（150M 全量） | word PPL ↓ | 33.84 | GDN2 34.93（KDA 34.63，GDN 35.15） | 较GDN2降低1.09（约3.1%） |
| 语言建模 LAMBADA（150M 全量） | PPL ↓ | 52.33 | GDN2 54.74 | 降低2.41；LAMBADA准确率28.35% vs 27.61% |
| 合成检索 NIAH 均值（150M 全量，14格×500请求） | 准确率 % ↑ | 29.76 | GDN2 25.79（KDA 22.03，GDN 16.94） | +3.97pp；S-NIAH-1 1K达89.40% |
| 常识推理 CSR 均值（150M 全量，8数据集） | 准确率 % ↑ | 43.29 | GDN2 43.60 | −0.31pp，略逊于GDN2，仍高于GDN 42.88与KDA 41.94 |
| 1.3B 规模验证（五类评测） | Wiki/LAMBADA PPL ↓；CSR/NIAH/RWR 准确率 ↑ | 15.74 / 11.04 / 54.53% / 67.29% / 33.41% | GDN2 16.05 / 11.22 / 52.65% / 66.86% / 32.52% | 五类全部最佳；CSR +1.88pp、RWR +0.89pp、NIAH +0.43pp |
| 组织消融（相同80轮预算） | 搜索中最优候选效用 ↑ | 1.04（完整系统） | 均匀选择0.76 / 无私有记忆0.56 / 无学科背景0.54 | 较最强变体 +0.28，且候选评估数更少（63 vs 65-68） |
| 搜索目标消融（150M 全量） | LAMBADA PPL ↓ / CSR % ↑ / NIAH % ↑ | 三目标（LM+CSR+NIAH）：52.33 / 43.29 / 29.76 | 仅LM目标：46.40 / 42.25 / 26.73 | LM-only的LAMBADA更好，但CSR与NIAH明显更差，证明多目标必要性 |
局限与改进
作者承认：搜索只在约150M、80轮预算内进行，80轮不保证80个训练模型（被拒与失败也计入）；搜索反馈用缩减套件（每CSR数据集256例、每NIAH任务64例、teacher-forced代理），与全量生成评测有差距；效用尺度 $(s_L,s_Q,s_R)$ 人为设定并全程固定。我的补充：(1) CFDN有逐任务退化——150M全量S-NIAH-1在4K仅1.00%（GDN2为19.20%）、8K仅0.40%（GDN2为8.40%），1.3B时S-NIAH-2 8K也弱于GDN2（21.20% vs 34.60%），均值优势掩盖能力分布变化；(2) 1.3B的CSR提升集中在BoolQ（56.30%→62.81%）等个别数据集，RWR中SQuAD反而低于GDN2（35.98% vs 38.97%）；(3) 组织消融各只跑一次，无方差报告，1.04与0.76的差距可能混入运行间随机性；(4) 奖励是棘轮式 $r_j=\max\{0,\cdot\}$，只奖励超越当前最优，可能低估有信息量但短期失败的探索（各条件仅9-15/41子代超过父代）；(5) 全流程绑定商业模型GPT-6 Astra与Codex harness，agent成本未披露。
独立分析的弱点
独立分析有五个弱点。第一，统计可靠性不足：主运行与三个消融变体各只跑一次，无背景在第22轮后停滞这类结论可能受单次运气影响；改进方向是同预算多种子重复（如3-5次）并报告最优效用分布。第二，效用函数将三个指标等权线性组合且尺度固定：大幅提升检索却轻微损害语言建模的候选与均衡改进的候选可能同分，无法表达Pareto偏好；改进方向是让尺度随搜索进程自适应，或维护Pareto前沿并在其上做UCB选择。第三，teacher-forced检索代理与真实生成评测不一致：搜索时CFDN检索得50.00%，全量生成后仅29.76%，排序虽保持但幅度差距大，可能误导后期的提案方向；改进方向是在搜索中后期混入小规模生成式评测。第四，探索-利用机制只作用于选人而不作用于选想法：想法仍由研究员自由提出，UCB只决定谁获得机会，无法阻止团队在相似方向上重复消耗预算；改进方向是把想法间的相似度或预期信息增益纳入奖励或提案约束。第五，16个学科profile由人工撰写且含一个线性注意力内置专家，多样性空间是手工设计的，结论对profile质量与数量的敏感性未知；改进方向是用文献统计或agent自举自动生成并演化profile，并检验其因果影响。
未来方向
作者提出的方向包括：把该组织框架推广到线性注意力之外的开放科研问题；研究更多组织变量（评审器设计列为因素4但正文消融未展开）；以及更精细的研究机会分配。基于其成果还可延伸：(1) 跨规模迁移——用150M搜索得到的谱系训练架构-性能代理模型，预测候选在大规模的行为，减少真实训练次数；(2) 理论化团队bandit——本研究场景奖励稀疏、非平稳且候选间有谱系结构，折扣UCB只是最简单选择，可引入contextual或结构化bandit利用提案相似度；(3) 多团队生态——多个团队各自搜索并周期性交换论文，检验组织间竞争与合作对多样性和进展的影响；(4) 更难的长上下文检验——CFDN的检索优势是否在RULER全长、多针多跳、超长外推任务上保持，并针对性修复其S-NIAH-1长上下文退化；(5) 降低实验成本的仿真层——用少量token训练或缩放律外推做预筛，把昂贵预算留给预筛胜者；(6) 对私有记忆机制本身做对象化研究——比较不同记忆格式（自然语言笔记、结构化轨迹、检索式经验库）对持续进步的贡献；(7) 人类-AI混合团队，让人类科学家进入UCB循环并检验分配算法对人的公平性。
复现评估
复现条件中等偏难。利好：附录极详尽——附录A给出两规模完整配置（150M：8块、1024/4096、8×128循环头、155,322,432非嵌入参数；1.3B：18块、2304/6208、16×128头）与全部超参（AdamW、峰值lr 4e-4、cosine、4096上下文、全局batch 512序列、种子3407）及FLOPs计数与速度检查协议；附录B定义搜索套件与全量评测的每格样例数与打分规则；附录C复刻贝叶斯滤波profile全文；附录D给出CFDN完整递推、参数化（$u=0$、$\theta=-\log 15$即 $\rho=1/128$）与初始化。数据与评测（FineWeb-Edu、WikiText、LAMBADA、RULER、BASED/JRT）全部公开。障碍：论文未提及开源搜索框架代码；agent角色依赖GPT-6 Astra（高推理档）+Codex harness，商业闭源、行为难复现且API成本可观；训练算力大——150M锚点 $1.56\times10^{19}$ FLOPs，63个候选合计约 $10^{21}$ FLOPs，另有1.3B四个模型100B-token训练，需多GPU数周。若只复现CFDN（跳过搜索），150M约几十GPU小时、1.3B约数百至上千GPU小时，难度中等。
论文图表
对比仅语言建模目标与三目标（LM+CSR+NIAH）搜索所得模型：LM-only的LAMBADA困惑度更好（46.40 vs 52.33），但Wiki（34.59 vs 33.84）、CSR（42.25% vs 43.29%）、NIAH（26.73% vs 29.76%）均更差。
说明搜索目标直接塑造发现方向，困惑度平均会稀释检索/推理等少量关键token的影响，对以LM质量为目标的自研系统（如Karpathy的autoresearch）有直接警示意义。
全部架构共享的训练超参：AdamW、峰值学习率4e-4、最小4e-5、β=(0.9,0.95)、权重衰减0.1、裁剪1.0、1%预热、cosine衰减、上下文4096、全局batch 512序列（每更新2,097,152 token）、种子3407；150M以GDN 15B token为计算锚点，1.3B为100B。
保证比较公平的训练协议细节，也是任何复现尝试的必要输入。
决定Table 1效用值的搜索期反馈数据：CFDN的Wiki token PPL 13.99（GDN2 14.32）、LAMBADA 10.13（GDN2 10.40）、CSR均值44.63%（GDN2 44.48%），并给出PIQA、HellaSwag、WinoGrande、ARC-E/C、OpenBookQA、Social IQa、BoolQ逐数据集得分。
展示效用函数的原始输入，说明搜索反馈与全量评测（Table 8）在样例数与指标定义上的差异。
1.3B真实世界检索（SWDE/SQuAD/FDA/TriviaQA/NQ/DROP，共12,077例）：CFDN均值33.41%最高（GDN2 32.52%、GDN 33.17%、KDA 32.47%），FDA上领先明显（31.06% vs GDN2 25.98%）但SQuAD落后（35.98% vs 38.97%）。
证明CFDN的检索优势能延伸到合成任务之外的真实网页/问答数据，同时显示逐数据集的取舍。