神经计算机：从视频生成走向可学习运行时 Neural Computers

完整方法分两条流水线并行推进。第一条 CLI 线：(1) 数据上抓取 82.4 万段公开 asciinema 录像（CLIGen General, ~1100 小时, 15 FPS）并切成 5 秒片段，用 Llama 3.1 70B 在三档描述粒度（semantic/regular/detailed）上生成 prompt；同时用 vhs 脚本驱动 Docker 录制 ~12.8 万段确定性终端轨迹（CLIGen Clean, ~250k 脚本过滤后保留 51.21%）并归一化字号、配色、分辨率。(2) 模型把首帧送 VAE 编码成条件潜变量，与 CLIP 视觉特征、T5 文本特征在投影后同 DiT 噪声拼接，输入 Diffusion Transformer 自回归式的滚动下一帧，并在 cross-attention 中注入 caption + 首帧上下文。(3) 训练用 AdamW（lr $5 \times 10^{-5}$，weight decay $10^{-2}$，bf16，grad clip 1.0），先在 CLIGen General 上跑 ~15000 H100·小时，再在 CLIGen Clean 上跑 ~7000 H100·小时。第二条 GUI 线：(1) 数据上在固定 1024×768 Ubuntu/XFCE 桌面上录三种轨迹——Random Slow ~1000 小时（1.51 像素/帧、1.58 动作/秒）、Random Fast ~400 小时（195.15 像素/帧、4.18 动作/秒）、以及 110 小时的 Claude CUA 人工监督（3.79 像素/帧、0.10 动作/秒），并把光标 SVG 渲染成掩膜/reference 帧。(2) 模型在 Wan2.1 之上加四种动作注入方式：external（action 模块在 VAE 输入处产生 $\Delta z$ 加到 $z'_T = z_T + \Delta z(u_T)$）、contextual（action token 与 visual token 共序列，用 lag-aware 掩膜做 self-attention）、residual（block 外挂 $\tilde h^{(l)} = h^{(l)} + \Delta h^{(l)}(a, m)$）以及 internal（block 内部再插一个 action cross-attention $h' = \text{FFN}[h + \text{CA}_{\text{text}}(\text{SA}(h), c) + \text{CA}_{\text{action}}(h, a)]$）。(3) 训练只用 64 GPU × 15 天一种注入模式跑 ~64k 步，加上 diffusion loss 加一个对齐动作/鼠标的时序对比 loss，每种模式约 23k GPU·小时。推理时输入首帧 + 动作/文本条件，模型按 sampling schedule 滚动出后续帧，并不与真实环境闭环。

技术新颖性主要在两层：抽象层用更新-渲染循环 $h_t = F_\theta(h_{t-1}, x_t, u_t)$ 显式把可执行状态绑到潜变量，把视频生成重新解读成可编程运行时；工程层通过对四组关键设计选择（数据配比、坐标系监督 vs 像素监督、注入深度、动作编码粒度）的系统消融，给出『数据质量优先于规模』、『视觉监督是 GUI 控制的必要条件』、『把 action 注入到 Transformer 深处而不是 VAE 输入处』、『API 式 meta-action 优于裸事件流』这四个可被复用的设计结论。同时论文把 CNC 定义成 (图灵完备, 万能可编程, 行为一致, 神经原生) 的四元组，并指出当前 prototype 还远未达到前两条标准，给出一条自检『机器形式成熟度』的标尺，而不是再发一个 SOTA。

独立看，最大弱点是『评测是渲染评测，不是可执行评测』——所有指标都是像素/FVD/SSIM/LPIPS/OCR，NC 是否真能作为可执行运行时还要靠闭环 I/O 验证。一个具体场景是 GUI agent 任务：NCGUIWorld 现在能根据 logged action 滚动出合理的后续帧，但没人测过把 NC 当 agent 用——即把它自己生成的下一帧+预测的动作喂回去，10–20 步之后能不能还在 GUI 上稳健操作。其次是『监督信号弱于真实环境』——CLIGen Clean 几乎所有训练样本都来自 51.21% 过滤后的人写脚本，覆盖偏窄（包安装、Python REPL、日志过滤），对没见过的终端工作流（多窗口、SSH、tmux、复杂 TUI）外推不可控。第三，internal 注入只在 64k 步、~23k GPU·小时内跑完，作者承认 external 基线被 early-stop，对『到底哪种注入最好』的结论强度有限；而且 Table 11 显示换动作编码收益微弱，可能是因为评估窗口只有 15 帧，看不出长链路任务的差别。最后是『评估错位』：reprompting 把算术跳到 83% 给出了重要警示，但目前没有机制去自动区分『是真的算出来』vs『只是把答案抄进 prompt』，这种伪推理分数会误导后续工作。每个弱点的改进方向分别是：加 closed-loop 评估（NC 生成下一帧+动作，再喂回自身循环）；用随机游走或在线交互收集覆盖更多终端/桌面场景的数据（论文附录 A.2 已描述相关管线雏形）；统一注入深度的训练预算并把评估窗口拉到 60–120 帧去捕捉长链路；引入过程级指标（比如把符号计算题的真答案和生成中间字符串分开追踪），强迫模型把推理过程显化。

作者提出的方向有三：(i) 实现 Run/Update 契约，把例程显式安装并可重放、回滚，而不是每次重新发现；(ii) 设计 machine-native 神经架构（具有离散操作、可组合结构和可验证计算的归纳偏置）替代现在的连续视频生成范式；(iii) 通过 I/O 交互在线生成神经网络模块，把交互轨迹当作可执行规范。基于本文的成果还可以延伸几条：(a) 把 SVG 鼠标掩膜范式推广到所有 UI 元素（按钮、文本框、滚动条），把『精确可点击』准确率推到接近 100%；(b) 用其它自动化 agent（不止 Claude CUA）做主动监督采集，把 110 小时监督数据进一步扩大并跨 OS 迁移；(c) 在 NC 训练目标里加入『执行回放一致性』loss，强制 NC 在不同 conditioning 下得到的同一程序结果对齐，作为行为一致性的可量化代理；(d) 把现在只测 5 秒左右的 rollout 延长到分钟级，测试 NC 的『长程记忆』是否就是 $h_t$ 本身，而不是靠反复刷首帧。

可复现性整体偏弱-中等：作者把论文定位为 position paper 加 prototype，所以代码、checkpoint、数据集并未在 v2 文本中宣布公开发布，仅给出博客地址 https://metauto.ai/neuralcomputer。Appendix B 详述了数据集构造（asciinema + vhs + Ubuntu 22.04/XFCE 录制），但 CLIGen General 包含敏感串过滤与 1100 小时素材，再现成本接近主实验成本；GUIWorld 三个 split 给出平均光标速度/动作频率，方便读者估算自家数据规模。算力门槛非常高：CLIGen (General) 训练要 ~15000 H100·小时，CLIGen (Clean) ~7000 H100·小时，GUIWorld 每种注入模式 64 GPU × 15 天 ≈ 23k GPU·小时，论文 §3.1.3 和 §3.2.3 把超参与训练步数都写得很清楚。难度上，数据流水线要维护 asciinema、vhs、Llama 3.1 70B 配三档 caption、Tesseract OCR、SVG 光标渲染、Xvfb/noVNC 多项基础设施，工程量相当于重新搭一条小规模 video dataset 产线。整体而言，只要预算在 50k H100·小时量级、并愿意抓 asciinema + 录桌面视频，结论可以部分独立验证；但要看清 Figure 5 的 PSNR/SSIM plateau 和 Table 10 的注入深度差距，倒是相对便宜的（fine-tune 一个 Wan2.1 注入模式跑几十小时就能复现）。