← 返回 2026-03-03

MicroVerse：迈向微观世界仿真的初步探索 MicroVerse: A Preliminary Exploration Toward a Micro-World Simulation

Rongsheng Wang, Minghao Wu, Hongru Zhou, Zhihan Yu, Zhenyang Cai, Junying Chen, Benyou Wang 📅 2026-02-28 👍 2 2026-07-13 08:35
世界模型 基准评测 扩散模型微调 数据工程 生物医学仿真 视频生成
arXiv HuggingFace PDF

首次提出“微观世界仿真”概念，构建专家审核的显微视频基准、9.6K 数据集与微调模型。

前置知识

扩散 Transformer (DiT)

把扩散模型的噪声预测网络替换为 Transformer 架构，将文本嵌入 E 与带噪潜变量 L_t 一起输入，由 ε_θ 预测注入的噪声 ε。MicroVerse 的训练目标即 $\mathcal{L}=\mathbb{E}_\theta\|\varepsilon-\varepsilon_\theta(L_t,t,E)\|^2$。

本文的基座与微调都建立在 Wan2.1 的 DiT 之上，理解这个损失函数才能判断微调是在更新哪些参数。

Classifier-Free Guidance (CFG)

在训练时以一定概率（如 10%）随机丢弃文本条件、训练无条件分支，推理时把有条件与无条件预测做线性组合，以强度系数控制文本贴合度。本文用 CFG=0.1 训练、推理时 guidance scale=5.0。

CFG 率是 MicroVerse 调参的关键超参；论文表 10 显示 CFG 过大反而会显著破坏科学保真度（从 43.0 跌到 38.2）。

Fréchet Video Distance (FVD)

类比 FID，把生成视频与真实视频分别用预训练 I3D 提取特征后计算两个高斯分布的 Fréchet 距离，数值越低代表分布越接近。

表 3 用 FVD 量化 MicroSim-10K 与真实显微视频的分布距离（123.9），并横向比较各模型的输出偏离度，是衡量“仿真真实度”的关键指标。

LLM-as-a-Judge 与 Rubric 评分

用大模型代替人工按预设评分准则（rubric）逐条打分；每个准则为元组 (a_i, d_i, s_i, w_i)，分别代表评估维度、描述、正负极性和权重，最终把分数归一化到 0–100。

MicroWorldBench 的整套评估流程都依赖此机制，理解元组结构和归一化方式才能看懂表 1/2 的得分含义。

LoRA / 全参数微调

LoRA 只在注意力层注入低秩矩阵，全参数微调则更新 DiT 所有权重。MicroVerse 在 1.3B 和 14B 上都使用全参数微调（full FT），因此需要 8 张 H200 才能完成。

决定能否在自己硬件上复现本文结果的关键点；论文 14B+混合域微调得到的 48.3 分提升，背后是 8×H200 的算力门槛。

研究动机

现有的 SOTA 视频生成模型（Sora、Veo3、Wan2.1、CogVideoX、HunyuanVideo）几乎全部以人眼尺度视频作为训练数据，导致它们在显微尺度上“看起来对、机制全错”。作者在图 1 中给出三个典型失败案例：(1) 让 Sora 生成“含详细毛细血管的人肺肺泡动画”，结果出现明显的物理失真；(2) 让 Veo3 生成“细胞分裂从一到二再到四”的简化视频，分裂时序与形态都不对；(3) 让 Sora 生成“DNA 通过聚合酶转录为 RNA”的动画，分子结构完全失真。这种“视觉可信但科学错误”的失败模式对医学教育、药物发现、器官芯片等下游应用是致命的。表 2 进一步量化了这一现象：开源模型在视觉质量上普遍能拿到 71–93 分，但在科学保真度（Scientific Fidelity）上大多数只有 15–43 分，Sora 也只有 35.3 分——视觉好不等于机制对。

本文的目标是论文提出三件事来填补这一空白：(i) 首次正式定义“微观世界仿真（Micro-World Simulation）”这一任务范畴，明确目标是让视频生成模型“再现”而非“创造”显微尺度的生物物理过程；(ii) 构建第一个专门面向显微仿真的评测基准 MicroWorldBench，含有 459 个专家审核任务与配套的 rubric 评分体系；(iii) 在数据侧构造首个 9,601 条专家审核的显微仿真视频数据集 MicroSim-10K，并据此微调出首个面向显微仿真的视频生成模型 MicroVerse。

与已有工作不同的是，切入角度是“领域知识驱动的视频微调”而非“更大模型/更多数据”。作者没有选择去爬取互联网级别的显微视频（噪声大、版权不明），而是从 YouTube CC 授权视频出发，构建了一个显式包含“黑边裁剪—字幕去除—VideoMAE 分类—专家审核—MLLM 配文”的多阶段过滤管线，最终把 128K 原始视频收敛到 9,601 条高质量样本。这种“专家回路 + rubric 评分”的范式把“科学保真度”这种难以量化的目标变成了可监督、可打分、可比较的指标。表 4 显示，正是因为加入 9,601 条 MicroSim-10K，Wan2.1-1.3B 的科学保真度从 40.3 升到 43.0，而单纯把模型从 1.3B 扩到 14B 只能从 40.3 升到 42.7——这证明本文的差异化优势来自数据质量而非规模。

核心方法

方法上分为“两条腿”：评测端用 rubric 框架去量化和约束“显微仿真正确性”，训练端用高质量小数据集去做领域微调。直觉上可以理解为：作者先做了一把“专门为显微生物学定制的尺子”（MicroWorldBench 的 459 任务 + 专家 rubric），然后发现用这把尺子去量市面上所有视频模型都不合格；接着作者去 YouTube 上找了一批真正由生物学家制作的显微动画视频，过滤出 9,601 条；最后以 Wan2.1-T2V-1.3B 为基座，全参数微调得到 MicroVerse。技术上沿用 DiT 的扩散训练范式，损失函数 $\mathcal{L}=\mathbb{E}_\theta\|\varepsilon-\varepsilon_\theta(L_t,t,E)\|^2$，文本用 CLIP 编码、视频帧用 VAE 编码为潜变量，再叠上 10% 的 CFG dropout 训练。

与已有方法的本质区别有三层：(1) 评测上不再用 VBench 这类通用指标，而是用 LLM 初稿 + 专家修订的 rubric，把“细胞是否正确分裂”“葡萄糖是否以水合环状分子呈现”等生物学细节显式变成加权得分项；(2) 数据上不再依赖自动爬取的大池子，而是用 12,848→9,601 的严格过滤管线（OpenCLIP 切分→VideoMAE 分类 92% 准确率→黑边/OCR 字幕过滤→人工审核）保证每条样本都“物理一致”；(3) 训练上不在“规模”维度卷，而是把 9,601 条高质量样本与等量 OpenVid-1M 通用域数据混合做混合域微调（表 4 显示 14B 模型混合域微调拿到 48.3 科学保真度，比纯域微调的 45.4 高 2.9 分），这是“避免灾难性遗忘”的关键设计。

方法步骤详情

完整流程分六步。第一步是任务与提示构建：用 YouTube 官方 API 搜索 12,848 条 CC 授权、≥720p 的视频→按 0.85 的相邻帧相似度用 OpenCLIP 切成 67,853 片段→用 VideoMAE 分类器过滤非显微仿真内容（92% 准确率）→OpenCV 去黑边、EasyOCR 去字幕→专家终审保留 9,601 条。第二步是 GPT-4o 配文：每条 clip 均匀抽 8 帧作为视觉输入，同时把视频标题/描述作为弱监督喂给 MLLM，平均每条 150 词。第三步是 MicroWorldBench 任务构造：从 8,000+ YouTube 视频元信息生成 8,162 个任务→GPT-4o 三分类（organ/cellular/subcellular）→三位博士级专家二审→最终保留 459 个任务（238+189+32）。第四步是 rubric 撰写：GPT-5 按 prompt 模板生成 (a_i, d_i, s_i, w_i) 四元组，w_i∈{1.0, 0.5, 0.2}，s_i∈{+1,−1}；三位专家再独立修改（删/改/补），汇总通过多数投票解决冲突；最终用 $S_{\text{norm}}=\frac{\sum_i s_i w_i}{\sum_i w_i^+}\times 100$ 归一化到 0–100。第五步是模型微调：以 Wan2.1-T2V-1.3B 为基座，VAE 编码视频、L₂ 损失、CFG=0.1 训练、8×H200、lr=1e-5、bs=8、bf16 混合精度、5000 步收敛、480×832×81 帧。第六步是评测：固定 50 步推理、guidance scale=5.0、单次采样（防 cherry-pick）、GPT-5 作为 Judge 按 rubric 打分。

技术新颖性

技术新颖性集中在“rubric 评分 + 专家审核数据 + 混合域微调”这套组合拳。单看任何一项都不算新——rubric 评测在 HealthBench 等医疗 LLM 评测中已有；视频领域的小规模领域微调也有先例（MedGen、AniSora）；YouTube 配文是常见做法。本文真正新的是把这三者结合到“显微尺度视频仿真”这个此前没有人定义的垂类里，并第一次实证：rubric 评测能可靠地揭示“视觉好但科学错”的失败模式（图 1+表 2），而 9,601 条专家审核数据足以让 1.3B 模型在亚细胞任务上超过所有开源基座（表 1：53.3 vs 52.8）。这给后续“用科学 rubric 作为可验证奖励信号做 RL 微调”（论文末尾的 future work）打开了口子。

Illustration of MicroWorldBench Evaluation Process. A MicroWorldBench example consists of a generated microscopic video and a set of task-specific evaluation criteria written by experts. A MLLM-based scoring system rates responses according to each criterion.
Figure 2: Illustration of MicroWorldBench Evaluation Process. A MicroWorldBench example consists of a generated microscopic video and a set of task-specific evaluation criteria written by experts. A MLLM-based scoring system rates responses according to each criterion.
Overview of our data filtering pipeline. Each stage applies specific filters and shows the volume of data removed and retained.
Figure 3: Overview of our data filtering pipeline. Each stage applies specific filters and shows the volume of data removed and retained.
Distributions of fundamental video attributes in the MicroSim-10K.
Figure 4: Distributions of fundamental video attributes in the MicroSim-10K.
Distributions of video popularity indicators in the MicroSim-10K.
Figure 5: Distributions of video popularity indicators in the MicroSim-10K.
Overview of the data construction process.
Figure 7: Overview of the data construction process.
Actions Log of Three Independent Experts.
Figure 8: Actions Log of Three Independent Experts.
Example of a cell mitosis simulation video frame, taken from an excellent example video on YouTube.
Figure 9: Example of a cell mitosis simulation video frame, taken from an excellent example video on YouTube.
Example of real biological video clips.
Figure 10: Example of real biological video clips.

实验结果

核心实验围绕 MicroWorldBench（表 1、2、4）和人类评估（图 6）展开。表 1 显示，在整体平均分上 Veo3 以 77.2 遥遥领先，Sora 50.7 居次，开源最强 Wan2.1-14B 为 54.8，MicroVerse-1.3B（本文）50.2 略低于基线但仍属于开源第一梯队。表 2 把得分拆成三个维度后真相浮现：开源模型视觉质量普遍 71–92.8 但科学保真度只有 37.8–42.7，而 MicroVerse-1.3B 虽然视觉质量下降到 68.5（−3.3），却把科学保真度推到 43.0（+2.7），是所有开源模型中最高的；同时 Sora 视觉 96.4 但科学保真度仅 35.3，Veo3 视觉 97.0、科学保真度 65.7——再次说明视觉≠正确。表 4 的混合域微调结果最有说服力：1.3B 模型上用 9,601+9,601=19,202 条混合数据训练，科学保真度 44.1、视觉 74.4、指令跟随 53.8 全部超过基线；14B 模型上 19,202 混合数据拿到 48.3/87.7/56.9，是开源模型 SOTA。亚细胞任务（表 1）尤其值得关注：MicroVerse-1.3B 拿到 53.3，超过了 Wan2.1-1.3B（52.4）、Wan2.2-TI2V-5B（49.5）、Wan2.1-14B（52.8）和 Wan2.2-A14B（53.3 持平），是唯一靠 1.3B 就能在最难任务上接近 14B 的模型。人类评估（图 6a）显示 MicroVerse vs Wan2.1-1.3B 在科学保真度上明显胜出，其余维度以平局为主；三位专家的 Cohen’s Kappa=0.81–0.87（表 18），GPT-5 与人类专家的 Spearman 一致性 0.835、与 Gemini-2.5-pro 的一致性 0.835（表 14），证明 rubric 评测本身是可信的。

Performance comparison of different video generation models on MicroWorldBench. Bold indicates the best performance.
Table 1: Performance comparison of different video generation models on MicroWorldBench. Bold indicates the best performance.
Performance comparison of different video generation models on MicroWorldBench (dimension-wise scores). Bold indicates the best performance.
Table 2: Performance comparison of different video generation models on MicroWorldBench (dimension-wise scores). Bold indicates the best performance.
FVD comparison across models (lower is better). The FVD between MicroSim-10K and real biological videos is 123.9, indicating a close distributional alignment.
Table 3: FVD comparison across models (lower is better). The FVD between MicroSim-10K and real biological videos is 123.9, indicating a close distributional alignment.
Impact of Data Scale and Mixed-Domain Training on MicroVerse Performance. Bold indicates the best performance. FT indicates fine-tuning.
Table 4: Impact of Data Scale and Mixed-Domain Training on MicroVerse Performance. Bold indicates the best performance. FT indicates fine-tuning.
Three-level deduplication pipeline results.
Table 5: Three-level deduplication pipeline results.
Task distribution after deduplication.
Table 6: Task distribution after deduplication.
Performance comparison on original vs. clean test set.
Table 7: Performance comparison on original vs. clean test set.
Ablation study on dataset filtering.
Table 8: Ablation study on dataset filtering.
Ablation study on dataset size.
Table 9: Ablation study on dataset size.
Ablation study on CFG rate.
Table 10: Ablation study on CFG rate.
Background information of the experts involved in the evaluation.
Table 11: Background information of the experts involved in the evaluation.
Detailed expert actions during the rubric revision process.
Table 12: Detailed expert actions during the rubric revision process.
Expert intervention frequency across different biological scales.
Table 13: Expert intervention frequency across different biological scales.
Scoring agreement between human experts and LLMs.
Table 14: Scoring agreement between human experts and LLMs.
Agreement across biological scales.
Table 15: Agreement across biological scales.
Detailed hyperparameters used during the training phase of MicroVerse.
Table 16: Detailed hyperparameters used during the training phase of MicroVerse.
Standardized inference parameter settings for model evaluation.
Table 17: Standardized inference parameter settings for model evaluation.
Comparison of Cohen's Kappa values between experts.
Table 18: Comparison of Cohen's Kappa values between experts.
Rubric Example for Cell Mitosis Evaluation.
Table 19: Rubric Example for Cell Mitosis Evaluation.
Dataset statistics for microsimulation classification.
Table 20: Dataset statistics for microsimulation classification.
Human Evaluation and Consistency Results.
Figure 6: Human Evaluation and Consistency Results.
查看结构化数据
任务指标本文基线提升
MicroWorldBench 整体平均（459 任务） 归一化 rubric 总分（0–100） MicroVerse-1.3B: 50.2；14B 混合域: 54.5 量级 Wan2.1-14B: 54.8；Sora: 50.7；Veo3: 77.2 在 1.3B 规模下，混合域微调使科学保真度从 40.3→44.1（+3.8）
Organ-level 仿真（238 任务） rubric 分数 MicroVerse-1.3B: 47.6；14B 混合域: ~57 Wan2.1-14B: 55.7；Sora: 55.9；Veo3: 77.5 14B 混合域在器官任务上接近 Sora，远超 Wan2.1-1.3B (45.9)
Cellular-level 仿真（189 任务） rubric 分数 MicroVerse-1.3B: 51.7；14B 混合域: ~55 Wan2.1-14B: 54.4；Sora: 46.1；Veo3: 76.9 本文 1.3B 已与 14B 持平，明显高于 Sora (+5.6)
Subcellular-level 仿真（32 任务） rubric 分数 MicroVerse-1.3B: 53.3 Wan2.1-14B: 52.8；Sora: 55.0；Veo3: 78.2 以 1.3B 规模超过全部开源基座，是论文核心卖点
Scientific Fidelity 维度（科学保真度） rubric 分数 MicroVerse-1.3B: 43.0；14B 混合域: 48.3 Wan2.1-1.3B: 40.3；Sora: 35.3；Veo3: 65.7 1.3B 上 +2.7（开源最高）；14B 混合域 +5.6
Visual Quality 维度 rubric 分数 MicroVerse-1.3B: 68.5；14B 混合域: 87.7 Wan2.1-1.3B: 71.8；Sora: 96.4；Veo3: 97.0 1.3B 略下降（−3.3），但 14B 混合域重新超过基线（+1.7）
Instruction Following rubric 分数 MicroVerse-1.3B: 49.3；14B 混合域: 56.9 Wan2.1-1.3B: 50.1；Sora: 37.9；Veo3: 77.0 1.3B 持平，14B 混合域 +3.1 并超过 Sora
与真实显微视频的分布距离 FVD（越低越好） MicroSim-10K vs 真实 643 clip: 123.9 Veo3 vs 真实: 118.1；Sora vs 真实: 136.3；Wan2.1-14B: 137.6 MicroSim-10K 与真实分布的距离比 Sora 和 Wan2.1-14B 都更小

局限与改进

作者在文末 LIMITATION 章节明确承认：本文目标是“教育意义的显微仿真”，不追求湿实验级别的可复现性，因此没有显式建模流体动力学、扩散–反应方程、生物力学约束等底层物理。这意味着模型虽然视觉与机制大致正确，但任何需要“定量预测”（如血流量、扩散系数、剪切力分布）的科学场景都不适用。从实验结果看还有几个可观察到的局限：(1) 1.3B 模型在科学保真度上虽然 +2.7，但视觉质量掉了 3.3、指令跟随掉了 0.8（表 2），说明用 9,601 条域内数据直接微调小模型会引发“领域过拟合”，需要靠混合域训练才能缓解；(2) 表 10 的 CFG 消融显示 5% 拿 41.5、10% 拿 43.0、15% 跌到 38.2，说明 CFG 在科学保真度上非常敏感，工程上需要小心调；(3) 表 3 的 FVD 横向比较里，MicroSim-10K 与真实视频的距离（123.9）甚至比 Veo3 的输出（118.1）还稍大，说明数据本身也仍有“模拟/动画偏置”；(4) 基准只覆盖 459 个任务且集中于 CC 授权 YouTube 视频，覆盖面有限（亚细胞只有 32 任务）；(5) rubric 评分完全依赖 GPT-5，存在 LLM 评估的系统性偏差，作者用表 14/15 的 Fleiss’ Kappa 与 Spearman 做了部分缓解但未完全消除。

独立分析的弱点

独立分析可识别的弱点有四：(1) 数据规模与多样性的天花板——9,601 条 clip 看似不少，但按 5–60 秒时长折算大约只有 12–15 小时的视频，相比 Wan2.1 原始训练数据量微乎其微；而且全部来自 YouTube CC 授权内容，亚细胞任务只占 22.4%（图 4a），分布严重偏向 organ-level。改进方向是接入专业显微数据库（如 Cell Image Library、IDR）或与显微镜厂商合作获取真实实验录像。(2) 科学保真度的“仿真”而非“预测”——模型只能复现已知生物过程，无法对未知过程做物理外推，这在论文 LIMITATION 已自承。改进方向是把 PDE 求解器、流体仿真作为可微约束注入损失函数，类似 PINN 思路。(3) LLM-as-a-Judge 的系统性偏差——GPT-5 与专家一致性虽然高（Spearman 0.835），但对“视觉好看但机制错”的样本，LLM 评分往往偏高（smoothing effect）；而且 GPT-5 本身对生物学细节的判断能力有限，rubric 仍有 7.6% 需要专家补充（表 12）。改进方向是引入多模型投票（GPT-5 + Gemini-2.5 + Claude）或训练专用生物学 reward model。(4) 单次推理策略与评估信噪比——每个 prompt 只采一次（Appendix E），意味着评估方差较大，论文没有报告置信区间；rubric 本身也只看最终视频、忽略中间帧的时序一致性。改进方向是每个 prompt 采 3–5 次报告 mean±std，并把 rubric 拆成“关键帧级”和“整段级”两层。

未来方向

作者在结论与 LIMITATION 中给出的方向包括：(i) 把 rubric 当作可验证奖励信号做 RL 微调（受 Baichuan-M2、RaR 启发）；(ii) 显式引入流体力学、扩散–反应等物理约束以扩展到高精度科学仿真；(iii) 接入专业显微数据库以扩充亚细胞任务比例。基于成果我额外提几个可延伸方向：(a) 把 MicroVerse 作为具身智能 agent 的“内部仿真器”，让 agent 在模拟的细胞/血管环境里做药物递送策略学习，类似 World Model for biology；(b) 与 RAG 结合，让模型根据最新论文中的生物机制做条件生成，解决“知识滞后”问题；(c) 把 rubric 体系扩展到 3D/4D 显微数据（光片、共聚焦），从 2D 视频生成升级到 3D 体素生成；(d) 与 Pathak 等人的 CausVid 思路结合，把因果干预（如“敲除 X 基因后细胞如何反应”）作为可控生成条件。

复现评估

复现难度分两层评估。代码与数据层面：GitHub 仓库 https://github.com/FreedomIntelligence/MicroVerse 公开发布，提供 MicroWorldBench 任务、rubric、数据过滤管线；不过根据 ETHICS STATEMENT，作者只发布 YouTube URL 列表而非原始视频，复现时需要自己重新爬取并处理 YouTube API 配额和 CC 授权问题；MicroSim-10K 本身通过 URL+caption 形式分发，意味着复现必须自己跑完整的 12,848→9,601 流程，包括 92% 准确率的 VideoMAE 分类器（Appendix L 给了训练细节）。算力层面：8×NVIDIA H200 全参数微调 1.3B 模型是论文基线配置（5000 步、bs=8、5000 步、lr=1e-5），单卡 H200 租金约 $2–4/h，整轮训练约 30–50 小时即 $100–200 量级；但要复现 14B 混合域微调的 SOTA 结果，算力门槛直接翻 10 倍以上（$1k+）。整体复现难度中等偏高，主要瓶颈不在算法而在“高质量显微视频的获取与审核”——三位博士级专家的参与（图 8 统计他们各做了 271–307 次 rubric 操作、合计处理 1104 次人工干预）几乎不可替代。

论文图表

Failure cases of Sora and Veo3 on Microscale Simulation. Although Sora and Veo3 generate results that appear visually correct, their violations of physical laws are particularly evident.
Figure 1: Failure cases of Sora and Veo3 on Microscale Simulation. Although Sora and Veo3 generate results that appear visually correct, their violations of physical laws are particularly evident.

三个并列的失败案例：(1) 提示“含详细毛细血管的人肺肺泡动画”下，Sora 和 Veo3 都生成了看似真实的彩色渲染，但缺乏真实的肺泡结构与血流时序；(2) 提示“从 1 到 2 再到 4 的细胞分裂简化视频”下，模型生成的细胞形态与分裂顺序都不符合有丝分裂机制；(3) 提示“DNA 通过聚合酶转录为 RNA”时，Sora 生成了不正确的分子几何。每个案例都对比了 Prompt、Real Video、Sora、Veo3 四栏。

这是全文立论的起点——通过具体失败案例证明'视觉好≠机制对'，为引入 MicroWorldBench 和 MicroVerse 提供了动机证据。