InfinityStory：具有世界一致性和角色感知镜头转换的无限视频生成 InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions
通过位置注入和多角色转换建模实现长叙事视频生成
前置知识
Image-to-Video (I2V) 生成
I2V 是指从单张参考图像生成连续视频帧的技术。给定一张关键帧图像，I2V 模型会基于该图像的视觉内容（如场景布局、角色外观）生成一段短视频。在本文中，I2V 用于生成叙事性镜头（奇数索引镜头），模型会将融合了角色和背景的关键帧图像作为输入，生成约5秒的视频片段。I2V 的核心挑战在于保持生成帧与输入图像的一致性，同时产生自然的运动。
本文的整个生成流水线依赖 I2V 模型来生成叙事镜头，理解 I2V 的工作原理是理解本文架构的基础。
First-Last-Frame-to-Video (FLF2V)
FLF2V 是一种视频插值/生成技术，给定视频的第一帧和最后一帧，生成中间的过渡帧。与普通视频插值不同，FLF2V 可以处理两帧之间存在较大差异的情况（如角色出现/消失）。在本文中，作者对 Wan2.1-FLF2V-14B 模型进行 LoRA 微调，使其能够处理多角色过渡场景，包括角色入场、退场和替换。
FLF2V 是本文处理镜头间平滑转换的核心技术，作者专门构建了数据集并微调该模型来解决多角色过渡问题。
多智能体规划系统
多智能体系统是指使用多个专门化的 LLM 代理协同完成复杂任务的架构。每个代理负责一个特定子任务（如章节规划、场景设计、镜头分解），通过结构化输出（JSON）将约束和信息传递给下游代理。本文采用四层级联架构：Chapter Agent → Location Agent → Scene Agent → Shot Agent，每层都带有内部推理链和程序化验证。
理解多智能体规划系统的工作方式是理解本文如何将一个长故事分解为可管理的视频生成任务的关键。
背景一致性问题
在长视频生成中，背景一致性是指同一个场景内的不同镜头应保持相同的环境布局、光照和空间关系。现有方法通常在每个镜头独立生成背景，导致微小偏差逐帧累积，产生场景漂移。本文通过预先生成固定的位置库（Location Library），将每个场景绑定到特定位置，并在所有镜头中复用同一背景图像来解决这个问题。
背景一致性是本文要解决的三个核心挑战之一，也是本文最显著的性能优势来源。
多角色过渡建模
多角色过渡是指在镜头切换时，多个角色可能同时进入、退出或相互替换的复杂场景。现有方法通常只处理单角色场景，或者简单拼接独立生成的片段，导致角色突然出现或消失。本文定义了显式的过渡元数据，包含前一镜头、当前镜头、下一镜头的角色集合以及进出角色列表和移动类型，来显式建模这些过渡，其中移动类型包括 Entry、Exit、No Change 和 Combination 四种。
这是本文的另一核心创新，作者专门构建了 10,000 个合成过渡视频来训练 FLF2V 模型处理这些场景。
VBench 评估体系
VBench 是一个全面的视频生成模型评估基准套件，包含多个维度的自动指标。其中 Image Quality 使用 MUSIQ 预测器评估图像质量，Subject Consistency 使用 DINO 相似度评估角色外观一致性，Background Consistency 使用 CLIP 特征相似度评估背景时间一致性，Aesthetic Quality 使用 LAION 美学预测器，Motion Smoothness 使用视频帧插值模型的运动先验来评估运动平滑度。
本文使用 VBench 作为主要评估框架，理解这些指标的含义对于解读实验结果至关重要。
研究动机
长叙事视频生成面临三个根本性挑战。首先是背景一致性问题：现有方法如 V3GAN、VideoStudio 和 ConsistI2V 主要关注前景角色一致性，将背景隐式处理。当背景与运动主体一起重新生成时，微小的偏差会在镜头间累积，导致外观、光照和空间布局的漂移。MovieAgent、Long Context Tuning 和 Captain Cinema 等方法依赖提示词来描述背景，但每个镜头的背景描述不同会导致位置在镜头间不断变化。其次是镜头间转换问题：大多数流水线独立生成视频片段然后拼接，产生生硬的剪辑。虽然 CineTrans 和 HoloCine 推进了转换质量，但它们缺乏多角色过渡建模能力，当多个角色在镜头间进入、退出或相互替换时，角色会突然出现或消失。第三是可扩展性问题：现有方法通常只能生成 4-16 秒的短片段，缺乏长期视觉一致性。
本文的目标是本文的目标是构建一个能够生成小时级长叙事视频的框架，同时保持世界级别的视觉一致性和电影级的镜头转换质量。具体而言，框架需要：（1）在场景内保持背景一致性，确保同一场景的所有镜头共享相同的环境布局；（2）实现平滑的多角色镜头间转换，处理角色入场、退场和替换等复杂场景；（3）通过多智能体系统将长故事自动分解为结构化的章节、场景和镜头，实现端到端的可扩展生成。
与已有工作不同的是，本文的独特切入角度在于三个关键设计决策。第一，作者将背景生成与前景动态解耦：预先生成固定的位置库，每个场景绑定到特定位置，通过持续的位置注入来保持背景稳定，而不是依赖提示词或隐式建模。第二，作者首次系统性地研究了多角色电影级镜头转换，构建了包含 10,000 个合成过渡视频的数据集，涵盖入场、退场、无变化、组合和替换五种过渡类别。第三，作者采用奇偶交替的镜头结构：奇数镜头使用 I2V 生成叙事内容，偶数镜头使用微调的 FLF2V 模型生成过渡，这种设计让过渡模型从实际视觉状态而非预定义关键帧开始生成，使转换更加自然。
核心方法
InfinityStory 的整体思路可以分为两个层面。在宏观层面，它采用四层级联的多智能体规划系统（Chapter → Location → Scene → Shot），将一个长故事自动分解为结构化的生成任务。每层代理都接收上游的约束信息，产生带有内部推理链的结构化输出，支持程序化检索、验证和约束检查。在微观层面，对于每个镜头的生成，作者采用背景注入策略：首先为每个位置生成固定的背景图像，然后通过 I2I 模型将角色参考图像融合到背景中生成关键帧，最后使用 I2V（奇数镜头）或 FLF2V（偶数镜头）生成视频。这种分层设计既保证了长期叙事结构的一致性，又确保了单个镜头内的视觉质量。
本文的核心创新在于将长视频生成问题分解为三个可独立优化的子问题：背景一致性、角色一致性和镜头转换。与已有方法的本质区别体现在三个方面。第一，已有方法如 MovieAgent 和 MAViS 依赖提示词来维持背景一致性，但同一场景的不同镜头的背景描述可能不同，导致背景漂移。本文通过预生成固定位置库并强制每个场景绑定到特定位置，从架构上保证了背景一致性。第二，已有过渡方法如 CineTrans 通过注意力引导的扩散模型处理单主体过渡，但无法处理多角色场景。本文定义了显式的过渡元数据，包含前一镜头、当前镜头、下一镜头的角色集合以及进出角色列表和移动类型，首次系统性地解决了多角色过渡问题。第三，已有方法在所有镜头使用相同类型的生成模型，本文创新性地采用奇偶交替结构，叙事镜头用 I2V，过渡镜头用专门微调的 FLF2V。
方法步骤详情
整个方法包含四个主要阶段。第一阶段是多智能体叙事规划：Chapter Agent 分析故事结构，将故事分解为 10-20 个章节，输出人物关系、创意规划笔记和每章元数据；Location Agent 构建可复用的位置库，每个位置包含单词名称和 2-3 句背景描述；Scene Agent 将每个章节扩展为场景，每个场景必须选择恰好一个位置、使用章节允许的角色集、包含奇数个镜头以确保 I2V/FLF2V 交替结构；Shot Agent 将每个场景分解为镜头，奇数镜头包含关键帧指令，偶数镜头包含显式的过渡元数据。第二阶段是背景一致性增强：使用 T2I 模型为每个位置生成规范背景图像，然后对每个镜头使用 I2I 模型将角色参考图像融合到背景中生成关键帧，并通过感知损失惩罚背景漂移。第三阶段是合成数据创建：使用四阶段流水线（Agentic Planning → T2V Generation → VLM Filtering → FLF2V Training）生成 10,000 个过渡视频，经过 VLM 过滤后保留 3,980 个（39.8%）合格视频。第四阶段是模型微调：使用 LoRA 对 Wan2.1-FLF2V-14B 进行微调，使其能够处理多角色过渡场景。
技术新颖性
本文的技术新颖性体现在多个层面。首先，Cinematic Multi-Subject Transition Synthesis (CMTS) 是一个全新的任务定义，它要求模型在镜头切换时显式处理多个角色的入场、退场和替换，同时保持电影级的视觉质量。这是首次有人系统性地定义和解决这个问题。其次，过渡元数据的设计是创新性的，它将抽象的镜头切换语义（如角色 A 从左侧走进，角色 B 向右侧走出）编码为结构化的信息，使 FLF2V 模型能够学习特定的过渡模式。第三，奇偶交替的镜头生成结构是一个巧妙的设计：让 FLF2V 模型从前一个 I2V 镜头的最后一帧开始生成，而不是从预定义关键帧开始，这使得过渡更加自然，因为模型可以从实际的视觉状态开始。第四，VLM 过滤策略使用零容忍的角色计数，确保训练数据中角色数量的准确性，这是保证模型学习正确过渡模式的关键。第五，选择性交叉镜头记忆门控机制在保持身份和布局一致性的同时限制漂移，实现了对长序列的用户可控场景稳定性。
实验结果
在 VBench 评估基准上，InfinityStory 在 TinyStories 数据集的 10 个故事上取得了最强的整体性能。最显著的优势来自两个方面：首先，本文的场景保持视频生成策略通过背景注入将每个场景的全局布局固定下来；其次，代理规划和角色感知条件实现了准确的角色引用，跨镜头一致性通过多角色过渡机制进一步保证。具体而言，InfinityStory 获得了最高的 Subject Consistency（82.11），比次优的 StableDiffusion+Wan2.1（78.54）高出 3.57 个百分点；最高的 Background Consistency（88.94），比次优的 StoryAdapter+Wan（88.64）高出 0.30 个百分点；以及最佳的平均排名 2.80，显著优于所有基线。在图像质量（73.64）和美学分数（64.47）方面，本文略低于某些基线，这是因为流水线在 480p 分辨率运行（而底层生成器 Wan2.2 在 720p 表现最佳），且编辑模块 OmniGen2 在图像编辑操作中会引入视觉伪影。在运动平滑度（98.58）方面，本文与其他基线竞争力相当，表明一致性聚焦的设计并未损害时间连贯性。消融实验进一步验证了各组件的有效性：移除背景注入导致 Subject Consistency 下降 3.6、Background Consistency 下降 1.6；移除多角色过渡导致 Motion Smoothness 从 98.58 降至 97.63，Aesthetic 从 64.47 降至 63.00。人类评估研究（20 名参与者评估 20 个视频）也确认了 InfinityStory 的优势：在背景一致性（59.32 vs 32.20 vs 8.47）、运动平滑度（55.93 vs 30.51 vs 13.56）和图像质量与美学（50.85 vs 33.90 vs 15.25）等所有指标上均显著优于 MovieAgent 和 Video-Gen-of-Thought。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 视频生成 - 背景一致性 | Background Consistency (CLIP 相似度) | 88.94 | StoryAdapter+Wan: 88.64, MovieAgent: 79.84 | 比次优高 0.30，比 MovieAgent 高 9.10 |
| 视频生成 - 角色一致性 | Subject Consistency (DINO 相似度) | 82.11 | StableDiffusion+Wan2.1: 78.54, VoT: 75.11 | 比次优高 3.57，比 VoT 高 7.00 |
| 视频生成 - 综合排名 | Average Rank (跨指标平均排名) | 2.80 | StableDiffusion+Wan2.1: 3.40, StoryAdapter+Wan: 3.60 | 比次优低 0.60（越低越好） |
| 视频生成 - 图像质量 | Image Quality (MUSIQ) | 73.64 | StableDiffusion+Wan2.1: 76.93, StoryAdapter+Wan: 75.96 | 略低于最佳基线 3.29 |
| 视频生成 - 美学质量 | Aesthetic Quality (LAION 预测器) | 64.47 | VoT: 74.91, StoryAdapter+Wan: 73.38 | 略低于最佳基线 10.44 |
| 视频生成 - 运动平滑度 | Motion Smoothness (帧插值先验) | 98.58 | MovieAgent: 99.01, VoT: 99.25 | 略低于最佳基线 0.67 |
| 人类评估 - 背景一致性 | 用户偏好百分比 | 59.32 | MovieAgent: 32.20, VoT: 8.47 | 比 MovieAgent 高 27.12 |
| 人类评估 - 运动平滑度 | 用户偏好百分比 | 55.93 | MovieAgent: 30.51, VoT: 13.56 | 比 MovieAgent 高 25.42 |
局限与改进
本文存在几个明显的局限性。首先，FLF2V 过渡模型对未见过的角色组合和复杂故事情节的泛化能力有限，这是因为训练数据（3,980 个过滤后的视频）主要覆盖的是相对简单的过渡场景。其次，图像质量和美学分数略低于某些基线，主要原因是流水线在 480p 分辨率运行而底层生成器 Wan2.2 在 720p 表现最佳，以及 OmniGen2 编辑模块在角色注入时会引入视觉伪影。第三，VBench 的 Dynamic Degree 指标可能不完全适用于评估叙事视频质量，因为它只衡量运动幅度而非叙事一致性或语义正确性——InfinityStory 的 Dynamic Degree 为 53.35，处于中等水平，但这反映的是场景连续性设计而非质量问题。第四，评估仅在 10 个 TinyStories 故事上进行，样本量较小，可能无法充分代表各种叙事类型和复杂度。第五，流水线的计算成本较高，涉及多个代理调用和多次视频生成，实际部署时可能面临效率挑战。
独立分析的弱点
从独立分析的角度，本文存在几个值得关注的弱点。第一，VLM 过滤后仅保留 39.8% 的生成视频，这意味着超过 60% 的计算资源被浪费，过滤效率有待提高。改进方向可以是先用更轻量的模型进行初筛，或者优化代理规划阶段以生成更高质量的初始提示词。第二，背景注入依赖 OmniGen2 进行图像编辑，该模块会引入视觉伪影影响感知质量，可以探索更先进的角色注入技术或直接在潜空间进行融合。第三，FLF2V 模型的泛化能力有限，仅在 3,980 个视频上微调可能不足以覆盖所有过渡模式，需要更大规模、更多样化的训练数据。第四，评估基准单一，仅使用 VBench 的 5 个指标，缺乏对叙事连贯性、故事逻辑和情感表达等高级维度的评估。第五，流水线缺乏端到端优化，各个组件（代理规划、背景生成、I2V、FLF2V）是独立训练的，可能存在误差累积。
未来方向
作者在论文中提到将探索扩展过渡数据集并引入多提示词监督来进一步增强鲁棒性和叙事灵活性。基于本文的成果，可以延伸出几个有前景的研究方向。第一，可以探索自适应背景注入策略，根据场景的动态程度自动调整背景保持的强度，避免过度约束导致的运动僵硬。第二，可以引入音频和对话同步，将当前的视觉流水线扩展为音视频联合生成系统。第三，可以探索交互式故事生成，允许用户在生成过程中修改角色、场景或剧情走向。第四，可以研究更高效的过渡模型架构，减少对大量标注数据的依赖，例如通过少样本学习或迁移学习来处理罕见的过渡场景。第五，可以探索将本文的背景一致性和多角色过渡技术应用到其他视频生成任务，如虚拟主播、游戏过场动画或教育视频制作。
复现评估
从复现角度来看，本文的复现难度较高。数据方面，作者承诺将公开完整的 10,000 序列数据集，但目前尚未发布。代码方面，论文没有明确说明是否会开源代码，但从描述来看，流水线涉及多个独立组件（多智能体系统、T2I 模型、I2I 模型、I2V 模型、FLF2V 模型、VLM 过滤器），每个组件都有自己的依赖和配置。算力方面，使用了 Wan2.1-FLF2V-14B（140 亿参数）进行 LoRA 微调，加上 Wan2.2 生成视频和 OmniGen2 进行图像编辑，估计需要多块高端 GPU。复现还需要配置多个 LLM 代理（用于四层规划系统），每个代理的提示词和输出格式都有严格要求。总体而言，完全复现该工作需要显著的计算资源、多个预训练模型的访问权限，以及对多智能体系统和视频生成流水线的深入理解。
论文图表