面向生成式视频创作的可文本原生界面

Doki 把整个视频工程塞进一个文档：用文字定义资产、写剧本、生成镜头。

前置知识

生成式视频模型（Text-to-Video）

指接受文本或图像输入、直接合成视频片段的扩散模型或流匹配模型，代表系统包括 Runway、Pika、Kling 以及 Google Veo 3。Veo 3 默认输出 8 秒片段，并能同步生成对白、音效和环境声；Runway Gen4 输出 5 秒片段；本文 Doki 的视频后端默认使用 Veo 3 Fast。

Doki 本身不重新发明视频生成模型，它把 Veo/Flux Kontext 当作"引擎"调用，理解这种"高层界面 + 底层模型"的分层才能读懂它的设计取舍。

动态文档（Dynamic Documents）

动态文档是一种允许自由书写、按需逐步结构化的富文本媒介，代表研究如 Ink & Switch 的 Potluck、Embark，以及商业产品 Notion、OpenAI Canvas。它的核心思想是"渐进式丰富"：从一段松散的文字出发，按需加入结构、计算行为或交互元素，而不被预先定义的模式束缚。

Doki 直接借鉴动态文档理念，把视频创作重新定义为"对动态文档的书写"——文档既可被人读，又可被 AI 执行，这是它与传统 NLE（Premiere、Final Cut）最大的设计分野。

@提及与 #标签（Mentions & Hashtags）

在社交媒体语境下分别用于指代实体和描述属性。论文把它迁移到文档创作中：@mention 充当"名词"，引用角色、场景、道具等可复用资产；#hashtag 充当"形容词"，描述风格、镜头、构图、氛围等全局属性。任何一个定义被修改，所有引用都会同步更新。

这是 Doki 实现"参数化一致性"的语法基础，没有这套机制，角色就会在不同镜头之间漂移，跨片段叙事也无法成立。

拆分注意力效应（Split-Attention Effect）

认知负荷理论中的经典现象：当同一信息需要在多个分离视图（例如时间线、监视器、脚本面板）之间来回对照时，学习者/操作者的注意力被分散，工作记忆负担上升，完成任务的效率和准确率都会下降。Chandler & Sweller (1992) 的研究是这条文献的起点。

论文用这条理论解释为什么"Bento Box"式多面板界面会拖慢创作流程；Doki 把所有视图统一成单个文本，正是在回应这一效应。

系统可用性量表（System Usability Scale, SUS）

由 John Brooke 在 1996 年提出的标准化问卷，由 10 个 5 级李克特题组成，总分换算为 0–100。Bangor 等 (2008) 给出经验区间：高于 72.5 属"良好"，高于 85 属"优秀"。论文中 SUS 被用作 Doki 用户体验的核心量化指标，并报告领域基准均值为 68。

Doki 的 SUS 平均 81.2 落在"优秀"区间（90–95 百分位），是论文中最关键的量化证据，决定了全文的论证强度。

研究动机

视频创作长期依赖非线性编辑器（NLE），这些工具擅长细粒度剪辑但学习曲线陡峭，且天然以"减法"流程为中心——先拍素材，再剪掉不要的部分。论文通过实地观察总结出三类创作者（资产优先、剧本优先、探索式）共同遇到的四个核心痛点（C1–C4）：(C1) 工具碎片化——完成一个简单短片要在文本编辑器、图像生成器、视频模型、配音工具、NLE 之间来回切换 3–5 个工具，格式频繁转换造成持续上下文切换；(C2) Prompt 工程压倒叙事——30 镜头视频需要写 30 条独立且冗长的 prompt，每次还要为保持一致性重新描述角色、场景、色调，P2 反映"我每次都要重写一遍设定、人物和语气"；(C3) 跨镜头一致性崩塌——即使有参考图，同一角色在不同镜头仍会"漂移"，P2 不得不同时维护多张参考帧手动切换；(C4) 输出与预期偏离——文本到视频模型平均只有 8 秒/镜头（P1 提到"很多视频里有奇怪的乱字，根本去不掉"），缺乏可预期性，专业创作者尤其感到失望。

本文的目标是论文要设计并验证一种"以文本为原生载体"的视频创作范式，让用户从构思到成片都在同一个文档里完成，无需切换格式或界面。具体可量化目标包括：(1) 在 10 人一周的日记研究中实现 SUS 平均 ≥ 80（"优秀"门槛）；(2) 让新手在 50 分钟内完成一个端到端视频（要求每天至少 50 分钟、5 天产出 2–3 条完整视频）；(3) 在文本原生界面下同时支持人工写作、AI 协作、参数化一致性、音频与镜头生成四类任务；(4) 系统保持极简，"几乎没有需要学习的机制"。最终目标是让 Doki 既能成为新手的创作入口，又能成为专业人员的快速故事板与粗剪工具。

与已有工作不同的是，已有工作要么停留在"剪现有素材"的减法范式（Descript、QuickCut、Write-A-Video），要么把 AI 局限在单镜头生成层面（Runway、Pika、Veo 的产品形态），要么虽然探索了多模态协同创作（VideOrigami、ExpressEdit、LAVE）但仍采用"多面板 Bento Box"布局，无法从根本上解决拆分注意力效应。论文敏锐地指出真正缺的不是更聪明的模型，而是"表征层"——一个对人和 AI 都同样可读、可编辑、可执行的中间表示。论文还观察到，关于动态文档的研究（Potluck、Embark）已经在笔记/计划任务上验证了"渐进式结构化"的有效性，但还没有人把这一思路推到视频这种高维、含时序的媒介里。Doki 正好填补了"动态文档 × 生成式视频"这个交叉空白。

核心方法

Doki 的核心直觉非常优雅：把视频当成一篇文章来写。具体来说，整个文档对应一部视频，每个段落对应一组镜头（sequence），每个句子对应一个具体镜头（shot）。用户在文档里用自然语言写剧本，期间通过 `/` 斜杠菜单插入角色、场景、风格、镜头等"可执行元素"，这些元素既是文档的语义组成部分，又会触发后台的图像/视频生成管线。整个创作过程始终围绕一个中心化的文本表示展开——人读它能理解故事，AI 读它能解析成结构化 prompt，模型生成结果又会被嵌入回这份文本中，于是"写、改、看"三个动作发生在同一空间，从根本上消除了 Bento Box 式多视图带来的认知切换成本。

Doki 与已有视频生成工具的本质区别在于它把"表示层"提升为一等公民。Runway/Pika/Veo 把 prompt 当成一次性输入直接产出视频，Descript/VideOrigami 把多视图拼接但仍需要人去协调，Doki 则提出了一份"document as video"的单一规范表示：用户提示 → 引用解析 → 结构化 prompt → 重写 prompt → 引用图检索 → 图先于视频的两阶段生成。这套表示自带@提及和#标签的参数化机制，使角色、场景、风格的修改能自动传播到所有镜头，并使任何文本层级的修改都能精确追溯到下游生成产物（镜头右下角的"outdated"红点就是这种可追溯性的体现）。进一步，Doki 引入 Sidebar Agent 与 Inline Agent 两个 AI 协作者，但所有 AI 操作都以结构化 JSON 编辑指令落到文档上（带可视高亮、可撤销），把 AI 的"黑盒输出"翻译成"对文档的可解释修改"，从而构造出人类与 AI 共享的工作空间（common ground）。

方法步骤详情

完整的端到端流程可以拆解为八个步骤。第一步：用户通过 `/` 斜杠菜单定义可复用资产，例如 `Character @Pandi = a little red panda` 描述角色，`Scene @airport = a small regional airport terminal` 描述场景，`Style #all = Photorealistic` 设定全局风格；可选地为某个定义附加一张视觉参考图，Doki 会优先用图像作为后续生成的锚点。第二步：用户撰写文档——段落对应 sequence、句子对应 shot，在需要起新镜头处插入 `/ → New Shot` 插入的 shot 节点，随后写镜头描述，如 `@Hedgehog driving his @bus #3D`。第三步：用户对镜头点击段落左侧的"画笔"按钮触发图像生成，系统会按 `text → image` 流程出静态预览（Imagen 4 单价 $0.04）。第四步：图像就绪后用户点击"场记板"触发视频生成，Veo 3 Fast 单价 $3.20/8 秒片段，文本中的方括号 `[...]` 同步作为语音/音乐/SFX 指令传入 Veo 3 的音频通道。第五步：在后台，系统执行"参考解析 → 结构化 prompt → 重写 prompt"三段管线——首先把 `@Hedgehog` 解析为它的定义块，把 `@bus` 与 `#3D` 同样解析；然后让 LLM（G1：Gemini 2.5 Flash）把结构化 prompt 重写为图像生成器友好的自然语言 prompt，并把同一段落里上一个镜头的图像作为 in-context 引用，最多 4 张图同时送给 Flux Kontext Pro；视频阶段还有一个独立的视频 rewriter 强调运动和时序，并注入 negative prompt 防多余音效。第六步：当用户修改任何定义或镜头文本，依赖图会重新计算并把所有下游镜头标记为 outdated（小红点），下次点击生成按钮时算法 1 决定先刷新图像还是直接生成视频。第七步：AI Agent 层——Sidebar Agent（基于 Gemini 2.5 Flash/Pro + 对话记忆）可以处理"把故事搬到纽约、主角改成猫"这种跨段落任务，输出是一组 typed JSON 编辑指令；Inline Agent 则在被选中的文本上弹出 Enhance、Create Definition、Custom Request 三种气泡动作，例如把"a young boy"转成 `@Character` 定义后再让 AI 给"他戴顶帽子"。第八步：导出阶段支持三种格式——完整渲染视频、逐镜头 zip、JSON 工程文件，方便跨设备或外接到其他 NLE。所有这些步骤都发生在同一个文档里，没有第二个面板、第二个时间线、第二个故事板。

技术新颖性

技术新颖性体现在四个层面。第一，结构上首次提出"document as video, paragraph as sequence, sentence as shot"的三层语义映射，让文档结构直接镜像电影制作逻辑，这是之前的工作没有显式建立的。第二，参数化一致性机制创新——把社交媒体里的 @mention/#hashtag 语法搬进富文本编辑（基于 TipTap），并配合"global definition（命名 all）+ 标题层级 scoped definition"实现自动作用域管理，避免在每个镜头里重复写设定。第三，生成管线创新——把 prompt 拆成 user / structured / rewritten 三层，并首次让 LLM 作为"prompt rewriter"显式承担从结构化指令到生成器友好自然语言的桥接；图先于视频的两阶段管线 + 段落内"前序镜头图像作为 in-context 参考"是显式的工程创新。第四，AI Agent 协作创新——所有 AI 修改都被序列化为 JSON editing API 并带 description 字段高亮回文档，让 AI 的修改对人完全透明、可撤销、可比较，这种"文档即人机共享工作空间"的范式是 Doki 对人机协作文献的核心贡献。

**Figure 1**: Doki is a text-native video authoring interface that creates generative videos within a single document.

**Figure 3**: Two basic example workflows in Doki: Alice and Bob.

**Figure 5**: Writing consecutive shots within a single paragraph.

**Figure 6**: Creating definitions in Doki.

**Figure 7**: Adding variants to a definition and shot.

**Figure 8**: Authors can apply definitions globally (#all =) or scope them to specific sections via headings.

**Figure 9**: Three types of inline agent actions: Enhance, Create Definition, Custom Request.

**Figure 10**: Doki's shot generation pipeline.

实验结果

论文以 10 人、为期一周的日记研究作为主要验证手段（RQ1 评估体验、RQ2 梳理工作流、RQ3 分析经验差异）。量化层面：(1) 平均每会话使用 91.7 分钟（SD=45.5, 范围 40–217），超过最低要求的 50 分钟，说明用户自愿沉浸其中；(2) 平均每会话生成 45.5 张图（SD=33.2）和 20.3 条视频（SD=15.8），单位时间生产率约 0.6 图/分钟、0.3 视频/分钟；(3) SUS 平均分 81.2（SD=8.9, 中位数 83.8, 范围 62.5–90.0），9 人评分在 72.5 及以上，处于 Bangor 等定义的"Excellent"区间，相当于把行业基准 68 抬到了 90–95 百分位，learnability 子量表的中位数同为 81.2；(4) 每日单题满意度均值 7.48/10（SD=1.68, 中位数 8.0），重复测量 ANOVA 显示五天内没有显著变化（p=0.42），说明上手曲线平缓。功能使用频次排名：导出 96%、镜头生成 90%、视频播放器 90%、#hashtag 定义 82%、@mention 定义 78%、变体生成 76%、Sidebar Agent 74%、音频 68%、Inline Agent 50%，标题层级 scoped style 最少用（24%）。作品层面：10 人共产出 46 条视频，平均时长 67.14 秒（SD=35.97, 范围 15.04–184.04），分布涵盖故事（8 人）、教学（1 人）、广告（3 例）、音乐 MV（1 例）以及超现实/ASMR 实验片，验证了系统支持多种视频类型。质性结论按 RQ 维度展开——RQ1：9/10 觉得易用，P8 提到"不用切换窗口能省下大量时间"，P5 报告平均 15 分钟做一分钟以上视频，P8 用 Doki 在 10 分钟内做了 5 条 30 秒的世界狗日系列；6 人肯定参数化定义让角色不再随机漂移，P10 说"不用反复写同一关键词保持一致性"，但 9 人指出精确控制仍然受限（P1 抱怨视频里出现"去不掉"的乱字，P9 说"想要特定构图就不行了"）；RQ2：8 人会先让 AI 出文字草稿，6 人几乎完全让 AI 主导，P4 描述工作流随熟练度从"完全手写→混合→全 AI"迁移，但即便如此用户在创作中仍保持强烈的"导演感"所有权——P1 引用安迪·沃霍尔"艺术是艺术家做选择的过程"；RQ3：3 位几乎没用过 AI 的新手通过 Doki 做出了自己以前根本不会尝试的视频，P10 提到"我没有绘画经验，但能用它做动画"；专业动画师 P5、P7 仍坚持手绘并强调"动画行业标准比 Doki 现在的输出高得多"；P2 作为专业 filmmaker 几乎全流程交给 AI 创作出研究中最出色的视频之一，P1 把 Doki 与 Veo 3、Google Flow、自研系统对比后认为 Doki 的跨场景一致性"做到了以前做不到的事"。

**Table 1**: System Usability Scale (SUS) scores and subscales (Usability and Learnability) across participant roles, video creation frequency, and generative AI tool use.

**Figure 11**: Example frames from videos created by participants in our diary study.

**Figure 12**: Additional features in Doki.

**Figure 13**: Doki interface usage analytics.

查看结构化数据

任务	指标	本文	基线	提升
系统综合可用性评估	SUS 平均分 (0–100)	81.2 (SD=8.9, 中位数 83.8, 范围 62.5–90.0)	Bangor 等公开基准均值 68	比基准高约 13 分，落在"Excellent"区间，相当于 90–95 百分位
每日满意度	单题 1–10 评分	7.48/10 (SD=1.68, 中位数 8.0)	无直接对照	五天重复测量 ANOVA p=0.42，无显著下降，说明学习曲线平稳
创作吞吐量（图像）	每分钟图像产出数	约 0.6 图/分钟	无直接对照	会话平均产出 45.5 张图，单会话时长 91.7 分钟
创作吞吐量（视频）	每分钟视频片段产出数	约 0.3 视频/分钟	无直接对照	会话平均产出 20.3 条视频片段
可用性学习性	SUS Learnability 子量表	中位数 81.2	未给出对照	落入"Excellent"区间，与总分一致，说明易学性是体验的关键支柱
P5 短片生产效率	每分钟视频耗时	约 15 分钟做 1 分钟以上视频	传统逐帧动画约 2 个月/分钟	速度提升约 5760 倍（两个月约 5760×15 分钟），但作者强调产出仍带"明显 AI 感"

局限与改进

作者在 Discussion 与 Future Work 中坦承了多个局限。第一，线性文档表示难以表达时序并发：参与者 P8 制作音乐 MV 时难以让音频跨段落异步播放或对齐，pre-lap dialogue、J/L cut、cross-dissolve、match cut 等基于时间轴的转场都难以表达，方括号 [SFX door slam +1.2s] 这类轻量时间原语还只是建议阶段。第二，模型可控性不足——9/10 用户反映输出与 prompt 偏离，P1 抱怨视频里出现"去不掉"的乱字，P9 强调"想要特定构图就不行"，P10 想把自己绘本里的具象构图还原只达到 80% 相似度，这说明文本原生界面对"心中已有视觉参考"的专业用户仍然吃力。第三，AI 依赖与作者权之间存在张力——虽然参与者主观上仍感到自己是"导演"，但 8/10 用户在创作中大量让 AI 出草稿，论文作者也警告"低门槛创作不自动等于高质量故事"，部分视频虽然流程完整但叙事弧并不吸引人。第四，作用域设计局限——heading-scoped style 仅在 24% 的会话中被使用，说明非专业用户对"全局/局部样式切换"这一概念并不天然熟悉。第五，专业用户难以迁移已有技艺——动画师 P5/P7 反映"我的绘画和镜头语言经验在 Doki 里用不上"，P10 说"我会拍片技巧但不知道怎么用词描述"。

独立分析的弱点

我独立观察到的弱点可以归纳为四点。第一，参数化粒度还不够细：当前风格只有 #Style、#Camera、#Composition、#Ambience 四大类，且都是字符串描述，没有为镜头预留暴露"焦距/光圈/帧率"等可结构化参数，建议扩展为 `Camera #PandiClose = focal=85mm, aperture=f/2.8, movement=dolly-in` 形式，让传统摄影语言直接落地。第二，跨文档一致性缺失：每个文档里的 `@Pandi` 是独立资产，作者无法在多个 Doki 项目之间共享角色库，建议引入全局资产注册表或支持类似 npm 的命名空间（如 `@shared/Pandi`）。第三，对生成失败的兜底不足：算法 1 只区分 loading/can-generate-video/can-generate-image 三态，没有捕捉"模型拒绝生成"或"安全策略触发"的情形，用户面对静默失败只能盲目重试；建议增加显式错误反馈和"降级重试"按钮（如自动退到 Veo 2 跑一遍）。第四，AI Agent 编辑权限粒度过粗：当前 Inline Agent 的 Create Definition 会一次性替换原文（带 description 提示），但对"我想定义但保留原文作为注释"这类常见需求无能为力，建议增加 dry-run 预览或同时插入定义与参考行的"轻量定义"模式。第五，时间对齐工具薄弱——Bracket 语法 [music fade in 4s] 只是文本，没有任何播放预览帮助作者对齐节拍；可以增加 hover 时弹出的迷你时间轴，把方括号解析为可视化时间标记。

未来方向

作者在 Future Work 中明确提出三个方向：(1) 引入叙事支架（narrative scaffolds）——三幕结构、A/B/C 情节模板、轻量诊断（节拍不均、主角缺位）来弥补"易上手不等于会讲故事"的差距；(2) 扩展时间原语——`#Tempo=110 BPM`、`#CrossDissolve 12f`、`#JCut` 等参数化转场与节拍标记，让线性文档获得部分时间轴能力；(3) 把文档作为人机共创的通用中间表示——即便系统未来从 prompt box 起步，输出也应该是文档而非渲染视频，让 AI 操作对人始终透明、可修订。基于成果可延伸的方向还包括：把 Doki 范式迁移到 3D 场景生成、交互式故事或游戏剧情脚本；将参数化定义做成社区可分享的"风格包"形成生态；引入版本控制（git-like diff）和多人实时协作，让文档本身成为视频协作的新载体；以及与 Adobe 自家产品线（Premiere、After Effects）做更深度的双向链接。

复现评估

复现门槛整体偏低。系统层面：前端使用 TypeScript + React + TipTap 富文本编辑器 + Zustand 状态管理，后端 Node.js + FFmpeg 视频处理，技术栈成熟，论文附录 9.1 给出完整的 JSON 工程文件结构样例（包含 shots、tags、mentions、hashtags 字段）。模型层面：默认配置使用 Gemini 2.5 Flash（文本）、Flux Kontext Pro（图像）、Veo 3 Fast（视频），附录 9.3 列出可选替代——Veo 2/3/3 Fast、Runway Gen4、Imagen 4 Fast/Ultra、Ideogram 3.0、Flux Kontext Max、Gemini 2.5 Flash Preview (nano-banana)，其中 Veo 3、Veo 3 Fast 与 Gemini 2.5 Flash Preview 支持音频/图像上下文。算力与成本层面：图像生成约 $0.04/张（Imagen 4），视频约 $3.20/8 秒片段（Veo 3），会议中的 35 个会话可观测到完整成本曲线（见 Figure 13），作者把成本监控面板做成了产品内建功能。复现难点主要在 API 接入和 prompt rewriter 的精细指令（附录 9.4 给出了图像/视频 rewriter 的设计原则，但完整 prompt 仅在 supplementary 中）；建议复现者先在 Veo 3 配额充足的账号上跑通 Alice 工作流，再扩展到 Bob 的 agent 路径。数据集方面无需自有数据，但日记研究的参与者招募脚本和访谈提纲并未公开。

面向生成式视频创作的可文本原生界面 A Text-Native Interface for Generative Video Authoring