ECCV 2026的一篇Oral论文MAVIN讨论的方向很有代表性让AI从一句提示词出发生成的不再是单一画面或短视频片段而是带有剧本逻辑、多镜头切换的完整成片。简单说以前文生视频常做的事情是“给我一个描述我生成一段画面”而MAVIN要做的是“给我一个故事意图我拆成剧本、分镜再把每个镜头拍出来剪在一起”。这篇文章我会从问题定义、技术链路、复现验证和落地边界几个角度展开适合正在关注AI视频生成、AIGC工作流、短视频自动创作和提示词工程的读者。最值得先理解的一点是多镜头成片不是把几个单镜头生成结果拼起来真正的难度在于跨镜头的角色一致性、叙事逻辑和视觉信息流控制。1. 先看清MAVIN到底解决了什么问题不是“生成画面”是“讲完整段故事”1.1 单镜头生成和真正“按剧本讲故事”之间的落差文生视频发展到现在很多模型已经能够根据一句描述生成几秒钟的动态画面。比如“一个人走在雨后街道上镜头缓慢推进”模型可以输出一段还比较连贯的画面。但这与“按故事逻辑生成多镜头成片”之间还有非常大的差距。差距主要体现在三个层面。第一个层面是内容范围。单镜头生成只需要处理一个场景、一个动作、一个视觉主体。但多镜头成片要处理多个场景、多个出场角色、多条动作线。模型要理解的是完整事件而不只是一个画面描述。第二个层面是上下文依赖。单镜头生成可以不依赖前后信息。多镜头生成完全不同第二个镜头必须延续第一个镜头的事件第三个镜头又要承接前面的状态。镜头之间不是孤立的是连续的因果链。第三个层面是生成结果的可用性。单镜头生成适合做素材、做氛围参考。多镜头成片要给观众看要有叙事推进、有镜头逻辑、有起承转合。这已经不是单纯的画面生成而是带剧本结构的生成。MAVIN选择的方向就是把这种“多镜头成片”作为核心任务来处理。标题里“从一句提示词到多镜头成片”已经点明了输入输出输入是一句自然语言提示词输出不是一段视频而是一个按剧本逻辑组织起来的多个镜头成片。1.2 MAVIN在任务定义上做了哪些改变过去很多视频生成工作输入是文本输出是视频帧序列。MAVIN这类工作更接近“结构化的视频生成”它把生成流程拆成了几个和影视制作流程对齐的阶段。首先是剧本阶段。一句提示词先被展开成一个包含角色、事件、场景、时间线的剧本结构。这个剧本不一定很长但必须包含镜头切换所需的叙事要素。然后是分镜阶段。剧本再被拆成多个镜头单元每个单元包含场景描述、镜头内动作、角色状态、镜头运动方式等信息。分镜是连接文本和视频的关键中间层。最后才是视频生成阶段。每个分镜被送进视频生成器生成对应的画面片段。如果中间层设计得好后续的拼接和一致性处理就会轻松很多。这种任务定义最大的好处是把“讲故事”和“生成画面”分开处理。讲故事由剧本和分镜模块负责生成画面由视频模型负责。两者各管一段问题定位更清晰。如果只是让一个大模型端到端生成多镜头视频也不是完全不可能但控制性会很差。改一个角色名字、调一段镜头顺序都要重新生成。MAVIN这种模块化设计至少让中间过程更可控。1.3 一句提示词作为输入到底够不够用这里有一个绕不开的问题一句提示词的信息量真的足够撑起一个完整视频吗从实际经验看一句提示词往往不够。比如这句“一个女孩在房间里发现一封旧信然后走到窗前回忆过去。”这里就已经包含角色、空间、道具、动作、情绪和时间跨层。如果只有这句话不加任何分镜约束模型很容易在角色长相、服饰、房间布局、信件内容等细节上飘移。所以MAVIN这类系统不可能真的只把一句话直接塞给视频模型。它一定会在内部做两件事一是意图补全把提示词里没有明说但叙事需要的信息补出来二是结构展开把完整事件拆成前后连贯的镜头序列。从技术实现角度看意图补全通常依赖大语言模型的能力。对提示词做语义解析抽取主体、场景、事件、情绪再结合常识补全缺失内容。结构展开则依赖模板或生成式分镜方式。有的系统先用大模型生成分镜表再逐行送进视频生成器。所以读者在理解MAVIN时可以把它理解成一个“脚本系统 视频生成的组合体”而不是又一个单纯升级版的文生视频模型。这个定位很重要后面很多技术选择和边界问题都会从这展开。对比项单镜头生成多镜头成片输入单句场景描述一句话故事意图或结构化剧本输出几秒到几十秒的连续画面按剧本组织的多镜头完整成片核心约束画面质量和文本匹配角色一致性、事件逻辑、镜头衔接中间表示文本即可需要剧本、分镜、状态记录失败特征画面模糊、动作变形角色漂移、场景断裂、叙事混乱2. 核心链路拆解提示词、剧本、分镜与成片之间到底发生了什么2.1 输入解析提示词怎么变成结构化意图任何多镜头成片系统第一步都是把自然语言提示词转化成机器能处理的结构化信息。这一步能做的事比较多。常见的做法包括实体抽取识别角色、地点、物品、时间等关键词。关系抽取判断角色与角色、角色与物品、角色与地点之间的关系。事件抽取提取出“谁在哪儿做了什么”这是后续剧本生成的基础。意图补全把不完整的描述补充成完整事件链。对一句比较简单的提示词这四步可能只需要一次大模型调用。但提示词本身可能很模糊或者信息量不足。比如“一个忙碌的工作日在城市里发生了一些事”这种提示词从实体到事件都是散的。这时候系统需要在解析后做一轮内容生成把模糊意图变成一个具体剧本。这一步做得好不好直接决定后面分镜和视频生成的上限。如果输入解析阶段就把角色、场景、事件搞混后面无论视频模型多强产出的都是一个无法连贯观看的素材堆。2.2 剧本结构设计中间表示是整条链路的核心多镜头成片质量好不好很大程度上看中间表示设计得好不好。如果中间表示太粗比如只有“镜头1、镜头2、镜头3”没有角色状态、场景位置、前后动作衔接那视频模型就算分镜生成也很难保证一致性。如果中间表示太细比如把每个镜头的每一帧动作都写好那生成过程会非常慢而且约束太多模型输出容易出现机械感。比较合理的做法是分层表示。第一层是故事层事件摘要、角色列表、场景列表、时间线。 第二层是分镜层每个镜头的场景、镜头内动作、出场角色、角色状态、镜头运动。 第三层是可选的视觉约束层如果系统需要更强的视觉一致性可以描述首尾帧的内容甚至生成关键帧草稿图。这种分层结构的好处是从自然语言到视频画面的每一步都是可解释、可修改的。改剧本改分镜改某一帧都不需要重新生成整个视频。MAVIN这类系统里剧本结构一般还会包含叙事弧线。也就是影片不是平铺直叙而是有“开始、发展、冲突、解决”这样的结构。加了这一层之后AI生成的故事才算是真正“按剧本讲故事”而不是“把几个画面串在一起”。这里需要特别强调多镜头生成里的“剧本”和影视行业的分集剧本不是一回事。AI剧本不需要对白和台词写得非常细腻但一定要写清楚事件顺序和状态变化。因为在视频生成阶段模型读得懂的是状态转换而不是优美的文学语言。2.3 多镜头生成如何保证镜头之间能接得上分镜设计完成之后就进入视频生成阶段。这一步和普通文生视频最大的不同是镜头之间存在依赖关系。每个镜头不能凭空生成。它要继承前一个镜头的角色外观、场景状态、道具位置。如果镜头1里角色穿红色外套镜头2突然变成蓝色观众立刻会觉得画面断裂。常见的技术处理方式包括用文本描述约束在每个镜头的提示词里额外附加上下文信息比如“继续保持镜1中的角色外观”。用角色表示约束让角色在不同镜头中用同一个视觉编码表示比如角色参考图而不是每镜头重新“想象”一次。用首尾帧约束将前一个镜头的末帧作为下一个镜头的首帧强制视觉衔接。用场景状态记录维护一个场景状态表记录场景中物品位置、角色位置、光照等信息。这些方式各有适用条件。第一种最简单适合镜头之间跨度不大、视觉延续性较强的片段。第二种在角色一致性上效果更好但需要额外的模块来提取和注入角色特征。第三种适合连续性强的动作但会让镜头运动受限画面容易生硬。第四种信息量最大但工程实现成本也最高。实际应用时这几个方案不是互斥的。更常见的是混合使用文本描述负责镜头语义角色参考图负责身份稳定首尾帧负责动作衔接。2.4 输出侧拼镜头不等于剪辑还需要处理边界最后一个阶段是把多个镜头生成结果拼成一个完整视频。这一步看起来简单其实很多问题都藏在这里。首先是格式统一。每个镜头生成时分辨率、帧率、编码格式可能不完全一致需要统一处理。其次是视觉风格统一。不同镜头生成后亮度、色调、颗粒感可能有差异。直接拼接画面会“跳”。轻则加滤镜统一重则做后处理校正。然后是镜头衔接。两个相邻镜头切换的地方如果动作不连续、位置跨度过大观众会感到别扭。有些系统会在镜头边界处做转场处理比如瞬切、淡入淡出、动作匹配剪辑。最后是音频层。实际成片如果要有音乐、旁白、对话就要在输出阶段同步处理。音频轨道的排布通常取决于剧本里的事件节奏而不是在视频生成完之后随机配一条背景音乐。所以输出侧更像是一个小型的后期处理系统而不是简单地“把几个视频文件拼在一起”。这一段的工程量往往被低估。很多人以为多镜头成片的难点只在生成实际上一大半时间会耗在拼接、调色、转场和音频对齐上。3. 多镜头叙事最难的地方一致性、逻辑性与视觉信息流3.1 角色一致性为什么说这是最先要啃的硬骨头多镜头成片和单镜头生成在实现难度上的第一个显著区别就是角色一致性。一个镜头里角色出现一两秒观众可能不太注意细节比如脸部特征、服装颜色、饰品。但只要镜头一切换同一角色再次出现任何变化都会被放大。脸型不一样、发型不一样、衣服颜色不一样都会让成片出现“换角”的感觉。从视觉生成的角度看角色一致性本质上要求模型在多个扩散步、多个镜头间保持对同一个概念的稳定映射。它不是单一时间点上的生成而是跨时间的身份绑定问题。一种常见的做法是提取角色参考图然后在生成时把参考图信息注入每个镜头。这样可以避免每镜头重新定义角色。但参考图本身就很难来自一句提示词模型需要先把提示词中的角色“设计”出来再让这个设计贯穿所有镜头。理解角色一致性还有一个容易忽略的点要区分“角色身份”和“角色状态”。身份是这个人是谁包括脸部、体型、发型等长期特征状态是此刻这个人的表情、动作、姿势等短期信息。如果模型只锁定长相不管表情和动作状态叙事仍然会失败。好的方案要分别处理这两层信息。3.2 镜头之间如何保持事件逻辑视频不是静态图片拼起来的镜头之间要有事件推进。事件推进体现在动作的因果链条上镜头1里角色推门走进房间镜头2里角色走到桌前镜头3里角色拿起一封信。如果中间的因果关系断了观众会把成片理解为“三个无关片段”。事件逻辑的保持主要依赖剧本层的设计。分镜里必须写清楚“上一个镜头的结束状态”和“下一个镜头的开始状态”。状态包括角色位置、动作阶段、场景内物品布局、情绪状态。有了这些字段视频生成器才有机会延续上一镜头的视觉信息。如果系统没有这个状态概念只是把自然语言描述送进视频模型模型很容易“自由发挥”。它会在每个镜头里重新生成一个场景而不会主动继承前一个镜头的视觉结果。这也是多镜头视频生成和单镜头视频生成在方法论上最重要的分界线。3.3 时间线、场景和物件状态的管理多镜头视觉叙事还有一个单镜头生成完全不需要管的问题场景和物件的跨镜头状态管理。一个镜头结束时杯子可能在桌边缘下一个镜头开始时杯子还在同一位置吗角色的手是握着杯子还是已经放下窗帘是拉开的还是关上的这些物件状态看似细节一旦不一致就会降低成片的真实感。工程上这类状态需要以结构化的方式记录下来。分镜表里通常要包含“场景状态”字段描述场景内各个物件的位置和状态还要包含“角色状态”字段描述角色在镜头开始和结束时的动作姿态。这种状态管理说到底是让AI生成的视频从“视觉艺术品”走向“可重复制造的内容产品”。实时生成的连续多镜头视频如果状态控制做不好就是随机拼贴。而MAVIN这类系统把状态放到中间表示里就是为了让镜头之间的可控性提高。注意一段叙事不连贯的成片绝大多数问题出在剧本和分镜阶段而不是视频生成模型本身。很多人在调试时反复调整模型参数效果却一直不好其实就是没有回头检查中间表示。4. 如果你想读懂甚至复现这类方法阅读与动手的切入路径4.1 先看任务定义和评测方式拿到MAVIN论文我不会先看模型结构先看它的任务定义和评测方式。很多论文会把任务定义写得很宽比如“本文提出了一种多镜头视频生成方法”。读的时候要追问输入的提示词是单句还是长文本输出是多个短视频文件还是一个拼接好的长视频镜头数有上限吗角色数量有限制吗有没有对镜头类型的分类评测方式更重要。如果论文只在十几条人工挑选的提示词上做测试那说明任务还处在一个比较早期的研究阶段。如果评测集覆盖了长文本、多角色、复杂事件并且有人工评分和自动指标实用性判断会更可靠。我看论文的习惯是先画一条“输入—中间表示—输出”的线路图把每个阶段输入输出格式写下来。对MAVIN这种工作这条线路图比模型结构图更值得研究。4.2 再看模型结构和方法模块有了任务定义再去看方法模块会顺利很多。MAVIN类系统通常包含几个大模块文本理解模块、剧本生成模块、分镜生成模块、视频生成模块、拼接与后处理模块。阅读时要问几个问题文本理解模块是大模型还是传统NLP流程 剧本生成是端到端生成还是基于模板填充 分镜是如何表示镜头运动的用了镜头运动标签还是自由文本 视频生成模型是扩散模型还是自回归模型 多个镜头是独立生成还是用一个状态缓存串联起来这些问题能帮你看懂论文作者真正想解决的问题。如果论文花了很多篇幅处理分镜结构说明它的核心贡献在中间表示如果论文重点优化了视频生成器说明核心贡献在生成能力。4.3 实验验证看哪些指标和消融实验部分看三点主实验、消融实验、局限性讨论。主实验里作者会和单镜头生成方案、多镜头生成基线做对比。这里要多看自动指标之外的直观结果。视频生成论文的自动指标往往不能完全反映观众感受。最好去看论文附带的视频展示或者作者公开的效果页面这是最直观的判断依据。消融实验通常能揭示关键模块。比如去掉分镜模块、去掉角色一致性约束效果会掉多少如果消融实验没有覆盖关键模块那结论的说服力就要打折。局限性讨论也不能跳过。很多论文在最后一段会写出适用边界比如“不处理音频”“不支持太长时间的视频”“在极端运动场景下会出现角色漂移”。这些边界比论文正文的夸张表述更有价值。4.4 如果要在本地复现完整流程怎么走论文阅读之后如果打算复现我的建议是分四个阶段走。一开始不要想着完整复现MAVIN工作量太大而且很多模块的细节在论文里不一定写全。阶段验证内容建议优先级提示词到分镜文本理解与剧本结构设计一定要做成本最低单镜头生成画面质量与文本匹配一定要做验证生成器能力多镜头一致性角色和场景跨镜头稳定第二个阶段需要额外模型或参考图拼接与后处理输出稳定性、格式统一、色调一致最后做工程细节最多第一阶段把最小流程跑通。先只用提示词到分镜的生成把分镜结果打印出来看看结构是否合理。这一步不需要GPU资源成本低也能确认文本理解是否可靠。第二阶段做单镜头生成验证。随机选一个分镜喂给现有的文生视频模型观察输出和描述是否匹配。这时可以先用一个轻量级模型测试不要直接上最大的模型。第三阶段做多镜头一致性控制。把角色状态、场景状态写成分镜的附加字段重新生成同一角色在多个镜头中的画面对比外观是否稳定。可以先用两个镜头的小集合测。第四阶段拼接与后处理。把生成的多个镜头片段在时间轴上拼接起来统一分辨率、帧率和色调。注意观察镜头边界切换是否自然。这个复现路径的重点不是把论文原封不动跑通而是通过小规模试验理解每个模块在不同条件下的行为。真要把MAVIN完整复现需要训练或者至少调优视频生成模型工作量非常大不建议个人开发者从零开始。5. 评估多镜头成片质量哪些指标可信哪些指标要小心5.1 帧质量类指标不能代表成片质量视频生成领域常见的自动指标包括FID、FVD、CLIP Score等。这些指标在单镜头视频生成里能大致反映画面质量和文本匹配程度但在多镜头成片里它们的作用非常有限。原因很简单多镜头成片的质量除了帧和画面还包括镜头之间的关系。FVD可以度量一个视频段的整体分布距离但对“角色一致性”“事件逻辑性”这样的语义连接基本无感。CLIP Score可以计算文本和图像之间的匹配度但分镜文本和生成画面匹配不代表整个故事的叙事连贯。所以看MAVIN类型的论文不要只盯自动指标。如果论文作者没有在自动指标之外提供可视化结果、用户调研或错误案例分析那说服力会低很多。5.2 时序一致性和叙事连贯性怎么评估针对多镜头成片更合适的评估思路是拆分维度。第一个维度是镜头内质量单看每个镜头的画面是否清晰、动作是否自然、文本描述是否匹配。 第二个维度是跨镜头一致性角色外观、场景布局、道具状态在连续镜头中是否保持一致。 第三个维度是叙事连贯性镜头顺序是否符合事件逻辑观众能否理解整体故事。跨镜头一致性的评估通常会从相邻镜头中选择角色或场景做相似度计算。比如用特征提取网络计算同一角色在不同镜头中的向量距离值越低说明一致性越好。叙事连贯性则更难量化往往需要人看视频后打分。5.3 人工评估怎么设计才靠谱人工评估多镜头视频比评单镜头视频更复杂。我见过的比较合理的评估方式是让评估者按几个维度分别打分不要只给一个整体分。评估维度主要看什么常用方式镜头内质量画面清晰度、运动自然度、生成伪影自动指标 人眼跨镜头一致性角色、场景、物件在镜头间是否一致特征相似度、人工对比叙事连贯性镜头顺序是否符合事件逻辑人工评分、错误案例整体观影体验是否像一部完整短片人工整体打分打分时评估者应该能看到完整成片也能看到分镜文本。如果只看成片、不看分镜评估很难区分“故事本身没写好”和“画面生成没拍好”。5.4 指标、例子和错误类型要一起看论文复现和对比效果时我会把指标和错误类型一起分析。有的方法自动指标不错但失败案例集中在角色外观漂移有的方法指标一般却能在个别复杂长故事上给出惊人结果。建议读者在看MAVIN或同类工作评估时多关注论文里的“失败案例展示”。一个工作能说清自己在什么情况下会失败比它只展示成功案例更值得信赖。看指标可以但不能只看指标图像和视频类工作的最终判断标准是“人眼是否觉得自然”而不是“FVD是否降了几个点”。6. MAVIN类方案落地时的边界与排查经验6.1 硬件与运行成本边界多镜头成片系统的计算成本比单镜头生成高很多。每多一个镜头就要多做一次视频生成每多一个角色就要多维护一份角色约束。如果还加入拼接、后期和音频处理运行链路会非常长。如果只是拿论文里的方法做验证可以在单卡GPU上跑一两个镜头的小流程。但要跑完整多镜头成片显存和内存需求会明显上涨。常见情况下长视频或多镜头并行生成会碰到显存不足。没有论文明确配置时别假设能在个人电脑上流畅复现。我的建议是先算镜头数乘以每镜头时长乘以单次生成消耗再估算总资源。如果单镜头生成要30秒10个镜头就是5分钟这还不算拼接和后处理。实际工程里速度瓶颈往往不是模型推理本身而是前后处理流程中的多次编解码。6.2 长视频和时间成本的控制对生产级应用来说时间成本比硬件成本更容易被忽视。多镜头成片一般需要逐镜头排队生成。如果每个镜头都要调用一次大模型整体耗时就会线性增长。想缩短时间可以并行生成多个镜头但并行又会增加显存占用而且会造成镜头间状态同步更困难。折中的做法是分批次并行比如每次都并行生成同一个关键帧约束下的多个镜头。这样既能提高吞吐又不会让场景状态完全失控。镜头数多的项目最好提前做一个任务队列按依赖关系排序避免某几个镜头卡住影响整个项目。6.3 常见失败模式多镜头成片最常见的失败模式有以下几种失败类型表现优先排查方向角色漂移换镜头后角色外观变化角色参考是否注入所有镜头场景断裂切换后场景布局变化过大分镜中的场景状态字段事件丢失镜头连起来没有因果关系剧本层的叙事弧线设计色调不一致镜头间明暗差异明显拼接阶段统一色调内容重复镜头构图和景别过于相似分镜表的镜头运动定义角色漂移是最容易被感知的问题。一个角色在画面里明明一直长一个样到了第三个镜头突然换了一张脸观众第一反应就是“这视频是假的”。这类问题一般不是模型完全做不到而是角色特征没有在下游镜头里被持续引用。场景断裂通常被误判为“模型能力不足”。实际上如果分镜表里根本没有场景状态字段那视频生成器自然也不会去保持场景布局。不是它做不到是它不知道要做什么。事件丢失最隐蔽。它经常表现为每个镜头单独看都正常但连在一起就不知所云。这种情况往往在剧本层就出了问题事件链条的因果不明确。修改时应该回到分镜表检查上下镜头是否都包含“触发事件”和“结果状态”。6.4 排查链路先查输入、再查中间、再查生成遇到多镜头成片效果不好不要一上来就怀疑视频生成模型。我的排查顺序是这样的。先查输入提示词是否包含完整事件。如果提示词本身信息不足后面所有模块都会受影响。把提示词扩充到“角色场景事件时间顺序”四要素后再试。再看分镜表。把分镜表打印出来逐条看每个镜头是否有明确的场景、角色状态、动作、镜头运动。如果分镜本身就是散的生成出来的画面必然是散的。然后查关键帧或角色参考。如果系统使用了角色嵌入或参考图检查参考是否在每一镜头中都生效。这一步最容易出问题因为它通常需要额外的前向计算。最后才看视频生成模型。确认模型版本、输入尺寸、分辨率参数是否合理。大部分时候问题出在生成的前置环节而不是模型本身的生成能力。注意生成结果不连贯时优先检查分镜表里的“场景状态”和“角色状态”而不是急着调整视频模型参数。大部分多镜头叙事问题都能在分镜阶段找到根因。6.5 工业级落地的建议如果要把MAVIN这类系统做成产品我建议从三个方向考虑。第一把中间表示做成可编辑结构。让运营人员可以直接改剧本、改分镜而不是只能改提示词。可编辑性是工业级AIGC工具最被低估的能力。用户需要的不是“你替我生成一个完美视频”而是“我可以反复调整直到满意”。第二把一致性控制做成可插拔模块。角色一致性方法可以迭代分镜格式可以扩展。核心的是接口设计不是某一版模型。今天用参考图方案明天可能要换成更精细的身份编码接口不稳后面都会返工。第三把后处理链路做稳。多镜头成片的可用性一半取决于后期拼接质量。统一分辨率、帧率、色调以及音频对齐这些环节必须有可重复执行的流水线。不要用“手动处理一张是一张”的方式做生产项目。注意多镜头成片并不是所有场景都需要。如果业务只是做短视频素材、单场景效果展示单镜头生成加上简单的裁剪拼接已经够用。只有真正需要叙事逻辑、角色贯穿、镜头切换的内容比如短剧、漫剧、品牌故事片才值得投入MAVIN这类方案。从论文到产品之间其实还有很长的路。MAVIN这类研究工作最大的价值是把“多镜头叙事”从一句模糊口号变成了一个可以拆解、可以评估、可以优化的任务。它没有解决所有问题但至少让“把一句话变成一部小短片”这件事有了更清晰的执行框架。我自己更看重的收获是多镜头成片的技术含量很大程度上不在视频模型本身而在剧本结构、分镜设计和一致性控制这些看起来没有那么“炫”的中间环节。这些部分做得越稳成片的叙事水平才越高。