行业背景与痛点
当前公开的视频生成模型普遍存在时长上限约束,多数生成结果仅能覆盖数秒到数十秒的短片段,长视频生成过程中容易出现内容断裂、逻辑跳脱、画面一致性丢失等问题。面向长视频生成的技术方案往往需要依赖多段拼接、人工介入调整的流程,额外引入的对齐成本大幅拉高了长视频内容生产的门槛。
现有视频生成架构中,自回归方案的生成效率随时长增加指数级下降,扩散方案在长序列下的时序一致性控制难度极高,两类架构的固有缺陷一直没有得到公开可用的优化方案覆盖。影视内容生产、长短视频批量创作、动态数字人内容生成等场景,始终缺乏可以直接部署在本地环境、支持自定义扩展能力的长视频生成底座。
面向视频生成领域的开源生态此前多聚焦于短片段效果优化,针对长时序生成的底层架构创新成果极少向公众开放,多数相关技术方案仅停留在学术论文层面,没有配套完整的推理代码和可直接使用的模型权重。
项目概述
SkyReels-V2 是 Skywork 团队推出的无限时长影视生成模型系列,2025 年 2 月初代版本正式发布,后续经过多次迭代更新,逐步覆盖从低分辨率到高分辨率的多档模型规格,同时配套发布了周边工具链相关的多个组件。该系列是首个公开使用 AutoRegressive Diffusion-Forcing 架构的视频生成模型,在公开可访问的同类型模型中达到当前最优性能表现。
项目迭代节奏覆盖了从初代以人为中心的视频基础模型,到可控视觉元素组装框架、人像动画框架,再到当前无限时长长视频生成架构的完整技术路径,所有核心能力均以开源形式对外提供,相关资源包括模型权重、推理代码、配套工具组件三类。
技术架构深度分析
该项目核心采用的 AutoRegressive Diffusion-Forcing 架构,将自回归序列生成的时序连续性优势,与扩散模型的画面生成质量优势做了深度融合,没有沿用传统视频生成模型单一的架构设计思路。架构底层把长视频序列拆解为多个连续的短片段单元,每个单元内部使用扩散生成逻辑保障画面细节和渲染质量,单元之间通过自回归的状态传递机制,把前一段生成的隐层特征作为下一段生成的约束条件,从底层机制上避免长视频生成过程中出现的内容跳变问题。
模型权重按照参数量、分辨率、功能方向做了分层设计,不同规格的模型采用相同的底层架构设计逻辑,仅在通道数、注意力头数、采样步长配置上做差异化调整,用户可以根据自身硬件条件选择适配的模型版本。全系列模型原生兼容 PyTorch 训练推理框架,同时完成了 Diffusers 生态的适配工作,不需要额外做复杂的环境适配就能直接接入现有主流视频生成工作流。
核心模块的组织方式分为三层:最底层是扩散生成核心模块,负责单帧画面、短片段的细节渲染,保障生成内容的清晰度和画面质感;中间层是自回归状态传递模块,负责不同生成片段之间的特征对齐、时序逻辑对齐,保障跨片段的人物、场景、运镜逻辑保持一致;最上层是任务适配模块,针对文生视频、图生视频两类不同的输入场景,配置对应的输入编码逻辑,不需要改动底层核心代码就能扩展不同的生成任务类型。
这种架构设计的优势非常明确,既解决了纯自回归视频生成画面细节不足的问题,也规避了纯扩散长视频生成时序一致性失控的缺陷,同时分层的模块设计让后续新功能的迭代不需要重构整个模型体系,后续新增的相机控制、引导蒸馏等功能都可以作为独立模块嵌入现有架构,不会对已有的生成效果造成负面影响。
核心功能详解
无限时长自回归视频生成
模型没有设置硬性的视频生成时长上限,通过片段间的隐状态传递机制,可以持续生成符合上下文逻辑的连续视频内容。当前公开演示案例中,基于该架构生成的30秒视频已经实现了全片段的画面一致性、时序逻辑连贯性,没有出现人物变形、场景跳脱的问题。该能力适用于需要生成数分钟甚至更长连续视频内容的场景,不需要额外做人工的片段拼接调整。
720P高清规格生成支持
系列模型中专门推出了14B参数量的720P文生视频、图生视频版本,生成结果的画面分辨率达到民用内容生产的常用标准。该版本模型针对高清画面的细节渲染做了专项优化,人物边缘、物体纹理、场景光影的表现效果相比540P版本有明显提升。生成的视频内容可以直接用于多数短视频平台的内容发布,不需要额外做分辨率放大处理。
配套视频字幕生成模型SkyCaptioner-V1
该模型专门针对视频内容的时序特征做训练优化,可以自动为生成的视频输出精准的多维度文本描述,覆盖画面内容、运镜方式、时序动作三类核心信息。生成的字幕内容可以反向作为后续同系列视频生成的提示词输入,形成内容生产的闭环,大幅降低长视频批量生成过程中的提示词编写成本。
可控视觉元素组装能力
同系列配套的SkyReels-A2框架支持用户自定义组合任意视觉元素到生成视频中,不需要通过反复调整提示词的方式间接控制生成结果。用户可以指定特定人物、物体、场景元素在视频中的出现位置、出现时长、运动轨迹,生成结果的元素可控度远高于普通文生视频模型。该能力适用于需要精准控制特定内容出现的定制化视频生产场景。
人像图像动画生成能力
同系列配套的SkyReels-A1框架专门针对人像类内容做专项优化,可以将单张静态人像图像直接转化为动作自然、表情连贯的动态视频。生成过程中不会出现常见的人像五官变形、面部崩坏问题,输出结果的写实度符合日常内容生产的使用要求。该能力适用于数字人短视频、人像动态海报等相关场景。
Diffusers生态原生适配
系列模型的540P版本已经完成了Diffusers框架的全量适配,模型权重采用Safetensors格式存储,总大小约80GB。用户不需要自行编写复杂的扩散采样逻辑,直接调用Diffusers库的标准接口就能完成视频生成调用,适配所有基于Diffusers开发的现有视频生成工作流。
图生视频专项生成能力
独立的I2V-14B-720P模型专门针对静态图像转动态视频任务做训练优化,输入单张图像后可以自动生成符合画面风格、场景逻辑的连续动态视频。生成过程中完整保留输入图像的构图、色彩、核心元素特征,不会出现内容篡改或者风格跳变的问题。该能力适用于静态素材批量转化为动态内容的场景。
项目地址:https://github.com/SkyworkAI/SkyReels-V2
⭐ Stars:7676
🔍 来源:GitHub
SkyReels-V2: Infinite-length Film Generative model

微信扫一扫,打赏作者吧~
网友评论