视频时代需要自己的基础设施。VideoSys 的目标是使视频生成对于每个人而言都简便、迅速且成本低廉。
自今年起,OpenAI 的 Sora 和其他基于 DiT 的视频生成模型在 AI 领域掀起了又一波浪潮。但由于起步较晚,视频生成领域的很多基础设施都还有待完善。
今年 2 月份,新加坡国立大学尤洋团队开源的一个名为 OpenDiT 的项目为训练和部署 DiT 模型打开了新思路。这是一个易于使用、快速且内存高效的系统,专门用于提高 DiT 应用程序的训练和推理效率,包括文本到视频生成和文本到图像生成。
项目上线后非常受欢迎,尤洋团队也一直在继续这方面的工作,包括增加对 Open-Sora 等模型的支持,开发 DSP、PAB 加速技术等。
![](http://n.sinaimg.cn/spider20240824/636/w1080h356/20240824/c65c-71ce23a370cdb2bd45653685363367cd.png)
最近,他们更是把这些进展都融合到了一起,开发出了一个名为 VideoSys 的视频生成系统。
![](http://n.sinaimg.cn/spider20240824/161/w1080h681/20240824/d3dc-295df1a814a371b5fd23c490a9e45f89.png)
团队表示,与 LLM 不同,视频模型要处理长序列和复杂的执行流程。并且模型的每个组件都具有独特的特征,对内存和计算提出了不同的挑战。
VideoSys 是一个简单高效的视频生成系统,旨在让视频生成对于每个人而言都简便、迅速且成本低廉。
![](http://n.sinaimg.cn/spider20240824/768/w989h1379/20240824/56ba-3de522b68fa9b54da75637e42e89ce9b.png)
此外,它还是一个开源项目,为视频生成提供了一个用户友好的高性能基础设施。这个全面的工具包将支持从训练、推理到服务和压缩的整个 pipeline。它标志着视频生成的新篇章。
![](http://n.sinaimg.cn/spider20240824/7/w991h1416/20240824/a6b5-a12b11659d72daea526acbdd6ffcce5e.png)
从 OpenDiT 到 VideoSys,尤洋团队的相关工作已经收获了 1.4k 的 star 量。
![](http://n.sinaimg.cn/spider20240824/771/w1080h491/20240824/5730-405df0ea79d703e69e75223103dde444.png)
项目链接:https://github.com/NUS-HPC-AI-Lab/VideoSys
VideoSys 的安装、使用方法和相关技术如下。
安装方法
安装准备:
Python >= 3.10
PyTorch >= 1.13(建议使用 2.0 以上版本)
CUDA >= 11.6
强烈建议使用 Anaconda 创建一个新环境(Python>=3.10)来运行示例:
conda create -n videosys python=3.10 -y
conda activate videosys
安装 VideoSys:
git clone https://github.com/NUS-HPC-AI-Lab/VideoSyscd VideoSys
pip install -e .
使用方法
VideoSys 通过各种加速技术支持许多扩散模型,使这些模型能够运行得更快并消耗更少的内存。
你可以在下表中找到所有可用模型及其支持的加速技术。
![](http://n.sinaimg.cn/spider20240824/693/w1080h413/20240824/23ee-fc23089c371aae9b7fd21e722353ca3b.png)
加速技术
Pyramid Attention Broadcast (PAB)
![](http://n.sinaimg.cn/spider20240824/614/w1080h334/20240824/bba9-579665798004cfe12792be906a56a029.png)
PAB 是业内第一种可以实时输出的、基于 DiT 的视频生成方法,无需任何训练即可提供无损质量。通过减少冗余注意力计算,PAB 实现了高达 21.6 FPS 的帧率和 10.6 倍的加速,同时不会牺牲包括 Open-Sora、Open-Sora-Plan 和 Latte 在内的基于 DiT 的视频生成模型的质量。值得注意的是,作为一种不需要训练的方法,PAB 可以为任何未来基于 DiT 的视频生成模型提供加速,让其具备实时生成的能力。详情请参见机器之心报道:《史上首个实时 AI 视频生成技术:DiT 通用,速度提升 10.6 倍》
论文:https://arxiv.org/abs/2408.12588
博客:https://arxiv.org/abs/2403.10266
文档:https://github.com/NUS-HPC-AI-Lab/VideoSys/blob/master/docs/pab.md
Dyanmic Sequence Parallelism(DSP)
DSP 是一种新颖、优雅、超高效的序列并行算法,适用于 Open-Sora、Latte 等多维 transformer 架构。
与 sota 序列并行方法 DeepSpeed Ulysses 相比,它在 Open-Sora 中实现了 3 倍的训练加速和 2 倍的推理加速。对于 10 秒(80 帧)的 512x512 视频,Open-Sora 的推理延迟如下:
![](http://n.sinaimg.cn/spider20240824/467/w1080h187/20240824/d29a-0962b12be23f3b790daa853d8d5b960a.png)
论文:https://arxiv.org/abs/2403.10266
文档:https://github.com/NUS-HPC-AI-Lab/VideoSys/blob/master/docs/dsp.md
更多详细信息请参考该项目 Github 界面。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)