快手“可灵”大模型发布图生视频功能

6月21日，快手的视频生成大模型“可灵”再进化，正式推出图生视频功能，支持用任意静态图像生成5s视频，并且可搭配不同的文本内容，实现丰富的视觉叙事。

上传经典油画《蒙娜丽莎》，可灵能够让蒙娜丽莎戴上墨镜，并赋予她灵动的眼神交流，让名画中的人物活灵活现——这正是可灵图生视频功能的生动实践。

给自己戴上墨镜的“蒙娜丽莎”。  快手 供图

此前，“可灵”在文生视频方面已经展现出了创造逼真运动场景、精确模拟物理特性的能力，以及将复杂概念巧妙融合的“技艺”，其输出堪比电影级画质，并允许用户自由调节视频的纵横比。而这些特性，如今都被融入到了图生视频模型。用户只需上传一张图片，即能基于对图像的解析变静为动，赋予其5秒的鲜活生命力。

得益于其基础模型架构中的3D时空联合注意力机制，可灵在构建复杂时空运动方面也展现了实力。这使得模型在转换静态图像为动态视频时，能够细腻、准确地实现大幅度运动场景。例如，上传一张牧羊犬追球的静止照片，模型就能生成一段牧羊犬奔跑追逐的视频。同时，可灵图生视频模型还融入了提示词融合技术，深化了对图像语义与用户指令的理解整合。这意味着，模型能够根据用户提供的不同文本指令变换视频中的动态表现。

可灵大模型还新推出了视频续写功能，用户只需一键操作，即可在已生成视频的基础上延续生成约5秒内容，该功能同时适用于文生视频和图生视频。通过连续多次续写，能够最长生产约3分钟的连贯视频。

在近日于美国举行的计算机视觉和模式识别大会（CVPR2024）上，快手发布了可灵大模型的图生视频和视频续写等功能，引起积极反响。据了解，今年快手共有8篇论文入选CVPR2024，彰显了其在该领域的研究功底。