用一张人物照片生成1分钟唯美视频，商汤Vimi入选“镇馆之宝”

转自：上观新闻

今天开幕的2024世界人工智能大会上，商汤科技研发的可控人物视频生成大模型Vimi入选本届大会展览“镇馆之宝”，成为最有创新性的展品之一。Vimi基于“日日新”大模型，只通过一张人物照片，就能生成一段1分钟左右的人物视频，并支持动画、声音、文字等多种元素的驱动方式。这个大模型已在商汤科技官网开放预约，邀个人用户体验。

研发团队介绍，随着大模型和生成式人工智能技术的快速发展，让照片中的人物动起来已不是新鲜事，但市场上的这类产品在应用中存在诸多痛点，有的人物动作和表情无法精准控制，只能频繁尝试各种Prompt；有的效果稳定性不高，人物长相、背景效果变幻莫测；有的时长有限，只能生成3—4秒视频，无法满足视频创作者的使用需求。为了解决这些问题，这家人工智能企业研发出可控人物视频生成大模型Vimi。

可控人物视频生成大模型Vimi

与图片表情控制类技术只能控制头部表情不同，Vimi不但可以实现精准的人物表情控制，还可在半身区域内控制照片中人物的自然肢体变化，并自动生成与人物相符的头发、服饰和背景变化。同时，光影变化也能合理生成，让人物动作和视觉效果流畅自然，画面和谐美观。

Vimi还具有很强的稳定性，能生成长达1分钟的单镜头人物类视频。画面效果不会随着时间的变化而劣化或失真，可满足娱乐互动对长时间稳定视频的需求。

据悉，这个大模型将面向C端用户开放，有望满足以女性为主的用户娱乐创作需求。用户只需上传不同角度的高清人物图片，它就能自动生成其数字分身和不同风格的写真视频。视频中的人物不会表情呆板、动作迟钝，而是搭配手势和肢体运动，做出完整、统一的人物动作，让创作者基于生成的视频素材进行剪辑和再创作。

Vimi生成的表情包动图

对于喜欢自拍的用户，Vimi可支持聊天、唱歌、舞动等多种娱乐互动场景；对于爱用表情包的用户，这个大模型通过单张图片即可驱动生成各种趣味的人物表情包，玩法多样。它还能提供唯美写真风、奇幻风等多种生成风格，让用户仿佛穿越不同次元，体验沉浸式视觉效果。

Vimi生成的兵马俑表情包

随着短视频、网络直播行业的快速发展，以人物为主体的视频需求量急剧增长。在生成式人工智能领域，市场上还缺少可控人物视频生成类产品。Vimi的出现，有望为广大视频创作者提供一款AI创作工具，应用于人物类短视频的高效创作。

栏目主编：黄海华

海量资讯、精准解读，尽在新浪财经APP