OpenAI发布首个视频大模型Sora,一句话生成一分钟视频

OpenAI发布首个视频大模型Sora,一句话生成一分钟视频
2024年02月16日 14:52 21世纪经济报道

专题:OpenAI发布首个视频生成模型Sora:输文字出视频

21世纪经济报道见习记者肖潇 北京报道

OpenAI在AI生成视频领域扔出一枚“王炸”。当地时间2月15日,OpenAI发布了第一个文生视频大模型Sora。这一模型可以根据用户输入的提示词生成长达一分钟的高清视频,虽然还没公开使用,但已经引发了热议。 

在官方分享的演示视频中,Sora可以直接输出有多个角色、多种场景和运镜的画面。比如一段提示词为:镜头穿过熙熙攘攘的东京街道,跟随几个人享受雪天并逛街。在Sora生成的视频中,镜头从天空的雪花中俯冲,跟着一对牵手的情侣,走过日本风格的街道。

OpenAI官方演示视频OpenAI官方演示视频

AI视频的运用可以追溯到2022年。初创公司Runway被认为是这一技术领域的“鼻祖”,热门科幻电影《瞬息全宇宙》就用到了其视频编辑技术。从那时起,AI视频技术开始快速迭代,以Runway、Pika、Meta(Emu Video)为代表的公司进入竞争赛道。不过,这些AI视频大多只能维持几秒钟的长度,存在场景不逼真、元素闪现、运动不连贯等“一眼AI”的问题。

而在OpenAI目前公开的48个演示视频里,无论是猫踩醒被窝里的主人,模仿手机拍摄的尼日利亚街道,还是中国的春节舞龙活动......几乎看不出AI生成的痕迹。OpenAI解释,Sora不仅能满足提示词的要求,还理解各种物体在物理世界的存在方式。实现的最关键的一处技术突破是,“画面主体即使暂时离开镜头,也能保持不变。”因此生成视频的逼真度和连贯性有了肉眼可见的进步。

一位硅谷AI公司的从业者告诉21记者,根据她的使用体验,Sora在演示视频中展现的能力远远超Pika和Runway,“Pika只能生成3-15秒的视频,Sora能直接生成一分钟的视频。从画面效果和时长来看,Sora肯定是一个重要突破。” 

业内普遍认为,Sora能力的提升,主要来自高质量的数据集,以及准确的语言理解能力。OpenAI 没有透露训练视频的大小、来源,只声称训练的是公开有版权的视频。前述从业者认为,Sora无疑有巨大的数据量,因此能够支持多大的调用量,视频加载和渲染有多少延迟,都将是后续挑战。“真正投入使用会是什么样?能不能达到官方演示的效果?”还是一个未知数。

OpenAI已经公开承认了一些Sora存在的缺陷:它可能难以呈现复杂的物理变化规律,无法理解因果关系,混淆空间细节。例如在演示视频中,一位寿星向生日蛋糕上的蜡烛吹气,但蜡烛没有任何变化;或者篮球直接穿透了篮筐,而不是从篮筐中进球。

值得注意的是,Sora目前定性为初期研究成果,不面向公众使用,因为公司担心深度伪造视频的滥用问题。现在只有一部分视觉艺术家、设计师和电影制作人有内部试用机会。此外,OpenAI 还在与第三方安全测试人员共享该模型,进行红队测试。 

在安全问题上,Sora 已经包含了一个过滤器,阻止暴力、色情、仇恨,以及特定人物的视频输出。公司还将借鉴去年在DALL-E 3 上实验的图像探测器,把C2PA技术标准——一种内容追溯方式,也可以理解为内容水印——嵌入到Sora的输出视频中,以鉴别视频是否为AI深度伪造视频。

(作者:肖潇 编辑:王俊)

AI
新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片