谷歌 DeepMind 推CAT4D:AI魔法突破次元壁,普通视频活变3D大片

谷歌 DeepMind 推CAT4D:AI魔法突破次元壁,普通视频活变3D大片
2025年01月04日 14:00 网易新闻

IT之家 1 月 4 日消息,科技媒体 The Decoder 昨日(1 月 3 日)发布博文,报道称谷歌 DeepMind 联合哥伦比亚大学、加州大学圣地亚哥分校的研究人员,开发了一款名为 CAT4D 的 AI 系统,可以将普通视频转化为动态 3D 场景,降低了 3D 内容创作的门槛,为多个行业带来了新的可能性。

CAT4D 系统利用扩散模型,将单视角拍摄的视频转换为多视角视图,并将其构建成动态 3D 场景,用户可以从不同角度观看视频中的主体,如同置身其中。IT之家附上演示图如下:

以往,实现类似效果需要多台摄像机同时录制同一场景,而 CAT4D 则简化了这一流程,只需普通视频素材即可,这项技术有望革新游戏开发、电影制作和增强现实等领域。

在训练 AI 过程中,谷歌 DeepMind 团队发现没有太多现有数据,为了解决这个问题,团队混合真实世界的镜头与计算机生成的内容,训练数据包括静态场景的多视图图像、单视角视频和合成 4D 数据,通过扩散模型学习,在特定时刻从特定角度创建图像。

该系统现阶段所生成的 3D 场景,比原始素材要短,但 CAT4D 的成像质量已优于同类系统。CAT4D 技术具有广泛的应用前景。游戏开发者可以利用它创建虚拟环境,电影制作人和 AR 开发者也可以将其融入到工作流程中。

海量资讯、精准解读,尽在新浪财经APP
谷歌 3D DeepMind AI it之家

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 01-14 富岭股份 001356 --
  • 01-13 超研股份 301602 --
  • 01-13 兴福电子 688545 --
  • 01-06 惠通科技 301601 11.8
  • 01-06 思看科技 688583 33.46
  • 新浪首页 语音播报 相关新闻 返回顶部