苹果 Depth Pro登场:0.3 秒零样本从单张 2D 图片生成 3D 深度图

苹果 Depth Pro登场:0.3 秒零样本从单张 2D 图片生成 3D 深度图
2024年10月05日 14:23 网易新闻

IT之家 10 月 5 日消息,科技媒体 venturebeat 昨日(10 月 4 日)发布博文,报道称苹果 AI 科研团队发布了名为 Depth Pro 的全新 AI 模型,不需要传统相机数据预测,能够在几分之一秒内从单张 2D 图像生成详细的 3D 深度图。

该论文标题为《Depth Pro: Sharp Monocular Metric Depth in Less Than a Second》,是单目深度估计(Monocular Depth Estimation)领域的一次重大突破,整个过程仅使用一幅图像来推断深度信息。

对比苹果的 Depth Pro、Marigold、Depth Anything v2 和 Metric3D v2 的深度图。Depth Pro 在捕捉毛发和鸟笼铁丝等细节方面表现出色,仅需 0.3 秒即可生成清晰、高分辨率的深度图,在准确性和细节上超过其他模型。

根据论文介绍,该模型由 Aleksei Bochkovskii 和 Vladlen Koltun 团队领导,声称 Depth Pro 是同类型总生成速度最快、最准确的系统之一。

Depth Pro 在传统 GPU 上可以在 0.3 秒内生成高分辨率深度图,创建的图片共有 225 万像素,具有卓越的清晰度,能够捕捉到头发和植物等其它方法常常忽略的细节。

Depth Pro 真正与众不同之处在于它能够估计相对深度和绝对深度,这一能力被称为“度量深度”(Metric depth)。

Depth Pro 不需要在特定领域数据集上进行广泛训练即可做出准确预测,这一特性被称为“零样本学习”,这意味着该模型可以提供真实的测量数据,对增强现实(AR)等应用至关重要。

Depth Pro 目前已经在 Github 平台上开源,并鼓励开发者在机器人技术、制造业和医疗保健等领域进一步探索 Depth Pro 的潜力。

IT之家附上参考地址

海量资讯、精准解读,尽在新浪财经APP
苹果 3D

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 10-16 新铝时代 301613 --
  • 10-15 苏州天脉 301626 --
  • 10-08 托普云农 301556 14.5
  • 09-30 上大股份 301522 6.88
  • 09-25 强邦新材 001279 9.68
  • 新浪首页 语音播报 相关新闻 返回顶部