苹果 Depth Pro AI 模型掀起 AR 变革:零样本学习,单张 2D 图片 0.3 秒内变高清 3D

苹果 Depth Pro AI 模型掀起 AR 变革:零样本学习,单张 2D 图片 0.3 秒内变高清 3D
2024年10月05日 14:01 IT之家

IT之家 10 月 5 日消息,科技媒体 venturebeat 昨日(10 月 4 日)发布博文,报道称苹果 AI 科研团队发布了名为 Depth Pro 的全新 AI 模型,不需要传统相机数据预测,能够在几分之一秒内从单张 2D 图像生成详细的 3D 深度图。

该论文标题为《Depth Pro: Sharp Monocular Metric Depth in Less Than a Second》,是单目深度估计(Monocular Depth Estimation)领域的一次重大突破,整个过程仅使用一幅图像来推断深度信息。

对比苹果的  Depth Pro、Marigold、Depth Anything v2 和 Metric3D v2 的深度图。Depth Pro  在捕捉毛发和鸟笼铁丝等细节方面表现出色,仅需 0.3 秒即可生成清晰、高分辨率的深度图,在准确性和细节上超过其他模型。

根据论文介绍,该模型由 Aleksei Bochkovskii 和 Vladlen Koltun 团队领导,声称 Depth Pro 是同类型总生成速度最快、最准确的系统之一。

Depth Pro 在传统 GPU 上可以在 0.3 秒内生成高分辨率深度图,创建的图片共有 225 万像素,具有卓越的清晰度,能够捕捉到头发和植物等其它方法常常忽略的细节。

Depth Pro 真正与众不同之处在于它能够估计相对深度和绝对深度,这一能力被称为“度量深度”(Metric depth)。

Depth Pro 不需要在特定领域数据集上进行广泛训练即可做出准确预测,这一特性被称为“零样本学习”,这意味着该模型可以提供真实的测量数据,对增强现实(AR)等应用至关重要。

Depth Pro 目前已经在 Github 平台上开源,并鼓励开发者在机器人技术、制造业和医疗保健等领域进一步探索 Depth Pro 的潜力。

IT之家附上参考地址

苹果AIAR
新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片