视觉-语言-行动模型为自动驾驶开辟了四级前沿

视觉-语言-行动模型为自动驾驶开辟了四级前沿
2025年12月12日 11:39 电子产品世界

安全实现端到端自动驾驶,既是 L4 级自动驾驶技术的核心所在,也是该技术尚未普及的主要原因。L3 级与 L4 级自动驾驶的核心区别在于是否需要人类介入:L3 级自动驾驶车辆发出接管提示时,驾驶员必须随时准备接手车辆操控;而 L4 级自动驾驶车辆在规定的运行范围内,全程无需人类干预。

随着行业向可扩展、AI驱动的四级解决方案迈进,NVIDIA刚刚发布了名为Alpamayo-R1(AR1)的新开源软件,旨在加快自动驾驶汽车的发展速度。该软件利用生成式人工智能和大型语言模型(LLMs),这是一种基于大量文本数据训练的人工智能系统,能够理解并生成类人语言,使自动驾驶系统能够以类人推理和适应力解决复杂的驾驶情境。

Alpamayo-R1 是一种视觉-语言-行动模型,将推理与轨迹规划相结合,以增强自动驾驶决策能力。Alpamayo-R1 是一种视觉-语言-行动模型,将推理与轨迹规划相结合,以增强自动驾驶决策能力。

开源视觉-语言-行动人工智能模型

Alpamayo-R1(AR1)最适合被描述为一种开源的“视觉-语言-行动”人工智能模型,旨在帮助自动驾驶汽车在做出驾驶决策时“大声思考”。视觉语言模型可以同时处理文本和图像,使车辆能够“看到”周围环境,并根据所感知做出决策。

AR1通过拆解情景并推理每一步来实现这一点。它考虑所有可能的路径,然后利用上下文数据选择最佳路线,能够应对拥挤的行人路口、双排停车车辆或车道封闭的情况。NVIDIA希望这种推理模型能赋予自动驾驶车辆“常识”,使其更好地像人类一样处理细致的驾驶决策。

这家半导体公司在12月2日至7日于圣地亚哥举行的第39届神经信息处理系统年会NeurIPS上宣布了AR1。NVIDIA声称这是首个专注于自动驾驶的视觉-语言-行动模型。

实时路线规划

Alpamayo-R1(AR1)以秘鲁的一座山峰命名,据说在规划路线时会“思考”。通过利用思维链推理,自动驾驶车辆能够实时解读细微且不可预测的现实环境——如即将关闭车道、车辆停在自行车道或不可预测的人类行为。

通过这种方式,它可以将传感器在路上看到的内容转化为自然语言的描述。另一个好处是AR1可以向设计工程师解释为何采取某些行动,并利用这些信息规划未来的轨迹。

让世界为机器人出租车做好准备

英伟达的端到端自动驾驶平台集成了人工智能驱动的计算硬件,如NVIDIA DRIVE AGX Hyperion 10,以及用于训练的数据中心软件和数据中心解决方案。此外,还有仿真工具如Omniverse,该平台可在Windows和Linux等现有作系统上运行,用于测试和验证。

公司与通用汽车、Lucid、奔驰、Rivian、Stellantis、丰田和沃尔沃等汽车公司合作,打造4级自动驾驶汽车,并与Uber合作建立了自动驾驶汽车网络。

Uber将从2027年开始扩大其全球自动驾驶车队规模,目标是达到10万辆。它将由基于NVIDIA Cosmos平台构建的联合AI数据工厂支持。

开放获取是NVIDIA战略的核心。AR1基于NVIDIA Cosmos Reason构建,研究人员可为非商业应用进行定制。除了AR1,英伟达的Cosmos平台还提供了一套用于实体AI开发的工具。其中包括LidarGen,用于生成用于视听仿真的LiDAR数据。

与此同时,NVIDIA、Aurora和沃尔沃自动驾驶解决方案正在将4级自动驾驶扩展到由NVIDIA DRIVE平台驱动的长途货运。他们基于NVIDIA DRIVE AGX Thor打造的下一代系统,将加速沃尔沃即将到来的L4车队,将NVIDIA的端到端AI基础设施从乘客出行扩展到长途货运。

自动驾驶超级计算平台 10

NVIDIA DRIVE AGX Hyperion 10 生产平台配备了 NVIDIA DRIVE AGX Thor 系统芯片;安全认证的NVIDIA DriveOS作系统;一套完全合格的多模态传感器套件,包括14台高清相机;九台雷达、一台激光雷达和12台超声波设备;以及合格的电路板设计。

该平台的核心是两套基于英伟达 Blackwell 架构的索恩车载计算平台,每套平台的实时算力均超过 2000 万亿次浮点运算。索恩车载计算平台能够整合 360 度全方位的多元传感器数据,且针对视觉 - 语言 - 动作模型和生成式人工智能的运行需求进行了优化。依托各项安全认证与网络安全标准,该平台可为 L4 级自动驾驶的安全运行提供坚实保障。

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片