![](http://n.sinaimg.cn/spider20240722/350/w800h350/20240722/2e99-93fa10e2379bb072001233e4b82f3cac.png)
7月9日,智猩猩联合NVIDIA策划推出的NVIDIA自动驾驶汽车技术公开课顺利完结。在本次公开课中,NVIDIA汽车行业开发者关系经理李博介绍了AI定义汽车这一前沿技术趋势,通过端到端自动驾驶融合世界模型将自动驾驶技术推动到AV2.0。详细介绍了大语言模型(LLM)在AI座舱与企业AI中的实践进一步解读AI定义的汽车。最后,分享了加速AI开发与部署的软件解决方案NVIDIAAIEnterprise。本文内容来自于对李博老师的直播讲解进行的提炼总结。
01 AI 定义汽车
目前,驱动整个汽车行业从软件定义汽车到 AI 定义汽车的发展主要有以下三大原因:
1)软件定义汽车这一趋势的成熟。电动车的渗透率达到45%~50%,且在部分省份已经超过了50%;
2)自动驾驶的软件栈正朝着更 AI 化的方向发展,并越来越多地应用 AI 技术。从最初的算法和基于规则的方法,到在量产车上通过 AI 增强的方案,再到世界模型、端到端(End-2-End)等技术不断发展,推动了自动驾驶行业的 AI 化进程。
3)生成式 AI(ChatGPT)横空出世之后,给整个行业带来新的可能性。
![](http://n.sinaimg.cn/spider20240722/528/w850h478/20240722/c637-507268f130e6c315e3f4f4767778c3d8.png)
NVIDIA 全球副总裁吴新宙在 GTC 2024 上详细解读了“AI 定义汽车”,感兴趣的朋友可以免费注册观看演讲回放 。
(https://www.nvidia.com/en-us/on-demand/session/gtc24-se63001/)
02 从 AV 1.0 到 2.0 的演化
在自动驾驶 AV 1.0 阶段的软件定义汽车中,主要采用集成深度神经网络(DNNs)的方法,通过标记图像数据进行训练,不同的模型能解决不同的问题。而在 AV 2.0 时代,将会由一个大型云端模型(Multimodal LLMs)处理从数据到验证的全过程,这其中涵盖与自动驾驶相关的任务、数据处理任务以及安全性方面的需求等。
![](http://n.sinaimg.cn/spider20240722/232/w660h372/20240722/8073-7b4890de5d63fa720d5177895603fea5.jpg)
一些行业客户正在通过基于 VLM(视觉语言模型)的 Foundation Model 来赋能端到端网络,以及用于仿真环境的生成。同时,还可以反向用于 VLM Foundation Model 的训练和验证,形成双向闭环。
![](http://n.sinaimg.cn/spider20240722/528/w850h478/20240722/c892-ebdf0e2682409f5f3287f8c11b79f327.png)
NVIDIA 在今年 CVPR 大会上发布的仿真方向成果:NVIDIA Omniverse Cloud APIs for Sensor Simulation,《端到端自动驾驶,CVPR 自动驾驶挑战赛冠军论文解读》。
NVIDIA提出的 AI Factory (AI 工厂)概念则为 AV 2.0 的开发提供了支持。未来的算力基础设施就像是持续制造 AI 的工厂。它能够将从端侧收集到的数据用于训练模型,并将 AI 工厂训练好的模型部署到端侧,形成完整的闭环。NVIDIA AI Factory 赋能的自动驾驶行业最佳实践案例:理想汽车、蔚来和小鹏汽车的合作案例。
![](http://n.sinaimg.cn/spider20240722/528/w850h478/20240722/ef31-ded3f2c88e383591833f1087f96a88cf.png)
03生成式 AI 在汽车行业的应用
生成式 AI 在汽车行业的应用方向主要包括两方面。一方面是使用 LLM 在客户体验、内容生成、知识库构建和代码生成方面的应用;另一方面是将生成式 AI 应用于 NVIDIA Omniverse 中赋能的 3D 渲染管道,为汽车行业提供支持。
LLM 在汽车行业主要有以下6个落地场景:
1)自动驾驶 AV 2.0 的基础模型;
2)改善汽车用户的使用和服务体验;
3)生产制造优化,提高效率和精度;
4)造型设计创新,并加速开发周期;
5)RAG 构建知识库,用于问答系统和知识推理;
6)通过 LLM 进行数据分析。
![](http://n.sinaimg.cn/spider20240722/528/w850h478/20240722/b361-6d6f1b5e51b99370c117639faa8442eb.png)
04企业 AI 应用于汽车行业
2022年底是生成式 AI 爆发元年,随后,2023年企业纷纷开始探索生成式 AI,2024年将是生成式 AI 部署上线的量产之年。
NVIDIA 面向企业的端到端软件解决方案 NVIDIA AI Enterprise 涵盖了从数据准备、模型训练、仿真测试到模型部署的整个 AI 开发流程,同时支持模型开发部署和集群管理等工作负载,为企业提供一整套完善的功能。
![](http://n.sinaimg.cn/spider20240722/232/w660h372/20240722/9b24-30292cbba274dcfd5423b02a48a607ec.jpg)
当企业需要投入新的业务方向时,NVIDIA AI Enterprise 能够提供快速部署和上线的支持,帮助企业迅速适应市场变化。其中包括训练框架 NVIDIA NeMo ,帮助轻松构建生成式 AI 应用。而 NVIDIA NIM 则是 一套易于使用的预构建容器工具,帮助企业加速生成式 AI 的部署。
完整回放
![](http://n.sinaimg.cn/finance/cece9e13/20240627/655959900_20240627.png)
VIP课程推荐
APP专享直播
热门推荐
收起![新浪财经公众号 新浪财经公众号](http://n.sinaimg.cn/finance/72219a70/20180103/_thumb_23666.png)
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)