“要么拥抱端到端,要么几年后离开智驾行业。”
进入智驾行业数年,智驾工程师秦风(化名)原本已经适应智驾行业激烈的内卷节奏。但当新技术“端到端大模型”来临时,他觉得首先被冲击的可能不是人类司机,而是作为工程师的自己。
这种焦虑并非秦风独有。不少智驾工程师告诉36氪,为了学习新技术,他们在工作加班的间隙看起了行业最新论文、去B站听课,有的甚至从研究生课本开始学起。
“端到端大模型”是今年智能驾驶行业的最新技术炸弹。
今年1月,特斯拉面向普通用户正式推送了 FSD(自动驾驶软件包) v12 的测试版本。该版本采用了端到端网络方案,不少用户称效果惊艳,比之前的v11版本要拟人得多。
马斯克曾介绍端到端的能力,称之为“图像端输入,控制端输出”。尽管多位行业人士向36氪表达,他们不相信特斯拉端到端方案在实操层面如此激进与神乎其技,但端到端依然如蜜般驱策着国内同行。国内玩家逐渐相信,在大模型、大算力、海量数据的驱动下,AI系统会像人类一样开车。
嗅到新的技术风潮,国内的车企与头部智驾公司已经付诸行动。华为、蔚小理、比亚迪等头部玩家都投入了团队与资源推进端到端方案;理想与蔚来两家车企,还成立了专门的端到端大模型部门,以更快推进技术落地。
高端人才的争夺也在明暗处涌动。在第一款车推向市场之际,为追上智驾进度,小米汽车挖来了前图森中国CTO王乃岩加盟。还有智驾行业人士告诉36氪,华为智驾甚至通过相关专利来锚定人才,做定点挖掘。
新方案的确在引燃国内市场。但这枚硬币另一面是,端到端强依赖于数据驱动,而非大量工程师的人力堆叠实现。特斯拉300人左右的团队规模,被当成范本在头部玩家之间传播。
然而行业现实是,当下头部玩家的智驾团队,人才规模几乎都是千人级。追赶智驾中的老牌车企比亚迪,有达3000人的软件团队,华为智驾团队人数也不遑多让。行情好的时候,工程师们普遍能拿到年薪百万的薪资包。
但不少智驾工程师都相信,如果端到端方案效果被进一步验证,车企智驾团队裁员将是大概率事件。
“200-300人都用不上。”一位前新势力车企智驾骨干坚定地对36氪说道。甚至深度学习背景的应届生,可能都比一些智驾工程师进入端到端项目更有优势。
一些智驾猎头也明显感受到了行业的人才满溢:车企智驾团队不再放出新岗位,人员开始要精简,“很多挂着的HC都是僵尸岗。”在一位猎头的最新动态中,他已经切换赛道,转而替机器人公司招揽人才。
被堵在门外的工程师
智驾工程师田炜(化名)告诉36氪,这场新技术变革中,比起感知模块、预测模块,规划控制模块的工程师受到的冲击会更大。
这主要因为端到端方案与传统智驾方案有明显差异。传统方案分为感知、定位、地图、预测、规划控制等多个模块,模块功能实现基本由工程师的代码驱动。感知、规划控制两大个部门的人员,往往占智驾团队人数大头。
但端到端方案的特点是,从工程师的代码驱动,变成了数据驱动。最理想的方式是,给系统输入图像,系统可以直接输出车辆的控制,中间的环节都由AI神经网络来完成。
从国内头部玩家的进度来看,引入端到端方案后,传统方案的多个模块通过AI神经网络改造,正在被整合成2个大网:感知大模型、预测决策大模型。“当下很多的方案都是在感知大模型的基础之上,接入一个预测规划大模型。”
更进一步的方案,会将感知预测决策规划集于一体,行业称之为“One Model”(一个模型)。
而新的技术路线,也对车企智驾团队有了全新的人才画像。
有智驾人士告诉36氪,端到端团队需要的人数变少,但人才门槛要求变得更高了。大模型本身要求团队有很强的深度学习背景,“搭建方案阶段,更需要很强的infra(基础架构)人才,对感知、规划控制每个模块都有深刻认知,了解不同芯片算力平台的支持力度、不同AI推理框架等。”
但负责模型搭建与训练人只占很小一部分。“可能团队90%的人都是在为端到端提供数据,以及数据闭环工具链支持等。”
“大模型本身就是一个很精干的团队。”有智驾人士说道。这也是OpenAI等AI科技公司早期仅有200-300人,但也能推出大语言模型ChatGPT,改变全球AI进程的原因。
对工程师而言,端到端技术带来的冲击也深浅不一。
有智驾人士告诉36氪,感知、规控两大模块中,感知大模型原本就依赖深度学习技术。尽管视觉检测路线从过去的CNN卷积神经网转向了基于Transformer的BEV,但工程师们的受到的影响并不大。
但对规控工程师而言,如果要加入端到端,几乎是重新切换赛道。有智驾人士告诉36氪,传统的规控工程师主要有几个方向:路径预测、路径优化、规则后处理,以及车辆控制。“都是蛮细分的学科,基本不相关。除了路径预测模块之外,其他方向的工程师基本没有深度学习背景。”
智驾工程师田炜告诉36氪,规控的人如果想转端到端,一个方向是模型训练本身,但需要很强的深度学习背景。“有可能研究深度学习的应届生,对模型的理解都比你好。”
其次,是数据挖掘和处理,为端到端提供数据养分。“但如果工具链的基建搭建完成,模型大概结构稳定之后,也可能不会再需要人。”最后是模型后处理,端到端大模型输出的轨迹不可信,仍需要一小部分工程师要写规则兜底。
工程师们的焦虑也来于此。“一方面是,端到端大模型本身不需要这么多人。另一方面是,大家都想做端到端,但公司的量产业务需要有人运转。”
一位智驾员工也因为公司当前的量产项目,错过了进入端到端项目组的时机而懊恼。但他也很纠结:即便进入端到端方案中,也是为新的方案兜底,但这不是核心的大模型本身岗位;
而如果留在现在的量产项目岗位,可以积累一段完整的智驾量产项目经验,未来几年也还能流向传统车企。
但另一种险境也会到来,一旦端到端方案向全行业普及,那么他积累多年的技术栈在几年后也会面临淘汰的风险。“可能就要离开智驾行业。”
技术分野、资源游戏
为了转入端到端项目组,工程师田炜直接从深度学习的研究生课程开始看起。
他找来深度学习的经典课程,以及一张显卡,对着课本上的实战课程,去实现一些简单的图像识别算法。“至少先把知识点吃透了,才能知道模型本身是怎么运转的。”
看书、实践训练两个月后,田炜才稍微感觉自己能看懂一些端到端大模型开源代码。
事实上,不只田炜焦虑,田炜所在智驾公司比他更焦虑。他告诉36氪,其公司与一家车企合作开发智驾量产方案,但车企内部也有团队在推进端到端,“整个公司就很焦虑,也早就启动了端到端计划。”
田炜表示,据公司了解,只要上千小时的视频数据,就可以训出来一个端到端demo,而这个量级的数据公司基本能搞定。
但田炜很清楚,以公司现有的资源,最多也只能支撑训练出来一个端到端demo,证明方案可行。从demo到量产,中间还有相当大差距。
而这场新技术的分野游戏,会最先体现在资源分野上。
特斯拉CEO马斯克就曾强调过数据对端到端的重要性:“用100万个视频case训练,勉强够用;200万个,稍好一些;300万个,就会感到Wow(惊叹);到了1000万个,就变得难以置信了。”
另一方面是算力资源,马斯克还大肆采购了英伟达的显卡训练,称到年底其人工智能训练算力将是9万张英伟达H100的等效算力。算力的储备与需求惊人。
这个门槛相当高。对于至今仍然赚钱艰难的智驾公司而言,一方面是不与车企合作,智驾公司的训练数据很难光靠自身采集得到;另一方面,云端的训练芯片在国内一卡难求,不少车企都在高价收购。“量产项目与融资都还不明朗,很难长期投入端到端。”
而另一位智驾工程师也感受到了无奈。在开发端到端项目小半年后,他接到了公司的通知,暂停端到端项目。原因是公司要集中精力与资源去开发当前的城市无图智驾方案,“端到端要消耗的资源太多了”。
端到端新技术未在国内真正落地,但对智驾行业的人才结构重塑、生态格局的冲击都已经开始显现。
尽管如此,头部玩家还是会想尽办法挤上这趟具有颠覆性意义的快车,而掌握数据资源、芯片资源、人才资源的巨头时代会到来。
(文中秦风、田炜均为化名。)
注:文/李安琪,文章来源:36氪,本文为作者独立观点,不代表亿邦动力立场。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)