专家：多模态大模型将会重写自动驾驶系统

专题：亚布力中国企业家论坛第24届年会

　　2024年亚布力中国企业家论坛第24届年会于2月21日-23日举行，美国国家工程院外籍院士，北京智源研究院学术顾问委员会主任张宏江出席闭幕式并演讲。  

　　张宏江在演讲中分享了他对大模型发展的八个观察：

　　第一，大模型的内涵到底是什么？

　　张宏江表示，从技术角度来讲，大模型核心是背后用的一个新的深度学习的架构，即transformer架构，实际上是深度学习这些年一直信仰的一条路，算力+数据+算法的结合，而且采用一种完全系统的方法，不再是一个简单算法的进步，而是一个大系统的进步。

　　张宏江强调，大模型今天事实上还是处于一个早期的探索阶段，有点象当年的炼金术一样，但未来AI技术的发展，AI的运用一定会理性，而且将来也一定会依赖于这条路径。

　　此外，数据的规模非常重要，同样规模的数据，高质量的数据一定会训练出更好的模型。

　　第二，大模型是新的操作系统、新的计算体系。

　　张宏江表示，今天对着GPT模型说几句话，它就能够执行你所要执行的事，本身这个模型已经起到了操作系统的作用。

　　另外他强调，大模型本身还是应用，模型基于应用，未来APP这种形态也许会消失，甚至连小程序也会被淘汰。“今天到大模型以后，连搜索都不用搜索用哪些，说一个亚布力的美景，大模型就可以画出亚布力的美景，所以大模型是一个操作系统。”他说。

　　第三个观察，大模型作为一个新的操作系统、新的计算架构也好，本身是一个新的平台。

　　张宏江指出，大模型作为一个平台，一定会带来一个新的生态。

　　这也是为什么OpenAI每发布一个新的future，就让很多人觉得很多应用本身就被它吸进去，就像当初微软的windows，很多做软件的厂商就很紧张，是不是他做的软件被它吸进去。

　　“这种担心也正是我想说的模型即平台，模型即应用，模型即产品。”他说。

　　第四，大模型性能是大规模商业落地的关键。

　　张宏江强调，必须认识到一点，今天大模型会重写所有软件，至少大模型会重新赋能所有的软件。

　　为什么今天所有的互联网平台公司都在拿出很大的资源做自己的大模型？他指出，很重要的一点是未来的互联网公司，如果没有大模型就不再是平台公司。

　　“这是为什么今天我们看到美国的技术巨头公司里亚马逊会落伍，亚马逊的市值会被英伟达超越。”他说。

　　第五，大模型将同时推动存量和新增应用。

　　张宏江谈到，ChatGPT出来一年多，无论是微软的office还是runway这样视频生成的应用，还是像医疗的应用，已经在它的应用场景下大量地提高生产效率。过去很少一个技术出现的时候能够在这么快的时间内看到如此快速的生产效率的提高，

　　“我们有理由相信在AI1.0的时代，在深度学习已经快速发展15年的时候，自动驾驶还依然没法落地，但是大模型的落地一定会比AI1.0来得快，而且快很多”他说。

　　除此之外，大模型会推动产生一些新的原生的应用，但这种原生的应用到底是什么时候产生，这其实是做投资的人一直焦虑的一些问题。

　　历史上来看，无论是PC时代还是移动互联网时代，技术的快速发展和技术比较平缓发展的时候，都有非常有潜力的产品出现。

　　所以，张宏江认为，在大模型时代也依然会出现这样的情况。“投资人不需要太焦虑，一方面要快速消化大模型所带来的这种冲击；另一方面，还是应该专注于自己现有的业务，看一看这些业务当大模型的某一种性能成熟的时候，能够给我们带来多么大的改变。”他说。

　　第六点，多模态大模型是AGI的终极模型。

　　张宏江表示，多模态最好的方式是把多模态的数据，包括视频、语音、图像也做成token，从而跟语言一起来做训练，能够训练出能够理解物理世界的大模型。

　　“今天我们看到Sora是一个文生视频的模型，但事实上多模态远远超越文生图、文生视频，包括图生文，更包括视频的理解，一反一正是非常非常重要的，这是我们对于物理世界理解的核心的核心的一点。”他说。

　　多模态突破的是Sora代表了一个世界模型，它能够理解、描述和模拟现实世界。这种描述不是通过传统的3D建模，而是通过大数据，通过transformer这种架构学出来的。

　　张宏江指出，过去这些年来，所有的自动驾驶的公司，每到一个新的城市必须得花3到6个月重新扫描这个城市的街道，这件事也许就不需要做了，也许大模型就能够帮你解决了。所以，多模态将会重写自动驾驶的系统。

　　第七，多模态大模型驱动通用机器： 从简单指令到自我规划。

　　他谈到，将来多模态模型加进去以后，机器人能够对周边世界的理解，对周边世界的描述，从而使它能够自主地做这些行动，这是我们通用机器人的未来。

　　他举了实验室的例子：训练机械手开门，它被强化训练出来。但是当它来开微波炉的时候开不开，因为微波炉有一个锁。但是用大模型就不一样了，大模型相当于有微波炉的操作手册，大模型告诉它你按那个按钮。

　　“这是我们看到机器人的未来，不光能够做它已经被训练的任务，它可以通过大模型的理解，它可以做之前没有被训练，但是它能够理解的这些任务”他说。

　　张宏江谈到，当你有了语言模型，有了视觉模型，有了机器人的具身模型，事实上我们已经会从今天的计算机系统或者模型系统到下一代的自主行动系统，这一点是一个非常大的跨越，通用机器人以前想可能是十年以后的事，现在想可能是五年以后的事。

　　第八，未来将来是自主智能的世界。

　　未来的世界会是什么？张宏江表示，未来不是要雇更多的人，雇更强的人，从而提高生产能力，而是要购买更多的算力，用更多的autoChatGPT。

　　奇点是否已经来临？大模型所带来的极强的学习能力、极强的推理能力，意味着什么？张宏江表示，奇点就是当技术发展的速度超过了人类的平均学习能力的时候，任何一个新的事情机器能比人做得好，因为机器学习能力比人强。

　张宏江表示，这是我们看到的未来，这是我们不得不想象未来，5%的人工作或者3%的人（工作），按《未来简史》的作者所说的，未来的世界是3%的神人，97%的闲人。“今天大模型让我们看到了这个曙光”他说。

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

海量资讯、精准解读，尽在新浪财经APP

责任编辑：李思阳