四年前,当图灵奖得主姚期智在上海创立专注于AI研究的期智研究院时,目标就是汇聚顶尖人才,做突破性基础研究。昨天,在与期智研究院一条马路之隔的首届浦江AI学术年会开幕式现场,姚期智分享了一则他最近观察到的“好消息”:在本土AI人才培养上,从本科生到博士生展现出来的面貌均已达到世界一流水平,国内博士与海归博士的水平不相上下,未来中国有希望迎来AI人才的爆发阶段。这一观察也与国际主流调研将中美列入AI第一梯队相互佐证。
“引进人才只是第一步,更重要的是他们能够在这儿扎根、成长,真正有抱负的青年科学家关注的不只是短期薪水和资源,而是要有一个长期发展的机会。”姚期智强调,要始终将人才培养的重要性放在第一位。
浦江AI学术年会也许正是一个吸引汇聚AI科学家的平台。年会完全以问题为导向,过去几个月,组委会从各方征集来的问题中凝练出不同AI专业领域数十个关键问题作为研讨主题,许多专家一下飞机就加入到讨论中。未来,这一年会有望常驻浦江之畔。
“堆数据”很可能做不成AGI
这一年,市场对AI的“期待感”正在消失,这无疑是当下AI行业的最大痛点。从ChatGPT到GPT-4到GPT-o1,如同打怪升级一般逐步实现AGI(通用人工智能),这是以OpenAI为代表的AI厂商试图描绘的未来图景。但近日有消息显示,OpenAI下一代旗舰模型“猎户座”(Orion)的进步速度大幅放缓,合成数据越训练越像旧模型,编码性能甚至还在退步。
不仅是OpenAI,谷歌的Gemini 2.0、Anthropic的Claude 3.5 Opus等领先AI模型也被传出遇到瓶颈。相较摩尔定律,过去两年AI大模型赛道风起云涌的基础——尺度定律(Scaling Law)的失效速度似乎快得多。
“现在的大模型有点像造飞机,通过数据升级和工程优化确实能让大模型性能变得更好,但从学术角度看并没有创新。”香港大学计算与数据科学学院院长马毅道出了当下AI期待值逐渐被拉低的原因。甚至在具体训练中,还发生了当数据达到一定规模时,大模型推理能力反而停止增长甚至出现倒退的情况。
“这是因为新的、未开发的高质量人类生成训练数据正在成为稀缺资源。”上海人工智能实验室领军科学家欧阳万里表示,过去几年里,大模型的迭代升级过程几乎已把各种公开可用的数据集、网站、书籍,以及其他来源的数据耗尽,而合成数据的广泛使用,则会导致新模型在训练中变得与旧模型贴近。
目前,OpenAI给出的解决方案是切换赛道。美国科技网站The Verge日前发文称,OpenAI计划于2025年1月推出名为“Operator”的AI智能体。
欧阳万里则提出,应该拓展尺度定律除数据和计算以外的维度。他列举了三种拓展维度的思路:一是增加测试时间,也就是让大模型在给出答案前更多地思考;二是寻找更经济的数据获取方式;三是寻找更好的通专模型融合促进之路。
颠覆式创新永远来自“少数派”
尽管尺度定律正在遭遇“数据墙”,但AI for science(人工智能驱动的科学创新)领域正一派如火如荼:一个需要以周计设计的飞机翼型,当AI学习了专家数据库后,一分钟就能生成好几十个方案供专家挑选;帮助化学家了解到底发生了什么化学反应的读谱工作,一个经过训练的大模型可在数秒内完成解读。
上海人工智能实验室主任、首席科学家周伯文表示,未来能够使用AI去做科学研究的人获得诺贝尔奖的可能性,会比不会使用AI的人高得多。
但是,想要获得计算机领域最负盛名的图灵奖,那可能就要绕开大语言模型了。近期,学术界对AI的思考能力和语言本质展开了深入讨论。图灵奖得主杨立昆(Yann LeCun)提出了“语言是否真的是思考的必要条件”的质疑,因为即使在严重的语言障碍情况下,人类仍然能保持思考的能力。
众所周知,当前这一轮AI浪潮的底层研究是神经网络——一个黑箱,近四十年来,只有寥寥无几的科学家在坚持研究它。“原来被认为一无是处的神经网络,现在变成能解决所有问题,只要稍微有点常识,是不是都会觉得有问题?”马毅反问。他提醒那些想要获得原创性成果的科研人员,应更多关注那些不同于当前主流的领域。
近年来,马毅团队花了很大功夫研究白盒大模型,其不仅能在几乎所有任务上与黑盒Transformer相媲美,而且还具备出色的可解释性。他透露,他的一位研究白盒的博士生最近入职了OpenAI。
期待开启新的“知识爆炸”时代
那些做AI的年轻人正在关注哪些问题?其中是否有可能出现颠覆式创新?在汇聚了150多名顶尖专家与青年学者的年会会场,“知识爆炸”成了他们口中的关键词。不管是做数据前沿、科学智能还是因果推理的年轻学者,都在阐述如何用AI帮助人们发现他们未曾发现的知识,甚至找到新的科学定律。
上海人工智能实验室青年科学家白磊认为,科学的核心是从观测数据中发现新的规律,2024年之前,AI for science是非常碎片化的,具体表现为每个领域都在建立自己的大小模型。他和团队希望能从数据、计算和创新出发,为AI for science提供一套核心方法论,从而让AI具备更强的理解能力,能够提出更多科学上的好问题。
在上海人工智能实验室青年科学家陆超超看来,机器学习的核心任务是从数据中自动发现相关性信息以便预测未来,但数据的真相并非来自相关性,而是来自因果性。过去,关于因果推理的研究停留在理论层面,难以和真实世界的问题对应上。他们团队正在把大模型和因果推理方法联系起来,让大模型去寻找纷繁复杂世界中的因果关系,从而开启新的“知识爆炸”时代。
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)