@全体股民:《投资研报》巨额特惠,满3000减1000,满1500减500!【历史低价手慢无,速抢>>】
分析指出,相比传统的堆砌计算能力和数据的训练方法,被称为“测试时计算”(Test-time Compute)的新方法更有助于提高AI模型的预测能力,这种方法能够让AI模型在回答问题前,有更多时间和计算资源进行“思考”。专家指出,如果测试时计算成为扩展AI系统的下一步,对专注于高速推理的AI芯片的需求可能会大幅增加。
作者:赵雨荷
来源:硬AI
迈向超级智能系统的AI实验室正意识到,可能需要改换道路。分析指出,相比传统的堆砌计算能力和数据的训练方法,被称为“测试时计算”(Test-time Compute)的新方法更有助于提高AI模型的预测能力。
据TechCrunch报道,多位AI投资者、创始人和CEO透露,近年来AI实验室用于提升模型能力的“AI扩展定律”(AI scaling laws)正显示出边际收益递减的迹象。他们的观点与近期的报告一致,这些报告表明顶尖AI实验室中的模型提升速度已不如以往。
现在,几乎所有人都开始承认,仅通过增加计算能力和数据量来预训练大型语言模型,并指望其变成某种全知全能模型的道路,是行不通的。这也许听起来显而易见,但扩展定律曾是开发ChatGPT、提升其性能的关键因素,也可能影响了许多CEO大胆预测通用人工智能(AGI)将在几年内到来的信心。
OpenAI和Safe Super Intelligence的联合创始人Ilya Sutskever上周对媒体表示,“所有人都在寻找扩展AI模型的新方式”。本月早些时候,Andreessen Horowitz联合创始人Marc Andreessen在一档播客中提到,当前AI模型似乎都趋向于能力的上限。
不过,有AI领域的CEO、研究人员和投资者已经开始宣称,行业正进入扩展定律的新纪元:“测试时计算”(Test-time Compute)被认为是一项特别有前景的新方法,能够让AI模型在回答问题前,有更多时间和计算资源进行“思考”。
“我们正看到一种新扩展定律的出现,”微软(390.58, 0.61, 0.16%)CEO纳德拉(Satya Nadella)周二在微软Ignite大会上说,他指的是支持OpenAI o1模型的测试时计算研究。
此外,Andreessen Horowitz合伙人、Mistral的董事会成员、曾是Anthropic天使投资人的Anjney Midha在接受媒体采访时表示,“我们现在正处于扩展定律的第二纪元,也就是测试时扩展。”
AI扩展定律失效?
自2020年以来,OpenAI、谷歌(164.08, -3.06, -1.83%)、Meta和Anthropic等公司取得的AI模型快速进步,主要归功于一个关键判断:在AI模型的预训练阶段使用更多的计算资源和数据。
在这一阶段,AI通过分析大量数据集中的模式来识别和存储信息。当研究人员为机器学习系统提供充足的资源时,模型通常在预测下一个词或短语方面表现更好。
第一代AI扩展定律让工程师通过增加GPU的数量和数据量来提升模型性能。尽管这种方法可能已经达到瓶颈,但它已经改变了整个行业的版图。几乎每家大型科技公司都押注AI,而为这些公司提供GPU的英伟达如今已成为全球市值最高的上市公司。
然而,这些投资是基于扩展能够持续发展的预期而做出的。毕竟,扩展定律并不是自然、物理、数学或政府制定的法律,它并未被任何人或事物保证会以相同的速度继续下去。即便是著名的摩尔定律,也在运行了较长时间后逐渐失效。
Anyscale联合创始人、前CEO Robert Nishihara在对媒体表示,
“如果你只投入更多的计算资源和数据,模型越做越大,回报会逐渐递减,要维持扩展定律的运行并保持进步的速度,我们需要新思路。”
“当你已经阅读了100万条Yelp评论,再读更多评论可能不会带来太大增益,但那是预训练。关于后训练的方法还相对不成熟,还有很大的改进空间。”
尽管如此,AI模型开发者可能仍会继续追求更大的计算集群和更大的数据集进行预训练,而这些方法可能仍有一定的提升空间。例如,马斯克最近完成了一台拥有10万GPU的超级计算机Colossus,用于训练xAI的下一代模型。
但趋势表明,仅通过现有策略使用更多GPU无法实现指数级增长,因此新的方法开始获得更多关注。
测试时计算:AI行业的下一大赌注
当OpenAI发布其o1模型的预览版时,就宣布这属于独立于GPT的新系列模型。
OpenAI主要通过传统的扩展定律(即在预训练阶段使用更多数据和更多计算能力)改进了其GPT模型。但据称,这种方法现在的增益已不再显著。o1模型框架依赖于一个新概念——测试时计算(test-time compute),之所以这样命名,是因为计算资源是在接收到提示后(而不是之前)才使用的。分析认为,这种技术在神经网络背景下的探索还不多,但已经表现出潜力。
一些人已经将测试时计算视为扩展AI系统的下一种方法。
Andreessen Horowitz的Midha表示,
许多实验表明,即使“预训练”的扩展定律可能正在放缓,“测试时”扩展定律——即在推理过程中为模型提供更多计算资源——仍然可以显著提升性能。
著名AI研究员Yoshua Bengio则表示,
“OpenAI的新‘o系列’进一步推动了[连贯思维],需要更多计算资源,也因此需要更多能源,我们因此看到了一种新的计算扩展形式:不仅仅是更多的训练数据和更大的模型,还包括花费更多时间‘思考’答案。”
例如,在10到30秒的时间里,OpenAI的o1模型会多次重新提示自己,将一个复杂的问题分解为一系列更小的问题。现负责OpenAI o1工作的Noam Brown尝试开发可以击败人类的扑克AI系统,在最近的一次演讲中,Brown表示,他注意到人类扑克玩家在出牌前会花时间考虑不同的情景。2017年,他引入了一种方法,让模型在出牌前“思考”30秒。在此期间,AI会模拟不同的子游戏,推演不同场景可能的结果以确定最佳行动。最终,这种AI的预测表现比他以前的方法提升了7倍。
需要注意的是,Brown在2017年的研究并未使用神经网络,因为当时它们尚未普及。然而,上周麻省理工学院的研究人员发表了一篇论文,表明测试时计算显著提高了AI模型在推理任务上的表现。
目前尚不清楚测试时计算如何大规模推广。这可能意味着AI系统在解决难题时需要非常长的“思考”时间,可能是数小时甚至数天。另一种方法可能是让AI模型同时在许多芯片上“思考”问题。
Midha表示,如果测试时计算成为扩展AI系统的下一步,对专注于高速推理的AI芯片的需求可能会大幅增加,这对Groq或Cerebras等专注于快速AI推理芯片的初创公司来说是好消息。如果找到答案与训练模型同样需要大量计算资源,那么AI领域的“挖掘工具”提供商将再次受益。
无论AI研究的前沿情况如何,用户可能在一段时间内感受不到这些变化的影响。不过,AI开放商将不遗余力地继续快速推出更大、更智能、更快的模型,这意味着多家领先的科技公司可能会调整其推动AI边界的方法。
本文来自微信公众号“硬AI”,关注更多AI前沿资讯请移步这里
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
责任编辑:李桐


APP专享直播
热门推荐
律师公开“金秀贤在金赛纶未成年时与其交往证据” 收起律师公开“金秀贤在金赛纶未成年时与其交往证据”
- 2025年03月27日
- 06:38
- APP专享
- 扒圈小记
12,630
爸爸去世女儿被判和4个姑姑平分遗产
- 2025年03月26日
- 15:17
- APP专享
- 扒圈小记
8,459
普京称俄军会将乌军彻底击溃
- 2025年03月27日
- 22:58
- APP专享
- 北京时间
5,891

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)
投资研报 扫码订阅
股市直播
-
宋谈股经今天 04:04:19
上午A股数据统计!【更多独家重磅股市观点请点击】 -
冯矿伟今天 03:37:15
冯矿伟:钝化今天继续向下倾斜,进一步考验趋势了,与此同时,小周期钝化(背离条件)再次复现,上午30分钟钝化已经成立,但是级别很小,下午60分钟钝化也有可能成立,同时趋势也开始接受考验之中,所以又到了挺关键的位置了。 -
徐小明今天 03:35:11
【更多独家重磅股市观点请点击】 -
徐小明今天 03:34:30
【盘中直播】下午见 -
量化伏妖今天 03:34:12
【股票午评】:意外大跌今日市场对于利好消息表现冷淡,说了好几次不灵了,指数低开1点都逐步下探,11点03分逼近昨日最低点后有波抄底动作,但是力度和维持的时间都小,很快就再次回落,最终下跌24点报收。盘面上开盘黄金概念和贵金属概念表现较好,说明关税问题困扰不小,本来已经低位横盘一周了,该有起色了,但是就恐怕贸易问题扩大化,对全球经济带来大的动荡,股市就表现的非常弱势。昨日连扳,CAR-T细胞疗法,重组蛋白,贵金属,生物制品,免疫治疗,多元金属,创新药等涨幅靠前;化肥行业,钛白粉,磷化工,环氧丙烷,化学原料等板块跌幅靠前,都是昨日表现好的板块今天直接转弱。今日选择向下有点意外,有故意打压骗筹嫌疑,如果能忍就忍一下,别割肉在低点。 -
宋谈股经今天 03:33:10
3月28日午间收评:沪指半日跌0.71%,全市场下跌个股近4300只1、市场早间震荡调整,三大股指集体下挫,微盘股指数跌近2%。医药股逆势走强,创新药方向领涨,润都股份(sz002923)、河化股份(sz000953)、百花医药(sh600721)、四环生物(sz000518)涨停。黄金股集体拉升,西部黄金(sh601069)涨近7%。多元金融板块盘中异动,新力金融(sh600318)冲击涨停。下跌方面,化工股集体调整,江天化学(sz300927)跌超10%;海洋经济概念走低,神开股份(sz002278)、大连重工(sz002204)跌停。个股跌多涨少,沪深京三市下跌个股近4300只,上午半天成交7356亿。午间收盘沪指跌0.71%,深成指跌0.53%,创业板跌0.58%。2、板块概念方面,创新药、黄金、多元金融、汽车整车等板块领涨;化工、钛白粉、油气、海洋经济等板块领跌; 3、两市共1001只个股上涨,29只个股涨停;4046只个股下跌,22只个股跌停;17只股票炸板,炸板率38%。 -
趋势起航今天 03:32:08
市场早间震荡调整,三大股指集体下挫,微盘股指数跌近2%。医药股逆势走强,创新药方向领涨,润都股份(sz002923)、河化股份(sz000953)、百花医药(sh600721)、四环生物(sz000518)涨停。黄金股集体拉升,西部黄金(sh601069)涨近7%。多元金融板块盘中异动,新力金融(sh600318)冲击涨停。下跌方面,化工股集体调整,江天化学(sz300927)跌超10%;海洋经济概念走低,神开股份(sz002278)、大连重工(sz002204)跌停。个股跌多涨少,沪深京三市下跌个股近4300只,上午半天成交7347亿。午间收盘沪指跌0.71%,深成指跌0.53%,创业板跌0.58%。 -
北京红竹今天 03:31:49
收摊,午报已经发布,下午见 -
北京红竹今天 03:31:28
3、酱油还没出来这几天短线组合的交易都是打酱油,用实际交易告诉大家,最近短线交易容错率很低,前几天进场的酱油股到现在还没出来呢。要么别玩,要么打酱油。按照缠论为根的交易,不会每天变来变去的,都是一段时间一个观点,最近2个星期都是控仓位防风险,具体调整级别大还是小也确定不了,也预测不了,但我们清楚应该如何交易,跟随市场吧。 -
北京红竹今天 03:31:24
2、医药也算个热点上午医药股集体拉升,多股涨停或涨超10%,就是有个消息说近期国产创新药频频放出对外授权交易公告,面对当下成交额萎缩的状态下,任何热点的延续性是个问题。没有延续性,容错率就会很低,就连短线都不宜玩。如果玩短线还不如等下周呢,下周科创50和创业板就有可能到位,到时候在看看有没有合适的短线,至少要贴一下大盘,不然这种每天十字星或者阴跌,还不如空仓呢。