科学家抱怨算力不足影响AI创新

本报讯 一项针对全球数十家机构的学者进行的调查显示，许多大学的科研人员对可供他们用于人工智能（AI）研究的算力资源的匮乏感到沮丧。

据《自然》报道，这些科研人员接触不到最先进的计算系统，可能会阻碍他们开发大型语言模型和进行其他人工智能研究。

此外，这些研究人员有时没有足够的资源获得强大的图形处理器（GPU）——通常用于训练人工智能模型的计算机芯片，其成本高达数千美元。相比之下，大型科技公司的研究人员预算更高，可以在GPU上投入更多。

“每增加一块GPU，都会增加更多算力。”该研究作者之一、美国布朗大学的计算机科学家Apoorv Khandelwal说，“那些行业巨头也许拥有数千块GPU，但学术界可能只有几块。”

美国非营利性人工智能研究机构EleutherAI的执行董事Stella Biderman表示：“学术界和工业界之间的差距很大，但它本应小得多。”对这种差距的研究“非常重要”。

为了评估学术界可用的算力资源，Khandelwal和同事调查了35家机构的50名科研人员。在受访者中，66%的人对算力的满意度为3分或更低（满分为5分）。“他们一点也不满意。”Khandelwal说。

大学对使用GPU有不同的要求。在有些大学，有一个由院系和学生共享的中央计算集群，科研人员可以在那里申请GPU时间。其他机构可能会购买机器供实验室成员直接使用。

一些科研人员表示，他们必须等待数天才能使用GPU，并指出，在项目截止日期前后等待时间特别长。

调查结果还突显了全球在算力获取方面的差距。例如，一位受访者提到了在中东难以找到GPU。只有10%的受访者表示，他们可以使用美国科技公司英伟达的H100 GPU，这是为人工智能研究设计的强大芯片。

这一障碍使预训练，即向大型语言模型输入海量数据集的过程变得尤为困难。“由于成本高昂，大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出，算力匮乏可能会严重制约这一领域未来的发展。

“拥有一个健康、有竞争力的学术研究环境至关重要。”该研究作者之一、美国布朗大学的计算机科学和语言学者Ellie Pavlick说，“相比之下，在工业研究中往往存在明显的商业压力，这有时会使他们急于求成，减少了对未知领域的探索。”

该团队还深入探究了如何在算力有限的情况下更高效地利用资源。他们测算了在使用1至8块GPU的低资源硬件环境下，预训练多个大型语言模型所需的时间。尽管受资源限制，科研人员仍成功训练出多个模型，但这一过程耗时更长，并迫使他们采用更高效的方法。

（王方）