9 项测试破 5 项纪录,英伟达 H100 在 MLPerf 中独占鳌头:训练 GPT-3 时间缩短 27%

9 项测试破 5 项纪录,英伟达 H100 在 MLPerf 中独占鳌头:训练 GPT-3 时间缩短 27%
2024年06月14日 11:07 IT之家

IT之家 6 月 14 日消息,英伟达旗下的 H100 GPU 仍在 AI 市场独占鳌头,现阶段没有出现威胁其主导地位的竞争对手,在 MLPerf 最新基准测试中,再次创下了多项新纪录。

IT之家注:MLPerf 是衡量 AI 芯片性能的主流基准之一,该平台最新推出了新的测试项目,专门针对微调(Fine-tuning)大语言模型和图神经网络(GNN),而英伟达 H100 创下了多项纪录。

Fine-tuning 是指在预训练模型的基础上,通过在特定任务上进行额外的训练来调整模型的参数,以使其更好地适应该任务。

本次测试使用了 11616 片英伟达 H100 GPU,在最新 9 项测试中,都取得了最高性能,并在其中 5 项测试中创造了新的纪录。

谷歌和英特尔等竞争对手也参与了本次测试,谷歌的 TPU 系统在速度上有了显著提高,英特尔的 GPU 也取得了明显进步,但其性能和英伟达相比仍有差距。

英伟达表示由于进行了多项软件优化,训练 GPT-3 的时间比 2023 年 6 月的基准测试缩短了 27%。这些优化包括更好地使用 8 位浮点运算、更高效的计算引擎电源管理以及改进 GPU 之间的通信。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片