IT之家 8 月 29 日消息,AMD 昨日(8 月 28 日)发布新闻稿,公布其 Instinct MI300X GPU 在采用最新开源 ROCm 情况下,在 MLPerf Inference v4.1 比赛中取得了优异成绩,并对比了英伟达的 H100 GPU。
![](http://n.sinaimg.cn/spider20240829/799/w1024h575/20240829/6c5a-64855ceda490c78a7f6be445bdea25bc.jpg)
MLPerf 简介
IT之家注:MLPerf 基准测试由来自学术界、研究实验室和行业的 AI 领导者联盟 MLCommons 开发,旨在对硬件、软件和服务的训练和推理性能进行无偏评估。
它们都在规定的条件下进行。为了保持在行业趋势的前沿,MLPerf 不断发展,定期举行新的测试,并添加代表 AI 技术水平的新工作负载。
MLPerf Inference v4.1 使用 7 种不同的神经网络(包括 LLM、自然语言处理、计算机视觉和医学影像分割)来测量推理性能。
测试结果
从 LLama2-70B 的性能结果来看,AMD 在 EPYC Genoa CPU 上运行的服务器和离线场景分别达到了 21028 token / s 和 23514 token / s。
![](http://n.sinaimg.cn/spider20240829/473/w705h568/20240829/2c15-e59b120c8c3b1d5d549d0c2c342d9eea.jpg)
而采用相同 Instinct 配置的第 5 代 EPYC “Turin” CPU 在服务器和离线场景分别达到了 22021 token / s 和 24110 token / s。与 Genoa CPU 平台相比,分别提高了 4.7% 和 2.5%。
![](http://n.sinaimg.cn/spider20240829/360/w615h545/20240829/a1df-c6afe44872fb123c3d477de66866a841.jpg)
与英伟达 H100 相比,Instinct MI300X 在服务器性能方面稍慢,而在离线情况下差距则越来越大。Turin 配置在服务器场景中的速度最终快了 2%,但在离线场景中落后了。
![](http://n.sinaimg.cn/spider20240829/489/w788h501/20240829/1a66-9d14c5d514043bd11a7cec76fd86e614.jpg)
最后,AMD 强调了其 Instinct MI300X AI 加速器提供的内存优势,该优势远远超过英伟达 H100 平台。MI300X 提供的内存足以满足各种数据格式的最大语言模型的要求。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)