Inter发布新一代AI加速器Gaudi 3,对标NVIDIA H00,官方称Gaudi 3与NVIDIA H00对比,LLM大模型推理领先50%,训练时间领先40%,性价比超越NVIDIA高达200%。
Gaudi 3 制造工艺采用台积电5nm,MME高达8个,MME的TPC拥有8个,总数共计拥有64个,媒体编码器拥有14个。MME BF16/FP8都是1835 TFlops,矢量BF16为28.8 TFlops,较之前分别提升至320%、110%、160%。
开发方面,Gaudi 3 无缝兼容PyTorch框架、Hugging Face Transformer和扩展模型。
Gaudi3 支持三种形态部署,标准夹层版最高被动散热峰值功耗900W,液冷峰值功耗1200W;通用基板支持八颗Gaudi 3;HL-338扩展卡可四卡互联,PCIe 5.0 x16,被动散热峰值功耗600W。
新浪科技公众号
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)