谷歌最强 TPU Trillium 芯片商用:性能提升 4.7 倍、内存带宽翻番、节能 67%

谷歌最强 TPU Trillium 芯片商用:性能提升 4.7 倍、内存带宽翻番、节能 67%
2024年12月12日 14:16 IT之家

IT之家 12 月 12 日消息,谷歌今天(12 月 12 日)发布博文,宣布正式向 Google Cloud 客户开放第六代 TPU Trillium,希望凭借大的计算能力、高效的性能和可持续特性,更好推动 AI 模型发展。

Trillium TPU 是 Google Cloud AI 超级计算机(AI Hypercomputer)的关键组件,是一种突破性的超级计算机架构,采用了一个由性能优化的硬件、开放软件、领先的机器学习框架和灵活的消费模型组成的集成系统。

IT之家曾于今年 5 月报道,在 I/O 开发者大会上,谷歌正式宣布 Trillium TPU。官方称相比上一代,Trillium TPU 在训练性能上提升 4 倍以上,推理吞吐量提升高达 3 倍,峰值计算性能提升 4.7 倍。

在效率方面,Trillium TPU 能源效率提高 67%,每美元训练性能提升高达 2.5 倍,推理性能提升高达 1.4 倍。

在规模扩展方面,单个 Jupiter 网络结构可容纳 10 万个 Trillium 芯片,双倍的 HBM 容量和 ICI 带宽,支持大规模 AI 训练。

官方称 Trillium 近乎线性的扩展能力,配合高速芯片互连和 Jupiter 数据中心网络,显著加快大型模型训练速度,在训练 gpt3-175b 模型时,即使跨数据中心网络运行,24 个 Pod(6144 个芯片)也能达到 94% 的扩展效率。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片