微软上线 Azure H200 v5 系列 AI 虚拟机:吞吐量提升 35%

微软上线 Azure H200 v5 系列 AI 虚拟机:吞吐量提升 35%
2024年10月08日 14:17 网易新闻

IT之家 10 月 8 日消息,微软公司于 10 月 2 日发布博文,宣布面向客户和合作伙伴,正式开放 Azure H200 v5 系列虚拟机,帮助企业应对日益繁重的 AI 工作负载需求。

微软在博文中表示:“H200 v5 系列虚拟机,通过规模、效率和增强性能等,推动客户和 Microsoft AI 服务(如 Azure 机器学习和 Azure OpenAI 服务)普及和落地”。

OpenAI 的基础设施负责人 Trevor Cai 表示,OpenAI 正在利用新的虚拟机系列推动研究和开发,并为用户微调 ChatGPT。

Cai 表示:“我们很高兴能够采用 Azure 的新 H200 虚拟机。我们发现 H200 在最小迁移工作下提供了更好的性能,我们期待使用这些虚拟机加速我们的研究,改善 ChatGPT 体验,并推动我们的使命”。

Azure H200 v5 系列虚拟机采用微软方案实现“增强效率和性能”,包括 8 个英伟达 H200 Tensor Core GPU,解决了企业用户在计算能力方面捉襟见肘的困境。

IT之家援引微软官方新闻稿,Azure H200 v5 系列虚拟机在运行 LLAMA 3.1 405B 模型推理工作负载时,吞吐量提升达 35%。

Azure ND H200 v5 系列虚拟机最高提供 141GB HBM,相比较上一代 H100 v5 提高了 76%,此外带宽为 4.8 TB/s,提高了 43%。

海量资讯、精准解读,尽在新浪财经APP
微软 azure it之家 AI

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 10-16 新铝时代 301613 --
  • 10-15 苏州天脉 301626 --
  • 10-08 托普云农 301556 14.5
  • 09-30 上大股份 301522 6.88
  • 09-25 强邦新材 001279 9.68
  • 新浪首页 语音播报 相关新闻 返回顶部