群联 aiDAPTIV+ 技术破局“内存焦虑”:用 NAND 玩转 AI

群联 aiDAPTIV+ 技术破局“内存焦虑”:用 NAND 玩转 AI
2025年03月19日 13:58 网易新闻

IT之家 3 月 19 日消息,科技媒体 NeoWin 昨日(3 月 18 日)发布博文,报道称群联(Phison)展示了其 aiDAPTIV+ 技术,该技术通过动态缓存扩展内存,有望突破 AI 应用的内存瓶颈。

IT之家援引博文介绍,人工智能(AI)和机器学习(ML)的处理能力已成为衡量现代硬件性能的重要指标,除了处理器本身的算力,AI 任务对内存的需求也十分巨大。

AI 模型参数和精度越高,对内存的需求越大。例如,单精度(float32)通常消耗四倍于参数值的内存。即使是 32GB 显存的 RTX 5090,也可能被一个 80 亿参数的模型“喂饱”。

而 aiDAPTIV+ 技术通过动态缓存,结合基于 NAND 闪存“aiDAPTIVCache”缓存技术,扩展可用的 HBM(高带宽内存) / GDDR(专为高带宽应用设计的同步动态随机存取存储器)。

在 GTC 2025 大会上,群联携手 Maingear 公司,推出了应用 aiDAPTIV+ 技术的 AI PRO 桌面工作站,并通过 aiDAPTIVLink 3.0 新版中间件,负责 SSD 的 NAND 和 GPU 之间的数据传输,提供更快的首个 Token 时间(TTFT)回调响应,并支持更大的 LLM(大型语言模型)提示上下文。

下图展示了群联 Aidaptiv+ 技术的应用结果,在参数量超过 130 亿的模型上,群联 aiDAPTIV+ 轻松超越了 Maingear 的四路英伟达 RTX 6000 Ada 设置(未采用 aiDAPTIV+)。

Maingear 介绍称 PRO AI 工作站会动态切片 70B 训练模型,将当前切片提供给 GPU 进行高速训练,同时将模型的其余部分存储在 DRAM 和群联 AI100 SSD 中。每个 NVIDIA RTX 6000 ADA 在训练中以最少的停机时间全面表现。

海量资讯、精准解读,尽在新浪财经APP
内存 AI
0条评论|0人参与网友评论
最热评论

APP专享直播

开播时间 | 3-26 11:34
兴证全球基金:「生活进化论·投资新日常」2025我的投资计划,要重新调整吗?
开播时间 | 3-26 11:30
兴证全球基金:「生活进化论·投资新日常」2025我的投资计划,要重新调整吗?
开播时间 | 3-26 11:00
银华基金:午盘30分 3月26日,投顾专家付伟为您解盘
开播时间 | 3-26 10:30
南方基金:全球投资说 利好不断!中国版AI牛市或启动?
开播时间 | 3-26 10:30
国联基金 宫自成、亭然:高波动环境下的多策略择时攻略
开播时间 | 3-26 10:12
国君资管:成长遇见价值,科技VS红利怎么看?
开播时间 | 3-26 10:00
国投瑞银:理财新趋势 | 机器人还在冲,什么原因?
开播时间 | 3-26 10:00
天弘基金:港股强势崛起!趋势来了?
开播时间 | 3-26 09:00
华夏基金:解盘一刻
开播时间 | 3-26 09:00
光大证券雪姐:阳光早参-港股大幅调整!市场风险大吗?
开播时间 | 3-26 11:34
兴证全球基金:「生活进化论·投资新日常」2025我的投资计划,要重新调整吗?
开播时间 | 3-26 11:30
兴证全球基金:「生活进化论·投资新日常」2025我的投资计划,要重新调整吗?
开播时间 | 3-26 11:00
银华基金:午盘30分 3月26日,投顾专家付伟为您解盘
开播时间 | 3-26 10:30
南方基金:全球投资说 利好不断!中国版AI牛市或启动?
开播时间 | 3-26 10:30
国联基金 宫自成、亭然:高波动环境下的多策略择时攻略
开播时间 | 3-26 10:12
国君资管:成长遇见价值,科技VS红利怎么看?
开播时间 | 3-26 10:00
国投瑞银:理财新趋势 | 机器人还在冲,什么原因?
开播时间 | 3-26 10:00
天弘基金:港股强势崛起!趋势来了?
开播时间 | 3-26 09:00
华夏基金:解盘一刻
开播时间 | 3-26 09:00
光大证券雪姐:阳光早参-港股大幅调整!市场风险大吗?
上一页下一页
1/10

热门推荐

郭树清谈年轻人不愿意交个人养老金:要考虑长远,不能只顾眼前 收起
郭树清谈年轻人不愿意交个人养老金:要考虑长远,不能只顾眼前

郭树清谈年轻人不愿意交个人养老金:要考虑长远,不能只顾眼前

  • 2025年03月25日
  • 10:03
  • APP专享
  • 扒圈小记
  • 6,809
APP专享
杭州单价新“地王”诞生:滨江集团52亿元拿下水电新村地块,楼面价77409元/平方米

杭州单价新“地王”诞生:滨江集团52亿元拿下水电新村地块,楼面价77409元/平方米

  • 2025年03月25日
  • 03:29
  • APP专享
  • 扒圈小记
  • 3,304
APP专享
王大雷遗憾失误:0比1的话还有机会

王大雷遗憾失误:0比1的话还有机会

  • 2025年03月25日
  • 14:47
  • APP专享
  • 北京时间
  • 2,728
APP专享
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间
更多>
股票简称 最新价 涨跌幅
以下为热门股票
三峡能源 4.30 -0.46%
京东方A 4.24 +0.47%
TCL科技 4.53 +0.44%
中远海控 14.56 -0.68%
格力电器 44.77 -0.86%
广告

7X24小时

  • 03-26 中国瑞林 603257 --
  • 03-24 首航新能 301658 --
  • 03-18 开发科技 920029 30.38
  • 03-17 浙江华业 301616 20.87
  • 03-14 浙江华远 301535 4.92
  • 广告
    新浪首页 语音播报 相关新闻 返回顶部
    关闭
    关闭