苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍
2024年12月19日 09:00 IT之家

IT之家 12 月 19 日消息,苹果公司昨日(12 月 18 日)发布博文,宣布和英伟达(Nvidia)合作,通过开源 Recurrent Drafter(ReDrafter)推测解码方法,显著提升了 AI 大语言模型(LLM)的推理速度。

苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中,在 NVIDIA GPU 上,每秒生成 tokens 速度最高提升 2.7 倍,有效降低了用户延迟和计算成本。

苹果的机器学习研究人员指出,LLM 越来越多地用于驱动生产应用程序,提高推理效率对降低计算成本和用户延迟至关重要。

IT之家援引苹果官方博文,ReDrafter 使用 RNN 草稿模型,结合波束搜索(beam search)与动态树注意力(dynamic tree attention),可以让开源模型每步生成最多 3.5 个 tokens,超越了先前推测性解码技术的性能。

为将 ReDrafter 应用于生产环境,苹果与 NVIDIA 展开合作,将其集成到 NVIDIA TensorRT-LLM 框架中。

英伟达为此添加了新的运算符并公开了现有运算符,增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。

基准测试结果显示,在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架,数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟,还减少了 GPU 使用数量和功耗。

IT之家附上参考地址

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片