苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

seo998 财经 2024-12-19 1 0

IT之家 12 月 19 日消息,苹果公司昨日(12 月 18 日)发布博文,宣布和英伟达(Nvidia)合作,通过开源 Recurrent Drafter(ReDrafter)推测解码方法,显著提升了 AI 大语言模型(LLM)的推理速度。

苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中,在 NVIDIA GPU 上,每秒生成 tokens 速度最高提升 2.7 倍,有效降低了用户延迟和计算成本。

苹果的机器学习研究人员指出,LLM 越来越多地用于驱动生产应用程序,提高推理效率对降低计算成本和用户延迟至关重要。

IT之家援引苹果官方博文,ReDrafter 使用 RNN 草稿模型,结合波束搜索(beam search)与动态树注意力(dynamic tree attention),可以让开源模型每步生成最多 3.5 个 tokens,超越了先前推测性解码技术的性能。

苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

为将 ReDrafter 应用于生产环境,苹果与 NVIDIA 展开合作,将其集成到 NVIDIA TensorRT-LLM 框架中。

苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

英伟达为此添加了新的运算符并公开了现有运算符,增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。

基准测试结果显示,在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架,数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟,还减少了 GPU 使用数量和功耗。

苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

IT之家附上参考地址

「活动」注册就送新人大礼包

84.29MB
版本V9.84.14
下载秋霞eeuss影院安装你想要的应用 更方便 更快捷 发现更多
喜欢 18%好评(87人)
评论 40
0 1 2 3 4
详细信息
  • 软件大小: 81.23MB
  • 最后更新: 2024-09-16 18:34:53
  • 最新版本: V8.28.17
  • 文件格式: apk
  • 应用分类:ios-Android 黄色视频免费在线观看视频地址
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.41以上
应用介绍
一,ts人妖视频,黄片免费视频2015
二,xnxxxcom,污污污网站在线免费播放
三,91蜜桃网,一个人看的ww视频
四,黄色网站日本APP,a大片大片网y
五,另类视频第一页,黄色应用前十免费下载
六,狠狠色综合一区二区,免费观看黄色毛片
七,一脱二膜三脱四桶网站,国产日韩一区二区三区

【联系我们】
客服热线:139-8888-666
加载更多
版本更新
V1.22.17
亚洲乱淫,亚洲区第一页

猜你喜欢

相关攻略
包含 饿了么 的应用集
评论
  • 4天前
    999sss
  • 很汚的网站 7天前
    久久一区二区三区爽
  • 正在播放国产多p交换视频 7天前
    www.pornhub
  • 视频色版 6天前
    成品网站1688嘛豆
  • 免费做a爰片久久毛片A 2天前
    久草视频91网站
  • 日韩精品视频网站 4天前
    日韩欧美大陆
  • 成人黄色软件 5天前
    91首页视频
  • 免费黄片观看。 4天前
    国产乱理伦片在线观看
  • 今天阴历是多少 4天前
    羞羞网站入口视频在线观看漫画视频
  • youzzcom 9天前
    94gan