西部证券-计算机行业GPU专题跟踪:大模型核心是训练算力,Chat流量核心是推理算力-230407

西部证券-计算机行业GPU专题跟踪:大模型核心是训练算力,Chat流量核心是推理算力-230407
2023年04月07日 13:24 同花顺

  GPT-4对算力需求更大,算力重要性凸显。1)GPT-4相较于ChatGPT实现能力大幅度提升。GPT-4是一个多模态大模型(接受图像和文本输入,生成文本),相比上一代,GPT-4可以更准确地解决难题,具有更广泛的常识和解决问题的能力:更具创造性和协作性;能够处理超过25000个单词的文本,允许长文内容创建、扩展对话以及文档搜索和分析等用例。2)数据、算力及模型是人工智能发展的三要素。3)GPT-4相对于3来讲训练需求的算力更大。以GPT-3模型为例,以算力需求=2×参数数量×3×数据规模×训练轮数为计算模型,以OpenAI数据为基础,则训练1轮GPT-3需要的算力是3.14×10^23flop,如果采用A100芯片,则GPT-3需要的算力为241A100-years(即一张A100芯片需要训练241年)。可见,GPT-3对于算力的需求巨大,GPT-4相对于3来讲,参数是其20倍左右,且增加了多模态,因此对于算力的需求更大。4)全球算力规模将呈现高速增长态势,经中国信息通信研究院测算,2021年全球计算设备算力总规模达到615EFlops,增速达44%。

  就openAI不支持ChatGPT的Plus付费而言,更多的问题出在推理测。与训练侧不同,当模型训练完成、应用场景固定,通过对模型进行裁剪、优化参数网络存储、降低精度降低存储量和计算强度降低对显存、片间带宽和算力的要求,可以降低对单张卡的算力要求。但推理直接服务用户和应用,面对的是上亿(360)、数亿(淘宝)、十亿(微信、tiktok、tw、fb、google)等海量流量的冲击,所需要的算力规模无比巨大,从经验来看远大于训练侧的算力需求。因此我们建议关注openAI不支持ChatGPT的Plus付费对训练、推理两条线的影响:对训练侧,主要影响在于爆火刺激大模型研发相关方积极投入为未来的AI红利抢占先机;对推理侧,openAI当前用A100支持推理侧直面海量用户的策略遭受巨大挑战,也预示着未来推理侧算力的巨大红利尚待挖掘。

  建议关注:1、GPU:寒武纪:5x0新一代产品对标英伟达当前主流训练侧A100突破国内大模型训练侧市场已成定局,3x0新一代推理侧算力更是已经广泛应用,未来首个大模型大规模应用的推理侧红利确定性较强;景嘉微:xc图显转型AI算力。海光信息:深算3号蓄势待发,公司海光系列CPU和深算1、2号芯片技术市场双成熟。2、昇腾产业链:神州数码:鲲鹏昇腾头部合作伙伴,23年动态估值(PE)不到20倍,昇腾生态里曾经的“浪潮信息”;四川长虹:鲲鹏昇腾双龙。3、其他:算力池:光环新网鸿博股份青云科技

风险提示:大模型发展不及预期;下游需求不及预期;产业链发生变化

炒股开户享福利,送投顾服务60天体验权,一对一指导服务!
海量资讯、精准解读,尽在新浪财经APP
推理 西部证券 gpu

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

7X24小时

  • 04-11 晶升股份 688478 --
  • 04-11 中船特气 688146 --
  • 04-07 高华科技 688539 38.22
  • 04-07 颀中科技 688352 12.1
  • 04-07 北方长龙 301357 50
  • 产品入口: 新浪财经APP-股票-免费问股
    新浪首页 语音播报 相关新闻 返回顶部