炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!
字节豆包MAU近6000万,大模型调用量增长迅速。12月18日,字节召开火山引擎Force大会,火山引擎CEO谭待表示,截至目前,豆包大模型日均tokens使用量超过4万亿,发布7个月以来增长超过33倍。11月豆包MAU接近6000万,在AI产品榜·全球总榜中仅次于ChatGPT 2.87亿的MAU。11月豆包的MAU增速达16.92%,考虑当前豆包增速,我们认为豆包在2025年的MAU有望接近ChatGPT达到2亿。我们认为字节在算力端的投入有望高速增长,助推AI算力相关产业链加速扩张。
豆包调用量有望推动算力各环节价值量增长。根据上文对豆包2025年MAU及日均token数的测算,我们认为豆包有望助推AI算力产业链需求扩张。以下为对豆包大模型算力需求对应产业链各环节需求测算:
2024 | 2025E | 备注 | |
豆包月活(亿) | 0.6 | 2 | 11月豆包APP MAU为0.60亿,ChatGPT约为2.87亿,11月豆包的MAU增速达16.92% |
模型参数量(亿) | 1300 | 基于云雀大模型 | |
平均每秒并发token数(亿/s) | 0.46 | 1.54 | 一天有24*3600s |
峰值token倍数(倍) | 5 | 推理在一天中峰谷波动明显 | |
总算力需求(FLOPS) | 1.20E+20 | 4.01E+20 | 假设总算力需求(FLOPS)=2*参数量*每秒token数*峰值token倍数/算力利用率50% |
GPU/服务器需求 | |||
GPU需求(万张) | 80.81 | 271.10 | 以H20 FP16算力148TFLOPS为基准 |
服务器需求(万台) | 10.10 | 33.89 | 以八卡英伟达H20服务器为基准 |
H20服务器售价(万元/台) | 90.00 | 80.00 | 假设明年价格略微下行 |
服务器价值(亿元) | 909.12 | 2711.04 | |
——GPU +基板价值(亿元) | 660.02 | 1968.22 | 参考H100中成本占比72.6% |
——服务器中DRAM价值(亿元) | 26.36 | 78.62 | 参考H100中成本占比2.9% |
——服务器中NAND占价值(亿元) | 11.82 | 35.24 | 参考H100中成本占比1.3% |
数据中心相关设备 | |||
光模块数量(万个) | 242.43 | 813.31 | 1张GPU对应3个光模块 |
数据中心存储价值(亿元) | 144.93 | 432.20 | 估算为服务器价值量的11/69 |
电源价值量(亿元) | 9.70 | 32.53 | 以2000元/千瓦计算 |
IDC年租金(亿元) | 47.27 | 158.60 | 参考极云科技在成都8kw整柜78000元/年 |
冷板式液冷价值量(亿元) | 2.62 | 31.23 | 以6000元/千瓦计算 |
浸没式液冷价值量(亿元) | 0.48 | 13.01 | 以10000元/千瓦计算 |
资料来源:财联社,36氪,百度智能云,腾讯技术工程公众号,深圳市电子商会,融资中国,芯智讯,半导体行业观察,中研网,曼陀咨询,爱采购,极云科技,电信运营商液冷技术白皮书,IDC,明德源能,国盛证券研究所 |
建议关注:
芯片:寒武纪等
电源:欧陆通等
服务器/主板:浪潮信息、华懋科技、软通动力、神州数码、拓维信息等
潜在存储:兆易创新等
:AI技术迭代不及预期风险;经济下行超预期风险;行业竞争加剧风险;关键假设有误差风险。
01
字节豆包MAU近6000万,大模型调用量增长迅速
12月18日,字节召开火山引擎Force大会,火山引擎CEO谭待表示,目前豆包大模型日均tokens使用量超过4万亿,自发布以来七个月增长超过33倍。
会上,字节跳动正式发布了豆包视觉理解模型、豆包3D生成模型,以及全面升级的豆包通用模型pro、音乐模型和文生图模型等。其中,豆包视觉理解模型千tokens输入价格仅为3厘,一元钱就可处理284张720P的图片。火山引擎Force大会还宣布,字节跳动将在2025年春季推出具备更长视频生成能力的豆包视频生成模型1.5版,豆包端到端实时语音模型也将很快上线。
据36氪,11月豆包MAU接近6000万,在AI产品榜·全球总榜中仅次于ChatGPT 2.87亿的MAU。我们认为,豆包作为国内大模型的代表,参数量或有千亿级别,叠加其4万亿/天的token消耗,字节在算力端的投入或十分巨大、且仍在高速增长,有望助推AI算力链公司加速扩张。11月豆包的MAU增速达16.92%,考虑当前豆包增速,我们认为豆包在2025年的MAU有望接近ChatGPT达到2亿,假设token数与月活成正比,对应每秒并发tokens数为1.54亿。据百度智能云,推理服务一个典型的负载模式是一天中峰谷波动明显,且会出现不可预期的短时间流量激增。这就出现了虽然峰值很高,但平均利用率却很差,均值经常不到 30%甚至20%,因此我们估算豆包的峰值token数是平均token数的五倍。
图表1:豆包算力需求测算 | |||
2024 | 2025E | 备注 | |
豆包月活(亿) | 0.6 | 2 | 11月豆包APP MAU为0.60亿,ChatGPT约为2.87亿,11月豆包的MAU增速达16.92% |
日均token数(亿) | 40,000 | 133,333 | 假设token数与月活成正比 |
平均每秒并发token数(亿/s) | 0.46 | 1.54 | 一天有24*3600s |
峰值token倍数(倍) | 5 | 推理在一天中峰谷波动明显,平均利用率经常不到30%甚至20%, | |
资料来源:财联社,36氪,百度智能云,国盛证券研究所 |
02
多模态快速发展,结合大模型带来更多应用场景
根据上文对豆包2025年MAU及日均token数的测算,我们认为豆包有望助推AI算力产业链需求扩张。以下为各环节需求测算:
服务器:
据腾讯技术工程公众号,大模型的推理过程中,主要计算量在Transformer 解码层,这一层对于每个 token、每个模型参数是一个单位 unit 的计算量,所以推理过程每个 token、每个模型参数,需要进行1 unit × 2 flops =2次浮点运算。因此我们估算豆包大模型对应算力需求= 2*参数量*每秒token数*峰值token倍数/算力利用率,该方法可能存在一定误差。
据融资中国,豆包(云雀)大模型参数规模为1300亿。根据百度智能云报道,一般情况下,在线服务的 GPU 使用率不高,在 20%左右。另外,若部署其用户态方案,保证在线服务的 SLA相同的情况下,可以将GPU资源利用率提升至35%。我们基于对算力需求保守估计的角度出发,假设字节对算力的利用率达到50%。以H20为例,其FP16算力为148TFLOPS,功耗为400W。以下测算用上述H20的FP16算力作为基准,可能存在一定误差。
据深圳市电子商会2024年5月消息,一台八卡英伟达H20服务器目前市场价可能下探至约100万元人民币,考虑随时间推移旧型号价格可能持续下降,以下测算以一台八卡英伟达H20服务器今年价格90万,明年价格80万为基准。
具体到服务器中部件成本,如果参考H100,据半导体行业观察,一个8 GPU + 4 NVSwitch 基板的Nvidia DGX H100服务器价格为268495美元,其 BOM 成本明细包括供电、内存、组装、冷却、GPU 成本、CoWoS 成本、裸片成本、成品率成本、HBM 成本等。其中 GPU + 基板价值量为195000美元,占比72.6% 存储占比为DRAM 2.9%和NAND 1.3%。
图表2:豆包服务器需求测算 | |||
2024 | 2025E | 备注 | |
模型参数量(亿) | 1300 | 基于云雀大模型 | |
平均每秒并发token数(亿/s) | 0.46 | 1.54 | 一天有24*3600s |
峰值token倍数(倍) | 5 | 推理在一天中峰谷波动明显 | |
总算力需求(FLOPS) | 1.20E+20 | 4.01E+20 | 总算力需求(FLOPS)=2*参数量*每秒token数*峰值token倍数/算力利用率设为50% |
GPU需求(万张) | 80.81 | 271.10 | 以H20 FP16算力148TFLOPS为基准 |
服务器需求(万台) | 10.10 | 33.89 | 以八卡英伟达H20服务器为基准 |
H20服务器售价(万元/台) | 90.00 | 80.00 | 假设明年价格略微下行 |
服务器价值(亿元) | 909.12 | 2711.04 | |
——GPU +基板价值(亿元) | 660.02 | 1968.22 | 参考H100中成本占比72.6% |
——服务器中DRAM价值(亿元) | 26.36 | 78.62 | 参考H100中成本占比2.9% |
——服务器中NAND占价值(亿元) | 11.82 | 35.24 | 参考H100中成本占比1.3% |
资料来源:腾讯技术工程公众号,深圳市电子商会,融资中国,百度智能云,芯智讯,半导体行业观察,国盛证券研究所 |
数据中心存储据中研网,数据中心IT设备成本中服务器成本占比为69%,存储成本占比为11%。因此我们估算豆包算力所需数据中心存储的价值量为服务器价值量的11/69。光模块据曼陀咨询,大模型的参数规模越来越大,进而带来交换网络层数的提升,GPU和光模块的配比提升。GPT-4在25K张GPU集群上训练需要75000个光互连。未来的10万个超大计算集群,需要50万个光互联,GPU与光模块的配比为1:5。我们假设豆包算力集群所需的光模块配比与GPT-4类似,则为1张GPU对应3个光模块。
电源
据半导体行业观察,每台 DGX H100 服务器正常运行时的预期平均功率 (EAP) 约为 10,200 W,每台服务器 8 个 GPU 的每一个 GPU 的功率为1,275 W。其中包括 H100 本身的 700W 热设计功耗 (TDP),以及双 Intel XeonPlatinum 8480C 处理器的约 575W(分配给每个 GPU)以及 2TB DDR5 内存、NVSwitches、NVLink、NIC、重定时器、网络收发器等加上整个 SuperPOD 的存储和管理服务器以及各种网络交换机的电力需求。参考H100服务器的功耗与GPU的功耗比例为10200/(700*8),我们保守按服务器功耗为GPU功耗的1.5倍来测算豆包算力所需服务器功耗。
参考爱采购网U1A-D10800-DRBU1A-D10800-DRB-Z 800W欧陆通服务器电源模块60个起批价为1900元,对应电源价值量为1900元/800W,即2.375元/W。我们保守按2000元/千瓦来测算豆包算力所需电源的价值量。
IDC租金
我们参考极云科技在成都IDC高电机柜的租金,40a电流8kw整柜租用年付优惠价为78000元/年;各家IDC厂商定价以及不同地域IDC价格可能有所差别。
液冷
据三大运营商联合发布的《电信运营商液冷技术白皮书》,三大运营商规划于2023年开展技术验证,2024年规模测试,新建数据中心10%规模试点应用液冷技术;而到2025年开展规模应用,50%以上数据中心项目应用液冷技术。我们假设豆包算力设施在2024年液冷渗透率10%,2025年液冷渗透率40%。
IDC数据显示,2023上半年,中国液冷服务器市场中,冷板式占到了90%,主要取决于传统数据中心对原有基础设施改造成本和难度的关注度,以及当前冷板式方案成熟度较高,商用基础较好。长远来看,浸没式在散热效率和单机柜功率、空间利用率等方面比冷板式具有显著优势。
据明德源能估计,浸没式液冷系统的建设成本大约在每千瓦1万元人民币以上,这还不包括可能的额外维护和更换冷却液的费用。冷板式液冷其建设成本平均每千瓦约在6000-8000元人民币,远低于浸没式液冷。参考IDC数据2023年冷板式占比90%,考虑到IDC指出长远来看浸没式具有优势,我们估算时假设浸没式明年加快推进,按浸没式液冷价值1万/千瓦,今年占比10%,到25年占比提升到20%;冷板式液冷价值6000/千瓦,今年占比90%,25年占比80%。
图表3:豆包服务器需求对应数据中心设施测算 | |||
2024 | 2025E | 备注 | |
GPU需求(万张) | 80.81 | 271.10 | 以H20 FP16算力为基准 |
服务器价值(亿元) | 909.12 | 2711.04 | |
光模块数量(万个) | 242.43 | 813.31 | 1张GPU对应3个光模块 |
数据中心存储价值(亿元) | 144.93 | 432.20 | 估算为服务器价值量的11/69 |
GPU总功耗(千瓦) | 323243.24 | 1084417.75 | 以H20每张400W为基准 |
服务器总功耗(千瓦) | 484864.86 | 1626626.63 | 以服务器功耗为GPU功耗的1.5倍计算 |
电源价值量(亿元) | 9.70 | 32.53 | 以2000元/千瓦计算 |
IDC年租金(亿元) | 47.27 | 158.60 | 参考极云科技在成都8kw整柜78000元/年 |
液冷占比 | 0.10 | 0.40 | |
冷板式液冷占比 | 0.90 | 0.80 | 长远看浸没式有优势,假设浸没式加速推进 |
冷板式液冷价值量(亿元) | 2.62 | 31.23 | 以6000元/千瓦计算 |
浸没式液冷占比 | 0.10 | 0.20 | 长远看浸没式有优势,假设浸没式加速推进 |
浸没式液冷价值量(亿元) | 0.48 | 13.01 | 以10000元/千瓦计算 |
资料来源:中研网,曼陀咨询,半导体行业观察,爱采购,极云科技,电信运营商液冷技术白皮书,IDC,明德源能,国盛证券研究所 |
综上,我们对豆包大模型算力需求(非字节全部业务算力需求)对应产业链各环节需求测算如下
图表4:豆包算力产业链各环节需求测算 | |||
2024 | 2025E | 备注 | |
豆包月活(亿) | 0.6 | 2 | 11月豆包APP MAU为0.60亿,ChatGPT约为2.87亿,11月豆包的MAU增速达16.92% |
模型参数量(亿) | 1300 | 基于云雀大模型 | |
平均每秒并发token数(亿/s) | 0.46 | 1.54 | 一天有24*3600s |
峰值token倍数(倍) | 5 | 推理在一天中峰谷波动明显 | |
总算力需求(FLOPS) | 1.20E+20 | 4.01E+20 | 假设总算力需求(FLOPS)=2*参数量*每秒token数*峰值token倍数/算力利用率50% |
GPU/服务器需求 | |||
GPU需求(万张) | 80.81 | 271.10 | 以H20 FP16算力148TFLOPS为基准 |
服务器需求(万台) | 10.10 | 33.89 | 以八卡英伟达H20服务器为基准 |
H20服务器售价(万元/台) | 90.00 | 80.00 | 假设明年价格略微下行 |
服务器价值(亿元) | 909.12 | 2711.04 | |
——GPU +基板价值(亿元) | 660.02 | 1968.22 | 参考H100中成本占比72.6% |
——服务器中DRAM价值(亿元) | 26.36 | 78.62 | 参考H100中成本占比2.9% |
——服务器中NAND占价值(亿元) | 11.82 | 35.24 | 参考H100中成本占比1.3% |
数据中心相关设备 | |||
光模块数量(万个) | 242.43 | 813.31 | 1张GPU对应3个光模块 |
数据中心存储价值(亿元) | 144.93 | 432.20 | 估算为服务器价值量的11/69 |
电源价值量(亿元) | 9.70 | 32.53 | 以2000元/千瓦计算 |
IDC年租金(亿元) | 47.27 | 158.60 | 参考极云科技在成都8kw整柜78000元/年 |
冷板式液冷价值量(亿元) | 2.62 | 31.23 | 以6000元/千瓦计算 |
浸没式液冷价值量(亿元) | 0.48 | 13.01 | 以10000元/千瓦计算 |
资料来源:财联社,36氪,百度智能云,腾讯技术工程公众号,深圳市电子商会,融资中国,芯智讯,半导体行业观察,中研网,曼陀咨询,爱采购,极云科技,电信运营商液冷技术白皮书,IDC,明德源能,国盛证券研究所 |
建议关注:
芯片:寒武纪等
电源:欧陆通等
IDC:润泽科技、亚康股份等
服务器/主板:浪潮信息、华懋科技、软通动力、神州数码、拓维信息等
散热:英维克、申菱环境、高澜股份等
潜在存储:兆易创新等
行业竞争加剧风险:若相关企业加快技术迭代和应用布局,整体行业竞争程度加剧,将会对目前行业内企业的增长产生威胁。关键假设有误差风险:若关键假设不准确,可能导致测算结果不准确
具体分析详见2024年12月22日发布的报告《豆包算力需求测算》
特别声明:《证券期货投资者适当性管理办法》于2017年7月1日起正式实施。通过微信形式制作的本资料仅面向国盛证券客户中的专业投资者。请勿对本资料进行任何形式的转发。若您非国盛证券客户中的专业投资者,为保证服务质量、控制投资风险,请取消关注,请勿订阅、接受或使用本资料中的任何信息。因本订阅号难以设置访问权限,若给您造成不便,烦请谅解!感谢您给予的理解和配合。
重要声明:本订阅号是国盛证券计算机团队设立的。本订阅号不是国盛计算机团队研究报告的发布平台。本订阅号所载的信息仅面向专业投资机构,仅供在新媒体背景下研究观点的及时交流。本订阅号所载的信息均摘编自国盛证券研究所已经发布的研究报告或者系对已发布报告的后续解读,若因对报告的摘编而产生歧义,应以报告发布当日的完整内容为准。本资料仅代表报告发布当日的判断,相关的分析意见及推测可在不发出通知的情形下做出更改,读者参考时还须及时跟踪后续最新的研究进展。
本资料不构成对具体证券在具体价位、具体时点、具体市场表现的判断或投资建议,不能够等同于指导具体投资的操作性意见,普通的个人投资者若使用本资料,有可能会因缺乏解读服务而对报告中的关键假设、评级、目标价等内容产生理解上的歧义,进而造成投资损失。因此个人投资者还须寻求专业投资顾问的指导。本资料仅供参考之用,接收人不应单纯依靠本资料的信息而取代自身的独立判断,应自主作出投资决策并自行承担投资风险。
(转自:国盛计算机畅想)
VIP课程推荐
APP专享直播
热门推荐
收起24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)