国君产业 | 算力时代，关注芯片、软件、网络——算力产业研究系列_新浪财经

　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

摘要：

大模型时代来临，廉价的算力永远是稀缺品。

大模型时代来临，加速计算需求突破式增长。大模型是一个新时代的摩尔定律。算力缺口越来越大，目前算力的基建不够。

世界需要更多算力，廉价的算力永远是稀缺品。我们仍然处于 scaling law 的早期，模型的能力会随着模型参数的增加而提高。OpenAI、微软与 Anthropic 等头部公司的产品仍在你追我赶的过程中。未来市场前景广阔。芯片、软件、网络共同构筑算力时代竞争优势

芯片、软件、网络共同构筑算力时代竞争优势。

以英伟达为例理解算力时代NPU厂商三大技术优势。

壁垒1：GPU/芯片优势明显：从架构上，英伟达打造综合GPU。此外，英伟达在范式架构上的积累领先行业。从硬件生态上，GPU性能受供应链影响很大。从芯片设计上，NVIDIA的方案效率更好。

壁垒2：CUDA生态建立巨大迁移成本：CUDA生态建立巨大迁移成本（时间成本+开发成本+使用习惯成本）。科技树上低垂的果实都被摘光了，只有在正确的道路上不断积累才能有长坡厚雪的实力。

壁垒3：网络架构与互联结构更符合现阶段需求：英伟达NVLink+NV Switch实现低延迟+高带宽+高内存。同时实现7倍带宽+3倍内存。

未来软件能力与硬件加速迭代

Tensor Core的优势在于混合精度计算、简化指令集架构、数据并行处理，打破了内存限制，多元化了数据处理格式。

Transfromer Engine采用混合精度训练，使用低精度数据时需要动态调整设置scaling factor。Embedding使高维原始数据映射到低维流形后可分，self-attention确保查询不超前于其自身时间的信息，FFN对多头注意力的输出进行进一步处理，Transfromer使用Target-Attention捕获Encoder编码的信息，多种技术对确保模型的稳健性和泛化能力至关重要。

风险提示：算力场景落地不及预期，政策变动，产品研发不及预期等。

文章来源

本文摘自：2024年8月20日发布的《算力时代，关注芯片、软件、网络——算力产业研究系列（一）》

李嘉琪，资格证书编号：S0880524040001

王浩，资格证书编号：S0880513090004