来源:芝能汽车
在2024年的Hot Chips会议上,Tesla展示了其AI超级计算机DOJO的最新进展,尤其是其独特的网络架构——Tesla传输协议以太网(TTPoE)。
特斯拉不仅打造了专属的AI加速器,还开发了自家的以太网传输协议TTPoE,而非传统的TCP/IP协议,创新解决方案展现了Tesla在AI领域的自研技术实力与战略思考。
![](http://n.sinaimg.cn/spider20240831/88/w1080h608/20240831/6dc6-ec43069f0ce6d86a03aa110edf5e680a.png)
特斯拉 DOJO AI 网络的背景
特斯拉DOJO是为训练深度学习模型而设计的超级计算机,旨在加速其自动驾驶技术的发展。DOJO不仅仅是硬件创新,更在于其独特的软件和网络架构。
为了克服传统TCP/IP网络在处理海量数据时的速度瓶颈,Tesla决定引入TTPoE,构建了一个百亿亿级别的AI网络,这一选择背后的深层原因与其AI训练需求密切相关。
![](http://n.sinaimg.cn/spider20240831/43/w1080h563/20240831/9884-cca284868a278661b0dff8f97e751011.png)
● 为什么特斯拉放弃TCP/IP?
特斯拉认为,TCP/IP协议在AI集群中的表现过于缓慢,尤其在面对高带宽和低延迟需求时。TCP/IP的复杂状态机和过多的包控制机制,使得其在高性能计算环境中显得笨重。
而另一种常见的无损网络解决方案——RDMA,尽管通过优先流控制(PFC)实现了无损传输,但其硬件需求高,成本高昂且对网络产生负面影响。Tesla发现这些协议无法满足DOJO对于速度、成本和性能的多重需求,因此选择自研协议以突破现有瓶颈。
![](http://n.sinaimg.cn/spider20240831/76/w1080h596/20240831/a8f8-0ed7d291f78d0aa0ba1f857d2443794d.png)
●TTPoE 的独特性
TTPoE(Tesla传输协议以太网)是一种专门为Tesla AI集群设计的传输层协议,在硬件中实现点对点传输。与传统的网络架构不同,TTPoE不需要特制的交换机,仅依赖二层传输。这使得特斯拉能够显著降低硬件成本,同时提高网络性能。
![](http://n.sinaimg.cn/spider20240831/765/w1080h485/20240831/f31c-f163e836639af3bcc091a1d65e768942.png)
TTPoE并非简单的模仿UDP,而是采用一种有损的数据传输机制,允许数据包丢失并进行重试。这种设计类似于TCP,但又没有TCP的重负荷和过多的包确认过程。这一取舍使得TTPoE可以在高性能的AI训练场景中高效运行,而无需完全保障每个数据包的传输完美无损。
特斯拉的解决方案更关注的是整体吞吐量和传输效率,而非数据的完美传递,这对于AI训练来说至关重要。
![](http://n.sinaimg.cn/spider20240831/139/w1080h659/20240831/7bdd-b3392a67d2f55fefac0caa4bed8bb46b.png)
● TTPoE 的微架构设计
TTPoE协议的核心是其微架构设计。特斯拉将其传输协议的实现直接集成到硅片和FPGA中,使数据传输效率最大化。
1MB的传输(TX)缓冲区作为第一代产品的一部分,被设计为类似于L3缓存的结构,配合高带宽内存(HBM),这一设计大大减少了数据在不同存储器之间传输的延迟。
![](http://n.sinaimg.cn/spider20240831/100/w1080h620/20240831/7b3c-4b2c8487e9b6babb2ecb843608b9a93a.png)
TTPoE使用了本地链路通道进行拥塞管理,而非依赖交换机或网络级别的控制。这种独特的本地处理方式大大减少了拥塞管理的复杂性,也避免了高负载情况下对整个网络性能的拖累。
虽然TTPoE支持QoS(服务质量)管理,但在实际应用中特斯拉选择关闭了该功能,以进一步提升性能和简化管理。
![](http://n.sinaimg.cn/spider20240831/127/w1080h647/20240831/ca2a-6cf40c7eb2df728d5224afa63b053c08.png)
![](http://n.sinaimg.cn/spider20240831/155/w1080h675/20240831/1aeb-80bc334bbe396be8f92ff1aa547de874.png)
![](http://n.sinaimg.cn/spider20240831/137/w1080h657/20240831/31e2-ded5b323311adaa7128d9ce3c2bf0287.png)
Part 2
DOJO 超级计算机的硬件创新
![](http://n.sinaimg.cn/spider20240831/97/w1080h617/20240831/ee9c-b3de5a345febc05e2b175f1298a8e68e.png)
Tesla DOJO的硬件设计进一步强化了其网络架构的独特性。DOJO的100Gbps网络接口卡(NIC)被称为Mojo,其运行功率低于20W,配有8GB DDR4内存以及板载的DOJO DMA引擎。
![](http://n.sinaimg.cn/spider20240831/74/w1080h594/20240831/b727-42cf4b80832078897563058253b31c7c.png)
这些硬件组件都经过定制,专门优化以满足TTPoE协议的高效传输需求。特斯拉的DOJO还采用了一个带有32GB HBM的接口处理器,支持高达900GB/s的传输速率。
![](http://n.sinaimg.cn/spider20240831/27/w1080h547/20240831/a6b5-d5ba452bc8422d0b7438c666c3d86df7.png)
这种强大的数据处理能力,再加上内部集成的TTPoE协议,使得DOJO能够在不依赖第三方设备的情况下,完成海量数据的高速传输。
![](http://n.sinaimg.cn/spider20240831/66/w1080h586/20240831/181c-1474c5932f839448cf1648ec91747627.png)
特斯拉在其AI超级计算机中全面部署TTPoE,显示了其强大的自研能力和对未来的布局。然而,TTPoE不仅仅适用于DOJO系统。特斯拉还加入了UltraEthernet联盟,这意味着其创新的网络协议可能在未来被广泛应用于其他领域。
特斯拉的此举或许代表着一种新的网络架构趋势,将定制化与高效化带入到其他高性能计算和数据中心环境中。
![](http://n.sinaimg.cn/spider20240831/650/w1080h370/20240831/8e38-27fa77f54ba9c8f3b474a56e17823004.png)
特斯拉选择Arista交换机为TTPoE提供支持,这进一步强化了其系统的灵活性与兼容性。通过优化跳数和降低延迟,TTPoE将以太网在AI集群中的应用潜力进一步释放,为未来的超大规模AI训练网络铺平了道路。
![](http://n.sinaimg.cn/spider20240831/750/w1080h470/20240831/fa7e-acef4ea80d8224eaef6c70bd53649f04.png)
![](http://n.sinaimg.cn/spider20240831/84/w1080h604/20240831/74a9-11fd72f64a75c49fa09d8e5009ab0440.png)
特斯拉的TTPoE协议展示了其在AI计算领域的开拓性思维和技术实力。通过抛弃传统的TCP/IP协议,特斯拉为DOJO超级计算机打造了一个前所未有的高速、有损网络架构。
这一设计不仅提高了AI训练的效率,还降低了硬件成本,为特斯拉的AI技术发展提供了重要支撑。
![](http://n.sinaimg.cn/spider20240831/51/w1080h571/20240831/ead3-51e7a468f65eb977d7cd3d2381341d82.png)
![](http://n.sinaimg.cn/spider20240831/51/w1080h571/20240831/753c-9c36cd5b4c16525296d9cc83dc377764.png)
特别声明:以上内容仅代表作者本人的观点或立场,不代表新浪财经头条的观点或立场。如因作品内容、版权或其他问题需要与新浪财经头条联系的,请于上述内容发布后的30天内进行。
![](http://n.sinaimg.cn/finance/cece9e13/20240627/655959900_20240627.png)
![](http://n.sinaimg.cn/finance/pc/cj/kandian/img/article_pic05.png)
400-690-0000 欢迎批评指正
All Rights Reserved 新浪公司 版权所有