见证 AI 的变革时刻:高速光模块,以太网交换机和液冷技术

作者:admin  来源:李东霏 通信百科  发布时间:2024-03-27  访问量:1274

英伟达GTC 2024大会发布GB200芯片及配套架构,通过提升GPU互联带宽、采用高性能光模块和交换机,并部署液冷技术,推动AI计算效能与数据中心能效升级。--通信百科公众号注!


在英伟达 GTC 2024 大会上,黄仁勋发表“见证 AI 的变革时刻演讲,并推出了GB200芯片及相关架构,通过大幅提升GPU间的互联带宽并采用1.6T光模块。同时发布全球首批端到端800G吞吐量的InfiniBand和以太网交换机,以及采用液冷技术的服务器解决方案,全方位推动AI计算性能革新和数据中心能效提升。

1 高速光模块

在GTC 大会上,英伟达揭晓了新一代 GB200 芯片,业界正密切关注这款芯片如何重塑光模块市场需求格局。

在去年五月末的 COMPUTEX 展会上,英伟达首度公开其 GH200 芯片。经估算,在由256颗GH200构建的集群配置中,所需的800G光模块数量高达2304个,平均每颗芯片配备的光模块比例达到了空前的1:9

640.png

本次发布会上崭露头角的GB200同样秉持了这一设计理念,依据黄仁勋在演讲中的披露,单个GPU之间的双向通信带宽已经由先前的900GB/s跃升至1800GB/s。而在集群配置上,一个标准机柜能装载上限为72颗BlackwellGPU,借助新一代NVLink5交换技术,可以实现多达576颗GPU的互联;并且通过InfiniBand或以太网交换机,集群规模还可进一步扩容至上万个GPU节点。


该方案在单台机架中配置了 36 颗 GRACE CPU 和 72 颗 Blackwell GPU,通过铜缆的方案将该 72 颗 Blackwell GPU 进行互联,这一点与 GH200 方案类似,即:第一层网络无需光模块互联。
微信图片_20240327160855.png

正如黄仁勋主题演讲所揭示,在GB200的单机柜配置中,得益于全新一代NVLink Switch芯片的支持,GB200能够组建一个由576颗Blackwell GPU构成的计算集群,显著超越了前代GH200所支持的最大256颗GPU集群规模


就互联带宽而言,集群内的每一颗Blackwell GPU都能实现双向1800GB/s的高速传输,相较于GH200,带宽性能整整翻了一番,这也意味着对应的光模块需承载的带宽加倍,从而催生了对1.6T光模块的需求。


下面我们参照上述逻辑进行估算: 

  • 在芯片接入层级:单颗GB200芯片具备的双向外部接口带宽为1800GB/s,单向即为900GB/s,因此,所有576颗芯片贡献的接入带宽总量为576乘以900GB/s,合计为518.4TB/s。 

  • 在芯片层级与L1层级间:通过铜缆直接相连,故在此环节并无光模块需求。

  • 在L1层级与L2层级的互联过程中:由于576颗芯片产生的总流量为518.4TB/s,考虑到单个1.6T光模块拥有200GB/s的单向传输能力,那么为了完成数据传输,理论上需要配置518.4TB/s除以200GB/s,即共计2592个光模块,这就意味着L1层的上行线路与L2层的下行线路各自需要2592个光模块,总共需要配备5184个光模块


据此推算得出,在GB200芯片与1.6T光模块之间,它们的理想使用比例同样是576:5184=1:9,即单个芯片数与光模块的比例为1:9。


2 以太网交换机

英伟达隆重推出了Quantum-X800 InfiniBand系列与Spectrum-X800以太网交换机产品,成为全球率先实现全程800GB/s数据传输速率的网络解决方案,携手英伟达的配套软件套件,能够有力地促进各种类型数据中心内人工智能任务、云端运算、大数据处理以及高性能计算应用的执行效率,此创新同样适用于基于Blackwell架构新近构建的数据中心环境。

微信图片_20240327161007.png

英伟达 Quantum-X800 和 Spectrum-X800 交换机

两者的早期应用客户有微软Azure、甲骨文云基础设施和 CoreWeave。其中 Quantum-X800 相比上一代,使用 SHARPv4下的带宽容量提高 5 倍、网络计算能力增加 9 倍至 14.4TFlops。Spectrum-X800 优化网络性能,转为多租户环境设计,可确保每个租户的 AI 工作负载的性能隔离,以保持最佳且一致的性能水平,从而提高客户满意度和服务质量。

在国内,新华三与华为两大企业紧随交换机技术升级的步伐,相继推出了自家的800G数据中心交换机产品。如新华三在NAVIGATE领航者峰会全球首度推出了旗下51.2Tbps速率的800G CPO硅光数据中心交换机系列产品——H3C S9827系列。

微信图片_20240327161043.png

图:新华三全球首发 800G CPO 硅光数据中心交换机

这款产品内置的单芯片传输速率高达51.2T级别,支持64个800G的端口。在保证高吞吐性能的同时,借由CPO硅光技术的优势,进一步将单端口传输延迟降低了20%,这一改进意味着在同样的时间周期内,AIGC集群内部GPU之间的数据交换能力可以得到25%的增长,显著提升了GPU的整体计算效能。

一样,华为在 2023 年 6 月第 31 届中国国际信息通信展中发布首款 800GE 数据中心核心交换机——CloudEngine 16800-X 系列

微信图片_20240327161121.png

图:华为首发 CloudEngine 16800-X 800GE 数据中心交换机

华为声称其CloudEngine 16800-X支持 288 个 800GE 端口,具备3.5 微秒跨板转发时延,整体TCO可降低 36%。


3 液冷技术

在英伟达 GB200 的方案中,其机架具有 2 英里长的 NVLink 布线,共 5000 根电缆,估算其功耗将达 20KW及以上。因此,服务器亟需更高效的散热方式。为了让这些计算快速运行,英伟达将采用液冷的设计方案,冷却液输入/输出水温分别为 25/45℃。

除了英伟达,AI 服务器厂商超微电脑预计将在24Q2内扩产液冷机架。

微信图片_20240327161229.png

GB200 NVL72 液冷机架示意图

同时,国内产业链也在协同推进液冷技术的发展。三大运营商在去年  6 月发布了《电信运营商液冷技术白皮书》,并提出 25 年及以后液冷在 50%以上项目规模应用的愿景。

微信图片_20240327161246.png

电信运营商液冷技术规划