Atlas 900 A3 SuperPoD 384超节点互联逻辑浅析

原创 老郑 系统设计笔记产品Atlas 900 A3 SuperPoD形态12 * 计算柜 (47U) 4 * 总线设备柜 (47U)NPU最大支持 384 * 昇腾910CPU最大支持 192 * 鲲鹏920系统内存最大支持1536个DDR5内存最大内存传输速率5200MT/s单根内存条容量支持64GB/96GB片上内存最大支持384 * 128GB 片上内存带宽速率最大3.2TB/sAI算力最大支持307.2/288.7 PFLOPSFP16D2D互联带宽双向784GB/s本地存储最大支持 480 * 2.5英寸硬盘供电三相交流 380V AC 三相交流 380V AC散热方式液冷(计算柜 风冷(总线设备柜)工作环境温度工作温度5℃40℃41℉104℉结构尺寸高×宽×深计算柜2250mm×600mm×1150mm (不含前后门总线设备柜2250mm×600mm×1150mm (不含前后门Atlas 900 A3 SuperPoD384超节点光互联架构主要由一套总线设备柜内的灵衢总线设备 4*1456台和多套计算柜内计算节点 12*448台通过光纤实现全互联组网物理架构384实际部署数量取决于解决方案可靠性冗余设计计算框12每框4板计算板48交换框4每框14板交换板56计算板NPU8整机NPU8*48384计算板CPU4整机CPU4*48192计算板SW7计算板SW7*48336交换板SW2交换板SW2*26112整机计算板SW共 48*7336 L1 SW 每个SW出16 *LQ7个SW共112条LQ连接到56个交换板实现每个计算板到每一个交换板2条LQ48*56共5376 LQ整机交换板 56*2112 L2 SW 每个SW 48个LQ48*1125376 LQAtlas 900 A3 SuperPoD –计算柜AI系统采用2层胖树组网含LQC和RoCE两种组网其中LQC组网有柜内组网和跨柜组网两种组网方式。● LQC组网每个计算节点有7个LQC网络分别是L1-1~L1-7分属于四块网络交换板。● RoCE组网每个计算机框有1个RoCE网络从混合交换板引出在任意规模的集群上都是跟外部L2标准交换机互连组成集群大网。Atlas 900 A3 SuperPoD –总线设备柜总线设备柜最大支持14个LingQu 630 V1。1. 每台LingQu 630 V1设备内包含两个支持LQC协议的交换芯片每个芯片支持的单链路端口的出口带宽为200GE因此两个芯片合计的单链路端口的出口带宽为400GE。2. 不同LingQu 630 V1设备内的两个交换芯片组成灵衢网络的L2层的不同平面分别与下行服务器的交换芯片组成的灵衢网络L1层的不同平面进行对接。3. 每台LingQu 630 V1设备支持48个QSFP-DD高速连接器的端口每个端口带宽为400GE分别与下行的48台服务器的灵衢总线板上的QSFP-DD端口进行对接。每框2个交换板共8个交换板共计16个SW组成1个交换平面共组成7个交换平面交换平面1每个SW连接48个计算节点的SW1共16*48链接交换平面2每个SW连接48个计算节点的SW2共16*48链接...........交换平面7每个SW连接48个计算节点的SW7共16*48链接框间互联 7*16*485376