人工智能集群的性能，尤其是机器学习训练集群，受到神经网络处理单元NPUs（即GPU或TPU）之间并行计算能力的显著影响。在我们称为纵向扩展scale-up和横向扩展scale-out设计中，NPUs之间网络的特性成为定义整个系统性能的关键因素之一。通过定义不同的并行策略 ...