ZeRO++

微軟研究人員日前推出了名為ZeRO++的新技術(shù)，其建立在現(xiàn)有的 ZeRO 傳輸技術(shù)基礎上，并提供增強的通信策略，可提高訓練效率，同時減少訓練時間和成本。當在每個GPU上使用小批量大小時，在高帶寬集群中，ZeRO++相比ZeRO-3的吞吐量提高了28%至36%。在低帶寬集群中，與ZeRO-3相比，ZeRO++實現(xiàn)了平均2倍的加速，使得大模型訓練在更多種類的集群上更為可行。目前微軟已經(jīng)放出了相關(guān)技術(shù)文檔，研究人員可以利用ZeRO++更有效地訓練模型，在AI領域探索新的可能性。