近幾個(gè)月來(lái),微軟加快了人工智能 AI 業(yè)務(wù)的發(fā)展步伐。在上周的 Surface 活動(dòng)中,該公司推出了 Copilot AI 工具的新功能。然而,AI 需要在數(shù)據(jù)中心進(jìn)行大量工作,而其能耗過(guò)高也是不少 AI 公司頭疼的問(wèn)題。
外媒 Fast Company的一篇新文章概述了微軟在最近大量 AI 頭條新聞中的領(lǐng)先地位,該雜志表示,這在很大程度上要?dú)w功于其首席執(zhí)行官納德拉的“真知灼見(jiàn)”。不過(guò)外媒也指出,雖然微軟目前正處于 AI 行業(yè)領(lǐng)頭位置,但若其執(zhí)行微軟小娜式的“傳統(tǒng)藝能”(高調(diào)宣發(fā),功能齊全,此后逐步忽視,最終被砍),恐怕將被其他競(jìng)品超過(guò),當(dāng)下競(jìng)爭(zhēng)的閘門(mén)已經(jīng)打開(kāi),其他企業(yè)也紛紛加入到 AI 的潮流中來(lái),其中包括谷歌、X、Meta、IBM、Opera、Mozilla 和英偉達(dá)等等,外媒警告微軟不應(yīng)當(dāng)在取得的成果處停滯不前。
微軟研究人員日前推出了名為ZeRO++的新技術(shù),其建立在現(xiàn)有的 ZeRO 傳輸技術(shù)基礎(chǔ)上,并提供增強(qiáng)的通信策略,可提高訓(xùn)練效率,同時(shí)減少訓(xùn)練時(shí)間和成本。當(dāng)在每個(gè)GPU上使用小批量大小時(shí),在高帶寬集群中,ZeRO++相比ZeRO-3的吞吐量提高了28%至36%。在低帶寬集群中,與ZeRO-3相比,ZeRO++實(shí)現(xiàn)了平均2倍的加速,使得大模型訓(xùn)練在更多種類(lèi)的集群上更為可行。目前微軟已經(jīng)放出了相關(guān)技術(shù)文檔,研究人員可以利用ZeRO++更有效地訓(xùn)練模型,在AI領(lǐng)域探索新的可能性。