IT之家 10 月 12 日消息 語(yǔ)言模型（Language Model）簡(jiǎn)單來(lái)說(shuō)就是一串詞序列的概率分布，主要作用是為一個(gè)長(zhǎng)度為 m 的文本確定一個(gè)概率分布 P，表示這段文本存在的可能性。
大家之前可能或多或少聽(tīng)說(shuō)過(guò) GPT-3，OpenAI 最新的語(yǔ)言模型，堪稱地表最強(qiáng)語(yǔ)言模型，也被認(rèn)為是革命性的人工智能模型。除此之外還有 BERT、Switch Transformer 等重量級(jí)產(chǎn)品，而且業(yè)內(nèi)其他企業(yè)也在努力推出自家的模型。
微軟和英偉達(dá)今天宣布了由 DeepSpeed 和 Megatron 驅(qū)動(dòng)的 Megatron-Turing 自然語(yǔ)言生成模型（MT-NLG），這是迄今為止訓(xùn)練的最大和最強(qiáng)大的解碼語(yǔ)言模型。
IT之家了解到，作為 Turing NLG 17B 和 Megatron-LM 的繼任者，這個(gè)模型包括 5300 億個(gè)參數(shù)，而且 MT-NLG 的參數(shù)數(shù)量是同類現(xiàn)有最大模型 GPT-3 的 3 倍，并在一系列廣泛的自然語(yǔ)言任務(wù)中展示了無(wú)與倫比的準(zhǔn)確性，例如：
完成預(yù)測(cè)
閱讀理解
常識(shí)推理
自然語(yǔ)言推理
詞義消歧
105 層、基于轉(zhuǎn)換器的 MT-NLG 在零、單和少樣本設(shè)置中改進(jìn)了先前最先進(jìn)的模型，并為兩個(gè)模型規(guī)模的大規(guī)模語(yǔ)言模型設(shè)定了新標(biāo)準(zhǔn)和質(zhì)量。
據(jù)悉，模型訓(xùn)練是在基于 NVIDIA DGX SuperPOD 的 Selene 超級(jí)計(jì)算機(jī)上以混合精度完成的，該超級(jí)計(jì)算機(jī)由 560 個(gè) DGX A100 服務(wù)器提供支持，這些服務(wù)器以完整的胖樹(shù)（FatTree）配置與 HDR InfiniBand 聯(lián)網(wǎng)。每個(gè) DGX A100 有 8 個(gè) NVIDIA A100 80GB Tensor Core GPU，通過(guò) NVLink 和 NVSwitch 相互完全連接。微軟 Azure NDv4 云超級(jí)計(jì)算機(jī)使用了類似的參考架構(gòu)。
更多內(nèi)容可查看微軟和英偉達(dá)官方說(shuō)明：
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。