以造出世界上最大加速器芯片 CS-2 Wafer Scale Engine 聞名的公司 Cerebras 昨日宣布他們已經(jīng)在利用“巨芯”進行人工智能訓練上走出了重要的一步。該公司訓練出了單芯片上全世界最大的 NLP（自然語言處理）AI 模型。
該模型具有 20 億個參數(shù)，基于 CS-2 芯片進行訓練。這塊全世界最大的加速器芯片采用 7nm 制程工藝，由一整塊方形的晶圓刻蝕而成。它的大小數(shù)百倍于主流芯片，具有 15KW 的功率。它集成了 2.6 萬億個 7nm 晶體管，封裝了 850000 個內(nèi)核和 40GB 內(nèi)存。
▲ 圖 1 CS-2 Wafer Scale Engine 芯片
單芯片訓練 AI 大模型新紀錄
NLP 模型的開發(fā)是人工智能中的一個重要領域。利用 NLP 模型，人工智能可以“理解”文字含義，并進行相應的動作。OpenAI 的 DALL.E 模型就是一個典型的 NLP 模型。這個模型可以將使用者的輸入的文字信息轉化為圖片輸出。
比如當使用者輸入“牛油果形狀的扶手椅”后，AI 就會自動生成若干與這句話對應的圖像。
▲ 圖：AI 接收信息后生成的“牛油果形狀扶手椅”圖片
不止于此，該模型還能夠使 AI 理解物種、幾何、歷史時代等復雜的知識。
但要實現(xiàn)這一切并不容易，NLP 模型的傳統(tǒng)開發(fā)具有極高的算力成本和技術門檻。
實際上，如果只討論數(shù)字，Cerebras 開發(fā)的這一模型 20 億的參數(shù)量在同行的襯托下，顯得有些平平無奇。
前面提到的 DALL.E 模型具有 120 億個參數(shù)，而目前最大的模型是 DeepMind 于去年年底推出的 Gopher，具有 2800 億個參數(shù)。
但除去驚人的數(shù)字外，Cerebras 開發(fā)的 NLP 還有一個巨大的突破：它降低了 NLP 模型的開發(fā)難度。
「巨芯」如何打敗 GPU？
按照傳統(tǒng)流程，開發(fā) NLP 模型需要開發(fā)者將巨大的 NLP 模型切分若干個功能部分，并將他們的工作負載分散到成百上千個圖形處理單元上。
數(shù)以千百計的圖形處理單元對廠商來說意味著巨大的成本。
技術上的困難也同樣使廠商們痛苦不堪。
切分模型是一個定制的問題，每個神經(jīng)網(wǎng)絡、每個 GPU 的規(guī)格、以及將他們連接（或互聯(lián)）在一起的網(wǎng)絡都是獨一無二的，并且不能跨系統(tǒng)移植。
廠商必須在第一次訓練前將這些因素統(tǒng)統(tǒng)考慮清楚。
這項工作極其復雜，有時候甚至需要幾個月的時間才能完成。
Cerebras 表示這是 NLP 模型訓練中“最痛苦的方面之一”。只有極少數(shù)公司擁有開發(fā) NLP 所必要的資源和專業(yè)知識。對于人工智能行業(yè)中的其他公司而言，NLP 的訓練則太昂貴、太耗時且無法使用。
但如果單個芯片就能夠支持 20 億個參數(shù)的模型，就意味著不需要使用海量的 GPU 分散訓練模型的工作量。這可以為廠商節(jié)省數(shù)千個 GPU 的訓練成本和相關的硬件、擴展要求。同時這也使廠商不必經(jīng)歷切分模型并將其工作負載分配給數(shù)千個 GPU 的痛苦。
Cerebras 也并未僅僅執(zhí)拗于數(shù)字，評價一個模型的好壞，參數(shù)的數(shù)量并不是唯一標準。
比起希望誕生于“巨芯”上的模型“努力”，Cerebras 更希望的是模型“聰明”。
之所以 Cerebras 能夠在參數(shù)量上取得爆炸式增長，是因為利用了權重流技術。這項技術可以將計算和內(nèi)存的占用量解耦，并允許將內(nèi)存擴展到足以存儲 AI 工作負載中增加的任何數(shù)量的參數(shù)。
由于這項突破，設置模型的時間從幾個月減少到了幾分鐘。并且開發(fā)者在 GPT-J 和 GPT-Neo 等型號之間“只需幾次按鍵”就可以完成切換。這讓 NLP 的開發(fā)變得更加簡單。
這使得 NLP 領域出現(xiàn)了新的變化。
正如 Intersect360 Research 首席研究官 Dan Olds 對 Cerebras 取得成就的評價：“Cerebras 能夠以具有成本效益、易于訪問的方式將大型語言模型帶給大眾，這為人工智能開辟了一個激動人心的新時代?！?/p>
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。