英偉達推出了自家最新 430 億參數(shù)大語言模型 ——ChipNeMo。
對于它的用途，英偉達在官方披露消息中也是非常的明確，劍指 AI 芯片設計。
具體而言，ChipNeMo 可以幫助工作人員完成與芯片設計相關(guān)的任務，包括回答有關(guān)芯片設計的一般問題、總結(jié) bug 文檔，以及為 EDA 工具編寫腳本等等。
英偉達首席科學家 Bill Dally 對此表示：
我們的目標是讓英偉達的設計師更有效率。
即使我們的生產(chǎn)率（因 ChipNeMo）只提高了幾個百分點，這也是值得的。
以英偉達 H100 Tensor Core GPU 為例，它由數(shù)百億個晶體管組成，在顯微鏡下看著就像是一個精心規(guī)劃建設的城市一般。
這些晶體管連接在比人類頭發(fā)絲還細 10000 倍的“街道”上，需要多個工程團隊協(xié)作兩年多的時間來完成，其間繁瑣且龐大的工作量，可見一斑。
因此，在英偉達看來，隨著 ChipNeMo 這樣大語言模型的問世，所有的工作流程都將在效率上得以提升。
用 Bill Dally 的話來說：
這項工作標志著將大語言模型應用于半導體設計的復雜工作的重要第一步。
它展示了即使是高度專業(yè)化的領(lǐng)域，也可以使用其內(nèi)部數(shù)據(jù)來訓練有用的生成式 AI 模型。
英偉達設計芯片有了新幫手
總體來看，ChipNeMo 能夠幫助英偉達內(nèi)部的芯片設計師們完成三大方面的工作。
首先就是問答。
ChipNeMo 包含一個原型聊天機器人，它可以回答有關(guān) GPU 架構(gòu)和設計的問題，幫助許多工程師在早期測試中快速找到技術(shù)文檔。
例如，你可以向它提問：
為什么我們要添加重新計時階段（retiming stages）？
ChipNeMo 就會基于這個問題，給出精準的答案：
重新計時階段的增加是為了改善設計的時序，并考慮到芯片不同部分之間的物理距離。
通過增加重定時級，我們可以減少信號在芯片不同部分之間傳輸所需的時間，這有助于提高設計的整體性能。
此外，重定時級還可以幫助減少信號上可能出現(xiàn)的噪聲和干擾的數(shù)量，從而進一步提高設計的性能。
其次是 DEA 腳本生成。
例如只需向 ChipNeMo 用自然語言提出想要生成代碼的要求即可：
在 TOOL1 中編寫代碼，輸出給定矩形（0,0,100,100）中觸發(fā)器單元的數(shù)量。
僅需靜候片刻，帶著注釋的代碼片段“啪的一下”就生成了。
據(jù)了解，英偉達目前還在對代碼生成器（如下圖所示）進行開發(fā)，它將來會和現(xiàn)有的工具做一個集成，好讓工程師用起來更加方便。
最后是 Bug 總結(jié)和分析。
芯片設計人員只需要向 ChipNeMo 描述一下情況即可，例如 prompt 的內(nèi)容可能包括 Bug 的 ID、Synopsis、Module 和 Description 等等。
而后 ChipNeMo 就會根據(jù) prompt，給出做好的技術(shù)總結(jié)和管理總結(jié)等。
ChipNeMo 是怎么煉成的？
首先在數(shù)據(jù)集方面，英偉達主要采用的 Bug 總結(jié)、設計源（Design Source）、文檔以及維基百科、GitHub 等硬件相關(guān)的代碼和自然語言文本。
再經(jīng)過一個集中的數(shù)據(jù)采集過程來收集，最終在清洗和過濾之后，形成了 241 億個 token。
其次在算法、架構(gòu)設計方面，英偉達并沒有直接拿目前已商用、開源的大語言模型來做部署。
而是主要采用了這些領(lǐng)域自適應（Domain-Adapted）技術(shù)，包括自定義標記器、領(lǐng)域自適應持續(xù)預訓練、帶有領(lǐng)域特定指令的監(jiān)督微調(diào)（SFT），以及領(lǐng)域自適應檢索模型。
在此方法之下，便提高了大語言模型在工程助理聊天機器人、EDA 腳本生成和 Bug 摘要和分析等三個應用中的性能。
結(jié)果顯示，這些領(lǐng)域自適應技術(shù)使得大語言模型的性能超過通用基礎(chǔ)模型；同時模型大小最多可減少 5 倍，且保持相似或更好的性能。
不過論文作者也坦言：
雖然目前的結(jié)果已經(jīng)取得了一些進展，但與理想結(jié)果之間仍存在改進空間。進一步研究領(lǐng)域適應的 LLM 方法將有助于縮小這一差距。
參考鏈接：
[1]https://blogs.nvidia.com/blog/2023/10/30/llm-semiconductors-chip-nemo/
[2]https://www.eetimes.com/nvidia-trains-llm-on-chip-design/
[3]https://d1qx31qr3h6wln.cloudfront.net/publications/ChipNeMo%20%2824%29.pdf
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。