IT之家 6 月 27 日消息，美國加州大學圣克魯茲分校的研究團隊研究出新的方法，只需要 13W 的功率（相當于一個現(xiàn)代 LED 燈泡的功率），就能運行 10 億參數規(guī)模的大語言模型。而作為對比，用于大語言模型任務的數據中心級 GPU 需要約 700W。
AI 浪潮下很多公司、機構的研究主方向是應用、推理方面，很少考慮效率等指標。該研究人員為緩解這種狀況，淘汰了矩陣乘法的密集型技術，提出了“三元數”方案，只有負一、零或正一三個數值。
團隊還使用一種名為現(xiàn)場可編程門陣列（FPGA）的高度定制電路創(chuàng)建了定制硬件，讓他們能夠最大限度地利用神經網絡中的所有節(jié)能功能。
在定制硬件上運行時，可以達到與 Meta 的 Llama 等頂級模型相同的性能，但神經網絡功率是常規(guī)配置的五十分之一。
該神經網絡設計還可以用于在人工智能行業(yè)常用的標準 GPU 上運行，測試結果顯示，與基于矩陣乘法的神經網絡相比，顯存占用僅為十分之一。
IT之家附上參考地址
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。