IT之家 8 月 6 日消息,NEO Semiconductor 當?shù)貢r間本月 5 日發(fā)布了 3D X-AI 芯片技術,宣稱該技術可實現(xiàn)目前 HBM 內存方案百倍的 AI 處理能力,同時功耗也可降低 99%。
IT之家注意到,3D X-AI 可理解為兩項技術的結合:其采用 3D DRAM 技術構建 HBM 內存的 DRAM Die,以實現(xiàn)更高容量;同時在 DRAM Die 中引入本地處理器,類似于此前提出的 PIM 概念。
在前一項技術上,單個 3D X-AI 芯片包含 300 層 3D DRAM 單元,整體容量達 128Gb,12 芯片堆疊后可實現(xiàn) 192GB 的單堆棧容量,允許存儲更大的 AI 模型。而目前的 HBM3 (E) 內存最大單堆棧容量僅有 36GB。
而在后一項技術上,NEO Semiconductor 稱其每個 3D X-AI 芯片均配備一層神經回路單元,包含 8000 個神經元電路,可直接在 3D 內存內部執(zhí)行 AI 處理,大幅減少了數(shù)據傳輸至 GPU 產生的功耗。
NEO Semiconductor 預計每層神經回路單元可提供 10TB/s 的 AI 處理吞吐量,對于 12 芯片堆疊的 3D X-AI 內存堆棧而言就是 120TB/s,較傳統(tǒng)方案提升了 100 倍。
NEO Semiconductor 創(chuàng)始人兼首席執(zhí)行官 Andy Hsu 表示:
由于架構和技術效率低下,當前的 AI 芯片浪費了大量的性能和功率。
目前的 AI 芯片架構將數(shù)據存儲在 HBM 中,并依靠 GPU 執(zhí)行所有計算。這種數(shù)據存儲和數(shù)據處理分離的架構使數(shù)據總線成為不可避免的性能瓶頸。通過數(shù)據總線傳輸大量數(shù)據會導致性能受限、功耗飆升。
3D X-AI 可以在每個 HBM 芯片中執(zhí)行人工智能處理。這可以大幅減少 HBM 和 GPU 之間的數(shù)據傳輸,從而提高性能并顯著降低功耗。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。