設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

NEO Semiconductor 發(fā)布 HBM 內存技術 3D X-AI ,宣稱 AI 處理能力可達現(xiàn)有方案百倍

2024/8/6 16:24:16 來源:IT之家 作者:溯波(實習) 責編:溯波

IT之家 8 月 6 日消息,NEO Semiconductor 當?shù)貢r間本月 5 日發(fā)布了 3D X-AI 芯片技術,宣稱該技術可實現(xiàn)目前 HBM 內存方案百倍的 AI 處理能力,同時功耗也可降低 99%。

宣傳圖

IT之家注意到,3D X-AI 可理解為兩項技術的結合:其采用 3D DRAM 技術構建 HBM 內存的 DRAM Die,以實現(xiàn)更高容量;同時在 DRAM Die 中引入本地處理器,類似于此前提出的 PIM 概念。

在前一項技術上,單個 3D X-AI 芯片包含 300 層 3D DRAM 單元,整體容量達 128Gb,12 芯片堆疊后可實現(xiàn) 192GB 的單堆棧容量,允許存儲更大的 AI 模型。而目前的 HBM3 (E) 內存最大單堆棧容量僅有 36GB。

連接結構

而在后一項技術上,NEO Semiconductor 稱其每個 3D X-AI 芯片均配備一層神經回路單元,包含 8000 個神經元電路,可直接在 3D 內存內部執(zhí)行 AI 處理,大幅減少了數(shù)據傳輸至 GPU 產生的功耗。

NEO Semiconductor 預計每層神經回路單元可提供 10TB/s 的 AI 處理吞吐量,對于 12 芯片堆疊的 3D X-AI 內存堆棧而言就是 120TB/s,較傳統(tǒng)方案提升了 100 倍。

NEO Semiconductor 創(chuàng)始人兼首席執(zhí)行官 Andy Hsu 表示:

由于架構和技術效率低下,當前的 AI 芯片浪費了大量的性能和功率。

目前的 AI 芯片架構將數(shù)據存儲在 HBM 中,并依靠 GPU 執(zhí)行所有計算。這種數(shù)據存儲和數(shù)據處理分離的架構使數(shù)據總線成為不可避免的性能瓶頸。通過數(shù)據總線傳輸大量數(shù)據會導致性能受限、功耗飆升。

3D X-AI 可以在每個 HBM 芯片中執(zhí)行人工智能處理。這可以大幅減少 HBM 和 GPU 之間的數(shù)據傳輸,從而提高性能并顯著降低功耗。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:內存HBM,NEO Semiconductor

軟媒旗下網站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知