IT之家 10 月 13 日消息，據(jù) Y Combinator 論壇消息，名為 Georgi Gerganov 開(kāi)發(fā)者日前使用蘋(píng)果 M2 Ultra 芯片，進(jìn)行了一系列 LLaMA 模型推理測(cè)試，測(cè)試顯示該芯片在并行運(yùn)行 128 個(gè) Llama 2 7B 流時(shí)，效果較佳。
據(jù)悉，LLaMA 模型推理測(cè)試強(qiáng)調(diào)內(nèi)存帶寬，而非計(jì)算能力，而蘋(píng)果的 M2 Ultra 芯片號(hào)稱(chēng)“內(nèi)存帶寬達(dá) 800GB/s”，因此推理時(shí)效果良好。
不過(guò)雖然 M2 Ultra 芯片的內(nèi)存帶寬具有優(yōu)勢(shì)，但用戶(hù)最多只能獲得 192 GB RAM，用戶(hù)花費(fèi) 5600 美元（IT之家注：國(guó)行 44999 人民幣）購(gòu)買(mǎi)搭載 M2 Ultra 芯片及 192GB 運(yùn)行內(nèi)存的 Mac Studio，價(jià)格足夠買(mǎi)一臺(tái)“擁有 1TB RAM、搭載 RTX 4090 的 PC”。
Georgi Gerganov 據(jù)此認(rèn)為，如果用戶(hù)的工作負(fù)載（如推理）不需要超過(guò) 192 GB，那么選擇相關(guān)機(jī)器時(shí)可以更重視“內(nèi)存帶寬”表現(xiàn)，但如果用戶(hù)有其他工作需求，則可以看看相對(duì)應(yīng)價(jià)格的 PC。
參考
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。