設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

【IT之家評測室】顯存也能疊疊樂,雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗

2025/3/10 11:34:35 來源:IT之家 作者:正正 責編:正正

今年春節(jié)后,DeepSeek R1 風暴般地席卷全國,小到手機 App,大到新能源汽車,似乎一夜間所有產(chǎn)品都接入了 DeepSeek R1。不得不說 DeepSeek R1 確實好用,對筆者這種編輯來說,從大綱到審閱,效率有著極大的提升。不過,官方滿血版的 DeepSeek R1 雖然好用,但會經(jīng)常“掉線”,平均一個小時只能使用一次。第三方的滿血 DeepSeek R1 很少掉線,但涉及隱私或保密數(shù)據(jù)時,大家并不放心上傳云端。

于是,很多人萌生自己搭建 DeepSeek R1 的想法。然而滿血版的 DeepSeek R1 模型體積足足有 404GB,遠超一般消費級顯卡的顯存。即使 32B 的蒸餾模型體積也有 20GB。這就對顯卡的性能提出了較高的要求。例如,32GB 顯存的英偉達 RTX 5090 D 公版官方售價為 16999 元,但實際上要多花一萬多元才能買到。

一、配置與部署

那么,有沒有什么經(jīng)濟實惠且效果不錯的方案呢?聰明的你想到讓多張顯卡協(xié)同工作,不過 AMD 目前的新顯卡已經(jīng)不支持交火了,英偉達的 SLI 技術也不支持顯存疊加,而 Intel 的 Arc 顯卡不僅支持交火,并且顯存也可以疊加,價格也很實惠,兩張 Arc A770 16GB 價格 3600 元左右,就可獲得 32GB 的大顯存。IT之家這次嘗試使用兩張藍戟 Intel Arc A770 Photon 16G OC 進行交火,來配置 DeepSeek R1 32B 的蒸餾模型。其具體配置如下圖:

海韻

Intel Arc A770 有 8G 和 16GB 兩個版本,我們選擇的藍戟 Intel Arc A770 Photon 16G OC 配備 16GB GDDR6 顯存,顯存帶寬可達 512GB/s,其擁有 32 個 Xe 核心,最高頻率 2400Mhz。

IMG_256

因為是雙卡方案,所以需要留意主板與電源的配置,主板至少需要有兩個 PCIe 顯卡插槽,并且每個插槽必須支持 PCIe 4.0 x8 的傳輸速率。電源方面,單張藍戟 Intel Arc A770 Photon 16G OC 的 TBP 為 285W,兩張顯卡的功耗就要接近 600W。為了保證系統(tǒng)的穩(wěn)定,IT之家選擇了海韻的 1300W 電源進行測試,這款電源不僅能滿足功率需求,還能滿足兩張顯卡所需的 4 個 PCIe 8Pin 接口。模型我們選擇通過使用 IPEX-LLM 部署在 Linux 上,相比 Window 系統(tǒng)效率會更高一些。

IMG_256

搭建結束后,我們用另一臺電腦局域網(wǎng)訪問后端,在操作時盡量不使用測試電腦進行截圖錄屏,避免無關操作對 GPU 的占用。

截屏2025-03-07 14.06.42

二、性能與效果

因為是 32B 的模型,所以我們直接上強度,讓模型幫我們寫一個 HTML 小游戲。我們首先對模型進行提問:

請用 html 寫個貪吃蛇游戲的代碼,需要包含以下功能:

  • 使用鍵盤上的上下左右箭頭鍵控制蛇的移動方向。

  • 蛇會自動向前移動,并在吃到紅色的食物時增長并增加得分。

  • 當蛇碰到墻壁或自己時,游戲結束并顯示得分。

  • 點擊“重新開始”按鈕可以重置游戲并重新開始。

游戲規(guī)則:

  • 蛇不能碰到墻壁或自己,否則游戲結束。

  • 每吃一個食物,得分增加 10 分。

  •  食物不會出現(xiàn)在蛇的身體上。

DeepSeek R1 開始分析問題并生成代碼,此時兩張 Arc A770 顯卡的風扇全力運轉,后端顯示 Avg Generation Throughput 可以穩(wěn)定在 26 tokens / s 以上。對比之下,單張 RTX 5090 D 運行 32B 模型的性能大約為 46 tokens / s,而官方不到兩成的價格卻得到了五成以上的性能,這個表現(xiàn)還是很讓人驚喜的。

截屏2025-03-07 17.56.38

生成后的 HTML 小游戲可以直接預覽運行,我發(fā)現(xiàn)操作有沖突,按上下方向鍵會滾動網(wǎng)頁。

錄屏2025-03-06 16.09.51

于是我提出對代碼進行修改,要求用 A、S、D、W 來代替方向鍵。DeepSeek R1 很精準的理解了我的需求,并完成了修改。

截屏2025-03-07 17.01.14

隨后,我要求生成更為復雜的俄羅斯方塊 HTML 代碼,雖說參數(shù)量只有 32B,但 DeepSeek R1 所生成的游戲同樣很完善,幾乎沒有什么 Bug。

錄屏2025-03-06 16.19.28

說到 AI 大模型的邏輯能力測試,那肯定繞不開弱智吧經(jīng)典問答。我們選擇了兩個問題對雙 A770 搭建的 DeepSeek R1 進行測試:

1、神父去世是離職還是升職?

這種讓人一愣的問題 32B 的 DeepSeek R1 也能從現(xiàn)實與信仰兩種角度出發(fā)給出分析與解釋。可以看出 32B 模型的邏輯能力還是很強的,有著極高的可用性。

截屏2025-03-06 16.50.46

2、變形金剛應該交車險還是人險?

面對二選一的提問,32B 的 DeepSeek R1 并沒有死板的做出選擇,其理解了變形金剛不同形態(tài)的特征給出了兩種保險都買的絕佳選擇。

截屏2025-03-06 16.54.19

總結:

從測試結果來看,兩張 Intel Arc A770 16GB 顯卡(總計 3600 元)組成的雙卡部署 DeepSeek R1 蒸餾模型的方案確實經(jīng)濟實惠。通過 IPEX-LLM 工具在 Linux 系統(tǒng)上部署,測試顯示雙 A770 顯卡能穩(wěn)定運行 32B 模型,生成 HTML 小游戲和處理復雜問題時表現(xiàn)優(yōu)異,平均吞吐量達 26 tokens / s,有著不錯的性價比??傮w而言,A770 雙卡低成本部署 DeepSeek 32B 兼具成本、性能和數(shù)據(jù)隱私優(yōu)勢,適合中小企業(yè)和個人開發(fā)者。

廣告聲明:文內(nèi)含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知