顯存也能疊疊樂，雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗(yàn)

今年春節(jié)后，DeepSeek R1 風(fēng)暴般地席卷全國(guó)，小到手機(jī) App，大到新能源汽車，似乎一夜間所有產(chǎn)品都接入了 DeepSeek R1。不得不說 DeepSeek R1 確實(shí)好用，對(duì)筆者這種編輯來說，從大綱到審閱，效率有著極大的提升。不過，官方滿血版的 DeepSeek R1 雖然好用，但會(huì)經(jīng)常“掉線”，平均一個(gè)小時(shí)只能使用一次。第三方的滿血 DeepSeek R1 很少掉線，但涉及隱私或保密數(shù)據(jù)時(shí)，大家并不放心上傳云端。

于是，很多人萌生自己搭建 DeepSeek R1 的想法。然而滿血版的 DeepSeek R1 模型體積足足有 404GB，遠(yuǎn)超一般消費(fèi)級(jí)顯卡的顯存。即使 32B 的蒸餾模型體積也有 20GB。這就對(duì)顯卡的性能提出了較高的要求。例如，32GB 顯存的英偉達(dá) RTX 5090 D 公版官方售價(jià)為 16999 元，但實(shí)際上要多花一萬多元才能買到。

一、配置與部署

那么，有沒有什么經(jīng)濟(jì)實(shí)惠且效果不錯(cuò)的方案呢？聰明的你想到讓多張顯卡協(xié)同工作，不過 AMD 目前的新顯卡已經(jīng)不支持交火了，英偉達(dá)的 SLI 技術(shù)也不支持顯存疊加，而 Intel 的 Arc 顯卡不僅支持交火，并且顯存也可以疊加，價(jià)格也很實(shí)惠，兩張 Arc A770 16GB 價(jià)格 3600 元左右，就可獲得 32GB 的大現(xiàn)存。IT之家這次嘗試使用兩張藍(lán)戟 Intel Arc A770 Photon 16G OC 進(jìn)行交火，來配置 DeepSeek R1 32B 的蒸餾模型。其具體配置如下圖：

Intel Arc A770 有 8G 和 16GB 兩個(gè)版本，我們選擇的藍(lán)戟 Intel Arc A770 Photon 16G OC 配備 16GB GDDR6 顯存，顯存帶寬可達(dá) 512GB/s，其擁有 32 個(gè) Xe 核心，最高頻率 2400Mhz。

因?yàn)槭请p卡方案，所以需要留意主板與電源的配置，主板至少需要有兩個(gè) PCIe 顯卡插槽，并且每個(gè)插槽必須支持 PCIe 4.0 x8 的傳輸速率。電源方面，單張藍(lán)戟 Intel Arc A770 Photon 16G OC 的 TBP 為 285W，兩張顯卡的功耗就要接近 600W。為了保證系統(tǒng)的穩(wěn)定，我們選擇了海韻的 1300W 電源進(jìn)行測(cè)試，這款電源不僅能滿足功率需求，還能滿足兩張顯卡所需的 4 個(gè) PCIe 8Pin 接口。模型我們選擇通過使用 IPEX-LLM 部署在 Linux 上，相比 Window 系統(tǒng)效率會(huì)更高一些。

搭建結(jié)束后，我們用另一臺(tái)電腦局域網(wǎng)訪問后端，在操作時(shí)盡量不使用測(cè)試電腦進(jìn)行截圖錄屏，避免無關(guān)操作對(duì) GPU 的占用。

二、性能與效果

因?yàn)槭?32B 的模型，所以我們直接上強(qiáng)度，讓模型幫我們寫一個(gè) HTML 小游戲。我們首先對(duì)模型進(jìn)行提問：

請(qǐng)用 html 寫個(gè)貪吃蛇游戲的代碼，需要包含以下功能：

?使用鍵盤上的上下左右箭頭鍵控制蛇的移動(dòng)方向。

?蛇會(huì)自動(dòng)向前移動(dòng)，并在吃到紅色的食物時(shí)增長(zhǎng)并增加得分。

?當(dāng)蛇碰到墻壁或自己時(shí)，游戲結(jié)束并顯示得分。

?點(diǎn)擊“重新開始”按鈕可以重置游戲并重新開始。

游戲規(guī)則：

?蛇不能碰到墻壁或自己，否則游戲結(jié)束。

?每吃一個(gè)食物，得分增加 10 分。

?食物不會(huì)出現(xiàn)在蛇的身體上。

DeepSeek R1 開始分析問題并生成代碼，此時(shí)兩張 Arc A770 顯卡的風(fēng)扇全力運(yùn)轉(zhuǎn)，后端顯示 Avg Generation Throughput 可以穩(wěn)定在 26 tokens / s 以上。對(duì)比之下，單張 RTX 5090 D 運(yùn)行 32B 模型的性能大約為 46 tokens / s，而官方不到兩成的價(jià)格卻得到了五成以上的性能，這個(gè)表現(xiàn)還是很讓人驚喜的。

生成后的 HTML 小游戲可以直接預(yù)覽運(yùn)行，我發(fā)現(xiàn)操作有沖突，按上下方向鍵會(huì)滾動(dòng)網(wǎng)頁(yè)。

于是我提出對(duì)代碼進(jìn)行修改，要求用 A、S、D、W 來代替方向鍵。DeepSeek R1 很精準(zhǔn)的理解了我的需求，并完成了修改。

隨后，我要求生成更為復(fù)雜的俄羅斯方塊 HTML 代碼，雖說參數(shù)量只有 32B，但 DeepSeek R1 所生成的游戲同樣很完善，幾乎沒有什么 Bug。

說到 AI 大模型的邏輯能力測(cè)試，那肯定繞不開弱智吧經(jīng)典問答。我們選擇了兩個(gè)問題對(duì)雙 A770 搭建的 DeepSeek R1 進(jìn)行測(cè)試：

1、神父去世是離職還是升職？

這種讓人一愣的問題 32B 的 DeepSeek R1 也能從現(xiàn)實(shí)與信仰兩種角度出發(fā)給出分析與解釋?？梢钥闯?32B 模型的邏輯能力還是很強(qiáng)的，有著極高的可用性。

2、變形金剛應(yīng)該交車險(xiǎn)還是人險(xiǎn)？

面對(duì)二選一的提問，32B 的 DeepSeek R1 并沒有死板的做出選擇，其理解了變形金剛不同形態(tài)的特征給出了兩種保險(xiǎn)都買的絕佳選擇。

總結(jié)：

從測(cè)試結(jié)果來看，兩張 Intel Arc A770 16GB 顯卡（總計(jì) 3600 元）組成的雙卡部署 DeepSeek R1 蒸餾模型的方案確實(shí)經(jīng)濟(jì)實(shí)惠。通過 IPEX-LLM 工具在 Linux 系統(tǒng)上部署，測(cè)試顯示雙 A770 顯卡能穩(wěn)定運(yùn)行 32B 模型，生成 HTML 小游戲和處理復(fù)雜問題時(shí)表現(xiàn)優(yōu)異，平均吞吐量達(dá) 26 tokens / s，有著不錯(cuò)的性價(jià)比?？傮w而言，A770 雙卡低成本部署 DeepSeek 32B 兼具成本、性能和數(shù)據(jù)隱私優(yōu)勢(shì)，適合中小企業(yè)和個(gè)人開發(fā)者。

審核編輯 黃宇