常見的液體冷卻方式有哪些 數(shù)據(jù)中心浸沒(méi)式液冷技術(shù)優(yōu)勢(shì)分析

隨著人工智能?物聯(lián)網(wǎng)?加密貨幣?AR/VR等計(jì)算密集型應(yīng)用的快速發(fā)展，日益增長(zhǎng)的計(jì)算需求使數(shù)據(jù)中心逐漸向“高性能?高密度?高能耗”發(fā)展?國(guó)家能源局?jǐn)?shù)據(jù)顯示，2020年我國(guó)數(shù)據(jù)中心耗電量突破2000億千瓦時(shí)，占全國(guó)總用電量的2.7%?數(shù)據(jù)中心的能耗大致由通信及網(wǎng)絡(luò)設(shè)備?供電配電系統(tǒng)?照明及輔助設(shè)備和冷卻系統(tǒng)組成，其中冷卻部分的能耗約占數(shù)據(jù)中心總能耗的40%左右?提高數(shù)據(jù)中心冷卻系統(tǒng)效率，降低能耗對(duì)實(shí)現(xiàn)“雙碳”目標(biāo)至關(guān)重要?

常見的液體冷卻方式包括冷板式?噴淋式和浸沒(méi)式三種?其中，浸沒(méi)式液冷傳熱效率最高且能避免局部熱點(diǎn)，是目前最有可能解決高性能計(jì)算環(huán)境中散熱系統(tǒng)所面臨各種問(wèn)題的技術(shù)手段?本文將圍繞浸沒(méi)式液冷技術(shù)，對(duì)該技術(shù)的技術(shù)優(yōu)勢(shì)?實(shí)現(xiàn)方案?商業(yè)化進(jìn)展和應(yīng)用現(xiàn)狀以及未來(lái)發(fā)展面臨的問(wèn)題和挑戰(zhàn)進(jìn)行介紹?

浸沒(méi)式液冷技術(shù)的優(yōu)勢(shì)

作為助推下一代大數(shù)據(jù)中心全新發(fā)展的引擎，浸沒(méi)式液冷技術(shù)的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：

1 更高的能源利用率

浸沒(méi)式液冷使用冷卻液作為熱傳輸媒介，液體具有更高的導(dǎo)熱率和比熱容，因此可以更快地傳導(dǎo)以及更有效地吸收熱量?同時(shí)，因?yàn)闇p少了風(fēng)扇和空調(diào)的使用，采用浸沒(méi)式液冷技術(shù)的數(shù)據(jù)中心具有更低的PUE?根據(jù)UptimeInstitute的調(diào)查數(shù)據(jù)，2021年全球大型數(shù)據(jù)中心平均PUE為1.57，其中采用傳統(tǒng)風(fēng)冷技術(shù)的數(shù)據(jù)中心PUE一般在1.8左右，而采用液冷技術(shù)的數(shù)據(jù)中心，無(wú)論項(xiàng)目的規(guī)模大小?所處的維度及氣候區(qū)，幾乎都可以將PUE控制在1.1以內(nèi)?

2 更高的功率密度

浸沒(méi)式液冷可以大幅提高數(shù)據(jù)中心單位空間的服務(wù)器密度，從而更好地支持高密度計(jì)算?傳統(tǒng)數(shù)據(jù)中心采用空氣冷卻系統(tǒng)，可冷卻的機(jī)架功率密度通常為10kW-15kW，而浸沒(méi)式液冷可以將單機(jī)架功率提升到100kW甚至200kW以上，因此完全可以滿足高密度計(jì)算場(chǎng)景對(duì)散熱的需求?

3 更高的設(shè)備可靠性

美國(guó)空軍航空電子整體研究項(xiàng)目（USAirForceAvionicsIntegrityProgram）認(rèn)為，溫度?振動(dòng)?濕度和粉塵是造成電子設(shè)備故障的主要因素?

浸沒(méi)式液冷可使IT設(shè)備始終工作在適宜的溫度，浸沒(méi)環(huán)境有效避免了濕度（空氣中的水會(huì)造成元器件的銹蝕，而冷卻液可以保護(hù)設(shè)備）?灰塵等對(duì)設(shè)備的不良影響?此外，因服務(wù)器和機(jī)房不再需要風(fēng)扇，從而有效解決了噪音和振動(dòng)問(wèn)題?

4 更高的空間利用率

浸沒(méi)式液冷優(yōu)異的散熱性能使服務(wù)器可以緊密排列，無(wú)需隔開距離，同時(shí)無(wú)需配置風(fēng)扇，機(jī)房?jī)?nèi)也不需要空調(diào)和冷凍機(jī)組，無(wú)需安裝冷熱通道封閉設(shè)施，更不需要架空地板，因此浸沒(méi)式液冷比傳統(tǒng)冷卻方案具有更高的空間利用率?

5 更節(jié)省用水

一項(xiàng)關(guān)于數(shù)據(jù)中心用水量的研究指出，全美數(shù)據(jù)中心每天的用水量高達(dá)17億升，而這其中55%為可飲用水?巨大的用水量不僅增加了運(yùn)營(yíng)成本，在對(duì)水資源使用量有限制的地區(qū)還將面臨監(jiān)管壓力?傳統(tǒng)的空氣冷卻技術(shù)通常需要使用大量的水進(jìn)行蒸發(fā)降溫?浸沒(méi)式液冷技術(shù)的冷卻液可以在較高溫度下工作（可達(dá)45℃），即使在較熱的氣候條件下，仍可有效利用自然冷卻，減少了對(duì)主動(dòng)排熱設(shè)備的需求，因此更節(jié)水?

浸沒(méi)式液冷的實(shí)現(xiàn)方案

浸沒(méi)式液冷將IT設(shè)備直接浸泡在冷卻液中，依靠冷卻液吸收設(shè)備產(chǎn)生的熱量?按照冷卻液在循環(huán)散熱過(guò)程中是否發(fā)生相變，可以分為單相浸沒(méi)式液冷和雙相浸沒(méi)式液冷?

1 單相浸沒(méi)式液冷

在單相浸沒(méi)式液冷系統(tǒng)中，IT設(shè)備所有的發(fā)熱組件都完全浸沒(méi)在循環(huán)的不導(dǎo)電的冷卻液中，設(shè)備發(fā)出的熱量直接傳遞給冷卻液?單相浸沒(méi)式液冷的冷卻液通常具有較高的沸點(diǎn)，冷卻液吸熱后并不會(huì)發(fā)生相變，始終維持在液態(tài)?

單相浸沒(méi)式液冷通過(guò)自然對(duì)流或泵驅(qū)動(dòng)冷卻液的循環(huán)?自然對(duì)流驅(qū)動(dòng)的循環(huán)散熱過(guò)程，利用了液體受熱后體積膨脹密度減小的特點(diǎn)，較熱的冷卻液會(huì)自然上浮，之后被連接到外部冷卻回路的熱交換器冷卻?冷卻后的液體在重力的作用下自然下沉，完成循環(huán)散熱?

與自然對(duì)流相比，用泵驅(qū)動(dòng)循環(huán)冷卻液的方式可以更有效的提高冷卻能力?由泵?熱交換器?傳感器?過(guò)濾器組成的裝置被稱為冷卻液分配單元（CDU，），利用CDU可以更加精確地控制冷卻液的溫度和流速?較冷的冷卻液在泵的驅(qū)動(dòng)下流經(jīng)發(fā)熱元件，將熱量帶走?被加熱的冷卻液在泵的驅(qū)動(dòng)下進(jìn)入熱交換器被降溫，之后在泵的作用下繼續(xù)循環(huán)?熱交換器一般用水作為冷卻介質(zhì)，熱量最終通過(guò)循環(huán)冷卻水系統(tǒng)排出?

單相浸沒(méi)式液冷的工作原理如圖所示?

單相浸沒(méi)式液冷通常選擇沸點(diǎn)較高的冷卻液，以確保冷卻液在循環(huán)散熱過(guò)程中始終保持液態(tài)?氟碳化合物和碳?xì)浠衔铮ɡ绲V物油?合成油?天然油）均可用于單相浸沒(méi)式液冷?目前3M和Shell等企業(yè)都在生產(chǎn)用于單相浸沒(méi)式液冷技術(shù)的冷卻液，不同的是3M的冷卻液為氟化液，而Shell的冷卻液為天然氣制成的合成油，屬于碳?xì)浠衔?部分適用于單相浸沒(méi)式液冷的冷卻液主要參數(shù)如表1所示?

單相浸沒(méi)式液冷的優(yōu)勢(shì)體現(xiàn)在兩個(gè)方面，一是冷卻液價(jià)格相對(duì)更低，部署成本更低;二是冷卻液無(wú)相變，無(wú)需擔(dān)心冷卻液蒸發(fā)溢出或人員吸入的健康風(fēng)險(xiǎn)，更有利于維護(hù)?

2 雙相浸沒(méi)式液冷

在雙相浸沒(méi)式液冷中，冷卻液在循環(huán)散熱過(guò)程中不斷經(jīng)歷從液態(tài)到氣態(tài)再?gòu)臍鈶B(tài)回到液態(tài)的相變過(guò)程?IT設(shè)備完全浸沒(méi)在裝有低沸點(diǎn)冷卻液的密閉罐體中，設(shè)備發(fā)出的熱量被冷卻液吸收，冷卻液吸熱后溫度升高，達(dá)到沸點(diǎn)后開始沸騰，由液態(tài)相變?yōu)闅鈶B(tài)，同時(shí)產(chǎn)生大量的蒸汽?蒸汽從液體中升起逃逸至液面上方，在液冷罐體內(nèi)形成氣相區(qū)?氣相區(qū)的冷卻液蒸汽與水冷冷凝器接觸，熱量被冷凝器吸收，冷卻液凝結(jié)成液體以液滴的形式落回容器中再次循環(huán)，而冷凝器中被加熱的冷卻水則通過(guò)循環(huán)冷卻水系統(tǒng)完成排熱?

雙相浸沒(méi)式液冷的工作原理如圖3所示：

為了能有效利用冷卻液的相變過(guò)程，并控制IT設(shè)備的溫度，用于雙相浸沒(méi)式液冷的冷卻液不僅要有良好的熱物理性能?化學(xué)及熱穩(wěn)定性?無(wú)腐蝕性，還需要合適的沸點(diǎn)?比較窄的沸程范圍以及較高的汽化潛熱?硅酸酯類?芳香族物質(zhì)?有機(jī)硅?脂肪族化合物及氟碳化合物等都被嘗試應(yīng)用于雙相浸沒(méi)式液冷?其中，氟碳類化合物綜合性能最好，因此較為常用?目前，3M公司是全球生產(chǎn)浸沒(méi)式電子氟化液的領(lǐng)先企業(yè)，其生產(chǎn)的Fluorinert電子氟化液與Novec電子工程液均有不同型號(hào)可以用于雙相浸沒(méi)式液冷?兩者均有優(yōu)良的熱穩(wěn)定性和化學(xué)穩(wěn)定性?無(wú)味?不可燃?非油基?低毒性?無(wú)腐蝕性，可為數(shù)據(jù)中心提供可信賴且可持續(xù)的解決方案?

部分適用于雙相浸沒(méi)式液冷的冷卻液主要參數(shù)如表2所示?

雙相浸沒(méi)式液冷充分利用了冷卻液的蒸發(fā)潛熱，可以滿足高功率發(fā)熱元件對(duì)散熱的極端要求，使IT設(shè)備可以保持滿功率運(yùn)行?但相變的存在也使得雙相浸沒(méi)式液冷系統(tǒng)必須保持密閉，以防止蒸汽外溢流失，同時(shí)必須考慮相變過(guò)程導(dǎo)致的氣壓變化，以及系統(tǒng)維護(hù)時(shí)維護(hù)人員吸入氣體的健康風(fēng)險(xiǎn)?

商業(yè)化和應(yīng)用案例

近年來(lái)，浸沒(méi)式液冷相關(guān)技術(shù)日趨成熟，國(guó)內(nèi)外已有多家企業(yè)開始面向客戶提供針對(duì)不同散熱需求下的浸沒(méi)式液冷技術(shù)解決方案，一些科技公司也已開始將基于浸沒(méi)式液冷的散熱系統(tǒng)實(shí)際部署在他們的數(shù)據(jù)中心?

阿里云作為國(guó)內(nèi)市場(chǎng)占有率第一的云服務(wù)提供商，是最早探索和實(shí)踐大規(guī)模液冷方案的科技公司之一?2020年1月，阿里云宣布向全社會(huì)開放“浸沒(méi)液冷數(shù)據(jù)中心技術(shù)規(guī)范”，2020年9月，仁和數(shù)據(jù)中心開服，PUE設(shè)計(jì)值1.09，相比傳統(tǒng)風(fēng)冷數(shù)據(jù)中心每年可節(jié)省3000萬(wàn)度電;2021年12月，阿里云發(fā)布磐久系列液冷一體機(jī)ImmersionDC1000，整體能耗可下降34.6%?

與阿里云采用單相浸沒(méi)式液冷技術(shù)路線不同，微軟對(duì)雙相浸沒(méi)式液冷技術(shù)進(jìn)行了測(cè)試?2021年4月，微軟發(fā)布消息稱其使用自研的冷卻液，在位于華盛頓州昆西市的Azure數(shù)據(jù)中心采用了雙相浸沒(méi)式冷卻技術(shù)，據(jù)微軟發(fā)布的消息，雙相浸沒(méi)式液冷可以將服務(wù)器的功耗降低5%到15%?

在浸沒(méi)式液冷解決方案的供給端，國(guó)內(nèi)外均有企業(yè)在積極布局?例如，總部位于美國(guó)的GreenRevolutionCooling主要提供數(shù)據(jù)中心單相浸沒(méi)式液冷解決方案，面向高性能計(jì)算?邊緣數(shù)據(jù)中心?區(qū)塊鏈和加密貨幣等場(chǎng)景提供具有完整冷卻和電力基礎(chǔ)設(shè)施的一站式模塊化數(shù)據(jù)中心;總部位于荷蘭的Asperitas采用自然對(duì)流驅(qū)動(dòng)的單相浸沒(méi)式液冷技術(shù)，其HPCzone系列產(chǎn)品可為各種高性能計(jì)算場(chǎng)景提供一站式解決方案?在國(guó)內(nèi)，浪潮信息于2018年推出了小型可移動(dòng)的浸沒(méi)式液冷超算TS4220LC;中科曙光旗下的曙光數(shù)創(chuàng)推出了相變浸沒(méi)式液冷配套解決方案C8000，聲稱能夠?qū)UE值降到1.05以下?

面臨的問(wèn)題與挑戰(zhàn)

根據(jù)MordorIntelligence的報(bào)告，2020年全球數(shù)據(jù)中心浸沒(méi)式液冷市場(chǎng)的整體規(guī)模為2.97億美元，預(yù)計(jì)到2026年將達(dá)到7.03億美元，期間復(fù)合年增長(zhǎng)率為15.27%?盡管預(yù)期增速較快，但現(xiàn)階段在推動(dòng)數(shù)據(jù)中心快速擁抱浸沒(méi)式液冷技術(shù)的進(jìn)程中，仍面臨不少阻礙和挑戰(zhàn)?包括：

1 應(yīng)用場(chǎng)景限制

UptimeInstitute的調(diào)查顯示，2020年全球數(shù)據(jù)中心的平均功率密度僅為8.4kW/r，其中只有3%的數(shù)據(jù)中心的功率密度超過(guò)50kW/r?因此，盡管浸沒(méi)式液冷技術(shù)的散熱性能極佳，但除了加密數(shù)字貨幣挖礦等特定場(chǎng)景外，常規(guī)數(shù)據(jù)中心將傳統(tǒng)散熱方案升級(jí)為浸沒(méi)式液冷的需求并不強(qiáng)烈?此外，浸沒(méi)式液冷的能效水平在低負(fù)載場(chǎng)景下可能會(huì)被削弱，嚴(yán)遜等人搭建了浸沒(méi)式液冷實(shí)驗(yàn)臺(tái)，利用假負(fù)載測(cè)試得到不同室外溫度?不同負(fù)載功率下的pPUE（局部PUE）在1.05-1.28之間，同時(shí)發(fā)現(xiàn)pPUE隨著負(fù)載上升而降低?

2 設(shè)備供應(yīng)商支持

因?yàn)榻](méi)式液冷技術(shù)使用液體散熱，為了能夠與冷卻液相容，硬件設(shè)備通常需要適當(dāng)調(diào)整以適應(yīng)浸沒(méi)式冷卻?雖然當(dāng)前部分OEM已支持適用于浸沒(méi)式液冷的設(shè)備，但仍有不少設(shè)備制造商尚未針對(duì)浸沒(méi)式液冷進(jìn)行設(shè)計(jì)或測(cè)試?這些OEM可能會(huì)取消或停止按照以往服務(wù)協(xié)議對(duì)這些應(yīng)用于浸沒(méi)式的設(shè)備提供質(zhì)保和長(zhǎng)期維護(hù)服務(wù)?

3 部署和改造成本

在計(jì)算浸沒(méi)式液冷系統(tǒng)的部署成本時(shí)，需要綜合考慮所有實(shí)際支出?不僅包含液冷設(shè)備罐體和冷卻液的價(jià)格以及后續(xù)的維護(hù)成本，還包括泵?換熱器?過(guò)濾器?傳感器等一系列用來(lái)滿足液冷系統(tǒng)設(shè)計(jì)實(shí)踐的其它設(shè)施的改造和維護(hù)成本?尤其是對(duì)于那些已按照風(fēng)冷系統(tǒng)建設(shè)完成的數(shù)據(jù)中心來(lái)說(shuō)，改造成本往往是巨大的?上述問(wèn)題能否以及以何種方式解決，將成為決定未來(lái)浸沒(méi)式液冷技術(shù)能否快速和規(guī)?；渴鸬年P(guān)鍵?

編輯：黃飛