微信客服
微信公眾號
一、序言
如果列舉目前數(shù)據(jù)中心領域有哪項技術是又冷又熱的，液體冷卻肯定榜上有名。所謂冷是指液冷的散熱效率高，對于計算功率密度大的設施有良好的降溫作用；所謂熱則是指液冷的發(fā)展勢頭火熱，在業(yè)內(nèi)的認可度和關注度越來越高。上世紀60年代開始，液冷已經(jīng)被用在大型計算機上，但因為熱負荷不高的情況下風冷成本更低也更安全，液冷產(chǎn)業(yè)并未得到太大發(fā)展。隨著移動互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)中心需應對的業(yè)務復雜度日益提高，功率密度快速增長，數(shù)據(jù)中心因此變得越來越“熱”，在綠色高效的發(fā)展壓力下，液冷技術強勢回歸。
二、需求分析
1. 5G
如今互聯(lián)網(wǎng)已經(jīng)成為第四次工業(yè)革命的核心推動力，伴隨著此次工業(yè)革命的發(fā)展，人類生活的方方面面都在發(fā)生改變，尤其表現(xiàn)在數(shù)據(jù)流量需求持續(xù)猛增、網(wǎng)絡負荷大幅提高。5G是全世界期待的解決網(wǎng)絡通信問題、打開萬物互聯(lián)大門的鑰匙，作為支撐5G的重要基礎設施之一，基站承擔著處理和傳輸海量數(shù)據(jù)的重任，此過程中會產(chǎn)生大量的廢熱，據(jù)統(tǒng)計，基站本身占用了通信網(wǎng)絡傳輸總能耗的80%。隨著5G的深化和應用場景的落地，這些基站散熱問題或可以依靠液體冷卻來解決。目前，諾基亞已在芬蘭的一棟大樓部署了全球首個液冷基站系統(tǒng)，并將回收的基站廢熱用于樓內(nèi)供暖，有效降低了能源消耗。
2. 邊緣計算
數(shù)據(jù)中心建設有一條經(jīng)驗，一個10.5kW的服務器機架每分鐘需要1200CFM的冷卻空氣，這些空氣每分鐘流量足以填滿一個11平方米、樓高3米的機房空間，單是移動這些空氣就需要大量的能量。液體冷卻系統(tǒng)可以比風冷系統(tǒng)提供更高的冷卻性能，但卻不需像風冷那樣耗費過多空間，它對機房的體積要求要小得多。換言之，優(yōu)化設計的液體冷卻解決方案將使數(shù)據(jù)中心能夠在更小的空間內(nèi)提供更多的計算能力。邊緣數(shù)據(jù)中心為了靠近業(yè)務端通常設計得較小，并且為了適應業(yè)務需求而需容納更多的高密度硬件設施，液冷可以滿足邊緣數(shù)據(jù)中心所期望的小空間和高性能特征，有能力成為未來邊緣數(shù)據(jù)中心的理想制冷解決方案。
3. 人工智能
從通用的CPU到GPU（圖形處理單元）、FPGA（現(xiàn)場可編程門陣列）和ASIC（專用集成電路），新一代AI處理器的出現(xiàn)使得強大的機器學習分析程序能順利運行，為現(xiàn)代AI提供了動力支撐。然而，人工智能場景的計算量和迭代需求都非常高，服務器等設備通常會采用集群部署AI加速器的方式提升算力，因此，單臺服務器的功率越來越高，數(shù)據(jù)中心基礎設施的冷卻能力越來越緊張。以谷歌為例，其專為人工智能業(yè)務設計的TPU pod計算機，升級一代（從2.0到3.0）功耗增加了8倍，為此不得不在數(shù)據(jù)中心中使用液冷散熱。未來，隨著越來越多的企業(yè)和組織開始運用機器學習提供AI解決方案即服務，設備散熱的需求會更快驅動液冷的實施和落地。
三、液冷技術分析
液冷技術是通過液體循環(huán)介質將大部分熱量帶走，單臺服務器需求風量降低，機房整體送風需求也隨之降低，可以達到削減散熱系統(tǒng)消耗的效果，以此促進數(shù)據(jù)中心的綠色化進程。目前來看數(shù)據(jù)中心液冷主要有間接液冷和直接液冷兩種主流技術路線，間接液冷以冷板式為主，技術成熟度較高；直接液冷以浸沒式為主，散熱效率較高。直接液冷同時也涌現(xiàn)出噴淋式等新形態(tài)，目前尚處于發(fā)展初期，公開展示的研究和實踐成果較少，具有一定發(fā)展?jié)摿Α?br />
1. 間接液冷——冷板式
冷板式液冷對發(fā)熱器件的改造和適配要求較低，技術成熟度較高，應用進展最快。冷板式液冷系統(tǒng)由換熱冷板、分液單元、熱交換單元、循環(huán)管路和冷卻液組成，它是通過換熱冷板（通常是銅、鋁等高導熱金屬構成的封閉腔體）將發(fā)熱器件的熱量傳遞給封閉在循環(huán)管路中的冷卻液體進行換熱的方式，按照管路的連接方式不同可分為串聯(lián)式和并聯(lián)式。串聯(lián)方式中，冷卻液體先進入一個冷板腔體散熱后再繼續(xù)流入下一個冷板腔體，管路連接簡單但不同部分的CPU會存在溫差；并聯(lián)式方式中，冷卻液在進入不同腔體前會先進行分流，然后再分別進入腔體內(nèi)，散熱更高效但管路系統(tǒng)更復雜。由于冷板式液冷中發(fā)熱器件無需直接與液體接觸，所以對發(fā)熱器件本身的改造和適配要求較小，因此，冷板式液冷的成熟度相對較高。目前，百度、騰訊、美團等互聯(lián)網(wǎng)企業(yè)均開始對冷板式液冷進行技術研究和試驗驗證，在冷板式液冷產(chǎn)業(yè)內(nèi)形成了強勁的帶動作用。
2. 直接液冷——浸沒式
浸沒式散熱優(yōu)勢最明顯，能極大提升能源使用效率，較適合新建數(shù)據(jù)中心。浸沒式液冷是一種以液體作為傳熱介質，將發(fā)熱器件完全浸沒在液體中，發(fā)熱器件與液體直接接觸并進行熱交換的冷卻技術。按照熱交換過程中冷卻液是否存在相態(tài)變化，可分為單相液冷和相變液冷兩類。區(qū)別在于作為傳熱介質的液體在熱量傳遞過程中是只發(fā)生溫度變化，還是存在相態(tài)轉變。浸沒式液冷系統(tǒng)一般分為浸沒腔體子系統(tǒng)、冷卻子系統(tǒng)、室外冷源系統(tǒng)、監(jiān)控系統(tǒng)四部分。由于系統(tǒng)架構特殊，冷卻液可以與發(fā)熱器件直接接觸，所以浸沒式的散熱效率較高，可支持更高功率密度的IT部署，能極大提升能源使用效率（PUE）。雖然制冷效果較好，但由于需要直接將冷卻液和發(fā)熱器件接觸，數(shù)據(jù)中心設備改造的動作更大，因此浸沒式更適合新建數(shù)據(jù)中心。目前，阿里巴巴已經(jīng)在其北京冬奧云數(shù)據(jù)中心進行浸沒式液冷的規(guī)?；渴?，開啟了浸沒式液冷的正式商用。
四、變化與影響
革新數(shù)據(jù)中心的整體架構。從避免液體接觸機房設備到主動引入液體和使用液體，液冷技術的使用讓數(shù)據(jù)中心的基礎架構發(fā)生了變化。從地板到天花板，從線路到管路，從機柜外部結構到內(nèi)部部署，液冷將會帶來完全不一樣架構的數(shù)據(jù)中心。
革命性地改變數(shù)據(jù)中心散熱方式。以往數(shù)據(jù)中心散熱以風冷為主，散熱消耗要占據(jù)大部分的能源消耗。液冷逐漸替代了風冷散熱后，散熱效率顯著提升。應用證明，大多數(shù)地區(qū)使用液冷技術后可獲得機房PUE<1.1的效果。
重構IT設備及關鍵部件的設計和部署。以服務器為主的IT設備，包括CPU、GPU、存儲、網(wǎng)卡等關鍵部件，都會為了更好地散熱（例如，與風冷相比部分CPU滿載工作時的核溫可降低20℃）開始直接或間接接觸液體，為了與液冷系統(tǒng)兼容，它們的設計和部署勢必會做出改變。
顛覆數(shù)據(jù)中心的監(jiān)控和運維模式。液冷技術進入機房后，數(shù)據(jù)中心的監(jiān)測和控制系統(tǒng)會重點圍繞它進行，如部署漏液監(jiān)測、溫度監(jiān)測、壓力監(jiān)測等。除此之外，數(shù)據(jù)中心的運營和維護思路也會改變，液體、管路、接口等液冷配套設施均會給運維帶來新要求。
完善能效評價指標和方法。目前評價數(shù)據(jù)中心能源效率的主要指標是PUE，它是數(shù)據(jù)中心總能耗與IT設備能耗的比值?，F(xiàn)階段數(shù)據(jù)中心液冷部署還處于過渡階段，即同一數(shù)據(jù)中心可能同時使用風冷和液冷系統(tǒng)，為了充分了解兩部分系統(tǒng)的性能，需要分開度量能源效率，因此，PUE的度量指標可以進一步完善。
五、展望
在數(shù)據(jù)中心中，受限于機房設計和配套設施，當單機架功率密度接近20kW時，風冷系統(tǒng)就已達到其經(jīng)濟有效的制冷極限。液體冷卻技術是一個開放、靈活的制冷解決方案，它支持技術計算、網(wǎng)格部署和數(shù)據(jù)分析等工作負載，可以有效應對高性能計算（HPC）、大規(guī)模云數(shù)據(jù)中心、邊緣計算、人工智能等高功率密度場景，對于減少數(shù)據(jù)中心能源消耗、降低TCO有非常明顯的優(yōu)勢，具有廣闊的市場前景。
然而，液冷的優(yōu)勢和潛力并未形成很強的商業(yè)帶動效應，從世界互聯(lián)網(wǎng)巨頭們釋放出來的信號來看，它們對液冷系統(tǒng)和零配件產(chǎn)品的規(guī)范化和標準化還有很大顧慮，不愿面對設備采購和后期維護的麻煩。因此，在加強液冷技術和產(chǎn)品創(chuàng)新的同時，還應該重點關注標準化和適配性問題。
文章來源：中國信通院CAICT
如果列舉目前數(shù)據(jù)中心領域有哪項技術是又冷又熱的，液體冷卻肯定榜上有名。所謂冷是指液冷的散熱效率高，對于計算功率密度大的設施有良好的降溫作用；所謂熱則是指液冷的發(fā)展勢頭火熱，在業(yè)內(nèi)的認可度和關注度越來越高。上世紀60年代開始，液冷已經(jīng)被用在大型計算機上，但因為熱負荷不高的情況下風冷成本更低也更安全，液冷產(chǎn)業(yè)并未得到太大發(fā)展。隨著移動互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)中心需應對的業(yè)務復雜度日益提高，功率密度快速增長，數(shù)據(jù)中心因此變得越來越“熱”，在綠色高效的發(fā)展壓力下，液冷技術強勢回歸。
二、需求分析
1. 5G
如今互聯(lián)網(wǎng)已經(jīng)成為第四次工業(yè)革命的核心推動力，伴隨著此次工業(yè)革命的發(fā)展，人類生活的方方面面都在發(fā)生改變，尤其表現(xiàn)在數(shù)據(jù)流量需求持續(xù)猛增、網(wǎng)絡負荷大幅提高。5G是全世界期待的解決網(wǎng)絡通信問題、打開萬物互聯(lián)大門的鑰匙，作為支撐5G的重要基礎設施之一，基站承擔著處理和傳輸海量數(shù)據(jù)的重任，此過程中會產(chǎn)生大量的廢熱，據(jù)統(tǒng)計，基站本身占用了通信網(wǎng)絡傳輸總能耗的80%。隨著5G的深化和應用場景的落地，這些基站散熱問題或可以依靠液體冷卻來解決。目前，諾基亞已在芬蘭的一棟大樓部署了全球首個液冷基站系統(tǒng)，并將回收的基站廢熱用于樓內(nèi)供暖，有效降低了能源消耗。
2. 邊緣計算
數(shù)據(jù)中心建設有一條經(jīng)驗，一個10.5kW的服務器機架每分鐘需要1200CFM的冷卻空氣，這些空氣每分鐘流量足以填滿一個11平方米、樓高3米的機房空間，單是移動這些空氣就需要大量的能量。液體冷卻系統(tǒng)可以比風冷系統(tǒng)提供更高的冷卻性能，但卻不需像風冷那樣耗費過多空間，它對機房的體積要求要小得多。換言之，優(yōu)化設計的液體冷卻解決方案將使數(shù)據(jù)中心能夠在更小的空間內(nèi)提供更多的計算能力。邊緣數(shù)據(jù)中心為了靠近業(yè)務端通常設計得較小，并且為了適應業(yè)務需求而需容納更多的高密度硬件設施，液冷可以滿足邊緣數(shù)據(jù)中心所期望的小空間和高性能特征，有能力成為未來邊緣數(shù)據(jù)中心的理想制冷解決方案。
3. 人工智能
從通用的CPU到GPU（圖形處理單元）、FPGA（現(xiàn)場可編程門陣列）和ASIC（專用集成電路），新一代AI處理器的出現(xiàn)使得強大的機器學習分析程序能順利運行，為現(xiàn)代AI提供了動力支撐。然而，人工智能場景的計算量和迭代需求都非常高，服務器等設備通常會采用集群部署AI加速器的方式提升算力，因此，單臺服務器的功率越來越高，數(shù)據(jù)中心基礎設施的冷卻能力越來越緊張。以谷歌為例，其專為人工智能業(yè)務設計的TPU pod計算機，升級一代（從2.0到3.0）功耗增加了8倍，為此不得不在數(shù)據(jù)中心中使用液冷散熱。未來，隨著越來越多的企業(yè)和組織開始運用機器學習提供AI解決方案即服務，設備散熱的需求會更快驅動液冷的實施和落地。
三、液冷技術分析
液冷技術是通過液體循環(huán)介質將大部分熱量帶走，單臺服務器需求風量降低，機房整體送風需求也隨之降低，可以達到削減散熱系統(tǒng)消耗的效果，以此促進數(shù)據(jù)中心的綠色化進程。目前來看數(shù)據(jù)中心液冷主要有間接液冷和直接液冷兩種主流技術路線，間接液冷以冷板式為主，技術成熟度較高；直接液冷以浸沒式為主，散熱效率較高。直接液冷同時也涌現(xiàn)出噴淋式等新形態(tài)，目前尚處于發(fā)展初期，公開展示的研究和實踐成果較少，具有一定發(fā)展?jié)摿Α?br />
1. 間接液冷——冷板式
冷板式液冷對發(fā)熱器件的改造和適配要求較低，技術成熟度較高，應用進展最快。冷板式液冷系統(tǒng)由換熱冷板、分液單元、熱交換單元、循環(huán)管路和冷卻液組成，它是通過換熱冷板（通常是銅、鋁等高導熱金屬構成的封閉腔體）將發(fā)熱器件的熱量傳遞給封閉在循環(huán)管路中的冷卻液體進行換熱的方式，按照管路的連接方式不同可分為串聯(lián)式和并聯(lián)式。串聯(lián)方式中，冷卻液體先進入一個冷板腔體散熱后再繼續(xù)流入下一個冷板腔體，管路連接簡單但不同部分的CPU會存在溫差；并聯(lián)式方式中，冷卻液在進入不同腔體前會先進行分流，然后再分別進入腔體內(nèi)，散熱更高效但管路系統(tǒng)更復雜。由于冷板式液冷中發(fā)熱器件無需直接與液體接觸，所以對發(fā)熱器件本身的改造和適配要求較小，因此，冷板式液冷的成熟度相對較高。目前，百度、騰訊、美團等互聯(lián)網(wǎng)企業(yè)均開始對冷板式液冷進行技術研究和試驗驗證，在冷板式液冷產(chǎn)業(yè)內(nèi)形成了強勁的帶動作用。
2. 直接液冷——浸沒式
浸沒式散熱優(yōu)勢最明顯，能極大提升能源使用效率，較適合新建數(shù)據(jù)中心。浸沒式液冷是一種以液體作為傳熱介質，將發(fā)熱器件完全浸沒在液體中，發(fā)熱器件與液體直接接觸并進行熱交換的冷卻技術。按照熱交換過程中冷卻液是否存在相態(tài)變化，可分為單相液冷和相變液冷兩類。區(qū)別在于作為傳熱介質的液體在熱量傳遞過程中是只發(fā)生溫度變化，還是存在相態(tài)轉變。浸沒式液冷系統(tǒng)一般分為浸沒腔體子系統(tǒng)、冷卻子系統(tǒng)、室外冷源系統(tǒng)、監(jiān)控系統(tǒng)四部分。由于系統(tǒng)架構特殊，冷卻液可以與發(fā)熱器件直接接觸，所以浸沒式的散熱效率較高，可支持更高功率密度的IT部署，能極大提升能源使用效率（PUE）。雖然制冷效果較好，但由于需要直接將冷卻液和發(fā)熱器件接觸，數(shù)據(jù)中心設備改造的動作更大，因此浸沒式更適合新建數(shù)據(jù)中心。目前，阿里巴巴已經(jīng)在其北京冬奧云數(shù)據(jù)中心進行浸沒式液冷的規(guī)?；渴?，開啟了浸沒式液冷的正式商用。
四、變化與影響
革新數(shù)據(jù)中心的整體架構。從避免液體接觸機房設備到主動引入液體和使用液體，液冷技術的使用讓數(shù)據(jù)中心的基礎架構發(fā)生了變化。從地板到天花板，從線路到管路，從機柜外部結構到內(nèi)部部署，液冷將會帶來完全不一樣架構的數(shù)據(jù)中心。
革命性地改變數(shù)據(jù)中心散熱方式。以往數(shù)據(jù)中心散熱以風冷為主，散熱消耗要占據(jù)大部分的能源消耗。液冷逐漸替代了風冷散熱后，散熱效率顯著提升。應用證明，大多數(shù)地區(qū)使用液冷技術后可獲得機房PUE<1.1的效果。
重構IT設備及關鍵部件的設計和部署。以服務器為主的IT設備，包括CPU、GPU、存儲、網(wǎng)卡等關鍵部件，都會為了更好地散熱（例如，與風冷相比部分CPU滿載工作時的核溫可降低20℃）開始直接或間接接觸液體，為了與液冷系統(tǒng)兼容，它們的設計和部署勢必會做出改變。
顛覆數(shù)據(jù)中心的監(jiān)控和運維模式。液冷技術進入機房后，數(shù)據(jù)中心的監(jiān)測和控制系統(tǒng)會重點圍繞它進行，如部署漏液監(jiān)測、溫度監(jiān)測、壓力監(jiān)測等。除此之外，數(shù)據(jù)中心的運營和維護思路也會改變，液體、管路、接口等液冷配套設施均會給運維帶來新要求。
完善能效評價指標和方法。目前評價數(shù)據(jù)中心能源效率的主要指標是PUE，它是數(shù)據(jù)中心總能耗與IT設備能耗的比值?，F(xiàn)階段數(shù)據(jù)中心液冷部署還處于過渡階段，即同一數(shù)據(jù)中心可能同時使用風冷和液冷系統(tǒng)，為了充分了解兩部分系統(tǒng)的性能，需要分開度量能源效率，因此，PUE的度量指標可以進一步完善。
五、展望
在數(shù)據(jù)中心中，受限于機房設計和配套設施，當單機架功率密度接近20kW時，風冷系統(tǒng)就已達到其經(jīng)濟有效的制冷極限。液體冷卻技術是一個開放、靈活的制冷解決方案，它支持技術計算、網(wǎng)格部署和數(shù)據(jù)分析等工作負載，可以有效應對高性能計算（HPC）、大規(guī)模云數(shù)據(jù)中心、邊緣計算、人工智能等高功率密度場景，對于減少數(shù)據(jù)中心能源消耗、降低TCO有非常明顯的優(yōu)勢，具有廣闊的市場前景。
然而，液冷的優(yōu)勢和潛力并未形成很強的商業(yè)帶動效應，從世界互聯(lián)網(wǎng)巨頭們釋放出來的信號來看，它們對液冷系統(tǒng)和零配件產(chǎn)品的規(guī)范化和標準化還有很大顧慮，不愿面對設備采購和后期維護的麻煩。因此，在加強液冷技術和產(chǎn)品創(chuàng)新的同時，還應該重點關注標準化和適配性問題。
文章來源：中國信通院CAICT
0 條