前言
新基建熱潮正盛，越來越多的企業(yè)開始布局數字化業(yè)務，數據迅猛增長。作為數據存儲、處理、分析的數據中心進入新一輪建設加速期。鑒于數據中心是能源密集型行業(yè)，能效的重要性不容小覷，這對能源優(yōu)化提出嚴峻挑戰(zhàn)。
世紀互聯(lián)作為新基建的積極參與者，對數據中心產業(yè)進行充分調研與試驗，探索屬于世紀互聯(lián)的生態(tài)優(yōu)先綠色發(fā)展之路。通過建設軟件開發(fā)能力，引入AIoT、新傳感器等前沿技術，不斷驅動數據中心技術和管理升級、優(yōu)化數據中心PUE、提升財務表現，為新基建數據中心產業(yè)的發(fā)展提供強大推力。
在數據中心行業(yè)，工程師們承載了公司項目從藍圖到部署，從運維到交付落實，決定著產品服務的品質與保障。而“工程師基因”正是對世紀互聯(lián)價值觀的高度內化與凝練，“工程師精神”是世紀互聯(lián)發(fā)展的根本和內在動力，“工程師文化”更是互聯(lián)人“務實、拼搏、嚴謹、精進”的代名詞，對產品的敬畏、對客戶的負責，始終催使我們去創(chuàng)造精益求精的產品與服務。
步入2021，世紀互聯(lián)堅持精益運營、高效管理，持續(xù)提升創(chuàng)新力、產品力，培育高素質人才和組織，追求長期穩(wěn)定的高質量發(fā)展。
接下來，本文將與您分享，世紀互聯(lián)工程師在數據中心運營實踐管理中幾個方向的探索與實踐。
01 建立軟硬件基礎測試環(huán)境
數據中心作為企業(yè)的核心基礎設施，安全穩(wěn)定地運行和把電力高效地轉化為算力對企業(yè)運營、保持核心競爭力至關重要。通過數據中心運維系統(tǒng)，基礎設施運維工程師對數據中心進行監(jiān)測，幫助其高效掌握數據中心整體情況，及時發(fā)現并解決問題，進而保證數據中心以及整個企業(yè)的正常運行。
世紀互聯(lián)秉持以客戶體驗為核心，由具備深厚專業(yè)背景、廣闊視野的科研團隊開展工作規(guī)劃與業(yè)務部署，率先提出將數據中心設施運維系統(tǒng)架構細分為設施運維生產系統(tǒng)（MPS）、設施運維支撐系統(tǒng)（MSS），以及設施運維分析系統(tǒng)（MAS）。MPS的演進方向為數據中心的數字孿生和智慧運維；MSS的演進方向將面向數據中心的基礎設施運維管理的全面數字化，并實現設施管理全生命周期的規(guī)范化和標準化。
基于AIoT的能源優(yōu)化，通過以MAS作為重要支撐，世紀互聯(lián)確定分階段工作目標：首先，采集設施運維數據，不斷積累并形成分析性數據倉庫；其次，研究制冷系統(tǒng)在不同負載、工況下的運營參數等，包括全局能耗表現、系統(tǒng)級COP表現，以及設備級能耗表現；最后，建立不同系統(tǒng)運行工況、系統(tǒng)負荷下的優(yōu)化設施運維模型，預測設施最優(yōu)工況。
數據中心運維系統(tǒng)架構
運維分析的基礎要建立于對大量運維數據的積累之上，經過不斷對運維數據進行的采集、解析、存儲后，方可定義標準化的指標體系及運維指標。
02 選用優(yōu)化的數據采集終端、程序和通訊
在數據采集設備方面，世紀互聯(lián)選用樹莓派作為采集數據終端，其具備體積小、功耗低的優(yōu)勢。通過樹莓派的豐富數據接口，可隨時部署交換機旁或直接接入其他底層硬件進行數據采集。樹莓派還可運行操作系統(tǒng)，完成更復雜的任務管理與調度，支持更上層應用的開發(fā)，為程序開發(fā)者提供廣闊的開發(fā)自由度，且完全獨立于生產系統(tǒng)和支持系統(tǒng)，可以高效的進行數據采集和分析，而不用完全依賴于生產系統(tǒng)的長周期的升級流程，使得數據分析和參數調整可以很快形成閉環(huán)實驗。
數據采集設備部署架構
在數據采集程序方面，世紀互聯(lián)使用了腳本語言與C語言的協(xié)議棧進行了高效集成，使得數據采集、開發(fā)、調試和配置都有著極高的效率。腳本語言為不同設施的通訊協(xié)議棧提供執(zhí)行環(huán)境，快速解析設備設施通訊報文，同時為設備參數模型優(yōu)化輸出結果提供數據可視化圖形界面，快速完成實驗環(huán)境和參數調整。
預測輸出結果可視化界面
在數據采集通訊方面，由于制冷系統(tǒng)設備的不同制造商及設計方面的考量，采用了不同的通訊協(xié)議，例如Modbus、BACnet、OPC等。世紀互聯(lián)采用了物聯(lián)網創(chuàng)新企業(yè)自主研發(fā)的協(xié)議硬件網關、協(xié)議轉換軟件網關解決這一問題。
Modbus分線器及RevolutionPi
03 人以數據中心總能耗為依據，探索其可優(yōu)化的影響因素
從上一章節(jié)可以看出對于一個數據中心，選用了較優(yōu)化的基礎測試環(huán)境后，在基于對能效指標PUE的解讀上，通過建立PUE公式模型，我們把制冷能效系數（CLF）、配電能效系數（PLF）、其他能效系數（OLF）作為MAS能源分解優(yōu)化的方向，在技術架構中，注入能耗關鍵性指標用于全系統(tǒng)分析。
在進一步研究公式及系數三要素進行近似計算過程中，全系統(tǒng)COP在模型中起到至關重要的作用，這不但在成熟機房中適用，對于新機房，也可以從全系統(tǒng)制冷效率方面進行考核及分析。因上架率較高、運行的生命周期較長，成熟機房PUE的優(yōu)化空間相對有限；但對于新機房，因上架率有限，設備容量實用不足，其PUE一般具備比較大的優(yōu)化空間，從全系統(tǒng)COP入手可以在上架率不足的情況下，持續(xù)優(yōu)化數據中心的能源使用效率。
綜合冷機、冷塔、冷卻/凍泵、送風溫度、冷凍供水溫度等因素考慮在內，并考慮不同設備的特性曲線，綜合測算水側全系統(tǒng)的COP變化情況，并進行測試驗證，不斷地試驗、分析、總結、再反復校驗，總結得出如下的幾個結論。
冷通道送風溫度影響數據中心總能耗
數據中心常見服務器類型包括計算型和存儲型，在長期的運營實踐中，運維數據通過實時采集、分析，工程師對整個制冷系統(tǒng)機房內服務器能耗與整體能耗關系進行了深入研究，提供進風溫度不同負載的服務器能耗。
計算型服務器在服務器進風溫度大于22度時，服務器自身風機能耗呈上升趨勢。世紀互聯(lián)工程師為研究服務器進風溫度升高后，服務器自身耗電量的增加、制冷系統(tǒng)耗電量降低以及總耗電量之間的關系，進行了實驗。我們選擇負載率偏高，室外環(huán)境相對穩(wěn)定的機房樓，調整冷凍水溫度（-2~+1范圍），從而調整冷通道溫度，記錄24小時內機房IT、制冷設備、末端溫度、濕度控制設備能耗以及服務器進風溫度。
經過測試，在實驗機房，如將服務器進風溫度從24℃調低到22℃，機房總能耗降低0.7%。基于存儲型服務器進風溫度拐點偏高（27℃），服務器能耗與總能耗的關系待后續(xù)實驗驗證。
通過不斷嘗試及試驗，以數據中心總能耗為依據，得到最佳實踐結果，為運營優(yōu)化提供決策依據，進一步提升數據中心能效利用和可靠性。
冷凍水系統(tǒng)設備能耗特性的相關結論
在數據中心冷凍水系統(tǒng)中，冷凍水溫度的變化或者末端負荷的變化會引起精密空調水閥的自動調節(jié)，同時會導致冷凍水泵頻率的變化，在研究制冷能效系數過程中，為了精確分析水系統(tǒng)制冷系數的影響因素，世紀互聯(lián)工程師對冷凍水泵和精密空調進行了深入的研究。
A. 冷凍水泵能耗特性
大多數運營人員認為冷凍水泵的功率與頻率呈三次方關系，故降低冷凍水泵頻率會大大降低冷凍水泵的能耗。但實際上，水泵功率與頻率的三次方關系是基于標準工況的前提下才成立的。
*水泵軸功率計算公示軸功率：
N(KW)=Q(m3/h)*H(m)/(367*η)。
Q:水泵流量,
H:水泵揚程,
η:水泵效率。
標準工況下，管網特性保持不變的情況下，水泵的軸功率與頻率關系為：P1/P2=N13/ N23。
數據中心冷凍水泵變頻控制多采用壓差控制，當末端空調水閥自動調節(jié)時，末端水流量會發(fā)生變化，水泵會根據目標壓差值進行自動調節(jié)，忽略末端空調與水泵之間管道及相關設備因水流量變化對差壓的影響，同時忽略水泵效率的變化，近似認為水泵揚程不變（在上述公式中H不變），則可認為冷凍水泵軸功率與水泵頻率近似成線性關系（由于H不變，N與Q成線性關系，而Q與頻率為線型關系，所以N與水泵的頻率成線性關系）。
以上數據為某機房在冷凍水泵自動運行時，冷凍水泵頻率在30-35Hz變化時水泵軸功率的變化趨勢。從數據可以證明，隨著冷凍水泵頻率上升，水泵軸功率的變化與頻率變化基本為線性關系。從追求收益最大化的角度上考慮，在實際的運維實踐中，不必過度追求冷凍水泵降頻率運行。
B. 精密空調能耗特性
數據中心的精密空調水閥控制大部分根據設定送風溫度進行控制的，世紀互聯(lián)工程師就水閥開度和精密空調制冷量的關系，以及水流速度對傳熱系數K值得影響進行了實驗分析。
某一負載率偏高且負載分布相對均勻的機房，穩(wěn)定工況下7臺水冷精密空調水閥開度范圍44%-67%，風機轉速60%-80%。通過實際測量和理論結算可知：其中水閥60%、風機轉速70%時精密空調制冷效率最高，傳熱系數K值最大。
同時結合從以下圖表可以得出傳熱系數與水流速度之間的關系，水流速度小于1.3m/s時，傳熱系數K值隨水流速的增加而增加，傳熱效果越好。我們統(tǒng)計數據中心的水流速一般都低于1.2m/s, 所以在數據中心的水流速控制中，應盡量增大水流速，以增加精密空表冷器的換熱效率 。
小結
基于以上運維分析系統(tǒng)和多方位能耗探究的實踐，世紀互聯(lián)的工程師們利用大數據技術和智能算法對運維數據進行分析，推動了IT系統(tǒng)運行向標準化、數據化、智能化、自動化轉變。另外，運維分析系統(tǒng)的使用也促使運維人員從被動地面對系統(tǒng)故障轉變?yōu)橹鲃臃治鱿到y(tǒng)性能，向系統(tǒng)架構和業(yè)務轉變，更多的投入到有價值和創(chuàng)造性的工作中，從而更好的支持企業(yè)的業(yè)務創(chuàng)新。
伴隨新基建的不斷深化，數據中心將進一步承載AI、大數據、云計算等全新業(yè)務形態(tài)，成為百行百業(yè)的數據基石。面對“新基建”在靈活、綠色、安全等方面對數據中心提出的全新要求，如何做好運維管理，如何平衡“穩(wěn)”與“敏”的關系尤為重要。世紀互聯(lián)將持續(xù)踐行“大定制+新零售”雙引擎戰(zhàn)略，秉承工程師文化和工匠精神，不驕不躁，潛心研究，不斷創(chuàng)新，不斷探索，有效提升用戶體驗，走出一條具有世紀互聯(lián)特色的數據中心發(fā)展之路。
過往25年，世紀互聯(lián)見證了中國IDC產業(yè)的誕生、崛起，從大冷門到大熱門，并將自身與時代相連，依托“新零售+大定制”獨特的IDC雙引擎戰(zhàn)略，為IDC行業(yè)新時代發(fā)展帶來全新憧憬。4月21日，為探討行業(yè)發(fā)展、聚焦數字化轉型、積極擁抱國家3060雙碳戰(zhàn)略，由中國通信工業(yè)協(xié)會數據中心委員會指導，中國IDC圈與世紀互聯(lián)等共同主辦的“2021年中國IDC行業(yè)Discovery大會”將在北京盛大開幕。屆時，行業(yè)領導、專家學者、IDC頭部企業(yè)、鏈原生新基建的信仰者、新一代IDC的探索者、權威媒體等等將共聚一堂，共話IDC的“過去·現在·未來”，共同開啟新一代IDC的“無限游戲”。
