조진균
(Jinkyun Cho)
†
최우신
(Woosin Choi)
2
장승민
(Seungmin Jang)
3
이재형
(Jaehyung Lee)
3
박치현
(Chihyeon Park)
3
이승환
(Seunghwan Lee)
3
-
국립한밭대학교 공과대학 설비공학과 조교수
(
Assistance Professor, Department of Building and Plant Engineering, Hanbat National
University, 34158, Daejeon, Korea
)
-
에스케이텔레콤주식회사 플랫폼아키텍트팀 매니저
(
Manager, Platform Architect Team, Telecom Co., Ltd., 04539, Seoul, South Korea
)
-
국립한밭대학교 공과대학 설비공학과 학부생
(
Undergraduate Student, Department of Building and Plant Engineering, Hanbat National
University, 34158, Daejeon, Korea
)
Copyright © 2016, Society of Air-Conditioning and Refrigeration Engineers of Korea
Key words
Data center(데이터센터), IT environment(IT 공조환경), Hot aisle containment(열복도 차폐), Cold aisle containment(냉복도 차폐), Site measurement(현장측정), Evaluation metrics(성능평가지표)
기호설명
Q：
전달열량 [W]
T：
온도 [℃]
m：
풍량 [㎥/h]
n：
서버 랙 총 수량
C：
공기상수 [0.34]
상첨자 및 하첨자
rack：
서버 랙
rs：
IT장비(입구)공급공기
re：
IT장비(출구)배기공기
x：
x번째 서버 랙(평균)
max-rec：
상한 권장범위/ASHRAE TC9.9(2015)
max-allow：
상한 허용범위/ASHRAE TC9.9(2015)
min-rec：
하한 권장범위/ASHRAE TC9.9(2015)
min-allow：
하한 허용범위/ASHRAE TC9.9(2015)
sa：
CRAH 유닛 급기공기
ra：
CRAH 유닛 환기공기
1. 연구배경 및 목적
데이터센터는 빅 데이터를 관리, 저장과 처리 및 전송하는 핵심적인 디지털 인프라의 일부분임은 부인할 수 없다.(1) 거의 모든 사람들은 소셜 미디어, 이메일, 일기예보, 쇼핑 및 교육과 같은 업무를 위해 매일 인터넷을 사용한다. 즉, 데이터센터는 생산라인의 재고관리를
하고, 은행의 금융을 지원하고, 배송회사의 물류를 관리하며 정부의 공공서비스를 제공하는 등 디지털 산업의 후방을 지원한다. 데이터센터는 소셜 디지털
경제의 물리적 기반이 되며, 데이터센터 없이 다양한 산업과 서비스에 연결된 삶을 영위할 수 없다. 물리적 관점에서 데이터센터는 에너지 다소비 시설로,
통상적인 전력밀도는 540~2,200 W/m2이고 초고밀도인 경우에는 10 kW/m2를 초과한다.(2) IT장비의 발열제거를 위한 냉각은 데이터센터에서 가장 큰 관심사이다. 연중 24시간 운영되는 서버 등 IT장비는 미국 냉동공조엔지니어협회(ASHRAE)에서
제시하는 권장온도범위에서 운영하는 것을 목표로 하기 때문에 IT장비 냉각을 위한 비용이 지속적으로 증가하게 된다. IT장비에 공급되는 전력 에너지를
제외하고, 일반적으로 냉각(38%)과 전력공급 중 손실(9%)이 데이터센터 전체 에너지사용량의 약 50%를 차지한다.(3) 데이터 센터의 효율적인 냉각과 에너지비용에 대한 관심이 높아지면서 열복도 차폐(HAC : hot aisle containment)와 냉복도 차폐(CAC
: cold aisle containment) 시스템은 IT환경 제어를 위한 가장 효과적인 기술로 우선 고려되고 있다. 이러한 IT냉각 및 공기분배의
목표는 IT서버룸에서 형성되는 복잡한 장비발열을 효율적으로 제거하는 것이다. 최근, 고밀도와 가변적인 부하형태의 차세대 IT장비의 출현으로 기존 냉각
시스템이 대응하기 어려운 예상치 못한 냉각수요가 발생하고 있다.(4) 따라서 IT냉각방식의 개선이 필요하다.
본 실험연구는 데이터센터 냉각전략으로 IT서버룸의 열성능과 HAC와 CAC시스템 간의 공조효율을 비교하는 것을 목표로 하고 있다. HAC와 CAC은
모두 데이터센터 냉각 시스템의 예측 가능성과 효율성을 향상시킬 수 있다. 이러한 차폐구조의 공조시스템은 과거의 비 차폐구조에 비해 상당한 에너지효율화를
달성하여 최대 23%의 냉각에너지를 절약할 수 있고, 결과적으로 PUE를 10% 감소시킬 수 있다는 보고가 있다.(5) 본 논문에서는 실제 적용되어 운영 중인 HAC와 CAC를 대상으로 차폐구조와 취출온도의 변화가 데이터센터의 전반적인 공조효율에 미치는 영향을 현장실험을
통해 비교하였다.
많은 데이터센터의 연구자들은 HAC와 CAC시스템의 개별적인 열 성능에 초점을 맞춰왔다. 데이터센터 냉각 연구에서는 HAC와 CAC를 비교하여 분석하는
것이 중요하다. 룸 기반 냉각솔루션의 HAC와 CAC 시스템은 데이터센터 공조효율 개선의 요구사항을 충족하는지 검증할 필요성이 증가한다. 그러나 운영
중인 데이터센터는 높은 보안규정으로 인해 현장실험 등 실증보다는 현실적으로 전산유체역학(CFD : computational fluid dynamics)
등의 시뮬레이션 분석을 통한 검증을 수행해 왔다. 그러나 이러한 데이터센터 CFD 모델은 정확한가에 대한 지속적 의문이 제기된다. 99% 이상 실제
존재하지 않는 하나의 가상 시나리오의 결과물이라는 의견도 있다.(6) 데이터센터의 현실적인 상황을 정확하게 반영하고 서로 다른 HAC와 CAC시스템을 비교하기 위해서는 수치 모델만으로는 한계가 있다. 또한 현장실측은
실제 데이터센터에 측정센서를 설치하고 평가를 위한 제어조건 변경으로 IT환경 변화, 전산오류 등 불확실성 극복이 최대 장애물이다. 동일 조건으로 실험을
수행해야하는 어려움도 수반된다. 본 연구에서는 이러한 한계점을 극복하기 위해서 실제 운영 중인 데이터센터를 대상으로 급작스러운 IT환경 제어조건의
변화를 최소화하고 1개월간의 장기측정으로 상호 동일조건의 형성을 극대화 하였다.
2. 연구의 방법
본 연구에서는 운영 중인 데이터센터의 현장측정을 통해 HAC 및 CAC 시스템을 비교하였다. IT환경을 기준으로 온도분포와 습도분포를 측정하여 전반적인
IT서버룸의 열성능을 분석하였고, 공조효율은 6가지 성능 지표를 사용하여 국부적 과열, 과냉 및 온도 불균형을 고려하여 종합적으로 IT공조환경의 조건을
판단하였다. 이러한 비교를 바탕으로 각 시스템의 성능과 운영 효율성을 도출하기 위한 엔지니어링 평가방법을 사용했다. 열복도 및 냉복도 차폐에 따른
공조성능을 비교하기 위해 대전시 소재 SK텔레콤 전용 데이터센터를 선정하였다. 해당 데이터센터 내부의 IT서버룸은 중앙냉수식 CRAH(computer
room air handling)유닛이 룸 기반 공조․냉각 시스템으로 운영되고 있다. Fig. 1은 실측 대상 데이터센터를 보여준다.
2.1 IT공조환경 측정방법
Fig. 1 A reference data center for the experimental investigation.
공조효율평가는 IT장비의 발열을 효과적으로 제거하기 위한 공급과 사용된 에너지의 양, IT환경의 적합성을 위한 온․습도 운영범위가 평가요소가 되며,
세부적인 측정위치는 IT서버를 기준으로 실내공간에서 CRAH 유닛까지 확장하여 정의한다. IT환경 측정요소 및 모니터링 기준은 기본적으로 성능평가지표로
도출할 수 있는 요소이며, IT서버 레벨, 서버룸 레벨 그리고 CRAH 레벨로 구분하여 측정위치 등을 설정한다.(7,8)
여러 위치의 설치 레벨에서 데이터센터의 온도, 습도 및 전력과 같은 IT환경 매개변수를 측정하는 세부적인 모니터링 방식이며, 모니터링 목적은 효율지표의
기능을 사용하여 평가의 견고성을 향상시키는 것이다. 본 절차는 데이터센터 운영을 정확하게 이해하고 데이터센터에서 공조효율을 관리, 평가하며 데이터센터의
운영단계에서 공조효율지표를 연산하기 위해 Fig. 2(a)와 같이 측정 레벨을 구분하여 측정점 설치위치를 제안할 수 있다. 주로 IT장비의 인입과 배출의 온도차를 기준으로 냉각에 필요한 열량 및 냉복도와
열복도의 상태와 관련 평가지표의 산출을 위해 필요하다. IT서버 레벨 측정점은 서버 랙의 공기 흡입구와 배기구에 설치된 센서로 부터 데이터를 수집하고
온․습도 데이터를 노드로 전송하고 온도노드가 추가적인 노드가 필요 없이 센서로 부터 상대습도 데이터를 수집하는 것이 바람직하고, ±0.5℃ 이하의
정확도가 필요하다. 각 데이터 릴리스 사이의 시간은 5분을 초과하지 않도록 한다. 기본구역 내 설치되는 측정점은 Fig. 2(b)와 같이, 서버 랙의 상․하부 및 CRAH 유닛의 거리별로 필요하다. 선택적으로 서버룸 레벨 측정점은 공조공기가 IT서버룸으로 공급되는 바닥 취출구와
상부 환기구에 설치된 센서로 부터 데이터를 수집하고 온․습도 데이터를 노드로 전송한다. 서버룸 레벨 측정은 실질적으로 서버발열 제거에 사용되는 CRAH
유닛으로 부터 냉각된 공조공기가 공급되는 이동경로를 통하여 손실 또는 획득되는 요소 및 에너지량을 산출하는 목적을 갖는다. 단위구역내에 설치되는 측정점은
Fig. 2(c)와 같다. 서버룸 레벨은 공기분배방식에 따라서 다양성을 갖는다. Fig. 2(d)와 같이, 각 CRAH 유닛에는 2개의 온․습도 노드가 있으며, 하나는 급기공기(SA)이고 다른 하나는 환기공기(RA)이다. 서버룸 레벨과 CRAH
레벨의 차이에서 확인 가능한 것은 열량을 공급하는 장비에서 냉각이 필요한 장비까지 이동경로
에서의 열손실을 판단할 수 있다.
Fig. 2 Measuring points; (a) IT environment monitoring area(row) setting, (b) IT level(rack thermal node), (c) room level (SA/RA thermal node) and (d) CRAH level (cooler thermal node).
2.2 데이터센터 공조성능 평가방법
ASHRAE TC 9.9(9)에서 제시하는 IT공조환경 가이드라인은 IT장비의 안정성 위주로 인입온도를 중요 측정 변수로 Table 1과 같이 정의하고 있다. 데이터센터의 다양한 효율지표 값을 산출하고 에너지절감을 위한 대안 도출을 위해서는 IT공조환경을 파악하는 것이 가장 중요하며,
이를 위해서 다양한 성능지표의 측정요소 및 변수를 반영한 측정․모니터링 방법이 적용되어야 한다. 데이터센터 IT환경 및 공조효율 평가지표는 많은 연구자에
의해서 제안되어 왔다. 대표적으로 SHI와 RHI는 공조공기 유동의 효율성 활용과 공조공간 내부의 재순환 정도를 평가하는 기준이다.(10) 그리고 IT장비를 위한 공조성능 측정은 RCI를 사용한다. RCI는 온도의 상한 및 하한에 따라 RCIHi와 RCILo로 나뉜다. RCI는 ASHRAE
가이드라인에 의해 IT장비에서의 열 성능 평가를 하는 IT장비단위 지표로서 매우 중요하게 고려되고 있다.(11) 또한 재순환과 공기유실 현상을 평가하기 위해 RTI를 활용한다. RTI의 이상적인 조건은 냉각공급과 활용이 100% 일치되어야 한다. RTI의 지표가
100% 이하는 공조공기가 활용 없이 바로 CRAH 유닛으로 돌아오는 유실 현상을 나타내고, 100% 이상이면 공조공기가 사용되고 CRAH 유닛으로
돌아오지 않고 다시 IT장비로 재순환 되는 현상을 나타나낸다.(12) 또 다른 평가지표인 β는 국부과열에 의한 공조공기의 재순환에 대한 정보를 제공한다. 데이터센터 공조효율을 평가할 수 있는 주요 평가지표(13)는 Table 2와 같다.
Table 1. Environmental classes for data centers
|
Class
|
Dry Bulb
(DB : ℃)
|
Relative Humidity
(RH : %)
|
Dew Point
(DB : ℃)
|
Change Rate
(℃/h)
|
|
Recommended
|
A1 to A4
|
18 to 27
|
5.5℃(DP) to 60(RH)
|
N/A
|
N/A
|
|
Allowable
|
A1
|
15 to 32
|
20 to 80
|
17
|
5/20
|
|
A2
|
10 to 35
|
20 to 80
|
21
|
5/20
|
|
A3
|
5 to 40
|
8 to 85
|
24
|
5/20
|
|
A4
|
5 to 45
|
8 to 90
|
24
|
5/20
|
Table 2. Environmental classes for data centers
|
Metrics
|
Information
|
Formula
|
Rating
|
|
SHI
|
Recirculation degree in
air mixing
|
$\left[\dfrac{\delta Q}{Q+\delta Q}\right]$
|
$Q=\sum_{i}\sum_{j}m_{i,\:j}^{rack}C_{\rho}\left[\left(T_{re}^{rack}\right)_{i,\:j}-\left(T_{rs}^{rack}\right)_{i,\:j}\right]$
$\delta Q=\sum_{i}\sum_{j}m_{i,\:j}^{rack}C_{\rho}\left[\left(T_{rs}^{rack}\right)_{i,\:j}-T_{sa}\right]$
|
Target
|
0.0
|
|
Good
|
< 0.2
|
|
RHI
|
Cooling effect of cold
air supply
|
$\left[\dfrac{Q}{Q+\delta Q}\right]$
|
Target
|
1.0
|
|
Good
|
> 0.8
|
|
RCILo
|
Rack cooling condition according to cold threshold values
|
$\left[1-\dfrac{\sum\left(T_{\min -rec}-T_{x}\right)_{T_{x}<T_{\min -rec}}}{\left(T_{\min
-rec}-T_{\min -allow}\right)\times n}\right]$
|
Ideal
|
100%
|
|
Good
|
≥ 96%
|
|
Acceptable
|
91%~95%
|
|
Poor
|
≤ 90%
|
|
RCIHi
|
Rack cooling condition according to hot
threshold values
|
$\left[1-\dfrac{\sum\left(T_{x}-T_{\max -rec}\right)_{T_{x}>T_{\max -rec}}}{\left(T_{\max
-allow}-T_{\max -rec}\right)\times n}\right]$
|
Ideal
|
100%
|
|
Good
|
≥ 96%
|
|
Acceptable
|
91%~95%
|
|
Poor
|
≤ 90%
|
|
RTI
|
Extend of bypass and recirculation
|
$\left[\dfrac{T_{ra}-T_{sa}}{\Delta T_{rack}}\right]$
|
Re-circulation
|
> 100%
|
|
By-pass
|
< 100%
|
|
Acceptable
|
> 100±5% >
|
|
Poor
|
< 100±30% <
|
|
β
|
Recirculation and overheating extent
|
$\dfrac{T_{rs}-T_{sa}}{T_{re}-T_{rs}}$
|
Target
|
0
|
3. IT공조환경 측정결과
3.1 룸 기반 공조방식 IT환경 측정 개요
대상 데이터센터의 IT환경 측정은 HAC 시스템으로 구성된 10층과 CAC 시스템으로 운영 중인 7층의 IT서버룸 일부구역으로 한정하였다. 이것은
2개의 서로 다른 차폐구조의 공조시스템을 구역단위로 성능을 비교평가하기 위함이다. Fig. 3은 실증 서버룸의 IT환경 측정구역과 온․습도센서 설치위치를 보여주고 있다. 해당 IT서버룸은 이중마루가 적용된 바닥공조로 CRAH 유닛에서 실내로
취출하는 가장 보편적인 공조방식으로 구성되어 있다. 온도, 습도 측정은 해당 구역의 CRAH 유닛으로부터 등-거리에 있는 총 10개의 서버 랙을 기준으로
상․하부 공기 인입구 20개소, 상부 배출구 측 10개소 그리고 CRAH 유닛의 SA 취출구, RA 환기구 2개소로 총 32개 측정점을 1분 간격으로
1개월(2019. 09. 18.~10. 16) 동안 연속측정 하였다. HAC와 CAC 비교실험의 한계는 서로 다른 운영상황에서 룸 기반 공조시스템의
열성능을 정확하게 평가하는 방법이다.
Fig. 3 IT environment measurement points of temperature and humidity sensors in (a) the CAC system and (b) the HAC system.
IT환경 측정은 3가지 프로토콜로 수행되었다. Case-1과 Case-2는 HAC와 CAC의 CRAH 유닛 급기온도를 15℃로 설정하였으며, Case-3은
HAC의 급기온도를 17℃로 상향 변경하여 측정하였다.
3.2 IT장비 입력전력 측정결과
CAC 시스템이 적용된 7층 IT서버룸의 대상 구역은 총 23개의 랙 서버로 구성되어 있고, HAC 시스템이 적용된 10층은 총 20개의 랙 서버로
구성되어 있다. CAC와 HAC에 설치된 IT장비로 인입되는 평균 입력전력은 각각 35.9 kW와 52.8 kW이다. Fig. 4에서와 같이, 1개월간 각 IT장비로 인입되는 전력은 거의 변화 없이 일정하다. 이것은 CAC와 HAC 내의 IT장비의 가동으로 지속적인 발열이 발생하고
이로 인한 일정한 냉방부하가 유지된다는 것이다. 즉, 냉방부하는 외부의 인자와 상관없이 일정하게 발생한다. CAC 구역을 담당하는 CRAH 유닛의
냉각용량은 48.9 kW(14 RT)이 요구되며 공조풍량은 270 m3/min이 적용된다. HAC의 CRAH 유닛은 IT장비 부하(입력전력)에 비례하여
냉각용량 70.3 kW(20 RT), 공조풍량은 390 m3/min이 적용되었다. CAC와 HAC는 IT장비의 구성이 다르기 때문에 IT 인입전력,
냉방부하 및 냉각시스템의 용량도 상이하다. 그러나 매우 일정한 냉방부하가 발생하고 이에 부합되게 냉각시스템이 적용되어 운영되기 때문에 두 시스템의
IT환경을 비교하는데 있어서 동일한 운영조건으로 공조효율이 평가되었다고 볼 수 있다.
3.3 차폐구조 IT환경 측정결과
3.3.1 Case-1 : CAC 시스템(CRAH 취출온도 15℃)
7층 CAC 시스템의 온․습도 관련 IT환경 측정결과는 Table 3과 같다. CRAH 유닛의 평균 급기온도(CAC-R-01)인 15.0℃를 기준으로 냉복도에서 서버 랙으로 유입되는 공조공기(CAC-C-01~20)의
평균온도는 22.54℃로, 약 7.5℃ 이상 이동경로에서 열손실이 발생하는 것으로 측정되었다. Fig. 5와 같이, 각 서버 랙으로 유입되는 공기온도는 ASHRAE Classes A1에서 권장하는 범위에 포함되지만 일부 구역에는 과냉(CAC-C-01)과
과열(CAC-C-12) 현상이 발생한다. 또한 랙 서버에서 발열제거 후 열복도로 배출되는 공기(CAC-H-01~10)의 평균온도는 30.08℃로 약
ΔT = 7.5℃를 유지한다. 그러나 CRAH 유닛 평균 환기온도(CAC-R-02)는 30.03℃로 환기경로에서 공기의 혼합은 크지 않는 것으로 분석되었다.
Fig. 4 Total IT input power distributions for one row partition of (a) the CAC system and (b) the HAC system.
온도의 분포는 외피부하 등 외부요인에 영향을 받지 않으며, IT장비의 발열이 대부분을 차지하고 있기 때문에 매우 일정한 상태를 유지하고 있었다. 그러나
냉복도의 평균온도가 급기온도보다 크게 차이가 발생하는 것은 많은 부분에서 열 복도의 공기가 재순환되고 있는 것이다. 상대습도는 공조효율에 큰 영향을
주지는 않지만 낮은 상대습도는 IT장비의 영향을 줄 수 있기 때문에 유의해야한다. 상대습도는 냉복도 영역에서 평균 48% 전후를 유지하고 있고, 이것은
ASHRAE Class A1 허용범위 RH 8~80%는 만족한다.
Table 3. Temperature and humidity distribution of the CAC system(Test case 1)
|
Aisle
|
Sensor #
|
Mean
|
Min
|
Max
|
Sensor #
|
Mean
|
Min
|
Max
|
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
|
Cold Aisle
(DB 22.54℃,
RH 48.22%)
|
CAC-C-01
CAC-C-02
CAC-C-03
CAC-C-04
CAC-C-05
CAC-C-06
CAC-C-07
CAC-C-08
CAC-C-09
CAC-C-10
|
27.57
24.72
23.31
19.83
25.48
23.57
22.69
24.01
23.34
21.89
|
37.86
43.73
47.18
57.72
40.48
44.16
43.52
48.96
44.42
46.40
|
27.02
23.88
22.51
18.55
25.07
23.07
22.32
23.44
22.88
21.47
|
35.75
41.27
44.13
48.40
35.84
42.57
42.70
46.39
43.03
42.06
|
27.97
25.25
24.89
23.60
28.42
24.64
24.94
24.46
24.15
23.17
|
39.60
46.26
49.40
61.56
42.01
45.24
45.55
50.26
46.19
48.65
|
CAC-C-11
CAC-C-12
CAC-C-13
CAC-C-14
CAC-C-15
CAC-C-16
CAC-C-17
CAC-C-18
CAC-C-19
CAC-C-20
|
21.47
17.51
19.61
18.26
24.77
22.02
22.52
22.65
26.52
19.14
|
49.22
60.58
54.97
58.74
41.74
47.24
47.69
49.34
39.74
60.65
|
21.09
17.12
19.26
17.64
24.25
21.33
22.13
22.00
25.88
17.94
|
46.05
57.99
50.88
56.11
37.52
44.62
36.55
46.76
37.93
55.50
|
22.86
18.55
21.34
19.30
27.38
23.26
28.81
23.32
27.21
20.24
|
50.77
62.24
56.82
60.64
42.94
49.57
49.78
51.49
41.15
64.48
|
|
Hot Aisle
(DB 30.08℃)
|
CAC-H-01
CAC-H-02
CAC-H-03
CAC-H-04
CAC-H-05
|
30.56
31.08
31.19
30.07
28.02
|
|
29.98
30.47
30.73
29.31
27.34
|
|
31.04
31.42
32.03
31.18
28.65
|
|
CAC-H-06
CAC-H-07
CAC-H-08
CAC-H-09
CAC-H-10
|
30.06
32.41
29.79
29.52
28.08
|
|
29.64
31.82
28.99
29.08
27.56
|
|
30.70
33.30
30.34
30.55
28.48
|
|
|
Supply Air (SA) (DB 15.00℃)
|
CAC-R-01
|
15.00
|
|
|
|
|
|
|
Return Air (RA) (DB 30.03℃)
|
CAC-R-02
|
30.03
|
|
29.66
|
|
30.52
|
|
Fig. 5 Hourly air temperature distributions around IT equipment of Case-1; (a) rack inlet air temperature and (b) rack outlet air temperature.
3.3.2 Case-2 : HAC 시스템(CRAH 취출온도 15℃)
10층 HAC 시스템의 IT환경 측정결과의 온․습도 분포는 Table 4와 같다. Case-1과 동일하게 CRAH 유닛의 평균 급기온도(HAC-R-01)인 15.0℃기준으로 냉복도에서 IT서버로 유입되는 공조공기(HAC-C-01~20)의
평균 온도는 20.08℃로, 약 5.1℃ 정도 이동경로에서 손실되는 것으로 측정되었다. 이는 CAC 시스템에 비해 약 2.4℃ 정도 손실이 줄었다.
Fig. 6은 HAC의 서버 랙으로 유입되고 배출되는 연속된 온도분포를 보여준다. 각각의 서버 랙으로 유입되는 온도는 ASHRAE에서 권장하는 범위에 포함되지만
일부 구역(HAC-C-13, 14, 16, 18)에는 과냉 현상이 발생한다.
Table 4. Temperature and humidity distribution of the HAC system(Test case 2)
|
Aisle
|
Sensor #
|
Mean
|
Min
|
Max
|
Sensor #
|
Mean
|
Min
|
Max
|
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
|
Cold Aisle
(DB 20.08°C,
RH 58.03%)
|
HAC-C-01
HAC-C-02
HAC-C-03
HAC-C-04
HAC-C-05
HAC-C-06
HAC-C-07
HAC-C-08
HAC-C-09
HAC-C-10
|
19.87
19.61
20.15
20.25
21.76
20.01
22.29
21.67
23.01
21.79
|
59.56
61.36
58.86
59.78
41.71
60.42
46.68
54.83
43.80
50.41
|
19.36
19.10
19.55
19.63
21.25
19.41
21.73
21.29
22.54
21.36
|
49.68
50.78
48.07
49.67
32.50
49.80
38.50
45.64
36.23
42.18
|
22.47
22.31
23.15
23.31
24.12
23.04
24.56
23.20
23.87
22.76
|
68.35
70.56
68.50
69.20
51.30
70.10
54.06
62.49
49.54
57.21
|
HAC-C-11
HAC-C-12
HAC-C-13
HAC-C-14
HAC-C-15
HAC-C-16
HAC-C-17
HAC-C-18
HAC-C-19
HAC-C-20
|
18.58
19.33
16.95
16.46
18.99
15.95
22.34
16.32
24.77
21.47
|
57.82
59.51
56.71
60.91
41.71
62.61
37.59
61.71
35.96
51.23
|
16.92
17.21
15.52
15.00
17.92
15.00
21.04
15.00
23.76
20.68
|
44.99
46.96
43.97
45.73
32.50
46.66
30.69
46.56
29.74
42.07
|
19.47
20.13
19.07
18.98
20.75
18.53
23.36
18.94
26.08
22.43
|
69.06
70.67
67.90
74.30
51.30
76.37
44.04
74.72
41.19
59.11
|
|
Hot Aisle
(DB 26.38°C)
|
HAC-H-01
HAC-H-02
HAC-H-03
HAC-H-04
HAC-H-05
|
23.43
25.03
25.57
27.63
28.11
|
|
22.90
24.52
25.13
27.35
27.69
|
|
24.88
26.69
27.40
28.82
28.57
|
|
HAC-H-06
HAC-H-07
HAC-H-08
HAC-H-09
HAC-H-10
|
21.52
24.94
28.28
30.42
28.92
|
|
20.93
24.26
27.80
30.13
28.56
|
|
22.32
25.60
29.76
30.69
29.33
|
|
|
Supply Air (SA) (DB 15.00℃)
|
HAC-R-01
|
15.00
|
|
|
|
|
|
|
Return Air (RA) (DB 26.06℃)
|
HAC-R-02
|
26.06
|
|
25.64
|
|
27.13
|
|
Fig. 6 Hourly air temperature distributions around IT equipment of Case-2; (a) rack inlet air temperature and (b) rack outlet air temperature.
또한 IT장비에서 발열을 제거 후 열복도로 배출되는 공기(HAC-H-01~10)의 평균온도는 26.38℃로 약 ΔT = 6.3℃를 유지한다. 그러나
CRAH 유닛 평균 환기온도(CAC-R-02)는 26.06℃로 IT서버룸에서 냉복도의 공기의 혼합이 다소 발생한다. 온도분포는 장비의 발열이 대부분을
차지하고 있기 때문에 CAC와 유사하게 일정한 상태를 유지하고 있었다. 하지만, 냉복도의 평균온도가 급기온도와 다소 차이가 발생하는 것은 일부에서
열복도의 공기가 CRAH 유닛으로 돌아가지 않고 다시 IT장비로 재순환되고 있는 것이다. 상대습도는 냉복도 영역에서 평균 58% 전후를 유지하고 있어
ASHRAE 허용범위는 만족한다. 동일한 급기온도에서 CAC보다 HAC의 IT환경이 IT서버 인입공기 온도 측면에서 유리하다. 이것은 HAC와 CAC의
구조적인 차이에 기인한 것이다. 내부의 기밀이 좋지 않은 유사한 조건에서 HAC가 IT장비에서 배출된 고온의 공기를 더 신속하게 배출하기 때문에 유리한
것으로 판단된다.
Table 5. Temperature and humidity distribution of the HAC system(Test case 3)
|
Aisle
|
Sensor #
|
Mean
|
Min
|
Max
|
Sensor #
|
Mean
|
Min
|
Max
|
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
DB
(℃)
|
RH
(%)
|
|
Cold Aisle
(DB 22.12℃,
RH 53.16%)
|
HAC-C-01
HAC-C-02
HAC-C-03
HAC-C-04
HAC-C-05
HAC-C-06
HAC-C-07
HAC-C-08
HAC-C-09
HAC-C-10
|
19.54
19.32
19.98
19.67
22.34
19.60
24.34
21.36
25.93
23.23
|
59.56
61.36
58.86
59.78
41.71
60.42
46.68
54.83
43.80
50.41
|
18.57
18.44
18.74
18.54
21.47
18.42
23.03
20.53
25.24
22.91
|
49.68
50.78
48.07
49.67
32.50
49.80
38.50
45.64
36.23
42.18
|
20.30
20.04
21.09
20.64
23.15
20.63
25.68
22.09
26.70
23.77
|
68.35
70.56
68.50
69.20
51.30
70.10
54.06
62.49
49.54
57.21
|
HAC-C-11
HAC-C-12
HAC-C-13
HAC-C-14
HAC-C-15
HAC-C-16
HAC-C-17
HAC-C-18
HAC-C-19
HAC-C-20
|
20.71
20.21
21.01
19.99
24.06
19.57
28.81
19.82
29.99
22.85
|
57.82
59.51
56.71
60.91
41.71
62.61
37.59
61.71
35.96
51.23
|
18.81
18.70
18.70
17.79
22.71
17.19
27.71
17.59
29.15
22.23
|
44.99
46.96
43.97
45.73
32.50
46.66
30.69
46.56
29.74
42.07
|
22.44
21.48
22.80
22.40
25.04
21.92
30.15
22.00
30.75
23.45
|
69.06
70.67
67.90
74.30
51.30
76.37
44.04
74.72
41.19
59.11
|
|
Hot Aisle
(DB 29.43℃)
|
HAC-H-01
HAC-H-02
HAC-H-03
HAC-H-04
HAC-H-05
|
26.47
27.46
27.84
30.09
31.31
|
|
24.74
26.87
27.15
29.83
30.91
|
|
27.37
28.12
28.28
30.50
31.89
|
|
HAC-H-06
HAC-H-07
HAC-H-08
HAC-H-09
HAC-H-10
|
25.47
29.91
32.39
31.93
31.48
|
|
24.14
28.75
30.06
31.08
30.88
|
|
27.15
31.12
34.04
32.83
32.31
|
|
|
Supply Air (SA) (DB 17.00℃)
|
HAC-R-01
|
17.00
|
|
|
|
|
|
|
Return Air (RA) (DB 28.03℃)
|
HAC-R-02
|
28.03
|
|
27.96
|
|
28.81
|
|
Fig. 7 Hourly air temperature distributions around IT equipment of Case-3; (a) rack inlet air temperature and (b) rack outlet air temperature.
3.3.3 Case-3 : HAC 시스템(CRAH 취출온도 17℃)
10층의 HAC 시스템은 모니터링 기간 중 CRAH 취출온도를 변화시키면서 IT환경의 변화를 분석하였다. Table 5의 IT환경 측정결과와 같이, 상향된 CRAH 유닛의 평균 급기온도(HAC-R-01)인 17.0℃를 기준으로 냉복도에서 서버 랙으로 유입되는 공조공기(HAC-C-01~20)의
평균온도는 22.12℃로, 약 5.1℃ 정도 이동 경로에서 열손실이 발생하는 것으로 분석되었다. 이것은 급기온도 15℃인 Case-2와 비슷한 수준이고
Case-1의 CAC 시스템에 비해 약 2.4℃정도 열손실을 줄었다. 각 서버 랙으로 유입되는 공기온도는 ASHRAE의 권장범위에 포함되지만 일부
구역에는 과열(HAC-C-17, 19) 현상이 발생한다(Fig. 7 참조). 또한 IT서버에서 발열제거 후 열복도로 배출되는 공기(HAC-H-01~10)의 평균온도는 29.43℃로 약 ΔT = 7.3℃를 유지한다.
그러나 열복도의 평균온도가 환기온도 보다 낮다는 것은 Case-2와 같이, 재순환 현상이 발생하는 것이다. 이중마루 타일 간의 기밀, 랙 서버의 빈
공간 등으로 재순환 정도의 차이가 발생하기 때문이다. 상대습도는 냉복도 영역에서 평균 53% 전후를 유지하고 있어 ASHRAE Class A1 허용범위인
RH 8~80%를 만족한다.
4. 공조시스템 열성능 및 공조효율 평가
앞에서 언급한 데이터센터 공조시스템의 열성능 평가지표인 SHI, RHI, RCIHi와 RCILo 및 RTI, β 등 6개의 연산식을 활용하여 IT환경
측정결과를 기반으로 각각의 HAC 및 CAC의 공조성능을 비교하였다.
4.1 Case-1 : CAC 시스템(CRAH 취출온도 15℃)
CAC 시스템의 IT환경을 측정한 기간의 연속적인 공조성능지표의 분포를 분석하였다. 객관적인 6개 지표를 통한 평가는 Table 6에서와 같이, 각 지표의 기준과 각각의 성능평가 지표의 결과를 기준으로 공조효율을 분석하였다. IT장비 배출공기와 저온의 공조공기의 혼합량과 열손실
측면에서 무차원 지표인 SHI와 RHI는 상호 보완적인 지표이다. SHI의 분포는 평균 0.46(목표 0.0), RHI는 평균 0.54(목표 1.0)로
적정한 성능을 만족하지 못하고 있다. 반면에, RCI는 서버룸의 ASHRAE에서 허용하는 온도범위를 기준으로 적정한 온도를 유지하고 있다. RCILo는
권장온도(18~27℃) 및 허용온도(15~32℃)의 하한 범위에서의 적정 온열환경 유지의 여부를 평가하는 것으로 모든 인입구에서 99% 허용온도 안에서
최적의 상태를 유지하고 있다. 반대 개념인 RCIHi는 하한 범위에서의 적정 IT공조환경 유지의 여부를 평가하는 것으로 100% 범위에서 허용온도를
유지하고 있다. 이 수준은 온열환경에서 특별한 문제가 없는 상태이다.
Table 6. Results of evaluation metrics for thermal performance of the CAC system(Test
case 1)
|
Metrics
|
Results
|
Rating
|
Evaluation
|
|
Mean
|
Min
|
Max
|
|
SHI
|
0.46
|
0.44
|
0.54
|
Target
|
0
|
Poor
|
|
Good
|
< 0.2
|
|
RHI
|
0.54
|
0.46
|
0.56
|
Target
|
1
|
Poor
|
|
Good
|
> 0.8
|
|
RCIHi
|
100%
|
97%
|
100%
|
Ideal
|
100%
|
Good
|
≥ 96%
|
Good
|
|
Acceptable
|
91%~95%
|
Poor
|
≤ 90%
|
|
RCILo
|
99%
|
98%
|
100%
|
Ideal
|
100%
|
Good
|
≥ 96%
|
Good
|
|
Acceptable
|
91%~95%
|
Poor
|
≤ 90%
|
|
RTI
|
142%
|
139%
|
173%
|
Re-circulation
|
> 100%
|
By-pass
|
<100%
|
Poor
(Re-circulation)
|
|
Acceptable
|
> 100±5% >
|
Poor
|
< 100±30% <
|
|
β
|
0.50
|
0.47
|
0.70
|
Target
|
0
|
Poor
|
Table 7. Results of evaluation metrics for thermal performance of the HAC system(Test
case 2)
|
Metrics
|
Results
|
Rating
|
Evaluation
|
|
Mean
|
Min
|
Max
|
|
SHI
|
0.41
|
0.38
|
0.53
|
Target
|
0
|
Poor
|
|
Good
|
< 0.2
|
|
RHI
|
0.59
|
0.47
|
0.62
|
Target
|
1
|
Poor
|
|
Good
|
> 0.8
|
|
RCIHi
|
100%
|
100%
|
100%
|
Ideal
|
100%
|
Good
|
≥ 96%
|
Good
|
|
Acceptable
|
91%~95%
|
Poor
|
≤ 90%
|
|
RCILo
|
91%
|
78%
|
100%
|
Ideal
|
100%
|
Good
|
≥ 96%
|
Acceptable
|
|
Acceptable
|
91%~95%
|
Poor
|
≤ 90%
|
|
RTI
|
122%
|
115%
|
146%
|
Re-circulation
|
> 100%
|
By-pass
|
<100%
|
Poor
(Re-circulation)
|
|
Acceptable
|
> 100±5% >
|
Poor
|
< 100±30% <
|
|
β
|
0.41
|
0.36
|
0.61
|
Target
|
0
|
Poor
|
RTI는 공조시스템의 에너지 성능을 측정할 수 있는데, CRAH 유닛의 급기와 환기의 온도상승과 IT장비를 통과하여 발열을 제거한 후의 온도상승의
비율을 평가의 척도로 보고 있다. RTI는 평균 142%로 재순환이 매우 큰 것으로 분석되었다. β 또한 재순환과 과열 사항을 판단하는 지표로 0.50의
비효율적인 범위를 유지하는 것으로 분석되었다.
4.2 Case-2 : HAC 시스템(CRAH 취출온도 15℃)
10층 HAC 시스템의 공조성능지표를 통한 평가결과는 Table 7과 같다. SHI의 분포는 평균 0.41, RHI는 평균 0.59로 기준 성능을 만족하지 못하고 있다. 반면에, RCI는 서버룸의 ASHRAE의 허용
온도범위를 유지하고 있다. 모든 IT서버의 인입구에서 RCILo는 91% 허용온도 안에서 최적의 상태를 유지하고 있다. 그러나 다소 낮은 온도로 냉각이
이루어지고 있는 것으로 분석되었다. 그리고 RCIHi는 100% 범위에서 허용온도를 유지하고 있다. 이 수준은 IT공조환경에서 적정한 운영조건을 만족하는
상태이다. RTI는 평균 122%로 재순환이 발생하지만 CAC에 비해 감소하였다. β 또한 0.41로 비효율적인 범위를 유지하지만, CAC에 비해서
약 18%의 효율개선 효과가 있다.
4.3 Case-3 : HAC 시스템(CRAH 취출온도 17℃)
급기온도를 17℃로 상향한 HAC 시스템의 공조성능지표 결과는 Table 8과 같다.
Table 8. Results of evaluation metrics for thermal performance of the HAC system(Test
case 3)
|
Metrics
|
Results
|
Rating
|
Evaluation
|
|
Mean
|
Min
|
Max
|
|
SHI
|
0.38
|
0.33
|
0.42
|
Target
|
0
|
Poor
|
|
Good
|
< 0.2
|
|
RHI
|
0.62
|
0.58
|
0.67
|
Target
|
1
|
Poor
|
|
Good
|
> 0.8
|
|
RCIHi
|
97%
|
95%
|
98%
|
Ideal
|
100%
|
Good
|
≥ 96%
|
Good
|
|
Acceptable
|
91%~95%
|
Poor
|
≤ 90%
|
|
RCILo
|
100%
|
72%
|
100%
|
Ideal
|
100%
|
Good
|
≥ 96%
|
Good
|
|
Acceptable
|
91%~95%
|
Poor
|
≤ 90%
|
|
RTI
|
105%
|
97%
|
112%
|
Re-circulation
|
> 100%
|
By-pass
|
< 100%
|
Acceptable
(Re-circulation)
|
|
Acceptable
|
> 100±5% >
|
Poor
|
< 100±30% <
|
|
β
|
0.35
|
0.26
|
0.39
|
Target
|
0
|
Poor
|
Table 9. The thermal performance percentage difference of CAC and HAC systems
|
Metrics
|
Thermal performance
|
Percentage difference
|
|
Case 1 :
CAC system
with SA 15℃
|
Case 2 :
HAC system
with SA 15℃
|
Case 3 :
HAC system
with SA 17℃
|
Case 1 :
CAC system
with SA 15℃
|
Case 2 :
HAC system
with SA 15℃
|
Case 3 :
HAC system
with SA 17℃
|
|
SHI
|
0.46
|
0.41
|
0.38
|
Baseline
|
10.9%
|
17.4%
|
|
RHI
|
0.54
|
0.59
|
0.62
|
9.3%
|
14.8%
|
|
RCIHi
|
100%
|
100%
|
97%
|
-
|
-3.0%
|
|
RCILo
|
99%
|
91%
|
100%
|
8.1%
|
1.0%
|
|
RTI
|
142%
|
122%
|
105%
|
14.1%
|
26.1%
|
|
β
|
0.50
|
0.41
|
0.35
|
18.0%
|
30.0%
|
SHI의 분포는 평균 0.38, RHI는 평균 0.62로 효율이 개선되었지만 아직도 적정한 성능을 만족하지 못하고 있다. RCILo는 모든 서버 랙의
인입구에서 100% 허용온도 안에서 최적의 상태를 유지하고 있다. 또한 RCIHi는 97% 범위에서 허용온도를 유지하고 있다. 이 수준은 IT공조환경에서
매우 적합한 상태이다. RTI는 평균 105%로 Case-2보다 상당히 개선되었고 수용 가능한 범위에서 약간의 재순환이 발생하는 것으로 분석되었다.
β는 0.35로 아직도 비효율적인 범위에 있는 것으로 조사되었다.
4.4 HAC 및 CAC의 공조성능 비교
6개의 객관적 지표를 통한 HAC 및 CAC의 공조성능 비교평가는 Table 9에서와 같다. SHI와 RHI의 분포는 HAC 시스템이 CAC 시스템에 비해 각각 17.4%와 14,8% 향상되었다. HAC 시스템의 RCI도 CRAH
유닛의 급기온도가 상향 되었음에도 불구하고 적정한 온도를 유지하고 있다. RCILo는 모든 IT서버 인입구에서 100% 허용온도 안에서 최적의 상태를
유지하고 있다. 반대 개념인 RCIHi는 하한 범위에서의 약간 저하되나 적정한 온도를 유지하고 있다. RTI는 평균 105%로 약간의 재순환이 있는
것으로 분석되었지만 적정 운영환경 범위에 포함되고 CAC 방식에 비해 26.1% 향상되었다. 냉복도 또는 열복도를 구획한 차폐를 적용하여도 기밀도가
높지 않아 CRAH 유닛에서 급기된 공조공기가 IT장비로 통과하지 못하고 일부 다시 CRAH으로 환기되는 현상이 발생하였다. 재순환과 과열 사항을
판단하는 β 지표는 CAC 방식에 보다 30.0% 향상 되었지만 아직도 비효율적인 범위에서 운영되는 것으로 분석되었다.
5. 결 론
본 연구에서는 데이터센터의 대표적인 에너지효율 개선 솔루션인 HAC 및 CAC의 IT공조환경을 비교분석을 위하여 운영 중인 데이터센터를 대상으로 IT공조환경
현장측정을 수행하였다. HAC와 CAC에 적용된 공조시스템의 차폐구조에 따라서 서버룸 내부의 IT공조환경과 공조효율의 차이를 실험 및 비교하는 목적으로
진행 하였다. 본 논문의 가장 큰 학술적인 기여는 데이터센터의 실제상황과 운영조건을 변경하여 기존의 CFD 기반 수치해석으로 비교한 HAC와 CAC시스템의
공조효율을 현장실험을 통해서 현실적으로 구현한 점이다. 대상 데이터
센터에 국한될 수도 있지만, IT서버룸을 구성하는 시설의 차폐 및 기밀도가 좋지 않을 경우, 공기분배시스템에서 HAC를 적용하는 것이 CAC에 비해
공조효율이 우수한 것으로 분석되었다. 연구의 주요 결과는 다음과 같이 요약할 수 있다.
(1) 룸 기반 공조방식인 CRAH 유닛의 급기온도 15℃를 기준으로, HAC와 CAC 시스템을 비교한 결과, HAC 시스템의 냉복도 평균온도는 CAC
시스템보다 2.46℃ 낮았고 열복도 평균온도도 CAC 시스템보다 3.70℃ 낮았다. CAC이 HAC보다 IT서버를 통과한 과열공기가 CRAH 유닛으로
환기되지 않고 IT 서버로 재순환
되는 현상에 더 취약한 것으로 분석되었다.
(2) HAC 시스템의 CRAH 유닛 급기온도 17℃로 상향했을 경우, 급기온도 15℃의 CAC와 비교하면 냉복도와 열복도의 평균온도는 ±.05℃
미만으로 매우 유사한 분포를 보였다. 따라서 HAC 시스템은 CAC 시스템과 비교하여 동일한 IT환경을 유지하면서 CARH 유닛의 취출온도를 2℃
상향이 가능하다.
(3) 급기온도 15℃의 동일조건으로 HAC 시스템의 공조효율이 CAC 시스템 보다 우수하다. 열성능 지표분석에 따르면, SHI와 RHI는 각각 10.9%,
9.3% 개선되고 RCILo는 모든 IT서버 입구에서 허용온도 100% 범위에서 최적의 상태를 유지했다. RTI와 β도 각각 26.1%와 30.0%
개선되었다.
(4) 급기온도 17℃에서 HAC 시스템을 적용하면 SHI와 RHI가 각각 17.4%, 14.8% 개선되었다. HAC은 CAC 보다 더 안정적인 IT공조환경을
유지할 수 있지만 일부 공조효율은 여전히 열악했다. RTI와 β도 각각 26.1%와 30.0% 향상되었다.
(5) 이중마루, 천장 및 랙 서버의 빈공간 등 전반적인 차폐 및 기밀도가 좋지 않을 경우, HAC와 CAC 시스템은 상호 차이는 있지만 이동경로의
손실과, 냉복도와 열복도의 공기혼합과 같은 비효율적인 열성능이 지속적으로 유지된다. 따라서 적절한 IT공조환경을 유지하기 위해 더 많은 냉각에너지가
필요했기 때문에 단일복도 차폐시스템은 여전히 비효율적이다.
향후, 위의 결과로 구역 기반 공조시스템인 FAC 시스템의 개발 및 적용을 통하여 공조 에너지 감소에 대한 영향도 분석의 후속 연구가 요구된다. 이는
해당 시스템 급기온도의 변화에 따른 직접적인 냉각열량의 감소 효과 및 냉각효율(COP : coefficient of performance) 향상 등을
구체적으로 제시하는 것이 필요할 것으로 판단된다.
후 기
이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2020R1 F1A1049498). 또한, 위 논문은
국립대학교 육성사업에서 지원 받아 작성되었음.
References
Joshi Y., Kumar P., 2012, Introduction to Data Center Energy Flow and Thermal Management,
Energy Efficient Thermal Management of Data Centers, Springer, Boston, MA, USA
Beaty D. L., 2013, Internal IT Load Profile Variability, ASHRAE Journal, Vol. 55,
No. 2, pp. 72-74
Cho J., Yang J., Lee C., Lee J., 2015, Development of an Energy Evaluation and Design
Tool for Dedicated Cooling Systems of Data Centers : Sensing Data Center Cooling Energy
Efficiency, Energy and Buildings, Vol. 96, pp. 357-372
Cho J., Woo J., 2020, Development and Experimental Study of an Independent Row-Based
Cooling System for Improving Thermal Performance of a Data Center, Applied Thermal
Engineering, Vol. 169, No. 114857
Niemann J., Brown K., Avelar V., 2011, Hot-Aisle vs. Cold-Aisle Containment for Data
Centers, APC White Paper 135 rev02, Schneider Electric-Data Center Science Center,
Foxboro, MA, USA
Bitterlin I., 2017, How Useful is CFD for Data Centers? Data Centre Dynamics Ltd.,
London, UK, https://www. datacenterdynamics.com/en/opinions/how-useful-is-cfd-for-data-centers/
Mahdavi R., 2012, Data Center Energy Efficiency Measurement Assessment Kit Guide and
Specification, Federal Energy Management Program, Washington, DC, USA
Cho J., Park B., Jeong Y., 2018, Evaluation Metrics of Thermal Management in Data
Centers based on Energy Efficiency Measurement Assessment for Cooling Systems, Korean
Journal of Air-Conditioning and Refrige-ration Engineering, Vol. 30, No. 20, pp. 620-630
ASHRAE TC 9.9 , 2015, Thermal Guideline for Data Processing Environments, American
Society of Heating Refri-gerating and Air-Conditioning Engineers Inc., Atlanta, GA,
USA
Sharma R. K., Bash C. E., Patel C. D., 2020, Dimensionless Parameters for Evaluation
of Thermal Design and Performance of Large Scale Data Centers, In Proceedings of 8th
AIAA/ASME Joint Thermophysics and Heat Transfer Conference, St. Louis, Missouri, USA,
pp. 3091-3101
Herrlin M. K., 2005, Rack Cooling Effectiveness in Data Centers and Telecom Central
Offices : The Rack Cooling Index(RCI), ASHRAE Transactions, Vol. 111, No. part 2,
pp. 725-731
Herrlin M. K., 2007, Improved Data Center Energy Efficiency and Thermal Performance
by Advanced Airflow Analysis, In Proceedings of the Digital Power Forum, San Francisco,
CA, USA, pp. 10-12
Xie M., Wang J., Liu J., 2019, Evaluation Metrics of Thermal Management in Data Centers
based on Exergy Analysis, Applied Thermal Engineering, Vol. 147, pp. 1083-1095