Mobile QR Code QR CODE : Korean Journal of Air-Conditioning and Refrigeration Engineering

Korean Journal of Air-Conditioning and Refrigeration Engineering

ISO Journal TitleKorean J. Air-Cond. Refrig. Eng.

Open Access, Monthly

Open Access Monthly

ISSN : 1229-6422 (Print)
ISSN : 2465-7611 (Online)

Online Submission

Main Menu

Journal Search

[

Research article

]

Korean Journal of Air-Conditioning and Refrigeration Engineering

Korean J. Air-Cond. Refrig. Eng. Vol. 31, No. 1, p.32-44

ISSN (print) :

1229-6422

ISSN (online) :

2465-7611

Received : 10 November 2018Revised : 30 November 2018Accepted : 4 December 2018

DOI :

http://dx.doi.org/10.6110/KJACR.2019.31.1.032

데이터센터 공조·냉각시스템 효율개선을 위한 실험적 연구 - 룸 단위에서 구역 단위 공조·냉각방식 변경을 중심으로

Experimental Study on Data Center Cooling System for Improving Thermal Performance : Comparing with Room-based Cooling and Row-based Cooling

조진균 (Jinkyun Cho)) ¹ 박병용 (Beungyong Park) ²^† 정용대 (Yongdae Jeong) ³ 김영팔 (Youngpal Kim) ⁴ 우제상 (Jesang Woo) ⁵

한국건설생활환경시험연구원, 건물에너지센터, 선임기술원 (Senior Research Engineer, Building Energy Center, KCL(Korea Conformity Laboratories), Jincheon, 27872, Korea)
한국건설생활환경시험연구원, 건물에너지센터, 주임기술원 (Junior Research Engineer, Building Energy Center, KCL(Korea Conformity Laboratories), Jincheon, 27872, Korea)
한국건설생활환경시험연구원, 건물에너지센터, 연구원 (Researcher, Building Energy Center, KCL(Korea Conformity Laboratories), Jincheon, 27872, Korea)
에스케이텔레콤주식회사, Infra설비Eng팀, 부장 (Team Leader, Infra Facility Engineering Team, SK Telecom Co., Ltd., Seoul, 04539, Korea)
에스케이텔레콤주식회사, Infra설비Eng팀, 팀리더 (Senior Manager, Infra Facility Engineering Team, SK Telecom Co., Ltd., Seoul, 04539, Korea)

^†Corresponding author, E-mail: bypark@kcl.re.kr

License :

No part of this publication may be reproduced or distributed in any form or any means, or stored in a data base or retrieval system, without the prior permission of the publisher(www.sarek.or.kr).

Abstract

As server and IT equipment densities become more, the need for proper installation facilities is also becoming high. In addition to higher power supply density, cooling has become a major issue in data centers. This study evaluates two thermal performance strategies in data center cooling. The advantage of row-based cooling is that it is close to the hot spots, as opposed to room-based cooling systems where are losses in the air delivery path in the room. This paper examines IT environment (temperature and humidity distribution) and air distribution efficiency by field measurement of 6 performance indices. Row based cooling strategy was suggested, as it was found to be the more efficient in server cooling based on the observations and index evaluation results as compared to a room-based cooling system. Air management helps to reduce operating costs by enhancing economizer utilization and improving efficiency of the cooling system. Metrics play a significant role in providing performance indices of air management systems.

Key words

데이터센터(Data center), 룸 단위 공조(Room based cooling), 구역 단위 공조(Row based cooling), 공조성능(Thermal performance), 현장측정(Site measurement), 성능평가지표(Evaluation metrics)

기호설명

Q：총열량 [W]

T_s^r：IT서버 유입공기 온도 [℃]

T_f：IT서버룸(바닥급기) 공급공기 온도 [℃]

T_x：(x)서버 공기 유입구 평균온도 [℃]

T_Max-rec：최대 권장 실내온도 ASHRAE(25℃ 기준)

T_Min-rec：최소 권장 실내온도 ASHRAE(18℃ 기준)

T_RA：환기공기온도(가중평균) [℃]

ΔT_Equip：IT장비 통과후 상승온도(가중평균) [℃]

m：공조풍량 [m³/h]

m_n：Negative pressure에 의한 풍량 [m³/h]

m_bp：유실(by-pass) 공기량 [m³/h]

m_s：IT서버 유입 공기량 [m³/h]

T_c：CRAC/H 유닛 급기온도 [℃]

T_h：IT서버 배출공기 온도 [℃]

T_r：재순환(re-circulation) 공기온도 [℃]

n：IT서버 공기 유입구 수량 [EA]

T_Max-allow：최대 허용 실내온도 ASHRAE(32℃ 기준)

T_Min-allow：최소 허용 실내온도 ASHRAE(15℃ 기준)

T_SA：급기공기온도(가중평균) [℃]

C：상수 (0.34)

m_c：CRAH/C 유닛 급기량 [m³/h]

m_f：IT서버룸(바닥급기)공급공기 풍량 [m³/h]

m_r：재순환(re-circulation) 공기량 [m³/h]

m_h：IT서버 배출 공기량 [m³/h]

1. 연구배경 및 목적

4차 산업의 핵심인 인공지능(AI), 사물인터넷(IoT) 등 ICT 관련 기술이 발달하고 이를 구현 가능하게 하는 데이터센터 시장이 동반하여 지속적으로 성장하고 있다. 데이터센터의 에너지 사용량은 지난 10년간 4년마다 두 배로 증가하였고, 사용자들에게 늘어나는 전력사용량과 IT장비의 발열제거가 주요 이슈가 되었다.⁽¹⁾ PUE (전력효율지수, Power Usage Effectiveness)⁽²⁾는 국제적으로 데이터센터 에너지 효율은 평가하는 지표이며, 총 전력 사용량 중에서 냉각이나 다른 오버헤드를 제외하고 순수하게 IT장비에 의해 사용된 전력의 비율로 효율을 측정한다.Fig. 1과 같이, 국내 데이터센터 PUE는 평균 2.66으로 해외 데이터센터(평균 1.7)와 큰 차이를 보이고 있다. 국내 민간 사업자 데이터센터의 평균 PUE는 2.03, 공공․지자체 데이터센터는 3.13과 그린데이터센터 인증을 받은 센터는 1.66수준이다.⁽³⁾ 데이터센터의 보편적인 전력소비비율⁽⁴⁾은 공조·냉각분야(38%)와 전력 공급·분배계통(9%)이 IT장비를 제외하고 가장 큰 비율을 차지하고 있기 때문에 에너지(PUE)를 줄일 수 있는 핵심 요소가 된다. 데이터센터의 IT장비에 공급되는 전력은 대부분 열로 변환된다. 따라서 IT장비가 과열되지 않도록 발열을 배출해야 한다. 대다수 IT기기의 냉각은 공냉식으로 주위의 공기를 인입하여 발열을 제거한다. 대규모 데이터센터는 수천 대의 IT기기가 설치되어 있기 때문에 발열을 배출해야 할 막대한 공조풍량이 공급된다. 데이터센터의 공조·냉각시스템의 목적은 복잡하게 흐르는 발열을 효율적으로 IT서버룸에서 배출하는 것이다. 최근, 데이터센터는 고밀도 고발열 차세대 IT장비의 등장으로 기존의 공조·냉각방식에서 예상하지 못한 상황이 발생하게 된다. 그 결과, 공조·냉각시스템의 용량이 과대해지고 비효율적으로 운영되어 실제 필요한 냉각 용량을 예측할 수 없게 되었다. 이러한 문제를 해결하기 위해 룸(room)단위, 구역 또는 열(row)단위 그리고 랙(rack)단위 공조·냉각시스템이 개발되었다. 룸 단위의 공조·냉각은 차세대 데이터센터에는 맞지 않는 비효율적인 냉각방식이다. 새롭게 개발되고 있는 최신 IT장비는 전력밀도가 높고 가변적이기 때문에 기존의 룸 단위 냉각방식으로는 냉각 요구사항을 충족할 수 없고 시스템의 비효율성, 예측 불가능성, 전력 밀도 저하 문제가 발생하게 된다. 데이터센터 공조·냉각시스템은 냉각방식, 랙 전력 밀도 및 랙 배치에 따라 달라진다. 고밀도 IT서버가 적용되는 경우, 공조·냉각장비가 IT기기에 적정한 공조를 공급할 수 있는 구역 단위 시스템을 적용하는 것을 고려해야 한다.

Fig. 1. Comprehensive PUE level for data centers and typical data center energy consumption.

본 연구는 데이터센터의 IT환경 및 에너지사용 특성을 반영한 룸 단위 공조·냉각방식과 구역 단위 공조·냉각방식의 운영효율 비교측정 및 분석을 통하여 개선효과 제시가 주된 목적이다. 이를 위해, 냉각효율 평가방법 조사를 통해 데이터센터의 특수성을 반영한 정량적인 평가지표를 분석하였다. 최종적으로는 실증 파일럿 데이터센터의 룸 단위 냉각시스템에서 구역 단위 냉각시스템으로 변경하고, IT환경 현장측정과 그 결과를 공조 성능지표에 적용하여 시스템 효율을 객관적으로 비교하였다. 그리고 이를 통하여 각 시스템의 성능과 운영효율을 도출하는 엔니지어링 기반을 구축하는 것이다.

2. 이론적 고찰

2.1 데이터센터 공조·냉각 방식

데이터센터 공조·냉각시스템의 주요 기능은 두 가지이다. 첫째는 충분한 냉각능력을 제공하는 것과 또 다른 하나는 냉각된 공기를 각 IT장비에 분배하는 것이다. 첫 번째 기능은 룸 단위, 구역 단위 및 랙 단위의 모든 공조·냉각방식에 해당하는 공통적인 기능이다. 즉, IT장비의 총 전력 부하를 열량 형태로 냉각 처리하는 것이다. 룸 단위, 구역 단위 및 랙 단위의 각 공조·냉각방식의 주요 차이점은 두 번째 기능인 각 IT장비에 공조공기를 분배하는 방법에 있다. 공기의 흐름은 전력분배처럼 제어 할 수 없다. 전력은 배선된 전력선을 통해 가시화된 형태로 제어 할 수 있다. 그러나 공기분배는 IT서버룸의 디자인으로 어느 정도 제어 할 수 있지만 실제 흐름은 보이지 않고, 공간구성에 따라 크게 달라진다. 각 공조·냉각방식이 공기분배를 제어하는 것을 주된 목적으로 지속적으로 개발되어 왔다. 3개의 공조·냉각방식에 의한 기본 구성 및 일반적인 개념은 Fig. 2와 같고 CRAC/H(Computer Room Air Conditioning/Handling) 유닛과 랙에 장착된 IT서버와의 연계를 보여준다.⁽⁵⁾ CRAC/H 유닛의 실제 물리적 레이아웃은 다를 수 있지만 룸 단위 냉각방식의 CRAC/H 유닛은 IT서버룸 전체를 제어하고 구역 단위 냉각 방식은 랙이 배열된 일부의 구역 또는 열(군), 그리고 랙 단위 냉각방식은 개별 랙에 대응한다.

Fig. 2. Floor plans showing the basic concept of room, row, and rack based cooling.

룸 단위 냉각방식의 경우, CRAC/H 유닛은 IT서버룸 단위를 설정하고 공간 전체의 열 부하를 처리하기 위해 여러 개의 CRAC/H 유닛이 동시 운전된다. 룸 단위 냉각방식은 덕트, 댐퍼, 환기구 등에 의한 제어를 하지 않고 실내에 설치된 하나 이상의 CRAC/H 유닛에서 공조공기를 직접 공급하는 경우도 있고, 이중바닥(raised floor) 통로와 천장의 공간을 사용하여 급기 및 환기를 부분적으로 제어 할 수 있다. 설계 시 공기분배에 대한 고려가 프로젝트 특성에 따라 크게 달라질 것이 일반적이다. 대규모 전용 데이터센터의 경우는 IT장비 및 랙에 효율적인 공기흐름을 만들기 위해 계획적으로 배치한 hot aisle/cold aisle에 공기를 분배하기 위해 이중마루를 사용한다. 룸 단위의 공조·냉각방식에 착안한 디자인은 공간 제약(천장 높이, 공간 형태, 이중마루 하부 장애물, 랙 배치, CRAC/H 유닛 위치 및 각 IT장비의 배전 등)에 큰 영향을 받는다. 특히 전력 밀도가 증가하는 경우, cold/hot aisle containment가 적용되지 않을 경우, IT서버룸 전체의 공조·냉각에 대한 균일한 성능은 기대하기 어렵다. CRAC/H 유닛의 정격 용량이 증가하는 것과 containment를 적용하지 않은 룸 단위 공조·냉각방식은 공조효율 저하의 문제가 될 수 있다. 공조 유실(by-pass)은 CRAC/H 유닛에서 분배되는 냉기의 대부분이 IT장비에 도달하지 않고 그대로 CRAC/H 유닛으로 돌아갈 때 발생한다. 이 경우의 적정한 정격 용량에도 불구하고 일부 지역에서는 냉각요구 사항이 CRAC/H 유닛의 냉각능력을 초과 할 수도 있다. 또한 IT장비에서 발열을 제거한 고온의 공기가 다시 유입되는 재순환(re-circulation) 현상으로 서버의 내부 온도가 증가하여 오류가 발생할 위험이 커진다.

구역 단위 공조·냉각방식의 경우, CRAC/H 유닛은 일부의 랙 열을 대상으로 전용 공조·냉각시스템을 구성한다. CRAC/H 유닛은 랙 사이 또는 천장에 설치 가능하다. 기존의 방식인 룸 단위 냉각 방식보다 공기분배 통로를 짧고 명확하게 정해져 있다. 또한 공기분배 흐름을 예측하기 용이하여 CRAC/H 유닛의 정격 용량을 최대한 이용할 수 있어 더 높은 전력 밀도에 대응 가능하다. 구역 단위 공조·냉각방식은 냉각성능 외에도 여러 가지 장점이 있다. 공조공기 이동 경로를 단축할 수 있기 때문에 CRAC/H 유닛의 팬 소비동력을 줄이고 효율성을 높일 수 있다. 데이터센터의 공조·냉각 에너지 팬 동력이 차지하는 비율이 크며, 룸 단위 공조·냉각 방식은 데이터센터의 확장성을 고려하여 아직 설치되지 않은 IT기기까지 고려하여 큰 용량의 CRAC/H 유닛이 운전되기 때문에 비효율성이 커진다.

2.2 데이터센터 공조효율 평가방법

데이터센터 공조효율 평가지표는 많은 연구자에 의해서 제안되어 왔다. Sharma et al.⁽⁶⁾은 SHI(Supply Heat Index)와 RHI(Return Heat Index)를 제안하였다. 이 두 지표는 공조·냉각공기 유동의 효율성 활용과 공조·냉각 경로안의 재순환 정도를 평가하는 기준을 제시하였다. Herrlin⁽⁷⁾은 IT장비를 위한 공조·냉각 성능측정을 위해 RCI(Rack Cooling Index)을 제안하였다. RCI는 온도의 상한 및 하한에 따라 RCIHi와 RCILo로 나뉜다. RCI는 ASHRAE 가이드라인⁽⁸⁾에 의해 IT장비에서의 열성능 평가를 하는 IT장비단위 지표로서 매우 중요하게 고려되고 있다. Herrlin⁽⁹⁾은 또한 재순환과 by-pass현상을 설명하기위해 RTI(Return Temperature Index)를 제안 하였다. RTI는 이상적인 조건은 공조·냉각 공급과 활용이 100% 일치되어야 한다. RTI의 지표가 100% 이하는 공조·냉각공기가 활용 없이 바로 CRAC/H 유닛에 돌아오는 by-pass 값을 나타낸다. 지표가 100% 이상은 공조·냉각공기의 재순환 현상을 나타나낸다. Tozer et al.⁽¹⁰⁾은 데이터센터의 공조·냉각 공기분배를 설명을 위한 지표들을 열전달 매체와 열평형 방정식에 기반 하여 제안하였다. 여기에는 NP(Negative Pressure), BP(By-pass)와 R(Recirculation)의 세 가지 공기 혼합과정의 비율을 측정한다. BAL(Balance)은 CRAC/H에 의해 공급된 공조·냉각공기와 IT서버에 요구량의 차이를 설명한다. 또한 Vangilder⁽¹¹⁾는 열전달 매체 유량에 기반한 지표인 CI (Capture Index)를 소개하였다. CI는 구역단위 지표로 냉각의 유로가 될 수 있는 송풍기나 냉각유닛에 의한 공기분배효율을 측정하기 위한 것이다. 공조효율을 평가할 수 있는 주요 지표는 전 페이지의 Table 1과 같다.

Table 1. Existing evaluation metrics of data center thermal management

Metrics	Information	Air distribution		Formula		Rating
Metrics	Information	H/F	R/F	Formula		Rating
SHI	Recirculation degree in air mixing	●	●	$[\frac{δ Q}{Q + δ Q}]$	$Q = \sum_{j} \sum_{i} m_{i, j}^{r} C_{p} [{(T_{h}^{r})}_{i, j} - {(T_{s}^{r})}_{i, j}]$	Target Good	0 $<$ 0.2
RHI	Cooling effect of cold air supply	●	●	$[\frac{Q}{Q + δ Q}]$	$δ Q = \sum_{j} \sum_{i} m_{i, j}^{r} C_{p} [{(T_{s}^{r})}_{i, j} - T_{c}]$	Target Good	1 $>$ 0.8
RCI_Lo	Rack cooling condition according to cold threshold values	●	●	$[1 - \frac{\sum_{}^{} (T_{M i n - r e c} - T_{x})_{T_{x} < T_{M i n - r e c}}}{(T_{M i n - r e c} - T_{M i n - a l l o w}) \times n}]$		Ideal Good Acceptable Poor	100% $\geq$ 96% 91%~95% $\leq$ 90%
RCI_Hi	Rack cooling condition according to hot threshold values	●	●	$[1 - \frac{\sum_{}^{} (T_{x} - T_{M a x - r e c})_{T_{x} > T_{M a x - r e c}}}{(T_{M a x - a l l o w} - T_{M a x - r e c}) \times n}]$		Ideal Good Acceptable Poor	100% $\geq$ 96% 91%~95% $\leq$ 90%
RTI	Extend of bypass and recirculation	●	●	$[\frac{T_{R A} - T_{S A}}{Δ T_{E q i p}}]$		Re-circulation By-pass Acceptable Poor	$>$ 100% $<$ 100% $>$ 100±5% $>$ $<$ 100±30% $<$
β	Recirculation and over heating extent	●	●	$\frac{T_{s} - T_{c}}{T_{h} - T_{s}}$		Target	0
NP	Extend of negative pressure airflow into under floor	X	●	$\frac{m_{n}}{m_{c}} = \frac{T_{f} - T_{c}}{T_{r} - T_{f}}$		-
BP	Extend of bypass airflow with data center	X	●	$\frac{m_{b p}}{m_{f}} = \frac{T_{h} - T_{r}}{T_{h} - T_{f}}$		Ideal Good Acceptable	0 $<$ 0.05 0.05~0.2
R	Extend of recirculation airflow in cold aisles	X	●	$\frac{m_{r}}{m_{s}} = \frac{T_{s} - T_{f}}{T_{h} - T_{f}}$		Target Good	0 $<$ 0.2
BAL	Difference between cooling air supplied and demand	X	●	$\frac{m_{c}}{m_{s}} = \frac{T_{h} - T_{s}}{T_{r} - T_{c}}$		Ideal Good	1 $<$ 0.85
CI	Airflow ingested by local component	●	●	$C I_{c o l d - a s i l e} = \sum_{}^{} \frac{m_{h}}{m_{f}} C I_{h o t - a s i l e} = \sum_{}^{} \frac{m_{c}}{m_{s}}$		Target	0

3. 데이터센터 IT환경 측정 및 공조효율 평가

3.1 현장실험 방법 및 개요

중소규모 데이터센터를 기준으로 공조효율 개선 pilot-test를 위해 경기도 소재의 S사 통신국을 선정하여 진행하였다. 총 4층 중 3개 층이 서버룸으로 구성되어 있으며, 룸 단위 공조시스템이 적용되어 운영 중이다. IT환경 측정은 3층의 IT서버룸의 일부구역으로 한정하였고, 이는 향후 이 부분을 구역단위 공조 시스템으로 변경하여 공조 성능을 비교평가 하기 위함이다. Fig. 3은 실증대상 데이터센터와 3층 서버룸의 IT환경 측정구역과 센서 설치위치를 보여주고 있다. IT서버룸은 raised floor가 적용된 바닥공조가 아닌 CRAC/H 유닛에서 실내로 바로 취출하는 공조방식으로 hard floor로 구성되어 있다. 온도, 습도 측정은 CRAC/H 유닛에서 원거리에 있는 랙 장비(A)와 근접한 1개의 랙 장비(B)를 대상으로 상하부 흡입구 측 4개소, 상하부 토출구 측 4개소 그리고 CRAC/H 유닛의 SA 취출구, RA 환기구 2개소의 총 10개 포인트를 10분 간격으로 3일(72시간) 연속측정 하였다. 측정장비는 TR-72WF/THA-3001를 사용하였다.

Fig. 3. On-site measurement points of IT environment(temperature and humidity) in a data center.

Fig. 4와 같이, 1개의 단위 랙 장비는 총 8개의 IT장비로 구성되어 있고 Table 2는 구성 IT장비의 물리적 특성을 보여준다. 단일 IT장비는 소비전력이 870 W, 팬 송풍량은 258 CMH로 실내 내부발열량은 소비전력의 95% 이상 발생하는 것으로 나타났다. 8개의 IT장비로 구성된 랙 장비의 발열량은 약 7.0 kW/rack, 필요 풍량은 2,000 CMH이다. 구역단위 공조 시스템으로 변경하여 적용할 랙 서버는 6개로 냉각용량은 40.2 kW가 요구된다.

Fig. 4. Rack server configurations of IT equipment.

Table 2. Detailed specifications of IT equipment

	IT equipment	Server rack
Quantity Size Power Heat load Fan airflow rate Real airflow rate Total heat load Total airflow rate Required airflow Remark	8(EA/rack) - 870(W/equip.) 830(W/equip.) 258(m³/h) 232(m³/h) 6.7(kW/rack) 1,858(m³/h․rack) 277(m³/h․kW) -	6(EA/zone) 600×600×1800mm 7.0(kW/rack) 6.7(kW/rack) 2,064(m³/h) 1,858(m³/h) 40.2(kW/zone) 11,148(m³/h․zone) - 11 usRT

IT equipment

Server rack

Quantity

Size

Power

Heat load

Fan airflow rate

Real airflow rate

Total heat load

Total airflow rate

Required airflow

Remark

8(EA/rack)

870(W/equip.)

830(W/equip.)

258(m³/h)

232(m³/h)

6.7(kW/rack)

1,858(m³/h․rack)

277(m³/h․kW)

6(EA/zone)

600×600×1800mm

7.0(kW/rack)

6.7(kW/rack)

2,064(m³/h)

1,858(m³/h)

40.2(kW/zone)

11,148(m³/h․zone)

11 usRT

3.2 룸(room)단위 서버냉각 방식 시험결과

3.2.1 IT서버룸 온·습도 분포

룸 단위 서버냉각 방식의 IT환경은 Table 3, Fig. 5와 같이, CRAC/H 유닛의 평균 급기(SA)온도(T#10)는 15.79℃ 이고 cole aisle에서 랙 서버로 유입되는 공기(T#01, T#02, T#05, T#06)의 평균온도는 24.1℃로, 약 8.3℃ 이상 이동 경로에서 손실되는 것으로 측정되었다. 또한 랙 서버에서 발열제거 후 hot aisle로 배출되는 공기(T#03, T#04, T#07, T#08)의 평균온도는 39.9℃로 약 ΔT = 15.8℃를 유지한다. 그러나 CRAC/H 유닛 평균 환기(RA)온도 (T#09)는 23.97℃로 룸에서 공기의 혼합이 심한 것으로 분석되었다. 온도의 분포는 외피부하 등 외부요인에 영향을 받지 않고, 장비의 발열이 대부분을 차지하고 있기 때문에 일정한 상태를 유지하고 있었다. 그러나 cold aisle의 평균온도가 환기온도보다 높다는 것은 많은 부분에서 hot aisle 공기가 재순환되거나 심각하게 혼합되고 있는 것이다. 상대습도는 공조효율에 큰 영향을 주지는 않지만 낮은 상대습도는 IT장비의 영향을 줄 수 있기 때문에 유의해야한다. 상대습도는 cold aisle 영역에서 35% 전후를 유지하고 있다. ASHRAE Class A-1 허용범위⁽⁸⁾ RH(8~80%)는 만족하지만 발열을 제거하고 온도가 상승한 hot aisle의 공기의 상대습도는 15% 전후를 나타내기 때문에 더 낮아질 경우에는 가습을 고려할 필요도 있다.

Table 3. Measured indoor IT environment of room based cooling system: temperature and relative humidity

Measuring Points Average IT environment	Rack A	Rack B	Return Air (Room air)	Supply Air from CRAC
Air temperature(℃) Relative humidity(%)	25.68 33.46	23.60 38.82	37.10 16.39	43.42 11.04	23.87 35.94	23.33 39.17	38.62 15.02	40.41 12.78	23.97 37.23	15.79 64.47

Measuring

Points

Average

IT environment

Rack A

Rack B

Return Air

(Room air)

Supply Air

from CRAC

Inlet

(upper/lower)

Outlet

(upper/lower)

Inlet

(upper/lower)

Outlet

(upper/lower)

T#01

T#02

T#03

T#04

T#05

T#06

T#07

T#08

T#09

T#10

Air temperature(℃)

Relative humidity(%)

25.68

33.46

23.60

38.82

37.10

16.39

43.42

11.04

23.87

35.94

23.33

39.17

38.62

15.02

40.41

12.78

23.97

37.23

15.79

64.47

Fig. 5. On-site measurement results of room based cooling system-temperature distributions around IT equipment; a) inlet air and b) outlet air.

3.2.2 IT서버룸 공조효율 평가

앞 절에서 데이터센터의 공조·냉각 분배효율을 평가할 수 있는 다양한 성능지표들을 조사하였다.

기본적으로 현장측정을 통한 IT환경요소(온도) 분석은 데이터센터 공조효율 평가지표를 이용하여 정량적인 지수를 도출하기 위한 선행 작업이다. 본 데이터센터는 서버룸의 룸 단위 공조방식이 raised floor를 이용한 바닥급기 방식이 아니기 때문에 앞에서 조사된 모든 지표의 효율을 평가할 수 없다. 따라서 계산 가능한 효율 지표인 SHI, RHI, RCI, RTI 및 β를 대상으로 분석하였다. Fig. 6은 IT환경을 측정한 시간동안의 연속적인 성능지표의 분포를 보여주고 있다. 객관적인 지표를 통한 평가는 Table 4에서와 같이, 각 지표의 기준과 각각의 성능평가 지표의 결과를 기준으로 공조효율을 분석하였다. IT장비 배출공기와 저온의 공조공기의 혼합량과 열손실 측면에서 무차원 지표인 SHI와 RHI는 상호 보완적인 지표이다. SHI의 분포는 0.31~0.37(목표 0.0), RHI는 0.63~ 0.69(목표 1.0)로 적정한 성능을 만족하지 못하고 있다. 반면에, RCI는 서버룸의 ASHRAE Class A-1⁽⁸⁾에서 허용하는 온도범위를 기준으로 적정한 온도를 유지하고 있다. RCI_Lo는 권장온도(18~27℃) 및 허용온도(15~32℃)의 하한 범위에서의 적정 온열환경 유지의 여부를 평가하는 것으로 모든 인입구에서 100% 허용온도 안에서 최적의 상태를 유지하고 있다. 반대 개념인 RCI_Hi는 하한 범위에서의 적정 온열환경 유지의 여부를 평가하는 것으로 89.3~100% 범위에서 허용온도를 유지하고 있다. 이 수준은 온열환경에서 특별한 문제가 없는 상태이다. RTI는 공조·냉각시스템의 에너지 성능을 측정할 수 있는데, CRAC/H 유닛의 급기와 환기의 온도상승과 IT장비를 통과하여 발열을 제거한 후의 온도상승의 비율을 평가의 척도로 보고 있다. RTI는 47~56%로 공기유실(by-pass)이 매우 큰 것으로 분석되었다.

Fig. 6. Effect of uncontained layout on evaluation metrics for room based cooling; a) SHI and RHI, b) RCIHiand RCILoand c) RTI and β.

Table 4. Results of evaluation metrics for thermal management by using on-site measurement(room based cooling)

Metrics	SHI		RHI		RCI				RTI				β
Rating	Target	Good	Target	Good	Ideal	Good	Acceptable	Poor	Recirculation	By-pass	Acceptable	Poor	Target
Rating	0	$<$ 0.2	1	$>$ 0.8	100%	$\geq$ 96%	91%~95%	$\leq$ 90%	$>$ 100%	$<$ 100%	$>$ 100± 5% $>$	$<$ 100± 30% $<$	0
Results	0.35		0.65		RCILo : 100% (Ideal)		RCIHi : 97.5% (Good)		52% By-pass (Poor)				53%

이것은 CRAC/H 유닛에서 급기된 공조공기가 IT장비로 통과하지 못하고 다시 CRAC/H로 환기되는 것으로, 랙 서버의 요구 풍량 보다 많은 공기가 공급되고 많은 부분이 유실되고 에너지 측면에서 비효율이 발생하고 있는 것이다. β 또한 재순환과 과열 사항을 판단하는 지표로 45~60%의 비효율적인 범위를 유지하는 것으로 분석되었다. 본 데이터센터의 룸 단위 공조·냉각효율은 다양한 지표로 종합해보면 이동경로에서의 손실, 공조공기의 혼합과 공기유실의 비효율이 발생하였다. 그리고 RCI의 적정한 IT환경을 유지하기 위해 더 많은 냉각에너지를 공급하는 비효율성이 큰 것으로 분석되었다.

3.3 구역(row)단위 서버냉각 방식 시험결과

3.3.1 구역(row)단위 서버냉각시스템 적용 및 측정방법

룸 단위 서버냉각 방식의 일부분을 구역단위 공조 시스템으로 변경하여 IT환경을 측정하였고 전후의 공조성능을 비교평가 하였다. Fig. 7과 같이 6개의 랙 서버가 배치된 구역을 cold aisle과 hot aisle 모두 containment를 설치하여 구역을 구분하였고 소용량의 CRAC/H 유닛 3대를 설치하였다. 서버 랙의 흡입구과 배출구의 온도, 습도 측정은 룸 단위 서버냉각 방식과 동일한 위치에서 측정하였고 1개의 대표 CRAC/H 유닛의 SA 취출구(cold aisle), RA 환기구(hot aisle) 2개소의 총 10개 포인트를 10분 간격으로 3일(72시간) 연속측정 하였다.

Fig. 7. On-site measurement points of IT environment(temperature and humidity) for row based cooling system.

3.3.2 IT서버룸 온·습도 분포

구역 단위 서버냉각 방식의 cold aisle을 25℃를 유지하도록 3대의 CRAC/H 유닛이 기동정지를 하도록 설정하였고 팬을 항시 운전되도록 하였다.

IT환경은 Table 5, Fig. 8과 같이, CRAC/H 유닛의 평균 급기(SA)온도(T#10)는 21.24℃이고 cole aisle에서 랙 서버로 유입되는 공기(T#01, T#02, T#05, T#06)의 평균온도는 25.78℃로, 약 4.5℃가 이동 경로에서 손실되는 것으로 룸 단위 방식보다 50% 이상 효과적으로 감소하는 것으로 측정되었다. 또한 랙 서버에서 발열제거 후 hot aisle로 배출되는 공기(T#03, T#04, T#07, T#08)의 평균온도는 41.49℃로 룸 단위 방식과 유사하게 약 ΔT = 15.7℃를 유지한다. CRAC/H 유닛 평균 환기(RA)온도(T#09)는 33.81℃로 cold aisle에서 공기가 혼합되는 것이 확연하게 개선된 것으로 분석되었다. Cold aisle의 온도가 환기온도보다 10℃ 이상 낮으므로 hot aisle 공기가 재순환되어 혼합되는 현상도 개선되었다. 상대습도는 룸 단위 방식과 거의 비슷한 분포를 보였다.

Table 5. Measured indoor IT environment of row based cooling system : temperature and relative humidity

Measuring Points Average IT environment	Rack A	Rack B	Return Air (Hot aisle)	Supply Air (Cold aisle)
Air temperature(℃) Relative humidity(%)	24.05 32.14	26.22 35.15	37.96 17.04	42.15 11.98	26.40 34.11	26.44 34.48	41.13 14.15	44.73 11.96	33.81 21.22	21.24 36.52

Measuring

Points

Average

IT environment

Rack A

Rack B

Return Air

(Hot aisle)

Supply Air

(Cold aisle)

Inlet

(upper/lower)

Outlet (upper/lower)

Inlet

(upper/lower)

Outlet (upper/lower)

T#01

T#02

T#03

T#04

T#05

T#06

T#07

T#08

T#09

T#10

Air temperature(℃)

Relative humidity(%)

24.05

32.14

26.22

35.15

37.96

17.04

42.15

11.98

26.40

34.11

26.44

34.48

41.13

14.15

44.73

11.96

33.81

21.22

21.24

36.52

Fig. 8. On-site measurement results of row based cooling system-temperature distributions around IT equipment; a) inlet air and b) outlet air.

3.3.3 IT서버룸 공조효율 평가

구역 단위 서버냉각 방식의 공조효율 분석은 룸 단위 공조방식과 동일하게 SHI, RHI, RCI, RTI 및 β를 대상으로 비교분석 하였다. Fig. 9는 IT환경을 측정한 시간동안의 연속적인 성능지표의 분포를 보여주고 있다. 객관적인 지표를 통한 비교평가는 Table 6에서와 같이, 각 지표의 기준과 각각의 성능평가 지표의 결과를 기준으로 공조효율을 분석하였다. SHI와 RHI의 분포는 평균 0.22와 0.78로 적정한 성능에 근접하고 있으며 룸 단위 방식에 비해 각각 37.1%와 20.0% 향상되었다. RCI도 CRAC/H 유닛의 급기온도가 상향 되었음에도 불구하고 적정한 온도를 유지하고 있다. RCILo는 모든 IT서버 인입구에서 100% 허용온도 안에서 최적의 상태를 유지하고 있다. 반대 개념인 RCIHi는 하한 범위에서의 평균 96.3% 범위에서 약간 저하되나 적정한 온도를 유지하고 있다. RTI는 평균 90%로 약간의 공기유실(by-pass)이 있는 것으로 분석되었지만 적정 운영환경 범위에 포함되고 룸 단위 방식에 비해 73.2% 향상되었다.

Fig. 9. Effect of uncontained layout on evaluation metrics for row based cooling; a) SHI and RHI, b) RCIHiand RCILoand c) RTI and β.

Table 6. Results of evaluation metrics for thermal management by using on-site measurement(IT environment)

Metrics	SHI		RHI		RCI				RTI				β
Rating	Target	Good	Target	Good	Ideal	Good	Acceptable	Poor	Recirculation	By-pass	Acceptable	Poor	Target
Rating	0	$<$ 0.2	1	$>$ 0.8	100%	$\geq$ 96%	91%~95%	$\leq$ 90%	$>$ 100%	$<$ 100%	$>$ 100± 5% $>$	$<$ 100± 30% $<$	0
Room based	0.35		0.65		RCILo : 100% (Ideal)		RCIHi : 97.5% (Good)		51.9% By-pass (Poor)				52.8%
Row based	0.22		0.78		RCILo : 100% (Ideal)		RCIHi : 96.3% (Good)		89.9% By-pass (Acceptable)				29.4%
Percentage difference	-37.1%		20.0%		-		-1.2%		73.2%				-44.3%

Cold aisle과 hot aisle를 모두 구획한 containment를 적용하여도 기밀도가 높지 않아 CRAC/H 유닛에서 급기된 공조공기가 IT장비로 통과하지 못하고 일부 다시 CRAC/H으로 환기되는 현상이 발생하였다. 재순환과 과열 사항을 판단하는 β 지표는 평균 29.4%로 룸 단위 방식에 보다 44.3% 향상 되었고 효율적인 범위를 근접하는 것으로 분석되었다. Cold/hot aisle을 완전하게 구획한 구역 단위 공조·냉각효율은 6개의 지표로 비교해보면, 이동경로에서의 손실, 공조공기의 혼합과 공기유실을 최소화하고 CRAC/H의 급기온도를 비교적 높은 온도의 유지할 수 있어 공조·냉각시스템의 장비효율(COP 등)을 효과적으로 높일 수 있다. 또한 룸 단위 공급을 위한 대풍량, 고정압 팬 대신 구역 단위 소풍량 저정압 팬을 적용함으로써 송풍기 전력을 효과적으로 절감할 수 있다.

4. 결 론

본 연구의 목적은 데이터센터의 IT환경 및 에너지사용 특성을 반영한 룸 단위 공조·냉각방식과 구역 단위 공조·냉각방식의 운영효율을 비교측정 및 분석을 통하여 개선효과 제시를 위한 것이다. 데이터센터의 특수성을 반영한 정량적인 평가지표를 사용하여 실증 대상 데이터센터의 룸 단위 냉각시스템을 구역 단위 냉각시스템으로 변경하고, IT환경 등 현장측정과 그 결과를 성능지표에 적용하여 시스템 효율을 객관적으로 비교하였다. 연구결과를 요약하면 다음과 같다.

(1) 룸 단위의 공조·냉각방식은 공간 제약에 큰 영향을 받고 전력 밀도가 증가하는 경우, cold/hot aisle containment가 적용되지 않을 경우, IT서버룸 전체의 공조·냉각에 대한 균일한 성능유지가 힘든 반면에 구역 단위 공조·냉각방식은 공조공기 이동 경로를 단축할 수 있기 때문에 냉각능력과 송풍동력을 줄이고 효율성을 높일 수 있다.

(2) 전력밀도가 높은 데이터센터(랙 당 5 kW 이상)를 증설 또는 신설하는 경우는 구역 단위 공조·냉각방식을 적용하는 것이 유리하고 이중바닥 구조가 불필요하기 때문에 공간구성에도 융통성을 갖는 장점이 있다.

(3) 중소규모 데이터센터를 대상으로 룸 단위 서버냉각 방식의 IT환경을 측정하였고 IT장비의 인입/배출 공기 및 CRAC의 급기/환기 공기의 온도 및 습도를 기준으로 다양한 평가지표를 분석하였다.

(4) 공조·냉각효율은 SHI, RHI, RCI, RTI 및 β의 6개 지표로 분석하였고 룸 단위 서버냉각 방식은 이동경로에서의 손실, 공조공기의 혼합과 공기유실의 비효율이 발생하였고 적정한 IT환경을 유지하기 위해 더 많은 냉각에너지를 공급하는 비효율성이 큰 것으로 분석되었다.

(5) Cold aisle과 hot aisle을 완전하게 구획한 구역 단위 공조·냉각효율은 룸 단위 서버냉각 방식에 비해 SHI/ RHI는 각각 37.1%와 20,0% 향상되었고 RTI는 73.2%, β 지표는 44.3% 개선효과가 있었다.

(6) 향후, 급기온도 등을 변화 시키면서 공조·냉각 전력량 감소에 대한 민감도 분석의 후속 연구가 요구된다. 이는 급기온도의 변화에 따른 직접적인 냉각열량의 감소 효과 및 CRAC/H 유닛의 COP 향상 효과 등을 구체적으로 제시하는 것이 필요할 것으로 판단된다.

데이터센터 설계단계에서 IT서버룸의 구성에 따른 공조효율을 미리 평가하여 설계에 반영하는 것이 건립 후 운영 중에 투입되는 막대한 에너지 비용을 방지할 수 있는 가장 중요한 선행업무이다. 고밀도 데이터센터의 공조·냉각 에너지를 저감하기 위해 공조효율에 영향을 주는 운영요소와 각각의 영향도를 종합적이고 객관적인 분석이 이루어진다면 룸 기반, 구역기반 나아가서 랙 기반의 상호 비교 검증한 공조성능 효율평가가 가능할 것으로 사료된다. 국내에서는 공조, 에너지관리시스템, 모듈러 관련 데이터센터의 요소기술 중심으로 연구가 지속적으로 진행되고 있으나, 데이터센터 운영․서비스 중심의 국내시장 특성 및 해외 기술과의 격차에 따른 데이터센터 관련 장비의 외산 의존도의 극복과 요소기술이 상호 연계된 종합적인 통합 시스템 개발이 요구된다. 따라서 구역 단위 공조시스템은 궁극적으로 데이터센터의 신축 및 기축에 유연하게 직접 적용 가능한 모듈화된 패키지 기술 제공이 필요하다.

후 기

본 논문은 2018년도 산업통상자원부 재원으로 한국에너지기술평가원(KETEP)의 연구비 지원을 받아 수행한 연구과제 결과의 일부임(과제번호 : 20182010600010).

References

Cho J., Yang J., Park W., 2014, Evaluation of air distribution system’s airflow performance for cooling energy savings in high-density data centers, Energy and Buildings, Vol. 68, pp. 270-279

Avelar V., Azevedo D., French A., 2012, PUETM : a comprehensive examination of the metric, White paper #49, The Green Grid Technical Committee

Korea IT Service Industry Association , 2015, A foundation research for the data center industry development, Ministry of Science, ICT & Future Planning of Korea

Cho J., Yang J., Lee C., Lee J., 2015, Development of an energy evaluation and design tool for dedicated cooling systems of data centers : Sensing data center cooling energy efficiency, Energy and Buildings, Vol. 96, pp. 357-372

Dunlap K., Rasmussen N., 2012, Choosing Between Room, Row, and Rack-based Cooling for Data Centers, White paper #130, Schneider Electric’s Data Center Science Center

Sharma R. K., Bash C. E., Patel C. D., 2002, Dimensionless Parameters for Evaluation of Thermal Design and Performance of Large scale Data Centers, American Institute of Aeronautics and Astronautics (AIAA), pp. 3091-3101

Herrlin M. K., 2005, Rack cooling effectiveness in data centers and telecom central offices : the rack cooling index (RCI), ASHRAE Transactions, Vol. 111(Part 2), pp. 725-731

ASHRAE TC 9.9 , 2015, Thermal Guideline for Data Processing Environments, American Society of Heating, Refrigerating and Air-Conditioning Engineers, Inc., Atlanta, GA

Herrlin M. K., 2007, Improved data center energy efficiency and thermal performance by advanced airflow analysis, in : Proceedings of Digital Power Forum 2007, pp. 10-12

Tozer R., Kurkjian C., Salim M., 2009, Air management metrics in data centers, ASHRAE Transactions, Vol. 115, pp. 63-70

Vangilder J. W., Shrivastava S. K., 2007, Capture index: An airflow-based rack cooling performance metric, ASHRAE Transactions, Vol. 113, pp. 126-136

KJACRKorean Journal ofAir-Conditioning and Refrigeration Engineering

Korean Journal of Air-Conditioning and Refrigeration Engineering

ISO Journal TitleKorean J. Air-Cond. Refrig. Eng.

Journal Search

Journal XML

Journal Information

Experimental Study on Data Center Cooling System for Improving Thermal Performance : Comparing with Room-based Cooling and Row-based Cooling

Abstract

Key words

기호설명

1. 연구배경 및 목적

Fig. 1. Comprehensive PUE level for data centers and typical data center energy consumption.

2. 이론적 고찰

2.1 데이터센터 공조·냉각 방식

Fig. 2. Floor plans showing the basic concept of room, row, and rack based cooling.

2.2 데이터센터 공조효율 평가방법

Table 1. Existing evaluation metrics of data center thermal management

3. 데이터센터 IT환경 측정 및 공조효율 평가

3.1 현장실험 방법 및 개요

Fig. 3. On-site measurement points of IT environment(temperature and humidity) in a data center.

Fig. 4. Rack server configurations of IT equipment.

Table 2. Detailed specifications of IT equipment

3.2 룸(room)단위 서버냉각 방식 시험결과

3.2.1 IT서버룸 온·습도 분포

Table 3. Measured indoor IT environment of room based cooling system: temperature and relative humidity

Fig. 5. On-site measurement results of room based cooling system-temperature distributions around IT equipment; a) inlet air and b) outlet air.

3.2.2 IT서버룸 공조효율 평가

Fig. 6. Effect of uncontained layout on evaluation metrics for room based cooling; a) SHI and RHI, b) RCIHiand RCILoand c) RTI and β.

Table 4. Results of evaluation metrics for thermal management by using on-site measurement(room based cooling)

3.3 구역(row)단위 서버냉각 방식 시험결과

3.3.1 구역(row)단위 서버냉각시스템 적용 및 측정방법

Fig. 7. On-site measurement points of IT environment(temperature and humidity) for row based cooling system.

3.3.2 IT서버룸 온·습도 분포

Table 5. Measured indoor IT environment of row based cooling system : temperature and relative humidity

Fig. 8. On-site measurement results of row based cooling system-temperature distributions around IT equipment; a) inlet air and b) outlet air.

3.3.3 IT서버룸 공조효율 평가

Fig. 9. Effect of uncontained layout on evaluation metrics for row based cooling; a) SHI and RHI, b) RCIHiand RCILoand c) RTI and β.

Table 6. Results of evaluation metrics for thermal management by using on-site measurement(IT environment)

4. 결 론

후 기

References

Article Information (continued)

Key words

KJACRKorean Journal of
Air-Conditioning and Refrigeration Engineering