장현재
(Hyun Jae Chang)
1†
-
홍익대학교 건축공학부
(School of Architectural Engineering, Hongik University, SeJongSi, 30016, Korea)
Copyright © 2016, Society of Air-Conditioning and Refrigeration Engineers of Korea
Key words
데이터센터(Data center), 급기온도(Supply air temperature), 랙 냉각 지표(Rack cooling index(RCI)), 환기온도 지표(Return temperature index(RTI))
기호설명
CRAC：Computer room air-conditioner
CFD：Computational fluid dynamics
SHI：Supply heat index
RHI：Return heat index
RCI：Rack cooling index
RTI：Return temperature index
δQ：냉각공기가 콜드 아일에서 취출된 후 서버에 인입되기까지의 과정에서 증가된 열량 [W]
Q：Rack의 총 발열량 [W]
：j열 i번째 rack을 통과하는 공기의 질량유량 [kg/s]
Cp：공기의 비열 [kcal/kg·℃]
：j열 i번째 rack의 평균 취출공기온도 [℃]
：j열 i번째 rack의 평균 인입 공기온도 [℃]
Tref：참조 온도. 여기서는 CRAC의 취출 공기온도로 함 [℃]
Tr：데이터센터 냉방시스템의 리턴 공기온도 [℃]
Ts：데이터센터 냉방시스템의 급기온도 [℃]
△Te：Rack 발열에 의한 rack 인입공기와 rack 배출공기의 온도 차 [℃]
Ti：서버 인입 공기온도 [℃]
Tmax-rec.：권장 최고온도 [℃]
n：서버 수
Tmax-all：허용 최고온도 [℃]
Tmin-rec.：권장 최저온도 [℃]
Tmin-all：허용 최저온도 [℃]
1. 연구배경 및 목적
최근 들어 에너지 다소비 건물인 데이터센터의 에너지 절약을 위한 연구들이 활발히 이루어지고 있다. 데이터센터는 서버컴퓨터 등에서의 발열이 매우 크기
때문에 연중 냉방부하가 발생하는 열적 특성을 가지고 있다. 따라서 CRAC에서 공급되는 공기온도를 높이는 것은 이코노마이저의 활용기간이 증대되고,
냉동기의 COP가 개선되어 에너지 절약에 크게 도움이 된다. 이와 같은 배경으로 데이터센터의 냉방 공기온도를 높이고자 하는 다양한 연구가 진행되어
왔다. Kim et al.
(1)은 외기온․습도 조건에 따라 외기냉수냉방 시스템(Water-side economizer cycles)과 외기냉방 시스템(Air-side economizer
cycles)을 병용하는 멀티 외기이용 냉방시스템을 제안하고 그에 따른 에너지 절약효과에 대해 검토하였으며, Park et al.
(2)은 국내 5개 지점에 멀티 외기이용 냉방시스템을 적용했을 때의 냉방에너지 절약 효과를 비교·분석 하였다.
데이터센터의 실내 환경기준은 ASHRAE의 가이드라인
(3)이 널리 사용되고 있으며, 서버 인입 공기온도의 증가에 따른 서버 소비전력의 증가 비율에 대한 조사 자료도 제시하고 있다. Michael
(4)은 데이터센터의 에너지 절약을 위한 적정온도는 데이터센터에 설치된 IT 장비, 냉방시스템의 특성 및 데이터센터 건립 지점의 기후조건 등에 따라 다르며,
단순히 서버 인입 공기온도를 높이는 것만으로는 원하는 냉방에너지 절약 효과를 얻지 못할 수 있다고 하였다. Fallah et al.
(5)은 서버 인입공기가 1℃ 증가함에 따라 CPU의 누설전류가 2%씩 증가함을 밝혔다. Moss et al.
(6)은 서버 컴퓨터의 에너지 사용량이 서버 인입 공기온도의 상승에 따라 크게 증가하고, 반면에 냉동기의 에너지 사용량은 감소하기 때문에 데이터센터의 에너지
소비량을 최소화 할 수 있는 적정 온도는 냉동기와 서버의 특성에 따라 달라질 수 있음을 실험적으로 증명하였다. Neudorfer
(7)는 서버 인입 공기온도에 영향을 미치는 인자들을 2가지 요소 즉, 냉방시스템의 급기온도와 컴퓨터 룸에서의 공기혼합으로 분류하고, 상대적으로 서버 인입
공기온도가 높은 영역을 권장범위 이내로 유지하기 위해 필요 이상의 과도한 냉각을 수행하게 되는 상황에 대해 설명하였다. Patankar
(8)는 뜬바닥(Raised floor) 구조의 데이터센터를 대상으로, 바닥하부 플레넘의 다양한 조건에 따른 공기압력 분포가 다공판(Perforated
tiles)에서의 기류분포에 미치는 영향에 대해 CFD 시뮬레이션과 실험을 통해 검토하였다. Ham et al.
(9)은 외기냉방시스템과 핫 아일 컨테인먼트 시스템을 갖춘 모듈형 데이터센터를 대상으로 한국의 16개 지역에 대해 검토한 결과, 급기온도 범위를 18~23℃로
한 경우가 에너지 절약의 관점에서 가장 효과적이라고 하였다. Cho et al.
(10)이 수행한 국내․외 데이터센터에 대한 사례 조사에서는, 실내온도 조건이 외국의 경우는 21~24℃ 범위이며 22℃와 24℃의 경우가 많고, 국내의
경우는 19~24℃ 범위이며 22℃의 경우가 많은 것으로 나타났다. 그러나 이는 냉방시스템의 급기온도를 의미하는 것이 아니며, CRAC으로 돌아오는
환기(RA) 온도 또는 서버에 유입되는 공기온도를 의미한다.
데이터센터는 일반적으로 콜드 아일(Cold aisle)과 핫 아일(Hot aisle)의 배치를 따라 콜드 아일의 아랫면에 설치된 다공판(Perforated
tile)을 통해 냉각 공기가 취출된다. 이와 같은 경우, 콜드 아일로 취출된 냉각 공기는 핫 아일에서 유입되는 더운 공기와 혼합되어 서버 컴퓨터로
인입되기 때문에 서버 컴퓨터의 위치에 따라 인입 공기온도가 달라지게 된다. 즉, 서버 인입공기의 온도는 CRAC의 급기온도만이 아니라 데이터센터 내의
기류 혼합 특성에 따라서도 달라지므로, 적정한 CRAC 급기온도를 판단하기 위해서는 기류 혼합특성과 관련지어 검토할 필요가 있다. 본 연구에서는 이와
같은 데이터센터의 기류혼합 특성을 반영하여, CRAC 급기온도의 변화가 서버 냉각성능에 미치는 영향에 대해 검토한다.
Table 1. Thermal guidelines for data processing environments(3)
|
Class
|
Product operation
|
Product power off
|
|
Dry-bulb temperature (℃)
|
Humidity range, noncondensing
|
Maximum dew point (℃)
|
Maximum elevation (m)
|
Maximum rate of change (℃/h)
|
Dry-bulb temperature (℃)
|
RH (%)
|
Maximum dew point (℃)
|
|
Recommended(Suitable for all 4 classes; explore data center metrics in this paper
for conditions outside this range.)
|
|
A1 to A4
|
18 to 27
|
0.029
|
43
|
1,220
|
|
|
|
|
|
Allowable
|
|
A1
|
15 to 32
|
20% to 80%RH
|
17
|
3,050
|
5/20
|
5 to 45
|
8 to 80
|
27
|
|
A2
|
10 to 32
|
20% to 80%RH
|
21
|
3,050
|
5/20
|
5 to 45
|
8 to 80
|
27
|
|
A3
|
5 to 40
|
-12℃ DP and 8%RH to 85%RH
|
24
|
3,050
|
5/20
|
5 to 45
|
8 to 80
|
27
|
|
A4
|
5 to 45
|
-12℃ DP and 8% RH to 90RH
|
24
|
3,050
|
5/20
|
5 to 45
|
8 to 80
|
27
|
|
B
|
5 to 35
|
8% to 80%RH
|
28
|
3,050
|
N/A
|
5 to 45
|
8 to 80
|
29
|
|
C
|
5 to 40
|
8% to 80%RH
|
28
|
3,050
|
N/A
|
5 to 45
|
8 to 80
|
29
|
2. 연구방법
2.1 대상공간의 설정
본 연구에서는 기류혼합 특성이 반영된 데이터센터의 CRAC 급기온도와 서버 인입 공기온도와의 관계를 CFD 시뮬레이션을 이용하여 검토한다. CFD
시뮬레이션을 위한 대상공간을
Fig. 1에 나타낸다. 대상공간은 콜드 아일과 핫 아일의 연속배치를 상정하여 양쪽의 핫 아일은 대칭이 되므로 실제 폭의 절반만을 대상으로 한다. CRAC의
냉각공기는 콜드 아일 아랫면에 설치된 다공판을 통해 상부로 취출되며, 핫 아일의 천장면에 설치된 배기구를 통해 배출된다.
Fig. 1. Composition of data center for CFD analysis.(11)
2.2 CFD 시뮬레이션
해석 케이스와 CFD 시뮬레이션의 경계조건을
Table 2에 나타낸다. CRAC의 급기온도를 13℃부터 3℃ 간격으로 25℃까지 변화시켰으며, 다른 조건은 모두 같다. 급기온도의 선정은, 과거의 국내 데이터센터
설계 시에 급기온도로서 13℃를 많이 적용해왔기 때문에 급기온도의 하한치로 선정하였으며, 상한치는 ASHRAE 권장기준의 최고 온도인 27℃에서 안전율을
고려하여 이 보다 2℃ 낮은 25℃를 선정하였다. CFD 시뮬레이션에서 콜드 아일의 다공판은 포러스(Porous) 경계조건
(12,13)을 적용하였다. 해석 프로그램은 FLUENT 14.5를 사용하였으며, 육면체 메쉬 약 810,000개로 구성하였다. 난류모델은 표준 k-ε모델
(12)을 사용하였다. 수렴 판정은 연속법칙과 x, y, z 방향의 풍속, k 및 ε의 잔차가 10
-3 이하, 에너지의 잔차가 10
-6 이하인 경우로 하였다.
Table 2. Boundary conditions
|
Cases
|
Supply air temperature*
|
△T**
|
Air flow rate ratio of server to supply air
|
Heat generation rates
|
Supply air volume***
|
|
Case A
|
13℃
|
10℃
|
0.96
|
5kW/rack
|
45,600CMH
|
|
Case B
|
16℃
|
10℃
|
0.96
|
5kW/rack
|
45,600CMH
|
|
Case C
|
19℃
|
10℃
|
0.96
|
5kW/rack
|
45,600CMH
|
|
Case D
|
22℃
|
10℃
|
0.96
|
5kW/rack
|
45,600CMH
|
|
Case E
|
25℃
|
10℃
|
0.96
|
5kW/rack
|
45,600CMH
|
* Supply air temperature from CRAC.
** Temperature differency between outlet and inlet of server computer.
*** Supply air volume of CRAC.
3. 결과 및 고찰
3.1 기류속도 분포 및 온도 분포
해석 케이스에 대한 기류속도 분포 및 온도 분포의 시뮬레이션 결과 중 Case A, Case D, Case E의 결과를
Fig. 2에 나타낸다. CRAC의 급기온도만 변할 뿐이고 나머지 조건들은 모두 동일하므로 기류속도 분포는 케이스별로 거의 차이가 없다. CRAC의 급기온도가
19℃인 경우의 콜드 아일 중앙 단면에서의 기류속도 분포 (
Fig. 2의 (a))에서는, 콜드 아일의 다공판을 통해 상향으로 취출된 기류는 좌측 랙(Rack)의 우측 부분과 우측 랙의 중앙 및 좌측 부분에서 1.5 m/s
이상의 상대적으로 빠른 속도 분포를 나타내며, 나머지 부분에서는 0.3~ 1.5 m/s의 상대적으로 느린 속도 분포를 나타낸다. 이로 인해 상대적으로
속도가 빠른 쪽으로 주변의 기류가 유인되어, 실의 좌측 상부를 중심으로 하는 반시계 방향의 선회류가 발생되고, 이와 함께 실의 우측 상부를 중심으로
하는 시계방향의 선회류가 발생된다.
온도분포는 CRAC의 급기온도가 각각 13℃, 19℃ 및 25℃인 경우에 대해 콜드 아일 중앙 단면에서의 분포를
Fig. 2의 (e)~(g)에 나타낸다. 온도분포는 전체적으로 기류속도 분포에서 나타난 특성이 잘 반영되고 있다. CRAC 급기온도가 13℃인 경우는 좌측 랙의
중앙 상부 랙까지 취출 공기온도인 13℃가 유지되나, 랙의 좌측에서는 상대적으로 온도가 높은 유인기류의 영향으로 17~20℃의 온도분포를 나타낸다.
좌측 랙의 우측 상부와 우측 랙의 좌․우측 상부는 상대적으로 고온인 유인기류의 영향으로 23℃ 전후의 온도분포를 나타낸다. 급기온도 19℃인 경우(
Fig. 2의 (c))는 온도분포의 패턴이 급기온도 13℃인 경우와 유사하나, 좌측 랙의 우측 상부와 우측 랙의 좌․우측 상부에서 28℃의 온도분포를 나타내는
영역이 존재한다. 급기온도 25℃인 경우(
Fig. 2의 (d))는 좌측 랙의 좌측 부분이 28 ~ 32℃의 온도분포를 나타내며, 좌측 랙의 우측 상부와 우측 랙의 좌․우측 상부에서는 최고 35℃의 온도분포를
나타낸다.
CRAC의 급기온도 19℃인 경우에 대해, 좌측 랙을 가로지르는 단면에서의 기류속도 분포 및 온도 분포를 각각
Fig. 2의 (d), (h)에 나타낸다. 기류속도 분포는, 콜드 아일의 다공판 상부에서 0.6 m/s의 기류속도로 취출된 공기가 서버 컴퓨터에 인입되어 핫
아일로 배출된다. 핫 아일의 공기는 상부에 설치된 배기구로 유입되나, 일부는 랙의 상부의 천장 아래쪽에서
Fig. 2의 (b)의 선회류 방향으로 유인된다. 온도분포는 19℃로 취출된 냉각공기가 콜드 아일의 중간과 상부에서는 24℃ 전후의 온도분포를 나타내며, 핫
아일은 29℃ 전후의 온도분포를 나타낸다. 콜드 아일 상부와 랙의 상부에서는 냉각 공기와 핫 아일의 상대적으로 고온인 공기가 섞여 24℃ 전후의
온도분포를 나타낸다.
Fig. 2. Air flow distributions and temperature distributions.
3.2 냉각 효율
3.2.1 냉각 효율 지표
데이터센터의 냉각 효율 지표는 서버 컴퓨터에 인입되는 공기온도를 중심으로 한 지표가 많다. SHI
(14,15)는 콜드 아일의 다공판에서 취출된 냉각공기가 서버 컴퓨터로 인입되는 과정에서 얻게 되는 열량을 서버 컴퓨터 전체의 발열량에 대한 비로써 나타내는 무차원
수이며, RHI
(14,15)는 데이터센터 냉방시스템의 배열 효율을 나타낸다.
SHI와 RHI는 각각 다음과 같이 정의된다.
RCI
(15,16)는 랙(Rack)에 인입되는 공기의 온도가 권고기준을 어느정도까지 초과하는가를 나타내는 지표이며, 권기기준 온도의 상한선을 초과한 경우와 하한선을
초과한 경우에 대해 각각 RCI
HI와 RCI
LO로 표시한다. RCI
HI와 RCI
LO는 각각 다음과 같이 정의된다.
RCI의 판단 기준을
Table 3에 나타낸다.
Table 3. Rating of Rack Cooling Index(RCI)
|
Rating
|
RCIHI
|
|
Ideal
|
100%
|
|
Good
|
96~100%
|
|
Acceptable
|
91~95%
|
|
Poor
|
90%
|
RTI
(15,17)는 데이터센터 냉방시스템의 에너지 사용 효율을 판단할 수 있는 지표로서, 다음과 같이 정의된다.
RTI의 판단 기준을
Table 4에 나타낸다.
Table 4. Rating of Return Temperature Index(RTI)
|
Rating
|
RTI
|
|
Target
|
100%
|
|
Re-circulation
|
100%
|
|
By-pass
|
100%
|
3.2.2 CRAC 급기온도가 변화한 경우의 냉각 효율
해석 케이스에 대한 SHI 및 RHI를
Fig. 3에 나타낸다. SHI는 전체적으로 0.19 전후의 값을 나타낸다. SHI가 전체적으로 비슷한 값을 나타내는 것은 CRAC의 급기온도만 변할 뿐, 다른
조건 모두 동일하기 때문에 콜드 아일에 유인되는 주변공기의 패턴과 양에 차이가 거의 없기 때문으로 사료된다. 이에 상응하여 RHI도 0.81 전후로
거의 균일한 결과를 나타낸다.
Fig. 3. Supply heat indices (SHIs) and return heat indices(RHIs).
해석 케이스의 RCI를
Fig. 4에 나타낸다. RCI
HI는 Case A(급기온도 13℃), Case B(급기온도 16℃) 및 Case C (급기온도 19℃) 에서는 100%를 나타내지만, Case D(급기온도
22℃) 는 93% 로서 Acceptable 수준이고 Case E (급기온도 25℃) 의 경우는 74%로서 Poor 수준을 나타낸다. 이에 비해 RCI
LO는 Case A는 4%로서 대부분의 서버 인입 공기온도가 ASHRAE의 Class A1 권고기준의 하한치보다 낮은 결과를 나타낸다. Case B는
66%로서 많은 서버가 하한치보다 낮은 결과를 나타낸다. Case C는 100%를 나타내어 RCI
HI와 RCI
LO 모두에서 이상적인 결과를 나타냈다. Case D와 Case E는 모두 100%의 RCI
LO를 나타낸다.
CRAC 급기온도가 13℃와 16℃로 낮은 경우는 RCI
HI에서는 이상적인 결과를 나타내지만 권고기준의 하한치를 크게 밑도는 결과를 나타냈으며, 급기온도 22℃인 경우는 RCI
HI는 acceptable 수준을, RCI
LO는 이상적인 수준을 나타냈다. 또한 급기온도가 25℃인 경우는 RCI
LO는 이상적인 수준을 나타냈지만 RCI
HI는 Poor 수준을 나타냈다. 급기온도 19℃의 경우는 RCI
HI와 RCI
LO 모두 이상적인 결과를 나타냈다.
해석 케이스의 RTI를
Fig. 4에 나타낸다. RTI는 전체적으로 74% 전후의 값을 나타내며, 해석 케이스간의 차이는 크지 않다. RTI 74%는 콜드 아일에 급기되는 냉각공기의
바이패스가 일어난다는 의미로서, 이는 CRAC 급기온도의 차이보다는 해석 케이스들의 경계조건에서 CRAC 급기 풍량에 대한 서버 풍량의 비 (
Table 2 참조)가 0.96으로서 CRAC 급기풍량이 더 크게 주어진 것에 기인한 결과이다.
이상에서 검토한 냉각효율의 관점에서 판단할 때, 급기온도 19℃의 경우가 가장 우수한 것으로 나타났다. 급기온도 19℃는 Cho et al.
(10)의 조사 내용과 비교하면 다소 낮은 것으로 보이나, 조사한 실내온도 기준은 CRAC으로 돌아오는 환기(RA) 온도 또는 서버에 유입되는 공기온도를
의미하는 것이다. 본 연구에서 대상으로 하고 있는 개방형 급․배기 방식에서는, 필연적으로 서버의 더운 배기가 콜드 아일의 냉각공기와 혼합될 수밖에
없다는 점을 고려하면 결코 낮은 온도가 아니며, 모든 서버의 인입 공기온도를 ASHRAE 권장온도 범위 내로 유지한다는 관점에서 도출된 온도이다.
Fig. 4. The Rack cooling indices(RCIs).
Fig. 5. The Return temperature indices(RTIs).
4. 결 론
본 연구에서는 데이터센터에서 CRAC의 급기온도가 변화한 경우의 기류속도와 온도 분포를 CFD 시뮬레이션을 통해 검토하고, 이로 인한 데이터센터 냉방시스템의
냉각 효율에 대해 분석하였다. 본 연구의 결과를 정리하면 다음과 같다.
(1) 콜드 아일에서 취출되는 냉각기류에 상대적으로 고온인 주변 공기가 유인되어 랙 열의 상부 코너 부분에서는 상대적으로 고온의 분포를 나타냈다.
(2) SHI(Supply heat index)는 전체적으로 0.19를 나타내며, CRAC 급기온도 변화에 따른 변동은 거의 없었다.
(3) RCI(Rack cooling index)는 CRAC 급기온도가 19℃인 경우에 RCIHI와 RCILO 모두에서 이상적인 결과를 나타내었으며,
따라서 CRAC 급기온도는 19℃ 전후로 설정하는 것이 바람직할 것으로 사료된다.
(4) RTI(Return temperature index)는 74%를 나타내었으며, 이는 본 연구의 해석 경계조건이 반영된 결과이다.
본 연구의 데이터센터 해석 모델과 경계조건은 국내에서 일반적으로 설치되는 데이터센터의 랙 배치와 냉방시스템의 구성 및 운전조건을 가정하여 설정한 것이다.
따라서 랙의 배치를 포함한 위의 조건들이 변경되면 결과도 달라질 수 있으므로 각 케이스 별로 검토할 필요가 있다.
본 연구의 결과를 토대로, 금후에는 서버 배기와 냉각공기의 혼합을 억제할 수 있는 급․배기 방식의 개발에 대한 연구를 진행하고자 한다.
후 기
이 논문은 2017년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2017- 013054).
References
Kim J. Y., Chang H. J., Jung Y. H., Cho K. M., Augenbroe G., 2017, Energy Conservation
Effects of a Multi-Stage Outdoor Air Enabled Cooling system in a Data Center, Energy
and buildings, Vol. 138, pp. 257-270
Park M. K., Chang H. J., 2017, A Study on the Regional Energy Conservation Effects
of a Multi-Stage Outdoor Air Enabled Cooling System in a Data Center, Journal of the
Korean Solar Energy Society, Vol. 37, No. 1, pp. 71-80
2011, ASHRAE datacom series : Thermal guidelines for data processing environments,
ASHRAE
Patterson M. K., 2008, The Effect of Data Center Temperature on Energy Efficiency,
IEEE 2008, 978-1-4244-1701-8, pp. 1167-1174
Fallah F., Pedram M., 2005, Standby and Active Leakage Current Control and Minimization
in CMOS VLSI Circuits, IEICE Transactions on Electronics, Vol. E88-C, No. 4, pp. 509-519
Moss D., Bean J. H., 2011, Energy Impact of Increased Server Inlet Temperature, APC
White paper 138.
Neudorfer J., 2016, Controlling supply air intake temperatures, Special reports of
DATA CENTER Frontier.
Patankar S. V., 2010, Airfolow and cooling in a data center, Journal of Heat Transfer,
Vol. 132, pp. 073001-1-073001-17
Ham S. W., Park J. S., Jeong J. W., 2015, Optimum supply air temperature ranges of
various air-side economizers in a modular data center, Applied Thermal Engineering,
Vol. 77, pp. 163-179
Cho J. K., Kim B. S., 2008, The cooling and air distribution systems for the optimal
IT environment control in the internet data center, Journal of the architectural institute
o Korea (Planning & design), Vol. 24, No. 2, pp. 313-320
Chang H. J., Kim J. Y., 2014, A Study on the Distribution of Airflow and Temperature
in a Data center under the Various Conditions of Heat Generation Rates of Server Computers,
Korean Journal of Air-Conditioning and Refrigeration Engineering, Vol. 26, No. 3,
pp. 108-114
Chang H. J., Jung Y. H., Seo J. H., 2013, A study on the methodology of simulation
on the distribution of airflow and temperature in a date center by utilizing porous
boundary condition, J. of KIAEBS, KIAEBS, Vol. 권, No. 호, pp. 289-294
ANSYS FLUENT MANUAL, ANSYS.
Sharma R. K., Bash C. E., Patel C. D., 2002, Dimensionless parameters for evaluation
of thermal design and performance of large scale data centers, Proceedings of AIAA
2002-3091, American Institute of Aeronautics and Astronautics Conference.
Cho J. K., Kim B. S., 2011, Evaluation of air management system’s thermal performance
for superior cooling efficiency in highdensity data centers, Energy and Buildings,
pp. 2145-2135
Herrlin M. K., 2005, Rack cooling effectiveness in data centers and telecom central
offices: the rack cooling index (RCI), ASHRAE Transactions, Vol. 111, No. 2, pp. 1-11
Herrlin M. K., 2007, Improved data center energy efficiency and thermal performance
by advanced airflow analysis, in : Proceedings of Digital Power Forum, pp. 10-12