3.2.1 랙-서버

10개의 열에 설치되는 랙-서버는 총 100개 된다. Fig. 3(b)의 랙-서버 해석 모델은 A-type 고밀도(high-density)와 B-type 중밀도(medium-density)의 두 개의 종류가 적용되었다. 랙-서버의 전력밀도에 따라 적용된 캐비넷의 크기도 달라진다. Fig. 3(a)은 평면상에 배치된 두 종류의 랙-서버의 전력부하를 보여준다. 16 kW/rack의 A-type 40개와 8.8 kW/rack의 B-type 60개가 설치되어 총 전력부하는 1,168 kW(2,850 W/m$^{2}$)이다. 랙-서버 내부의 장비 구성은 다양한 조합이 가능하기 때문에 simplified rack model을 적용하였다. 기류의 흐름방향은 전방흡기(front vent)를 통해 차가운 공기가 유입되고, 후방배기(rear vent)를 통해 뜨거운 공기가 배출된다. 랙 캐비넷의 빈 슬롯에 blanking panel을 설치하는 것을 가정하여 랙-서버 내부의 누기율은 5%로 설정하였다. IT서버의 공기 유입구와 배출구의 온도차(ΔT)는 15℃로 일정하다고 가정하였고 이에 따른 각 랙-서버의 필요풍량은 각각 3,200 m$^{3}$/h (A-type)와 1,800 m$^{3}$/h(B-type)이다.

3.2.2 IT서버룸(Solution Domain)

해석 대상인 IT서버룸 solution domain 3D 모델은 Fig. 3(c)와 같다. 해석 영역은 IT서버룸 내부로 한정하였고, 도메인 외부로 부터의 열전달 및 물질 전달은 고려하지 않았다. 수치해석을 수행하기 위해 사용한 격자의 종류는 unstructured cartesian grid이며, 기본모델의 총 격자수는 약 2,450,000개이다. 데이터센터는 외부의 기상에 인한 영향, 일사부하를 포함한 외부 냉방부하는 없는 것으로 가정하였다.

3.2.3 열-복도 및 냉-복도차폐

IT 서버룸의 공기분배방식인 HAC 해석모델은 Fig. 4(a), CAC 해석모델은 Fig. 4(b)와 같다. HAC 차폐구조의 높이는 각 열의 랙-서버 높이와 동일하며 제거된 발열이 CRAH 유닛으로 돌아갈 수 있도록 상부에 환기덕트가 구성되어 있다. 각 열-복도마다 설치된 분기덕트는 환기챔버와 다시 연결되는 구조이다. CAC 차폐구조의 높이도 각 열의 랙-서버 높이와 동일하다. 랙-서버 높이가 상이한 구간의 경우 높은 것을 기준으로 차폐구조를 모델링하고, 높이차만큼 측면을 차단하여 누기를 방지하였다. 덕트에서의 누기는 없는 것으로 가정하였으며, 차폐구조의 출입구 하부의 틈새 외에는 누기가 없는 것으로 가정하였다.

Fig. 4 Unit modeling of a HAC and CAC system for CFD simulation.

3.2.4 CRAH 유닛

Table 3은 냉방시스템인 CRAH 유닛의 해석 모델의 상세정보와 형상을 보여준다. 이중바닥을 통한 하부급기방식인 HAC와 CAC시스템 구분과 상관없이 송풍방식을 하부토출(down-flow)방식을 적용하였다. EC Fan은 각 CRAH 유닛마다 3개씩 설치되어 있다. HAC 시스템은 CRAH 유닛 상부에 연결된 환기챔버를 통해 환기되고 CAC 시스템은 개방된 열-복도로부터 CRAH 유닛의 환기그릴을 통하여 유입된다.

4.1.1 IT서버룸 온도분포

Fig. 5(a)는 ALT-1 : HAC 시스템의 바닥에서부터 각각 0.2 m(하단), 1.0 m(중간), 1.8 m(상단)의 높이에서 랙-서버 주변 온도분포를 보여준다. ALT-1은 대부분의 냉-복도 온도분포가 약 16℃를 유지하고 있다. CRAH 유닛에서의 취출 온도인 15℃에서 1℃ 미만으로 온도상승을 잘 제어하고 있다. 이것은 CRAH 유닛에서 냉각된 공기가 각 서버로 공급되는 경로에서 열손실이 거의 없이 잘 분배되는 것으로 볼 수 있다. 즉, HAC 시스템 본래의 의도대로 공기 재순환이 잘 방지되고 있다고 판단된다. Fig. 5(b)의 IT서버룸 수직단면에서의 온도분포를 보면, 9번째와 4번째 랙-서버 위치에서의 단면과 환기챔버 단면에서의 온도 분포를 확인할 수 있다. 각 높이별 수평단면의 온도분포와 유사하게 냉-복도에서는 균일한 분포를 보이고 있지만 열-복도에서는 26~30℃의 온도편차를 보이고 있다. 이것은 A-type 고밀도 랙-서버(16 kW/rack)가 설치된 구간에서 열-복도 온도가 더 높게 분포하고 주변에 일부 영향을 주는 것으로 확인된다. 그러나 ALT-2 : CAC 시스템은 Fig. 6(a)와 같이 냉-복도의 온도는 CRAH 유닛 취출온도 15℃를 유지하지 못하고 최대 약 5℃ 상승한다. 이것은 열-복도가 밀폐구조 및 환기덕트로 연결된 HAC 시스템에 비해 개방된 구조의 상대적으로 넓은 영역으로 내부의 고온의 공기가 즉각적으로 CRAH 유닛으로 환기되지 않고 다시 냉-복도로 유입될 수 있는 잠재력을 갖고 있기 때문이다. Fig. 6(b)는 고밀도 랙-서버가 있는 영역의 2번째 냉방기 위치에서 온도 상승이 최대에 달하는 것을 보여준다. 이중마루 하부 동일구역

Fig. 5 Contours of temperature of HAC system in normal cooling condition.

Fig. 6 Contours of temperature of CAC system in normal cooling condition.

4.1.2 IT서버룸 기류분포

Fig. 7은 각각 이중바닥 내부 0.2 m의 높이에서 CRAH 유닛에서 취출하는 공기의 기류분포 및 열-복도와 냉-복도 내부의 기류분포를 보여준다. 냉-복도의 수직단면을 보면, ALT-1와 ALT-2 모두 3번째 랙-서버 위치까지 10 m/s 이상의 높은 기류속도를 유지하고 6번째 랙-서버 위치까지는 약 6 m/s 그리고 그 이후는 4 m/s 이하의 기류분포를 보였다. ALT-1의 열-복도는 차폐구조로 되어 있기 때문에 2 m/s 이하의 비교적 낮은 기류속도를 유지하고 있고 상부에 연결된 덕트를 통하여 원활하게 열기를 배출하는 것으로 예상된다. 열-복도가 개방된 형태인 ALT-2는 또한 2 m/s 이하의 비교적 낮은 기류속도를 유지하고 있으며, CRAH 유닛이 위치하는 냉-복도에서 열-복도에서 배출된 발열이 4~6 m/s 속도로 CRAH 유닛 상부로 유입되는 것으로 분석되었다. 그러나 냉-복도는 차폐구조로 되어있기 때문에 공기가 혼합되지는 않는다. 시뮬레이션 분석결과, IT서버룸 내부 냉-복도의 기류분포는 CRAH 유닛에 근접한 부분은 상대적으로 높은 기류속도를 보이고 특히, 10 m/s 이상의 높은 기류속도는 역(-)압력이 발생하여 랙-서버의 인입구에 적정한 풍량을 공급하기 어렵다.

Fig. 7 contours of air velocity in normal cooling condition; (a) ALT-1 : HAC and (b) ALT-2 : CAC.

4.1.3 랙-서버 인입 공기온도

데이터센터의 냉각시스템 열성능 평가에서 가장 핵심적인 요소는 랙-서버의 인입 공기온도의 분포이다. 너무 낮아도 에너지 낭비의 요인이 생기고 너무 높아도 서버의 발열을 효과적으로 제거하지 못한다.^(16,17) 데이터센터의 IT공조환경기준은 ASHRAE의 가이드라인⁽⁴⁾이 널리 사용되고 있으며, 적정 서버 인입 공기온도 기준을 제시하고 있다. 본 수치해석의 결과에 대한 적정성 판단은 ASHRAE의 온도기준을 적용하였다. Fig. 3(a)은 100개의 랙-서버의 위치를 표시한 ID번호(A01~J10)를 보여준다. Fig. 8은 HCA를 채택한 ALT-1의 100개의 랙-서버로 공급되는 평균 인입온도 분포를 보여준다. 결론적으로 100%의 랙-서버 모두 ASHRAE의 권장온도 범위에서 가동되기 때문에 매우 안전한 상태이다. 그러나 앞에서 분석된 기류분포에 따르면 기류속도가 높은 1번째 랙-서버와 기류속도가 낮은 10번째 랙-서버는 다른 것에 비해 적정 풍량의 공급이 되지 않아 상대적으로 높게 분포한다. 그럼에도 불구하고 최대 인입온도는 20.6℃(평균 16.5℃)로 매우 적정하다.

Fig. 8 The mean inlet air temperature of 100 rack servers with HAC system in normal cooling condition.

Fig. 9 The mean inlet air temperature of 100 rack servers with CAC system in normal cooling condition.

반면에 Fig. 9의 CAC를 채택한 ALT-2의 경우는, ALT-1와 비슷한 기류속도를 보이지만 많은 랙-서버에서 인입공기가 높게 분포한다. 그렇지만 모든 랙-서버가 ASHRAE의 권장온도 범위를 만족하는 것으로 분석되었다. 그러나 5개의 랙-서버인 5%는 26℃ 이상으로 ASHRAE의 권장온도 상한범위에 매우 근접하는 것으로 나타났고 모두 A-type 고밀도 랙-서버가 설치된 구간이다. 그 중에서도 최대 인입공기온도는 27.0℃(평균 18.5℃)로 ALT-1에 비해 무려 6.4℃나 높았다. 결과적으로는 HAC와 CAC는 100대의 랙-서버 모두 100% ASHRAE의 권장온도 범위를 유지하고 있다. ASHRAE에서 제시하는 허용온도 범위인 15~32℃는 IT서버가 정상적으로 가동하는데 큰 문제는 없다. 그러나 장기간 이러한 상태가 유지될 경우, IT장비에 지속적으로 영향을 주어 고장(downtime)이 발생할 가능성이 커진다. 시뮬레이션 분석결과, 랙-서버의 인입공기온도 분포는 ALT-1이 ALT-2보다 매우 안정적인 상태를 유지하고 있었다. 즉, 열-복도를 차폐하여 공조공기공급가 혼합되지 않고 룸-기반냉각시스템의 공기분배 효율을 향상시킨다.

4.1.4 재순환율

IT서버룸의 냉각은 CRAH 유닛에서 공급하는 모든 공조공기가 랙-서버로 유입되고 발열을 제거한다. 그 후, 온도가 상승된 공기를 다시 CRAH 유닛으로 되돌아오는 것이다. 그러나 현실은 IT장비의 발열을 제거하고 상승된 공기가 CRAH 유닛으로 돌아가지 못하고 랙-서버로 다시 유입되는 재순환(recirculation)과 반대로 CRAH 유닛에서 공급하는 공조공기가 랙-서버로 유입되지 않고 바로 CRAH 유닛으로 되돌아오는 유실(bypass) 현상이 빈번하게 발생한다. 데이터센터의 냉각시스템과 공기분배시스템의 성능과 효율에 가장 큰 영향을 주는 요소는 재순환과 유실이다. 기존에 재순환과 유실현상을 설명하기 위해 RTI(return temperature index)를 제안하였다.⁽¹⁸⁾ RTI는 이상적인 조건은 공조․냉각 공급과 활용이 100% 일치되어야 한다. 이것은 일반적인 룸-기반 냉각시스템에 적용가능하다. 그러나 HAC 또는 CAC와 같이 차폐구조의 경우, 열-복도와 냉-복도 사이의 누기율이 5% 이하 유지될 때 RTI는 크게 변하지 않는다. 따라서 차폐가 적용된 ALT-1과 ALT-2는 RTI를 적용하지 않았다. 그 대신, 적정 풍량이 공급되지 않는 랙-서버의 내부에서 재순환되는 공기의 량을 기준으로 재순환율(recirculation ratio)을 분석하였다. 통상적인 랙-서버의 필요 풍량($r Q_{rack}$) 계산은 각각의 IT장비가 최대부하로 운전되는 것을 가정하였으며, 공조공기 유입과 발열제거 후 배출되는 공기의 온도차를 ΔT = 15℃로 규정하였다. 랙-서버로 실제 공급되는 풍량($s Q_{rack}$)을 랙-서버의 발열 제거를 위해 필요한 풍량($r Q_{rack}$)으로 나눈 값을 100%의 밸런스 상태에서 부족한 재순환 풍량의 비율을 산출하게 된다. 식(1)은 재순환율의 계산식을 보여준다.

Fig. 10은 총 100개의 랙-서버의 재순환율의 분포를 보여준다. 전체적인 분포의 패턴을 보면 인입공기온도가 높은 랙-서버가 재순환율이 높은 것으로 분석되었다. 이것은 발열제거를 위해 필요한 적정 풍량이 공급되지 않았기 때문에 내부에서 재순환이 일부 발생하고 인입공기온도가 상승하는 것이다. ALT-1과 ALT-2 모두 A-type 고밀도 랙-서버가 적용된 A~D열은 16 kW/rack의 높은 발열량이 발생하기 때문에 그 만큼 공급 풍량도 많이 필요하다. 따라서 공통적으로 실제 공급되는 풍량이 부족하여 재순환율이 상대적으로 높다. B-type 중밀도 랙-서버가 적용된 D~J열은 발열제거를 위한 적정 풍량이 공급되는 것으로 분석된다. 또한 대부분 풍량이 부족한 곳은 CRAH 유닛과 가장 근접하여 설치된 1~3번째 랙-서버이며 동시에 재순환율도 높다. ALT-1의 최대 재순환율은 25.7%(평균 7.35%)로 실제 공급풍량이 필요풍량 보다 25.7% 작다는 것을 의미한다. 그러나 인입공기온도가 20.6℃로 문제는 없다. ALT-2의 최대 재순환율은 36.8%(평균 8.65%)로 상대적으로 높은 랙-서버들이 존재한다. 이러한 랙-서버들의 인입공기온도는 약 27℃로 ALT-1에 비해 상당히 높다. 즉 발열제거를 위해 필요한 풍량의 65% 수준으로 공급되고 있으며 CRAH 유닛t에서 공급하는 15℃의 공조공기가 무려 12℃ 이상 온도가 상승한 것이다. 시뮬레이션 분석결과, 랙-서버의 재순환율 분포는 ALT-1이 ALT-2보다 매우 안정적인 상태를 유지하고 있었다.

Fig. 10 The recirculation ratio in normal cooling condition; (a) ALT-1 : HAC and (b) ALT-2 : HAC.

4.2.1 IT서버룸 온도분포

Fig. 11(a)는 ALT-3 : HAC 시스템의 바닥에서부터 수직 높이별 랙-서버 주변 온도분포를 보여준다. ALT-3은 대부분의 냉-복도 온도분포가 약 16℃로 ALT-1의 정상적인 운전상황과 유사하게 온도상승을 잘 제어하고 있다. 이것은 1개의 CRAH 유닛이 가동이 안 되지만 나머지 5개의 CRAH 유닛에서 생산한 공조공기가 각 서버로 공급되는 경로에서 큰 열손실 없이 잘 분배되는 것으로 볼 수 있다. Fig. 11(b)의 IT서버룸 수직단면에서의 온도분포를 보면, 각 높이별 수평단면의 온도분포와 유사하게 냉-복도에서는 균일한 분포를 보이고 있다. 그러나 ALT-4 : CAC 시스템은 Fig. 12(a)와 같이 냉-복도의 온도는 CRAH 유닛 취출온도 15℃를 유지하지 못하고 최대 약 3℃ 상승한다. Fig. 12(b)는 고밀도 랙-서버가 있는 영역의 2번째 냉방기 위치에서 온도 상승이 최대에 달하는 것을 보여준다. 비정상 냉방운전 조건의 시뮬레이션 분석결과, IT서버룸 내부 열-복도와 냉-복도의 온도분포는 HAC(ALT-3)가 CAC(ALT-4) 보다 안정적으로 나타났다. 그러나 5개의 CRAH 유닛의 충분한 용량으로 거의 정상적인 IT공조환경 유지가 가능하였다.

Fig. 11 Contours of temperature of HAC system under cooling fault condition.

Fig. 12 Contours of temperature of CAC system under cooling fault condition.

4.2.2 IT서버룸 기류분포

Fig. 13은 이중바닥 내부 0.2 m의 높이에서 CRAH 유닛에서 취출하는 공기의 기류분포를 보여준다. 정상 냉방운전 상태인 Fig. 7과 비교해보면, CRAH-03이 담당하는 D~F열에서는 주변의 CRAH 유닛에서 공조공기를 공급받기 때문에 2 m/s 이하의 낮은 기류분포를 나타낸다. 또한 나머지 5대의 CRAH 유닛은 더 많은 풍량을 공급해야하기 때문에 기류속도는 정상 냉방운전 조건보다 높아지게 된다. 냉-복도의 수직단면을 보면, ALT-3과 ALT-4 모두 4번째 rack server 위치까지 10 m/s 이상의 높은 기류속도를 유지하고 8번째 rack server 위치까지는 약 6 m/s 그리고 그 이후는 4 m/s 이하의 기류분포를 보였다. HCA와 CAC는 모두 차폐구조로 되어 있기 때문에 비교적 안정적인 기류속도를 유지하고 있으며 HAC는 상부에 연결된 덕트를 통하여 원활하게 열기를 배출한다. 시뮬레이션 분석결과, IT server room 내부 냉-복도의 기류분포는 ALT-3 및 ALT-4는 유사한 기류속도를 보이고 특히, 10 m/s 이상의 높은 기류속도를 보이는 구간이 정상운전 조건인 ALT-1, ALT-2보다 증가하기 때문에 많은 랙-서버의 공기유입구에 적정한 풍량을 공급하기 어렵게 된다.

Fig. 13 Contours of air velocity under cooling fault condition; (a) ALT-1 : HAC and (b) ALT-2 : CAC.

4.2.3 랙-서버 인입 공기온도

Fig. 14는 ALT-3의 랙-서버로 공급되는 평균 인입공기온도 분포를 보여준다. 100개의 랙-서버 모두 ASHRAE의 권장온도 범위에서 IT공조환경이 적정하게 유지되고 있었다. 기류속도가 높은 1번째 랙-서버와 기류속도가 낮은 10번째 랙-서버는 다른 랙-서버에 비해 상대적으로 인입공기온도가 높게 분포한다. 또한 CRAH-03 가동 중단에 따라 D~E열이 다른 곳에 비해 인입공기온도가 높다.

Fig. 14 The mean inlet air temperature of 100 rack servers with HAC system under cooling fault condition.

Fig. 15 제목The mean inlet air temperature of 100 rack servers with CAC system under cooling fault condition.

최대 인입공기온도는 20.2℃(평균 16.6℃)로 매우 적정하다. 반면에 Fig. 15의 ALT-4는 CRAH-03 가동 중단에 따라 B~E열이 상대적으로 랙-서버에 충분한 풍량이 공급이 되지 않기 때문에 인임공기온도가 높게 분포한다. 전체의 98%의 rack server ASHRAE의 권장온도 범위를 만족하고 2%는 ASHRAE의 허용온도 범위에 있다. 그 중, 최대 인입공기온도는 27.1℃(평균 18.1℃)로 ALT-3에 비해 4.9℃가 높다. 비정상 냉방운전 조건의 시뮬레이션 분석결과, 랙-서버의 인입공기온도 분포는 ALT-3이 ALT-4보다 안전정인 상태를 유지하고 있었다. 1대의 CRAH 유닛이 고장나도 총 필요 풍량만 만족시키면 이중마루를 통해 비교적 안정적으로 공조공기 공급이 가능하고 전체적으로 실-기반 냉각시스템의 불균형이 없는 것으로 분석되었다. 그러나 CAC의 경우, 1대의 CRAH 유닛이 고장나면 HAC 시스템과 비교하여 해당 냉-복도에 공조공기 공급이 상대적으로 원활하지 않을 것으로 사료된다.

4.2.4 재순환율

Fig. 16에서 총 100개의 랙-서버의 재순환율의 분포를 보여준다. 전체적인 분포의 패턴을 보면 인입공기 온도가 높은 랙-서버가 높은 것으로 분석되었다. ALT-3과 ALT-4의 공통적으로 풍량이 부족한 곳은 CRAH-03이 담당하는 C~E열에 설치된 랙-서버이다. ALT-3의 최대 재순환율은 24.2%(평균 8.0%)로 정상 냉방운전 조건에서보다 아주 약간 감소했지만 20% 이상인 rack server의 수는 1개에서 4개로 증가하였다. 이것은 실제 공급풍량이 필요풍량 보다 20% 이상 작다는 것을 의미한다. 그러나 인입공기온도가 19.6~20.2℃로 문제는 없다. ALT-4의 최대 재순환율은 30%(평균 10.9%) 이상의 랙-서버는 10개로 증가하였다. 이러한 랙-서버들의 인입공기온도는 22.6~27.1℃로 상대적으로 높다. 비정상 냉방운전 조건의 시뮬레이션 분석결과, ALT-4는 ALT-3에 비해 많은 랙-서버에서 재순환이 발생하고 있으며, 이러한 현상이 지속되면 IT 환경이 저하될 것으로 예상된다.

Fig. 16 The recirculation ratio under cooling fault condition; (a) ALT-1 : HAC and (b) ALT-2 : HAC.