2.1 독립형 컨테인먼트 모듈러

개발된 독립모듈 컨테인먼트 시스템의 특징은 구역단위 냉각시스템의 장점을 극대화하기 위해 공기냉각경로를 최소화하여 이송 중 손실을 최소화하는데 주안점을 두었다. 또한 앞에서 언급한 데이터센터의 고질적인 문제인 IT장비 발열의 재순환 유입과 공조공기가 냉각에 사용되지 않고 유실되는 현상을 방지하기 위해 국내최초 냉복도(cold aisle)와 열복도(cold aisle)를 모두 차폐하는 완전 컨테인먼트 구조를 구현하였다. 여기에는 다시 냉복도와 열복도의 경계에 설치하게 되는 서버랙(rack)의 기밀도를 높이기 위해 케이블 이동구과 장착된 IT서버 사이의 공간과 틈을 막는 블랭킹(Blanking) 패널를 모두 적용하였다. 독립형 컨테인먼트 모듈러 구성 및 적용은 Table 1⁽³⁾과 같다. 이러한 독립형 컨테인먼트의 냉각전략은 공기분배 효율을 높이기 위해 공기흐름을 C-H-C (cold-hot-cold) 또는 H-C-H(hot-cold-hot) 방향을 사용한다.⁽⁸⁾ 공기분배의 효율성 관점에서는 C-H-C 배열이 더 효율성이 있으나 공기냉각 이동경로 매우 짧기 때문에 그 편차는 10% 전후가 된다.⁽³⁾ Fig. 2 a)와 같이, 본 실증대상 컨테인먼트는 상면공간(white space)의 설치조건의 제약에 의해서 H-C-H 배열을 적용하였다. 시험 결과는 C-H-C 배열까지 확장한 결론 도출은 충분할 것으로 사료된다.

Fig. 2 Schematic diagram and test prototype of a) independent modular air containment system (H-C-H layout) and b) row-based cooling system with multi-fluid heat exchange in-row CRAH units.

2.2 구역단위 냉각 시스템

Fig. 2 b)와 같이, 독립모듈 컨테인먼트를 구성하는 냉각시스템의 특징은 구역단위의 냉각분배를 효율화 하는 것과 에너지절약을 위한 냉수-냉매-공기 순환 및 열교환 방식인 다중 유체 열교환 in-row CRAH 유닛 패키지를 개발하여 적용한 것이다. 구역단위 냉각시스템은 보다 높은 전력밀도로 운영되는 랙 서버의 효율적인 냉각을 위해서 CRAC/H 유닛이 IT장비가 설치되는 상면공간 안에 필연적으로 설치가 되어야 한다. 따라서 이러한 in-row 형식의 냉각기는 공랭식 CRAC 유닛의 적용이 우선 검토되었다. 가장 큰 이유는 상면공간의 수손(water damage)을 원천적으로 방지하기 위해서이다. 중앙냉수식 CRAH 유닛을 적용하기 힘든 이유는 공급되는 냉수배관이 상면공간을 관통하기 때문에 배관에 문제가 발생하면 직접적으로 운영되는 IT장비에 영향을 미치거나 간접적으로는 배관을 보수하기 위해 인력들이 보안이 요구되는 상면공간으로 출입을 해야 하는 상황이 발생하기 때문이다. 공간을 냉각하는 방법은 기본적으로 냉각제습을 유도하기 때문에 냉각코일에서 결로를 유발하고 공조 드레인도 필연적으로 발생한다. 이 또한 상면공간 내부에서 드레인 배관이 이동하는 것이 지양된다. 기존의 공랭식 CRAC 유닛도 냉동사이클에 의한 냉매의 상변화를 유도해야하기 때문에 낮은 온도로 운영되고 공조 드레인이 발생하기 때문에 근본적인 수손에 대한 위험을 회피할 수 없었다. 구역단위의 냉각이 기존의 룸 기반 냉각방식에 비해 공기분배 측면에서 월등하게 우수하고 많은 비효율성을 개선할 수 있었지만 앞에서 언급한 제약 때문에 보편적으로 적용될 수 없었다. 냉수-냉매-공기 순환 다중 유체 열교환 in-row CRAH 유닛 패키지는 이러한 한계를 극복하기 위해서 중앙냉수식 시스템에서 중간에 냉매순환체계를 포함하여 냉수배관이 직접적으로 상면공간을 통과하지 않고, 냉매순환도 별도의 상변화를 일으키지 않고 현열만을 이용하는 시스템으로 구성하여 기존의 직팽식 방식에 비해 CRAH 유닛 냉각코일은 실내의 이슬점 이상으로 유지하였다. 따라서 냉매의 온도를 공조 드레인이 발생하지 않을 정도의 온도로 운영이 가능하도록 최적화한 구역단위 냉각시스템이다.

3.1 데이터센터 냉각시스템 시험기준 및 방법

일반적으로 데이터센터는 IT장비의 보호를 위한 적정 환경유지를 위해서 항온항습을 유지한다. 따라서 목표로 하는 IT환경 조건을 먼저 확인하고, 이 조건을 유지하기 위해 CRAC/H 유닛의 적정 용량 및 정확한 성능을 평가하는 것이 향후 운영단계에서 데이터센터의 안정성과 에너지효율에 큰 영향을 주게 된다. 특정 IT운영 환경등급을 유지하려면 정상적인 조건을 기준으로 허용되는 환경 범위에서 전체 장비가 작동해야한다. Table 2는 ASHRAE에서 제시하는 환경등급에 따른 데이터센터 IT장비의 운전조건을 제시하고 있다.⁽⁹⁾ IT장비가 정상적인 상황에서 권장되는 운전조건의 범위가 있고, 반면에 허용범위 내에서 정상적으로 작동하는지를 확인하기 위해 IT장비를 테스트하는 물리적 범위가 있다. A1은 일반적으로 엄격하게 IT운영 환경요소(온도 및 상대습도)를 관리하는 실내기준으로 모든 고밀도 전용 데이터센터에 적용된다.

데이터센터 냉각장비 기준 및 시험방법은 IT환경을 고려한 CRAC/H 유닛 유형의 정격용량의 성능과 효율을 평가하는 표준이 있다. 대표적인 표준인 ANSI/ASHRAE Standard 127⁽¹⁰⁾의 적용범위는 중앙냉수식의 CRAH 유닛 및 공랭식(직팽식), 수냉식, 글리콜식의 CRAC 유닛을 모두 포함한다. Table 3은 본 시험에 해당하는 CRAH 유닛의 정격냉방, 재열, 가습 및 제습의 시험조건을 보여주고 있다. Class 1~4는 IT운영조건을 구분한 것인데 다양한 조건에서 대응 가능 하도록 단계별로 조건을 제시하였고 원칙적으로는 모든 조건에서 시험을 해야 한다. CRAH의 실내유닛은 풍량기준에 따라서 Class 1, 2는 289 CMH/kW이하, Class 3, 4는 221 CMH/kW이하만 적용가능하다. Test A는 기본 기준이 되며, Test B~D는 지역별 외기온도를 반영한 가중치를 이용하여 효율을 평가하는데 사용된다. 중앙냉수식 CRAH 유닛의 성능시험은 Test C를 기준으로 한다. 또 다른 보편적인 성능기준인 AHRI Standard 1361⁽¹¹⁾ CRAC/H 유닛의 유형별 적용대상은 ANSI/ASHRAE Standard 127과 유사하다.

그러나 CRAH 실내유닛을 천정형과 바닥상치형으로 구분하고 공기의 토출방향과 IT장비와의 설치위치 근접성을 고려하여 환기온도 제어조건을 세분화 하였다. Table 4는 AHRI Standard 1361 내용 중 본 시험에 해당하는 바닥상치형(수평기류방향)을 발췌하여 제시하였다.

3.2 현장시험 절차 및 방법

구역단위 냉각시스템은 대전 소재 SKT 전용 데이터센터에 설치하였으며 성능평가는 운영 중 데이터센터의 안전성을 고려하여 서버가 랙에 장착되기 전에 수행하였다. 고밀도 IT환경 조건을 고려하여 냉각성능시험 방법과 기준 확정하고 실내유닛, 냉매분배기로 구성된 다중 유체 열교환 in-row CRAH 유닛의 성능시험을 현장의 실제운영 상황에서 진행하였다. 현장시험은 CRAH 유닛 및 냉매분배기의 냉각능력을 동시에 측정하였다. 각각의 측정 항목은 공기 측 토출(SA)․흡입(RA)공기의 온·습도, 풍량과 냉수 측 입구온도, 출구온도와 통과유량 및 소비전력 등으로 동시에 실시간으로 측정하였다.

냉매 측의 측정점은 시험표준에 명시되지 않은 바, 공기 측 냉각성능과 냉수 측 냉각성능의 평균으로 예측하였다. IT운영 조건을 반영한 시험환경 모사를 위하여 발열부하체를 설치하여 IT장비의 전력부하(약 5.0 kW/rack)를 구현하였다. 공기 측 in-row CRAH 유닛 냉방능력은 CRAH 유닛을 운전하였을 때 실내 공기에서 제거할 수 있는 열량으로 나타낼 수 있다. CRAH 유닛은 4개의 공기-냉매 열교환기와 4개의 송풍기로 구성되어 있으며, 각 지점의 흡입과 토출부 8개 지점에서 온․습도를 측정하였다. 최종 냉방능력은 잠열의 발생원이 없기 때문에 순수한 현열 냉방능력($\Phi_{s}$)을 기준으로 하였고 냉복도의 공기 측에서 결정하여 식(1)에 따라 산출하였다. 즉, CRAH 유닛의 풍량($Q_{a}$)과 코일입구($t_{ai}$)와 출구공기($t_{ao}$)온도차에 비례한다.

냉매분배기의 냉방능력은 다중 유체 열교환 in-row CRAH 유닛을 운전하였을 때 냉수를 통해 공급된 열량으로 식(2)와 같이 산출할 수 있다. 냉수 측 냉방능력($q$)은 냉수순환유량($Q_{w}$)과 냉수출구($t_{wo}$) 및 입구($t_{wi}$)온도차에 의해 결정된다. 냉매분배기는 1개의 냉매-물 열교환기와 냉매 순환펌프로 구성되어 있으며, 냉수 입구와 출구지점에서 온도와 유량을 측정하였다. 최종 평가항목은 종합 냉방에너지효율(EER; energy efficiency ratio)이다. 구역단위 냉각시스템의 성능평가는 기본적으로 ANSI/ASHRAE Standard 127과 AHRI Standard 1361 시험절차에 준하여 수행하였다. 세부적인 설정기준은 구역단위 냉각시스템의 특성을 반영하여 합리적으로 변경하였다. 모든 시험절차는 공인기관 입회 하에 공식적으로 진행되었으며, 냉각시스템의 성능평가 시험성적서 발급을 위한 시험과 동시에 진행되었다. Fig. 3은 앞에서 설명한 서버냉각 성능 평가를 위한 IT 및 냉각시스템 인입전력, 열복도와 냉복도 온도, 실내유닛 풍량 그리고 냉매분배기의 인입 냉각수 유량과 온도차 측정의 현장시험 모습과 시험장비의 설치현황을 보여준다. 해당 냉각시스템은 응축부하를 물로 공급받는 중앙냉수식 방식이며, 인버터 압축기, 전자식 팽창밸브, 판형 열교환기를 사용한 응축기 및 증발기 등으로 구성되어 있다. 기본적인 시험조건은 Table 5와 같이, 냉복도의 온도를 25.0℃ 이하로 유지할 수 있도록 시스템을 구동시키고 응축부하 측 공급되는 냉(각)수의 입구온도 조건은 현재 운영 중인 해당 데이터센터의 중앙냉수식 시스템 운전조건인 8.0℃를 기준으로 하였다.

Fig. 3 In-situ measurements and experimental setup (measuring instruments and sensors installation).

3.3 현장시험의 신뢰성 확보

현장에서 수행된 구역단위 냉방시스템의 성능시험이 적정하게 진행되었는지는 결과 값에 대한 신뢰성을 보증하게 된다. 현장에서 측정하는 행위는 오차와 불확도를 수반하게 된다. 이러한 오차와 불확도의 원인은 ① 계측기의 정확도, ② 측정대상의 안정화 여부, ③ 시험방법 및 절차의 합리성, ④ 측정자의 숙련도 및 ⑤ 측정환경 등으로 규명할 수 있다. 측정불확도의 원인이 존재한다면 이것을 추정하기 위한 접근방법은 일반적으로 통계적인 접근법 Type-A와 정보를 기반으로 한 계통적 접근법 Type-B로 구분할 수 있다.⁽¹²⁾ Type-A는 측정된 데이터의 획득 및 방법에 대한 사항으로 앞에서 정의한 현장시험 절차 및 방법을 통하여 충분히 극복할 수 있다. 또한 단일 측정인 아닌 연속된 측정값으로 통계적 처리를 통하여 도출되기 때문에 취득된 데이터와 산출된 냉각성능 값에 대한 신뢰성 확보도 가능하다. 마지막으로 Type-B와 관련된 계측기의 정확도는 반드시 검증된 이후 시험을 실시하는 것이 중요하다. 모든 계측기는 6개월 이내에 교정을 완료한 상태이며, 교정서에 의한 오차율을 반영하여 측정불확도를 산출하고 취득된 데이터를 절차에 따라서 조정하였다. Table 6은 현장시험에 적용된 장비의 상세정보를 보여준다.

4.1 현장시험 대상 및 환경

현장시험은 구역단위 냉각시스템의 종합적인 냉각효율을 평가하는 시험과 각각의 구성장비의 냉각능력을 평가하는 시험으로 구분하여 실시하였다. Fig. 4와 같이, 구역단위 냉각시스템 측정은 A열(row-A)을 대상으로 3개의 in-row CRAH 유닛과 1개의 냉매분배로 구성된 시스템을 평가하였다.

그리고 동시에 이 구성 시스템 중 in-row CRAH #2와 냉매분배기만을 대상으로 냉각능력 시험이 수행되었다. 측정 전 IT부하와 냉각시스템의 구동 안정화를 확보하기 위해 약 120분간 사전운전을 진행하였고 본 측정은 75분간 1분 간격으로 연속 측정하였다. 공인시험의 기준으로는 10분 간격으로 3회 측정이 원칙이기 때문에 75분간의 실시간 연속측정은 해당 조건을 만족하였고 데이터 취득에도 문제가 없었다. Fig. 5는 측정기간 동안의 실험대상 A열의 냉복도와 열복도의 공기온도 및 냉매분배기로 공급되는 냉수의 입․출구 온도로 매우 일정하게 유지되고 있고 안정화 단계에서 실험이 수행되었음을 알 수 있다.

Fig. 4 Testing object of row-based cooling; A-row (in-row CRAH #1~3, Refrigerant distribution unit #1).

Fig. 5 Stabilization conditions of IT environment (cold/hot aisle) and chilled water supply during the measurements.

4.2 In-row CRAH 구성장비 냉각능력

구역단위 냉각시스템을 구성하는 장비인 CRAH 유닛(#2) 및 냉매분배기(#1)의 개별 냉각능력의 조건과 시험결과는 Table 7과 같다. 공기 측 In-row CRAH 유닛 및 냉매분배기의 냉수 측 냉방능력 시험은 ANSI/ASHRAE Standard 127을 기준으로 하였다. 그러나 실증대상 데이터센터에 설치된 중앙냉수식 시스템의 냉수공급조건은 다른 IT서버룸과 연계하여 이미 운영 중이기 때문에 8.0℃ 전후로 고정된 조건으로 시험을 진행하였다. 또한 이러한 냉수온도조건 변경에 따라서 공기 측 인입온도의 건구온도는 35℃로 구현이 가능했지만 부득이하게 이슬점온도는 하향 조정하여 습구온도의 조건도 약간 조정되었다. 고밀도 데이터센터의 IT 전력 밀도는 10 kW/rack 수준을 통상적으로 보고 있지만 독립모듈 내 부하체에 인입 가능한 전력인프라의 제약으로, 본 실험은 5 kW/rack으로 설정하고 해당 in-row CRAH 유닛의 냉수-냉매-공기의 다중 유체 열교환 효율 및 냉각능력 평가에 보다 초점을 맞춰서 시험을 진행 하였다. 독립모듈 전체에 공급한 IT전력은 약 130 kW이다. 그리고 A열에 할당된 IT부하는 약 65 kW로 예상되고, 다시 풍량을 단속한 in-row CRAH 유닛 #2에 할당된 IT부하는 해당 유닛의 팬 속도를 고려하여 약 13 kW로 예상된다. 또한 냉매분배기 #1에 할당된 IT부하는 실제 CRAH 유닛의 정격용량을 고려하여 60 kW로 하였다.

Fig. 6 Results of cooling efficiency evaluation for row-based cooling system (at row-A).

장비의 개별 냉각능력 시험결과, In-row CRAH 유닛 패키지는 할당된 IT부하에 부합하는 냉각능력의 출력을 보였으며, 냉매분배기 또한 냉수와 열교환하여 냉매를 통한 냉각열량을 공급하는데 문제없는 용량과 성능이 구현되었다. Table 8에서와 같이, 1개의 구역(A열) 기준 구역단위 냉각시스템의 냉각효율을 평가한 결과, 1개의 냉매분배기와 3개의 in-row CRAH 유닛에서 기준 IT부하(열량) 이상으로 공급이 가능했다. Fig. 6은 IT환경을 반영한 시험조건으로 냉방효율을 평가한 결과이다. 응축부하 측 냉(각)수의 온도에 의해 처리열량의 능력은 차이가 발생할 수 있지만 냉수-냉매와 냉매-공기의 순차적인 냉각열량 공급에는 균형을 이루고 있었다. 또한 시험대상인 A열 구역단위 냉각시스템은 IT부하 65 kW(분전반 측정 61.1 kW)에서 냉수 입구온도 약 8.0℃ 기준 냉복도 실내온도는 23.1℃로 수렴하여 운영기준을 만족하는 것으로 분석되었다. 이것은 응축부하 측 냉수 온도가 높아지면 냉각능력은 감소할 것으로 예상되지만 냉복도 실내온도는 25℃까지 유지하는데는 문제없을 것으로 판단된다. 먼저, 냉수 순환계통과 실내 측의 공기 순환계통의 열적평형을 유지하는 것이 매우 중요하다. 중앙냉수식 시스템의 냉수생산 및 순환 에너지를 제외하고 순수하게 CRAH 송풍 및 냉매순환의 구역단위 냉각시스템 소비전력은 IT부하 61.1 kW 기준 1.17(1.16~1.18) kW로 부분 전기사용효율(pPUE: partial power usage effectiveness)을 산출할 경우, 그 영향도는 평균 0.019로 거의 미미하다. 이것은 기존의 구역단위 냉각시스템이 상면까지 냉수배관을 연결해야하는 위험성을 감수해야하는 중앙냉수식 in-row 냉각시스템의 가장 큰 한계를 냉매순환으로 극복하였고 또한 에너지측면에서도 큰 영향을 주지 않는 것으로 분석되었다.