Mobile QR Code QR CODE : Korean Journal of Air-Conditioning and Refrigeration Engineering
Korean Journal of Air-Conditioning and Refrigeration Engineering

Korean Journal of Air-Conditioning and Refrigeration Engineering

ISO Journal TitleKorean J. Air-Cond. Refrig. Eng.
  • Open Access, Monthly
Open Access Monthly
  • ISSN : 1229-6422 (Print)
  • ISSN : 2465-7611 (Online)

  1. 국립한밭대학교 공과대학 설비공학과 교수 (Professor, Department of Building and Plant Engineering, Hanbat National University, 3458, Daejeon, Korea)
  2. ㈜신화엔지니어링종합건축사무소 상무이사 (Senior Director, CM Division, Shinhwa Engineering Co. Ltd., 3455, Daejeon, Korea)



하이퍼스케일 데이터센터, 고집적, 랙-기반 냉각, IT운영환경, 전력이용효율, 적용성
Hyper-scale data center, High-density, Rack-based cooling, IT environment, PUE, Applicability

1. 연구 배경 및 목적

지난 2년간 전 세계적인 COVID-19 펜데믹으로 인한 비대면 산업의 성장은 4차 산업혁명과 맞물려 모든 산업으로 디지털화를 가속화하고 있다. 데이터센터는 이러한 디지털화의 가장 핵심적인 역할을 하고 있다. 하나의 사례로 인터넷을 통해 각종 미디어 콘텐츠를 제공하는 서비스인 OTT(over the top) 등의 성장으로 데이터 트래픽은 최근 2년간 약 2.5배 급증했고 이러한 데이터 트래픽의 급증으로 글로벌 데이터센터는 2016년 1,252개에서 2021년 1,851개로 최근 5년간 약 50% 증가하였다.(1) 그 중 전 세계에서 운영하는 하이퍼스케일 데이터센터의 수가 2021년 2분기 659개인 것으로 조사됐다.(2) 이는 2016년 중반 이후 비교하면 약 2배 이상 증가한 것으로, 미국과 중국에 위치한 데이터센터의 수가 전체의 50% 이상을 차지한 것으로 나타났다. 하이퍼스케일 데이터센터는 일반적인 데이터센터 대비 규모가 월등히 크고 유기적인 구조를 가진 데이터센터로 일반적으로 10만대 수준의 IT서버를 운영하고 25,000 m$^{2}$ 이상의 규모와 유동적 확장 능력을 보유한다.(3,4) 2022년 상반기 기준, 국내에서는 아직까지는 하이퍼스케일 데이터센터가 구축된 사례는 없다. 그러나 데이터 생산량(gross data product) 기준으로 대한민국은 미국, 영국, 중국, 스위스에 이어 글로벌 5강에 속한다.(5) 이러한 근거에 의해 국내 데이터센터 산업에서 하이퍼스케일 데이터센터의 필요성과 출연은 부인할 수 없는 사실이다.

국내에서는 수많은 데이터센터가 구축되어 운영되고 있지만 하이퍼스케일 데이터센터는 기존의 IT환경에서 새롭게 요구되는 IT환경을 반영해야 하는 만큼 데이터센터 운영환경의 안정성 확보가 매우 중요하다. 이러한 상황을 주도하는 것은 호스팅 또는 엔터프라이즈 테넌트에 대한 용량요구 사항의 증가에 대한 사업적인 측면과, IT장비의 전력밀도와 이에 대응해야하는 냉각시스템의 기술적인 측면이 있다.(6) 데이터센터는 필수 주요시설(mission critical facility)로 분류되어 연중 24시간 무중단 운영되어야 하며 서비스 제공업체의 신뢰를 높이고 안전성이 확보되어야 한다.

본 연구는 하이퍼스케일 데이터센터를 구현하기 위한 핵심 요소인 IT장비의 고밀도 전력밀도에 대응 가능한 냉각시스템을 에너지성능과 경제성 등 정량적으로 비교하여 합리적인 냉각방식 선정의 객관적인 판단기준을 제시하는데 그 목적이 있다. 궁극적으로 데이터센터의 IT서비스 변화에 따른 신속한 대응뿐 아니라 무중단 운영의 안정성 확보를 위한 냉각시스템의 최적화 방법 및 설비모듈을 도출하는 것이다. 기존의 데이터센터 냉각시스템 관련 연구에서 접근하기 않은 범위의 IT전력밀도를 고려한 냉각시스템을 위한 공간구성 및 공기 분배 방식 등을 고려한다. 또한, IT운영환경 최적화, IT장비 보호와 에너지효율(PUE: power usage effectiveness) 및 경제성 등을 포함한 종합적인 판단기준으로 제시하고자 한다. 이를 위하여 데이터센터 IT운영환경의 안정성 관점에서 IT전력밀도의 수준과 그에 가용 가능한 냉각방식과 기준을 조사하였다. 이를 바탕으로 하이퍼스케일 데이터센터의 요구 성능 확보를 위한 IT룸 설비모듈의 구성과 대안모델을 제시하였다. 해당 연구의 접근방법에서는 총 150 kW급 IT부하의 요구사항과 IT전력밀도를 기준한 설비모듈 계획안으로 랙-서버와 냉각장비 배치와 설치면적을 반영한다. 그리고 IT장비의 냉각과 공기분배방식별 대안을 제시한다. 설비모듈의 운영방법은 변화된 IT환경 특성을 반영하는 데 사용되므로 IT서버가 설치되는 공간(이하 상면공간: white space)에서 IT장비의 운영 안전성 확보를 위한 설계대안 제공과 활용이 가능하다. 또한 각 설계 대안별 냉각 PUE$_{cooling}$ 및 에너지비용 대한 정량적 분석으로 경제성 관점에서도 객관적인 판단기준을 제시하였다.

2. 데이터센터의 IT전력밀도, 에너지효율과 냉각방식

데이터센터의 IT전력밀도는 데이터센터의 IT룸 레이아웃, 냉각설비 및 전력설비와 같은 다양한 방식으로 인프라의 엔지니어링을 결정하는 매우 중요한 기준이다. 특히, 랙당 전력밀도는 데이터센터 냉각 및 전력 프로비저닝에서 반드시 고려되어야 한다. 과거의 데이터센터의 상면기준 일반적인 전력밀도는 540-2,200 W/m$^{2}$이다. 그리고 평균 10 kW/rack 이상을 소비하는 랙 서버를 구성할 경우 고밀도로 간주되었다.(7) 그러나 2021년 기준, 500개 이상의 글로벌 데이터센터의 평균 IT전력밀도는 약 8.0 kW/rack으로 조사되었다. 평균 IT전력밀도의 변화는 2011년 2.4 kW/rack, 2017년 5.6 kW/rack에서 최근까지 거의 4배 증가했다.(8)

Fig. 1a)과 같이, 과반수의 데이터센터가 4~10 kW/rack의 IT전력밀도로 운영되고 있음을 알 수 있다. 그리고 10~20 kW/rack 수준의 데이터센터도 약 13%를 차지하고 있다. 20 kW/rack을 초과하는 데이터센터도 증가하고 있다.(8,9) 30 MW급 이상의 대규모 데이터센터는 10~20 kW/rack 범위의 랙-서버가 5 kW/rack 미만의 랙-서버 보다 적용되는 것이 일반적이다. 이 규모의 시설은 일반적으로 고성능 IT가 장착된 캐비닛을 선호하는 클라우드 및 하이퍼스케일 데이터센터가 해당한다.

전력밀도와 PUE 간에도 유사한 상관관계가 나타난다. PUE는 IT의 효율성을 파악하지 못하지만 IT장비에서 사용하는 전력 외에 데이터센터 시설에서 사용하는 전력량에 대한 유용한 프록시로 남아 있다. Fig. 1b)에서와 같이, 데이터센터의 PUE는 지속적으로 향상되었고, 2018과 2021년 연간 평균 PUE는 각각 1.60과 1.57로 데이터센터의 non-IT부문이 IT부문의 에너지사용에 약 60%를 사용했음을 의미한다.(9,10) 그러나 2014년 이후 데이터센터의 PUE는 크게 향상되지 못하고 있다. 이것은 PUE가 1.60 이상인 데이터센터가 5 kW/rack 이하의 비교적 저밀도 랙-서버가 지배하기 때문이다. 평균 IT전력밀도가 높을수록 데이터센터가 보다 효율적으로 설계될 수 있을 가능성이 높다. PUE 1.3~1.6 범위의 PUE가 있는 대부분의 데이터센터 전력밀도는 5~10 kW/rack이다. 이 낮은 PUE 그룹의 15% 이상이 일반적으로 10 kW/rack 이상의 IT장비를 구성하고 있다.(9) 따라서 새로운 하이퍼스케일 데이터센터 설계에서는 PUE 향상을 위해 효율적인 냉각방식이나 기술을 채택해야 한다.

Fig. 1 a) The average rack server density (kW/rack) and b) the average PUE in global data centers.
../../Resources/sarek/KJACR.2022.34.4.183/fig1.png

데이터센터 냉각의 기본원칙과 기능은 CRAC/H(computer room air conditioning/handling) 유닛에서 각 IT장비에 냉방공급 및 분배하여 발열을 효과적으로 제거하는 것이다. 냉각을 효율적으로 수행하기 위해 구성된 IT전력밀도에 따라서 공간단위(room-based), 열-기반(row-based) 및 랙-기반(rack-based) 냉각방법이 구분할 수 있다.(11) Table 1과 같이, 데이터센터의 집적도를 IT전력밀도를 기준으로 4개의 단계로 정의할 수 있다.(8) 또한 전력밀도 수준에 따라서 보편적인 냉각방식을 제시하였다.(11) 새로운 데이터센터의 냉각시스템 계획과 설계에 있어서, 보다 높은 IT전력밀도에 대응하기 위한 냉각용량 프로비저닝은 기존에 운용 중인 냉각방식이 담당하는 데에는 한계가 있을 수 있다. 따라서 IT전력밀도에 부합하는 냉각방식을 선택하는 것이 최우선되어야 한다. 공간단위 냉각은 5 kW/rack 이하의 저밀도 데이터센터에 주로 적용되고 최대 10 kW/rack까지 적용가능하다. 여러 대의 CRAC/H 유닛이 IT룸 전체를 담당하고 장비발열을 제거하기 위해 동시 운전된다. 공간단위 공기분배는 CRAC/H 유닛에서 공조공기를 실내로 직접 공급하거나 이중마루(raised floor) 하부공간과 천장 내부공간을 사용하여 급기 및 환기를 할 수 있다. IT룸의 효율적인 공기흐름을 형성하기 위해 열복도(hot aisle)와 냉복도(cold aisle)를 구분하고 일정수준 이상의 IT전력밀도에서 열복도/냉복도 차폐(containment)를 적용한다. 공간단위의 냉각은 건축적 사항(상면면적, 천장높이, 이중마루 하부), 랙-서버 배치, CRAC/H 유닛 위치 및 각 IT장비의 배전 등에 큰 영향을 받는다. 또한 국부온도상승(hot spot)을 처리하기 위해 낮은 온도로 급기하여 정격 냉각용량이 증가하는 등 전반적인 냉각효율 저하의 문제가 발생할 수 있다.(13,14)

Table 1 The basic concepts of data center cooling and the segmentation of data center density

Categories

Data center cooling strategies

Room-based cooling

Row-based cooling

Rack-based cooling

Cooling and

air distribution

../../Resources/sarek/KJACR.2022.34.4.183/tb1.png

Low-density

● (up to 5 kW/rack)

X (Inefficient (over sizing))

X (Inefficient (over sizing))

Medium-density

● (6 to 10 kW/rack)

● (6 to 10 kW/rack)

X (Inefficient (over sizing))

High-density

X (Out of cooling capacity)

● (11 to 17 kW/rack)

● (11 to 17 kW/rack)

Extreme-density

X (Out of cooling capacity)

X (Out of cooling capacity)

● (over 17 kW/rack)

열-기반 냉각의 경우, 6~10 kW/rack 범위의 중간밀도 데이터센터에 주로 적용되고 최대 20 kW/rack까지 적용가능하다. 여러 대의 in-row CRAC/H 유닛을 랙-서버 사이에 설치하여 공간단위 냉각보다 공기분배 경로가 짧다는 장점이 있다. 공기분배 흐름을 단순하여 냉방유닛의 정격용량을 이하로 운전할 수 있다. 그리고 공기분배 경로가 짧기 때문에 CRAC/H 유닛의 송풍 동력이 줄고 에너지 효율성을 향상시킬 수 있다. 데이터센터는 공기분배를 위한 송풍 동력이 차지하는 비율이 높고 향후 확장성을 고려하여 아직 설치되지 않은 IT장비까지 고려하여 큰 용량의 CRAC/H 유닛이 설치하고 일정기간 과대하게 운전되기 때문에 공간단위 냉각은 비효율성이 커진다.(15,16) 마지막으로, 초고도밀 랙-서버(최대 50 kW/rack)까지 대응 가능한 랙-기반 냉각의 in-rack CRAC/H 유닛은 랙-서버와 일체화되어 설치된다. 따라서 공기분배 경로는 공간단위 또는 열-기반 냉각과 비교하여 더 짧고 단순하게 형성되므로 공기분배는 랙-서버 배치에서 제약조건이 없어 추후 변경에 대한 영향을 받지 않는 장점이 있다. CRAC/H는 정격용량을 기준으로 운전할 수 있고 실제 필요 냉각용량에 예비용량을 합하여 반영할 수 있다. 열-기반 또는 공간단위에서 지정할 수 있는 예비용량보다 효율적이지만 냉각장비의 수량이 증가에 따른 비용증가가 가장 큰 단점이다.(17,18)랙-기반 및 열-기반 냉각시스템은 높은 전력밀도로 운영되는 랙-서버의 효율적인 냉각을 위해서 냉각유닛이 IT장비가 설치되는 상면공간 안에 필연적으로 설치되어야 한다. In-rack 또는 in-row CRAC/H 유닛이 중앙냉수식 열원으로 공급되는 냉수와 열교환하여 냉각된 공기를 상면공간으로 공급할 경우, 배관파손 등 비상시 상면 공간의 수손(water damage)을 원천적으로 방지하기 힘들다. 이는 데이터센터의 계획에 있어서 상면공간으로 수배관이 이동하는 것을 절대로 배재하는 이유이다. 따라서 해당 냉각시스템은 Fig. 2와 같이, 랙-기반 및 열-기반 냉각분배를 위한 냉수-냉매-공기의 다단계 열교환방식을 적용하는 것이 바람직하다.(19)

Fig. 2 In-rack or in-row CRAC/H unit with sequential water to refrigerant to air heat exchange system.
../../Resources/sarek/KJACR.2022.34.4.183/fig2.png

3. 고밀도 대응 냉각시스템 및 설비모듈 개발

데이터센터에서 가장 중요한 전제조건은 요구되는 IT부하이다. 총 IT부하가 결정이 되면 냉각시스템을 계획하기 위한 IT전력밀도를 결정하고 냉각방식과 용량을 결정하는 일련의 단계가 필요하다. 본 연구에서는 IT전력밀도에 따른 냉각시스템의 정량적 평가를 위해서 독립적으로 설치와 운영 가능한 설비모듈을 전제로 고밀도 하이퍼스케일데이터 냉각방식의 타당성을 평가하였다. Table 2와 같이, 최소단위 IT룸 구성을 위한 독립모듈을 구성하기 위해 필요한 총 IT부하를 150 kW로 가정하였다.

Table 2 The prerequisite of data center cooling system for 150 kW independent IT room module

Required IT load

Rack density [kW/rack]

Cooling strategy

Power distribution

Total 150 kW for

an independent IT module

Baseline

15.0 (High-density)

Rack-based cooling

Modular UPS system

include IT+cooling

ALT-1

8.4 (Medium-density)

Row-based cooling

ALT-2

4.2 (Low-density)

Room-based cooling

3.1 기준모델: 랙-기반 냉각시스템 설비모듈 (고밀도)

냉각시스템 방식의 타당성 평가의 전제조건을 바탕으로 150 kW급 IT룸의 설비모듈을 도출하였다. 기본안의 장비구성과 건축요소를 결정하는 주요 인자는 고밀도인 15 kW/rack의 IT전력밀도와 여기에 종속되는 냉각방식이 된다. Fig. 3은 고밀도 IT부하에 대응하는 설비모듈을 보여주며, 총 IT부하인 150 kW를 구현하기 위해서 10개의 랙-서버가 설치된다. 냉각은 각각의 고밀도 랙-서버의 발열을 직접 처리하는 개념인 랙-기반 냉각방식을 적용하여 렉-서버 후단에 일체화된 in-rack CRAC/H 유닛을 바로 설치하였다. 비상시를 대비한 장비 여유율은 N+1로 18 kW(5.2 RT)용량의 유닛을 서버의 수와 동일하게 10대를 적용하였다. 비상시 상면공간의 수손을 방지하기 위해 냉수-냉매-공기의 다단계 열교환방식을 적용하였다. 2차측 냉매분배기(RDU: refrigerant distribution unit)는 1차측 냉열원을 이용한 중앙냉수식으로 총 IT부하에 맞게 150 kW(43 RT)의 열량공급 및 냉수와 열교환하여 냉매를 3차측 in-rack CRAC/H 유닛으로 공급한다. 냉매분배기는 30% 안전율을 고려하여 100 kW의 용량으로 2대 설치하였다. Fig. 3b)는 고밀도 IT부하 대응을 위한 랙-기반 냉각의 공기분배 개념을 보여준다. 상면공간은 파란색 영역인 냉복도(점선)만 해당되며, 다른 냉각방식과 다르게 열복도는 구성되지 않는다. 그리고 non-IT 설비의 유지관리 공간은 회색 영역이다. 상면공간 내의 공기분배는 고밀도 랙-서버 후단에 in-rack CRAC/H 유닛을 설치하여 1:1로 직접 냉각을 담당한다. 랙-기반 냉각은 공조공기를 공급하는 CRAC/H 유닛과 IT장비가 일체화 되어 열복도가 형성이 안 된다. 따라서 열복도 공간이 없이 냉복도로만 구성되고 이 공간을 모두 차폐하는 방식을 채택하였다. 이동경로에서의 공조유실(recirculation)과 재순환 (recirculation)이 이론적으로는 발생하지 않는다. 그렇기 때문에 공간단위 공기분배 효율지표는 더 이상 의미가 없고 열역학 제2법칙이 반영된 엑서지 개념의 지표개발이 요구된다.(20) 공기분배에서 열손실이 없기 때문에 in-rack CRAC/H 유닛의 취출온도를 최대 24℃까지 상향하여 취출할 수 있다. 따라서 2차측 냉매온도는 최대 17℃까지 가능하고 이와 연계된 1차측 중앙냉수식 시스템의 공급온도는 최대 12℃까지 상향이 가능하다.

독립모듈로 공급하는 총 전력부하는 IT장비와 냉각을 포함하여 200 kW이며, 해당용량 1개의 배전반을 설치하여 전체 데이터센터 전력시스템과 연동하였다. IT장비로 전력을 분배하는 PDU(power distribution unit)는 각각의 열로 분배 가능하도록 75 kW급 2대를 설치하였다. IT룸 모듈의 독립성과 무정전 운영을 확보하기 위해서 IT장비와 냉각시스템의 백업이 가능한 총 전력부하와 동일하게 100 kW의 모듈러 UPS 2대를 적용하였다. 전력 및 통신 케이블트레이는 이중바닥이 적용되지 않았기 때문에 상부트레이로 계획하였다.

IT룸의 환경제어 및 관리체계인 DCIM(data center infrastructure management)은 IT룸 내부공간의 열관리를 위해 상면공간 뿐만 아니라 랙-서버의 인입과 배출공기를 모리터링하는 것이 중요하다. 따라서 물리적으로 설치되는 장비의 수량에 비례하여 측정센서 수량이 결정된다. 고밀도 IT부하 대응 150 KW급 랙-기반 냉각시스템 및 설비모듈에 요구되는 면적은 약 60 m$^{2}$이다.

Fig. 3 Baseline: an IT room module with the rack-based cooling system for IT power density of 15 kW/rack.
../../Resources/sarek/KJACR.2022.34.4.183/fig3.png

3.2 ALT-1: 열-기반 냉각시스템 설비모듈 (중간밀도)

데이터센터에서 열-기반 냉각이 적용된 시점은 불과 10년도 되지 않는다. IT전력밀도가 증가하면서 공간단위 냉각의 비효율성이 가중되고 설비용량과 에너지사용량이 증가하게 되었다. 보편적인 열-기반 냉각이 적합한 IT전력밀도는 8.0~15.0 kW/rack으로 본다. 글로벌 평균(8.4 kW/rack) IT전력밀도를 반영한 중간밀도 데이터 센터에 대응하는 150 kW급 독립모듈은 Fig. 4와 같다. 동일조건인 총 IT부하 150 kW를 구현하기 위해서 18개의 랙-서버를 설치하고 냉각을 위해 9개씩 2개의 열(row)로 구성하여 열-기반 냉각방식을 적용하였다. 랙-서버가 설치되는 열의 사이에 in-row CRAC/H 유닛을 배치하고 비상시를 대비한 장비 여유율은 N+1로 30 kW(8.6 RT)용량의 유닛을 6대 적용하였다. 열-기반 냉각도 랙-기반 냉각과 유사하게 in-row CRAC/H 유닛이 IT장비가 설치되는 상면공간 안에 필연적으로 설치되어야 한다. 따라서 해당 냉각시스템은 열-기반 냉각분배를 위한 냉수-냉매-공기의 다단계 열교환 방식을 적용하였다. 상면공간 내의 공기분배는 랙-서버가 설치된 열 내부에서 1개의 in-row CRAC/H 유닛이 3~4개의 랙-서버의 냉각을 담당한다. 열-기반 냉각은 in-row CRAC/H 유닛과 IT장비의 거리가 최대 2-3 m 이하로 공간단위 냉각에 비하여 획기적으로 이동경로가 감소된다. 동시에 이동경로에서의 열량손실과 온도상승 등 공조유실과 재순환의 비효율성도 감소한다. 공간단위 냉각의 공기분배 효율 지표들의 활용은 가능하지만 비효율성 요소가 대부분 해소되었기 때문에 큰 변별력을 갖는 지표로써 활용을 기대하기 어렵다. 독립모듈은 냉복도와 열복도 모두 차폐를 적용하였고, 열복도-냉복도-열복도(H-C-H) 배열로 구성하였다. 이동경로가 크게 줄었지만 냉복도와 열복도 사이에서의 열손실은 여전히 존재하기 때문에 in-row CRAC/H 유닛의 취출온도는 랙-기반 냉각시스템보다는 낮게 설정해야한다. 그러나 공간단위 냉각보다 열손실이 감소하여 취출온도를 더 높게 유지할 수 있고 에너지소비도 감소하게 된다. 2차측 냉매분배기는 1차측 냉열원을 이용한 중앙냉수식으로 총 IT부하에 맞게 열량공급 및 냉수와 열교환하여 냉매를 3차측 in-row CRAC/H 유닛으로 공급한다.

열-기반 냉각의 경우, 3차측 공기분배 이동경로가 랙-기반 냉각보다 증가한다. 그러나 공간단위 냉각에 비해 이동경로가 매우 짧고 냉복도와 열복도 모두를 차폐하는 방식을 채택하였기 때문에 이동 중 열손실, 온도상승을 효과적으로 감소시킬 수 있다. 따라서 in-row CRAC/H 유닛의 취출온도를 최대 20℃까지 상향하여 취출할 수 있다.(21) 그 다음으로, 2차측 냉매분배는 3차측 공급온도를 유지시키기 위해 냉매온도를 최대 15℃까지 공급할 수 있도록 설정하였다. 냉매분배기는 랙-기반 냉각방식과 동일하게 100 kW의 용량으로 2대 설치하였다. 마지막으로, 1차측과 연동하여 냉매분배기의 공급온도를 유지시키기 위해서 중앙냉수식 시스템의 공급온도는 최대 10℃까지 상향이 가능하다. Fig. 4b)는 중간밀도 IT부하 대응을 위한 열-기반 냉각의 공기분배 개념을 보여준다. 상면공간은 파란색 영역의 냉복도와 붉은색 영역의 열복도를 포함하는 구역(점선)이 된다. 그리고 non-IT 설비의 유지관리 공간은 회색 영역이다.

독립모듈 총 전력부하는 Baseline과 동일한 200 kW이며, 1개의 배전반으로 전체 전력시스템과 연계한다. PDU는 각각의 IT장비로 분배 가능하도록 75 kW급 2대를 설치하였다. 무정전 운영을 확보하기 위한 모듈러 UPS도 동일하게 총 전력부하를 담당할 수 있도록 100 kW 용량으로 2대 적용하였고 전력 및 통신 케이블 트레이는 상부트레이로 계획하였다. 중간밀도 IT부하 대응 150 KW급 열-기반 냉각의 독립설비모듈에 요구되는 면적은 약 90 m$^{2}$이다.

Fig. 4 ALT-1: an IT room module with the row-based cooling system for IT power density of 8.4 kW/rack.
../../Resources/sarek/KJACR.2022.34.4.183/fig4.png

3.3 ALT-2: 공간단위 냉각시스템 설비모듈 (저밀도)

데이터센터의 공단단위 냉각은 일반건물의 혼합공조와 동일한 개념으로 현재에도 빈번하게 적용을 하고 있는 가장 기본적인 냉각방식이다. Fig. 5는 4.2 kW/rack의 저밀도 IT부하에 대응하는 IT룸 독립모듈이다. 물리적으로 총 IT부하 요구량 150 kW를 구현하기 위해서 36개의 랙-서버를 설치하고 냉각을 위해 9개씩 4개의 열로 구분하였고 공간단위 냉각방식을 적용하여 상면공간 외곽에 CRAC/H 유닛을 설치하였다. 비상시를 대비한 장비 여유율은 N+1로 75 kW(22 RT)용량의 유닛을 3대 적용하는 것이 원칙이지만, 다른 대안과 대등한 조건으로 비교하기 위해서 30%의 용량을 상향하여 100 kW(30 RT) 유닛을 2대 반영하였다. CRAC/H 유닛은 중앙냉수식 열원으로부터 150 kW(43 RT) 열량공급 및 냉수와 열교환하여 냉각된 공기를 상면공간으로 공급한다. 이때 공기분배는 바닥급기방식을 적용하고 이동경로는 이중바닥을 통하여 바닥 타공판(perforated panel)에서 IT장비로 취출하는 가장 보편적인 방식을 적용하였다.

공간단위 냉각의 경우, 공기분배 이동경로가 길기 때문에 이동 중 열손실, 온도상승이 발생하여 국부온도 상승이 부득이하게 발생할 확률이 높기 때문에 CRAC/H 취출온도를 약 13℃로 낮게 취출한다.(13,22) 그러나 공간단위 냉각의 이러한 단점을 보완하기 위해서 냉복도 차폐를 적용하고 취출온도를 15℃로 최대로 설정하였다. 공기측 취출온도와 연계하여 중앙냉수식 시스템의 공급온도는 7℃로 유지하도록 하였다.

Fig. 5b)는 저밀도 IT부하 대응을 위한 공간단위 냉각의 공기분배 개념을 보여준다. 파란색 영역은 냉복도이고 붉은색 영역은 열복도에 해당한다. 그리고 두 영역이 모두 포함되는 구역(점선)이 IT시스템을 관장하는 상면공간이 된다. 또한 회색 영역은 non-IT 설비의 유지관리 공간으로 활용된다. 상면공간 내의 공기분배는 랙-서버가 설치된 2개의 열을 1개의 CRAC/H 유닛이 담당한다. 공간단위 냉각은 공조공기를 공급하는 CRAC/H 유닛과 IT장비의 거리가 최대 15m이상으로 이동해야하는 경로가 증가한다. 따라서 이러한 경로에서 열량이 손실되고 실내공기가 혼합되어 온도가 상승하는 비효율성이 증가한다. 대표적인 현상으로 CRAC/H 유닛에서 공급/분배하는 공기가 랙-서버로 도달하지 않고 중간에 손실되는 공조유실과 공기분배 후 랙-서버에서 배출한 고온의 발열이 냉각을 위해 CRAC/H 유닛으로 돌아오지 못하고 다시 IT장비로 유입되는 재순환이다. 이러한 IT환경에 악영향을 주는 현상을 최소화하는 것이 공간단위 냉각의 리모델링 계획에서 반드시 고려해야할 사항이다. 공간단위 냉각에서 공기분배의 효율을 평가하는 SHI/RHI, RCI 및 RTI 등의 지표들이 많이 개발되어 활용되고 있고 분배열량의 균형 관점에서 열역학 제1법칙에 국한된다.(16,20) 공간단위 냉각은 제시된 평가지표와 관련된 비효율적인 요소가 많다. 그리고 이러한 한계를 극복하기 위한 꾸준한 기술개발이 진행되었다. 그리고 공조유실과 재순환을 최소화라기 위해 냉복도 차폐 또는 열복도 차폐를 적용하는 것은 선택이 아닌 필수적이 요소가 되었다. 공간단위 냉각은 냉복도 차폐를 적용하였고, 냉복도와 열복도 간 공기의 이동을 최소화 할 수 있도록 기밀도 강화해야 한다. 이 경우, 이동경로에서의 열손실을 고려하여 CRAC/H 유닛의 취출온도를 15℃로 설정이 가능하지만 냉복도 또는 열복도 차폐를 적용하지 않을 경우, 더 많은 열손실발생을 고려하여 취출온도를 더 낮게 유지해야하고 에너지소비는 증가하게 된다.

독립모듈로 공급하는 총 전력부하는 IT장비와 냉각을 포함하여 200 kW이며, 해당용량 1개의 배전반을 설치하여 전체 데이터센터 전력시스템과 연동하였다. PDU는 각각의 열로 분배 가능하도록 40 kW급 4대를 설치하였다. 그리고 IT장비와 냉각시스템의 백업이 가능한 총 전력부하와 동일하게 100 kW의 모듈러 UPS 2대를 적용하였다. 전력 및 통신 케이블트레이는 이중바닥 하부로 이동 및 설치도 가능하지만 다른 대안과 동일하게 상부트레이로 계획하였다. 마지막으로, 저밀도 IT부하 대응 150 KW급 공간단위 냉각의 독립모듈은 IT와 non-IT 시스템 구성에 요구되는 면적은 약 130 m$^{2}$이며 출입보안 등을 고려하여 케이지(cage)설치가 필요하다.

Fig. 5 ALT-2: an IT room module with the room-based cooling system for IT power density of 4.2 kW/rack.
../../Resources/sarek/KJACR.2022.34.4.183/fig5.png

3.4 IT전력밀도에 따른 냉각시스템 구성분석

냉각시스템의 설비모듈 구성의 타당성 평가를 위해 IT룸 독립모듈의 대안을 도출하였다. 각 설계안의 장비구성과 건축요소를 결정하는 주요 인자는 IT전력밀도와 여기에 종속되는 냉각방식이 된다. 각각의 독립모듈은 동일한 용량과 기능으로 운영이 가능하도록 계획되었다. 그리고 IT장비 구성과 적용기술에 대한 non-IT부문의 시스템 상세내용은 Table 3과 같다. 총 150 kW급 IT룸을 구성하는 방법은 다양할 수 있다. IT장비의 종류에 따라 고밀도, 중간밀도 또는 저밀도로 구성이 되고 여기에 냉각을 포함한 Non-IT설비가 결정이 된다. 고밀도 대응 랙-기반 냉각시스템의 설비모듈을 기준(60 m$^{2}$)으로 필요면적을 분석한 결과, 중간밀도 대응 ALT-1의 열-기반 냉각 설비모듈은 90 m$^{2}$로 1.5배 증가하고, 저밀도 대응 ALT-2의 공간단위 냉각 설비모듈은 130 m$^{2}$로 2.3배 증가하는 것으로 분석되었다. 이러한 결과의 가장 근본적인 원인은 총 필요 IT부하를 만족시키기 위한 랙-서버 구성시, 낮은 밀도의 랙-서버 구성으로 갈수록 물리적으로 IT장비의 수량이 증가하기 때문이다. 반대로 CRAC/H 유닛은 공단단위에서 열-기반 그리고 랙-기반 냉각으로 갈수록 분산도가 높아져서 장비의 수량은 증가하지만 IT장비의 증가에 따른 공간 점유율의 영향도와 비교하면 매우 낮다. 열복도와 (또는) 냉복도를 차폐하는 범위와 면적에서도 랙-기반, 열-기반 및 공간단위 냉각으로 갈수록 증가하는 것을 볼 수 있고, 이중마루가 형성되는 공간단위 냉각은 IT룸의 층고에 대한 검토도 추가적으로 필요하다. 결론적으로 고밀도 랙-기반 냉각시스템으로 갈수록 공간 효율성이 우수한 것으로 조사되었다.

Table 3 Independent system modules according to IT power density for total IT load of 150 kW

Items

Properties

Baseline

ALT-1

ALT-2

Rack-based cooling

Row-based cooling

Room-based cooling

IT equipment

Total IT load [kW]

150

150

150

Rack density [kW/rack]

15.0

8.4

4.2

The number of rack servers [EA]

10

18

36

Architecture (Space)

Air containment

Cold aisle containment only

Fully (cold aisle and hot aisle containment

Cold aisle containment or hot aisle containment

Types of flooring

Hard floor

Hard floor

Raised floor

Required space [m$^{2}$]

60

90

130

Percentage of area [%]

100 (baseline)

150

225

Cooling

Primary

system

Chiller plant

Central chilled water system (w/chiller)

Central chilled water system (w/chiller)

Central chilled water system (w/chiller)

Cooling capacity [kW]

150

150

150

Chilled water temp. [℃]

12 (max)

10 (max)

7

Secondary

system

Cooling supply unit

Refrigerant distribution unit (RDU)

Refrigerant distribution unit (RDU)

N/A

Types of heat exchanger

Water to Refrigerant

Water to Refrigerant

Refrigerant temp. [℃]

17 (max)

15 (max)

Cooling capacity [kW]

100 (+redundancy)

100 (+redundancy)

The number of RDU [EA]

2

2

Tertiary

system

Types of CRAC/H unit

In-rack CRAC/H unit

In-row CRAC/H unit

Perimeter CRAC/H unit

Types of heat exchanger

Refrigerant to Air

Refrigerant to Air

Water to Air

Supply air temp. [℃]

24 (max)

20 (max)

15 (max)

Cooling capacity [kW]

18 (N+1 redundancy)

30 (N+1 redundancy)

100 (+30% redundancy)

The number of units [EA]

10

6

2

Power distribution

Modular UPS capacity [kW]

100 (IT+cooling)

100 (IT+cooling)

100 (IT+cooling)

The number of modular UPSs [EA]

2

2

2

Power cabling

Overhead cabling

Overhead cabling

Overhead cabling

Infra-

structure

../../Resources/sarek/KJACR.2022.34.4.183/tb3.png

4. 데이터센터 냉각방식별 에너지효율 평가

4.1 데이터센터 냉각시스템 에너지효율평가 기준

앞에서 도출된 냉각시스템별 설비모듈의 구성과 건축적 타당성 평가는 제시되었고 또 다른 판단기준으로 에너지성능 및 효율에 대한 정량적인 분석이 필요하다. 데이터센터의 에너지소비 구조는 Fig. 6과 같이, IT부하, 냉각과 전력분배의 3개의 영역으로 구분이 된다. 데이터센터의 표준 에너지소비구조는 IT장비, 냉각시스템, 전력계통을 구성하는 장비의 표준 에너지사용량 데이터를 기반으로 정의가 가능하다.(23,24) 에너지효율 평가를 위한 데이터센터 냉각시스템의 기준조건으로 CRAC/H의 급기와 환기 온도차는 ΔT=10℃로 결정한다. 일반적으로 최저 급기온도를 15℃로 규정한다. 또한 IT룸은 실내(cold aisle)온도 26℃를 유지하도록 설계하고 별도의 습도제어 기능은 제외한다. 열-기반 및 랙-기반 냉각은 급기온도를 조정하여 분석한다.

Fig. 6 Energy flow of a primary data center and system configuration (modified from(25)).
../../Resources/sarek/KJACR.2022.34.4.183/fig6.png

CRAC/H 유닛의 용량은 배관손실 등을 고려하여 설계부하의 120%로 결정한다. 송풍기 동력은 13.8 W/CMM의 효율을 적용한다. 급기온도는 정풍량 CRAC/H 유닛을 기준으로 15~26℃ 사이에서 급기온도를 결정한다. 중앙냉수식 시스템의 냉동기는 전체 CRAC/H 유닛 용량의 115%를 충족하도록 선정한다. 냉동기는 전기 구동식을 적용하는 것을 원칙으로 하고, 냉동기 효율은 Table 4에 근거한다. 스크류 냉동기는 설계용량의 15% 하향 조정할 수 있고 원심식 냉동기는 설계의 10% 용량을 하향 조정 가능하다. 냉동기 용량과 효율은 IT부하, 입구냉수온도 및 출구냉수온도에 따라 변화한다. 평가기준 냉동기 냉수공급온도는 6.7℃이고 냉방수요에 따라서 6.7℃에서 최대 12.2℃까지 변경할 수 있다. 평가기준 냉각탑은 기본적으로 개방형 냉각탑을 적용하고 1대의 단일 셀, 단일 팬으로 구성된 냉각탑은 냉동기와 1:1로 연결하는 것을 원칙으로 한다. 냉각수(냉각탑 토출) 온도는 29.4℃ 또는 설계 습구온도 +10℃ 중 낮은 온도를 선정하고 레인지는 10℃를 기준으로 한다. 냉각탑의 송풍 동력은 냉각수 유량 230 LPM 기준 0.75 kW에서 용량이 결정된다. 냉수 순환펌프는 1차 펌프 시스템이다. 펌프 수량은 각 냉동기와 1:1로 적용하고 설계유량(증발기 통과 후 ΔT=10℃)은 냉동기 용량을 기준으로 4.5 LPM/RT를 공급하도록 펌프의 크기를 결정한다. 설계양정은 12 mAq + 9 mmAq/RT이며, 상한은 30.5 mAq로 일반적으로 70% 효율을 적용한다. 마지막으로 냉각수 순환펌프는 각 냉동기와 냉각탑은 1:1로 연결한다. 설계유량(응축기 통과 후 ΔT=7℃)은 냉동기 용량을 기준으로 7.6 LPM/RT를 공급하도록 펌프의 크기를 결정하고 설계양정은 14 mAq, 펌프효율은 일반적으로 70%를 적용한다.

Table 4 Chiller type and efficiency requirements for the data center

Chiller type

Chiller size

Efficiency requirements

Chiller type

Chiller size

Efficiency requirements

Water cooled, electrically

operated

(Screw/Scroll)

≤ 75 RT

≤ 0.800 kW/RT (0.600 IPLV)

Water cooled, centrifugal

(Turbo)

≤ 150 RT

≤ 0.639 kW/RT (0.450 IPLV)

75~150 RT

≤ 0.790 kW/RT (0.586 IPLV)

150~300 RT

≤ 0.639 kW/RT (0.450 IPLV)

150~300 RT

≤ 0.718 kW/RT (0.540 IPLV)

300~600 0RT

≤ 0.600 kW/RT (0.400 IPLV)

300 RT ≤

≤ 0.639 kW/RT (0.490 IPLV)

600 RT ≤

≤ 0.590 kW/RT (0.400 IPLV)

※ A minimum of two water-cooled centrifugal chillers, sized to keep the unit size below 800 RT

4.2 냉각시스템 에너지소비량 산출

본 연구의 핵심은 앞에서 제시한 IT전력밀도에 대응하는 냉각방식별 표준 에너지소비구조를 기준으로 상세분석 하는 것이다. Table 3의 대안별 상세 설계조건으로 랙-기반, 열-기반 및 공단단위 냉각시스템의 에너지소비 특성을 분석하였다. 에너지소비 구조는 각 냉방시스템의 구성요소별 에너지흐름의 파악할 수 있기 때문에 효율평가를 위한 가장 중요한 정보를 제공할 수 있다. 냉각시스템의 에너지 소비량은 적정한 IT장비의 운영환경을 유지하는데 필요한 에너지이다. IT장비, CRAC/H 유닛, 냉동기, 냉각탑과 순환펌프의 냉각시스템 에너지를 순차적으로 계산하여 기준안과 대안별 냉각시스템의 정격 에너지사용량을 산출하였다. Table 5는 냉각시스템별 세부 구성장비의 에너지사용량을 보여준다. 3가지 설계안에 대한 공통사항으로 150 kW급 IT룸 독립모듈의 IT부문 에너지소비량은 부하율 100%를 적용한 150 kWh의 정격전력을 기준으로 하였다.

Table 5 Cooling energy consumption for an independent IT room module of 150 kW

Alternatives

Categories

Energy calculations

Energy consumptions [kWh]

Rated (peak)

Annual

Baseline:

Rack-based

Cooling

../../Resources/sarek/KJACR.2022.34.4.183/tb5-1.png

IT equipment

Design IT load: 150 kW (average load ratio: 100%)

150

1,314,000

CRAC/H unit

Cooling coil: 150 kW × (120%) = 180 kW

-

-

Fan (In-rack CRAC/H)

Air flow rate: cooling coil (ΔT=10℃) (120%) = 1,000 CMM

-

-

Fan energy: (7.5 W/CMM) 1,000 × 7.5 = 7.5 kW

7.5

65,700

Refrigerant distribution unit

Size: cooling coil 150 kW × (115%) = 173 kW

-

-

RDU energy: 173 kW × 0.014 W/kW = 2.5 kW

2.5

21,900

Chiller

(12℃)

Size: cooling coil 150 kW × (115%) = 173 kW (50 RT)

-

-

Chiller energy: 50 RT × 0.532 kW/RT = 26.6 kW (COP 6.5)

26.6

232,578

Chilled

water pump

Water flowrate: 4.5 LPM/RT × 50 RT = 230 LPM

-

-

Pump head: (max) 30.5 mAq

-

-

Pump energy: 2.2 kWh (efficiency 70%, S.F. 10%)

2.2

19,272

Condenser

water pump

Water flowrate: 7.6 LPM/RT × 50 RT = 380 LPM

-

-

Pump head: (max) 14 mAq

-

-

Pump energy: 1.7 kWh (efficiency 70%, S.F. 10%)

1.7

14,892

Cooling tower

Fan energy: (3.26 W/LPM) 308 × 3.26 = 1.3 kW

1.3

11,388

ALT-1:

Row-based

Cooling

../../Resources/sarek/KJACR.2022.34.4.183/tb5-2.png

IT equipment

Design IT load: 150 kW (average load ratio: 100%)

150

1,314,000

CRAC/H unit

Cooling coil: 150 kW × (120%) = 180 kW

-

-

Fan (In-row CRAC/H)

Air flow rate: cooling coil (ΔT=10℃) (120%) = 960 CMM

-

-

Fan energy: (10.7 W/CMM) 960 × 10.7 = 10.3 kW

10.3

90,228

Refrigerant distribution unit

Size: cooling coil 150 kW × (115%) = 173 kW

-

-

RDU energy: 173 kW × 0.014 W/kW = 2.5 kW

2.5

21,900

Chiller

(10℃)

Size: cooling coil 150 kW × (115%) = 173 kW (50 RT)

-

-

Chiller energy: 50 RT × 0.560 kW/RT = 28.0 kW (COP 6.2)

28.0

245,499

Chilled

water pump

Water flowrate: 4.5 LPM/RT × 50 RT = 230 LPM

-

-

Pump head: (max) 30.5 mAq

-

-

Pump energy: 2.2 kWh (efficiency 70%, S.F. 10%)

2.2

19,272

Condenser

water pump

Water flowrate: 7.6 LPM/RT × 50 RT = 380 LPM

-

-

Pump head: (max) 14 mAq

-

-

Pump energy: 1.7 kWh (efficiency 70%, S.F. 10%)

1.7

14,892

Cooling tower

Fan energy: (3.26 W/LPM) 308 × 3.26 = 1.3 kW

1.3

11,388

ALT-2:

Room-based

Cooling

../../Resources/sarek/KJACR.2022.34.4.183/tb5-3.png

IT equipment

Design IT load: 150 kW (average load ratio: 100%)

150

1,314,000

CRAC/H unit

Cooling coil: 150 kW × (130%) = 200 kW

-

-

Fan (Perimeter CRAC/H)

Air flow rate: cooling coil (ΔT=10℃) (120%) = 1,040 CMM

-

-

Fan energy: (13.8 W/CMM) 1,040 × 7.5 = 14.4 kW

14.4

126,144

Chiller

(7℃)

Size: cooling coil 150 kW × (115%) = 173 kW (50 RT)

-

-

Chiller energy: 50 RT × 0.590 kW/RT = 29.5 kW (COP 6.0)

29.5

258,420

Chilled

water pump

Water flowrate: 4.5 LPM/RT × 50 RT = 230 LPM

-

-

Pump head: (max) 30.5 mAq

-

-

Pump energy: 2.2 kWh (efficiency 70%, S.F. 10%)

2.2

19,272

Condenser

water pump

Water flowrate: 7.6 LPM/RT × 50 RT = 380 LPM

-

-

Pump head: (max) 14 mAq

-

-

Pump energy: 1.7 kWh (efficiency 70%, S.F. 10%)

1.7

14,892

Cooling tower

Fan energy: (3.26 W/LPM) 308 × 3.26 = 1.3 kW

1.3

11,388

기준안인 랙-기반 냉각시스템을 구성하는 10개의 in-rack CRAC/H 유닛의 총 냉각코일 용량은 IT부하의 120%를 반영한 180 kW를 적용하고, 전체 1,000 CMM에 해당하는 송풍기 정격전력은 7.5 kW로 계산되었다. 이것은 랙-서버와 CRAC/H 유닛이 일체화되어 송풍거리가 매우 짧고 저항이 없기 때문에 다른 형식의 CRAC/H에 비해 공기반송 에너지를 획기적으로 절감할 수 있다. 1차측 중앙냉수식 시스템의 냉동기는 IT부하의 115%를 적용한 173 kW(50 RT)에 해당하는 용량을 압축식 터보냉동기가 공급하는 것으로 가정하였다. 냉수공급온도 7℃의 냉동기 표준효율(COP 6.0: 0.532 kW/RT)보다 향상된 냉수공급온도 12℃에 해당하는 보정 효율(COP 6.5)을 기준으로 정격전력을 26.6 kWh로 설정하였다. 별도의 압축구동이 없는 2차측 냉매분배기는 1차측과 동일한 용량인 173 kW로 3차측으로 공급하는 냉매순환펌프만 가동된다. 상변화 없이 12℃의 냉수를 17℃의 냉매로 열교환하고 밀폐형 액펌프는 효율(0.014 W/kW)이 높기 때문에 많은 에너지가 필요하지 않다. 따라서 정격전력은 2.5 kWh로 산정되었다. 열원시스템에 종속되는 냉수순환펌프는 유량 230 LPM과 최대양정 30.5 mAq를 적용하였고, 냉각수 순환펌프는 유량 380 LPM과 최대양정 14 mAq에 해당하는 정격전력을 산출한 결과 각각 2.2 kWh와 1.7 kWh이다. 마지막으로 냉각탑 송풍기의 정격전력인 1.3 kWh를 반영하여 냉각시스템의 총 에너지사용량을 산출하였다. ALT-2의 열-기반 냉각시스템은 6개로 구성된 in-row CRAC/H 유닛의 총 냉각코일 용량을 동일하게 IT부하의 120%를 반영하여 180 kW로 적용하고, 980 CMM에 해당하는 송풍기 정격전력은 10.3 kW으로 적용하였다. 이것은 in-row CRAC/H이 랙-서버와 일체화된 in-rack CRAC/H 보다 송풍 거리가 증가하여 정압이 커지기 때문에 에너지가 증가한다. 1차측 중앙냉수식 시스템은 기준안과 동일한 용량으로 압축식 터보냉동기가 공급하는 것으로 가정하였고 냉수공급온도 10℃에 해당하는 보정효율(COP 6.2)을 적용한 정격전력은 28.0 kWh이다. 2차측 냉매분배기도 기준안과 동일하게 냉매순환펌프만 가동된다. 상변화 없이 10℃의 냉수를 15℃의 냉매로 열교환하고 밀폐형 액펌프는 순환냉매량과 교환열량(ΔT=5℃)이 기준안과 동일하여 효율(0.014 W/kW)을 동일하게 적용하여 정격전력은 2.5 kWh로 산정하였다. 1차측 열원시스템에 종속되는 냉수순환펌프(2.2 kWh), 냉각수순환펌프(1.7 kWh) 및 냉각탑 송풍기(1.3 kWh)도 기준안과 동일한 설계 조건으로 정격전력량을 적용하였다. 마지막으로, ALT-3인 공간단위 냉각시스템은 미국 Title 24(23)에서 정하는 표준에너지 효율을 전체적으로 적용하였다. 2개로 구성된 CRAC/H 유닛은 여유율을 N+1을 적용해야하지만 다른 대안에 비해 과대해지기 때문에 총 냉각코일 용량은 IT부하의 130%를 반영하여 200 kW로 적용하였다. 전체 1,040 CMM에 해당하는 풍량을 기준으로 표준효율(13.8 W/CMM)을 적용하여 정격전력은 14.4 kW로 계산되었다. 공간단위 냉각시스템은 열-기반 및 랙-기반 냉각에 비해 CRAC/H에서 공급하는 공기의 이동경로가 길고 정압이 증가하여 기준안에 비해서 약 2배정도 송풍동력이 증가하는 것을 볼 수 있다. 1차측 중앙냉수식 시스템의 냉동기 용량은 기준안 및 ALT-1과 동일하지만, 냉수공급온도 7℃의 냉동기 표준효율(0.532 kW/RT)을 적용하여 정격전력이 29.5 kWh에 해당하고 기준안에 대비 약 10% 에너지가 증가하였다. 2차측 냉매분배기는 해당사항이 없고 1차측 냉수순환펌프(2.2 kWh), 냉각수순환펌프(1.7 kWh) 및 냉각탑 송풍기(1.3 kWh)도 기준안 및 ALT-1과 동일하게 정격전력량을 반영하였다.

4.3 냉각시스템 에너지효율 평가

데이터센터의 연간 냉각에너지 사용량은 IT부하를 이론적으로 100%로 가정하였기 때문에 연중 무중단 가동 조건으로 8,760시간을 적용하면 상호비교가 가능하다. Table 6은 연간에너지 사용량과 비용 및 에너지효율을 분석하였다. 보편적인 PUE는 데이터센터 총 에너지에서 IT장비가 사용하는 에너지를 나눈 것이다. 그러나 각각의 냉방시스템의 에너지효율을 평가하기 위하여 냉각에너지에 중심을 둔 PUE$_{cooling}$를 산출하여 비교하였다. (Fig. 6) PUE$_{cooling}$는 식(1)같이, IT장비와 냉각시스템 전력량 총합에서 IT장비 전력량을 나눈 것이다.

(1)
$$ P U E_{\text {cooling }}=\frac{\text { ITE power }+\text { Cooling power }}{I T E \text { power }} $$

150 kW급 IT장비의 연간 전력량은 1,314,000 kWh이고 기준안인 랙-기반 냉각시스템의 연간 전력사용량이 365,730 kWh로 도출 되었다. 그리고 연간 PUE$_{cooling}$은 1.28로 해당 데이터센터를 운영하기 위해서 IT에너지의 약 28%를 냉각에너지로 사용한 수준이다. 통계청 자료(26)에 의한 산업용전력요금을 적용한 결과, IT부하 1 kW를 운영하기 위해서는 연간 231 USD의 냉각에너지 비용이 발생하는 것으로 분석되었다. ALT-1인 열-기반 냉각시스템은 연간 403,179 kWh의 전력을 사용하고 기준안인 랙-기반 냉각시스템 대비 약 10% 전력사용이 증가하는 것으로 분석되었고 연간 PUE$_{cooling}$은 1.31로 IT에너지의 약 31%를 냉각에너지로 사용한다. 그리고 IT부하 1 kW를 가동을 위한 냉각에너지 비용은 255 USD가 소요된다. 마지막으로, ALT-2인 공간단위 냉각시스템의 연간 전력사용량은 430,116 kWh로 기준안과 ALT-1 대비 각각 18%와 7% 증가하였다. 연간 PUE$_{cooling}$은 1.33으로 냉각에너지는 IT에너지의 약 33%에 해당하고 IT부하 1 kW를 가동을 위한 냉각에너지 비용은 272 USD로 증가한다. ALT-1 공간단위 냉각에서 ALT-2 열-기반 냉각 및 기준안 랙-기반 냉각으로 갈수록 에너지효율이 향상된 것을 알 수 있다. 이것은 Table 6 내 분석 그래프에서 보이듯 CRAC/H 유형에 따른 송풍 동력의 차이가 가장 큰 영향을 주었다. 그리고 냉수공급온도 상향(7~12℃)에 따른 냉동기의 COP증가로 인한 1차측 열원에너지 감소가 주요하였다.

Table 6 Energy consumption and PUE results for the three cooling system configurations

Categories

Data center cooling strategies

Baseline: Rack-based cooling

ALT-1: Row-based cooling

ALT-2: Room-based cooling

Annual Cooling energy [kWh/yr]

365,730

403,179

430,116

Percentage of coolong energy [%]

100%

110%

118%

Annual IT energy [kWh/yr]

1,314,000

1,314,000

1,314,000

Total IT+cooling energy [kWh/yr]

1,679,730

1,717,179

1,744,116

Energy efficiency: PUEcooling

1.28

1.31

1.33

Annual cooling energy cost [USD]

34,680 (231 USD/IT-kW)

38,230 (255 USD/IT-kW)

40,780 (272 USD/IT-kW)

※Average electric rates of industrial service: 94.8 USD/MWh(26)

../../Resources/sarek/KJACR.2022.34.4.183/tb6.png

5. 결 론

COVID-19 펜데믹, 비대면 산업성장과 4차 산업혁명의 인과관계에 의해 모든 산업으로 디지털화되고 있으며 데이터센터는 이러한 현상에서 가장 핵심적인 역할을 하고 있다. 향후 수요가 예상되는 하이퍼스케일 데이터센터는 IT서비스 변화에 따른 신속한 대응뿐 아니라 무중단 운영의 안정성 확보를 위한 냉각시스템이 매우 중요한 요소이다. 본 연구는 신규로 요구되는 데이터센터의 핵심 요소인 고밀도 IT전력에 대응 가능한 냉각시스템의 필요 건축면적, 에너지성능 등을 정량적으로 비교하여 합리적인 냉각방식 선정의 객관적인 판단기준을 제시하였다. 냉각방식의 타당성 평가를 위해 3개의 150 kW급 IT룸 설비모듈을 도출하였다. 또한 각 설계 대안별 냉각 PUE$_{cooling}$ 및 에너지비용 대한 정량적 분석으로 경제성 관점에서도 객관적인 판단기준을 제시하였다. 그 결과는 다음과 같이 요약이 가능하다.

∙데이터센터 냉각을 효율적으로 수행하기 위해 구성된 IT전력밀도에 따라서 공간단위(room-based), 열-기반(row-based) 및 랙-기반(rack-based) 냉각방법이 구분할 수 있다. 공간단위 냉각은 5 kW/rack 이하의 저밀도, 열-기반 냉각은 6~10 kW/rack 범위의 중간밀도 데이터센터에서 사용가능하고 랙-기반 냉각은 15kW/rack 이상의 고도밀 랙-서버(최대 50 kW/rack)까지 대응가능하다.

∙냉각시스템의 설비모듈 구성의 타당성 평가를 위해 150 kW급 IT룸 독립모듈의 대안을 도출하였다. 고밀도 대응 랙-기반 냉각 설비모듈을 기준으로 필요면적을 분석한 결과, 중간밀도 대응 열-기반 냉각 설비모듈은 150% 증가하고, 저밀도 대응 공간단위 냉각 설비모듈은 230% 증가하는 것으로 분석되었다.

∙냉각유닛은 공단단위에서 열-기반 그리고 랙-기반 냉각으로 갈수록 분산도가 높아져서 장비의 수량은 증가하지만 IT장비의 증가에 따른 공간 점유율의 영향도와 비교하면 매우 낮다.

∙기준안: 랙-기반 냉각시스템의 연간 PUE$_{cooling}$은 1.28이고 IT부하 1 kW를 운영하기 위해서는 연간 231 USD의 냉각에너지 비용이 발생하는 것으로 분석되었다.

∙ALT-1: 열-기반 냉각시스템의 연간 전력사용량은 기준안 대비 약 10%가 증가하고 PUE$_{cooling}$은 1.31, 그리고 냉각에너지 비용은 255 USD/IT-kW가 소요된다.

∙ALT-2: 공간단위 냉각시스템의 전력사용량은 기준안과 ALT-1 대비 각각 18%와 7% 증가하고 PUE$_{cooling}$도 1.33으로 증가하여 냉각에너지 비용이 272 USD/IT-kW가 된다.

∙CRAC/H 유형에 따른 송풍동력 감소, 그리고 냉수공급온도 상향에 따른 1차측 열원에너지 절감이 공간단위 냉각에서 열-기반 냉각과 랙-기반 냉각으로 갈수록 에너지효율이 향상되는 주요 원인으로 조사되었다.

지속적으로 증가하는 초고밀도 IT부하에 대응 가능한 냉각방식은 공랭식(air-cooled)으로는 한계에 도달했으며 수냉식(liquid cooling)을 고려해야한다. 수냉식 냉각은 IT장비의 칩셋에 냉매를 공급하여 냉각을 하거나 IT장비 자체를 냉매에 넣어서 냉각하는 액침냉각(immersion cooling)을 검토해야 한다. 그러나 이러한 기술들은 IT장비 제조사와 협의가 필요하고 데이터센터 내부에 수냉식 냉각 인프라를 구축해야하기 때문에 현재까지는 적용이 어렵다. 또한, 아직까지는 랙-기반 냉각이 적용된 사례가 많지 않다. 이것은 지금까지는 공간단위 또는 열-기반 냉각으로 가능한 IT전력밀도로 데이터센터가 구축되었기 때문이다. 그러나 하이퍼스케일 데이터센터가 주류가 되고 15.0 kW/rack이상의 전력밀도를 적용해애 할 경우는 랙-기반 공랭식 냉각을 반드시 고려해야하고 우선 검토 대상이다.

후 기

본 논문은 2021-2022년도 ㈜신화엔지니어링 종합건축사사무소의 민간기업 연구용역으로 수행한 연구결과의 일부임.

References

1 
Kim J., 2021, Rapid Growth of the Data Center Market: Main Factors and Prospects, Koscom News Room (Updated December 21, 2021)Google Search
2 
SRG , H2021, Hyperscale Data Center Growth; Hyperscale Data Center Count Grows To 659 At The End Of Q2 2021, Synergy Research Group.Google Search
3 
Barnett T., Jain S., Sumits A., Andra U., Khurana T., 2016, Cisco Global Cloud Index 2015-2020, Cisco Knowledge Network (CKN) SessionGoogle Search
4 
Cho J., Kim S., Park B., Jeong Y., 2020, A Study on Performance Standard and Test Method of CRAC/H Units for Data Centers, Korean Journal of Air-Conditioning and Refrigeration Engineering, Vol. 32, No. 5, pp. 235-248Google Search
5 
Chakravort B., Bhalla A., Chaturvedi R.S., 2019, Which Countries Are Leading the Data Economy? Harvard Business Review Global StrategyGoogle Search
6 
Rasmussen N., Niles S., 2012, Data Center Projects: Standardized Process, APC white paper 140 rev01, Schneider Electric-Data Center Science CenterGoogle Search
7 
Beaty D. L., 2013, Internal IT Load Profile Variability, ASHRAE Journal, Vol. 55, No. 2, pp. 72-74URL
8 
AFCOM , 2021, The 2021 State of the Data Center Report: A Look at the Evolution of our Industry 5th edition, The Association for Computer Operations ManagementGoogle Search
9 
Bizo D., Ascierto R., Lawrence A., Davis J., 2021, Uptime Institute Global Data Center Survey 2021; Growth stretches an evolving sector, Uptime InstituteGoogle Search
10 
Masanet E., Shehabi A., Lei N., Smith S., Koomey J., 2020, Recalibrating Global Data Center Energy-Use Estimates, Science, Vol. 367, No. 6481, pp. 984-986DOI
11 
Dunlap K., Rasmussen N., 2012, Choosing between Room, Row, and Rack-based Cooling for Data Centers, APC white paper 130 rev02, Schneider Electric-Data Center Science Center.Google Search
12 
Cho J., Kim Y., 2021, Development of Modular Air Containment System: Thermal Performance Optimization of Row-based Cooling for High-density Data Centers, Energy, Vol. vol 231, pp. 120838DOI
13 
Niemann J., Brown K., Avelar V., 2011, Hot-aisle vs. Cold-aisle Containment for Data Centers, APC White Paper 135 rev02, Schneider Electric-Data Center Science Center.Google Search
14 
Cho J., Park C., Choi W., 2021, Numerical and Experimental Study of air Containment Systems in Legacy Data Centers Focusing on Thermal Performance and air Leakage, Case Studies in Thermal Engineering, Vol. 26, pp. 101084DOI
15 
Lin P., Avelar V., 2014, How Row-based Data Center Cooling Works, APC white paper 208, Schneider Electric-Data Center Science Center.Google Search
16 
Cho J., Woo J., 2020, Development and Experimental Study of an Independent Row-based Cooling System for Improving Thermal Performance of a Data Center, Applied Thermal Engineering, Vol. 169, pp. 114857DOI
17 
Zhan B., Shao S., Zhang H., Tian C., 2020, Simulation on Vertical Microchannel Evaporator for Rack-backdoor Cooling of Data Center, Applied Thermal Engineering, Vol. 164, pp. 114550DOI
18 
Jiang K., Kheradmandi M., Hu C., Pal S., Yan F., 2021, Data-driven Fault Tolerant Predictive Control for Temperature Regulation in Data Center with Rack-based Cooling Architecture, Mechatronics, Vol. 79, pp. 102633DOI
19 
Cho J., Park B., Jeong Y., Go M. G., 2021, An Empirical Study on Cooling Performance Evaluation of Independent Modular Air Containment and Row-based Cooling System for High-density Data Centers, Korean Journal of Air-Conditioning and Refrigeration Engineering, Vol. 33, No. 10, pp. 494-505Google Search
20 
Xie M., Wang J., Liu J., 2019, Evaluation Metrics of Thermal Management in Data Centers Based on Exergy Analysis, Applied Thermal Engineering, Vol. 147, pp. 1083-1095DOI
21 
VanGilder J., Torell W., 2019, Cooling Entire Data Centers using Only Row Cooling, APC white paper 139 rev01, Schneider Electric-Data Center Science Center.Google Search
22 
Cho J., 2021, Hot-aisle and Cold-aisle Containment-Comparing Thermal Performance for Data Center Cooling, ASHRAE Journal, Vol. 63, No. 8, pp. 44-56DOI
23 
The California Energy Commission , 2016, Title 24-Building Energy Efficiency StandardsGoogle Search
24 
Cho J., 2021, An analysis of the Data Center Energy Consumption Structure for Efficient Energy Utilization, Journal of the Architectural Institute of Korea, Vol. 37, No. 8, pp. 153-164Google Search
25 
Díaz A. J., Cáceres R., Torres R., Cardemil J. M., Silva-Llanca L., 2020, Effect of Climate Conditions on the Thermodynamic Performance of a Data Center Cooling System Under Water-side Economization, Energy and Buildings, Vol. 208, pp. 109634DOI
26 
KOSIS , 2021, OECD Energy Price in 2018-2020, Korean Statistical Information Service, Statistics KoreaGoogle Search