2.1 실험 대상 시스템

Fig. 2는 실험을 진행한 액침 냉각 시스템의 구성도이다. 판형 열교환기(Plate Heat Exchanger, PHEX)를 기준으로 1차측 냉각 루프와 2차측 냉각 루프로 구성되어 있으며 두 냉각 루프는 서로 다른 유체를 사용하며, 판형 열교환기에서 간접적으로 열 교환이 이루어진다. 1차측 냉각 루프는 냉동기(Air-cooled chiller)와 판형 열교환기 사이를 순환하는 냉수 회로로 구성된다. 공랭식 냉동기 2대가 설치되어 있으나, 실험 조건에서는 냉동기 1대만을 운전하여 냉수를 공급하였다. 냉동기에서 생성된 저온의 냉수는 판형 열교환기로 유입되며, 이 과정에서 2차측 냉각 루프로부터 전달된 열을 흡수한 후 다시 냉동기로 복귀한다. 2차측 냉각 루프는 판형 열교환기, 냉매 분배 장치(Coolant Distribution Unit, CDU), 그리고 액침 탱크를 포함하는 냉각유 순환 회로로 구성된다. 판형 열교환기에서 냉각된 오일은 CDU를 통해 각 액침 탱크로 공급되며, CDU는 냉각유의 순환과 유량 제어를 담당한다. 2대의 CDU와 정격 40 kW급 액침 탱크 2대를 병렬로 연결하여 구성하였으며, 각 CDU는 하나의 액침 탱크와 독립적으로 연결되어 운전된다. 액침 탱크 내부에서는 서버 유닛이 절연성 냉각유에 완전히 잠긴 상태로 운전되며, 서버에서 발생한 열은 냉각유에 의해 직접 제거된다. 가열된 냉각유는 다시 CDU를 거쳐 PHEX로 유입되어, 1차측 냉각 루프의 냉수와 열 교환을 수행한 후 순환된다. 모든 실험은 총 2시간 동안 수행되었으며, 시스템의 정상 상태 및 시간에 따른 변화를 평가하기 위해 10초 간격으로 온도 및 부하 데이터를 측정하여 액침 냉각 시스템의 열 제거 성능과 에너지 특성을 평가하였다.

Fig. 2 Experimental setup and system configuration of the immersion cooling system.

2.2 실험 결과

Fig. 3은 실험 시간에 따른 (a) 1차 오일 및 2차 수계의 입․출구 온도 변화와 (b) IT 부하, 운전 부하, 그리고 PUE의 시간적 변화를 나타낸 결과이다. 실험은 총 2시간 동안 수행되었으며, IT Load 1과 IT Load 2는 각각 병렬로 연결된 두 개의 액침 냉각 탱크의 총 IT 부하를 의미한다. Fig. 3(b)에서 확인할 수 있듯이, IT Load 1과 IT Load 2는 실험 전반에 걸쳐 각각 약 37 kW 및 39 kW 수준으로 작은 변동 폭을 보이며 비교적 안정적으로 유지되었고, 이를 통해 각 액침 냉각 탱크가 약 40 kW급 부하 조건에서 정상적으로 운전되고 있음을 확인할 수 있다. Fig. 3(a)에 도시된 바와 같이, 실험 결과 1차 측 오일의 입․출구 온도는 각각 평균 26.3℃ 및 31.7℃로 측정되었으며, 2차 측 냉각수의 입․출구 온도는 각각 35℃ 및 50℃로 측정되었다. 실험이 진행되는 동안 두 액침 탱크의 IT 부하는 안정적으로 유지되었으며, 이에 따라 PUE는 Fig. 3(b)에서와 같이 약 1.23-1.28 범위에서 변동하는 모습을 보였다. 또한 Fig. 3(b)에 나타낸 운전 부하(Operating Load)는 냉각 시스템 구성 요소의 전력 소비량을 나타낸 값으로, 총 펌프 소비전력은 약 2.6 kW로 일정하게 유지된 반면, 냉동기 소비전력은 16-20 kW 사이에서 시간에 따라 변동하는 모습을 보였다. 이러한 냉동기 부하 변동은 IT 부하의 변화에 따라 요구되는 냉각량이 달라지면서 발생한 것으로 판단되며, 이에 따라 PUE의 순간값 역시 냉동기 부하 증감과 밀접한 상관관계를 보였다.

Fig. 3 Time histories of (a) Primary oil and secondary water temperatures and (b) IT load, operating load, and PUE during the experimental operation.

계산된 PUE는 기존 공랭식 데이터센터에 일반적으로 보고되는 값과 비교해 상대적으로 낮은 범위에 해당하며, 이는 액침 냉각 시스템 적용 시 공랭식 시스템 대비 우수한 에너지 효율을 달성할 수 있음을 시사한다. 이러한 에너지 성능 평가 결과를 바탕으로, 동일한 운전 조건에서 서버 내부 CPU의 열적 안정성이 확보되는지를 검증하기 위해 전산유체역학(CFD) 시뮬레이션을 추가로 수행하였다.

3.1 CFD 시뮬레이션 모델

Fig. 4와 같이, CFD 시뮬레이션을 수행하기 위해 액침 탱크에 설치되는 서버 1대를 기준으로 3D 모델링을 진행하였다. 서버 내부에는 총 9개의 열원이 배치되어 있으며, 각 열 표면에 히트싱크가 직접 접촉된 형태로 구성하였다. 각 열원은 440 W의 발열이 발생하므로 단일 유닛 기준 총 발열량은 3,960 W로 설정하였다. 해석에 적용된 히트싱크는 직선 핀 타입 구조로 유동 방향과 동일하게 서버 내부 유동은 하부에서 상부로 단방향으로 형성되도록 설정하였다. 히트싱크의 핀 형상은 핀 간격 1.28 mm, 핀 두께 0.3 mm, 핀 높이 56.7 mm 그리고 유동 방향을 따라 127 mm의 핀 길이를 갖도록 정의하였다. Fluent를 사용하여 CFD를 진행하였으며 난류 모델은 Realizable k-ε 모델을 사용하였다. 복잡한 히트싱크 형상과 자연대류 플룸(Plume) 특유의 비정상성(Unsteadiness)으로 인해 유동장이 지속적으로 진동(Oscillation)하며 연속방정식 잔차가 2×10^-2 수준에서 수렴하지 않는 현상이 확인되었음. 수치적 불안정이라기보다는, 완전한 정상 상태(Steady-state)가 존재하지 않는 자연대류의 물리적 특성이 반영된 결과로 판단된다. 본 연구의 목적은 시스템의 열적 안정성을 판단하기 위한 설계용 평균 열전달 성능을 도출해야 하므로, 비정상 유동의 시간 평균적 거동(Time-averaged behavior)을 효과적으로 모사하고 수치적 수렴성을 확보하기 위해 표준 k-epsilon 모델을 채택함. 난류 모델의 와점성(Eddy viscosity)이 수치적 감쇠(Damping) 효과를 제공하여 해의 수렴을 유도하였다. 냉각 유체는 서버 하부에서 유입된 후, 상부에 위치한 출구를 통해 배출되는 구조로 경계조건은 실험과 동일하게 하부 Velocity inlet과 상부 Pressure outlet으로 설정하였다. Inlet 유속은 냉각유의 입구 온도와 출구 온도의 차 15℃를 바탕으로 유속을 계산하여 0.004 m/s로 설정하였고, Pressure outlet에는 0 Pa의 압력 조건을 설정하였다. CFD 시뮬레이션을 수행하기 위해 설정한 고체, 유체 물성을 Table 1로 나타냈다. 본 연구에서 사용한 냉각유는 실험에 사용된 것과 동일한 Shell사의 S3X 계열 절연유이며, 제조사로부터 온도 범위별 상세 물성 데이터가 제공되지 않아, 15℃ 기준 물성치를 상수(Constant)로 가정하여 해석에 적용하였다. 히트싱크의 재질은 알루미늄으로 설정하였고, 열원의 열물성치는 Kim et al.⁽¹³⁾에서 사용한 CPU 물성값을 참고하여 설정하였다.

Fig. 4 Schematic of the immersion-cooled server unit.

CFD 시뮬레이션을 수행하기 위해 설정한 고체, 유체 물성은 Table 1과 같다. 냉각유는 실험에서 사용한 냉각유와 동일한 물성이지만 사용 온도 범위에 따른 상세한 물성치 변화 데이터가 제공되지 않아 물성치는 상수(Constant)로 가정하여 해석을 진행하였다. 히트싱크의 재질은 알루미늄으로 설정하였고, 열원의 열물성치는 Kim et al.⁽¹³⁾에서 사용한 CPU 물성치를 참고하여 설정하였다. 격자 독립성 검증을 위해 열원 위치에 따른 최대 온도를 서로 다른 격자 수 조건에서 비교한 결과를 Fig. 5에 나타냈다. 본 해석에서는 히트싱크 및 발열체 고체 영역과 냉각유 유체 영역을 동시에 고려한 Conjugate heat transfer(CHT) 해석을 적용하였으며, 고체-유체 계면에서 열유속 연속 조건을 사용하여 열전달을 연성적으로 계산하였다. 상단부, 중단부, 하단부 위치 모두 격자 수가 증가함에 따라 최대 온도가 소폭 상승하는 경향을 보였으며, 열원이 출구(Outlet)에 가까운 위치로 이동할수록 격자 수 증가에 따른 최대 온도 값의 변화가 다소 커지는 경향이 나타났다. Inlet과 인접한 하단부 CPU의 경우 상단부에 비해 격자 수에 따른 온도 변화가 작았으며, 이는 해당 위치에서 격자 의존성이 상대적으로 낮음을 의미한다. 하단부 CPU를 기준으로 격자 수에 따라 5회 반복 측정된 온도 데이터를 이용하여 A형 측정 불확도를 산정한 결과, 37.54 ± 0.05℃로 계산되었다. 추가적인 격자 증가에 따른 온도 변화는 미미한 수준으로 판단되었으며, 계산 정확도와 해석 시간 간의 효율적인 균형을 고려하여 약 213만 개의 격자를 최종 계산 격자로 선정하여 CFD 시뮬레이션을 수행하였다.

Fig. 5 Results of the grid independence test for different heat source locations.

3.2 시뮬레이션 결과

액침 탱크 내 단일 서버 유닛을 대상으로 수행한 CFD 컨투어 결과를 Fig. 6에 도시하였다. Fig. 6은 열원과 히트싱크가 접하는 면을 기준으로 절단한 단면에서의 결과로, (a)는 온도 컨투어, (b)는 유속 컨투어를 나타낸다.

Fig. 6 Temperature and velocity contours in the immersion-cooled server unit obtained from CFD simulations.

온도 컨투어에서 볼 수 있듯 서버 내부에 배치된 9개의 열원 영역에서 각각 440 W의 열이 발생하며, 부착된 히트싱크를 통해 발생한 열이 주변 냉각유로 전달되는 양상을 확인할 수 있다. 최대 온도는 서버 상단부에 위치한 열원에서 약 80.56℃로 형성되었으며, 하단부에서 유입된 저온의 냉각 유체가 상단부로 이동하면서 점진적으로 가열됨에 따라 부력에 의해 유동이 형성되는 자연대류가 지배적인 유동 특성을 보이는 것을 확인할 수 있다.

따라서 본 시스템의 유동 특성은 자연대류에 의해 지배되는 것으로 판단된다. 이를 정량적으로 확인하기 위해 Table 2에 각 Heat sink 위치에서의 Reynolds 수와 Grashof 수를 제시하였다. 모든 Heat sink 위치에서 Reynolds 수는 1 미만의 매우 낮은 값을 나타내는 반면, Grashof 수는 상대적으로 큰 값을 보여 본 운전 조건이 자연대류 지배 영역에 해당함을 확인할 수 있다.

한편, CFD 해석 결과의 신뢰성을 검증하기 위해 용액 온도 측정 위치별 실험 결과와 CFD 결과를 비교하여 Fig. 7에 제시하였다. 실험 결과와 CFD 결과는 전체적인 온도 분포 경향이 유사하게 나타났으며, 최대 오차는 약 4.4% 이내로 확인되어 해석 모델의 타당성이 검증되었다.

한편, Shell사의 S3X 냉각유는 온도 의존 물성 데이터의 부재로 인해 점도 및 밀도 변화에 따른 영향이 해석에 반영되지 못하였으며, 이로 인해 고온 운전 조건에서 열원의 온도가 실제보다 다소 높게 예측되었을 가능성이 있다. 이러한 한계를 보완하기 위해, S3X와 물성이 유사하면서 온도 의존 물성 상관식이 제시된 EC-130 냉각유를 적용하여 추가 CFD 시뮬레이션을 수행하였다. EC-130 냉각유의 밀도, 비열, 열전도율 및 점도에 대한 온도 의존 물성은 선행 연구인 Vagiakis et al.⁽³⁾을 참고하여 Table 3에 정리하여 제시하였다. Shell S3X 해석 결과를 바탕으로 열원 온도 데이터를 Fig. 8의 박스 그래프로 나타냈으며, 추가로 EC-130 냉각유를 적용한 경우의 결과도 함께 비교하였다. CPU의 열적 안정성을 판단하기 위해 Intel Xeon 프로세서 사양에서 제시된 Tcase 및 Tjunction 한계를 기준으로 허용 온도를 85℃로 설정하였다. 그 결과, Shell S3X의 경우 열원의 최대 온도는 80.56℃로 모든 열원의 온도가 85℃ 미만을 유지하여 액침 탱크 시스템의 열적 안정성이 확보됨을 확인할 수 있다. 반면, EC-130을 적용한 경우 최대 온도는 72.86℃로 나타나 S3X 대비 약 7.7℃ 낮은 온도를 보였다. 이러한 온도 차이는 EC-130이 기본적으로 S3X보다 낮은 점성과 높은 밀도를 가지며, 온도 변화에 따른 물성 변화가 CFD 해석에 반영됨에 따라 유동 및 열전달 성능이 개선된 데 따른 결과로 판단된다.

Fig. 7 Validation of CFD results against experimental temperature measurements.

Fig. 8 Temperature distribution of heat sources inside the immersion-cooled server unit represented by box plots.

Fig. 8은 열원 위치에 따라 평균 온도와 온도 편차를 표기한 그래프이다. 서버 상단부에 위치한 열원 1은 상대적으로 높은 평균 온도와 넓은 사분위 범위(IQR)를 보였다. 이는 냉각유가 하단 및 중단 열원에서 열을 흡수한 뒤 온도가 상승한 상태로 상단부 열원에 도달하기 때문이다. 반대로 열원 6-9는 냉각유 유입부와 인접한 하단부에 배치되어 상대적으로 낮은 평균 온도를 나타냈으며, 이는 냉각유의 유입 온도가 열전달 성능에 중요한 영향을 미칠 수 있음을 시사한다. 서버 중단부에 설치된 열원 2-5는 상단 및 하단에 비해 평균 온도는 다소 높지만 온도 분포가 비교적 균일하게 나타나, 서버 내부 전반에서 냉각 유동이 안정적으로 형성되고 있음을 확인할 수 있다. 이러한 결과를 통해 설계한 80 kW급 액침탱크 시스템은 고발열 서버 환경에서도 모든 열원의 온도를 CPU 허용 온도 이하로 유지할 수 있으며, 특히 EC-130과 같이 온도 의존 물성 데이터가 반영된 냉각유를 적용할 경우 장시간 운전 조건에서도 더욱 안정적인 열 관리가 가능함을 시사한다.