2.1 연구방법

광학영상을 모의하기 위하여 고해상도 SAR 영상을 참조한 딥러닝 기반의 영상변환 및 컬러화를 수행하였고, ‘Image-to- Image Translation’ 분야의 CycleGAN 및 Pix2pix 알고리즘을 사용한 방법을 제안하였다.

우선 단일 알고리즘을 사용하는 방법으로, CycleGAN 모델로부터 영상변환 및 컬러화 과정을 수행한다. CycleGAN은 두 도메인이 적대적으로 상대 도메인과 닮은 가짜 데이터를 생성하고, 생성한 가짜 데이터를 진짜 데이터와 판별하는 구조이다. 해당 과정을 반복하여 손실 값이 최소화된 영상을 모의하고자 한다. 한편 다중 알고리즘을 사용하는 방법은 CycleGAN 모델로부터 영상변환 후 Pix2pix 알고리즘 기반의 컬러화 모델로부터 색상을 모의하였다. 이 컬러화 모델은 짝이 있는(Paired) 하나의 도메인으로부터 영상 생성 및 판별 과정을 학습하여 가짜 데이터를 모의한다.

다중 알고리즘을 사용하는 방법은 컬러화 과정에 Pix2pix 알고리즘을 적용하므로 단일 밴드의 흑백영상을 모의해야 한다. CycleGAN 모델로부터 도출할 단일 밴드의 흑백영상은 Gray-scale 영상을 사용하였다. 이 방법에서는 Gray-scale 영상을 활용하고자 광학영상이 보유한 Red, Green, Blue 밴드의 평균 화소 값을 산출하였다. 그리고 광학영상을 SAR 영상의 특성과 유사한 흑백의 단일 밴드 영상으로 변환하기 위하여 입력 형태에 따라 Pix2pix 알고리즘의 일부 구조를 수정하였다. 해당 실험에서는 CycleGAN 및 Pix2pix 알고리즘 기반의 모의영상을 생성하였다. 생성한 모의영상은 원 영상과의 유사성을 비교하고, 시각적인 분석뿐만 아니라 통계적 지수를 산출하여 결과를 분석하였다.

2.2 CycleGAN 기반 위성영상 변환 알고리즘

CycleGAN은 순환과정을 의미하는 ‘Cycle’과 ‘GAN’의 합성어로 ^{Zhu et al.(2017)}가 제안하였다. 해당 알고리즘은 두 개의 도메인을 동시에 학습할 수 있도록 각각 두 개의 생성기(Generator) 및 판별기(Discriminator) 신경망을 보유한다. 즉, A, B Image가 Fake B Image와 Fake A Image를 생성하기 위하여 두 개의 GAN 알고리즘이 동시에 작용하는 것으로, 짝이 지어지지 않은(Unpaired) 데이터도 학습할 수 있는 장점을 보유한다.

Fig. 1은 실험을 위한 CycleGAN 학습 흐름도를 나타내었다. 학습 데이터는 광학영상과 SAR 영상이며 각각 Train A, B와 Train D로 구분하였다. 단일 알고리즘 방법의 경우 Train A의 광학영상과 Train D의 SAR 영상을 학습하고자 데이터 입력 시 SAR 영상의 밴드 수를 확장하여 광학영상과 동일하도록 수정하였다. 반면, 다중 알고리즘 방법의 경우 광학영상을 단일 밴드의 흑백영상으로 대체하여 SAR 영상의 추가적인 처리없이 진행하였다.

Fig. 1. CycleGAN-based Simulation Image Production Flow of This Study

2.3 Pix2pix 기반 흑백영상 컬러화 알고리즘

본 논문에서는 La*b* 색 공간을 활용한 딥러닝 기반의 Pix2pix 알고리즘을 사용하여 광학영상의 색상을 구현하였다. Pix2pix는 ^{Isola et al.(2016)}이 제안한 GAN 기반의 알고리즘으로, 짝이 지어진(Paired) 데이터를 사용하여 지도 학습이 가능하다. 해당 알고리즘은 CycleGAN 모델을 통하여 도출한 Gray-scale 모의영상을 컬러화할 수 있도록 학습하였다. 컬러영상 변환을 위하여 사용된 La*b* 색 공간은 수식으로 계산된 값을 사용하므로 매체마다 표현되는 값이 다른 RGB 색 공간보다 정확한 값을 구현할 수 있다. La*b* 색 공간을 활용한 Pix2pix 기반의 컬러화 모델은 RGB 영상에서 L-band 영상을 생성하여 a*b* 밴드와 닮은 가짜 a*′b*′밴드를 생성한다. 해당 a*′b*′밴드와 모의 기준인 L-band 영상을 합성한 La*′b*′영상은 RGB 색 공간으로 재변환되어 가짜 R′G′B′영상을 생성한다.

Pix2pix 알고리즘은 CycleGAN 알고리즘과 다르게 짝이 지어진 두 데이터 간의 사상(Mapping)을 학습하며 생성기, 판별기 신경망을 한 번씩 지나 결과물을 도출한다는 차이점이 존재한다. 본 알고리즘의 사용 목적은 색상을 학습하는 것이므로 영상을 구성하는 패턴이나 텍스쳐, 색상의 분포 등 전반적인 Context를 고려하는 PixelGAN을 적용하였다. 컬러화 모델은 입력 영상의 RGB(Red, Green, Blue) 밴드로부터 Gray-scale 영상을 생성하고, 해당 영상을 3 밴드로 복제한 GGG(Gray-scale, Gray-scale, Gray-scale) 영상으로부터 La*b* 영상을 생성하였다.

3.1 실험자료 획득 및 전처리

실험자료는 Fig. 2, Fig. 3와 같이 구름 폐색영역을 포함한 광학영상으로 KOMPSAT-3A 영상을, 학습 시 참조 데이터로 사용한 고해상도 SAR 영상은 COSMO-SkyMed 4 영상을 사용하였다. Fig. 2에 나타낸 광학영상은 2015년 10월 7일에 촬영된 2.2 m의 공간해상도를 보유한 영상이며, 촬영 지역은 인도 뭄바이의 공항 부근이다. 실험자료로는 Red, Green, Blue 밴드를 합성하여 3 밴드의 tiff 형식 14bit 영상을 사용하였다. Fig. 3에 나타낸 SAR 영상은 2012년 4월 1일 촬영되었으며, 1 m의 공간해상도를 보유한 16bit 고해상도 영상이다. 촬영 지역은 광학영상과 동일하지만, 두 Raw Data는 이종 위성영상이므로 딥러닝 알고리즘의 입력 데이터로 사용하기 위하여 전처리 과정이 필요하다.

본 연구에서는 실험자료인 두 위성영상의 서로 다른 방사 해상도 및 기하 정보를 조정하는 전처리 과정을 수행하였다. CycleGAN 기반 학습에 사용될 두 데이터는 동일한 화소 값 범위를 가질 때 상대 도메인의 화소와 유사한 값을 모의할 수 있다. 또한, Pix2pix 기반 학습 과정 중 변환되는 La*b* 색 공간의 영상은 일반적으로 8-bit 영상을 취급하므로 두 실험 영상을 8-bit로 변환하여 실험하였다. 다음으로, 기하보정을 진행하였으며, 공간해상도가 다른 경우 Pixel Size도 함께 변환되는 점을 고려하여 비교적 높은 해상도인 SAR 영상을 기준으로 수행하였다. 본 실험에서는 1차 다항식으로 수동 기하보정을 진행하였으며, 광학영상은 기존 SAR 영상에 정합하여 겹치는 영역을 기준으로 7680×7168 크기의 영상을 추출하여 실험에 사용하였다. SAR 영상의 스펙클 (Speckle)을 제거하기 위하여 ‘Multi-look’ 과정과 ‘Filtering’ 과정을 수행하였다. 본 실험에서는 3개의 Multi-look을 적용하였고, Filtering 과정에서는 3×3 커널의 ‘Gamma Filter’를 사용하였는데, 이는 영상 내 객체들의 Edge를 유지하기 위한 가장 효율적인 방법으로 사용되었다^{(Seo et al., 2018)}.

Fig. 2. KOMPSAT-3A Image Used in the Experiment

Fig. 3. COSMO-SkyMed SAR Image Used in the Experiment

3.2 입력 데이터 생성

본 연구는 광학영상 내 구름 폐색영역을 복원하고자 두가지 방법에 대하여 실험하였다. 이때, 각 방법에 따라 광학영상으로부터 서로 다른 형태의 입력 영상을 생성해야 한다. 단일 알고리즘 방법은 CycleGAN 알고리즘으로 영상변환 및 컬러화 과정을 동시에 수행하므로 기존의 3 밴드 광학영상을 사용하였다. 반면, 다중 알고리즘 방법에서는 CycleGAN 알고리즘 기반의 영상변환 과정 후 Pix2pix 알고리즘 기반의 컬러화를 진행하므로, 단일 알고리즘 방법과 달리 컬러화 모델에 입력할 흑백의 광학영상을 도출해야 한다. 다중 알고리즘 방법에서는 광학영상의 평균 화소 값을 계산하여 Gray-scale 영상을 생성하였다.

3.3 딥러닝 학습을 위한 데이터세트 구축

실험영상은 학습 전 패치 영상으로 분할하여 Train Data와 Test Data로 구분하였다. CycleGAN 모델에서의 Train Data는 구름을 포함하지 않는 패치 영상들로 구성해야 하며, Test Data는 구름이 포함된 패치 영상들로서 변환이 필요하다. Pix2pix 모델에서의 Train Data는 색상을 학습해야 하므로 Red, Green, Blue 밴드를 보유한 광학영상의 패치 영상들로 구성하였다. 이때, 구름 폐색영역을 포함한 패치 영상들은 모델 학습에 악영향을 미치므로 CycleGAN 모델의 Test Data를 동일하게 학습 데이터에서 제거하였다. 데이터세트의 패치 영상들은 제한된 실험환경으로 인하여 512×512 크기로 설정하였다.

CycleGAN 모델의 데이터세트는 Fig. 4와 같이 한 영상에서 획득할 수 있는 216장의 패치 영상들로 구성하였다. 총 216장의 패치 영상 중 62장의 영상들을 Test Data로, 그 외 구름이 포함되지 않은 154장의 영상들은 Train Data로 사용하였다. 이때, Test Data는 Fig. 4 내 파란색으로 나타내었으며 모의 성능 분석을 위하여 구름이 없는 패치 영상 8장을 포함하고 있다. 다중 알고리즘 방법의 Pix2pix 모델에 필요한 Test Data는 CycleGAN 모델로부터 변환된 모의영상으로 구성되며 Train Data는 3 밴드의 광학영상을 사용하였다. 해당 Train Data는 한 도메인으로 학습되므로 SAR 영상과 겹치지 않는 영역을 포함할 수 있다. 이러한 이유로 154장의 Train Data에 226장을 추가하여 총 380장의 Train Data를 구성하였다. 이때, Test Data에 포함된 패치 영상은 제외하였다.

해당 실험은 Python 3.7.9 버전에서 수행하였으며, 머신러닝 라이브러리인 Pytorch 기반의 오픈소스를 사용하였다. 원활한 실험을 위하여 가상환경을 생성할 수 있는 Anaconda 기반으로 실험하였다.

Fig. 4. Train Data and Test Data for CycleGAN Experiments