정지헌
(Ji Heon Jung)
1iD
조수민
(Su Min Jo)
2
어양담
(Yang Dam Eo)
3†
박진혁
(Jinhyeok Park)
4
최연오
(Yeon Oh Choi)
5
-
정회원 · 건국대학교 대학원 기술융합공학과 석사과정
(Konkuk University · wjsqhr04@konkuk.ac.kr)
-
정회원 · 건국대학교 대학원 기술융합공학과 박사과정
(Konkuk University · jsm302@konkuk.ac.kr)
-
정회원 · 교신저자 · 건국대학교 사회환경공학부 교수
(Corresponding Author · Konkuk University · eoandrew@konkuk.ac.kr)
-
(주)로딕스 신기술연구소·수석연구원
(Lodics Co,. LTD · daniel@lodics.com)
-
(주)로딕스 신기술연구소·전임연구원
(Lodics Co,. LTD · hnchoi@lodics.com)
Copyright © 2021 by the Korean Society of Civil Engineers
키워드
열적외영상, 가시영역, 모의, CycleGAN, 컬러화
Key words
Thermal infrared image, Visible range, Simulation, CycleGAN, Colorization
1. 서 론
CCTV나 일반카메라와 같이 가시영역 파장대 에너지를 감지해서 영상화 하는 것은 야간에 낮은 조도로 인해 영상 전체영역이 매우 어둡고, 사물의 구별이
어려운 한계가 있다(Bae et al., 2020). 최근 카메라 성능의 급격한 발전과 함께 낮은 조도의 야간영상의 시각화를 향상시키는 방안으로 야간 투시경 같은 근적외 영상을 이용하는 방법, 주간영상과
야간영상을 학습하여 이를 모의하는 방법 그리고, 열적외영상을 활용하는 방법 등의 연구가 이루어지고 있다(Toet, 2005; Bae et al., 2020; Yang et al., 2023).
열적외 카메라 단독 센서를 사용하는 경우, 대상물이 방출하는 열적외선 에너지를 감지하고 이를 전기신호로 변환하여 영상화하기 때문에 조도가 낮은 상황에서도
사용이 가능하여 가시영역 범위의 카메라에 비해 영상내 객체인식이나 판독에 유리하지만 단일 적외선 영역만을 감지하므로 단일 색상의 흑백영상으로 생성된다.
또한, 가시영역 파장대를 이용하는 광학 영상에 비해 해상도가 떨어져서 가시성이 저하되는 한계가 있다(Jenson, 2007).
이러한 한계점을 극복하기 위한 방안 중 하나는 열적외 카메라 영상의 컬러화이다. 즉, 영상 내 물체 인식은 물체의 색채 특성에 대한 저장된 지식에
의존하는 부분이 있으므로 컬러화를 진행할 경우 명확하고 빠르게 주변 환경을 인식하고 정보를 획득하는 것이 가능하다(Hamam et al., 2012). 가시영역에 촬영된 흑백영상의 컬러화는 오래전부터 연구가 진행되었으나 방사특성으로 생성된 열적외영상의 컬러화와는 상이하여 반사에너지를 고려한 이전
연구 결과를 그대로 사용하기 어렵고 특히 야간에 촬영된 열적외영상의 주간컬러화(NTIR2DC: Nighttime Thermal InfraRed to
Daytime Colorization)는 독자적인 연구분야로 최근에 대두되고 있다(Ciftci and Akcayol, 2021; Luo et al., 2022).
일반적으로 열적외영상을 가시영역의 컬러영상으로 변환하는 연구로는 주로 GAN을 기반으로 진행되어 왔고, 여기에는 CycleGAN, PearlGAN,
DlamGAN 등이 실험되어 좋은 결과를 보여주고 있다(Nyberg et al., 2018; Luo et al., 2021; Luo et al., 2022). 특히 Luo et al.(2022)는 ClawGAN을 이용하여 열적외 얼굴 이미지 영상을 RGB 영상으로 변환하였고, Wang et al.(2022)는 계층적 네트워크를 이용하여 열적외영상을 색상화하였다. Yang et al.(2023)은 짝을 이루지 않는 열적외영상을 GMA-CycleGAN을 통해 광학 영상으로 변환하는 방법을 제시하였으며, 딥러닝 기반 texture-Net을 이용해
야간 회색조 가시 영상으로의 변환과 컬러화방법을 제시한 바 있다(Liu et al., 2020). 그런데, 전문 장비가 아닌 저가의 열적외선 카메라를 대상으로 주야간 영상이 짝지어지지 않은 상태의 연구가 진행된 바가 없어서 그 결과의 범용성을
확인하기 어렵다.
본 연구에서는 정합되지 않은 주야간 영상을 대상으로 휴대용 열적외 카메라를 사용하고, 모의 정확도 향상을 위해 주간영상과 야간영상의 온도변화 관계를
식으로 구성하였다. 학습한 CycleGAN 모델을 통해 컬러영상을 모의 생성하고 그 결과를 분석하여 제안 모델의 구현유사성을 검토하고 활용성을 살펴보고자
한다.
2. 실험자료
실험을 위해 비냉각식의 스마트폰용 휴대용 열적외 카메라인 FLIR ONE PRO 모델을 사용하여 건국대학교 캠퍼스 일부 산림, 도로, 건물을 고루
포함한 지역을 촬영했다. 주간 광학-열영상 115쌍을 촬영했으며, 야간 열적외영상은 총 22장을 촬영하였다. 열적외 카메라는 일반적인 광학카메라와
같이 어떤 사물에 반사된 빛이 카메라에 수신되어 사물을 인식하는 것이 아닌, 물체에서 방출되거나 반사되는 적외선의 상대적인 강도를 카메라가 수신하여
수치화하여 표현한다. 물체에서 방출되거나 반사되는 적외선은 일반적인 가시광선보다 긴 파장을 가지고 있고, 열적외 카메라 센서는 동일한 크기의 광학
영상보다 화소 수가 적어 공간해상도가 상대적으로 낮게 표현된다. 해당 카메라는 열적외영상 외에 컬러영상도 함께 촬영되므로 학습자료로 사용되었다. 컬러영상은
1440*1080의 해상도를 가진다. Table 1은 FLIR ONE PRO 카메라의 사양이다.
본 연구에서 CycleGAN의 적용을 위해 주간 열적외영상-야간 열적외영상 그리고 주간 열적외영상-주간 컬러영상 간의 학습이 이루어져야 한다. FLIR
ONE PRO 카메라의 경우 영상에 워터마크와 온도 측정 스팟이 포함되므로 이를 제거해야 한다. 열적외영상은 좌측 28화소, 우측 44화소 하단 44화소를
잘라내었고, 컬러영상은 63화소, 우측 99화소, 하단 99화소를 잘라내었다. 따라서 열적외영상은 408*596 크기의 학습영상으로 제작되고, 컬러영상은
918*1341의 영상으로 제작된 후, 열적외영상과의 학습 일관성을 위하여 408*596로 크기조정을 하였다. 파이썬 3.7.9버전으로 프로그래밍하였고,
컬러영상 크기조정에는 opencv 라이브러리의 INTER_AREA 보간이 적용되었다. INTER_AREA 보간은 영상의 사이즈를 크기조정 과정에서
원본 화소 중 여러 화소의 평균값이 최종 화소로 결정되며, 원본 영상에서 여러 화소가 하나의 최종 화소로 합쳐질 때 발생하는 정보 손실을 최소화하여
영상의 선명도를 유지하고, 잡음을 제거하며 크기조정이 가능하다는 특징이 존재한다.
Fig. 1은 실험지역 촬영 원본영상으로 (a)는 주간 열적외 카메라 촬영 영상, (b)는 주간 컬러영상, (c)는 야간 열적외 카메라 영상이다. Fig. 2는 워터마크 및 온도 측정 스팟을 제거 한 영상으로 (a)는 주간 열적외 촬영 영상, (b)는 주간 컬러영상이다.
온도 영상은 FLIR 카메라의 전용 소프트웨어인 FLIR Tools를 통하여 각 화소마다의 온도 값을 CSV 형태로 추출할 수 있다. 추출한 CSV는
열적외영상과 마찬가지로 480행 640열을 가지고 있으며, 파이썬 opencv를 통해 열적외 영상과 같이 408*596 크기의 단일 밴드 영상으로
제작하였다.
주간 열적외영상-주간 컬러영상 간의 학습을 위해서는 두 도메인 간의 일관성을 유지해야 한다. 주간 컬러영상의 경우 3밴드의 RGB 형태의 영상이고,
주야간 열적외영상의 경우 단일 밴드의 그레이스케일 영상이므로, CycleGAN 학습에 있어 두 영상의 밴드 수의 일관성을 유지하는 것이 유용하다.
본 실험에서는 이러한 일관성을 유지하기 위하여 주야간 열적외영상에 온도 영상을 합성시켜 1밴드는 열적외 영상, 2밴드와 3밴드는 온도 영상이 들어가도록
하여 주간 컬러영상과 마찬가지인 3밴드로 제작하였다.
Table 1. Specifications of FLIR ONE PRO
|
Thermal Resolution
|
160*120
|
|
Thermal Sensitivity(NETD)
|
70 mK
|
|
Thermal Sensor
|
Pixel Size 12 ㎛, 8 to 14 ㎛ Spectral Range
|
|
Object Temperature Range
|
-20℃ ~ 120℃ and 0℃ ~ 400℃
|
|
Emissivity Settings
|
95 %, 80 %, 60 %, 30 %
|
|
HFOV / VFOV
|
50° ± 1°/ 43° ± 1°
|
|
Accuracy
|
Typically ±3℃ or ±5 %
|
|
Spot Meter
|
Resolution 0.1℃
|
Fig. 1. Original Experimental Images: (a) Day TIR, (b) Day RGB, (c) Night TIR
Fig. 2. Experimental Images with Watermark and Temperature Measurement Spot Removed: (a) Day TIR, (b) Day RGB
3. 제안 방법
Fig. 3은 본 실험의 전체 흐름도이다. 실험의 전체 진행은 주야간의 열적외 영상과 주야간의 온도 영상을 합성시켜 주야간 합성 영상을 생성한 후, 주야간의
합성 영상끼리 CycleGAN 학습을 진행하여 FAKE 주간 열적외 영상을 생성한다. 생성한 FAKE 주간 열적외 영상의 화소값을 출력자료로 설정하고,
CycleGAN의 test로 사용한 야간 합성 영상의 화소 값과 온도 값을 입력자료로 온도 변환 회귀식을 구성한다. 생성된 온도 변환 회귀식에 CycleGAN에
사용하지 않았던 야간 합성 영상을 입력시켜 주간영상화된 야간 열적외 영상을 출력한다. 이후 CycleGAN에 사용하지 않은 주간 합성 영상을 TRAIN
A, 주간 영상화된 야간 열적외 영상을 TEST A로 구성하고, TEST A와 같은 지역에 해당하는 주간 광학 영상을 TEST B, 그 외 주간 광학
영상은 TRAIN B로 구성하여 CycleGAN을 통해 학습시킨 후 최종 결과 영상을 출력한다.
Fig. 3. Overall Research Flowchart
3.1 Night-to-day 온도차 관계구성을 위한 정규화
야간의 열적외 영상과 주간의 열적외 영상은 낮에 태양열로 인해 올라간 기온과 물질들의 비열에 따라 같은 대상을 촬영한다 해도 차이가 난다. 이러한
현상은 계절과 기상조건 그리고 촬영지역 특성에 따라 달라지게 되므로 야간열적외영상이 갖는 특성이 될 수 있다.
본 연구에서는 이러한 주간과 야간의 온도차 관계의 구성을 위해 우선 FLIR사에서 제공하는 FLIR Tools 소프트웨어를 통해 촬영 당시 열적외
영상 내의 최대 측정 온도와 최소 측정온도를 -20℃∼40℃로 리샘플링하여 모든 열적외 영상 내의 최대최소 측정 온도를 동일하게 해주었고, 열적외
영상 촬영시 계절적인 차이를 줄여주었다. 이후 동일하게 FLIR Tools로 열적외 영상 내 화소마다의 측정 온도값을 CSV형태로 추출하였고, 온도
영상으로 제작하였다.
제작 과정 중 온도값이 소수점 3자리로 추출되어 uint8의 jpg 형식으로 출력되던 기존 열적외 영상과 동일한 형태로 제작하게 될 경우 온도값의
데이터의 손실이 발생하기 때문에 주야간 열적외 영상, 주간 광학 영상 모두 uint16의 tif 영상으로 데이터 타입을 변환하였다.
온도 영상의 경우 소수점을 제거하기 위해서 위의 Eq. (1)의 방법을 사용하여 정규화를 진행했다. 열적외영상의 정규화 과정중 FLIR Tools를 통해 -20℃~40℃로 리샘플링을 진행했기 때문에 온도 영상도
동일하게 범위를 지정해주기 위하여 60의 범위로 나누어 준 후, uint16의 화소값과 동일한 65535로 정규화를 진행해주었다.
3.2 주야간 온도변화 관계를 고려한 야간 열영상의 주간열영상 변환
본 실험에서 사용하는 두 가지 열적외 자료, 주간 열적외 영상과 야간 열적외 영상은 동일한 지점에서 촬영을 진행했지만, 주간과 야간의 일교차, 물체
간의 비열이 상이함에 따라 온도 분포의 차이 등 환경 조건이 시간의 흐름에 따라 변화하고, 측정자의 손떨림과 같은 개인 오차와 환경오차가 발생하여
두 영상 간의 차이가 존재하는 완벽하게 정합이 되어 있지 않은 형태이다. 그렇기에 두 영상 안에 같은 물체가 촬영되어 컬러 매핑에 오류를 줄이고자
야간 열적외 영상의 형상을 가지며, 주간 열적외 영상의 화소값을 가진 형태의 영상을 생성하여, 야간 열적외 영상의 주간영상화를 진행하였다.
야간 열적외 영상의 주간 열적외 영상 변환은 주간 열적외, 주간 온도 영상을 합성(Composite)시킨 영상과 같은 장소를 촬영한 야간 열적외,
야간 온도 영상을 합성시킨 영상을 학습시킨다. 이때 학습에 사용할 주야간 합성 영상 쌍의 개수가 14장으로 학습에 사용하기에는 자료의 양이 부족하여,
56장으로 증강하였다. 이렇게 증강된 데이터셋을 CycleGAN으로 학습한다. 학습의 매개변수는 선험적인 과정을 토대로 영상 입력크기 596*408,
학습률 0.0005, 배치 사이즈 1, 풀 사이즈 10으로 학습을 진행하였고, 학습된 CycleGAN 모델에 학습에 사용하지 않은 야간 합성 영상을
입력시켜 FAKE 주간 열적외 영상을 생성한다. 정규화된 온도 영상을 열적외영상과 영상 밴드를 CycleGAN에 학습시키는데, 밴드 1에는 열적외
영상, 밴드 2와 3에는 온도 영상이 들어가도록 하여 주간 컬러영상과 마찬가지로 3밴드로 제작해주었다.
이후 Fig. 4에서 보듯이 FAKE 주간 열적외 영상과 야간 열적외 영상 두 영상간의 화소값과 온도값 관계의 분석을 위해 FAKE 주간 열적외 영상과 야간 열적외
영상의 화소값과 온도값을 1차원 배열로 입력받아 X1 (야간 열적외 영상의 화소값)과 X2 (야간 온도값), Y (FAKE 주간 열적외 영상의 화소값)으로
입력 변수와 출력 변수를 형성한다. 선형회귀 함수로 X1과 X2 값을 사용하여 출력변수 Y를 예측하는 훈련을 진행하여, Fig. 4 안의 식과 같은 형태의 2차원 다항식의 선형 변환식을 생성한다. 생성된 선형 변환식에 CycleGAN 학습에서 사용하지 않았던 야간 열적외 영상을
입력시켜 최종적으로 야간 열적외 영상을 주간 열적외 영상 변환을 진행한다.
Fig. 4. Construction of a Linear Transformation Equation between Daytime Thermal Infrared and Nighttime Thermal Infrared Images
3.3 모의된 주간열영상의 컬러화
주간 열적외 영상과 주간 온도 영상을 합성한 3밴드 영상과 주간 컬러영상을 CycleGAN 모델을 통해 학습시킨다. 이 때 주간 합성 영상과 주간
광학 영상은 서로 정합되어 있는 모델이지만, TEST 자료로 사용할 주간영상화 된 야간 열적외영상은 야간 열적외 영상의 형상을 띄고 있기 때문에 정렬되지
않은 자료로도 학습이 가능한 CycleGAN 모델을 통해서 컬러화를 진행한다. 주간 합성 영상과 주간 컬러영상으로 학습한 CycleGAN 모델에 변환식
결과 영상을 입력자료로 사용하여 최종적으로 열적외영상의 컬러화를 진행하였다.
4. 결과 및 분석
4.1 정성적 분석
본 연구에서는 야간 열적외영상을 컬러영상으로 변환하고자 CycleGAN과 온도변화 회귀식을 통한 단계별 모의를 진행하였다. 실험의 진행은 제안 방법을
이용한 야간 열적외영상의 주간 영상화와 CycleGAN을 이용한 컬러화를 진행하였다. CycleGAN 학습에 있어서 학습 매개변수는 선험적으로 설정하여
결과 및 분석을 위해 진행한 실험은 영상의 입력 크기 596*408, 학습률 0.0005, 배치 사이즈 1, 풀 사이즈 10으로 학습을 진행하였다.
Figs. 5, 6, 7은 8개의 실험지역 중 일부인 A, B, D의 주간 컬러영상과 실험 결과 영상, 주간영상화를 진행한 야간 열적외영상으로 결과 비교 분석에
사용하였다. (a)는 주간 컬러영상, (b)는 최종 결과 영상, (c)는 주간 영상화된 야간 열적외영상이다.
Fig. 5는 전방의 흰색 건물과 식생이 포함된 지역으로 (b) 영상에서는 지면과 식생의 색상 구분이 가능하며, 나무줄기와 식생의 색상이 (a)와 유사함을 확인할
수 있다. 다만 (c)에서 확인할 수 있듯이 여러 객체의 야간 온도가 유사하기 때문에, 보도블럭과 지면과 맞닿아 있는 식생의 경계가 뚜렷하게 출력되지
않았고, 전방의 흰색 건물의 창문과 출입구 등 건물의 세부적인 요소 컬러화가 정상적으로 구현되지 못하였다.
Fig. 6은 식생과 산책로, 전방의 가로등이 포함된 지역이다. Fig. 6의 (b)에서는 나무줄기와 나뭇잎과 같은 식생의 미세한 부분까지 원 영상과 유사하게 컬러화가 진행되었고, 나뭇잎의 경계면이 뚜렷하게 보이는 것을 확인할
수 있으며, (a)에서는 주간 컬러영상에서는 식별하기 어려운 전방 가로등의 불빛이 (b)에서는 비교적 쉽게 식별가능했다. 다만 (c)에서 확인할 수
있듯이 야간 온도의 유사성으로 지면, 전방의 산책로 계단과 보도블럭의 색상이 서로 유사한 색상을 가지는 컬러 매핑 오류가 발생했다.
Fig. 7은 아스팔트 도로와 보도블럭이 나누어져 있으며, 영상의 좌우로 식생이 존재하는 지역이다. (b)에서는 식생의 주간 컬러 모의가 주간 컬러영상과 유사하게
나왔음을 확인 할 수 있고, 가로등의 불빛이 모의된 것을 확인할 수 있었다. 다만 (c)에서 보게 되면 보도블럭의 일부가 식생과 비슷한 온도를 가지고
있어 보도블럭 부근에 식생과 비슷한 녹색의 색상으로 컬러매핑이 진행된 것을 확인할 수 있었고, 아스팔트 도로의 컬러화는 정상적으로 구현되지 못하였다.
Fig. 5. Comparison of Day RGB, Result Image, and Translated Night TIR- A: (a) Day RGB, (b) Result, (c) Translated Night TIR
Fig. 6. Comparison of Day RGB, Result Image, and Translated Night TIR-B: (a) Day RGB, (b) Result, (c) Translated Night TIR
Fig. 7. Comparison of Day RGB and Result Image, Translated Night TIR-H: (a) Day RGB, (b) Result, (c) Translated Night TIR
4.2 정량적 분석
본 실험에서는 시각적인 분석뿐만이 아니라 정량적인 분석을 위하여 성능지표로써 SSIM과 PSNR을 산출하였다. PSNR(Peak Signal-to-Noise
Ratio)은 영상의 손실 정보를 평가하여 유사성 측정에 사용되는 지표로, 높은 값을 보일수록 두 영상이 서로 유사함을 의미한다. SSIM(Structural
Similarity Index Map)은 두 영상 간의 밝기, 대비, 구조 세 가지 요소를 비교하여 높을수록 원 영상과 구조적으로 유사함을 나타낸다.
Table 2는 A에서 H까지 총 8장의 주야간 온도변화를 고려한 야간 열적외영상의 주간 컬러화 실험 결과 영상과 주간 컬러영상 간의 성능지표를 산출하여 나타냈으며,
Table 3에서는 A에서 H까지 총 8장의 주간 열적외영상, 주간 컬러영상 간의 CycleGAN 학습 결과 영상과 주간 컬러영상 간의 성능지표를 산출하였다.
다만 두 실험 결과 영상은 야간 열적외영상의 형상을 띄고 있어, 주간 컬러영상과 완벽하게 정합이 되어 있지 않음에도 불구하고 전체적으로 비교적 높은
수치를 나타내고 있다.
Table 2의 총 8장의 실험 결과에 대한 영상 각각의 평가지표를 비교하였을 때, SSIM 수치는 F 영상이 가장 높은 수치인 0.3101을 보였고, PSNR
수치는 A, D, E 영상이 51.2277로 가장 높은 수치를 보였다.
온도 변화를 고려한 컬러화 실험과 CycleGAN 실험의 성능지표를 비교하였을 때, SSIM 수치는 평균 약 0.2304에서 0.2449로 상승하였고,
PSNR 수치는 평균 0.002 정도로 소폭 하락하였다. F영상의 경우 SSIM 수치가 약 0.2153에서 0.3101로 0.0948의 가장 높은
상승량을 보였으며, G영상의 경우 PSNR 수치가 0.0017 증가되었다. 이 과정에서 온도 변화를 고려한 컬러화 실험이 CycleGAN 실험의 결과보다
원 영상에 가까운 컬러화가 진행되었음을 확인할 수 있다.
Table 2. SSIM and PSNR of the Proposed Methods
|
Image
|
SSIM
|
PSNR
|
|
A
|
0.2627
|
51.2277
|
|
B
|
0.2345
|
51.2251
|
|
C
|
0.2217
|
51.2203
|
|
D
|
0.2234
|
51.2277
|
|
E
|
0.2574
|
51.2277
|
|
F
|
0.3101
|
51.2247
|
|
G
|
0.2189
|
51.2255
|
|
H
|
0.2305
|
51.2248
|
|
mean
|
0.2449
|
51.2254
|
Table 3. SSIM and PSNR of CycleGAN Training Results for Day TIR Image and day RGB Image
|
Image
|
SSIM
|
PSNR
|
|
A
|
0.2615
|
51.2274
|
|
B
|
0.2186
|
51.2319
|
|
C
|
0.2303
|
51.2321
|
|
D
|
0.2261
|
51.2241
|
|
E
|
0.2511
|
51.2316
|
|
F
|
0.2153
|
51.2256
|
|
G
|
0.2245
|
51.2238
|
|
H
|
0.2158
|
51.2252
|
|
mean
|
0.2304
|
51.2277
|
5. 결 론
본 연구에서는 야간 환경에서의 열적외영상 가시성 향상을 위해 주간 컬러화 영상으로의 모의 방법을 실험하였고, 야간 열적외영상과 주간 열적외영상의 모의하고
모의된 주간 열적외영상의 컬러화 단계로 구성하였다. 특히, 주야간 열적외영상 간 모의를 위한 학습자료 구성시 온도변화를 고려하기 위해 두 영상간 상관회귀식을
구성하여 모의정확도를 향상시키고자 하였다. 영상간 학습과 모의는 CycleGAN으로 모델링했다. 범용으로 사용되는 열적외카메라를 활용하였고, 열적외영상과
온도 영상 그리고 함께 촬영되는 컬러영상을 학습시켜서 야간 열적외영상에 대한 컬러화 방법을 실험한 결과, 식생과 같은 복잡하고, 세부적인 모의도 가능하며,
성능 평가 지표로 SSIM 값은 약 0.2449, PSNR 값은 약 51.2254를 평균값으로 나타냈다. 이는 완벽하게 정합되어 있지 않은 영상끼리의
성능평가 임에도 불구하고 활용성을 입증하였다. 다만 실험에 사용한 열적외 카메라의 정확도가 ±3℃로 명확하지 않고, 낮은 해상도로 인하여 열적외영상의
경계가 뚜렷하게 촬영하는데 한계가 존재하여, 추후엔 근적외영상을 대상으로 보다 많은 센서자료들을 융합하여 주간에서 촬영한 컬러영상으로 모의 정확도를
향상시킬 필요가 있다.
Acknowledgements
This work was supported by KOITA grant funded by MSIT(R&DCENTER Capability Enhancement
Project, 1711199726).
References
"Bae, J., Park, S., Ho, H. and Sohn, H. (2020). “A study on the application of object
detection technique after transforming night image into daytime image.” KSCE 2020
Convention Conference, Jeju, Korea, pp. 1474-1475 (in Korean)."
"Ciftci, O. and Akcayol, M. A. (2021). “Thermal infrared colorization using deep learning.”
2021 8th International Conference on Electrical and Electronics Engineering (ICEEE),
Antalya, Turkey, pp. 323-326, https://doi.org/10.1109/iceee52452.2021.9415929."
"Hamam, T., Dordek, Y. and Cohen, D. (2012). “Single-band infrared texture-based image
colorization,” 2012 IEEE 27th Convention of Electrical and Electronics Engineers in
Israel, Eilat, Israel, pp. 1-5, https://doi.org/10.1109/EEEI.2012.6377111."
"Jensen, J. R. (2007). Remote sensing of the environment: An earth resource perspective.
Pearson Prentice Hall."
"Liu, S., Gao, M., John, V., Liu, Z. and Blasch, E. (2020). “Deep learning thermal
image translation for night vision perception.” ACM Translations on Intelligent Systems
and Technology, Vol. 12, No. 1, pp. 1-18, https://doi.org/10.1145/3426239."
"Luo, F., Cao, C. and Li, Y. (2021). “Nighttime thermal infrared image colorization
with dynamic label mining.” In Image and Graphics: 11th International Conference,
ICIG 2021, Haikou, China, 2021, Proceedings, Part III. Springer-Verlag, Berlin, Heidelberg,
pp. 388-399, https://doi.org/10.1007/978-3-030-87361-5_32."
"Luo, F., Li, Y., Zeng, G., Peng, P., Wang, G. and Li, Y. (2022). “Thermal infrared
image colorization for nighttime, driving scenes with top-down guided attention.”
Institute of Electrical and Electronics Engineers (IEEE) Transactions on Intelligent
Transportation Systems, Vol. 23, No. 9, pp. 15808-15823, https://doi.org/10.1109/tits.2022.3145476."
"Nyberg, A., Eldesokey, A., Bergström, D. and Gustafsson, D. (2019). “Unpaired thermal
to visible spectrum transfer using adversarial training.” Computer Vision-ECCV 2018
Workshops."
"Toet, A. (2005). “Colorizing single band intensified nightvision images.” Displays,
Vol. 26, No. 1, pp. 15-21, https://dx.doi.org/10.1016/j.displa.2004.09.007."
"Wang, H., Cheng, C., Zhang, X. and Sun, H. (2022). “Towards high-quality thermal
infrared image colorization via attention- based hierarchical network.” Neurocomputing,
Vol. 501, Issue C, pp. 318-327, https://doi.org/10.1016/j.neucom.2022.06.021."
"Yang, S., Sun, M., Lou, X., Yang, H. and Zhou, H. (2023). “An unpaired thermal infrared
image translation method using GMA-CycleGAN.” Remote Sensing, Vol. 15, No. 3, https://doi.org/10.3390/rs15030663."