2.1 관련 연구

카메라로 사진을 촬영하면 광각 렌즈 왜곡 및 각도 왜곡이 발생하여 이미지가 왜곡되는 현상이 발생한다. 기존에 연구된 이미지 왜곡을 판별하고 보정하는 시스템은 하나의 장소를 보정하기 위해 여러 각도에서 찍은 사진 데이터 혹은 사진의 왜곡 매개변수가 필요한 시스템^[3]과 특정 카메라의 왜곡을 보정하는 시스템이 존재한다^[4]. 또한 직선의 성분을 가지는 건축물 등을 이용하여 왜곡을 보정하는 방법^[5]도 존재한다. 데이터 하나를 판별 및 보정하기 위해 다양한 데이터가 필요하였던 선행 연구와 다르게 본 논문에서는 카메라 종류와 상관없이 단일 사진으로 왜곡을 판별하고 보정하는 방법을 제안한다.

2.2 Inception-V3

<그림 1>과 같이 Inception V3는 노드 간의 연결을 줄이고, 행렬 연산은 Dense 연산을 하는 구조이다. 기존의 Inception 모델과의 차이점은 Stem layer의 7×7 컨볼루션 연산을 3×3 연산을 세 번 하는 것으로 대체하고, 최적화 알고리즘으로 RMSProp을 사용한다는 점이다. 이전의 딥러닝 모델의 경우 layer 증가에 따라 연산량도 함께 많아져 학습에 많은 시간이 소요되었지만, Inception V3 모델은 컨볼루션 layer에서 사용하는 커널을 개선하여 연산의 복잡도를 줄이고 파라미터 수를 적게 사용함으로써 학습 속도를 향상하게 시킨다는 장점이 있다^[6]. 본 논문에서는 Inception-V3 모델을 이용하여 광각 렌즈 왜곡 판별에 적용하였다.

그림 1. Inception-V3 구조

Fig. 1. Structure of Inception-V3

2.3 CNN(Convolutional Neural Network)

CNN 이란 영상을 학습하기 위해 주로 사용되는 딥러닝 네트워크의 한 종류이다. 일반적인 딥러닝은 한 층의 노드가 그다음 층의 노드와 전부 연결되는 완전 연결 형태인데, 이는 과도한 파라미터를 만드는 원인이 되어 학습 속도를 느려지게 하고, 과적합의 원인이 된다. 이러한 문제를 해결하기 위해 합성곱 연산을 도입한 딥러닝인 CNN이 개발되었다^[7]. <그림 2>는 CNN의 구조이다. 본 논문에서는 CNN 모델을 이용하여 각도에 따른 왜곡 여부를 판별하고, 왜곡 판별을 위해 이미지 각도 및 색상을 변화시켜 적용하였다.

그림 2. Convolutional Neural Network 구조

Fig. 2. Structure of Convolutional Neural Network

3.1 System Overview

본 연구에서 제안하는 시스템 구성은 <그림 3>과 같다. 왜곡 판별을 하고자 하는 이미지가 입력되면 Inception-V3 모델을 이용하여 입력된 이미지에 광각 렌즈 왜곡이 있는지를 판별한다. 이미지에 광각 렌즈 왜곡이 있다고 판별되었을 경우 영상보정 과정을 통해 광각 렌즈에 의한 왜곡 발생하기 전의 이미지로 보정한다. 광각 렌즈 왜곡 보정이 완료되었거나, 광각 렌즈 왜곡이 발생하지 않으면 CNN(Convolutional Neural Network) 모델을 이용하여 해당 이미지에 대한 각도 왜곡 여부를 판단한다.

그림 3. 제안하는 시스템 순서도

Fig. 3. System Overview

이미지의 판별 결과는 왜곡이 없는 경우, 하이 앵글(High angle)인 경우, 로우 앵글(Low angle)인 경우 세 가지로 나뉜다. 그 중 하이 앵글 혹은 로우 앵글로 나타났을 경우, 영상보정 과정을 통해 원본 이미지 좌표를 변환하여 보정한다. 하이 앵글인 경우는 위쪽 부분의 폭이 좁아지도록 변환하고, 반대로 로우 앵글일 때 아랫부분의 폭이 좁아지도록 변환한다. 이미지가 실제로 볼 수 있는 모습의 차이가 줄어지도록 보정되어 출력된다.

3.2 Wide-angle lens distortion classification and calibration

카메라를 통해 3D 공간을 2D 이미지로 변환할 때 왜곡이 발생한다. 기존의 왜곡 보정 방법들은 여러 시점에서 촬영한 이미지를 이용하여 캘리브레이션을 진행하거나^[8], 카메라 매개변수를 미리 알고 있어야 이미지의 왜곡 보정이 가능하다. 그러나 본 논문에서는 딥러닝 및 영상보정 과정을 통해 입력된 이미지에 대한 광각 렌즈 왜곡(Wide-angle lens distortion)을 판별 및 보정을 하고자 한다.

3.2.3. Calibrates for Wide-angle lens distortion

분류된 광각 렌즈 왜곡 이미지 데이터셋으로 Bogdan 등^[9]의 논문에서 제공된 github를 참고하여 왜곡 보정을 수행했다. 동작은 두 단계로 나뉘는데, 첫 번째로는 초점거리(Focal length)와 왜곡 매개변수(Distortion)를 각각 46개, 61개의 범주로 나누어 이를 class(Feature)로 설정하여 분류를 진행한다. 이후 직접 생성한 데이터셋을 사용해서 Inception-V3 모델로 학습을 진행하며, 저장한 가중치로 예측을 수행한다. 카메라 매개변수를 모르는 새로운 이미지를 넣으면 46, 61개의 class 중 실제와 가장 근접한 class가 매칭되어 예측값으로 출력되는 구조이다. 두 번째로, 이 예측된 카메라 매개 변숫값을 가지고 보정을 진행한다. 보정은 매트랩(Matlab)으로 구성된 코드를 파이썬 코드로 변환하여 아래의 수식 (1)을 중심으로 보정하였다. 왜곡 이미지를 입력하면 수식 (1)과 추정된 고유 매개변수를 사용하여 단위 구(Sphere)에 다시 투영된다. 이후 이 구형 이미지는 수식 (2) 를 이용하여 양선형 보간법 적용 및 2D 좌표를 매핑함으로써 원하는 고유 매개변수로 영상 평면에 투영된다. 왜곡 매개변수(ξ)가 0으로 설정되면 다른 초점거리의 값을 사용하여 다양한 확대/축소 효과를 얻을 수 있다. 이렇게 보정된 결과는 <그림 4>와 같다.

(1)

$P_{s}=(\omega x,\: \omega y,\: \omega -\xi)w h\omega =\dfrac{\xi +\sqrt{1+(1-\xi^{2})(x^{2}+y^{2})}}{x^{2}+y^{2}+1}$

(2)

$ P=q(\beta A+\alpha B)+p(\beta D+\alpha C)\\ =q\beta A+q\alpha B+p\beta D+p\alpha C $

그림 4. 광각 렌즈 왜곡 보정 전(왼쪽)과 후(오른쪽)

Fig. 4. Wide-angle lens distortion calibration before(left) and after(right)

3.3.1. Classification for Camera angle distortion

CNN(Convolutional Neural Network) 모델을 이용하여 각도에 따른 왜곡 여부를 판별하였으며, 왜곡 판별을 위한 딥러닝 작업을 수행시키기 위해 이미지의 각도 및 색상을 변화시켜 데이터셋의 양을 증가시켜 실험에 사용하였다. 실험 진행을 위해 사용한 학습 횟수는 100회이며, 약 1,500개의 데이터를 이용하여 훈련을 진행하였다. 카메라 앵글 왜곡 판별 딥러닝 정확도는 <그림 5>와 같다.

그림 5. 훈련 및 검증 정확도

Fig. 5. Training and Validation Accuracy

3.3.2 Calibrates for Camera Angle Distortion

딥러닝을 이용한 왜곡 판별을 거친 결과가 하이 앵글 혹은 로우 앵글인 이미지는 실제 눈으로 보는 장면과 차이가 존재해서 각도 보정을 진행하여야 한다. 카메라 앵글 왜곡을 보정하기 위해서는, 멀리 있는 것은 작게 보이고, 가까이 있는 것은 크게 보이는 원근법의 원리를 적용하여야 한다. 이를 바탕으로 만들어진 것이 원근 변환 방식이며, 본 논문에서는 원근 변환 방법을 통해 보정을 한다. 이때 사용된 수식 (3)은 다음과 같이 표현된다^[11].

$x',\: y'$는 입력된 원본 이미지의 픽셀 좌표를 의미하며, $x,\: y$는 원근 변환을 거친 후 나온 이미지의 픽셀 좌표를 의미한다.

보정 동작은 다음과 같이 진행되게 된다. 왜곡 판별이 끝난 이미지 중 보정을 원하는 이미지는 가로, 세로 크기를 측정하여 임시 변수에 값을 저장한다. 저장된 값을 일정한 범위별로 나누어, 해당하는 범위에 따라 정해진 임시 값을 받아오게 된다. 그렇게 받아온 임시 값을 이용해 이미지의 좌푯값을 이동시켜 이미지의 폭을 변환하게 된다. 판별의 결과가 로우 앵글 이미지의 경우에는 원본 이미지의 아랫부분 폭이 좁아지도록 보정을 진행하고, 판별 결과가 하이 앵글 이미지의 경우에는 원본 이미지의 위쪽 부분의 폭이 좁아지도록 보정 한다.

위의 과정을 거치면서 소실된 외각 부분을 잘라내면 <그림 6>과 같은 결과 이미지를 얻게 된다. 그림 (a)는 하이 앵글로 촬영한 이미지를 보정한 결과이고, 그림 (b)는 로우 앵글로 촬영한 이미지를 보정한 결과이다.

4.1 System Operation

본 연구에서 제안한 프로그램의 동작을 전체적으로 확인할 수 있게 간단히 웹과 서버를 구축하였다. Flask 프레임 워크를 사용하여 서버를 구축하였으며, HTML을 이용하여 웹을 구축하였다. 본 연구에서 학습시킨 각각의 딥러닝 모델을 .h5 파일로 저장한 후, 웹에서 시스템이 동작할 수 있도록 해당 파일이 동작하도록 설계하였다. 자세한 실험 환경은 <표 1>과 같다.

그림 6. 카메라 앵글 왜곡 보정 전(왼쪽)과 후(오른쪽)

Fig. 6. Camera Angle distortion calibration before(left) and after(right)

4.2 Experimental Result

프로그램을 동작시키기 위한 웹페이지의 프로토타입은 <그림 7, 8>과 같다.

그림 7. 실험 환경 프로토타입

Fig. 7. Prototype of Experiment Environment

그림 8. 실험 환경

Fig. 8. Experiment Environment

<그림 9, 10>은 왜곡된 이미지를 입력하면, 제안하는 시스템 구성 순서에 기반하여 <그림 9>와 같이 광각 렌즈 왜곡 및 앵글 왜곡 판별한 후 해당하는 왜곡을 보정하는 화면이 출력된다. <그림 9>는 광각 렌즈 왜곡과 카메라 앵글 왜곡이 모두 존재하고, 광각 렌즈 왜곡 정도는 초점거리 278.51, 왜곡 매개변수 0.49로 측정되었으며 카메라 앵글 왜곡은 하이 앵글로 판별된 결과이다. <그림 10>은 광각 렌즈 왜곡과 카메라 앵글 왜곡이 모두 존재하지 않아서 광각 렌즈 왜곡 정도에서의 왜곡 매개변수가 0.04로 측정되었다. 카메라 앵글 왜곡 또한 아이 레벨의 앵글로 판별된 결과이다.

그림 9. 카메라 광각 렌즈 왜곡 및 각도 왜곡 결과

Fig. 9. The Result of Wide Lense Distortion and Camera Angle Distortion

그림 10. 비 왜곡 결과

Fig. 10. The Result of Non-Distortion