1. 서 론

1.1 연구배경

SAR 센서는 능동형 센서로 전천후 지상관측이 가능하여 주기적인 국토 모니터링, 재해 상황 감시 등에 활발하게 활용되고 있다

이에 주기적인 국토관리를 위한 자동화된 영상 처리 기법들이 요구되고 있으며, 특히 영상 정합기법은 대용량 SAR 영상 처리를 위한 중요한 프로세스이다. 그러나 SAR 영상의 특성 상 촬영 일시나 촬영 각도, 방향에 따라 영상 내 밝기 값 양상이 상이하여 자동화된 기법 적용이 쉽지 않다(Suri et al., 2010).

기존 영상 정합 수행을 위해 사용되는 기본적인 기법으로는 교차상관법(Cross Correlation)이 있다. 그러나 교차상관법은 같은 센서로부터 취득된 영상의 정합에 적합하며, 촬영 기하에 따라 다른 양상으로 나타나는 SAR 영상에 적용하기에는 한계가 있다(Roche et al., 1999; Chen et al., 2003).

MI (Mutual Information) 기법은 의학 분야에서 사용하는 영상 정합 기법으로 영상의 밝기 값을 이용하여 영상 정합을 수행하는 것으로 알려져 있다(Pluim et al., 2000; Maes et al., 2003). Suri and Reinartz (2010), Chen et al. (2003)은 MI 기법을 이용하여 광학 위성과 SAR 위성간의 영상 정합을 시도하였다(Chen et al., 2003; Suri and Reinartz, 2010). 그러나 다양한 지모지물이 존재하는 위성 영상의 경우, 일반적인 MI 기법만으로는 정합이 수행되지 않는다는 한계가 있으며, 이는 일반적인 MI기법에 기울기 속성을 추가한 기법을 이용하여 성능을 개선할 수도 있다(Pluim et al., 2000; Safronov et al., 2006).

FMT (Fourier-Mellin Transform) 기법은 영상을 주파수 영역으로 변환하여 영상 간 변위량, 회전량을 산출하는 기법으로 대상물의 축척은 변하지 않았으나 회전된 영상에 대해 정합을 수행하기 위해 제안되었다(Srinivasa and Chatterji, 1996). Abdelfattah and Nicolas (2005)는 FMT를 기법을 이용한 두 장의 InSAR 복소영상의 상호정합에 대한 연구를 수행한 바 있다(Abdelfattah and Nicolas, 2005).

SIFT 기법(Scale-Invariant Feature Transform)은 축척 변화와 회전이 존재하는 영상에 대한 정합을 위한 기법으로 위성 영상, 객체 인식, 로봇 공학 등 여러 분야에서 이용되고 있으며, SAR 영상 정합에의 위한 연구도 Wessel et al. (2007)과 Jing-zheng and Xu-chu (2008)에 의해 수행된 바 있다(Lowe, 2004; Wessel et al., 2007; Jing-zheng and Xu-chu, 2008). 그러나 SIFT 알고리즘은 공액점의 정확도는 영상 내 밝기 값 특성, 지모지물 특성에 영향을 많이 받는다. 특히 SAR 영상은 촬영기하에 따라 영상 내 밝기 값 특성이 크게 달라짐으로써 정합 정확도에 큰 영향을 받게 된다.

이와 같이 SAR 영상 자동정합을 위한 연구가 시도되고 있으나 다양한 해상도, 촬영자세에 따라 상이하게 나타나는 영상에 대한 엄밀한 정합방법이 제시되고 있지 않으며, 각 방법의 적용을 위한 기준이 불분명한 상황이다.

이에 대해 본 연구에서는 TerraSAR-X 위성을 통해 취득된 Spotlight, ScanSAR, Stripmap 모드의 영상에 대한 자동 정합 연구를 수행하기 위해 변위 및 회전에 있는 영상 정합에 적합한 MI, FMT, SIFT 세 가지 기법을 이용하여 그 결과를 비교하였다. 기법의 특성을 평가하기 위해 동일 영상에 대해 변위 및 회전량을 임의로 부여하고 해상도를 변화시킨 영상을 제작하여 연구를 수행하였다. 각 가정에 따라 해당 기법 적용하였을 때 나타나는 변위 및 회전량 추정 오차를 분석하였고, 또한 관측 방향 및 각도가 상이한 실제 두 SAR 영상에 대해도 각 기법을 적용하여 실제 변위 및 회전량 추정 가능 여부를 확인하였다.

2. 적용 영상 정합기법

2.1 Mutual Information (MI)

MI 기법은 정합을 수행할 두 영상에 대해 각 영상이 포함하고 있는 동일한 정보의 양을 의미한다. 각 영상이 포함하고 있는 정보의 양은 Eqs. (1) and (2)의 Shannon의 엔트로피() 계산법을 통해 산출된다.

 (1)

 (2)

여기서, 는 특정 영상소가 발생할 확률, 는 영상소의 개수이며, , 는 영상 와 에 대한 Shannon 엔트로피, 는 영상 와 에 대한 joint 엔트로피이다. MI는 Shannon 엔트로피를 바탕으로 수행되며, 이는 Eq. (3)과 같다.

 (3)

여기서, 는 영상 와 에 대한 MI를 나타낸다.

MI 기법의 경우 기준영상과 정합영상간의 공간정보를 거의 고려하지 않으므로, 종종 정합이 제대로 수행되지 않는 경우가 발생한다. 이에 강한 기울기를 갖는 영상소가 높은 정보량을 가진다는 선행 연구에 따라 본 연구에서는 Eq. (4)와 같이 특정 공간이 가지는 기울기 벡터를 정의하여 높은 정보량이 존재하는 위치를 탐지해낼 수 있도록 유도하였다(Pluim et al., 2000; Safronov et al., 2006).

 (4)

여기서, σ은 가우시안 커널의 축척이며, 와 는 해당 영상에서 특정 위치의 기울기 벡터를 나타내고, |  |는 그 크기를 의미한다. 실질적으로 중복되는 영역에서는 기울기 차이가 거의 유사하므로 Eq. (5)를 통해 영상 간 각 차이가 적은 경우에는 높은 경중률을 부여하였다.

 (5)

두 영상이 나타내는 큰 기울기 값은 Eq. (6) 통해 각도 함수()와 최소 기울기 값을 곱함으로써 탐지해낼 수 있다.

 (6)

   

최종적으로 MI와 기울기 정보를 동시에 고려한 영상정합 식은 Eq. (7)과 같이 나타낼 수 있다.

     (7)

2.2 Fourier-Mellin Transform (FMT)

FMT 기법은 푸리에 변환에 기반을 둔 방법으로, 주파수 도메인에서 영상 간에 변위, 회전량을 산출하여 영상을 정합하는 방법이다(Srinivasa and Chatterji, 1996).

기준 영상()과 정합 영상()간에 차이가 오직 변위량()만 존재한다면, Eq. (8)과 같이 나타낼 수 있다. 이를 주파수 도메인으로 변환하면, 푸리에의 변위 이론에 의해 Eq. (9)와 같이 나타낼 수 있다(Reddy and Chatterji, 1996).

 (8)

 (9)

여기서, 과 는 각각 영상 과 에 대해 푸리에 변환을 적용한 결과이다. 이에 기반을 둔 cross-power spectrum()의 정의는 Eq. (10)과 같다.

 (10)

여기서, 는 영상 에 대한 켤레 복소수(complex conjugate)를 의미한다. Eq. (10)을 통해 알 수 있듯이 푸리에의 변위 이론에 의해 cross-power spectrum을 사용하면, 두 영상간의 변위 차이가 주파수 영역에서의 차이와 동일하다는 것을 알 수 있다(Ho and Goecke, 2008).

한편, 기준 영상과 정합 영상간에 차이가 변위량()과 회전()이 존재할 경우, Eq. (11)과 같이 나타낼 수 있다.

 (11)

Eq. (11)에 대해 푸리에 변환을 적용하면, 푸리에 변위의 변위와 회전 이론에 의해 Eq. (12)와 같이 나타낼 수 있다.

 (12)

또한 과 의 크기 과 는 Eq. (13)과 같이 나타낼 수 있다.

 (13)

Eq. (13)에서 만큼 회전된 영상에 대해서도 주파수 대역의 크기는 동일한 것을 알 수 있다. 영상의 중심점인에

대해 로그-극좌표 변환을 수행하면 로그 연산에 의해

이고,

의 형태로 나타낼 수 있으며, 로그-극좌표로 변환을 수행한 영상에 대해 Eq. (10)을 적용함으로써 회전량 을 산출할 수 있다. 이후 산출된 회전량만큼 정합 영상을 회전한 영상에 대해, 기준 영상과 cross-power spectrum을 적용하면 두 영상에 대한 변위량()을 산출할 수 있다.

2.3 Scale-Invariant Feature Transform (SIFT)

SIFT 기법은 특징점을 추출하여 정합하는 기법으로 추출된 특징벡터는 영상의 크기 변화와 회전에 안정적이다. 해당 영상 내 특징점 검출을 위해 입력영상에 대해 가우시안 분포를 따르는 가우시안 영상을 생성한 뒤, Eq. (14)를 사용하여 Difference of Gaussian (DoG) 영상을 제작한다(Jing-zheng and Xu-chu, 2008).

 (14)

여기서, 는 DoG와 입력영상 간 컨볼루션 영상이며,

는 입력 영상, 은 영상 좌표, 은 축척 조정, 은

배가 상수, 은 가우시안 필터 ()이다.

이와 같이 생성된 DoG이미지를 이용하여 지역 극값(local extrema)을 추출한다. 극값은 선택된 영상소에 대해 그 이웃 8개와 DoG 피라미드 상에서 이웃한 영상소 18개, 총 26개의 영상소와 비교하여 값의 차이가 크거나 작으면 특징점으로 간주한다.

한편, 높은 주파수를 감쇠시켜 영상을 부드럽게 만드는 가우시안 필터를 적용한 후에도 큰 차이를 보이는 영상소 중에는 높은 주파수를 가진 노이즈나 강한 에지 성분 또한 포함된다. 이러한 성분들은 영상 정합에 있어 오차 요인으로 작용할 수 있으므로 Eqs. (15) and Eq. (16)을 통해 제거하였다(Harris and Stephens, 1988).

 (15)

 (16)

최종적으로 각 영상에 대해 도출된 점들의 방향성 및 크기를 Eqs. (17) and (18)을 이용하여 비교함으로서 그 크기의 차이가 적은 점을 동일한 지점에 위치한 점으로 간주하고 영상 정합을 수행하였다.

 (17)

 (18)

3. 적용 및 분석

본 연구에서는 취득된 영상에 대해 임의의 공차(tolerance)를 부여함으로서 기법의 성능 평가 및 그 한계를 도출해내고자 하였다. MI기법과 FMT기법은 기준 영상과 정합 영상을 정합하기 위해 산출한 변위량()과 회전각()을 임의로 부여한 공차와 비교함으로서 각 기법의 성능을 평가하였다.

SIFT기법의 경우 기준 영상과 정합 영상에 대해 동일할 것으로 판단되는 공액점만을 도출해내므로 별도의 평가 방법을 사용하였다. SIFT 기법을 평가하기 위해 사용된 방법은 유클리드 거리법과 affine 변환식에 기반을 둔 방법으로, 우선 직접 추출한 공액점에 대해 affine 변환식의 계수를 산출하였다. 이후, 산출된 계수를 사용하여 정합 영상에서 도출된 공액점이 기준 영상의 좌표계를 따르도록 변환하였다. 최종적으로 동일 좌표계 상에서의 거리가 1 영상소 이내인 공액점의 수와 전체 공액점 수를 백분율로 나타냄으로서 기법의 성능을 분석하기 위한 지표로 사용하였다.

3.1 실험영상

본 연구에서는 TerrSAR-X 위성을 통해 Spotlight, Stripmap, ScanSAR 모드로 취득된 영상을 대상으로 자동정합기법을 실험을 수행하였다. 본 연구에서 사용한 영상의 정보를 Table 1에 나타내었다. 각 기법들의 성능 평가를 위해 영상에 임의의 공차를 부여하여 각 기법의 효용성을 검토하였으며, 상이한 촬영방향, 취득일시의 영상에 대해서도 각 기법들을 적용하여 그 결과를 분석하였다.

3.2 실험 영상 변환

MI와 FMT 기법에 대해 적용한 변위량은 기준 영상이 포함하고 있는 지역보다 X축 및 Y축으로 0 영상소에서 4 영상소 간격으로 400 영상소까지의 변위를 고려하였다. 회전변환의 경우, 정합 영상

을 시계방향으로 0°에서 1° 간격으로 30°까지를 고려하였다. 해상

도의 차이는 정합 영상의 해상도만을 만큼 저하시켰다. 한편,

SIFT의 경우 공액점을 도출하기까지 많은 양의 연산과 수행시간을 필요로 하므로 50 영상소 간격의 변위 변환과 5° 간격의 회전 변환만을 고려하여 실험을 수행하였다.

3.3 실험결과

3.3.1 MI 기법 수행결과

MI기법 적용 시 Stripmap 영상은 일부 공차를 제외하면 대부분의 경우에 대해 성공적인 정합을 보였다. 이와 같은 결과는 Stripmap 영상에서 일정한 밝기 값을 가지는 하천이 차지하는 비율이 높기 때문인 것으로 판단된다. 그러나 Spotlight와 ScanSAR 영상의 경우, 변위 변환에 대해 60 영상소 이내의 공차가 발생한 경우에 대해서는 성공적인 정합을 보였으나, 그 이상의 공차에 대해서는 정합에 실패한 것으로 나타났다. 회전 변환에 대해서는 4~5°이내의 공차를 부여한 경우에 대해서만 성공적인 정합을 보였고, 그 이상의 공차에 대해서는 실패한 것으로 나타났다. 또한 해상도 간 차이를 지닌 영상에 대해서는 모두 성공적인 정합이 가능했다. 그리고 상이한 진로 및 일시에 촬영된 영상에 대해서도 Table 2와 같이 세 가지 모드에서 촬영된 영상 모두 성공적으로 정합됨을 확인하였다.

3.3.2 FMT 기법 수행결과

FMT 기법은 변위에 관계없이 성공적인 정합을 보였다. 회전에 대한 공차를 부여한 경우에는 약간의 차이가 발생하였으나, 그 양이 매우 작았다. 또한 해상도 간 차이가 발생한 영상에 대해서도 성공적인 정합을 보였다. 그러나 Table 3에서 나타나듯이, 상이한 진로 및 일시에 촬영된 영상의 경우 모두 정합에 실패한 것으로 나타났다.

한편, Stripmap 영상의 경우, Spotlight나 ScanSAR 영상과는 달리 공차와의 차이가 크지 않은데, 이는 Stripmap 영상에 대해서만 정합을 수행할 두 영상 간 밝기 값의 차이가 크지 않기 때문이라고 판단된다.

3.3.3 SIFT 기법 수행결과

SIFT기법의 경우 MI기법이나 FMT기법과 달리 공액점만을 도출해내므로, 거리가 1 영상소 이내인 공액점의 수와 전체 공액점 수를 백분율로 나타냄으로서 기법의 성능을 분석하였다. Fig. 1은 이를 통해 도출된 결과를 나타낸다.

Fig. 1에서 알 수 있듯이, 변위가 증가할수록 정합 정확도는 더 낮아지는 것을 확인할 수 있다. 회전 공차의 경우, ScanSAR 영상은 오히려 회전각이 증가할수록 정합 정확도가 더 증가하였으나, Spotlight와 Stripmap 영상은 회전각이 증가할수록 정합 정확도가 더 낮아지는 것으로 나타났다. 해상도의 차이를 부여한 영상에 대해서는 영상 간 해상도 차이가 증가할수록 정합 정확도가 매우 낮아지는 것으로 나타났다. 이는 가우시안 필터를 통해 특징점을 추출하는 SIFT 기법의 특징 때문인 것으로 판단된다.

한편, 상이한 진로에 촬영된 Spotlight와 ScanSAR 영상의 경우 매우 적은 수의 공액점이 검색되었으며, 이 중 1 영상소 수준의 정확도를 지닌 공액점은 각 0% (0개/440개), 0.96% (7개/730개)로 타 변환에 비해 정합 정확도가 매우 낮은 것을 확인할 수 있다. 한편, Stripmap 영상의 경우 전체 공액점 중 1 영상소 수준의 공액점은 17.33% (157개/906개)로 나타났는데, 이는 동일한 진로에서 촬영되어 영상소의 밝기 값 차이가 크지 않기 때문인 것으로 사료된다.

4. 결 론

본 연구에서는 고해상도 TerraSAR-X 영상을 이용하여 MI, FMT, SIFT 기법을 분석하였으며, 분석을 통해 도출된 각 기법의 특징은 다음과 같다.

(1)MI기법의 경우 60 픽셀 이내의 변화량과 4~5°의 회전량에 대해서는 비교적 높은 정확도의 정합이 가능했으며, 서로 상이한 촬영 기하에서 취득된 두 영상에 대해서도 활용 가능함이 확인되었다.

(2)FMT기법의 경우, 영상소의 양상이 비슷한 경우에 대해서는 높은 정합 정확도를 보였다. 그러나 다른 촬영 기하에서 촬영된 영상에 적용 시에는 같은 사물에 대해서도 영상 내 밝기 값 특성이 매우 상이하여 정합 오차가 매우 크게 나타났다.

(3)SIFT기법의 경우, 정합을 수행하기에 충분한 공액점을 검출해낸다는 장점이 있으나, 과대오차가 포함된 공액점 또한 상당수 존재하여 이를 제거하기 위한 별도의 필터링 기법이 필요함을 확인할 수 있었다.

따라서 촬영 기하에 따라 영상소 값이 상이하게 나타나는 SAR 영상의 정합 기법으로는 MI 기법이 가장 적합하며, 이때 초기 값 설정이 매우 중요할 것으로 판단된다.