2.1 좌표계와 변환

본 연구에서는 다섯 가지 주요 기준 좌표계를 사용하였다. (지구중심고정(ECEF), $Llh$, 항법, 동체, 카메라) 각 좌표계들과의 관계는 그림 2, 3에 정의되어 있다. 그림 2는 각 좌표계들의 프레임들을 보여준다. 카메라 좌표계는 드론 동체 좌표계와 구속되어 있는데, 여기서 카메라는 드론의 하방에 지면을 향하도록 부착되어 있다. 항법 좌표계는 NED(north-east-down) 좌표계를 사용하며, 항법 좌표계의 x축은 북쪽, y축은 동쪽, z축은 아래를 향한다. 그림 2, 3 에서 {$c$}, {$b$}, {$n$}, {$e$}는 각각 카메라, 동체, 항법, ECEF 좌표계를 의미한다.

드론에 탑재되는 Pixhawk 비행컴퓨터(FC, flight computer)에서 위치정보는 $Llh$좌표계 기준으로 제공되기 때문에 $Llh$ 좌표계에서 항법 좌표계로 변환하기 위하여 두 단계가 필요하다. 먼저 $Llh$좌표계에서 ECEF좌표계로의 변환은 다음과 같다^[11].

이때, $a$는 지구 장축 반지름이며, $e$는 이심률이다. ECEF 좌표계에서 항법좌표계로의 변환은 다음과 같다.

이것으로, FC의 위치정보 신호를 항법 좌표계에서의 신호로 변환할 수 있다.

드론의 자세는 세가지 오일러 각(roll, pitch, yaw)으로 정의할 수 있으며, 관성항법장치의 측정값에 의해 지속적으로 전파된다. 세 가지 오일러각을 결합하여 동체 좌표계와 항법 좌표계의 변환을 나타내는 방향 코사인 행렬을 구할 수 있다^[2]. 아래의 식에서, $\phi$, $\theta$, $\psi$는 각각 roll, pitch, yaw 값이며, $s$와 $c$는 각각 $"\sin "$, $"\cos "$ 이다.

마지막으로, 카메라 좌표계와 동체 좌표계 간의 변환행렬을 구할 수 있다. 카메라는 동체 좌표계로부터 yaw 방향으로 +90 회전되어 있기 때문에 이를 이용하여 아래의 식 (8)을 구할 수 있다. 따라서, 최종적으로 앞서 구한 변환들을 결합하여 항법 좌표계에 대한 카메라의 자세변환 행렬을 구할 수 있다.

2.2 지오레퍼런싱 알고리즘

지오레퍼런싱이란 실세계 좌표를 이미지의 각 화소에 할당하는 작업을 의미한다. 일반적으로 카메라로 사진을 촬영할 때 카메라의 자세, 고도, 지형 등에 의해 왜곡이 발생한다. 이러한 왜곡을 보정하여 실제 지형과 일치하도록 수정한 사진을 정사영상(Orthoimage) 이라 하며, 이렇게 보정된 이미지는 실제 지도처럼 사용 가능하며 측량, 지리 정보 시스템, 도시 계획 등에 활용될 수 있다. 지오레퍼런싱을 위해 카메라 내부/외부 변수가 필요한데, 앞서 구한 좌표계 변환식 및 방향코사인 행렬들을 활용하여 구할 수 있다. 먼저 핀홀 카메라 모델에 의해 주어지는 왜곡 없는 투영 변환식은 다음과 같다^[12].

여기서 s는 스케일, $p_{v}$, $p_{u}$는 이미지의 수직 및 수평좌표, ${ K}$는 카메라 내부 변수, ${}{R}$,${ t}$는 각각 회전행렬 및 위치변환벡터를 의미한다. 또한, 카메라 내부 행렬식 ${ K}$는 다음과 같다.

$u_{0}$,$v_{0}$는 각각 카메라의 수평/수직 주점을 의미하고, $f$는 카메라 초점거리이며, $k_{v}$, $k_{u}$는 각각 이미지 픽셀 수직,수평 개수이다. 카메라 내부변수는 카메라 캘리브레이션을 통해 더욱 정확한 값을 얻을 수 있다. 식 (10)을 다르게 표현하면 식 (12)와 같다.

식 (12)에서, 카메라 외부 변수 ${ R}_{n}^{c}$, ${ t}_{n}^{c}$ 는 식 (7), (8), (9) 및 간단한 정리를 통해 구할 수 있다.

식 (13)에서, ${ t}_{c}^{n}$는 각각 사진이 촬영되었을 때의 드론의 위치변환벡터이다. 본 논문에서 정사영상을 제작할 때에는 항법좌표계의 Z축은 모두 0이라 가정하였다. 따라서 식 (12)는 식 (14)로 바꾸어 표현 할 수 있다^[13].

식 (14) 에서 ${ r}_{1}$, ${ r}_{2}$는 ${ R}_{n}^{c}$ 의 첫 번째, 두 번째 열 벡터이다. 따라서 식 (14)로부터, 지상좌표를 카메라 이미지좌표로 매핑시켜 정사영상을 제작할 수 있다.

이미지를 저장할 때, 이미지의 정확도 즉 픽셀당 거리 GSD(Ground Sample Distance)는 동체의 절대 고도 $h_{g}$, 이미지 센서 픽셀 크기 $px$, 렌즈 초점 거리 $f$에 의해 결정되며 이는 위치 측정치의 정확도를 결정하기도 한다. 수식은 다음과 같다.

정밀한 정사영상의 제작을 위해서는 카메라 렌즈의 왜곡 또한 고려해야 한다. 식 (14)에서 카메라 왜곡을 고려한 식은 다음과 같다.

식 (16)에서 $\hat{x}^{c}$, $\hat{y}^{c}$는 각각 왜곡이 보정되기 전의 정규화 된 이미지좌표계의 좌표 이다. Zhang^[14]이 제안한 카메라 렌즈 왜곡 모델은 다음과 같다.

식 (17), (18)에서 $k_{1}$, $k_{2}$, $k_{5}$은 방사 왜곡 계수(Radial Distortion)이며, $k_{3}$, $k_{4}$은 접선 왜곡 계수(Tangent Distortion)이다. 카메라 왜곡 계수 및 카메라 내부 변수는 카메라 캘리브레이션을 통해 얻을 수 있으며, 본 논문에서는 오픈소스 프로젝트인 OpenCV를 통해 체커보드를 다수 촬영한 뒤 얻을 수 있었다.

앞선 정보들을 활용하여 주행 중 정사영상을 제작할 수 있으며, 연속적인 항법 정보의 도출을 위해서는 이미지들과 정보들을 결합하여 데이터베이스화 해야 한다. 이를 통해, 복귀 시 모든 지형 이미지들과 현재 지형 이미지를 비교하지 않고도 현재 위치에서 가장 가까운 단일 이미지만 비교가 가능하기 때문에, 알고리즘의 계산 비용을 줄일 수 있다. 데이터베이스는 정사영상 이미지의 저장 주소, GSD, 정사영상의 지상 중앙 좌표로 구성되어 있으며, 아래 표와 같다.

3.1 이미지 매칭과 특징점 추출 알고리즘

이미지 매칭은 두 개 이상의 이미지의 유사도를 판별하는 작업으로, 컴퓨터 비전 분야에서 현재에도 매우 활발하게 연구되는 분야 중 하나이다. 이미지 매칭을 통해 항법, 측량 등 드론 관련 분야 뿐만 아니라 다양한 산업에 융합되어 활용할 수 있다. 이미지로부터 위치 정보를 추출하기 위해서는 특징점 추출 작업이 필수적이다. 이미지에서 특징점은 픽셀 변화가 급격히 변화하는 지점을 의미하며, 특징점 알고리즘들마다 고유한 제약조건들을 통해 정의된다. 본 논문에서는 특징점 추출 알고리즘으로 속도와 정확성을 고려하여 AKAZE(Accelerated-KAZE)^[15] 알고리즘을 선정하였다. AKAZE 알고리즘은 비선형 확산 필터링을 통해 비선형 스케일 공간을 활용하는 KAZE 알고리즘^[16]의 속도를 개선하기 위하여 FED(Fast Explicit Diffusion)기법을 도입한 알고리즘이다. M-LDB(Modified-Local Difference Binary) 디스크립터를 사용해 회전 및 스케일에 대해 강인하며 적은 저장공간만을 요구하여 실시간 시스템 및 임베디드 시스템에서도 동작하도록 설계되었다. 여기서 디스크립터란 해당 특징점의 고유한 속성을 나타내는 벡터로, 특징점을 고유하게 표현함으로써 서로 다른 이미지에서 같은 특징점 쌍들을 매칭시킬 수 있다. KAZE 알고리즘 및 AKAZE 알고리즘에서 사용되는 표준 비선형 확산 공식은 식 (20)와 같다.

여기서, $c$는 전도 함수이며, $t$는 스케일 파라미터, div 와 $\nabla L$은 각각 발산과 기울기 연산자를 의미한다.

일반적으로 디스크립터 사이의 유클리드 거리나 해밍 거리를 사용해 가장 가까운 디스크립터를 식별하여 매칭시킨다. M-LDB 디스크립터는 바이너리 디스크립터 이므로, 서로 다른 비트의 개수를 세는 방식으로 거리를 산출하는 해밍 거리를 이용하여 빠른 매칭이 가능하다. 디스크립터 쌍을 비교할 때는 모든 디스크립터 쌍을 하나하나 비교하는 Brute-force 매칭 방식을 사용하여 정확성을 높였다.

Brute-force 알고리즘은 많은 수의 특징점을 매칭할 수 있는 장점이 있지만, 필연적으로 그 과정에서 잘못된 매칭 쌍이 발생할 가능성이 높다. 이러한 오류 매칭을 제거하기 위해, 호모그래피 행렬을 추정하기 전 GMS (Grid-based Motion Statistics) 알고리즘^[17]을 적용하여 사전 필터링을 수행하였다. GMS 알고리즘은 일관된 움직임이 있는 영역의 특징점들은 특징점 주변에 더 많은 매칭될 특징점을 가질 가능성이 높다는 원리에 기반한 알고리즘으로, 매칭이 일어나는 지역에서의 Motion Smoothness를 통계적 모델로 변환하여 매칭 품질을 평가한다. 이를 통해 짐벌이 장착되지 않은 블러가 있는 이미지에서도 일관된 높은 성능을 발휘하며, 그리드 기반 점수 추정기를 통해 실시간성 또한 만족하였다.

3.2 호모그래피 행렬

이미지 정합을 통해 위치를 얻기 위해서는 이미지 특징점 매칭쌍들을 활용한 호모그래피 행렬이 필요하다. 호모그래피 행렬은 한 이미지 평면를 다른 이미지 평면에 투영시켰을 때 두 이미지간의 기하학전 변환을 나타내는 행렬로, 동일한 평면 상에 있는 점들 간의 대응 관계 이다. 호모그래피 행렬은 다음과 같은 3X3 행렬 ${ H}$로 표현 될 수 있다.

여기서 $x$, $y$는 변환된 이미지 좌표이며, $x'$, $y'$는 변환 전 이미지 좌표이다.

호모그래피 행렬은 일반적으로 이상치를 검출하는데 사용되는 RANSAC 알고리즘을 통해 특징점쌍들로부터 도출이 가능하다.　본 논문에서는 RANSAC에서 모델 평가와 샘플링이 개선된 MAGSAG++ 알고리즘^[18]을 도입하여 추정 정확도를 높였다. 특히 이 알고리즘은 Progressive NAPSAC 이라는 새로운 샘플링 기법을 도입해 지역적 샘플에서 전역 샘플로 자연스러운 전환을 통해 성능을 향상시켰다.

3.3 이미지 정합기반 위치 측정치 도출

앞선 절차들을 통해 호모그래피 행렬을 구하게 되면 데이터베이스 이미지와 현재 드론 비행 이미지를 정합하여 위치 측정치를 도출 가능하다. 먼저 호모그래피 행렬을 통해 실시간 이미지의 네 꼭짓점을 변환한다.

이때, $src(x,\: y)$는 변환 전 이미지 좌표이며 $dst(x,\: y)$는 변환 후 이미지 좌표이다. 변환후 이미지 좌표와 데이터베이스 이미지의 픽셀 차이 및 GSD를 활용하여 정사영상의 지상 좌표를 구할 수 있다.

식 (23)과 (24)에서, $ref_{N}$과 $ref_{E}$은 정사영상의 중심 매핑 좌표이며, $x'$과 $y'$은 정합된 이미지의 중심 픽셀, 마지막으로 $v$, $h$은 이미지의 수직 수평 픽셀 개수이다. 지상의 위치를 특정할 수 있게 되면, 카메라 내부 및 외부행렬식을 통해 드론의 현재 위치를 도출할 수 있다. 식 (23), (24)를 식 (10)에 적용하면 다음과 같다.

위 식에서 드론의 위치를 구하기 위해서는 위치벡터 ${ t}$를 구해야 하므로, ${ t}$에 대해 전개하면,

이다. 여기서 ${ R}$은 식 (7), (8), (9)로부터 얻을 수 있고, $s$는 드론에 탑재된 거리측정기로 구할 수 있으며, ${ t}={ t}_{n}^{c}$이므로 식 (13)으로부터 ${ t}_{c}^{n}$를 구할 수 있다. 따라서 항법좌표계에서의 드론의 현재 N,E 위치를 구할 수 있다.

4.1 실험 환경

본 논문에서 제안한 알고리즘을 검증하기 위하여 드론을 제작하여 카메라를 부착한 뒤, 직선 비행 뒤 복귀 시나리오와 호버링 시나리오로 나누어 데이터들을 취득하였다. 960mm 급 드론에 홍콩 Holybro社의 Pixhawk 6X FC 및 F9P Helical RTK-GNSS, 미국 Intel社의 Realsense D455 카메라, 중국 Benewake社의 TF350 거리 측정용 라이다를 부착하였고, 추가로 미국 Nvidia社의 Jetson Orin NX Companion Computer를 장착해 오픈 소스 플랫폼인 ROS를 구동하도록 하여 DDS(Data Distribution Service) 미들웨어를 통해 시간 동기화된 센서 데이터들을 받을 수 있도록 설계하였다. 사용된 센서 및 장비들의 상세한 사양 및 그림은 표 2 및 그림 5와 ,그림 6에 도시하였다.

4.2 실험 결과

서울시 세종대학교 상공에서 드론의 실 비행을 통해 취득한 데이터로 본 논문에서 제안한 알고리즘의 타당성을 검증하였다. 실험은 총 2번 진행되었으며, 첫 번째 비행은 약 140m 상공에서 남쪽으로 약 240m 지점까지 이미지를 저장하면서 주행한 후 약 20초간 호버링 한 뒤 북쪽으로 복귀하였으며, 두 번째 비행은 145m 상공에서 남쪽으로 약 180m 지점까지 이미지를 저장하면서 주행한 후 약 20초간 호버링 한 뒤 북쪽으로 복귀하였다. 두 비행의 평균 비행 시간은 3분 28초를 기록하였으며, 최고 속도 32.9km, 최고 기울기 각도는 22.4°를 기록하였다. 비행 궤적 및 이미지가 저장된 위치를 그림 7, 8, 9, 10에 도시하였으며, 이미지 매칭 결과는 그림 11에, 취득된 데이터를 바탕으로 실행된 알고리즘의 결과는 그림 9, 10에 도시하였다. 표 3는 이미지 기반 위치 측정 알고리즘과 픽스호크 FC로부터 추정된 위치에 대한 2D 유클리드 거리의 RMSE를 나타냈다.

실험 결과, 결과 값에 발산 없이 짐벌을 추가로 부착하지 않아도 일정하게 위치를 측정할 수 있음을 확인하였다. 또한 사전에 획득한 영상이 아닌 실시간으로 구축한 데이터베이스의 영상을 활용하므로, 유사한 운용 환경에서 촬영한 영상이 사용되어 이미지 간의 미스매칭이 적고, 이에 따라 위치오차도 최소화 됨을 확인할 수 있었다. 본 알고리즘의 특성상, 알고리즘의 시작 부분에서 알 수 있듯이 지면이 일정하지 않고 건물이 많을수록, 위치 측정 오차가 약간 존재한다는 것을 확인하였다. 하지만, 그럼에도 불구하고 건물 옥상과 같은 곳은 이미지 특징점들이 풍부하므로, 충분히 위치를 측정 할 수 있었다. 복귀 중간 부분 운동장과 같은 특징점이 희박한 부분에서도 정확하게 위치를 측정하는 것을 확인할 수 있었으며, 마지막 복귀 부분에서는 드론이 빠르게 주행하면서 정지할 때는 드론의 피치가 상승 및 하락하므로, 측정 성능이 약간 떨어졌지만 안정적으로 이륙 위치로 수렴하는 것을 확인할 수 있었다.

기존 알고리즘^[8]은 고해상도 위성 이미지와 짐벌 카메라를 사용하여 120m 고도에서 15.82m MAE(Mean Absolute Error)를 기록하였지만, 본 알고리즘은 짐벌을 사용하지 않고도 140m 의 고도에서 평균 8.14m MAE를 기록하였다.

이는 대용량의 위성 지도 데이터베이스가 없이 실시간 저장된 이미지 만으로도 위치 측정치를 도출할 수 있다는 것을 증명하며, 위성 지도 기반 알고리즘 대비 오차를 약 50% 감소시켰다. 또한 기존 이미지 매칭 방법인 Brute force RANSAC 알고리즘 기반 위치 추정 실험에서는 평균 24.23m MAE를 기록하였지만, 제안한 알고리즘으로는 평균 8.14m MAE를 기록하여 이미지 매칭 성능 또한 유의미하게 개선하였다.