3.1 드론의 크기 검출 기법

드론이 식별된 경우, 드론 영상의 크기를 구하여 이를 통해 거리와 위치를 추정한다. 드론의 모양이 컨벡스가 아니므로 크기 산정에 어려움이 있다 이에 대한 산출 정밀도를 높이기 위하여 다음과 같은 영상처리 과정을 적용한다.

그림. 4. 드론 크기 검출 예 a) 전방, b) 중앙, c) 후방

Fig. 4. Detection fo drone size a) front b) center c) back

1단계: 식별된 드론의 중심점을 기준으로 폭 2배 크기의 크롭영상 취득(영상이 작은 경우 40x40)

2단계: 크롭영상 이진화(ThresholdBinary)

3단계: 영상 흐림(SmoothBlur)과 이진화 3회 반복

4단계: 블랍영상 탐색(BlobDetect)

5단계: 외곽선 추출(FindContour)

6단계: 최소영역 탐색(MinAreaRect)

이 방법을 앞서 기술한 비행 궤적 중 드론의 크기가 서로 다른 전방-중앙-후방 각각에 대하여 적용하면 그림 4와 같다. 그림 4에서 녹색 사각형은 일반적인 영상처리 결과를 표시한 것이다. 즉, 드론이 호버링 중인 경우 배경 걸러내기에서 일부 이미지 손실될 수 있다. 적색 사각형은 앞서 기술한 기법에 따라 영상크기를 추출한 결과를 표시한 것이다. 영상흐림과 이진화 반복(3단계)은 드론 구조물의 특성 보완을 위한 과정으로 드론의 암과 프롭 영상 소실을 최소화 하는 과정이다.

그림. 5. 드론 면적과 거리의 비례 관계

Fig. 5. Relationship between drone area and distance

3.2 드론과의 거리 산출

드론 영상 크기검출이 완료되면, 특정거리의 영상크기를 샘플링하여 드론과 캠과의 거리 산출을 위한 함수를 구한다. 즉, 그림 5에 나와있는 드론 면적과 거리의 비례 관계를 수식화 한다. 사용된 드론 영상과 거리와의 관계식은 다음 식 (1)-(2)와 같다. 여기서, $y_{i ns2}$는 Inspire2에 대한 거리식이고, $y_{p4p}$는 Phantom4Pro에 대한 거리식을 나타낸다.

위 식은 Inspire2에의 직경(605)과 Phantom4Pro의 직경(350)을 비교할 때 크기 계수비가 다소 다르지만, 이는 Inspire2에의 형상(비행 시 암을 상승시켜 다소 폭이 좁아지며, 팬텀에 비해 여유 공간이 많아 실제 크기와 영상 크기의 차이가 발생한다. 따라서 그림 5와 같이 특정거리의 영상(약 5개 지점)을 촬영하여 영상크기와 거리와의 관계식을 실험적으로 구하여 사용한다.

3.3 드론의 위치 산출

드론과 카메라의 거리 산출이 끝나면, 영상 속 드론의 위치로부터 방위각과 고각을 계산한 후 식 (3)과 같이 드론의 지도상 위치를 구한다.

여기서, $\theta_{elv}$는 고각(elevation), $\theta_{azm}$는 방위각(azimuth)을 의미한다. $R\cos\theta_{elv}$는 드론과의 거리를 지도위에 정사영 한 경우의 거리이며, 이 거리에 방위각을 적용하면 드론의 지도상 좌표(탐지 카메라에 대한 상대 위치)가 얻어진다.

5.1 영상 분석 프로그램

DroneTracker에서 기 촬영된 영상(10FPS, 1920x1080) 을 실시간으로 처리하기 위한 EmguCV 기반 프로그램의 실행 화면은 그림 8과 같다. 그림 하단에 앞서 기술한 드론 크기 조정 과정의 영상이 표시되며, 영상 처리와 동시에 드론의 위치 좌표를 산출하게 된다. MOG2 방식의 배경영상 제거방법이 사용 되었으며, 구름의 움직임을 감안하여 history=2, threshold=16으로 설정하였다. 이 배경 제거 방식에서 드론이 호버링 하는 경우 이미지 손실이 발생하지만, 이는 선행연구에서 드론의 위치가 탐지 되므로 그 정보를 활용하면 문제 해결이 가능하다.

그림. 8. DroneTracker 실행 화면

Fig. 8. Running screen of DroneTracker

5.2 영상 분석을 통한 드론 위치 판독

그림. 9. 구간별 면적과 거리 산출 a) 면적 산출 b) 거리 산출

Fig. 9. Calculation of area and distance

그림 9-a)는 탐지된 두 드론의 면적을 프레임 단위로 표시한 것으로, 영상크기는 3.1절의 영상처리 마지막 단계의 영상을 표시한 사각형의 픽셀 면적을 의미한다. 이 면적을 입력으로 하여 식 (1)에 의해 드론과 카메라와의 거리(단위: m)를 산출하면 그림 9-b)와 같다. 그림에서 프레임 번호 #826부터 #937 까지 청색 구간의 면적(그림 a)과 거리(그림 b)가 순간적으로 변하고 있는데, 이는 Inspire2에가 화면 좌측에 위치한 나무에 가리는 구간을 지나는 상황이다. 이 때 Inspire2에의 거리가 크게 나옴(이미지가 작게 나오거나 잡히지 않음)에 기인하는 것으로 이 부분에 관한 처리는 실험부분에서 뒤에서 설명한다. Phantom4Pro(황색)의 경우는 비행궤도가 나무에 간섭 받지 않도록 하여 Inspire2에와 같은 현상은 발생하지 않지만 원거리 비행 부분에서 이미지가 작아 식 (1)로 산출한 카메라와 드론과의 거리변화가 심한 경우(#190, #1050)를 보인다.

5.3 탐지된 드론 위치 재구성

본 논문에서 제안한 영상분석 기반 위치탐지 기법에 의한 드론의 궤적을 구하기에 앞서 영상 속의 드론 궤적을 표시하였다. 그림 10은 DroneTracker의 영상궤적을 비교용으로 표시한 것이며, 그림 11은 본 연구에서 탐지한 영상궤적을 표시한 것이다. 그림 10은 탐지된 드론을 적색 사각형으로 표시하고, 이 사각형의 자취를 청색으로 표시한 것(드론의 종류는 구분하지 못함)으로, 본 연구에서의 결과와 대부분 일치하고 있으나, 드론이 멀리 있는 경우(그림의 하단부)에서 다소의 차이를 보이고 있다. 즉, 본 연구에의 결과가 작은 드론이미지 탐지 능력이 다소 우수함을 알 수 있다.

그림. 10. DroneTracker로 구해진 드론의 비행 경로

Fig. 10. Obtained paths for drones using DroneTracker

동일한 영상에 대하여 드론을 식별하여 각 드론의 궤적을 표시한 결과를 그래픽 좌표를 기준으로 표시하면 그림 11과 같다. 이것은 화면상의 궤적을 나타내며, 실제의 위치를 좌표계상에 나타낸 그래프는 그림 12에 있다.

그림 12는 여러 방해 요소들로 인하여 불안정한 궤적을 나타낸다. 나무에 진입한 구간의 데이터를 최소영상값(200 픽셀)으로 처리하고, 3차 Butterworth 필터를 적용하면 그림 13과 같다. 제안된 기법에 의해 구해진 경로를 4절의 DroneTracker를 사용한 실험 결과인 그림 7과 비교하였을 때 확연히 우수한 성능을 확인할 수 있다. 2차원 영상정보만을 처리하여 얻어진 결과임을 감안하면 매우 정확한 경로 추정이 이루어졌음을 알 수 있다.

그림. 11. 제안된 기법에 의해 구해진 드론의 비행 경로

Fig. 11. Obtained paths for drones using the suggested method

그림. 12. 좌표계상의 드론 궤적

Fig. 12. Tracking of droens in coordinate

그림. 13. 필터링된 좌표계상의 드론 궤적

Fig. 13. Filtered tracking of drones in coordinate