1. 서 론

UAV개발은 2차 세계대전 이후 인명피해 없이 적진에 대한 정찰목적으로 몇몇 국가에서 매우 활발하게 시도되었다(Eck, 2001). 이러한 정찰은 사진촬영이 필수적이었으므로 페이로더의 개발은 UAV와 역사를 같이 하고 있다고 볼 수 있다.

무인비행기에 의해 사진측량을 시도한 것은 1979년 Przybilla와 Wester이다. 1:1000지도제작을 위해 1/1000sec로 촬영했으나 로터의 진동으로 만족할만한 정확도는 얻지 못했다(Przybilla, 1979). Wester (1980)는 Schlueter model Bell 222 UAV에 최대적재용량 3kg페이로드에 Rolleiflex SLX 또는 Hasselblad MK 20 중형급 카메라를 이용하여 촬영하였다. Henri (2004)는 윙스팬 2.6m, 페이로드 중량 3kg에 Lindhof Technika Navigation사용, 150m 촬영고도에서 시속40km로 촬영하여 해당지역의 DEM을 제작하였다. 2004년에 와서 GPS/INS조합에 대한 연구가 UVS international community (UVS-international, 2004)를 중심으로 활발해 졌다. 이 당시는 주로 헬리콥터를 활용하였으며 Eck (2001), WITAS (2004) and Conway (1995) 등에 의해 연구되었다.

이후, 목적한 항로를 보다 정확히 안전하게 비행할 수 있는 자동항법 UAV에 대한 연구가 주된 주제였으며 각종 영상센서를 탑재할 수 있는 페이로드에 대한 연구도 함께 이루어 졌다. 최근에 고출력 배터리, 강력한 마이크로 프로세서, 무선통신의 눈부신 발전으로 5kg미만의 플랫폼, 300m미만의 비행고도를 갖는 마이크로 UAV의 개발이 활발하다(HaiYang et al., 2010). 소규모지역에 대한 다중파장 고해상도영상을 신속하게 촬영하기 위한 마이크로 UAV는 자율항법장치를 가지고 있어야 하며 자동비행 콘트롤과 영상획득을 위한 페이로드의 콘트롤을 동시에 수행할 수 있는 소형의 강력한 프로세서가 있어야 한다. 또한 페이로드 적재능력이 1kg내외에 불과하므로 페이로드 및 센서의 선택에 신중해야 한다. 영상을 획득하여 지도제작 및 GIS에 활용하기 위한 UAV는 일반 UAV와는 차원이 다르다. 완벽한 자동항법을 갖추었을지라도 추가적으로 영상의 표정을 위한 인자(geo-referencing), 영상의 동기화, 다중밴드영상 획득능력이 있는 페이로드가 있어야 한다(HaiYang, 2010). 뿐만 아니라 온보드 비행 마이크로컴퓨터와 GCS (Ground Control Station)간의 인터페이스가 되어야 한다.

본 연구에서는 기존의 연구(Han, 2013; 2014)를 바탕으로 마이크로 UAV에 적합한 센서를 개량 및 검정하고 이를 탑재할 수 있는 경량 페이로드의 하드웨어 및 소프트웨어를 개발하였다. 또한 실시간 현장영상분석 시스템을 통하여 촬영의 이상유무를 확인하였으며 개발된 시스템을 이용하여 테스트지역에 대한 정사영상을 제작하고 정확도를 분석하였다. 

2. 연구내용

2.1 하드웨어

하드웨어는 영상센서(RGB, NIR, Thermal)와 페이로드로 구성하였으며 센서개조 및 검정, 페이로드의 아키텍처와 구성에 대해 기술하였다.

2.1.1 영상센서

현재 UAV에 탑재되는 정보획득용센서는 Laser (LiDAR), 디지털사진기, 비디오카메라 등이 일반적이다(Echard, 2005). LiDAR는 아직까지 소형의 UAV에 탑재하기에는 크고 무겁고 비디오카메라는 영화, 방송 및 개인적 취미의 목적이 크다. 본 연구에서는 지형정보획득 목적에 맞는 멀티밴드센서로 RGB, NIR, Thermal카메라 탑재를 위한 페이로드 개발에 목적을 두었다.

2.1.1.1 RGB카메라

RGB디지털카메라는 수동초점조절이 가능하고 고해상이며 가격이 저렴함은 물론 디지털카메라 라이브러리 오픈소스 libgphoto2에서 지원되는 Canon powershot S95 소형카메라를 선택하였다(Table 1).

상용으로 판매되고 있는 디지털 RF (Range Finder)카메라는 고해상이지만 불안정한 CCD배열 및 렌즈의 왜곡정도가 심하다. 따라서 기하학적 검정을 필히 해야 한다. 본 연구에서는 Canon Powershot S95카메라에 대한 렌즈검정을 실시하여 Table 2와 같은 결과를 얻었다.

2.1.1.2 NIR 카메라

CCD와 CMOS센서는 단지 빛의 강약에 따른 전기적신호를 수치로 바꾸어 기록하기 때문에 컬러영상을 기록하기 위해서는 컬러필터를 이미지센서에 장착해야하며 이 필터는 전형적으로 Bayer pattern으로 배열된다.

Fig. 2에서 인간은 400∼700nm를 감지하나 CCD는 1,050nm까지 폭넓게 감지한다. 일반 RGB카메라는 CCD앞에 가시광선만을 통과시키기 위해 광학통로에 ICF (IR Cut Filter)를 장착하고 있다. 본 연구에서는 RGB카메라와 동일한 Canon S95카메라를 NIR카메라로 개조하였다. 이는 동일한 프로그램과 회로를 이용할 수 있어 개발에 용이하기 때문이다. S95카메라의 ICF를 제거하고 해상도 향상을 위해 AAF (Anti-Aliasing Filter)를 제거하였다. 본 작업은 클린룸이 필요하므로 MAXMAX.com에 의뢰하였다.

ICF가 제거되면 가시광선은 물론 적외선까지 CCD에 도달하게 된다(Echard et al., 2005). 이 중 NIR만을 선택해야하는데 이때는 IR필터를 렌즈 전면에 장착하면 된다. 시중에 판매되고 있는 IR필터는 Hoya R72, Kodak wratten 87, 87C 등이 있다. 본 연구에서는 Kodak wratten 87C필터를 사용하였는데 투과특성은 Fig. 3과 같다.

Fig. 3에서 700nm이하의 가시광선은 모두 차단되고 87필터는 750nm부터, 87C필터는 800nm부터 IR을 투과시킨다. 렌즈의 경우에도 가시광선(400∼700nm)이 같은 점을 통과하도록 만들었기 때문에 IR의 경우 보다 초점이 더 뒤에 맺히게 된다. 그러므로 이를 조정하여 1,100nm에 맞게 infrared registration 하였다. 또한 적외선의 hot spot은 조리개를 닫을수록 더 미약해 지므로 낮은 f-stop(큰 구경)으로 광각을 사용하여 촬영함으로써 선명한 영상을 얻을 수 있었다.

2.1.1.3 Thermal 카메라

열영상카메라는 대상물의 표면으로부터 방사되는 열에너지를 감지하는 비파괴장비이다. 열영상카메라는 대상물에 의해 반사, 방사, 전도되는 열에너지를 감지한다. 카메라에 의해 감지되는 열에너지는 대상물 주변의 상황에 따라 오차를 포함하는 경우가 많으므로 정기적인 검정이 필요하지만 본 연구에서는 활용목적에 맞는 열영상카메라의 재원을 정하고 이를 탑재하기 위한 페이로드의 개발에 초점을 맞추었다.

열영상카메라는 열감지 방식에 있어서 냉각과 비냉각으로 나뉘며, 냉각방식이 보다 더 양질의 영상을 보장하나 가격, 무게, 소모전력과 소형 UAV의 탑재조건을 고려하여 비냉각방식 ICI7640으로 결정하였다(Hu et al.,2010). 재원은 Table 3과 같다.

2.1.2 페이로드

자동항법 플랫폼의 경우 자동비행을 수행하는 자동비행장치와 각 종 센서들로부터 들어오는 신호의 처리분석, 의사결정 등을 담당하는 온보드 컴퓨터를 포함한다. 영상획득을 위한 페이로드는 영상센서를 세팅하고 콘트롤할 수 있는 온보드 컴퓨터와 geo-referencing을 위한 IMU와 GPS, 그리고 GCS의 콘솔과 통신할 수 있는 Wi-Fi모듈, 이들을 탑재할 수 있는 하우징으로 구성하였다(Figs. 4 and 5).

2.2 소프트웨어

2.2.1 페이로드 아키텍처

페이로드를 위한 소프트웨어는 카메라를 원격조정하여 영상을 얻는 기능과 정사영상제작과 매핑을 위한 geo-referencing을 위한 정보의 싱크로 및 저장기능을 갖도록 설계하였다. 페이로드를 총괄하는 프로그램은 AggieCap으로 자동비행콘트롤 기능을 함께 한다. 페이로드의 전담 콘트롤은 GhostFoto로 카메라를 관리하기 위해 libgphoto2 API기반으로 GhostEye가 설계되었다(Austin, 2009). GeoEye프로그램은 AggieCap과 분리된 쓰레드로 운영된다. libgphoto2는 유닉스 유사시스템 하에서 디지털카메라를 지원하는 오픈소스이며 gPhoto2프로젝트를 근간으로 하고 있는데 1800개 이상의 카메라를 지원하고 있다(GPHOTO, 2014). 디지털 카메라에 접근하기 위한 API의 포터블 라이브러리. 명령라인 인터페이스는 gPhoto에 의해 제공되며 GUI는 gtkam에 의해 제공된다. 전체페이로드의 소프트웨어 아키텍처는 Fig. 6과 같다.

Fig. 6에서 페이로드를 위한 소프트웨어는 영상센서를 체크하고 세팅하며 촬영이벤트를 발생시켜 영상을 획득하는 GhostEye와 영상을 프로세싱하는 gRAID로 구성된다. 실제적인 계산은 Gumstix온보드 컴퓨터가 수행하며 외부센서로부터 들어온 geo-referencing정보를 처리하여 함께 저장한다.

GhostEye는 카메라를 USB1.1포트를 통해 찾는다. 한 번 찾아지면 카메라를 콘트롤하는 쓰레드가 만들어 진다. 또한 다른 쓰레드를 이용해야 여러 대의 카메라를 정확하게 동기화되어 촬영할 수 있다. 그리고 하나의 카메라가 오작동 된다 해도 다른 카메라는 영향을 미치지 않는다. 그러므로 Fig. 6에서 보인 것처럼 카메라들은 GhostEye하에서 독립적인 쓰레드에 의해 각각 조종된다.

2.2.2 libgphoto2 커스터마이징

다음 Fig. 7은 본 연구의 영상센서에 맞게 커스터마이징 된 GhostEye의 아키텍처를 보여주고 있다. libgphoto2는 gphoto.org가 전 세계 디지털카메라의 콘트롤 라이브러리를 Unix OS호환 C함수로 구축한 라이브러리이다.

Canon S95카메라는 검정초점거리가 6.25mm, 테스트 촬영평균고도가 440m 이므로 1픽셀당 약15cm*15cm의 해상도를 갖는다. 지상피복면적은 523m*399m, 종중복도 70%를 고려한다면 촬영기선의 길이는 약120m가 된다. 이 거리는 초속15m/sec의 UAV속도로 8초가 걸리므로 갑작스런 풍속변화 또는 자동비행의 불안정을 대비하여 50%의 안전율을 고려한 4초로 촬영간격을 정하였다. 4초 간격의 자동촬영을 위해 libgphoto2에서 캡처루프라 불리는 트리거함수의 주기를 4초로 하였다. 매번 오류가 없는지 반복계산마다 GP_OK를 체크하여 오류를 감지한다. Table 4는 소스코드의 일부이다.

2.2.3 실시간 영상획득 검사

현장에서 원하는 지역을 충분히 피복하여 촬영해야 하나 촬영된 영상에 문제가 생겨 종종 재촬영을 해야 할 수밖에 없는 경우가 있다. 다시 준비해야하는 것도 번거롭지만 촬영지역이 먼 경우에는 더욱 어려운 상황이 된다. 본 연구에서는 촬영상태를 검사하기 위해 실시간으로 영상을 조합하여 디스플레이 할 수 있는 모듈을 WorldWind기반으로 개발하였다. World Wind는 2004년도에 NASA가 공개한 것으로 현재는 NASA의 스탭과 오픈소스커뮤니티에서 개발하고 있다. 오픈소스로 풍부한 프로그래밍 클래스 라이브러리(Java API)를 이용하여 구형 또는 평면의 지구에 원하는 정보를 오버레이 할 수 있다. NASA에서는 운영체계에 관계없이 실행될 수 있는 자바언어를 이용하여 개발하였다. Fig. 8은 ApplicationTemplate.jnlp로 실행되는 WorldWind의 초기화면이다. NASA, Bing Map, USGS ortho, street map, night map등을 자유롭게 이용할 수 있다.

촬영된 영상이 지상관제센터의 gRAID에 다운로드되면 UAV GhostEye에서 받은 xml파일형식의 geo-referencing정보를 이용하여 편위수정하고 표정하여 Worldwind에 디스플레이 될 수 있도록 해당하는 Java API를 커스터마이징하였다. 촬영된 영상의 오버레이를 Fig. 9에 보였다. 또한 소스의 일부를 Table 5에 보였다.

2.3 Geo-referencing

지리보정을 위해서는 IMU로 부터 pitch, roll, yaw, 그리고 GPS로부터 촬영위치 X,Y,Z를 촬영순간에 취득해야한다. 이 기능은 GhostEye에서 수행된다. 이 데이터는 autopilot와 공유되며 자동비행을 위한 데이터로도 사용된다. 물론 나중에 정사영상제작에도 사용된다. 그러므로 센서데이터는 SD카드로 재 저장된다.

영상이 촬영되면 IMU와 GPS로부터 geo-referencing 데이터를 수신하여 xml파일로 저장한다. xml파일형식을 선택한 것은 읽기 쉽고 다루기 편한 이유이다. GhostEye는 실시간으로 environment에서 센서 데이터를 가져 오기 위해 API를 제공한다. GhostEye에 의해 만들어진 비행로그파일을 Table 6에 보였다. 비행로그파일로부터 영상의 geo-referencing를 위해 Fig. 11과 같이 각 영상캡처 시의 경위도 및 고도 그리고 회전요소를 추출한다.

2.4 정사모자익영상 제작

테스트 지역(Fig. 10)은 1.8km×2.5km의 경작지역으로 추후 응용의 목적을 위해 정하였으며 총 217매를 촬영하여 그 중 147매의 사진으로 정사영상을 제작하였다. 처리 소프트웨어는 EnsoMosaic^Ⓡ Ver. 7.5를 이용하였다. 지상기준점은 번들조정의 최소기준점 수인 4점(Fig. 14)을 GPS RTK측량방법으로 얻었으며 인접영상 간의 자동 연결점은 정확도가 높은 점을 우선으로 25점을 이용하여 처리하였다. 정사모자익영상의 작업흐름은 Fig. 12와 같다.

정사모자익영상 제작결과는 Fig. 13과 같으며 번들조정 결과는 Table 7과 같다. 5회의 반복계산결과 단위경중률 표준오차(SEUW) 1.08을 보여 신뢰성 있는 결과를 얻을 수 있었다.

2.5 영상처리 정확도 분석

제작된 정사영상의 최종 정확도를 분석하기 위해 Fig. 14와 같이 시험대상지역에 GCP를 제외하고 16점의 검사점을 고르게 배치하여 GPS측량 하였다. Table 8은 검사점에 대한 정사모자익영상과 GPS좌표의 차를 보인 것으로 절대값의 평균이 X좌표에서 0.181m, Y좌표에서 0.203m로 1:1,000~5,000수지지형도를 제작할 수 있을 것으로 평가된다.

본 연구에서는 DEM추출을 하지 않았으므로 정사영상에 대한 수평정확도만을 분석하였으나 추후 기준점 수에 따른 정사영상의 정확도 및 표고정확도를 다양하게 분석할 필요가 있다고 사료된다.

2.6 NIR 영상과 Thermal 영상획득

NIR 영상과 열영상에 대한 분석은 본 연구의 내용에서 벗어나므로 여기서는 개발된 페이로드에 의해 촬영된 상태에 한하여 기술하였다. Fig. 15는 근적외선영상으로 RGB카메라와 동일한 해상도 15cm로 촬영한 것이다. 부분확대 시에도 선명한 해상도를 보이므로 추후 NDVI도출 및 토지피복분류에 활용이 가능할 것이다.

Fig. 16은 ICI 7640카메라로 촬영한 열영상을 보인 것이다. 열영상카메라는 일반 카메라에 비해 고가이기 때문에 640*480해상도에 불과하여 다소 선명하지 않으나 경작지와 인근 하천의 열분석에 의한 토양의 습윤도 및 생태분석에 활용가능 할 것으로 판단되며 응용목적에 따라 고해상 열영상센서로 대체가 가능하다.

3. 결 론

네비게이션센서(GPS, IMU, magnetometer), 온보드컴퓨터(Gumstix)와 연계한 페이로드를 개발하여 촬영한 결과, 양호한 중복도로 촬영되어 정사모자익영상을 제작할 수 있었으며 NIR, thermal영상 또한 양질의 싱크로영상을 얻을 수 있었다.

검사점에 대해 정사모자익영상의 수평위치 정확도를 분석한 결과 X좌표에서 평균 0.181m, Y좌표에서 평균 0.203m의 편차를 보임으로써 1:1,000~5,000축척의 수치지도제작이 가능할 것으로 판단된다.

NASA의 WorldWind Java API를 커스터마이징 하여 실시간으로 촬영영상을 모니터링 할 수 있는 gRAID를 개발함으로써 재촬영에 대한 판단을 현장에서 할 수 있었다.

3대의 카메라를 이용하여 멀티스팩트럴 영상을 얻을 수 있었으나 카메라의 수에 따른 중량의 한계로 인해 고급사양의 카메라 탑재가 불가능하였다. 이에 RGB와 NIR영상을 하나의 카메라로 얻을 수 있는 방안을 찾을 수 있다면 보다 좋은 사양의 카메라를 탑재할 수 있을 것이다. 또한 카메라의 shutter lag에 따른 분석으로 geo-reference정보의 오차를 줄이기 위한 시도가 필요할 것이다.