Mobile QR Code QR CODE : Journal of the Korean Society of Civil Engineers

  1. 한국건설기술연구원, 미래융합연구본부, 연구위원, 공학박사 (Korea Institute of Civil Engineering and Building Technology)
  2. 한국건설기술연구원, 미래융합연구본부, 수석연구원, 공학박사 (Korea Institute of Civil Engineering and Building Technology)


딥러닝 알고리즘, 달기지 건설, 달 크레이터, 최적 달 건설부지 선정
Deep-learning algorithm, Lunar construction, Lunar craters, Optimum landing sites on the moon

  • 1. 서 론

  • 2. 달 크레이터 자동 탐지 연구 동향 분석

  • 3. 달 크레이터 이미지 및 레이블 데이터 준비

  •   3.1 달 크레이터 기초자료 분석

  •   3.2 달 크레이터 기초이미지의 전처리

  • 4. 사용된 딥러닝 알고리즘 및 학습 조건

  • 5. 딥러닝 학습 및 추론 결과 분석

  • 6. 결 론

1. 서 론

1960년대 아폴로 유인탐사와 최근까지 진행된 무인 달탐사 미션들에 이어, 근래에는 달의 자원을 개발하고, 화성 등 더욱 먼 심우주로 나아가기 위한 전초기지로서 달을 활용하기 위한 다양한 구상과 제안이 활발히 이루어지고 있다(Kim, 2017; Hong et al., 2018). 이에, 본 연구에서는 달기지 건설에 요구되는 건설재료 및 물 수급을 위한 최적 부지의 중요한 단초를 제공하는 달 크레이터(Crater) 정보를 효과적으로 확보할 수 있는 방안을 고찰하였다. 달의 크레이터는 외부에서 쏟아지는 크고 작은 운석 및 소행성들이 달 표면과 충돌하여 발생한다. 달에는 대기가 없어 지구와 같은 풍화작용이 없으므로, 달 크레이터는 충돌 당시의 모습을 가지고 있고, 태양계의 생성과 진화 과정을 연구하는데 귀중한 과학적 단서를 제공한다(Chen et al., 2018; Salamuniccar and Loncaric, 2010). 특히 달 극지역의 크레이터에는 태양의 낮은 고도로 인해 영구 음영지역(Permanent Shadow Region)이 존재한다. 이들 영구 음영지역은 달기지 건설뿐만 아니라 에너지 수급 및 유인탐사 동안 우주인의 식수로도 사용될 수 있는 다량의 얼음을 내포하고 있을 가능성이 큰 지역이다(Kim, 2017).

이에, NASA 등에서는 달 궤도를 돌고 있는 달 궤도선 LRO (Lunar Reconnaissance Orbiter)에서 촬영되는 실시간 이미지를 바탕으로 (NASA, 2018), 많은 인력을 동원해 지난 오랜 시간 동안 이미지 내 달 크레이터들을 정의하고 정보화하는 작업을 진행해 왔다. 이를 위해 많은 인력과 예산이 소요되어 왔지만, 구축되는 달 크레이터 데이터베이스의 객관적인 신뢰성과 정확도에도 많은 문제가 제기되어 왔다. 따라서 다양한 연구자들은 이러한 달 크레이터 정보화룰 자동으로 수행하는 방안에 대해 연구해 왔으며, 본 연구에서는 현재까지 진행된 달 크레이터 자동 인식 연구 현황을 파악하고, 최신 딥러닝 알고리즘을 도입하여 기존 연구의 한계를 극복함으로써 보다 효과적이고 신뢰성 있는 달 크레이터 자동 탐지 기술을 확보할 수 있도록 하였다.

2. 달 크레이터 자동 탐지 연구 동향 분석

전통적으로 달 크레이터의 탐지는 사람의 육안을 통해 진행되어왔다. 하지만 이러한 접근법은 무수히 많은 직경 1km이하 급의 크레이터에 적용하기는 현실적으로 불가능하다(Stepinski et al., 2012; Bandeira et al., 2012). 또한, 이러한 인력에 의한 크레이터 탐지 및 데이터베이스 구축은 작성된 자료의 약 40 % 정도가 실제와 불일치하는 것으로 알려진다(Robbins et al., 2014).

따라서 많은 연구자들은 달 크레이터를 효과적으로 탐지하기 위해 크레이터 정보와 특성 분류를 자동으로 수행하고자 하는 다양한 시도를 해왔다. 일례로, 이미지 픽셀 값들에 대한 수학적 처리에 기반을 둔 전통적인 이미지처리 알고리즘인 모서리 인식 기술(Edge detection), 허프변환(Hough transforms) 알고리즘 등을 활용한 연구들(Emami et al., 2015; Salamuniccar and Loncaric, 2010)과 인공지능에 기반을 둔 서포트벡터머신(Support vector machine, SVM), 결정트리(Decision trees) 및 인공신경망(Neural networks) 등을 활용하여 크레이터 객체 정보를 분류하는 연구들이 등이 진행되었다(Wetzler et al., 2005; Stepinski et al., 2012; Cohen et al., 2016; Palafox et al., 2017). 이러한 인공지능에 기반을 둔 크레이터 탐지 연구들은 이미 정의되어 주어진 학습된 자료들에 대해서는 잘 예측하는 결과를 보였으나, 정의되지 않은 크레이터 객체들에 대한 탐지에 있어서는 한계가 있었다. 또한, 기존의 크레이터 탐지 방식들은 크레이터의 다양한 형태와 이미지내의 조도 특성, 편차가 큰 크레이터 크기, 크레이터들이 서로 겹쳐져 있는 경우와 일부가 뭉개져 퇴화된 크레이터 등과 같이 복잡한 크레이터들의 형상 특성에 대해서 매우 민감함을 보이며, 일관성 있는 탐지가 어려웠다.

일반적인 달 크레이터 자동 탐지를 위한 연구는 수동으로 작업이 불가능한 직경 1 km이하 급의 많은 작은 크레이터들을 탐지하려는 시도이다. 하지만, 자동 탐지의 주요 대상인 작은 규모의 크레이터들과 매우 큰 규모의 크레이터들을 함께 탐지하는데 있어서는 적용성이 떨어진다는 한계가 있었다. 또한, 육안으로도 탐지 가능하지만 매우 작은 크레이터들을 놓치는 경우가 빈번하였다.

최근 Silburt et al.(2018)은 이미지를 기반으로 하는 딥러닝 알고리즘인 합성곱인공신경망(Convolution neural network, CNN)을 적용하여 달 크레이터를 객체로써 인식해 내고, 크레이터 개수, 위치 및 크기 정보를 산출코자한 연구를 수행하였다. 학습을 위해 LRO의 LOLA 데이터를 기반으로 제작된 9만 장의 수치지형모델(DEM)과 NASA에서 레이블링한 크레이터 정보 자료를 활용하였다. Silburt et al.(2018)은 CNN 학습에 사용된 크레이터들의 92 %를 재탐지 하였으며, 학습에 사용되지 않은 361개의 크레이터에 대해서는 11 %의 오차 내에서 자동 탐지에 성공하였다 보고한 바 있다.

3. 달 크레이터 이미지 및 레이블 데이터 준비

3.1 달 크레이터 기초자료 분석

본 연구에서는 Silburt et al.(2018)이 온라인 상에 공개한 이미지자료와 크레이터 레이블 자료를 다운받아 활용하였다. LRO에 탑재된 레이저 고도 계측기(LOLA) 데이터를 기반으로 제작된 수치표고모델은 총 9만 개이고 달 경위도 좌표정보를 포함한다. 또한 각각의 수치표고모델은 256X256 픽셀로 구성되어있으며 공간해상력은 118 m이다. 수치지형모델은 Fig. 1 과 같이 크레이터 형상 왜곡을 최소화하기 위해 이미지 가장자리가 구부러진 이미지들을 다량 포함하고 있다. 9만장의 수치지형모델과 연계되어 레이블링된 크레이터 개수는 총 6,352,525개이다. 대부분의 크레이터의 면적은 22,000픽셀 이하이며, 학습에 사용할 이미지의 해상도가 257×256임을 감안하여 크레이터 면적이 22,000픽셀 수(면적에 포함된 총 픽셀 개수) 이상인 매우 큰 크레이터는 본 연구에서 제외시켰다. 활용한 크레이터들의 면적 크기별 분포도는 Fig. 2와 같다.

Figure_KSCE_38_6_09_F1.jpg
Fig. 1.

A Case Study on Lunar Crater Detection by CNN (Honda et al., 2018)

Figure_KSCE_38_6_09_F2.jpg
Fig. 2.

Crater Size Distribution Used in This Study

3.2 달 크레이터 기초이미지의 전처리

본 연구에서는 3.1절에서 설명된 영상학습을 위해 음영기복도(Hillshaded Map)를 사용하였다. Fig. 3에서 보여주듯이 고도 정보만을 나타내는 수치표고모델을 이용하여 크레이터를 육안으로 구분하기는 용이하지 않다. 딥러닝 학습능력 향상을 위해서는 육안으로 식별이 용이한 음영기복도를 사용하는 것이 유리할 것이라 판단하였기 때문에, Python과 GDAL (Geospatial Data Abstraction Library)’을 이용하여 수치표고모델을 음영기복도로 변환 하였다. 변환된 이미지의 예는 Fig. 3과 같다.

Figure_KSCE_38_6_09_F3.jpg
Fig. 3.

Image Transformation from DEM to Hillshaded Map

Fig. 4는 수치지형모델로부터 변환된 음영기복도와 크레이터 레이블 정보를 중첩하여 보여준다. Fig. 4(a)는 명확히 크고 작은 크레이터가 존재함에도 레이블링으로 크레이터가 정의되어 있지 않은 사례이다. Fig. 4(c)의 큰 붉은색 원으로 정의된 크레이터는 실제 크레이터가 아님을 알 수 있다. 또한 Fig. 4(c)상에서 볼 수 있듯이, 작은 크레이터들의 레이블링이 누락되어 있었다. 본 연구에서는 600여장에 대한 원본 레이블 정보를 음영기복도에 도시하고, 잘못 지정된 레이블과 누락된 레이블링 정보를 Figs. 4(b) and 4(d)와 같이 제거/수정/추가하는 작업을 진행하였다. 보정된 레이블 정보 데이터셋은 딥러닝 학습에 적용하였다.

Figure_KSCE_38_6_09_F4.jpg
Fig. 4.

Crater Labelling Status and Correction

4. 사용된 딥러닝 알고리즘 및 학습 조건

본 연구에서 사용된 딥러닝 알고리즘은 CNN계열로 Ren et al.(2015)이 개발한 최신 Faster Regional Convolution Neural Network (Faster RCNN)을 사용하였다. Faster RCNN은 기존 합성곱 인공신경망(Convolution Neural Network, CNN)을 기반으로 이미지내의 다수의 개별 객체를 개별 박스로 정의하고, 개별 박스 영역 내 객체를 대상으로 학습을 진행하며, 전통적인 인공신경망 알고리즘을 적용해 학습된 박스 내의 객체의 종류나 특성들을 학습하고 추론하는 과정을 거친다(Ren et al., 2015). 따라서 본 Faster RCNN은 합성곱으로 원본이미지의 특징들을 추출하고 분해하는 단계인 CNN단계, 3×3 합성곱 필터를 사용한 구역제안신경망(Region Proposal Network, RPN)으로 이미지 내 객체를 추출하고 학습하는 단계, 개별 객체의 종류와 특징을 학습하고 추론하는 완전연결 인공신경망(Fully Connected Neural Network)과 같은 3단계의 매우 깊은 구조로 구성된다. 본 알고리즘은 바로 이전 버전인 Fast RCNN (Girshick, 2015)에 비해 최소 10배 이상 빠른 학습 및 추론성능을 보인다(Ren et al., 2016).

본 연구에서 적용한 딥러닝 학습 환경은 Table 1과 같다. Table 1에서와 같이, 4개의 NVIDIA의 GTX1080 GPU를 사용하였으며 Ubuntu Linux OS환경에서 운영하였다. Faster RCNN 딥러닝 코드는 Tensorflow와 Python으로 작성되었다. 본 딥러닝 알고리즘의 학습단계에서 설정된 주요 학습상수들은 Table 1과 같다. 보정된 이미지와 레이블 자료 600쌍 전체를 200회 반복하여 학습을 진행하였고, 총 5시간의 학습시간이 소요되었다.

Table 1. Training Environment for Faster RCNN

Specification of Hardware and Software Hyper Parameters of Faster RCNN Training
CPU Intel Xeon E5-2660 v3 Epoch 200
RAM 128 GB Optimizer Momentum
GPU NVIDIA GTX 1080 x 4 ea Momentum Optimizer Value 0.9
OS Ubuntu 16.04 LTS Learning rates (0 %, 50 %, 75 %) 0.0003, 0.00003, 0.000003
Python Version 3.6.6 Training time 5 hours
CUDA Version 9.0 Trained image size (pixel) 256 x 256
cuDNN Version 7.0 - -
Tensorflow Version 1.11.0 - -
OpenCV Version 3.4.3.18 - -

5. 딥러닝 학습 및 추론 결과 분석

본 절에서는 보정된 600개의 보정된 학습자료를 통하여 딥러닝 학습을 진행하고 딥러닝 학습 결과를 정리하였다. 일반적으로 딥러닝 학습에 대한 성능 평가는 학습자료에서 정의된 이미지 내 객체를 얼마나 잘 인식하였는지의 척도인 재현율(Recall)과 인식된 객체들의 종류/특성(Class)을 얼마나 잘 분류해 냈는지의 척도인 정밀도(Precision)의 의미가 통합된 지표인 평균정밀도(Average precision)으로 평가한다(Zhu, 2004). AP값은 0에서 1의 범위를 가지며, 1에 가까울수록 완전한 추론이 이루어졌다는 것을 의미한다. 본 딥러닝 학습을 종료시키고, 보정된 학습자료인 600개의 이미지와 레이블 자료 데이터셋에 대한 재추론 결과는 AP값이 0.79으로 평가되어 매우 양호하게 학습이 이루어진 것을 알 수 있었다. 참고로, 본 논문에서는 제시되지 않았지만, 가용한 총 9만개의 이미지 중 3만개의 원본 수치표고모델과 보정되지 않은 크레이터 레이블 자료에 대한 학습 결과는 학습자료에 대한 재추론 평가에서 AP값이 0.3에 이르기 힘들 정도로 학습에 어려움을 보였다. 따라서 음영기복도로의 변환과 오류나 누락이 많았던 크레이터 레이블자료의 보정 작업은 보다 효과적인 학습에 큰 도움이 된 것으로 판단된다.

Fig. 5는 학습자료에 대한 재추론 결과를 도시적으로 보여준다. Fig. 5의 좌측은 학습에 사용된 정답(Ground-truth)에 해당하는 학습자료 이미지이고, 우측은 학습 완료 후 추론에 의해 작성된 결과이다. Fig. 5와 같이 비교적 정확히 크레이터가 탐지되었음을 알 수 있다. 그림에서 확인할 수 있듯이, 학습자료 내에 잘못 정의된 크레이터가 존재하였으며, 딥러닝 추론에 의해 오류 크레이터가 제거되면서 오류 자동 필터링 기능을 의미하는 긍정적인 결과를 보인 반면, 일부 올바르게 정의된 크레이터가 누락되어 추론된 부정적인 결과도 보였다. 특히, 크기가 작은 크레이터에 대한 추론 성능이 상대적으로 좋지 않았다. 하지만, 보다 많고 보다 정확히 정의된 학습자료가 확보된다면 추론 성능은 자동으로 향상될 것이라 판단한다. 공개된 자료에서 얻어진 원본 수치표고모델의 픽셀 당 실제길이는 470 m/pixel로서 LRO 수피표고모델(픽셀크기 118 m/pixel)로부터 발췌하여 분해시킬 때, 메모리 용량상의 문제로 해상도도 함께 저하 시킨바 있다. 따라서 해상도의 저하 없이 보다 높은 해상도의 이미지 학습자료를 적용한다면 보다 작은 크레이터에 대한 높은 탐지 성능도 확보할 수 있을 것이다.

Figure_KSCE_38_6_09_F5.jpg
Fig. 5.

Prediction for the Trained Dataset

Fig. 6은 학습에 사용되지 않은 데이터셋에 대한 추론결과를 보여준다. 비학습자료에 대한 추론 성능은 성능평가 지표인 AP값이 0.77로 평가되면서, 학습자료에 대한 추론성능 수준과 유사한 추론 성능을 보였다. 이는 딥러닝 학습의 일반화가 확보되었다는 것을 의미한다. 딥러닝 학습의 일반화는 사전에 준비되어 학습에 사용된 이미지와 객체정보에 대한 추론(재추론) 성능도 매우 높지만, 새롭게 주어지는 이미지에 대한 추론도 재추론 성능과 동등 수준의 성능을 보이는 것을 의미하므로, 딥러닝 학습에 있어서는 매우 중요한 검토 항목이다. Fig. 6에서도 전체적인 크레이터의 인식은 양호하게 진행되었으나, Fig. 5에서와 같이 작은 크레이터 객체에 대한 추론이 상대적으로 잘 이루어지지 않았다. 이는 앞에서 언급된바 같이 보다 높은 해상도의 이미지로 학습한다면 해결될 수 있을 것으로 판단된다.

Figure_KSCE_38_6_09_F6.jpg
Fig. 6.

Prediction for the Untrained Dataset

Fig. 7은 보정된 레이블이 없는 새롭게 주어진 이미지에 대한 추론 결과를 보여준다. Fig. 7에서 파란색으로 표시된 원형 레이블은 수작업으로 정의된 보정되지 않은 원본 레이블이다. 이는 오류를 내포하고 있으므로 정답 크레이터 레이블 자료로 활용되기는 곤란하나, 직관적인 추론성능 평가에 좋은 참고가 될 수 있다. 또한, 본 추론 시험은 정답이 없는 관계로, 정량적인 추론성능 지표인 AP값을 산출할 수 없다. AP값은 정답 레이블이 존재할 때 추론된 레이블과 비교하여 계산될 수 있는 값이기 때문이다. Fig. 7와 같이, 본 추론 시험에서는 크레이터가 아닌데 크레이터로 오판하여 정의된 레이블들이 자동 제거되었으며, 명확히 크레이터이나 레이블링되지 않았던 많은 크레이터 객체들이 추가로 탐지되었다.

Figure_KSCE_38_6_09_F7.jpg
Fig. 7.

Prediction for the Untrained Dataset Without Labels

6. 결 론

달의 과학적·경제적 가치가 증가함에 따라 우리나라를 포함한 세계 주요국들은 달 자원개발과 달기지 건설을 위해 달 탐사를 경쟁적으로 진행하고 있다. 달 표면의 크레이터는 태양계 기원 및 진화에 대한 과학적 단서를 제공한다. 또한 영구음영지역을 형성하는 달 극지역의 크레이터는 얼음과 휘발성 자원을 포함하고 있어, 향후 유인 탐사와 기지건설에 필요한 물, 산소, 에너지 원료를 제공할 수 있을 것으로 기대된다. 그동안 달 표면의 크레이터는 주로 육안에 의해 탐지돼왔으나, 직경 1 km 이하의 수많은 크레이터 들을 판별하기에는 많은 인원과 시간이 소요되었다. 또한 다양한 크레이터 자동 탐지 기법이 제안되었으나, 달 크레이터는 다양한 크기와 형태를 지니고 있어 정확하고 일관된 탐지가 어려웠다. 이에 본 연구에서는 최신 딥러닝 알고리즘인 Faster RCNN을 이용한 크레이터 자동탐지 기법을 제안하였다. 제한한 기법에서는 공개된 9만장의 수치표고모델을 육안으로 크레이터 식별이 용이한 음영기복도로 변환하여 학습자료로 활용하였다. 우선 변환된 음영기복도를 이용하여 공개된 자료에서 달 크레이터의 위치와 크기를 정의한 레이블 자료의 오류를 수정할 수 있었다. 세부적으로 600여장의 이미지에 대한 레이블 보정작업을 통하여 표준정밀도 0.79 수준의 재추론 성능을 확보할 수 있었다. 또한 비학습자료에 대한 추론 성능은 표준정밀도 0.77 수준으로, 학습자료와 유사한 추론 성능을 보여주는 것을 확인할 수 있었다.

본 연구를 통해 반자동으로 진행하던 달 크레이터 객체들의 정보화를 자동화할 수 있으며, 달 궤도이미지로 부터 보다 신뢰성 있는 달 크레이터 분포 특성을 파악할 수 있을 것으로 판단된다. 이러한 결과는 달 크레이터 정보의 통계화와 도식화가 가능하게 하므로 전 세계의 달 관련 연구자들에게 달 크레이터 관련 중요한 기초자료를 제공할 수 있을 것이다. 본 연구를 통해 확보된 Faster RCNN 이미지처리 딥러닝 알고리즘은 달 착륙선 또는 현지 로버에서 촬영되는 달 기지 건설 지역 내 주요 객체 및 지장물들의 자동 탐지와 변화 탐지에 활용될 예정이다. 또한, 달기지 건설 지역의 공간정보화 및 구조물 설계에도 적용될 예정이며, 건설되는 구조물의 크기와 형태를 시공 단계별로 자동 탐지함으로서 원격 구조물 시공관리를 위한 주요 객체 정보를 제공할 수 있을 것이다.

Acknowledgements

본 논문은 한국건설기술연구원 주요사업으로 지원을 받아 수행된 연구(극한건설 환경구현 인프라 및 TRL6 이상급 극한건설 핵심기술 개발)로 이에 감사합니다.

References

1 
Bandeira, L., Ding, W. and Stepinski, T. F. (2012). "Detection of subkilometer craters in high resolution planetary images using shape and texture features." Advances in Space Research, Vol. 49, pp. 64-74.DOI
2 
Chen, M., Liu, D., Qian, K., Li, J., Lei, M. and Zhou, Y. (2018). "Lunar crater detection based on terrain analysis and mathematical morphology methods using digital elevation models." IEEE Transactions on Geoscience and Remote Sensing, Vol. 56, No. 7, pp. 3681-3692.DOI
3 
Cohen, J. P., Lo, H. Z., Lu, T. and Ding, W. (2016). "Crater detection via convolutional neural networks." Proc. of 47th Lunar and Planetary Science Conference, Houston, U.S.A., p. 1143.
4 
Emami, E., Bebis, G., Nefian, A. and Fong, T. (2015). "Automatic crater detection using convex grouping and convolutional neural networks." Proc. of International Symposium on Visual Computing, Springer, Cham, pp. 213-224.DOI
5 
Girshick, R. (2015). "Fast R-CNN." Proc. of the IEEE International Conference on Computer Vision, Las Condes, Chile, pp. 1440-1448.DOI
6 
Hong, S., Kim, Y., Seo, M. and Shin, H. (2018) "Geographic distribution analysis of lunar in-situ resource and topography to construct lunar base." Journal of the Korea Academia-Industrial Cooperation Society, Vol. 19, pp. 669-676 (in Korean).
7 
Kim, K. J. (2017). "A research trend on lunar resource and lunar base." The Journal of The Petrological Society of Korea, Vol. 26, No. 4, pp. 373-384 (In Korean).
8 
Palafox, L. F., Hamilton, C. W., Scheidt, S. P. and Alvarez, A. M. (2017). "Automated detection of geological landforms on mars using convolutional neural networks." Computers & Geosciences, Vol. 101, pp. 48-56.DOI
9 
Ren, S., He, K., Girshick, R. and Sun, J. (2015), "Faster R-CNN: towards real-time object detection with region proposal networks." Advances in neural information processing systems, pp. 91-99.
10 
Robbins, S. J., Antonenko, I., Kirchoff, M. R., Chapman, C. R., Fassett, C. I., Herrick, R. R., Singer, K., Zanetti, M., Lehan, C., Huang, D. and Gay, P. L. (2014). "The variability of crater identification among expert and community crater analysts." Icarus 234, pp. 109-131.DOI
11 
Salamuniccar, G. and Loncaric, S. (2010). "Method for crater detection from digital topography data: interpolation based improvement and application to Lunar SELENE LALT data." Proc. of 38th COSPAR Scientific Assembly, Vol. 38, p. 3.
12 
Silburt, A., Ali-Dib, .M, Zhu, C., Jackson, A., Menou, K. (2018) DeepMoon Supplemental Materials. Available at https://zenodo.org/ record/1133969#.W_47ODMUmHs (Accessed: March 23, 2018)
13 
Stepinski, T., Ding, W. and Vilalta, R. (2012). "Detecting impact craters in planetary images using machine learning." Intelligent data analysis for real-life applications: theory and practice, IGI Global, pp. 146-159DOI
14 
Wetzler, P., Honda, R., Enke, B., Merline, W., Chapman, C. and Burl, M. (2005). "Learning to detect small impact craters." Proc. of 7th IEEE Workshop on Application of Computer Vision, Vol. 1. pp. 178-184.DOI
15 
Zhu, M. (2004), "Recall, precision and average precision." Department of Statistics and Actuarial Science, University of Waterloo, Vol. 2, p. 30.
16 
NASA (2018). Lunar Reconnaissance Orbiter., Available at: https://lunar.gsfc.nasa.gov (Accessed: October 12, 2018)