2.1.1 SIFT (Scale Invariant Feature Transform)

SIFT^{(Lowe, 2004)}는 Laplacian-of-Gaussian(LoG)의 근사치인 Difference-of-Gaussian(DoG) 연산자에 기반하여 특징점을 검출한다. 스케일 축으로도 코너성이 극대인 지점을 탐색하기 때문에 스케일 불변성을 가지며, 회전 및 제한된 아핀(affine) 변환 등에도 강건한 것이 특징이다.

2.1.2 SURF (Speeded Up Robust Features)

SURF^{(Bay et al., 2006)}는 SIFT와 마찬가지로 Gaussian scale space를 기반으로 하며, 헤시안(hessian) 행렬식을 활용하여 특징점을 검출한다. 적분 이미지를 사용하여 속도를 높인 것이 특징이다.

2.2.1 RANSAC (RANdom SAmple Consensus)

RANSAC^{(Fischler and Bolles, 1981)}은 입력 데이터에서 이상치가 많은 비중을 차지하고 있을 때도 이상치를 효과적으로 제거하고 모델의 파라미터를 적합(fitting)시키는 알고리즘이다. 최소한의 관측데이터를 활용하여 후보 모델을 생성하는 재표본(resampling) 기법으로, 그 절차는 다음과 같다.

① 모델의 파라미터를 결정하는 데 필요한 최소한의 표본을 임의로 선택한다.

② 해당 표본을 바탕으로 모델의 파라미터를 계산한다.

③ 전체 데이터 중 미리 정의된 허용오차(tolerance) $\epsilon$ 이내에 들어오는 정상(inlier) 데이터 개수를 산정한다.

④ 전체 데이터 수에 대한 정상 데이터 수 비율이 미리 정의된 임계값(threshold) $\tau$를 초과하면, 식별된 모든 정상 데이터를 이용하여 모델의 파라미터를 재추정하고 종료한다.

⑤ 그렇지 않으면, ① ~ ④를 최대 $N$회 반복한다. 여기서 최대 반복 횟수 $N$은, 적어도 하나의 표본 세트가 이상치를 하나도 포함하지 않을 확률이 $p$(주로 0.99로 설정)가 되도록 충분히 크게 설정한다.

2.2.2 MSAC (M-estimator SAmple Consensus)

MSAC^{(Torr and Zisserman, 2000)}은 RANSAC에서 손실 함수(loss function)를 수정하여 성능을 개선한 알고리즘이다. RANSAC은 Eq. (1)과 같이 모든 정상값을 동일하게 간주하여 오차가 $\epsilon$보다 작거나 같으면 손실함수값에 0을 부여하지만, MSAC은 Eq. (2)와 같이 정상값 중 오차가 작은 경우 손실함수값을 더 적게 부여한다. 이때, $e$는 오차, $\epsilon$은 허용오차이다.

3.2.1 최적화를 위한 성능 검증 지표

실제 연속된 항만시설물 이미지를 활용하여 참값(ground truth) 좌표 쌍을 제작하고, 이를 이용하여 조건 변화에 따른 성능을 정량적으로 평가하면서, 제안한 알고리즘을 최적화하였다. 먼저, 대상 항만시설물은 인천 ○○부두이며, 드론(DJI Mavic Air2)을 구조물과 평행하게 비행하면서 동영상을 촬영하였다. 구조물 전면부가 담긴 2분 24초 길이의 동영상을 적절한 중첩도를 갖도록 일정한 빈도로 캡처하여 83장의 이미지(해상도: 3840×2160)를 취득하였다. 획득한 83장의 이미지 중 15개의 연속된 이미지 쌍을 임의로 선정하였다. Fig. 4에서 예시한 바와 같이 연속된 항만시설물 이미지 쌍($I_{A}$와 $I_{B}$)에서 사람이 보았을 때 동일한 8개 지점(Point 1-8)의 이미지 내 좌표를 Table 1과 같이 픽셀 단위로 기록하였다. 15개의 이미지 쌍에 대해 이를 수행하여 총 120개의 참값 좌표 쌍을 제작하였다.

각 이미지 쌍에 대해 3.1절의 알고리즘을 적용하여 $I_{B}$에서 $I_{A}$로의 변환관계를 나타내는 호모그래피 행렬($H_{BA}$)을 계산하였다. 그 후, 지정한 8개 지점에 대해 앞서 계산한 호모그래피 행렬을 이용하여 $I_{B}$ 좌표계에서의 좌표 $(x_{B},\: y_{B})$를 $I_{A}$ 좌표계로 매핑한 좌표 $(\hat{x_{A}},\: \hat{y_{A}})$를 구하고, 참값 좌표인 $(x_{A},\: y_{A})$와의 RMSE(Root Mean Squared Error)를 Eq. (6)과 같이 계산하여 성능 검증 지표로 활용하였다.

Fig. 4 Example of an image pair where locations of feature pairs are marked

3.2.2 특징 탐지 알고리즘 선정

특징 기반 영상 정합의 소요시간 및 정확도는 특징 탐지 알고리즘의 종류에 크게 영향을 받는다. 다양한 특징 탐지 알고리즘이 존재하며, 이를 비교하는 연구가 다수 수행되었다^{(Juan and Gwun, 2009; Mistry and Banerjee, 2017; Karami et al., 2017)}. 비교에 활용된 데이터셋 및 성능 평가 방식에 따라 각 알고리즘의 성능에 조금씩 차이가 존재하였다. 본 연구에서는 위의 연구들에서 공통적으로 우수한 성능을 보인 SIFT와 SURF를 활용하여 특징쌍을 찾고, 3.2.1절에서 기술한 지표를 바탕으로 성능을 비교하였다. Table 2는 15개의 이미지 쌍에 대해 특징 탐지 알고리즘 종류에 따른 RMSE 값을 계산하여 나타낸 것으로, SIFT를 활용했을 때에 비해 SURF를 활용했을 때 평균 RMSE 값이 약 36.6픽셀 작은 것을 확인하였다. 또한, 특징 추출에 걸리는 시간도 SURF가 SIFT보다 평균 5배 이상 빠른 것을 확인하여, SURF가 성능 및 속도 면에서 모두 우수한 것으로 판단하였다.

3.2.3 이상치 기준 선정

본 연구에서는 이상치 제거 알고리즘으로 2.2.2절에서 기술한 MSAC을 활용하였다. 이미지 쌍($I_{A}$와 $I_{B}$)에 대해, $I_{B}$에서의 특징점 $f_{B}$를 호모그래피 행렬 $H_{BA}$를 통해 변환한 투영점 $\hat{f_{A}}$과, $I_{A}$에서의 특징점 $f_{A}$ 사이의 거리 $d$가 허용오차 $\epsilon$보다 작으면 정상치로, 크면 이상치로 판단한다. 이를 그림으로 나타내면 Fig. 5와 같다. 허용오차를 지나치게 작게 설정하면 정상치가 과소 추출될 수 있고, 크게 설정하면 이상치가 정상치로 판단될 수 있다. 적절한 허용오차를 찾기 위해, 3.2.1절에서 기술한 15개의 이미지 쌍에 대해 허용 오차를 1.5픽셀, 5픽셀, 10픽셀, 30픽셀로 조절하며 실험하였다. Table 3는 15개의 이미지 쌍에서 허용오차에 따른 RMSE 값을 나타낸 것으로, 허용오차를 10픽셀로 설정하였을 때 평균 RMSE가 가장 작은 것을 확인하였다.

Fig. 5 Distance $d$ that distinguishes outliers

4.2.1 손상 위치 정보 추정값 평가

실제 구조물을 대상으로 제안 기법을 활용하여 손상 위치를 추정하고, 직접 측정한 위치와 비교하였다. 항만시설물에 접근하여 손상 위치를 측정하는데 보안 상 문제가 있어, 서울시립대학교에 위치한 콘크리트 벽체를 대상으로 테스트를 수행하였다. 대상 벽체는 Fig. 8과 같다. 실내 실험과 마찬가지로, 구조물의 세로 길이가 한 화면에 들어오는 최소 거리(2m)에서 대상 벽체와 평행하게 촬영하여, 중첩된 연속 이미지(해상도: 4608×2592) 19장을 취득하였다.

984장의 구조물 손상(균열 등) 이미지를 DeepLab v3+^{(Chen et al., 2018)}로 학습시킨 손상 탐지 모델을 이용하여 19장의 이미지에 대해 손상 탐지를 수행(손상 탐지 기술의 적용과 관련된 내용은 본 연구의 범위를 넘어가며 제안 알고리즘의 정확도와는 무관하므로, 본 논문에서는 이에 대해 기술하지 않았다.)한 결과, Fig. 9과 같이 4번째 이미지($I_{4}$), 6번째 이미지($I_{6}$), 19번째 이미지($I_{19}$)에서 6개의 균열이 탐지되었다. 이에 따라 Fig. 9과 같이 6개의 균열상에서 임의로 16개의 테스트 포인트($TP_{1-1}$~$TP_{6-4}$)를 선정하였다. Fig. 8에 표시된 바와 같이 가장 가운데에 위치한 이미지($I_{10}$) 내에 원점(O)을 선정하고, 제안 기법을 적용하여 가운데 이미지를 기준으로 16개 테스트 포인트의 좌표를 변환한 후 원점으로부터 거리를 계산하였다.

Table 5는 실제 사람이 측정한 테스트 포인트의 위치와 제안 기법을 적용하여 얻은 위치를 비교한 것이다. 제안 기법은 6번 이미지를 제외한 다른 이미지 상의 테스트 포인트들에 대해서는 15cm 이하의 오차로 위치를 잘 추정하였다. 모든 이미지에 대해서 X 방향 평균 절대 오차 $\left| x_{\text {error }}\right|$는 12.7cm (1.5%), Y 방향 평균 절대 오차 $\left| y_{\text {error }}\right|$는 6.4cm(4.0%)로 나타났다. 이는 인력기반 점검 시 위치 오차(1m 내외)와 비교하여 충분히 작은 수치로 판단된다. 다만 6번 이미지의 경우 오차가 30cm 전후로 다른 이미지에 비해 크게 나타났는데, 이는 특징점을 기반으로 호모그래피 행렬을 산정할 때 오차가 발생하며, 기준점과 점점 멀어지는 경우에는 이러한 오차가 점차 누적되기 때문이다. 따라서 제안 기법을 대형 구조물에 적용하기 위해서는 호모그래피 행렬을 정확하게 산정하는 기법에 대한 추가적인 연구가 필요한 것으로 보인다.

Fig. 8 Target wall with reference coordinate system and test points

Fig. 9 Detected cracks on the 4th, 6th, and 19th images and test points on detected cracks

4.2.2 디지털 외관조사망도 작성

구조물의 형상(외곽선)을 갖고 있다는 전체 하에서 손상 탐지 모델을 이용하여 획득한 손상을 제안 기법을 통해 구한 손상 위치에 시각화하면 디지털 외관조사망도를 작성할 수 있다. 본 연구에서는 손상의 형상과 위치를 시각화하는 프로그램을 MATLAB을 이용하여 제작하였으며, Fig. 10은 콘크리트 벽체에 본 프로그램을 적용한 결과이다. 대상 벽체에 대한 도면을 보유하고 있지 않아 구조물 외곽선은 실측값을 기반으로 사람이 드로잉하였으며, 도면이 있을 때에는 이를 활용할 수 있다. Fig. 10에 표기한 바와 같이 실제 균열의 형상 및 위치와 비교하여 보면, 외관조사망도가 잘 얻어졌음을 알 수 있다. 4.2.1절의 내용을 시각화한 것이므로 정량적인 오차는 Table 5와 동일하다. 향후 손상을 정량화하는 기술^{(Kim and Cho, 2019)}까지 함께 적용한다면, 실무에 바로 활용가능한 외관조사망도까지 표출할 수 있다.

Fig. 10 Digital exterior damage map of tested concrete wall with test point locations