2.1 터널 스캐닝 영상접합기술

2.1.1 터널 스캐닝 장비

터널 스캐닝 데이터 확보를 위하여 Fig. 1과 같이 광학식 터널 스캐너(TMS-100)를 이용하여 10~20km/h로 주행을 하며 터널 반단면 라이닝 촬영을 진행하였다. TMS-100는 팬/틸트 카메라를 최대 16대까지 탑재가능하며 카메라의 왜곡을 검사하기 위해 라인 레이저(Line laser)를 탑재하고 있다. 또한, 초당 30프레임의 속도로 촬영하며 영상데이터를 실시간 저장 및 전송한다^{(et al., 2021)}.

Fig. 1 Configuration of tunnel scanner(TMS-100)(Park et al., 2021)

2.1.2 영상접합기술

본 연구에서 사용된 영상접합기술의 과정은 Fig. 2에 정리되어 있으며 5단계로 나뉜다. 1단계는 Fig. 1의 터널스캐닝 장비를 통하여 영상을 획득한다. 2단계는 SIFT, ORB, BRISK 알고리즘을 통하여 특징점을 검출하고 3단계는 특징점 매칭을 FLANN기법을 통해 진행하고 KNN기법을 통하여 매칭된 데이터를 리스트화 하여 좋은 매칭 선별에 사용한다. 4단계는 RANSAC(RANdon SAmple Consensus) 알고리즘을 통하여 특징점 매칭 중 데이터 경향에 벗어나는 잘못된 매칭(outlier)을 제거한다. 5단계는 매칭된 특징점 기반으로 변환 matrix를 생성하여 왼쪽 이미지(Img 2)의 Warp Perspective 변환을 진행하고 변환된 Img 2를 오른쪽 이미지(Img 1)와 접합함으로써 영상접합이 마무리된다.

Fig. 2 Image stitching process

2.2 특징점 검출 알고리즘

영상접합에 이용되는 특징점 추출 알고리즘은 실수기술자(Real descriptor) 와 이진기술자(Binary descriptor)를 사용하는 형태로 나뉠 수 있다. 실수기술자를 사용하는 대표적인 알고리즘인 SIFT와 연산량이 높은 SIFT의 단점을 해결하기 위해 이진기술자를 사용하여 개발된 ORB, BRISK를 서로 비교해 보고자 한다^{(Lowe, 2004; Rublee et al., 2011; Leutenegger et al., 2011)}.

2.2.1 SIFT

SIFT(Scale Invariant Featue Transform) 알고리즘은 2004년 Lowe에 의해 소개되었으며 기존 기술인 Harris Corner Detection의 크기, 회전 변화에 대한 취약성을 보완하기 위해 개발되었다. SIFT는 원본 이미지에 대하여 크기를 축소, 확대한 Image Pyramid를 구축 후 Image Pyramid 내 각 Octave에 Gaussian Blur를 적용하여 Fig. 3과 같이 같은 Octave 내 인접한 두 이미지의 차이를 통해 얻어진 DoG(Difference of Gaussian) 이미지를 이용하여 특징점을 검출한다. Image Pyramid를 사용함으로써 SIFT는 크기에 대한 불변성을 가질 수 있다. 검출된 특징점 주위에 16개의 윈도우를 설정하고 각 윈도우 당 8개의 백터 정보를 저장하여 128차원의 실수기술자를 사용한다. SIFT 알고리즘은 크기, 회전, 투영변환, 조명변화에 불변성을 갖지만 높은 차원의 기술자로 인하여 데이터량이 많아 연산시간이 오래걸린다는 단점이 있다^{(Ahn and Rhee, 2012)}.

Fig. 3 SIFT, DoG Image creating process(Lowe, 2004)

2.2.3 BRISK

BRISK(Binary Robust Invariant Scalable Keypoints) 는 2011년 S. Leutenegger에 의해 소개되었으며 ORB와 같이 비교적 낮은 사양의 CPU에서 SIFT와 SURF를 대체하기 위하여 개발된 알고리즘이다. BRISK는 크게 Scale-space 특징점 검출 부분과 특징점 기술자 부분으로 나뉠 수 있다. 첫 번째로, Scale-space 특징점 검출 부분은 Fig. 4와 같이 4개의 octave와 octave 사이에 intra-octave로 구성된 Scale space에서 이미지의 크기를 변화시켜가며 FAST9-16 알고리즘을 이용해 특징점을 탐색하여 크기 불변성을 갖는 특징점을 추출할 수 있다(^{Leutengger, 2011}). 두 번째로, 특징점 기술자 부분은 특징점 주위에 60개의 동심원 형태의 패턴을 생성하고 각 동심원 안에 points를 이어 pair를 만들고 이를 이용하여 64차원의 기술자를 생성한다. Table 1에 SIFT, ORB, BRISK 알고리즘의 특징이 정리되어 있다.

Fig. 4 Scale space of BRISK(Leutengger, 2011)

Table 1 Characteristics of SIFT, ORB, BRISK algorithm

	SIFT	ORB	BRISK
Descriptor Dimension	128	32	64
Data Type	Real (floating-points)	Binary(bit-string)	Binary(bit-string)
Invariant	Rotation, Scale	Rotation, (Scale)	Rotation, Scale

2.3 알고리즘 평가방법

2.3.1 알고리즘 적용 터널 이미지

본연구에서는 터널 특성을 반영한 이미지를 Fig. 5와 같이 콘크리트 부, 조명 부, 타일 부 3부분으로 분류하고 3부분의 이미지를 특성에 따라 3 종류의 이미지로 나누어 총 9종류의 이미지에 알고리즘을 적용하고자 한다. Fig. 5(a)~(r)에 제목으로 적혀있는 이니셜의 가장 뒷부분 (L), (R)의 의미는 각각 (L):왼쪽, (R): 오른쪽 이미지을 의미하고 (a)~(r)의 의미는 Table 2에 정리되어 있다.

Fig. 5 Algorithm application target images

Table 2 Meaning of abbreviation

Abbreviation	Meaning
JC	Joint Concrete(이음부가 있는 콘크리트)
PC	Plain Concrete(표면에 얼룩이 없고 깔끔한 콘크리트 부)
SC	Stain Concrete(표면에 얼룩이 있는 콘크리트 부)
WL	White Light(하얀색 조명부)
RL	Red Light(빨간색 조명부)
PL	Plain Light(일반적인 조명부)
JT	Joint Tile(이음부가 있는 타일부)
PT	Plain Tile(일반적인 타일부)
ST	Stain Tile(얼룩이 있는 타일부)

2.4 결과 및 분석

Table 3은 알고리즘 적용 결과로 나오는 이미지별 특징점 검출 개수, inliers 개수, 매칭된 전체 pairs 개수(Inlier+Outlier), 정확도, 연산시간이 나타나 있다. Fig. 6에는 Inlier pairs의 매칭 결과가 빨간선으로 표시되어있고 그 매칭선분을 기준으로 이미지 접합결과가 함께 나타나 있으며 Table 3과 Fig. 6을 종합하여 실험결과를 분석하고자 한다.

콘크리트부의 실험결과를 관찰하면 JC에서는 모든 알고리즘의 정확도는 Case 3 BRISK(56.54%)를 제외하고 40~48% 의 수치가 나왔으며 이미지 접합 결과는 이미지 중앙 아랫부분 철선이 이격이 가장 적고 매끄럽게 접합된 Fig. 6(a)-2의 SIFT가 가장 좋았으며, 그다음으로 BRISK, ORB 순으로 좋게 나타났다. PC는 이미지 픽셀값의 변화가 크지 않은 매끈한 콘크리트 면이기 때문에 전체이미지 중 가장 적은 특징점 검출과 매칭이 이루어졌으며 Fig. 6(a)-3와 (c)-3와 같이 특징점 매칭선분의 기울기가 다른 선분보다 가파른 선분이 있거나 길이가 긴 선분이 있는 SIFT와 BRISK에선 이미지 접합이 되지 않았으며 ORB는 접합이 이루어졌다. SC는 얼룩이 있어 이미지 내에서 픽셀값의 변화가 크기 때문에 전체이미지 중 모든 알고리즘이 가장 많은 특징점을 도출했으며 특징점 매칭이 적었던 PC를 제외하고 가장 높은 정확도를 나타냈다. SC의 이미지 접합은 높은 정확도를 바탕으로 모든 알고리즘에서 동등하게 이격이 없이 매끄럽게 접합되었다. 터널 내 콘크리트 부는 PC처럼 깔끔한 콘크리트면은 전체의 0.5% 정도로 아주 작은 부분을 차지하고 콘크리트 면의 대부분이 이음부(JC)와 얼룩이 있는 콘크리트(SC)로 이루어져 있으므로 JC와 SC에서 접합의 성능이 좋은 SIFT와 BRISK가 콘크리트 부 이미지 접합에 적합한 알고리즘으로 판단된다. SIFT가 BRISK보다 더 정밀한 접합결과가 나왔지만 연산속도 측면에서 BRISK가 SIFT보다 약 5.3배 빠른 연산속도를 보여줬다.

조명부의 실험결과를 관찰하면 WL에서는 조명부 중 가장 낮은 수의 특징점이 검출되었으며 가장 낮은 정확도를 보였다. Fig. 6(c)-7의 BRISK는 특징점 매칭이 잘못되어 이미지가 접합되지 않았으며 SIFT가 ORB보다 조명하부 조명받침철 부분의 이격이 더 적고 부드럽게 접합되어 더 좋은 접합성능을 보여주었다. RL에서는 전체적으로 BRISK, ORB, SIFT 순으로 높은 정확도를 보였다. 영상접합은 Fig. 6 (a)-10의 SIFT는 조명 하부 오른쪽 모서리에서 이격이 크게 나타났으며 Fig. 6(b)-10의 ORB는 상부 조명받침철 부분에서 이격이 크게 났다. Fig. 6(c)-10의 BRISK는 세 알고리즘 중 이격이 적고 가장 좋은 접합성능이 나타났다. PL에서는 정확도의 경향성은 찾기 힘들었다. SIFT에서 이미지 손실과 이미지 조명 상하부 받침 철 부분의 이격이 적고 가장 부드럽게 접합이 되었으며 그다음으로 ORB, BRISK 순으로 좋은 접합결과가 나타났다. 조명부에서는 이미지 내 조명이 켜져 있어 명도가 높은 부분에서는 특징점 매칭이 적게 이루어지는 경향을 보였다. 조명부 접합에 유리한 알고리즘에 대한 뚜렷한 경향을 관찰하기 힘들었으며 전체적으로 연산속도는 느리지만 Fig. 6(c)-7과 같은 잘못된 매칭이 적고 가장 좋은 접합성능을 보여준 것은 SIFT였고 ORB와 BRISK도 조명부의 9개의 이미지 중 각각 2개, 1개의 이미지에서는 SIFT보다 좋은 접합성능을 나타냈다.

타일부의 실험결과를 관찰하면 JT에서 ORB, BRISK, SIFT 순으로 높은 정확도를 보여줬다. 접합성능은 SIFT, ORB, BRISK 순으로 이격이 적고 좋은 접합결과가 도출되었다. PT에서는 타일부 중 가장 낮은 특징점 검출수와 매칭이 되었지만 타일자체가 흰 타일부와 회색의 시멘트부로 픽셀값의 변화가 큰 무늬를 갖고 있어 PC나 WL 보단 높은 수의 특징점 검출과 매칭이 되었다. 접합결과는 세 알고리즘 모두 크게 차이가 나지 않으며 이격이 적고 준수한 접합결과를 보여줬다. ST에서는 얼룩이 있는 특징 때문에 타일부 중 특징점 검출이 가장 많이 되었다. 접합결과는 ORB, BRISK에선 이미지 상단에 이격이 발생하였고 SIFT는 이격이 없이 접합이 되어 SIFT, BRISK, ORB 순으로 이격이 적고 좋은 접합결과가 나타났다. 타일부는 타일무늬 이미지자체가가 픽셀값이 급격하게 변하는 흰색 타일부분과 회색 시멘트부분으로 나눠져 있어 JT, PT, ST 모든 부분에서 특징점 검출량과 매칭량이 크게 차이가 나지 않았으며 접합 성능 또한 Fig. 6(a)-4, (c)-4, (c)-8 와 같이 크게 뒤틀리는 경우가 없이 안정적으로 접합되었다. 타일부에서 SIFT가 가장 좋은 접합결과를 보여줬다. ORB, BRISK 또한 준수한 접합결과를 보여주며 SIFT보다 각각 2.6, 5.1배 빠른 연산효율을 발휘했다.

전체적으로 SIFT는 128차원의 실수기술자를 사용하므로 연산시간이 가장 높게 나타났으며 32차원의 이진기술자를 사용하는 ORB는 SIFT 보다 2.4배 빠른 연산효율을 보여줬고, 64차원의 이진기술자를 사용하는 BRISK는 SIFT보다 5배 빠른 연산효율을 발휘했다. ORB와 BRISK 중 더 낮은 차원의 기술자를 사용하는 ORB가 더 빠른 연산효율을 보여야 하지만 ORB가 BRISK 보다 약 5.3배 많은 특징점을 검출하였으므로 ORB의 특징점 검출로 연산시간이 늘어나 BRISK보다 느린 연산속도를 보여줬다. 정확도는 평균적으로 ORB, BRISK, SIFT 순으로 높게 나왔다. BRISK의 높은 정확도는 matched pairs의 개수가 작아 표본이 작은 것에서 기인했다고 볼 수 있다. ORB는 표본이 많지만 크기에 대해 부분적으로 불변성을 갖는 알고리즘이기에 이미지상 같은 위치에서 특징점이 중복되어 도출될 수 있고 Fig. 6에서 볼 수 있듯이 중복된 inlier pairs가 존재하며 정확도가 높게 나타날 수 있다. 정확도가 높은 것이 좋은 접합결과로 이어지는 것은 아니며 RANSAC은 매칭선분의 물리적인 특성은 고려하지 않기 때문에 단순히 RANSAC으로만 특징점 매칭의 Inlier를 판별하는 이전 연구^{(Tareen and Saleem, 2018; Hong and Shin, 2020)}에서 더 나아가 Fig. 6(a)-3, (c)-3, (c)-7과 같이 매칭선분의 기울기가 가파르거나 길이가 긴 선분이 Inlier로 판별되지 않도록 RANSAC적용 이후에 특징점 매칭선분의 물리적인 기울기와 길이를 제한하여 Inlier를 판별하면 보다 효과적으로 Inlier를 검출할 수 있고 접합성능도 높아질 것으로 예상된다. 특징점 검출성능은 ORB가 중복된 특징점을 검출할 수 있다는 것을 고려하였을 시 SIFT, ORB BRISK 순으로 많은 특징점을 검출하였다. 전체적으로 SIFT가 연산속도는 느리지만 가장 정확한 접합결과를 보여줬다. 연산시간보다 정확도가 중요시되는 정밀한 평면전개 이미지 생성에 SIFT가 활용될 수 있고 ORB와 BRISK도 준수한 접합결과를 보여줘 대용량 영상에서 빠른 영상처리 속도가 요구되는 작업에 사용될 수 있다.

Fig. 6 Features matching and image stitching result