Mobile QR Code QR CODE

Journal of the Korea Concrete Institute

J Korea Inst. Struct. Maint. Insp.

Indexed by
Korea Citation Index (KCI)

Main Menu

Journal Search

[

Research article

]

Journal of the Korea Institute for Structural Maintenance and Inspection

J. Korea Inst. Struct. Maint. Insp. Vol. 25, No. 4, p.65-74

ISSN (print) :

2234-6937

ISSN (online) :

2287-6979

Received : 22 May 2021Revised : 25 June 2021Accepted : 27 August 2021

DOI :

https://doi.org/10.11112/jksmi.2021.25.4.65

영상장비와 딥러닝을 이용한 고속도로 터널 균열 탐지 시스템 개발

Development of Crack Detection System for Highway Tunnels using Imaging Device and Deep Learning

김병현 (Byung-Hyun Kim) ¹ 조수진 (Soo-Jin Cho) ²^† 채홍제 (Hong-Je Chae) ³ 김홍기 (Hong-Ki Kim) ⁴ 강종하 (Jong-Ha Kang) ⁵

학생회원,서울시립대학교 토목공학과 박사과정
정회원,서울시립대학교 토목공학과 부교수
정회원,한국도로공사 구조물처 대리
정회원,한국도로공사 수원지사 차장
정회원,㈜아와소프트 차장

^†Corresponding author: soojin@uos.ac.kr Department of Civil Engineering, University of Seoul, Seoul 02504, Korea

License :

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

빠르게 증가하는 노후 터널을 효율적으로 관리하기 위하여 최근 영상장비를 이용한 점검 방법론들이 많이 제안되고 있다. 하지만기존의 방법론들은 대부분 국한된 영역에서 검증을 수행하였을 뿐 아니라, 다른 물체들이 존재하지 않는 깨끗한 콘크리트 표면에서 검증되어실제 현장에 대한 적용성을 검증하기 어려웠다. 따라서 본 논문에서는 이러한 한계를 극복하기 위하여 비균열 물체 학습에 기반한 6단계 터널균열 탐지 딥러닝 모델 개발 프레임워크를 제안한다. 제안된 프레임워크는 터널에서 취득된 이미지 내 균열 탐색, 픽셀 단위 균열 라벨링, 딥러닝 모델 학습, 비균열 물체 수집, 비균열 물체 재학습, 최종 학습 데이터 구축의 총 6단계로 이루어진다. 제안된 프레임워크를 이용하여 개발된균열 탐지 딥러닝 모델 개발을 수행하였으며, 일반 균열 1561장, 비균열 206장으로 개별 물체 세분화(Instance Segmentation) 모델인 CascadeMask R-CNN을 학습시켰다. 학습된 모델의 현장 적용성을 검토하기 위하여 전선, 전등 등을 포함하는 약 200m 길이의 실제 터널에서 균열 탐지를 수행하였다. 실험 결과 학습된 모델은 99% 정밀도와 92%의 재현율을 나타내며 뛰어난 현장 적용성을 나타내었다.

Abstract

In order to efficiently inspect rapidly increasing old tunnels in many well-developed countries, many inspection methodologies have beenproposed using imaging equipment and image processing. However, most of the existing methodologies evaluated their performance on a clean concretesurface with a limited area where other objects do not exist. Therefore, this paper proposes a 6-step framework for tunnel crack detection deep learningmodel development. The proposed method is mainly based on negative sample (non-crack object) training and Cascade Mask R-CNN. The proposedframework consists of six steps: searching for cracks in images captured from real tunnels, labeling cracks in pixel level, training a deep learning model,collecting non-crack objects, retraining the deep learning model with the collected non-crack objects, and constructing final training dataset. Toimplement the proposed framework, Cascade Mask R-CNN, an instance segmentation model, was trained with 1561 general crack images and 206non-crack images. In order to examine the applicability of the trained model to the real-world tunnel crack detection, field testing is conducted ontunnel spans with a length of about 200m where electric wires and lights are prevalent. In the experimental result, the trained model showed 99%precision and 92% recall, which shows the excellent field applicability of the proposed framework.

키워드

터널 균열 탐지, 딥러닝, Cascade Mask R-CNN, 비균열 학습

Key words

Tunnel crack detection, Deep learning, Cascade mask R-CNN, Negative sample training

1. 서 론

터널은 산간지역이 많은 대한민국의 고속도로와 고속철도 시설물을 구성하는 주요 토목 시설물이다. 하지만, 고속도로와 고속철도 운용의 특성상, 차량이나 열차의 통행을 차단하기 쉽지 않아, 인력의 육안 점검에 기반하여 안전진단을 실시하는데 많은 어려움이 따른다. 또한 최근 터널 시공 기술의 발달로 인한 장거리 터널의 증가는 육안 점검 기반의 안전진단 방법의 변화를 유도하고 있다.

이러한 육안 점검 기반 터널 안전진단의 어려움을 극복하고, 효율적인 터널 안전진단을 수행하기 위하여, 영상장비 및 영상처리를 이용한 터널 안전진단 기법에 대한 연구가 꾸준히 보고되고 있다. 영상을 이용한 안전진단은 외관 손상 뿐 아니라 변위 측정 등 다양한 분야에 적용되고 있다^{(Sanpei and Mizoguchi, 2018)}. ^{Yamaguchi et al.(2007)}은 균열의 각 픽셀에서의 진행방향을 고려한 이미지 처리 기법을 제안하였다. ^{Yu et al.(2007)}은 자동화된 터널 균열 탐지를 위하여 이동식 로봇을 제작하고 히스토그램 평활화와 경계부 탐지(Edge Detection) 등의 이미지처리 기법을 적용하여 균열 탐지를 수행하였다. 최근에는 딥러닝 기술의 발달로 인하여 영상처리를 이용한 터널 손상탐지 기술의 발달 또한 가속화되고 있다. ^{Lee et al.(2019)}은 스냅 카메라로 구축된 촬영 시스템을 트럭에 탑재하여 터널 스캔을 수행하였으며, 이미지 분류(Image Classification) 딥러닝 모델을 터널 이미지에 슬라이딩 윈도우 방식으로 적용하여 터널 표면을 균열과 비균열 영역으로 이진분류(Binary Classification)하였다. ^{Song et al.(2019)}은 터널에 설치된 철도 레일에서 운행 가능한 스캐닝 장비를 개발하고 촬영된 이미지에서 딥러닝 모델을 이용하여 균열을 탐지하는 시스템을 구축하였다. ^{Li et al.(2020)}은 상용 카메라(DSC-WX700 camera)를 조합한 촬영장비를 이용하여 터널 표면의 영상을 취득하고 픽셀 단위로 물체의 형상을 추정하는 U-Net^{(Ronneberger et al., 2015)}을 이용하여 균열 탐지를 수행하였다. 추가적으로 터널 균열 탐지 뿐 아니라 아스팔트와 콘크리트에 대해서도 딥러닝 신경망을 이용하는 연구가 보고된 바 있다^{(Choi et al., 2019;} ^{Kim and Cho, 2019;} ^{Kim and Cho, 2020;} ^{Jang et al., 2021)}.

터널 균열 탐지를 위하여 다양한 논문들이 보고되었지만, 기존 논문들은 아래와 같은 한계를 가지고 있다. 먼저, 테스트 베드가 되는 터널의 전체 영역이 아니라, 촬영된 이미지의 일부 영역만을 사용하여 균열 탐지 알고리즘이나 딥러닝 모델의 성능을 평가하였다. 또한, 추가적으로 터널에 존재할 수 있는 다양한 형태의 비균열 물체에 대한 정확도 검증을 수행하지 않았다. 일반적으로 균열은 이미지에서 매우 가늘고 길게 뻗은 형태로 나타난다. 터널 내에는 이와 유사한 형상의 물체가 많이 존재하는데(예: 전선, 거미줄), 이들은 균열 탐지 알고리즘이나 딥러닝 모델의 성능을 저하하는 큰 요인이 된다. 따라서 실무에 적용 가능한 터널 균열 탐지 시스템을 개발하기 위해서는, 대규모 테스트 베드에서의 정확도 검증과, 비균열 물체를 분류할 수 있는 성능이 필수적으로 요구된다.

따라서 본 논문에서는 기존 영상기반 터널 균열 탐지 연구사례들의 단점을 극복하기 위하여, 비균열 물체 학습에 기반한 6단계 터널 균열 탐지 딥러닝 모델 개발 프레임워크를 제안하였다. 제안된 프레임워크는 터널에서 취득된 이미지 내 균열 탐색, 픽셀 단위 균열 라벨링, 딥러닝 모델 학습, 비균열 물체 수집, 비균열 물체 재학습, 최종 학습 데이터 구축의 총 6단계로 이루어진다. 제안된 프레임워크와 일반 균열 이미지 1561장, 비균열 이미지 206장을 이용하여 개별 물체 세분화(Instance Segmentation) 모델인 Cascade Mask R-CNN을 학습하여 높은 성능의 균열 탐지 모델을 개발하였다. 학습된 모델의 현장 적용성을 검토하기 위하여 전선, 전등 등을 포함하는 약 200m 길이의 실제 터널에서 균열 탐지를 수행하였다. 본 연구는 기존 연구들과 아래와 같은 차별성을 갖는다.

⦁효율적인 비균열 학습을 위한 딥러닝 모델 학습 프레임워크를 제안하고, Cascade Mask R-CNN을 이용하여 학습을 수행하였다.

⦁일부 영역의 이미지가 아닌, 실제 터널 테스트베드의 특정 경간(Span)에서 촬영된 이미지들을 이용하여 개발된 시스템의 정확도를 검증하였다.

2. 터널 균열 탐지 딥러닝 모델 개발 프레임워크(Framework) 제안

본 논문에서는 실제 터널에서 활용 가능한 딥러닝 모델을 개발하기 위하여 Fig. 1에 나타난 것과 같은 6단계 비균열 학습 기반 터널 균열 탐지 딥러닝 모델 개발 프레임워크를 제안한다. 1) 촬영된 이미지에서 균열이 있는 부분을 확인하고, 균열을 포함한 이미지의 목록을 엑셀 파일의 형태로 유지한다. 2) 균열을 포함한다고 확인된 이미지들에서, 균열이 있는 부분만 별도로 저장한 뒤, 상용 프로그램인 Photoshop을 이용하여 픽셀 단위로 균열의 위치를 표시한다. 또한 Photoshop을 이용하여 균열의 위치가 픽셀 단위로 표기된 이미지를 COCO (Common Object in Context) 데이터셋^{(Lin et al., 2014)}의 개별 물체 세분화(Instance Segmentation) 형태로 변환한다. 3) COCO 데이터셋의 형태로 변환된 터널 균열 데이터셋을 이용하여 터널 균열 탐지 딥러닝 모델의 학습을 진행한다. 학습에 사용된 딥러닝 모델은 3단계의 물체 탐지 과정을 거치는 Cascade Mask R-CNN ^{(He et al., 2017;} ^{Cai and Vasconcelos, 2018)}이다. 4) 학습된 Cascade Mask R-CNN을 이용하여 터널 균열 탐지를 수행하고, 이 때 균열로 판정되는 오탐지 이미지들을 별도로 저장하여, 오탐지 이미지 데이터셋을 구축한다. 5) 수집된 오탐지 데이터셋과 실제 균열 이미지를 결합하여, 증강된 비균열 데이터셋을 추가로 구축한다. 구축된 비균열 데이터셋은 2단계에서 구축된 일반 균열 이미지와 합쳐져 추가적인 성능 향상을 위한 딥러닝 모델 학습에 이용된다. 6) 3-5단계를 반복하여, 충분한 균열과 비균열 이미지 데이터셋을 수집한 뒤 최종 학습 데이터 구축을 완성한다. 제안된 프레임워크의 각 단계에 대한 세부사항은 이어지는 단락에서 서술한다.

Fig. 1 Crack detection deep learning model development framework based on negative sample image training

2.1 터널 이미지 내 균열 위치 탐색

제안된 프레임워크의 첫 번째 단계인 터널 이미지 내 균열 위치 탐색 단계는, 최초 인력에 의하여 터널 이미지 내에서 균열이 위치하는 영역을 탐색하는 단계이다. 촬영된 이미지 내에서 인력이 직접 균열의 위치를 확인하고, Table 1과 같은 형태로 균열의 위치를 기록한다. 탐색 대상이 된 모든 터널 이미지에 대하여 균열 발생여부를 점검하며, 균열의 발생 여부를 Table 1과 같이, 지사명, 터널명, 이미지 번호, 그리고 비고와 함께 기록한다. 여기서 비고란에는 이미지에서 확인된 특이사항을 기록한다. 예시로 균열이 이미지 내 확인이 가능하나, 1픽셀 수준으로 균열이 확인되는 경우는 딥러닝 모델 학습에 사용되기 어렵기 때문에 비고란에 해당 내용을 기록하게 된다. 여기서 최초 균열의 위치를 확인하는 단계를 취하는 이유는, 2단계에서 균열 영역을 Photoshop을 이용하여 라벨링 할 때 빠르게 균열 영역을 찾을 수 있을 뿐 아니라, 대규모 테스트 베드 선정에 참고 자료로 사용될 수 있기 때문이다.

Table 1 Example of crack area search list

Local Branch	Tunnel Name	Image No.	Crack Occurrence	Remarks
○○	AA	001	○
□□	BB	005	×
△△	CC	010	×
◆◆	DD	164	○	Crack is too narrow due to image resolution
...	...	...	...	...

2.2 Photoshop을 이용한 균열 라벨링

제안된 프레임워크의 두 번째 단계는 Photoshop을 이용한 균열 위치 라벨링 작업이다. 최근 이미지처리에 이용되는 대부분의 딥러닝 모델들은 지도학습(Supervised Learning)에 기반하고 있으며, 지도학습을 수행하기 위해서는 딥러닝 모델 학습에 필요한 정답(Label)을 사용자가 직접 제공해야한다. 본 연구에 사용되는 딥러닝 모델인 Cascade Mask R-CNN이 포함되는 딥러닝 모델의 범주인 개별 물체 세분화(Instance Segmentation) 모델은 경계상자(Bounding Box) 기반의 물체의 위치정보와 물체의 픽셀단위 형상정보를 학습에 사용한다. 따라서 제안된 프레임워크를 사용하기 위해서는 사용자가 직접 물체의 위치정보와 픽셀단위 형상정보가 담긴 데이터셋을 구축할 필요가 있다. 본 연구에서는 Photoshop을 사용하여 균열을 픽셀 단위로 라벨링하였으며, 라벨링된 균열의 형상 정보로부터 경계상자의 위치정보를 생성하고, 이를 가장 널리 사용되는 개별 물체 세분화 모델의 데이터셋 형태 중 하나인 Common Object in Context의 형태로 변환하여 저장하게 된다.

2.3 Cascade Mask R-CNN

본 연구에서는 개별 물체 세분화(Instance Segmentation) 모델 중 하나인 Cascade Mask R-CNN을 이용하여 균열 탐지 딥러닝 모델을 학습시켰다. Cascade Mask R-CNN은 기존 Mask R-CNN 모델을 변형하여 개발된 딥러닝 모델로, 물체의 위치를 판정하는 Classification Layer를 총 3단계로 구성하여, 물체 탐지의 성능을 끌어올렸다. Cascade Mask R-CNN이 물체를 탐지하는 과정은 크게 3단계로 구분할 수 있다. 먼저, 1단계에서는 Cascade Mask R-CNN은 Region Proposal Network (RPN)을 이용하여 배경과 물체가 존재하는 영역을 구분하는 이진 분류를 수행한다. 2단계에서는 Cascade Mask R-CNN은 RoIAlign 레이어를 사용하여, RPN에 의하여 물체가 있다고 판단된 영역에서 특징 지도(Feature Map)을 추출하고, 추출된 특징 지도에 근거하여 물체의 종류를 판단하고 물체의 위치를 보정한다. 마지막으로 3단계에서는 Classification Layer 및 Bounding Box-Refinement layer와 평행하게 배치된 Mask Branch를 통해 물체의 픽셀 단위 영역을 추출한다. Cascade Mask R-CNN의 모델 구성 형태는 Fig. 2에 나타나 있다. 모델에 대한 상세한 설명은 부록에 수록하였다.

Fig. 2 Overall architecture of cascade mask R-CNN

2.4 학습된 딥러닝 모델을 이용한 비균열 이미지 탐색

본 연구에서 제안한 프레임워크의 네 번째 단계는 학습된 딥러닝 모델을 이용한 비균열 이미지 탐색이다. 비균열 이미지 탐색을 위해서는 먼저 2단계에서 취득된 학습 데이터를 이용하여 Cascade Mask R-CNN을 학습시켜야한다. 테스트 베드로 사용되지 않을 터널 영역을 일부 선정한 뒤, 선정된 비균열 추출 대상 이미지에서 학습된 딥러닝 모델을 이용하여 균열 탐지를 수행한다. 비균열 추출 방식은 먼저 비균열 추출 대상 이미지에서 균열 탐지를 수행한 뒤, 균열이 있다고 딥러닝 모델이 판단한 영역을 전부 별도의 이미지로 저장한다. 그리고 저장된 이미지에 실제 균열이 포함되어 있는지, 균열이 포함되어 있지 않은지 작업자에 의하여 검토된다. 검토된 이미지들은 별도의 데이터 셋으로 관리된다.

2.5 비균열 이미지를 이용한 이미지 증강 수행

제안된 프레임워크의 5단계에서는 학습된 딥러닝 모델을 이용하여 취득된 비균열 이미지를 이용하여 학습 이미지 증강(Image Augmentation)을 수행한다. 여기서 학습 이미지 증강은, 여러 가지 이미지처리를 포함한 여러 가지 방법론을 적용하여 학습 데이터의 수와 데이터셋의 다양성을 효율적으로 확보하는 방법론을 말한다. 본 연구에서는 취득된 비균열 이미지(Negative Sample)와, 미리 확보된 균열 이미지(Clean Sample)을 합성하는 방식으로 균열 데이터셋을 증강시켰다. 여기서 비균열 이미지는 3단계에서 취득된 균열 데이터셋 중, 작업자에 의하여 균열을 포함하지 않는다고 판단된 이미지들을 말하며, 균열 이미지(Clean Sample)은 작업자에 의하여 균열임이 명확하게 판단 가능한 이미지들을 말한다. 5단계에서 제안된 방법으로 증강된 데이터셋에 의하여 기존 학습하였던 균열 탐지 모델을 추가로 학습을 시키며, 학습 후 다시 4단계를 거쳐서 균열 탐지를 수행하고, 이 때 취득된 오탐지 이미지들을 이용하여 추가적인 학습 데이터 증강을 수행한다.

2.6 최종 터널 균열 학습 데이터 확정

제안된 프레임워크의 마지막 6단계는 1-5단계에서 제안된 과정을 이용하여 취득된 터널 균열 학습 데이터셋을 확정하는 단계이다. 이 때 사용자의 시스템 개발 목적에 취합할 뿐 아니라, 오탐지의 비율이 일정 비율 이하로 내려가는 딥러닝 모델 학습 결과가 나타났다고 판단되면, 3-5단계를 반복하는 과정을 중단하고 최종적으로 데이터셋을 확정한다.

3. 실제 터널 균열 탐지 모델 개발 및 검증

본 단락에서는 2장에서 제안된 터널 균열 탐지 딥러닝 모델 개발 프레임워크를 실제 터널 균열 탐지 시스템 개발에 적용하는 과정을 상세 기술한다.

3.1 터널 스캐닝 장비를 이용한 실제 터널 이미지 촬영 및 터널 이미지 내 균열 영역 탐색

본 연구에서 목표한 균열 탐지 딥러닝 모델 개발을 수행하기 위하여, 한국도로공사와 협업을 통하여 터널 스캐닝 장비를 이용한 실제 터널 이미지 취득을 수행하였다. 터널 이미지 촬영에 이용된 터널 스캐닝 차량은 ㈜엘라이트에서 개발하였다. 터널 스캐닝 차량은 상용 차량의 천정부에 다수의 디지털 카메라와 조명 장비를 탑재하고 있다(Fig. 3). 이를 이용하여 터널 표면을 일정 면적 단위로 분할하여 촬영하게 되며, 촬영된 이미지들을 카메라의 촬영 방향에 따라 이어 붙여 최종 터널 표면 이미지를 구축하게 된다(Fig. 4). 한국도로공사에서 관리 중인 터널에서 이미지 촬영을 진행하였으며, 각 터널의 이미지는 약 10000×15000의 해상도를 가진다.

Fig. 3 Tunnel scanning vehicle

Fig. 4 Example of tunnel image captured by the tunnel scanning vehicle

3.2 Photoshop을 이용한 균열 영역 라벨링 수행 세부사항

본 연구에서 제시한 Photoshop을 이용한 균열 라벨링은 아래와 같은 단계로 실제 수행되었다. 먼저 수집된 터널의 이미지 중 균열을 포함하는 주변 영역 약 1000×1000 정도를 잘라낸다. 잘라낸 이미지를 Photoshop으로 불러온 뒤 새로운 레이어를 추가하고, 브러쉬(Brush) 형태의 도구를 사용하여 균열 영역을 특정 색으로 표시한다. 본 연구에서는 빨강(RGB 색상값: 255, 0, 0)을 사용하였다. 그 후 균열이 표시된 이미지를 COCO 데이터셋으로 변환하였다. 변환 과정은, 먼저 균열이 표시된 레이어를 불러온 뒤, 지정된 균열 색상의 영역의 최외접 사각형을 경계상자의 좌표로 변환하고, 그 경계상자 내에서 균열이 픽셀 단위로 표시된 영역의 좌표를 다각형(Polygon)의 형태로 나타내는 것이다. 변환 과정은 별도의 프로그래밍 언어로 구현되면 더 빠르게 진행될 수 있다. 본 연구에서는 변환 과정을 pytoshop, psd-tools, pycococreatortools 등의 Python 라이브러리를 사용하여 수행하였다. 본 과정을 통하여 총 1561장의 균열 이미지를 수집하고 이를 COCO 데이터셋 형태로 변환하여 저장하였다.

3.3 Cascade Mask R-CNN 학습 세부사항

앞에서 구축한 터널 균열 학습 데이터를 이용하여 Cascade Mask R-CNN을 균열 탐지용으로 학습시켰다. 학습에 사용된 하드웨어 및 세부 매개 변수(Parameter) 설정은 아래에 같다. 먼저 균열 탐지에 사용된 하드웨어는 Intel Xeon CPU, NVIDIA Titan V (24GB) 3개, 128GB RAM이 탑재된 딥러닝 전용 고성능 워크스테이션이다. 또한 Cascade Mask R-CNN 학습 과정에서 모델의 세부 사항을 적극적으로 개선하기 위해 다양한 옵션 변경을 제공하는 MMdetection^{(Chen et al., 2019)}을 사용하여 모델 개발을 수행하였다. MMdetection은 여러 종류의 개별 물체 세분화 모델 구현에 필요한 요소들을 제공하며, 전체 모델을 크게 특징 추출을 위한 Backbone Network, 추출된 특징의 해상도 향상을 위한 Neck Network, 그리고 추가적인 물체 탐지 및 물체의 형상 추정을 위한 Head Network로 분리하였다. 학습에 사용된 미니 배치(Mini Batch) 크기로 각 GPU에 2개의 이미지를 할당하여 총 3개의 GPU에서 미니 배치 6을 사용하였다. 학습된 모델의 과적합(Overfitting)을 방지하기 위해 총 4가지 유형의 이미지 증강 기법(Image Augmentation)을 무작위로 선택하여 적용하였다. 실험에 사용된 이미지 증강 기법은 수평 반전, 90도 회전, 전단 변형 및 밝기 변화이다. 모델 학습에 사용되는 최적화 기술은 Stochastic Gradient Descent^{(Robbins and Monro, 1951)}로, Gradient Clipping^{(Pascanu et al., 2013)} 및 Constant Gradient Warming-up^{(Loshchilov and Hutter, 2016)}으로 학습 성능을 향상시켰다. Learning Rate, Weight Decay, Learning Momentum은 각각 0.02, 0.0001, 0.9로 설정되었다. Learning Rate는 두 번째 Epoch 학습데이터를 이용하여 반복 학습을 수행하는 과정에서, 전체 학습데이터에 대해 1회의 학습이 수행되는 경우가 끝날 때 0.02로 지속적으로 증가한 다음 12 번째 Epoch가 끝날 때 0.0002로 감소하도록 설정되었다. GPU의 메모리를 고려하여 모든 이미지의 크기를 800×1333으로 조정하고 앵커 박스의 크기를 4, 8, 16, 32, 64로 설정하였다. 학습 속도를 높이기 위해 전이 학습(Transfer Learning)을 적용하였다. 전이 학습을 적용한 모델은 Cascade Mask R-CNN의 Backbone Network로서, ImageNet ^{(Deng et al., 2009)}에서 사전 학습된 ResNeXt-101^{(Xie et al., 2017)}이다. 전체 학습은 총 40 Epoch 동안 수행되었다.

3.4 비균열 이미지를 이용한 학습 이미지 증강 세부사항

제안된 프레임워크의 4-5단계에서 제시하는 비균열 이미지를 이용한 이미지 증강의 세부사항은 아래와 같다. 먼저 3.3절에서 학습된 Cascade Mask R-CNN을 이용하여 테스트에 사용된 서울양양고속도로 내 화촌9터널을 제외한 터널 이미지 중에서 임의로 선택된 이미지들에서 균열 탐지를 수행하였다. 균열탐지를 수행하며 저장한 이미지들 중 총 206장의 이미지에서 균열이 존재하지 않는 것을 확인하였다. 각 비균열 이미지는 균열이 명확하게 촬영된 총 30장의 균열 이미지(Clean Sample) 중 임의로 선택된 1장과 합성되어 증강된 이미지에 포함되었다. 따라서 3.2절에서 취득된 1561장의 이미지와 합하여 총 1767장의 이미지가 최종적으로 터널 균열 데이터셋으로 사용되었다. 다시 구축된 이미지를 사용하여 3.3절에서 서술한 학습 세부사항과 동일한 환경에서 딥러닝 모델을 다시 학습하였으며, 이를 최종적인 터널 균열 탐지 딥러닝 모델로 활용하였다.

3.5 실제 터널 이미지 내 균열 탐지 및 성능 검증

학습된 딥러닝 모델의 성능 검증을 수행하기 위하여, 딥러닝 모델 뿐 아니라 다양한 머신러닝 모델 성능 검증에 활용되는 지표인 정밀도(Precision)과 재현율(Recall)을 사용하였다. 정밀도와 재현율의 계산 방법은 Fig. 5에 나타나 있다. 먼저 터널 표면 영상에서 딥러닝 모델을 이용하여 균열 탐지를 수행한다. 균열 탐지를 수행한 뒤 균열 탐지 결과와, 터널 표면에 나타난 균열의 위치를 비교하여, 각 균열 탐지가 올바르게 수행되었는지 작업자에 의하여 판별한다. 균열 탐지 결과는 True Positive(TP), False Positive(FP) 및 False Negative(FN)로 구분된다. 여기서 TP는 정상적으로 균열 탐지 결과가 이루어진 영역, FP는 모델에 의하여 균열이 탐지되었지만, 실제로 존재하지 않는 경우, 마지막으로 FN은 실제 균열이 존재하지만 모델이 균열 탐지에 실패한 경우를 말한다. 정밀도와 재현율은 아래 그림에 나타난 것과 같이 TP와 FP에 FN에 의하여 계산된다. 아래 그림에는 총 18개의 TP, 3개의 FP, 그리고 5개의 FN이 나타나 있다. 여기서 정밀도는 TP를 TP와 FP의 합으로 나눈 값을 백분율로 환산한 값이며, 재현율은 TP를 TP와 FN의 합으로 나눈 값을 백분율로 환산한 값이다. 아래 예시에서 확인할 수 있듯, 터널 표면에서 수행한 균열 탐지 결과에서 총 18개의 TP, 3개의 FP가 있을 때, 정밀도는 약 85%, 5개의 FN이 발생했을 때 재현율은 약 78%로 나타난다.

학습된 모델을 이용하여 실제 터널 이미지에서 성능 검증을 수행하였다. 실제 성능 검증에 이용된 터널은 서울양양고속도로에 위치한 화촌9터널이며, 373-393경간에서 촬영된 이미지를 이용하여 테스트하였다. Fig. 6은 학습된 Cascade Mask R-CNN에 의하여 수행된 균열 탐지 결과의 예시를 나타낸 것으로, 성능 검증에 활용된 이미지는 특정 영역을 발췌하지 않고 촬영된 터널의 전체 이미지를 사용하였다. 또한 전선, 콜드 조인트(Cold Joint) 등과 같이 직선 형태로 뻗어 있기 때문에 균열과 유사한 형태를 띄는 여러 가지 물체들도 곳곳에 분포하고 있다. 크기가 큰 원본 이미지에서는 작은 균열이 잘 보이지 않기 때문에, Fig. 6(a)의 붉은 점선 상자 부분을 확대하여 Fig. 6(b)에 다시 나타내었다. 또한, Fig. 6(c)는 학습된 Cascade Mask R-CNN이 Fig. 6(b)의 영역에서 탐지한 균열을 붉은색으로 나타낸 것이다. Fig. 6(c)에서 확인할 수 있듯이, 주변에 분포하는 전선 등을 균열로 판단하지 않고 성공적으로 균열 영역만을 이미지 내에서 탐지한 것을 확인할 수 있다.

Fig. 7-9는 실제 수행된 균열 탐지의 예시를 나타내며, Table 2는 탐지 결과에 대한 정밀도 및 재현율 산출 근거를 나타낸다. 실험에 사용된 경간을 구성하는 총 15장(10000×15000 해상도)의 이미지에 학습된 Cascade Mask R-CNN을 적용한 결과, 99%의 정밀도와 92%의 재현율로 균열을 탐지하였다. Fig. 7은 실험 결과 중 가장 높은 정밀도와 재현율을 보인 이미지의 예시를 나타낸 것이다. 산술적으로는 382-384 경간에서 100%의 정밀도와 재현율로 학습된 Cascade Mask R-CNN이 가장 높은 성능을 나타냈지만, 터널에 나타난 균열이 훨씬 짧았기 때문에 385-387 경간을 최고 성능을 보인 테스트 베드로 선정하였다. Fig. 7에는 실제 터널의 천정부에서 흔히 나타나는 것과 같이 차량의 주행방향을 따라 길게 균열이 발생한 것을 학습된 Cascade Mask R-CNN이 성공적으로 탐지한 것을 타나낸다. Fig. 8은 실험 결과 중 가장 낮은 정밀도를 보인 영역인 391-393경간을 나타내며, 실험 결과 중 유일하게 100%의 정밀도를 달성하지 못한 영역이다. Fig. 8에서 확인할 수 있듯, 균열의 오탐지의 원인은 터널 벽면 콘크리트부에 나타난 원인 미상의 물결 무늬이다. 실험 결과 중 한 군데의 경간에서만 오탐지가 발생한 실험 결과는 본 연구에서 제시하는 오탐지를 줄이기 위한 비균열 이미지(Negative Sample) 학습이 효과적으로 작동하였음을 입증한다. Fig. 9는 실험 결과 중 가장 낮은 재현율을 보인 영역을 나타낸다. Fig. 9에서 확인할 수 있듯, 학습된 Cascade Mask R-CNN은 376번 경간에 발생한 균열의 절반 정도를 탐지하였으나, 그 이외의 영역은 탐지하지 못하였다. 이는 해당 균열들의 크기가 촬영된 장비 기준 1픽셀 내외의 크기로 나타났기 때문으로 판단된다. 해당 균열의 전체를 탐지하지는 못하였지만, 최소 절반 정도의 영역을 탐지하는데 성공하였기 때문에, 균열의 발생 여부를 확인해야하는 안전진단의 특성상 딥러닝에 의한 균열 탐지 결과가 참고자료로 충분히 사용될 수 있음을 보였다.

Fig. 5 Evaluation method of crack detection result of the trained deep learning model

Fig. 6 Example of concrete crack detection on real-world tunnel images

Fig. 7 Example of tunnel crack detection result with the best performance (span 385-387 of Hwachon Tunnel)

Fig. 8 Example of tunnel crack detection result with the worst precision (span 391-393 of Hwachon Tunnel)

Fig. 9 Example of tunnel crack detection result with the worst recall (span 376-378 of Hwachon Tunnel)

Table 2 Evaluation result of the trained cascade mask R-CNN

Span	No. of TP	No. of FP	No. of FN	Precision	Recall	Remarks
373-375	39	0	4	100%	91%
376-378	25	0	8	100%	76%	Fig. 9
379-381	19	0	4	100%	83%
382-384	9	0	0	100%	100%
385-387	52	0	2	100%	96%	Fig. 7
388-390	39	0	2	100%	95%
391-393	38	2	0	95%	100%	Fig. 8
Average				99%	92%

4. 결 론

본 연구에서는 영상장비와 딥러닝을 이용한 고속도로 터널 균열 탐지 시스템 개발을 수행하기 위하여 6단계로 구성된 터널 균열 탐지 딥러닝 모델 개발 프레임워크를 제시하고 제시한 프레임워크의 성능을 실제 구조물에서 평가하였다. 제안된 프레임워크는 다른 터널 균열 탐지 방법론들과 달리, 비균열 이미지에 대한 학습을 수행하여, 실제 터널에서 높은 성능으로 균열 탐지를 수행할 수 있도록 고안되었다.

제안된 프레임워크는 한국도로공사의 협업을 통하여 취득된 실제 터널 이미지에서 평가되었다. 터널 스캐닝 차량을 통하여 실제 환경에서 취득된 약 10000×15000의 해상도를 가지는 이미지를 분할하여 총 1561장의 균열 이미지를 획득하였다. 획득된 균열 이미지에서 Photoshop을 이용하여 균열 영역을 표시한 뒤, 이를 COCO 데이터셋의 형식으로 변환하여 딥러닝 모델 학습에 사용하였다. 본 연구에서는 개별 객체 세분화 모델 중 하나인 Cascade Mask R-CNN을 이용하여 균열 탐지를 수행하였으며, 학습된 모델을 이용하여 총 206장의 비균열 이미지를 취득하였다. 비균열 이미지로 증강된 총 1767장의 이미지를 이용하여 Cascade Mask R-CNN을 재학습시켰다. 테스트 베드로 사용된 터널은 서울양양 고속도로에 소재한 화촌9터널(3,690 m)이며 화촌9터널의 373-393 경간에서 균열 탐지를 수행하고 정확도를 평가하였다. 학습된 균열 탐지 Cascade Mask R-CNN은 거미줄, 전선, 터널 조명 등 여러 가지 손상과 혼동될 수 있는 물체들이 배치된 이미지에서도 높은 성능을 달성하였다. 실험 결과를 통하여 제안된 프레임워크를 이용하면 실제 터널에서 성공적으로 균열 탐지를 수행할 수 있음을 보였다.

본 논문의 범위는 터널 스캐닝 장비로 촬영된 실제 터널 이미지에서 비균열 학습으로 향상된 딥러닝 모델을 이용한 균열 탐지 수행까지이며, 실제 균열의 폭을 알지는 못하였기 때문에 균열 폭에 대한 정확도 등에 대한 연구를 수행할 수 없었다. 만약 정밀점검 등에 의하여 균열의 폭을 알고 있는 이미지를 촬영한다면, 균열 폭과 길이의 정량화에 대한 추가적 검증을 수행할 수 있을 것이다. 또한, 최근 들어서 활발하게 연구되고 있는 초해상화(Super-resolution) 기술을 적용하여 이미지의 해상도를 향상시킨 뒤, 균열의 폭을 측정하는 연구도 수행할 수 있다. 특히 촬영 장비의 성능 개선과 지속적인 딥러닝 모델의 정확도 향상, 처리 속도 향상도 추후 지속적 개선이 필요한 부분이라 판단된다.

감사의 글

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호 21CTAP-C163726-01).

부 록

Cascade Mask R-CNN 모델 상세 설명

Cascade Mask R-CNN의 첫 번째 단계에 위치하여 배경과 물체를 구분하는 역할을 하는 RPN은 물체가 존재하는 것으로 판단되는 영역의 좌표와, 물체성(Objectness) 점수를 각 경계상자(Bounding Box)별로 출력하는 Fully Convolutional Network 모델이다. RPN은 슬라이딩 윈도우를 사용하여 CNN에서 획득한 특징 지도를 스캔하며 후보영역을 생성한다. 슬라이딩 윈도우에 의하여 획득된 특징 지도는 저차원의 벡터로 변환되고 이는 경계상자의 위치를 보정하는 Box-Regression Layer와, 물체를 분류하는 Box-Classification Layer로 입력된다. RPN은 각 슬라이딩 윈도우 위치에서 여러 개의 영역 제안(Region Proposal)을 예측한다. 각 슬라이딩 윈도우는 한 위치에서 최대 k개의 영역 제안을 생성한다. 여기에서 한 위치에 생성된 k개의 영역 제안을 앵커(Anchor)라고하며 가로 세로 비율을 다르게 하여 한 위치에서 여러 개의 앵커를 생성한다. 대부분의 경우 너비와 높이에 대하여 각각 3개의 다른 비율이 부여됨으로 각 슬라이딩 위치에 k=9 앵커가 생성된다. 경계상자의 좌표를 x축, y축 좌표, 점의 너비와 높이로 나타내는 Box-Regression Layer는 4k 출력을 가진다. 또한, 배경과 물체의 이진분류(Binary Classification)를 수행하는 Box-Classification Layer는 영역의 개체의 존재를 추정하기 때문에 2k 출력을 가지게 된다.

두 번째 단계에서 Cascade Mask R-CNN은 RPN의 영역 제안 결과를 가져와 각 후보 상자에서 RoIAlign Layer (RA Layer)를 사용하여 객체의 특징을 추출하여 분류를 수행한다. RoIAlign은 경계상자 및 입력 이미지의 특징 추출 결과를 적절하게 정렬하는 연산 기법이다. RoIAlign은 RPN에서 추출한 경계상자에 해당하는 특징 지도에서 w×h (일반적으로 7×7) 크기의 작은 특징 지도를 추출한다. 이 과정에서 실수(Float)로 표현된 특징 지도상의 경계 상자의 위치는 정수(Integer)로 표현되는 특징 지도 위에서 그 위치가 정확하게 표현될 수 없다. 이러한 문제를 해결하기 위하여 RA Layer는 경계 상자의 위치 정보를 이진 선형 보간법(Bi-Linear Interpolation)을 사용하여 정확한 샘플링 지점을 계산한다. RA Layer로 추출한 특징지도는 물체의 위치를 상대적으로 정확하게 분류하는데 기여할 뿐 아니라 물체의 형상을 픽셀단위로 분류하는데 정확도를 높이게 된다.

RA Layer에서 추출한 특징 지도는 Box-Classification Layer와 Box-Regression Layer로 전달된다. 특징 지도는 Box- Classification Layer와 Box-Regression Layer에 입력되기 전에 Fully-Connected Layer의 형태로 변환된다. 여기서 물체의 클래스는 Box-Classification Layer에 의해 결정되며 Box- Regression Layer는 RPN과 매우 유사한 방식으로 경계 상자의 위치와 크기를 향상시키는 역할을 수행한다. 여기서 Cascade Mask R-CNN의 경우 기존 Mask R-CNN에서 한 번만 물체 분류에 사용되는 Box-Classification Layer와 Box- Regression Layer를 총 3번 사용하여 물체 탐지의 정확도를 강화한다.

세 번째이자 마지막 단계에서 Cascade Mask R-CNN은 RA Layer에서 추출한 특징 지도를 Mask Branch에 입력하여 경계 상자에서 물체의 픽셀 단위 영역을 결정한다. Mask Branch는 FCN의 형태를 취하여 이미지의 물체를 픽셀 단위로 분류한다. RA Layer에 의하여 높은 정확도로 추출된 특징 지도는 더 높은 정확도로 물체의 형상을 추출하는데 기여한다. 이 연구에서 Mask Branch의 출력 크기는 28×28로 Mask R-CNN을 제안한 논문에서 사용된 크기와 동일하다. Box-Classification Layer에 평행하게 배열된 Mask Branch는 Box-Classification Layer에 의한 물체 분류 결과와 관계 없이 물체의 형상만을 학습하여 추론에 사용할 수 있다. 따라서 본 논문에서는 Mask Branch를 물체의 클래스와 관계없이 물체의 형상을 추론하도록 학습시켰다.

References

Sanpei, T., and Mizoguchi, T. (2018), Fundamental Study for Real-Time Detection of Sudden Displacement by High-Speed Laser Scanner, Journal of Structural Integrity and Maintenance, 3(4), 227-232.

Yamaguchi, T., Nakamura, S., Saegusa, R., and Hashimoto, S. (2008), Image‐Based Crack Detection for Real Concrete Surfaces, IEEJ Transactions on Electrical and Electronic Engineering, Wiley Online Library, 3(1), 128-135.

Yu, S. N., Jang, J. H., and Han, C. S. (2007), Auto Inspection System Using a Mobile Robot for Detecting Concrete Cracks in a Tunnel, Automation in Construction, Elsevier, 16(3), 255-261.

Lee, S. H., Shin, K. J., Kim, H. J., Kim, S. Y., Yoo, C. H., and Eom S. G. (2019), Introduction of Tunnel Crack Measurement Technology Using Image Scanning, Journal of Korean Society of Steel Construction, 31(6), 42-48.

Song, Q., Wu, Y., Xin, X., Yang, L., Yang, M., Chen, H., Liu, C., HU, M., CHAI, X., and Li, J. (2019), Real-time Tunnel Crack Analysis System via Deep Learning. IEEE Access, IEEE, 7, 64186-64197.

Li, G., Ma, B., He, S., Ren, X., and Liu, Q. (2020), Automatic Tunnel Crack Detection based on U-Net and a Convolutional Neural Network with Alternately Updated Clique. Sensors, MDPI, 20(3), 717.

Ronneberger, O., Fischer, P., and Brox, T. (2015), U-net: Convolutional Networks for Biomedical Image Segmentation, International Conference on Medical Image Computing and Computer-assisted Intervention, Springer, Berlin, 234-241.

Choi, Y., Kim, J., Cho, H., and Lee, C. (2019) Asphalt Concrete Pavement Surface Crack Detection using Convolutional Neural Network, Journal of the Korea Institute for Structural Maintenance and Inspection, 23(6), 38-44.

Kim B., and Cho, S. (2019), Image-based Concrete Crack Assessment using Mask and Region-based Convolutional Neural Network, Structural Control and Health Monitoring, Wiley, 26(8), e2381(1-15).

Kim B., and Cho, S. (2020), Automated Multiple Concrete Damage Detection Using Instance Segmentation Deep Learning Model, Applied Sciences, MDPI, 9(20), 4444(1-14).

Jang, K., An, Y.-K., Kim, S., and Cho, S. (2021) Automated Crack Evaluation of a High‐Rise Bridge Pier Using a Ring‐Type Climbing Robot, Computer-aided Civil and Infrastructure Engineering, Wiley, 26, 14-29.

He, K., Gkioxari, G., Dollár, P., and Girshick, R. (2017), Mask r-cnn. Proceedings of the IEEE international conference on computer vision, IEEE, 2961-2969.

Cai, Z., and Vasconcelos, N. (2018), Cascade r-cnn: Delving into High Quality Object Detection, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, Piscataway, 6154-6162.

Lin, T. Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P., and Zitnick, C. L. (2014), Microsoft Coco: Common Objects in Context, European Conference on Computer Vision, Springer, Berlin, 740-755.

Chen, K., Wang, J., Pang, J., Cao, Y., Xiong, Y., Li, X., Sun, S., Feng, W., Liu, Z., Xu, J., Zhang, Z., Cheng, D., Zhu, C., Cheng, T., Zhao, Q., Li, B., Lu, X., Zhu, R., Wu, Y., Dai, J., Wang, J., Shi, J., Ouyang, W., Loy, C. C., and Lin, D. (2019), MMDetection: Open Mmlab Detection Toolbox and Benchmark, ArXiv Preprint, ArXiv, 1906.07155.

Robbins, H., and Monro, S. (1951), A Stochastic Approximation Method, The Annals of Mathematical Statistics, Institute of Mathematical Statistics, 400-407.

Pascanu, R., Mikolov, T., and Bengio, Y. (2013), On the Difficulty of Training Recurrent Neural Networks, International Conference on Machine Learning, PMLR, 1310-1318.

Loshchilov, I., and Hutter, F. (2016), SGDR: Stochastic Gradient Descent with Warm Restarts, ArXiv Preprint, arXiv, 1608.03983.

Deng, J., Dong, W., Socher, R., Li, L. J., Li, K., and Fei-Fei, L. (2009). Imagenet: A Large-Scale Hierarchical Image Database, 2009 Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, Piscataway, 248-255.

Xie, S., Girshick, R., Dollár, P., Tu, Z., and He, K. (2017), Aggregated Residual Transformations for Deep Neural Networks, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, Piscataway, 1492-1500.

JKSMIJournal of the Korea Institute forStructural Maintenance and Inspection

Journal of the Korea Concrete Institute

J Korea Inst. Struct. Maint. Insp.

Journal Search

Journal XML

Journal Information

Development of Crack Detection System for Highway Tunnels using Imaging Device and Deep Learning

초록

Abstract

키워드

Key words

1. 서 론

2. 터널 균열 탐지 딥러닝 모델 개발 프레임워크(Framework) 제안

Fig. 1 Crack detection deep learning model development framework based on negative sample image training

2.1 터널 이미지 내 균열 위치 탐색

Table 1 Example of crack area search list

2.2 Photoshop을 이용한 균열 라벨링

2.3 Cascade Mask R-CNN

Fig. 2 Overall architecture of cascade mask R-CNN

2.4 학습된 딥러닝 모델을 이용한 비균열 이미지 탐색

2.5 비균열 이미지를 이용한 이미지 증강 수행

2.6 최종 터널 균열 학습 데이터 확정

3. 실제 터널 균열 탐지 모델 개발 및 검증

3.1 터널 스캐닝 장비를 이용한 실제 터널 이미지 촬영 및 터널 이미지 내 균열 영역 탐색

Fig. 3 Tunnel scanning vehicle

Fig. 4 Example of tunnel image captured by the tunnel scanning vehicle

3.2 Photoshop을 이용한 균열 영역 라벨링 수행 세부사항

3.3 Cascade Mask R-CNN 학습 세부사항

3.4 비균열 이미지를 이용한 학습 이미지 증강 세부사항

3.5 실제 터널 이미지 내 균열 탐지 및 성능 검증

Fig. 5 Evaluation method of crack detection result of the trained deep learning model

Fig. 6 Example of concrete crack detection on real-world tunnel images

Fig. 7 Example of tunnel crack detection result with the best performance (span 385-387 of Hwachon Tunnel)

Fig. 8 Example of tunnel crack detection result with the worst precision (span 391-393 of Hwachon Tunnel)

Fig. 9 Example of tunnel crack detection result with the worst recall (span 376-378 of Hwachon Tunnel)

Table 2 Evaluation result of the trained cascade mask R-CNN

4. 결 론

감사의 글

부 록

Cascade Mask R-CNN 모델 상세 설명

References

Article Information (continued)

키워드

Key words

JKSMIJournal of the Korea Institute for
Structural Maintenance and Inspection