1. 서 론

1.1 연구의 배경 및 목적

사회간접자본 구조물은 사용 연수가 늘어나면서 노후도가 누적되기 때문에 정기적인 안전관리와 유지 보수·보강이 필수적이다. 특히 교량의 경우 노후화로 인한 붕괴 발생 시 인명피해, 경제피해 비용은 상당하다. 2018년에 발생한 이탈리아 제노바 모란디 교량 붕괴 사고로 인해 수십 명의 사망자가 발생하였고, 심각한 차량정체와 물류난이 발생하였다(^{Lee, 2019}). 위 사건 이외에도 2013년 미국 I-5 스캐짓 강 교량 붕괴 사건, 2007년 미국 미네소타 교량 붕괴 사건 등 노후화된 교량의 보수 및 보강을 미루어 오다 참사가 발생하였다(^{Lee, 2015b}). 이러한 사건들은 노후화된 교량의 유지관리, 보수 및 보강의 중요성을 일깨워주었다.

한국도로공사가 조사한 결과 국내 고속도로 교량은 8,500여 개소, 공용 연수는 13년, 상태등급은 B등급(건전도 0.87)이지만, 향후 10년 후에는 공용 연수 23년, 상태등급은 저하된 B등급(건전도 0.82), 보수비용은 현재보다 70 % 상승한 1,100억 원이 소요될 것으로 예상된다(^{Lee, 2015a}). 이러한 추세로 볼 때, 추후 노후화에 따른 유지관리가 필요하고 상당한 유지관리 비용 상승이 예측된다.

최근 건설 산업에서는 보다 효율적인 유지관리를 위하여 BIM (Building Information Modeling)을 많이 사용하고 있다. BIM은 해당 구조물에 대한 정보를 디지털 가상공간의 3D 모델을 담아내는 기술로서 구조물의 설계단계, 시공단계, 유지관리까지 구조물의 생애주기를 효율적으로 관리할 수 있다. 미국의 경우, 정부에서 5억 달러 이상의 건설 프로젝트에 BIM 사용을 의무화 하였고, 유럽연합(EU)은 BIM 공통 채택을 장려하기 위해 유럽 공공 부분 BIM 핸드북을 발간하였다(^{Moon et al., 2018}). 이처럼 BIM은 미래 건설 산업에 중요한 요소로 성장하고 있다.

BIM은 일반적으로 시공 이전에 계획하여 설계도면을 바탕으로 제작되기 때문에, BIM 기술이 도입된 이후 건설되어진 구조물들에 대해서만 적용이 되고 있다. 따라서 노후도가 많이 진행된 과거의 구조물에 경우, 대부분 BIM이 구축되어 있지 않다. 기존의 구조물의 BIM을 구축하기 위해서는 일반적으로 영상장비를 이용하여 구조물의 3D 모델을 구축하는 방법을 사용한다. 3D 모델을 구축하는 방법으로는 LiDAR (Light Detection And Ranging, 광 검출 및 거리측정), 또는 디지털 카메라를 이용하여 데이터를 수집하는 방법이 있다. LiDAR 활용하는 방법은 정밀도가 높지만, 고가의 장비를 필요로 한다. 이에 비하여 2D 이미지를 활용하여 3D 모델을 생성하는 SfM (Structure from Motion)기법은 일반 상용 카메라를 사용하여 보다 간단하게 데이터를 수집할 수 있다(^{Hartley and Zisserman, 2003}).

카메라를 사용하여 얻은 데이터에 이미지 정합을 하는 SfM 기법으로 구조물의 3D 모델을 생성할 수 있다. 하지만 SfM 기법으로 구축한 3D 모델의 점군 데이터(Point cloud)는 형상 정보와 색상 정보만 있을 뿐, 구조물의 어떤 요소에 해당하는지 등에 대한 의미론적 정보는 전혀 포함되어 있지 않다. BIM을 구축하기 위해서는 형상정보에서 구조물의 어떤 구성요소인지를 판별해야 하는데, 현재 이러한 작업은 수작업으로 이루어져 왔었다. 수많은 데이터를 일일이 선택하여 교량의 구성요소로 입력하는 작업은 많은 시간과 비용이 소모된다. 따라서 보다 효율적으로 BIM을 구축하기 위해서는 부재의 요소정보를 분류하는 자동화 과정이 필요하다. 2D 이미지에서 각 요소정보를 얻는다면, 이를 기반으로 생성한 점군 데이터에서도 특정한 형상이 구조물의 어떠한 구성요소인지 알 수 있게 된다. 따라서 본 연구에서는 교량 구성요소를 자동으로 분류하는 딥러닝 기반 네트워크를 구축하고자 한다.

1.2 선행연구

시각 정보를 컴퓨터가 분석하고 인식할 수 있도록 하는 분야인 객체 인식은 과거부터 연구와 개발이 활발히 진행되어 왔다. 현재 객체 인식은 자율 주행, 얼굴 인식, 사물 추적, 영상 감시 등 다양한 분야에서 활용되고 있다.

2000년대 초반에는 영상의 특정 객체를 인식하기 위하여 특징점을 매칭 시켜주는 Feature Matching Algorithm들이 개발되었다. SIFT (Scale Invariant Feature Transform), SURF (Speeded-Up Robust Features), Haar Feature, HOG (Histogram of Oriented Gradients) 등의 알고리즘들은 이미지 내에서 해당 객체의 크기가 다르거나 회전이 생겨도 같은 객체로 인식할 수 있도록 개발되었다(^{Viola and Jones, 2001}; ^{Lowe, 2004}; ^{Dalal and Triggs, 2005}; ^{Bay et al., 2006}). 최근에는 딥러닝을 이용하여 객체를 인식하는 기법이 개발되고 있다. 이미지 인식 경연대회 ImgeNet LSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge)에서 최초로 딥러닝을 사용한 AlexNet은 오차율 16 %로 다른 방법보다 압도적 성능을 보여 주면서, 객체 인식에서 딥러닝은 핵심 기술로 사용되고 있다(^{Krizhevsky et al., 2012}).

객체 인식은 이미지 분류로 이루어지는데, 이미지 분류 딥러닝 알고리즘 중 CNN (Convolutional Neural Network)이 가장 많이 사용된다. 기존의 NN (Neural Network) 구조는 이미지 데이터를 그대로 처리했기 때문에 이미지 데이터의 특징이 조금만 달라지거나 왜곡된 경우 준수한 성능을 내지 못했다. 그러나 CNN 구조는 이미지를 여러 개로 분할한 후, 분할된 이미지들의 패턴을 분석하여 결과를 도출한다. 이 방법을 사용하면 이미지의 왜곡이 존재하여도 부분적 특성을 얻을 수 있기 때문에 준수한 성능을 보여준다. CNN 구조를 사용하여 딥러닝 모델을 개발한 대표적인 연구로는 VGG, GoogLeNet (Inception-v1), ResNet이 있다(^{Simonyan and Zisserman, 2014}; ^{Szegedy et al., 2015}; ^{He et al., 2016}).

현재 건설 분야에서 객체 인식은 주로 구조물의 크랙, 박락 등의 손상을 찾는데 사용되고 있다(^{Lee et al., 2018}). 하지만 딥러닝을 사용하여 교량의 BIM을 구축하는 연구는 미비한 편이다. 따라서 본 연구에서는 딥러닝을 기반으로 2D 이미지로부터 교량의 구성요소를 자동으로 분류하여 BIM을 구축하는데 도움이 되는 방법을 제안하였다.

2. 딥러닝을 활용한 교량요소 자동 분류 시스템 구축

2.1 딥러닝 모델의 네트워크 구조

본 연구에서는 사전 학습된 딥러닝 모델인 AlexNet, GoogLeNet, ResNet-101, Inception-ResNet-v2을 사용하였다. 위 모델들은 CNN으로 이루어진 모델들이다. CNN의 가장 큰 특징은 이미지의 특징을 추출하는 계층인 컨볼루션 계층이 존재하는 것이다. 컨볼루션 계층은 기존의 사용하던 방법들과 달리 이미지의 공간 정보를 유지한 채 특징을 추출하며, 학습 파라미터가 적고 처리속도가 빠르다. 위에서 언급한 모델들은 컨볼루션 계층을 사용하였다는 공통점이 있지만, 네트워크 구조가 각각 다르게 구성되어 있다.

딥러닝 모델 중 초기모델인 AlexNet은 5개의 컨볼루션 계층과 3개의 완전 연결 계층으로 구성되어 있는 모델이다. AlexNet은 8개의 계층으로 높은 정확도를 보여주었지만, 최근 더 많은 계층과 향상된 성능을 가진 네트워크들은 보다 높은 정확도를 보여주었다.

일반적으로 네트워크의 계층을 더 깊고 많게 구성하면 정확도가 향상한다. 그러나 계층을 늘리면 일정 학습데이터를 과하게 학습하거나 세부정보를 기억하는 과적합(Overfitting) 현상이 발생한다. 또한 계층이 늘어나면 연산이 복잡해져 학습시간이 증가하게 된다. 이러한 문제를 해결하기 위하여 Inception 모듈이라는 방법을 사용하였다. GoogLeNet (Inception v1)은 Inception 모듈을 최초로 제안한 딥러닝 모델이다. Fig. 1과 같이 Inception 모듈은 입력에 대하여 여러 개의 연산을 동시에 수행하고 ReLU 함수를 사용하여 비선형적인 특징을 추출하여 결합한다. 이 구조를 사용하면 추가적인 매개변수가 필요하지 않고 연산이 감소하기 때문에 더 깊은 네트워크를 구축할 수 있다.

Fig. 1.

Inception Module

네트워크는 계층이 많아지면 생기는 문제 중 다른 하나는 가중치가 점점 사라지는 기울기 손실(gradient vanishing) 현상이다. 이 문제를 해결하기 위해서 ResNet에서는 Residual 연결을 사용하였다. Residual 연결은 Fig. 2와 같이 데이터 $x$가 계층을 통과하여 $x\text{'}$로 변화 시 기존의 $x$를 추가로 더해준다. 따라서 다음 계층을 진행할 때 $f\left(x\right)=x\text{'} +x$로 기존의 $x$에 대한 값을 변하지 않고 가지고 있게 한다. 또한, 단순히 가산 연산만 하므로 연산이 줄고 향상된 성능을 발휘할 수 있다. ResNet-101은 Residual 연결을 사용하여 네트워크의 계층을 101개로 구성한 딥러닝 모델이다.

Fig. 2.

Residual Connection

Inception-ResNet-v2는 GoogLeNet의 Inception 모듈과 ResNet의 Residual 연결을 혼합하여 네트워크의 계층을 164개로 구성한 딥러닝 모델이다. Inception-ResNet-v2는 기존의 계층 증가에 따른 문제를 해결하였고 향상된 성능의 네트워크를 보여주었다. ImageNet의 정확도 검증에 사용하는 데이터에서 기존 Inception-v3의 기록을 경신하였고 Top-1 정확도 80.4 %, Top-5 정확도 95.3 %를 기록하였다(^{Szegedy et al., 2017}).

2.2 전이학습(Transfer Learning) 및 시스템 구축

본 연구에서는 전이학습(Transfer Learning)을 사용하여 네트워크를 구축하였다. 전이학습은 사전 학습된 딥러닝 모델을 이용하여 새로운 목적의 네트워크를 구축하는 기법이다. 전이학습을 이용하면 성능이 우수한 기존의 딥러닝 모델을 사용할 수 있기 때문에, 높은 정확도를 얻을 수 있다. 전이학습의 과정에서는 Fig. 3과 같이 마지막 완전 연결 계층(Fully Connected Layer)의 입출력 이미지의 크기 학습 가중치를 수정하였고, 분류 계층(Classification Layer)의 클래스 개수를 변경하였다.

Fig. 3.

Transfer Learning

완전 연결 계층에서 입출력 이미지의 크기는 사전 학습된 딥러닝 모델의 기본값으로 설정하였다. 또한 과적합 현상을 방지하기 위하여 이미지를 무작위로 뒤집거나 평행 이동을 하여 학습데이터를 늘리는 이미지 증대 구성을 사용하였다.

분류 계층에서는 본 연구의 목적인 교량 구성요소 기준으로 클래스를 변경하였다. 교량 구성요소 클래스는 교대(Abutment), 강 박스 거더(Steel Box girder), 슬래브(Slab), 코핑(Copping), 기둥(Pier)으로 나누었다.

학습 과정에서 한 번의 계산으로 최적화된 값을 찾기 힘들기 때문에 100회 반복하여 학습하였고, 학습 연산에는 GPU (Graphics Processing Unit)를 사용하였다. 학습이 완료된 네트워크는 스마트폰 영상 장치에 연결되어 실시간으로 구성요소를 자동 인식하는 방식을 사용하였다. 스마트폰으로 촬영을 하면 네트워크는 입력 이미지와 학습한 클래스를 비교하여 네트워크가 예측한 클래스 중 정확도가 높은 Top-1 클래스의 정확도 수치와 정확도가 높은 5개의 클래스인 Top-5의 정확도 그래프를 보여주도록 구성하여 시스템을 구축하였다.

3. 학습 데이터 수집

본 연구에서 학습에 필요한 데이터는 충청북도 청주시 서원구 남이면 가마리에 있는 강 박스 거더교(Fig. 4.(a)), 충청북도 청주시 서원구 개신동에 있는 강 박스 거더교(Fig. 4.(b))에서 데이터를 수집하였다. 데이터 수집을 위해 사용한 장비는 Samsung Galaxy S10 5G 카메라이며, 수집한 이미지 데이터의 해상도는 960*960 픽셀이다.

Fig. 4.

Steel Box Girder Bridge

본 연구에서는 객체 인식 기반 기법을 활용했기 때문에, 전체 이미지 영역을 하나의 클래스로 라벨링(Labeling)하였다. Fig. 5와 같이 코핑처럼 다양한 요소가 포함된 이미지는 사용하지 않고, 교량 구성요소가 명확하게 나타난 이미지만 라벨링에 사용 하였다. 라벨링 한 데이터의 수는 각각 교대 192개, 코핑 264개, 슬래브 108개, 강 박스 거더 152개, 기둥 188개이며 합계는 904개이다. 학습데이터는 Fig. 6과 같이 각각 폴더에 저장하는 방식으로 클래스를 구분하고 네트워크에서 불러오는 방식을 사용하였다. Fig. 7과 같이 데이터 중 75 %는 전이학습 과정에서 네트워크를 학습하는데 사용하였고, 25 %는 구축된 네트워크를 검증할 때 사용하였다.

Fig. 5.

Bridge Component Classification

Fig. 6.

Network Class

Fig. 7.

Flow Chart

4. 시스템 검증 및 결과 분석

본 연구에서 AlexNet, GoogLeNet, ResNet-101, Inception- ResNet-v2을 기반으로 전이학습을 수행하여 Fig. 8과 같이 교량 구성요소의 정확도를 나타내는 시스템을 완성하였다. 완성된 시스템의 비교 방법으로는 네트워크가 예측한 교량 구성요소의 정확도를 사용하였다. 검증 방법으로는 혼동 행렬(Confusion Matrix)을 사용하였고, 네트워크의 신뢰도를 확인하기 위하여 Fig. 9와 같이 데이터를 네 부분으로 나누어 학습데이터와 테스트데이터를 4번 번갈아 가면서 사용한 후 평균을 구하는 4겹 교차검증(4-Fold cross validation)을 사용하였다. 학습연산에 사용한 GPU는 NVIDIA GeForce RTX 2080 Ti 이다. 정확도의 기준으로는 네트워크가 예측한 확률이 가장 높은 클래스 한 개만으로 정확도를 측정하는 Top-1의 정확도를 채택하였다.

Fig. 8.

System Result

Fig. 9.

4-Fold Cross Validation

먼저, AlexNet 기반으로 전이학습을 하여 구축한 시스템으로 분류한 결과, Table 1처럼 나타났다. 총 904개의 데이터 중에 850개를 정확히 구분하였고, 평균 94.02 %의 정확도를 나타냈다. GoogLeNet을 기반으로 전이학습을 하였을 때는 Table 2에 나타난 것처럼, 총 904개의 데이터 중 858개를 정확히 분류하였고, 평균 94.58 %의 정확도를 나타냈다. GoogLeNet은 AlexNet 보다 높은 평균 정확도를 기록했지만, 코핑 클래스의 정확도는 AlexNet 보다 낮은 결과를 보였다. ResNet-101을 기반으로 전이학습을 하였을 때는 Table 3에 나타난 것처럼, 총 904개의 데이터 중 863개를 정확히 분류하였고, 평균 95.46 %의 정확도를 나타냈다. ResNet- 101에서는 한 클래스가 다른 여러 가지 클래스로 분류되는 현상이 감소하였다. 하지만 슬래브 클래스에 경우 다른 네트워크보다 낮은 결과를 보였다. Inception-ResNet-v2를 기반으로 전이학습을 하였을 때는 Table 4에 나타난 것처럼, 총 904개의 데이터 중 869개를 구분하였고, 평균 96.13 %의 정확도를 나타냈다. 정확도는 가장 높았지만 코핑 클래스의 정확도는 가장 낮았다. 거더 클래스이 정확도는 99.34 %의 상당히 완성도 높은 결과를 보였다. Table 5는 실험에 사용된 딥러닝 모델을 비교한 결과이다. 평균 정확도 부분에서 AlexNet 보다 Inception-ResNet-v2가 2.11 % 높은 정확도를 나타냈지만, 학습시간 부분에서는 AlexNet 보다 약 29배 정도 증가하였다. 결과로 보아 네트워크 계층의 개수가 증가할수록 정확도가 상승하지만, 학습시간이 증가하는 경향이 나타났다. Fig. 10은 각 딥러닝 모델을 학습시간·정확도 그래프로 나타낸 그림이다.

Table 1. AlexNet Confusion Matrix (Top-1 Accuracy)

Table 2. GoogLeNet Confusion Matrix (Top-1 Accuracy)

Table 3. ResNet-101 Confusion Matrix (Top-1 Accuracy)

Table 4. Inception-ResNet-v2 Confusion Matrix (Top-1 Accuracy)

Table 5. Deep Network Comparison

Fig. 10.

Result Graph

전반적인 결과로 교대나 거더 같은 독립적인 구성요소는 상대적으로 높은 정확도를 나타냈다. 하지만 코핑의 경우 상대적으로 낮은 정확도를 나타냈다. 그 이유는 첫 번째, 코핑은 거더와 기둥을 포함하고 있어서 거더, 기둥으로 혼동되어 인식되기 때문이다. 두 번째 네트워크 구축에 사용한 두 교량은 같은 유형에 강 박스 거더교지만, 코핑의 형태가 다른 교량을 사용하였기 때문에 정확도가 상대적으로 낮아진 것으로 보인다. 추후 클래스를 구분할 때 코핑의 형태별로 클래스를 나누어 설정하면 정확도가 상승할 것으로 예상한다.

5. 결론 및 향후 연구

본 연구에서는 CNN 구조의 딥러닝 모델인 AlexNet, GoogLeNet, ResNet-101, Inception-ResNet-v2에 각각 전이학습을 하여 시스템을 구축하였다. 그중 Inception-ResNet-v2를 이용하여 구축한 시스템의 Top-1 정확도는 96.13 %로 가장 높은 정확도를 나타냈다. 이 시스템은 2D 이미지상 교량의 구성요소를 자동 분류하고 요소정보를 얻을 수 있었다. 따라서 이를 활용하면 BIM 구축을 위하여 교량의 3D 모델을 제작하는데 소요되는 시간과 비용을 절감할 수 있을 것으로 기대된다. 현재 본 연구는 강 박스 거더교를 대상으로 하였으나, 향후 다양한 형태의 교량 구성요소를 자동 분류하는데 활용될 수 있을 것으로 기대된다.

향후 연구에서는 다른 형태의 거더교, 아치교, 사장교, 현수교 등 다양한 형태의 교량 데이터를 추가하여 클래스를 확장할 계획이다. 현재 딥러닝 모델별 정확도의 차이가 크지 않았으나, 다양한 교량의 클래스를 추가하면 평균 정확도가 하락할 것으로 예상된다. 따라서 학습시간이 오래 소요되지만, 정확도가 높은 Inception- ResNet-v2를 사용하는 것이 바람직할 것으로 생각된다. 또한 현재 카메라를 사용하여 얻은 2D 이미지를 기반으로 딥러닝 네트워크를 구축하였지만, 향후 레이저 스캔 등을 통해 얻은 3D 점군데이터를 학습하여 딥러닝 네트워크를 구축할 계획이다. 점군데이터의 공간정보를 활용하면 수치, 결함 등 더욱 다양한 파라미터를 추출할 수 있기 때문에 2D 이미지를 활용하여 얻은 3D 모델보다 완성도 높은 3D 모델을 제작할 수 있을 것으로 예상된다.