1. 서 론

우리나라의 교량은 대부분이 건설된 지 20년 이상 경과되어, 현재 노후화로 인한 많은 문제점이 제기되고 있다. 2019년 국회입법조사처에서 발표된 보고서 ‘도로 유지관리 현황 및 과제’에 따르면 전체 도로교량 중에서 건설된 지 30년 이상이 지난 도로교량은 15 %, 20년 이상이 지난 도로교량은 46 %에 달하는 것으로 나타났다. 이러한 교량의 노후화는 인명사고의 원인이 된다(^{National Assembly Reseach Service, 2019}). 최근 국내에서는 2020년 9월 태풍 마이삭으로 인하여 평창군의 송정 1교가 붕괴하는 사건과 영월군에서 노후화된 상동교 철거 작업 중 상판이 무너져 5명의 사상자가 발생하는 등의 사건이 발생하였으며(^{Jung et al., 2020}), 국외의 경우에도 2019년 대만의 난팡아오 항구의 교량이 노후화 및 안전점검 미흡이 원인이 되어 붕괴하여 4명의 사망자와 12명의 부상자가 발생하였다(^{Meng et al., 2019}). 또한, 2018년 이탈리아 제노바의 1960년도 초에 건설된 Morandi 교량이 Polcevera강 부분에서 붕괴하여 43명이 사망하는 등 많은 사건이 발생하였다(^{Calvi et al., 2019}). 이러한 사건을 통하여 노후화된 교량의 위험성과 유지관리의 중요성을 알 수 있다.

현재 우리나라의 경우, 교량의 안전점검은 전문 인력의 평가로 이루어지고 있다. 교량의 안전점검은 ‘안전점검 및 정밀안전진단 세부지침 해설서-교량’에 의거하여 이루어지고 있으며 정기점검, 정밀점검, 정밀안전진단, 긴급점검으로 분류하여 실시되고 있다. 이 중에서 정기점검은 관련 기술 전문가가 6개월에 1회 이상 외관조사를 통한 점검을 실시하게 된다. 또한 정밀안전진단은 정밀한 외관조사를 통하여 정기점검에서 쉽게 발견하기 어려운 미세한 결함 부위를 찾게 된다(^{Jeong et al., 2016}). 이러한 외관조사를 통한 안전점검은 사람이 작업통로로 이동하여 실시한다. 하지만 이러한 작업통로로 이동이 불가능한 경우 사다리차, 작업용 비계 등을 이용하여 안전점검을 실시하게 되며 이 과정에 10~12명의 인원이 필요하게 된다. 또한 안전점검 중에 교통통제가 이루어져 교통장애를 발생시키며 전문 인력의 추락사고와 같은 안전 문제도 존재한다(^{Lee et al., 2006}). 이처럼 전문 인력에 의한 안전점검은 많은 시간과 노동력이 소모된다.

Building Information Modeling (BIM)을 이용하면 구조물의 유지 관리를 효율성을 높일 수 있다. BIM은 건축물의 현실 구조물과 동일한 가상의 시설물을 모델링하는 기술이다. 이러한 가상의 모델은 계획단계, 설계단계, 시공단계에 활용할 수 있을 뿐만 아니라, 시공 후 구조물의 생애주기 동안 유지관리에도 활용이 가능하다. 국내에서는 강릉아트센터가 설계 단계에서부터 BIM을 적용하였으며 유지관리에 활용하도록 계획되었기에 시설물 관리와 보수의 지원에 BIM 활용이 가능할 것으로 예상된다. 국외의 경우 시드니의 오페라하우스에 IFC 기준의 BIM 기반 유지관리 시스템을 적용하였다. 그에 따라 건물 및 장비의 데이터를 효과적으로 관리할 수 있게 되었으며 3D 모델을 통한 데이터의 쉬운 접근성으로 유지관리에 도움을 주는 등 다양한 성과를 얻으며 성공적으로 BIM이 적용된 사례가 되었다(^{Oh, 2011}). 최근 국내에서는 2016년 조달청에 의하여 BIM 설계 의무화가 진행되었으며(^{Park and Park, 2018}) 국토교통부 또한 BIM 의무화를 위한 로드맵을 발표하는 등 BIM의 활성화를 위한 정부 정책을 추진하고 있다(^{Lee, 2016}).

BIM과 더불어 4차 산업혁명 관련 기술들을 구조물의 유지관리에 활용하는 방법들이 개발되고 있다. 카메라 등의 영상장비들을 활용한 구조물의 유지관리 기술들이 많이 활용되고 있으며, 영상처리 및 딥러닝 기술들을 활용하여 영상정보를 자동으로 분석하는 기술들이 개발되고 있다. 스마트폰 카메라와 액션 카메라를 이용하여 구조물의 변위와 고유주파수를 측정하는 기술이 제시되었으며 이는 영상처리를 통한 구조물 유지 관리의 가능성을 제시하였다(^{Yoon et al., 2016}) 또한 교량 구조물에서 철근콘크리트 교각의 점검에 딥러닝과 드론을 활용하여 균열을 탐지하는 기술이 개발되었다(^{Lim et al., 2017}). 드론과 카메라를 이용하여 교량의 안전점검을 직접 실시하여 교량의 취약부위를 찾아내는 기술도 제시되었으며 이는 기존 정기점검 시 육안으로 점검이 어려운 취약지점에 대하여 효율적인 점검 효과를 보여주었다(^{Kang and Lee, 2016}). 최근 거더교량의 구성요소를 자동으로 분류하는 네트워크가 개발되었지만 거더교량에 한정되어 활용성이 제한적이라는 한계점이 있다(^{Lee et al., 2020}).

이렇듯 많은 영상기반 기술과 딥러닝 기술들이 개발되고 있지만, BIM과 연동하여 구조물의 유지관리 효율성을 향상시키는 기술은 아직까지 미흡하다. 영상장비 등을 활용하여 취득한 구조물의 형상 정보를 바탕으로 BIM으로 생성하는 Scan to BIM 기술, 기존의 4D 시뮬레이션과의 비교를 통한 공정관리 기술 등이 개발되고 있으나, 취득한 영상정보와 BIM의 유지관리 정보를 연동하는 연구와는 상이하다. 또한 드론, 상용 카메라 등으로 취득한 사진 데이터는 객체 정보가 없는 단순 사진 데이터이기에 사진 데이터를 사람이 일일이 라벨링하여 BIM 객체에 매핑을 진행하게 된다. 이는 많은 노동력과 시간을 소비하게 된다. 이러한 문제를 해결하고자 교량의 구성요소의 사진을 찍었을 때 그것을 자동으로 라벨링 하여 BIM과의 자동으로 연동되는 시스템을 구축하고자 한다.

본 논문에서는 이미지를 통해 취득한 구조물의 정보를 BIM과 연동시키기 위한 초기 단계로서, 거더교, 현수교/사장교, 트러스교, 아치교, 라멘교를 대상으로 각 이미지가 구조물의 어떠한 요소에 해당되는지를 자동으로 예측하는 기술을 개발하고자 한다. 본 연구에서는 딥러닝의 한 종류인 CNN을 기반으로 2단계로 이루어진 시스템을 소개하고자 한다. 먼저 1단계에서는 BridgeTypeNet을 개발하여 교량의 구성요소 사진을 교량의 형식에 따라 분류하고자 하며, 2단계에서는 GirderNet, SuspensionCableNet, TrussNet을 개발하여 교량 형식별로 구성요소를 분류하고자 한다. 본 논문에서는 개발한 시스템에 대한 자세한 설명과 개발한 시스템에 대한 검증 결과를 소개하고, 본 연구의 활용 방안에 대해 서술하고자 한다.

2. 딥러닝과 CNN

이전부터 딥러닝을 이용한 객체분류, 물체인식 등 다양한 자동화 기술이 개발되었으며 현재 여러 분야에서 활용되고 있다. 딥러닝을 활용하기 위해서는 컴퓨터에 학습을 시키는 과정이 필요하다. 이러한 과정을 수행하는 것이 Deep Neural Network (DNN)이다. DNN 등장 이전에는 Perceptron이나 Multi-Layer Perceptron (MLP) 등을 이용하여 인공신경망을 구축하였다. 전통적인 인공신경망은 Fig. 1과 같이 Hidden Layer의 개수가 하나이기 때문에 계산과정이 적지만 학습에 있어 알고리즘의 최적화에 많은 시간이 소요된다. 이후 등장한 DNN은 Hidden Layer의 개수 증가에 따라 연산과정에 많은 시간이 소요되어 상용화에 어려움이 있었지만 최근 그래픽카드와 같은 하드웨어의 성능향상에 따라 연산시간이 대폭 감소하여 많이 사용되고 있다.

Fig. 1.

Neural Network (NN) and Deep Neural Network (DNN) Architecture

기존 Fully Connected Layer만을 이용한 NN은 입력데이터를 1차원의 형태인 벡터로 받아야 했다. 따라서 이미지를 입력할 때 벡터의 형태로 변환하는 과정이 필요하다. 이 과정에서 인접 픽셀과의 상관관계를 고려하지 못하여 오차가 발생하게 된다. 발생된 오차는 비슷한 이미지일지라도 형태, 구성 등이 달라지면 다른 객체로 인식하는 한계를 보인다. 또한 1차원 데이터는 이미지를 학습할 때 소요되는 시간이 길다는 단점을 가진다.

이러한 문제를 해결하고자 CNN이 제시되었다(^{LeCun et al., 1998}). CNN의 일반적인 구성은 Fig. 2와 같다. CNN은 이미지의 입력을 벡터의 형태가 아닌 행렬의 형태로 진행하게 된다. 입력된 이미지 데이터를 Convolution Layer을 이용하여 이미지의 공간 정보를 유지하고 이미지를 분할하여 학습을 진행하도록 하였다. 또한 학습 시에 네트워크 내에서 이미지의 특징을 찾아 학습이 진행된다. 이러한 특징은 기존 NN의 한계점을 해결하여 이미지 왜곡이나 구도가 변경된 이미지에서도 특징점을 찾아 학습이 가능하게 된다.

Fig. 2.

Typical Configuration of a Convolutional Neural Network

CNN은 Convolution Layer을 통하여 찾은 특징은 Pooling Layer를 통하여 특징은 강화하고 이미지의 크기는 조정하는 과정을 거치게 되는데 이러한 Pooling Layer를 이용하면 학습의 시간을 감소시키는 효과를 얻을 수 있다. Convolution Layer와 Pooling Layer의 반복을 통하여 특징점을 찾게 된다. 마지막으로 Fully Connected Layer를 이용하여 이미지의 분류를 진행한 후 결과를 얻을 수 있게 된다.

CNN기반 네트워크는 네트워크의 구성에 따라 AlexNet, ResNet, GoogLeNet 등 다양한 네트워크가 존재한다(^{He et al., 2016}; ^{Krizhevsky et al., 2012}; ^{Szegedy et al., 2015}). 이러한 딥러닝 네트워크는 일반적으로 레이어의 수가 증가하면 정확도가 향상되지만, 네트워크의 계층이 증가할수록 더 많은 연산을 진행하게 되어 학습 시간이 길어지게 된다. 또한 학습 데이터는 한정되어 있지만, 반복적으로 같은 데이터를 이용하여 학습이 진행됨에 따라 네트워크가 학습 데이터에 편향되어 다른 데이터를 통한 분류에서 오차가 증가하는 과적합 현상(Overfiting)이 발생하게 된다.

이와 같은 문제를 해결하기 위해 GoogLeNet은 Inception module이 최초로 적용된 네트워크이다. Fig. 3과 같이 Inception module은 기존의 네트워크 구성과 다르게 1×1 Convolution Layer를 추가하였다. 1×1 Convolution Layer를 추가하여 차원을 축소한 후 학습하고 학습이 끝난 후에 다시 증가시키는 형식으로 연산의 과정을 감소시켰다. 이러한 연산 과정의 감소는 과적합을 방지하는 효과와 연산 시간을 단축시키는 효과가 있다. 추가적으로 연산을 병렬로 진행하며 연산과정에 음수의 값을 0으로 바꾸어 연산을 진행하는 ReLu Layer를 추가하였다. 이는 학습 시간이 더욱 감소하는 효과가 있다.

Fig. 3.

Configuration of an Inception Module

3. 딥러닝을 활용한 교량 구성요소 자동분류 네트워크

3.1 시스템 구성

본 연구에서는 CNN을 이용하여, 주어진 이미지를 교량 형식에 따라 분류한 뒤, 해당 교량의 구성요소를 자동으로 찾아주는 시스템을 개발하였다. 본 연구에서는 구성요소 분류의 정확도를 향상시키기 위해 Fig. 4와 같이 네트워크를 두 단계로 구성하는 새로운 모델을 제안하였다. 일반적인 CNN을 본 연구에 적용할 경우, 교량 종류를 고려하지 않고 교량의 각 구성요소를 분류하도록 알고리즘을 만들 수 있으나, 이 경우 다양한 클래스가 존재하기 때문에 분류에 정확도가 저하될 수 있다. 이에 대한 검증을 위해서 4장에서 본 연구에서 제안한 2단계 모델과 일반적인 CNN을 적용한 1단계 모델과의 비교를 수행하였다.

Fig. 4.

Automatic Component Classification System according to a Convolutional Neural Network–Based Bridge Type

먼저, 1단계는 교량의 구성요소에 따른 교량의 종류를 분류하는 단계로써, 이 네트워크를 BridgeTypeNet으로 명명하였다. 1단계에서 대상으로 하는 교량은 5종류로, 거더교, 현수교/사장교, 트러스교, 아치교, 라멘교이다. 2단계는 BridgeTypeNet에서 분류된 교량의 형식에 따라 교량의 구성요소를 자동으로 분류해주는 단계로서, 거더교, 현수교/사장교, 트러스교에 대한 구성요소 분류 네트워크를 각각 GirderNet, SuspensionCableNet, TrussNet으로 명명하였다. 1단계 네트워크는 전체 Input 데이터의 여러 클래스 중에서 첫 번째 클래스를 통하여 분류를 진행하게 된다. 1단계에서 교량의 형식별 첫 번째 클래스는 각 교량의 특징을 잘 나타내는 클래스로 선정하였으며, 거더교는 거더, 사장교/현수교는 케이블, 트러스교는 트러스 부재로 지정하였다. 첫 번째 클래스를 테스트하여 가장 많은 수로 예측된 Top 1을 선정하여 2단계에서 어떤 네트워크를 사용할지 결정하게 된다. 아치교와 라멘교는 한가지 구성요소로 분류되어 있기 때문에, 2단계에서 세부 구성요소로 분류하지 않고 구성요소를 각각 아치와 라멘으로 지정하였다.

각각의 네트워크는 GoogLeNet을 기반으로 전이학습(Transfer Learning)을 이용하여 구축하였다. 딥러닝 모델에서 데이터의 구성 형식에 따라 딥러닝 네트워크를 모두 다시 구축해야 한다면 이는 많은 시간과 노동력이 소모된다. 이러한 경우 네트워크의 목적이 비슷하다면 전이학습을 사용할 수 있다. 전이학습은 Fig. 5와 같이 기존의 구축된 네트워크에 작은 변화를 주어 자신이 원하는 결과값을 얻을 수 있도록 변경한다. 이러한 전이학습은 성능이 검증된 네트워크를 사용하기에 신뢰성이 높으며 네트워크 구축에 소모되는 시간과 노동력이 많이 감소하게 된다. 본 연구에서는 전이학습을 이용하여 기존의 네트워크는 유지하며 Classifier만을 변경시켰으며 Fully Connected Layer에서의 가중치를 변경하여 입출력 이미지의 크기를 변경하여 과적합을 방지하였으며 Classification Layer에서의 클래스의 수를 변경하여 네트워크를 구축하였다.

Fig. 5.

Transfer Learning

3.2 교량 형식 분류 네트워크

BridgeTypeNet은 주어진 이미지에서 교량의 구성요소에 따른 교량 형식을 자동 분류하는 네트워크이다. 본 연구에서는 GoogLeNet기반의 전이학습을 활용하여 교량의 구성요소에 따른 교량 형식을 자동으로 분류하고자 하였다. BridgeTypeNet의 입력데이터는 224x224 이미지이며, 이보다 큰 이미지의 경우는 224x224의 크기로 resample하여 Input Layer를 통과한다. 이후 9개의 inception module과 2개의 Convolution Layer 그리고 6개의 Pooling Layer를 거쳐 교량 형식을 총 5개의 클래스로 분류하였다. 각 클래스는 아치교(Arch Bridge), 현수교(Suspension Bridge)/사장교(Cable Stayed Bridge), 트러스교(Truss Bridge), 거더교(Girder Bridge), 라멘교(Rahmen Bridge)이다.

BridgeTypeNet의 학습데이터 구축을 위해, Fig. 6과 같이 클라우드 기반 교량의 이미지를 수집한 후 croping하여 총 834개의 데이터를 수집하였다. 각 교량 형식별로 아치교는 Crimean Bridge(러시아)를 포함한 215개의 사진이 학습데이터로 사용되었으며, 현수교/사장교는 Akashi-Kaikyo Bridge(일본) 등 184개의 학습데이터가 사용되었고, 거더교는 천호대교(대한민국) 등 205개의 데이터로, 라멘교는 Sandy Lick Creek Bridge(미국) 등을 포함하여 153개로, 트러스교는 대표적으로 Tokyo Gate Bridge(일본) 등을 포함하여 120개로 총 834개의 사진에 대하여 학습데이터를 구축하였다.

Fig. 6.

Example of Bridge Classification Learning Data by Bridge Upper Structure

3.3 교량 구성요소 분류 네트워크

BridgeTypeNet의 결과로 나오는 교량의 형식은 2단계에서 구조물 구성요소를 분류하는 네트워크 중 어느 네트워크를 사용할지를 결정하게 된다. 1단계에서 BridgeTypeNet의 결과가 거더교라면 2단계에서는 GirderNet에 연결되어 구성요소를 분류하며, 현수교 또는 사장교라면 SuspensionCableNet에, 트러스교라면 TrussNet에 연결되어 구성요소를 분류하게 된다.

2단계의 구성요소 분류 네트워크 또한 GoogLeNet을 기반으로 전이 학습을 이용하여 구축하였다. GirderNet의 학습 네트워크는 Fig. 7의 (a)와 같이 클래스는 거더(girder), 교각(pier)로 분류하였으며 각 데이터의 수는 거더 100개, 교각 100개이다. SuspensionCableNet의 구성은 현수교, 사장교의 구성요소가 동일하여 하나의 네트워크로 통합하였다. Fig 7의 (b)와 같이 각 클래스는 케이블(Cable), 교각(Pier), 주탑(Pylon), 슬레브(Slab)로 분류하였으며 각 데이터의 수는 케이블 85개 교각 62개 주탑 63개 슬레브 50개로 총 257개이다. 트러스교의 구성요소 분류 네트워크 TrussNet의 Class는 Fig. 7의 (c)와 같이 총 3개이며 트러스 부재(Bar), 절점(joint), 교각(pier)으로 구성되어 있다. 각 클래스별 데이터의 수는 바 60개, 절점 61개, 교각 59개로 총 180개이다.

Fig. 7.

Example of Component Classification Learning Data by Bridge Type

4. 결과 및 검증

본 연구에서는 CNN을 이용하여 주어진 이미지의 교량 구성요소를 자동으로 찾아주는 시스템을 개발하였다. 1단계에서는 BridgeTypeNet을 개발하여 교량의 형식을 자동으로 분류하였고, 2단계에서는 분류된 결과에 따라서 GirderNet, SuspensionCableNet, TrussNet을 이용하여 교량형식별로 교량의 구성요소를 자동 분류하였다. 본 연구에서 개발한 시스템의 정확도를 검증하기 위하여, 1단계의 교량의 형식 자동분류 네트워크인 BridgeTypeNet의 정확도를 검증하고, 2단계의 교량형식별 구성요소 분류 네트워크인 GiderBridgeNet과 CableSuspensionNet 그리고 TrussNet의 정확도를 각각 검증실험을 수행하였다. 또한 본 연구처럼 2단계로 나누어 진행했을 때의 정확도 향상을 알아보기 위하여, 하나의 네트워크로 모든 교량의 구성요소를 판별하는 대조군을 만들어 같은 검증실험을 수행하고 비교하였다.

BridgeTypeNet 검증을 위하여 오차 행렬(Confusion matrix)을 사용하였으며 오차 행렬의 x축은 실제값(Ground Truth)을 나타내며 y축의 값은 예측값(Predicted Label)을 나타낸다. 또한 학습 네트워크의 정확도 평가를 위하여 k-겹 교차 검증(k-fold cross validation)을 수행하였다. k-겹 교차 검증은 Fig. 8과 같이 전체 데이터를 k개의 그룹으로 분할한 뒤, 1개의 그룹을 테스트 데이터로, 나머지를 학습 데이터로 사용한다. 이러한 과정을 k번 반복하여 모든 데이터가 테스트 데이터로 활용될 수 있게 검증을 진행한다. k-겹 교차 검증은 데이터셋이 적은 경우에도 효과적으로 데이터셋과 네트워크에 대한 검증이 가능하기에, 본 연구에서는 학습에 사용된 877개의 데이터를 이용하여 4개의 데이터셋으로 분류하여 정확도 분석을 진행하는 4-겹 교차 검증을 사용하였다.

Fig. 8.

Four-fold Cross Validation

1단계 교량 형식 분류 네트워크(BridgeTypeNet)는 Table 1과 같이 95.1 %의 정확도를 보였으며 총 877개의 데이터 중에서 834개를 정확히 분류하였다. 교량 형식 분류 네트워크에서 다른 클래스에 비하여 아치교와 라멘교는 정확도가 상대적으로 낮게 나왔다. 다른 형식의 교량은 교량의 구성요소를 근접 촬영한 사진과 원거리 사진이 혼합되어 사용되었는데 비하여, 아치교와 라멘교에 사용한 학습 데이터는 원거리 촬영한 사진만 사용되었기 때문인 것으로 고려된다. 또한, Fig. 9와 같이 라멘교 중 교량의 하부 형식이 아치인 경우도 존재하였는데, 그 결과가 아치교로 분류되어 오차가 발생하였다. 교량 형식 분류 네트워크에서 정확도가 95.1 %로 나와 모든 교량을 100 %의 정확도로 분류하지 못하였으나, 하나의 교량에 대한 교량 형식을 예측할 때 여러 사진을 이용한다면 100 %에 가까운 정확도를 나타낼 수 있을 것으로 기대된다. 예를 들면, 특정 교량에서 100개의 사진을 촬영하여 본 네트워크를 통해 교량형식을 예측하게 되었을 때, 95개는 해당 교량 형식을 정확하게 분류하고 5개는 다른 교량형식으로 잘못 예측한다고 하더라도 가장 많이 분류된 교량 형식을 최종 결과로 사용한다. 본 연구에서는 이렇듯 최빈 결과에 해당되는 교량 형식을 Top 1 클래스로 지정하여 2단계 네트워크에 적용하였다.

Fig. 9.

Contrast Test Network

2단계 네트워크중 하나로, 거더교의 구성요소를 분류하는 GirderNet은 Table 2와 같이 Girder 98 %, Pier 100 %의 정확도를 보여줬으며, 200개의 데이터 중에서 198개의 데이터를 정확히 분류하였다. 교량의 구성요소 분류에 있어 한 테스트 데이터에 두 종류의 구성요소가 모두 포함된 Pier와 Girder의 연결부에서 오차가 발생하였다.

현수교와 사장교의 구성요소 분류 네트워크인 SuspensionCableNet은 Table 3과 같이 각 클래스 별로 케이블 100 %, 기둥 98.4 %, 주탑 96.7 %, 슬래브 100 %의 정확도를 보여줬으며, 총 260개의 데이터 중에서 257개의 데이터를 분류하여 98.9 %의 정확도를 보여주었다. 주탑의 경우 기둥과 형상이 비슷하거나 주탑과 연결된 케이블 등으로 인하여 오차가 발생하였다.

트러스교의 구성요소 분류 네트워크인 TrussNet은 Table 4와 같이 트러스 부재 91.7 %, 절점 93.3 %, 기둥 98.3 %의 정확도를 보여주었으며, 총 180개의 데이터 중에서 169개를 정확히 분류하여 약 94.4 %의 정확도를 보여주었다. Truss Bridge 경우에는 각 구성요소의 크기가 다른 교량형식에 비해 작기 때문에, 학습 데이터에서 해상도가 낮거나 다른 구성요소와 혼재된 경우가 많아 다른 2단계 네트워크보다 정확도가 상대적으로 낮게 나타났다.

본 논문에서 제안한 시스템의 성능을 단일단계의 네트워크와 비교하여 성능을 검증을 위하여 대조군을 만들어 비교를 진행하였다. 대조군의 네트워크 구성은 Fig. 9과 같다. 본 논문에서 제안한 시스템은 2단계로 구성된 네트워크를 이용하여 1단계에서 교량의 상부구조에 따라 교량을 분류한 후 2단계를 통해 해당 교량의 구성요소만을 분류하였지만, 대조군은 1단계의 과정이 생략되어 단일 네트워크를 이용하여 모든 구성요소를 한 번에 분류하는 시스템이다. 대조군의 단일 네트워크를 이용한 시스템의 결과는 Table 5와 같이 나타났으며 정확도는 93.1 %로 분류가 가능하였다. 반면 Table 6은 본 논문에서 제한한 시스템을 이용하여 구성요소를 분류한 경우의 정확도이며 98.1 %의 정확도를 보여주었다. 단일 네트워크를 이용할 경우 Table 5와 같이 트러스 부재를 트러스교에 없는 구성요소인 거더, 주탑 등으로 예측하여 오차가 상대적으로 높은 반면, 2단계를 통한 본 연구에서 제안한 시스템은 1단계에서 교량의 형식을 구분함으로써 교량의 구성요소를 보다 높은 정확도로 예측 할 수 있었다.

5. 결 론

본 연구에서는 CNN을 사용하여 주어진 이미지의 교량 구성요소를 자동으로 찾아주는 시스템을 개발하였다. 1단계에서는 BridgeTypeNet을 개발하여 교량의 형식을 자동으로 분류하였고, 2단계에서는 분류된 결과에 따라서 GirderNet, SuspensionCableNet, TrussNet을 이용하여 교량형식별로 교량의 구성요소를 자동 분류하였다. 검증실험 결과, 1단계의 상부구조에 따른 분류 네트워크인 BridgeTypeNet은 877개의 교량 이미지에 대하여 100 %의 정확도로 교량의 형식을 분류하였다. 2단계의 교량 구성요소 분류에서는 GirderNet이 99 %, SuspensionCableNet이 98.9 % TrussNet이 93.8 %의 정확도를 보여주었다. 1단계와 2단계를 통합한 검증실험에서는 총 98.1 %로 임의의 교량 이미지에 대하여 구성요소를 예측하여, 단일단계로 구성한 네트워크를 사용하였을 때보다 보다 높은 정확도를 보였다. 본 연구의 결과는 CNN을 이용하여 임의의 교량의 이미지에 대하여 구성요소를 자동으로 분류할 수 있음을 보여주었으며, 1단계 분류 네트워크가 아닌 2단계의 분류 네트워크를 개발함으로써 더욱 높은 정확도를 얻을 수 있음을 보여주었다. 무엇보다도 기존에 교량 구성요소를 구분하기 위해 사람이 직접 작업해야 했던 부분을, 본 연구를 통해 자동화 시킬 수 있었다.

본 연구에서는 학습데이터를 수집할 때 해상도가 낮은 교량 이미지를 사용하거나, 이미내에서 특정한 부분을 추출하여 학습데이터로 사용하였다. 향후, 해상도가 더 높고 구성요소별로 촬영한 더 많은 교량 이미지 데이터가 수집이 가능하다면, 본 연구에서 개발한 네트워크의 성능이 더욱 높아질 것으로 예상된다. 또한 본 연구에서는 7개의 구성요소를 분류 하였지만, 향후 다른 교량 형식과 구성요소를 추가하여 보다 다양한 교량에 구성요소를 예측 할 수 있는 네트워크를 얻고자 한다. 뿐만 아니라, 본 연구에서 제안한 2단계 기반의 시스템을 이미지 분류가 아닌 의미론적 분할을 활용하여 픽셀별 구성요소를 분류하고자 한다.교량의 구성요소를 픽셀별로 구분하는 의미론적 분할을 이미 수행한 연구들이 있지만, 특정 교량형식에 한정되어 있거나, 하나의 네트워크로 구성되어 있어 사용성이 제한된다. 본 연구에서 제안한 2단계 기반의 교량의 구성요소 분류 네트워크를 의미론적 분할에 적용한다면 다양한 교량의 형식에 대한 구성요소를 픽셀별로 분류 할 수 있을 것으로 예상된다.