1. 서 론

국내 아스팔트 콘크리트 도로포장에 대한 유지관리는 자동 포장상태 조사장비에 의해 수집되는 노면 영상을 분석하고, 결함정도를 파악하여 보수시기, 보수방법 등을 결정하게 된 다. 도로포장 표면결함에 대한 분석은 조사된 노면 영상을 특 정 크기의 격자 형태로 분할하여 육안점검을 통해 결함을 포 함하는 격자를 판별하고, 결함 격자수를 전체 격자수로 나눈 값을 해당 노면 영역의 균열율로 판단한다. 국내 아스팔트 콘 크리트 도로포장 자동노면 조사장비의 예로 KRISS(Korea Roadway Infrastructure Survey System)는 3.6m x 10m 영역의 단위로 노면 영상을 수집하며, 이 노면 영상을 가로 300mm, 세로 300mm의 격자 형태로 분할하여 균열율을 평가한다 (^{Kim et al., 2008}).

포장 결함 분석에 있어서 각각의 격자에 대한 육안점검은 많은 비용을 발생시키고 따라서 이를 자동화하려는 연구가 수행되어왔다(^{Koch and Brilakis, 2011; Sorncharean and Phiphobmongkol, 2008; Rababaah et al., 2005}). 기존의 영상 처리를 통한 아스팔트 콘크리트 도로포장의 표면결함 검사는 영상에서 특정 결함의 특징을 추출하기 위해 개발된 알고리 즘으로 수행된다. 그러나 아스팔트 도로포장 표면 영상은 노 출된 골재, 해상도, 단차, 그림자 등의 여러 요소들에 의해 각 결함의 특징을 대표하는 정보를 도출하는데 어려움이 따른 다. 결함의 특징에 대한 정보를 얻기 위해 다양한 영상 전처리 작업이 수행되어지나, 전처리 과정에서 오는 정보 손실 문제 에 의해 자동화 표면결함 분석 알고리즘이 실무에 적용된 사 례는 많지 않다. 기존의 영상을 사용한 자동화 도로포장 표면 결함 분석 방법의 한계를 극복하기 위해 최근 합성곱 신경망 (CNN; Convolutional Neural Network)을 활용한 연구들이 진 행되고 있다.

CNN은 영상처리 분야에서 우수한 성능을 나타내는 인공 신경망으로 대용량의 영상 데이터로부터 분류하고자 하는 대 상에 대한 특징을 자동으로 추출하고, 그에 맞게 영상 데이터 를 분류하는 기술이다. 특정 CNN 모델들의 경우 ImageNet에 서 제공하는 이미지에 대해 97% 이상의 분류 정확도를 보여 준다(^{Hu et al, 2018}). 그러나 영상처리 분야의 CNN 모델 이용 에 따른 높은 분류 정확도 구현과는 다르게 도로포장 표면 이 미지 분류 연구에서는 85~90% 정도로 낮은 정확도를 보고하 고 있다(^{Zhang et al., 2016; Feng et al., 2017; Eisenbach et al., 2017; Pauly et al., 2017; Gopalakrishnan, 2018}). 대부분의 연 구에서 십여개 미만의 신경망 층을 갖는 CNN 모델을 활용하 였으며, 수천~수십만개 정도의 데이터를 학습에 사용하였다. 기존연구의 CNN 모델들은 복잡도에 비해 모델 학습 시 상대 적으로 적은 양의 데이터를 사용하였기 때문에 충분한 성능 을 나타내지 못하는 것으로 보인다. 즉, 복잡도가 높은 CNN 모델을 구축할 경우 많은 양의 데이터가 필요하다. 그러나 아 스팔트 콘크리트 표면균열 이미지 데이터는 한정적이기 때문 에 적절한 복잡도를 갖는 CNN 모형을 사용해야 한다. 따라서 본 연구에서는 확보된 이미지 데이터양에 적정한 복잡도를 가지는 CNN 모형을 구축하였으며, 학습 데이터양에 따른 성 능향상 정도를 평가하고자 한다.

2. 이론적 배경

합성곱 신경망은 임의의 필터를 통해 영상 데이터에 대한 특징을 추출하여 동일한 레이블을 지닌 데이터들의 공통적인 특징에 대해 학습을 진행하는 인공신경망이다.

합성곱 신경망의 구조는 Fig. 1과 같이 크게 Convolution Layer와 Pooling 과정이 포함된 특징 학습 신경망 부분(Featu- -re Learning)과 레이블에 따른 분류를 수행하는 분류 신경망 (Classification) 부분으로 나뉜다(^{Wu 2017; Choi 2019}).

Fig. 1

Schematic of CNN(Convolutional Neural Network) architecture

특징 학습 신경망은 필터를 통해 특징 벡터를 추출하는 구 간이다. 필터는 초기 임의의 값으로 주어지며 필터의 크기로 전체의 이미지 데이터를 스캔하여 특징 벡터를 추출해낸다. Fig. 2는 3x3 이미지 데이터에 대해 1x1 Stride 크기와 2x2 필 터를 적용한 Convolution의 예시이다. 여기서, Stride는 필터 에 의한 이미지 데이터 스캔이 이루어질 때의 간격의 크기를 의미한다. Fig. 2와 같이 convolution에 의해 산출된 특징 벡터 의 크기는 이미지 데이터의 크기보다 작아지는 것을 볼 수 있 다. convolution을 진행할 때마다 특징 벡터의 크기가 작아지 는 현상 때문에 layer 깊이의 한계가 나타나게 된다. 이러한 현 상을 방지하기 위한 방법으로 Padding이 있다. Padding은 이 미지 벡터의 끝 행과 열에 영벡터를 추가하는 방식으로 convolution의 연산과정 후 산출되는 특징 벡터와 입력 이미 지 벡터의 크기를 동일하게 만들어주는 것을 의미한다. convolution 연산과정을 거쳐 산출된 특징 벡터는 활성화 함수인 ReLU 함수의 입력값으로 적용된다(^{Radford 2015}).

Fig. 2

Example of convolution

Convolution Layer를 거쳐 산출된 특징 벡터는 Pooling 과 정을 거친다. Pooling의 종류는 Max Pooling, Average Pooling 등으로 다양하게 존재한다(^{Goodfellow 2016}).

대부분의 합성곱 신경망에서는 Max Pooling을 사용하며, Fig. 3과 같이 커널(kernel) 크기 내에 존재하는 벡터의 값 중 가장 큰 값을 추출해내는 Pooling 방식을 의미한다.

Fig. 3

Example of Max Pooling

합성곱 신경망 모델의 layer 수만큼 Convolutional Layer와 Pooling 과정을 반복하여 특징 벡터를 도출한다. 도출된 특징 벡터를 FCNN(Fully-Connected Neural Network)의 입력값으 로 활용하여 FCNN을 통해 초기 예측된 출력값을 산출한다. 최종적으로, 예측된 출력값과 실제 레이블 값의 차이를 통해 모델의 정확도를 측정하는 비용 함수(Loss Function)를 사용 하여 loss값을 산출한다(^{Bengio et al. 2015}). 학습의 의미는 산 출되는 loss의 값을 최소화시키는 필터 벡터를 도출하여 실제 레이블 값과 예측된 출력값의 차이를 줄이는 것이다. loss 값 을 줄이는 학습 알고리즘으로 경사하강법(Gradient Descent) 이 있으며, 경사하강법을 통해 loss값을 감소시키는 필터 벡터 로 갱신한다.

3. 본 론

3.1 합성곱 신경망 모델

앞선 이론적 배경을 바탕으로 합성곱 신경망 모델을 구축하 였으며, 학습 데이터의 양을 일정 크기(batch size)로 나누어 학습 하는 Mini-batch(^{Keskar et al., 2016})와 배치 정규화(Batch Normalization)(^{Loffe and Szegedy, 2015})를 적용하여 학습 성능 및 속도를 향상시켰다. 본 연구의 합성곱 신경망 모델에 적 용한 Filter size, stride size, batch size 등을 Table 1에 정리하였으 며, 학습 알고리즘은 경사하강법을 사용하였다. 모델의 구조는 Fig. 4와 같이 5개 층의 Convolution Layer로 구성하였다.

Table 1

Parameter of CNN used in this study

Fig. 4

The Architecture of CNN used in this study

3.2 학습 및 시험 데이터

본 연구에서 학습 및 시험 데이터로 활용된 아스팔트 콘크 리트 도로포장 영상 데이터는 국내 5개 지역의 국도에서 KRISS 장비를 통해 조사된 데이터이다. 학습 및 시험 데이터 는 같은 모집단에서 7:3 혹은 8:2의 비율에 맞게 나누어 구축 하는 것이 일반적이나, 본 연구의 학습 및 시험 데이터는 같은 모집단에서 구축하지 않았다. 본 연구의 학습 데이터는 4개 지역의 국도 영상 데이터를 활용하였으며, 시험 데이터의 경 우 학습 데이터에 포함되지 않은 1개 지역의 국도 영상 데이 터를 활용하였다. KRISS 장비를 통해 조사된 노면 영상 데이 터의 크기는 폭 3.6m, 길이 10m에 해당하며, 학습 및 시험 데 이터는 조사된 노면 영상 데이터를 폭 300mm, 길이 300mm의 크기로 분할한 300x300 픽셀의 이미지이다. 학습 및 시험 데 이터의 구성은 표면균열 발생 여부에 따라 균열과 비균열 데 이터로 나눠 구축하였다. Fig. 5(a)는 학습 및 시험 데이터로 활용된 균열 데이터, Fig. 5(b)는 비균열 데이터의 일부를 보여 준다. CNN 모델 학습 시 Fig. 5 와 같은 이미지 정보가 입력값 으로 사용되며, 균열 및 비균열을 대표하는 값이 출력값으로 사용된다.

Fig. 5

Sample of Training and Test Data

합성곱 신경망 모델의 분류 검출 성능 증진에 있어 데이터 의 양은 매우 중요한 요소이다. 따라서 데이터의 양을 증진시 키기 위해 다양한 방법으로 이미지 데이터를 가공한다. 이미 지 변환의 방법에는 잘라내기, 회전, 뒤집기, 밀기, 크기변환 등이 있다. 본 연구에서 원본 데이터를 90도, 180도, 270도 회 전시켜 데이터의 양을 증진시켰다.

일반적으로 이미지 데이터는 여러 변수에 의해 해상도, 밝 기 등이 상이하다. 이미지 데이터의 일관성을 위해 이미지 전 처리 작업이 요구된다. 본 연구에서 사용한 이미지 데이터의 각 픽셀 값은 0~255 범위 내의 값을 갖는다. 그러나 학습하고 자 하는 모든 이미지 벡터의 최소, 최댓값이 0과 255에 해당하 지 않으며, 값의 범위가 다르고 다양하게 분포되어있는 이미 지 데이터들에 대한 학습을 진행하는데 어려움이 따른다. 본 연구에서는 식 (1)과 같은 스케일 정규화 식을 적용하여 모든 이미지 벡터의 최소, 최댓값을 [0,1]이 되도록 하였다.

(1)

X = ( x i − x min ) * ( max - min ) x max − x min + min

여기서, X는 스케일 정규화가 적용된 이미지 벡터, x_i는 기 존 이미지 벡터의 임의값, x_min는 기존 이미지 벡터의 최솟값, x_max는 기존 이미지 벡터의 최댓값, max는 변환하고자 하는 범위의 최댓값, min은 변환하고자 하는 범위의 최솟값이다.

본 연구에서는 학습 데이터의 양에 따른 합성곱 신경망 모 델의 성능변화를 확인하기 위해 6개의 학습 데이터 세트를 구 성하였다. 학습 데이터 및 시험 데이터 세트의 구성은 Table 2 와 같다.

Table 2

Composition of training and test data

Table 2의 데이터 세트 라벨의 T는 원본 이미지 데이터를 의미하고, TA는 원본 이미지를 변환하여 구축한 데이터 세트 이다. 또한, 데이터 세트 라벨의 숫자는 데이터 세트에 포함된 균열과 비균열 이미지 수의 합을 의미한다. Aug.는 이미지 변 환 방식을 통해 생성한 데이터를 의미하며, None_Aug.는 원 본 이미지 데이터를 의미한다. 본 연구의 합성곱 신경망 모델 은 Table 2의 각 학습 데이터 세트에 대해 학습을 진행하였다.

4. 실험결과 및 고찰

합성곱 신경망 모델을 이용한 아스팔트 콘크리트 도로포장 표면균열 검출에 대한 실험은 각기 다른 학습 데이터 구성을 학습한 합성곱 신경망 모델을 통해 같은 시험 데이터에 대한 검출 성능평가를 수행하였다. 시험 데이터에 대한 성능 평가 결과는 Table 3과 같다.

Table 3

Classification performance of test data of CNN model with increase of training data size

Table 3을 통해 알 수 있듯이 학습 데이터의 양이 증가됨에 따 라 모든 성능지표가 향상되는 것을 확인할 수 있다. 특히 낮은 수치일수록 우수한 성능인 과검출율 및 미검출율의 감소 폭은 크게 발생하는 것을 확인할 수 있다. 예를 들어 T6000과 TA96000을 학습한 합성곱 신경망의 과검출율과 미검출율을 비 교하였을 때 각각 약 2배 및 4배 이상의 차이를 나타내는 것을 확인할 수 있다. 이러한 학습 데이터 수에 따른 합성곱 신경망의 성능향상은 Fig. 6과 Fig. 7에서 보다 명확하게 확인할 수 있다.

Fig. 6

Comparison of Classification Detection Accuracy, Precision, Recall for Test Data according to composition of Training Data

Fig. 7

Comparison of Classification Detection Missing rate, Over rate for Test Data according to composition of Training Data

우수한 성능의 합성곱 신경망 모델에 대한 추가적인 성능 향상을 위해서 학습 데이터양의 증진 폭이 더 크게 요구된다. 예를 들어 Fig. 6에서 정확도 95.07%에서 96.92%로 약 2% 증 가시키기 위한 학습 데이터 수는 12000에서 24000으로 2배가 요구되는 반면 96.92%에서 97.46%로 약 0.5% 증가시키기 위 한 학습 데이터 수는 24000에서 96000으로 4배가 요구된다.

Fig. 8과 Fig. 9는 원본 데이터로 구축한 데이터 세트(T1200 0, T24000)와 이미지 변환을 통해 데이터양을 증진시켜 구축 한 데이터 세트(TA12000, TA24000)의 양이 동일하게 구축되 었을 때, 시험 데이터에 대한 균열 검출 성능을 비교한 그림이 다. 그림에서 볼 수 있듯이 원본 이미지 데이터 세트(T12000, T24000)와 이미지 변환 방식을 사용하여 학습 데이터의 양을 증진시킨 데이터 세트(TA12000, TA24000)에 따른 합성곱 신 경망 모델의 균열 검출 성능의 차이는 크게 발생되지 않음을 알 수 있다. 따라서 이미지 변환 방식을 사용하여 데이터의 양 을 증진시키는 방법은 합성곱 신경망 모델의 균열 검출 성능 향상을 위해 유용하게 사용될 수 있다고 판단된다.

Fig. 8

Accuracy, recall, and precision for the same amount of training data

Fig. 9

Missing rate, over rate for the same amount of training data

5. 결 론

본 연구에서는 합성곱 신경망의 학습에 사용되는 원본 학 습 이미지 데이터양의 증진과 이미지 변환을 통해 학습 데이 터의 양을 증진시켰을 때의 성능지표변화를 확인하였다. 학 습에 사용되는 데이터양의 증진은 합성곱 신경망의 성능을 향상시키는 것을 확인하였다. 가장 많은 수의 데이터로 구축 된 TA96000을 학습에 사용하였을 경우 합성곱 신경망의 표 면균열 검출 정확도, 정밀도, 재현율은 96.6% 이상, 미검출율, 과검출율은 3.4% 이하의 우수한 성능을 나타내었다.

합성곱 신경망 학습에 있어서 원본 이미지 데이터를 사용 한 경우와 이미지 변환을 통해 동일한 양으로 구축한 데이터 세트를 사용한 경우 합성곱 신경망의 표면균열 검출 성능 차 이가 크게 발생되지 않았다. 따라서 이미지 변환 방식은 합성 곱 신경망 모델의 성능향상을 위한 데이터양의 증진 방법으 로 유용하게 사용할 수 있다.

검출 성능 확인을 통해 아스팔트 콘크리트 도로포장 표면 균열 검출 방식에 있어 합성곱 신경망의 활용 가능성을 확인 하였으며, 향후 아스팔트 콘크리트 도로포장의 표면결함종류 에 따른 이미지 데이터를 확보하여 합성곱 신경망의 학습에 활용된다면, 표면결함의 종류에 따른 분류 또한 가능할 것으 로 기대된다.