3.1 영상 데이터의 구성

콘크리트 균열 탐지를 위해서 본 논문에서는 라벨 영상 데이터 세트와 비라벨 영상 데이터 세트를 사용하였다^{(Shim et al., 2020)}. 라벨 영상 데이터 세트는 Fig. 1과 같이 균열 영상과 라벨 영상이 짝을 이루고 있다. Fig.1(a)은 RGB 색상을 가진 영상이고 Fig.1(b)은 영상 내에서 균열의 영역을 표시한 라벨 영상이다. 비라벨 영상 데이터는 균열 영상만으로 이루어진 데이터다. Fig. 1(a)과 유사하게 다양한 콘크리트 재질에서 발생한 균열을 포함하고 있다.

학습을 위한 구체적인 수량은 라벨 영상 데이터 세트와 비라벨 영상 데이터 세트가 각각 1,196장과 3,000장이다. 모든 영상은 컬러이며 그 크기는 256 × 256 화소이다. 라벨 영상 데이터 세트 중 900장은 훈련용으로 사용하며 나머지는 실험용으로 사용하였다. 비라벨 영상 데이터 세트는 준지도 학습에서 활용될 수 있도록 하였다.

Fig. 1 Dataset: (a) crack image and (b) label image

3.2 Mean teacher 학습 구조

신경망 모델을 훈련하는 방법은 3가지로 구성된다. 이들은 훈련에 사용되는 라벨의 비율 따라 지도학습, 준지도 학습, 비지도 학습으로 구분된다. 지도학습은 입력 영상과 라벨 영상의 비율이 1대 1인 조건에서 신경망을 훈련하는 학습이다. 비지도학습은 라벨 영상 없이 입력 영상만으로 훈련하는 것이다. 끝으로 라벨 영상의 수가 입력 영상의 수보다 작을 때 준지도 학습을 할 수 있다. 본 논문에서 사용하는 학습 구조는 준지도 학습이다. 이는 균열 영상의 수가 라벨 영상의 수보다 많은 상황에서 적용하는 방법이다. 이 방법의 가장 큰 장점은 라벨 수가 적더라도 탐지 정확도를 향상시킬 수 있다는 점이다. 이를 위해 본 논문에서는 Fig. 2와 같이 mean teacher의 학습 구조를 사용하였다^{(Tarvainen and Valpola, 2017)}. 이 학습 구조는 균열 탐지를 위한 분할 알고리즘 신경망을 사용한다. 이 신경망 모델은 역할에 따라 스승(NetT) 신경망과 학생(NetS) 신경망으로 구분하여 동일한 모델을 2회 사용한다. 우선 학생 신경망은 균열 탐지를 위한 라벨 영상 데이터 세트에 의해 훈련된다. 균열 영상이 학생 신경망을 통과하여 얻게 되는 예측 결과가 라벨 영상과 유사해지도록 가중치가 갱신된다. 이때 라벨 영상과 예측 영상이 차이가 최소화가 되도록 역전파의 방법으로 학생 신경망을 훈련한다. 다음으로는 비라벨 영상 데이터 세트를 이용한 학습이 있다. 이 데이터 세트에서는 균열 영상 내에서 균열의 영역을 표시한 라벨이 없다. 그러므로 균열의 영역을 나타내는 가짜 라벨(pseudo label) 영상이 필요하다. 이를 위해서 스승 신경망의 예측 영상을 활용한다. 결과적으로 스승 신경망의 예측 영상과 유사한 예측 영상을 생산할 수 있도록 학생 신경망은 훈련된다. 이때 역전파의 경로는 학생 신경망으로 향한다. 이처럼 라벨과 비라벨 영상 데이터 세트로 훈련된 학생 신경망의 가중치는 지수이동평균(EMA, Exponential moving average)을 통해 스승 신경망에게 전파된다. 이러한 과정을 반복적으로 거치면서 스승 신경망은 보다 정확하고 신뢰할 수 있는 가짜 라벨 영상을 생산하게 되고 이는 다시 학생 신경망의 성능을 향상시킨다. 이 성능 향상 효과는 또다시 스승 신경망에 전달되어 균열 탐지 정확도가 향상된 신경망 모델로서 완성이 된다.

본 연구에서 사용된 지수이동평균은 Eq.(1)과 같이 정의 된다. $\theta'$와 $\theta$는 각각 스승 신경망과 학생 신경망의 가중치를 가리킨다. 지수이동평균은 이전 스승 신경망의 가중치를 현재 학생 신경망의 가중치로 갱신하는 과정인데, 갱신하는 속도는 α에 의해 결정된다. α값이 작으면 갱신되는 속도는 빠르고 크면 그만큼 느려진다. 본 연구에서는 이를 0.95로 설정하여 스승 신경망을 훈련하였다. 원래의 mean teacher에서 사용한 α는 0.99를 사용하였다. 이에 반해 ^{Zheng et al.(2022)}에서는 0.90을 α로 사용하였다. 이러한 점을 고려하여 본 연구에서는 이들의 평균값을 사용하였다.

Mean teacher 학습 구조에서는 두 가지 손실 함수의 합(LTotal)이 적용된다. 이는 Eq.(2)과 같이 정의된다. 하나는 라벨 영상 데이터 세트에 사용되는 cross-entropy 손실 함수 (LSeg)이고 다른 하나는 비라벨 영상 데이터 세트에 사용되는 mean-square-error 손실함수(LConsist)다. 이때 LConsist의 값이 전체적인 학습에 미치는 영향을 조정하기 balance weight(λ)를 사용하였다. 이는 스승 신경망의 예측 영상이 가짜 라벨의 역할을 수행할 때 학생 신경망의 훈련에 미치는 영향 정도를 결정하는 변수다. 이 변수에 따라 균열 탐지의 정확도는 영향을 받는다. 이러한 점을 감안하여 정확한 균열 탐지를 위한 최적의 값을 찾는 연구를 수행하였다.

Fig. 2 Learning structure of mean teacher

4.1 평가 지표

균열 탐지의 정확도를 평가하기 위하여 두 가지의 평가지표를 사용하였다. 첫 번째는 평균 중첩 정확도(m-IoU, mean- Intersection over Union)이며, 두 번째는 F1-score (F1)이다. m-IoU는 탐지 영역에 대한 비교로 Eq.(3)과 같이 정의된다. Eq.(3)에 있는 $n_{ij}$는 class $j$에 속해 있을 것으로 예측된 class $i$의 모든 화소 수를 나타낸다. 아울러 $n_{cl}$는 class의 개수를 가리키고, $t_{i}$는 class $i$에 속해 있는 모든 화소 수를 지칭한다. F1은 화소 단위의 정확도 비교로 Eq.(4)와 같이 정의된다. Eq. (4)에서 Pr과 Re는 각각 정밀도와 재현율을 가리키고 이들의 조화평균을 평가 지표로 삼았다.

4.2 학습 환경

균열 탐지 신경망 모델을 훈련하기 위하여 사용한 하드웨어 사양은 Intel Xeon 6226R 2.9 GHz, 320GB 메모리, NVIDIA Quardro 8000이다. 소프트웨어는 Ubuntu 18.04의 운영 체제 기반의 PyTorch 딥러닝 프레임 워크를 사용하였다. 학습을 위해 사용한 파라미터는 다음과 같다. 전체 에포크의 수는 5,000번이고 배치의 수는 64로 하였다. 최적화 함수는 adam을 사용하였다. 아울러 adam의 파라미터인 learning rate, beta-1, beta-2는 각각 0.001, 0.9, 0.999로 초깃값을 사용하였다. 훈련이 진행되는 가운데 매 10회의 에포크마다 신경망 모델의 가중치를 저장하도록 설정하였다.

4.3 성능 평가

균열 탐지를 위한 신경망 모델로 본 논문에서는 ERFNet을 사용하였다^{(Romera et al., 2017)}. 이 신경망 모델은 residual module을 활용하여 신경망 구조를 설계한 점이 특징이다. 이 모델을 mean teacher의 학습 구조에 적용하여 균열 탐지의 성능을 관찰하였다. 특히 학습 구조의 손실함수에서 사용되는 balance weight의 변화에 따른 균열 탐지 정확도의 변화를 평가하였다. balance weight의 값은 1.00에서부터 0.01까지 변화하였고 그에 따른 탐지 정확도는 Table 1과 같다. 탐지 정확도는 훈련된 신경망 모델을 실험용 300여 장의 라벨 영상 데이터 세트에 적용하여 평가된 결과다. Balance weight가 값이 1.00에서 점차 작아지면 탐지 정확도는 향상되는 것을 확인할 수 있다. 또한, balance weight가 0.01에 가까워지면서 정확도는 감소되는 것으로 드러났다. 결과적으로 balance weight는 0.05일 때 89.23% m-IoU와 89.12% F1을 기록하며 가장 높은 정확도를 보였다. 이는 비라벨 영상 데이터 세트를 이용한 학습이 미치는 영향에서 기인한 것이다. 신경망 모델에 의해서 생산된 가짜 라벨 영상은 사람에 의해서 만들어진 진짜 라벨 영상보다 신뢰성이 떨어진다고 가정하였다. 그러므로 가짜 라벨 영상을 어느 정도로 신뢰할지를 선택하는 것이 중요하다. 예를 들어, balance weight를 1.00으로 설정하였다면 이는 진짜 라벨 영상과 가짜 라벨 영상을 동일한 수준으로 신뢰하는 것을 의미한다. 이에 반해 balance weight를 0.01을 설정한다면 이는 가짜 라벨 영상을 그만큼 신뢰하지 않는 것으로 볼 수 있다. 가짜 라벨 영상에 대한 신뢰의 정도는 훈련에 사용되는 데이터와 신경망 모델의 특성에 따라 달라진다. 이러한 점을 고려하여 본 연구에서는 다수의 실험을 통해 가장 높은 탐지 정확도를 낼 수 있는 최적의 balance weight를 선정하였다.

본 연구에서 사용한 mean teacher의 학습 구조는 준지도 학습의 한 종류다. Mean teacher 방식은 하나의 신경망을 복수 사용하는 점이 특징이다. 두 개 이상의 신경망 모델을 사용하는 준지도 학습에서는 서로 다른 신경망 모델을 선정하는 데 많은 경우의 수를 고려해야 한다. 이에 반해 mean teacher 방식은 이러한 경우의 수가 적기 때문에 개발 과정에서 고려해야 할 변수를 줄일 수 있는 장점이 있다. 또한 지도학습과는 달리 균열 영상만을 추가로 사용해도 탐지 정확도를 향상시킬 수 있다. 다시 말해 라벨 영상을 만드는 데 필요한 비용과 시간을 절감하는 효과가 발생한다. 본 논문에서도 이러한 효과를 확인할 수 있다. 지도학습만으로 신경망 모델을 훈련했을 경우 그 정확도는 88.22% m-IoU와 87.96% F1이다. 이에 반해 mean teacher 학습 구조를 적용했을 때는 지도학습보다 1.01% m-IoU와 1.16%의 F1만큼 탐지 정확도가 향상되었다. 균열 탐지 정확도는 균열 폭의 측정 정확도에 영향을 미친다. 아울러 이는 구조물 상태 진단의 객관성과 신뢰성과도 밀접하게 연관된다. 그러므로 본 논문에서 제안한 소량의 라벨 영상으로 균열 탐지 정확도를 향상시킨 방법은 노후 인프라 구조물의 안전성 향상에도 기여한다.

4.4 탐지 결과 비교·분석

학습 구조에 대한 연구의 최종 목적은 제안한 방법을 이용하여 균열 탐지의 정확도를 향상시키는 것에 있다. 이러한 향상은 Fig. 3과 같이 탐지 결과에서 나타난다. Fig. 3의 (a)와 (b)는 각각 균열 영상과 라벨 영상이다. 또한, (c)와 (d)는 각각 지도 학습 방법과 mean teacher 방법에 의한 균열 탐지 결과다. 이 때 balance weight는 0.05다. 첫 번째 행의 결과 영상은 미세 균열의 탐지 성능을 보여 준다. Mean teacher 학습 방법을 적용할 때 라벨 영상과 더욱 유사한 예측 결과를 얻을 수 있다. 두 번째부터 네 번째 행의 영상은 넓은 면적의 손상에 대한 탐지 결과다. 지도 학습만을 사용할 경우 손상 면적의 전체를 탐지하지 못하였다. 이에 반해 mean teacher 방식을 적용하면 라벨 영상과 유사한 영역을 예측할 수 있다.

균열 탐지의 신경망 모델을 학습하는 데 영향을 미치는 변수는 다양하게 존재한다. 하지만 mean teacher의 학습 구조에서는 지수이동편균의 α와 손실 함수의 λ가 주요 변수의 역할을 한다. α는 스승과 학생 신경망 간의 관계에서 정의되는 변수이고, λ는 라벨과 비라벨 데이터 간의 관계에서 활용되는 변수다. 본 연구의 목적은 소량의 라벨 영상으로 탐지 정확도를 향상시키는 방법을 찾는 것에 있다. 이러한 맥락에서 λ에 따른 정확도 변화를 관찰하였다.

Mean teacher 학습을 적용했을 때 정확한 탐지한 가능한 이유는 보다 많은 균열 영상이 학습에 참여했기 때문이다. 비록 라벨이 없는 영상 데이터라 할지라도 다양한 균열의 형상 정보를 가지고 있는 것은 사실이다. 이러한 점을 학습에 이용하여 균열 탐지 성능을 향상시켰다. 물론 훈련 과정에서 균열 정보를 적절히 활용하기 위해서는 비라벨 영상 데이터의 학습 참여율을 결정해야 한다. 본 연구에서는 이를 balance weight라 간주하였고 이 참여율에 따라 탐지 성능의 변화를 관찰하였다. 여러 번의 실험을 통해 최종적으로 탐지 성능을 가장 높일 수 있는 값을 결정하였다. 이러한 연구를 통해 소수의 라벨 영상으로도 균열 탐지의 정확도를 향상시키기 위한 학습 구조를 개발하였다.

준지도 학습의 한 종류인 mean teacher 학습 구조는 라벨과 비라벨 영상 데이터가 활용된다. 비라벨 영상 데이터는 일반적으로 낮은 신뢰성을 갖고 있어 라벨 영상 데이터와 달리 부분적인 훈련 참여가 필요하다. 아울러 이와 같은 참여율은 데이터의 특성에 따라 달라진다. 따라서 본 연구에서는 λ를 사용하여 실험을 수행하였고 균열의 특성에 적합한 비라벨 데이터의 참여율을 제시했다. 이는 균열 탐지 분야에서 mean teacher 학습의 학술적 의미를 갖는다.

본 연구에서는 수천 장 규모의 학습 데이터를 사용하였다. 학습 데이터의 수량은 데이터의 복잡성에 따라 결정된다. 영상이 복잡한 배경과 내용물을 포함하고 있다면 전경을 탐지하기 위해서 다수의 데이터가 필요하다. 본 연구에서 사용한 학습 데이터는 Fig. 1에서 나타난 것과 같이 단일 재질에 불연속 경계선을 포함한 영상들이다. 일반적으로 관찰할 수 있는 콘크리트 표면 누수와 얼룩 그리고 시설물과 지장물 등이 균열 영상 학습 데이터에는 포함되어 있지 않다. 이러한 점을 살펴보았을 때, 학습 데이터의 복잡성은 상대적으로 낮다고 보는 것이 타당하다. 따라서 본 연구에서 사용한 데이터 세트의 규모로 얻는 연구 결과는 의미를 가질 수 있다.

균열 탐지 알고리즘의 최종적인 목적은 실제 현장에 적용되어 노후 인프라의 객관적인 상태를 평가하는 것이다. 이를 위하여 여러 가지 실용적인 방법이 필요하다. 특히 새로운 환경 조건을 가진 현장에서 신경망 모델이 우수하게 균열을 탐지하기 위해서는 다양한 학습 데이터가 필요하다. 다양한 균열의 폭과 면적을 포함한 영상뿐만 아니라 여러 종류의 콘크리트 재질을 가진 학습 영상이 있어야 한다. 다시 말해 학습 데이터의 다양성을 높이는 방법이 필요하다. 이에 반해 본 연구에서는 이러한 점보다 라벨 영상을 확보하기 위해 필요한 비용을 절감하는 방법에 집중하였다. 다양한 균열이 있더라도 라벨 영상은 반드시 필요하다. 이는 필연적으로 많은 노동력과 시간을 소모한다. 본 연구에서는 이러한 점을 극복하는 데 필요한 방법론을 제안하였다.

Fig. 3 Result Images: (a) Input images, (b) Label images, (c) Supervised, (d) Mean teacher