2.1 이산웨이블릿 변환 개요

웨이블릿은 1909년 헝가리 수학자인 Alfred Haar에 의해 제안된 후 여러 수학자들에 의해 발전하여 1980년대에는 신호 및 이미지 처리에 활용되었다. 이산 웨이블릿 변환의 필터 구조는 다음 Fig. 2와 같으며, LoD는 저역 필터를 거친 데이터를 의미하고 HiD는 고역 필터를 거친 데이터를 의미한다.

이산 웨이블릿 변환(discrete wavelet transform, DWT)은 기본적으로 n개의 샘플을 갖는 이산 신호에 적용되며, 신호에 대해 필터를 이용하여 저주파 대역과 고주파 대역으로 분리한다. 각 대역은 2라는 요소로 서브 샘플링 되어 n/2개의 샘플을 포함한다. 2차원 이미지의 각 행에 대해 저역 통과 필터와 고역 통과 필터를 적용시키고 2로 다운 샘플링을 수행하면 고대역-고대역(HH), 고대역-저대역(HL), 저대역-고대역(LH), 저대역-저대역(LL)을 통과한 4개의 서브 이미지가 생성된다.

LL은 원본 이미지에 수평과 수직방향으로 저역 통과 필터를 적용하여 2로 서브 샘플링된 것을 의미한다. HL은 수직방향으로 고대역 통과 필터를 적용하여, 수직 방향 주파수의 노이즈를 포함하고 있다. LH는 수평 방향으로 고대역 통과 필터를 적용한 것으로 수평방향 주파수의 노이즈를 포함하고 있다. HH는 수평과 수직 방향에 고대역 통과 필터를 적용한 것이다. 이산 웨이블릿 변환을 거친 후 만들어지는 LL영역은 원본 이미지에서 노이즈가 제거된 영상이며, HH는 노이즈 영상으로 볼 수 있다. LL 이미지에 웨이블릿 변환을 반복적으로 적용하는 것을 다해상도 웨이블릿 분해라고 한다.

본 연구에서는 아스팔트 콘크리트 포장 노면의 특성을 Fig. 3와 같이 건조, 젖음, 블랙아이스, 눈으로 구분하였으며, 다양한 노이즈를 제거하기 위해 이산 웨이블릿 변환을 수행하였다. Fig. 4는 Fig. 3의 각 노면의 특성에 대해 이산 웨이블릿 변환을 수행한 결과이며, Fig. 5는 Fig. 4의 LL이미지의 명암의 히스토그램을 나타내고 있다.

Fig. 5에서 보는 바와 같이 아스팔트 콘크리트 표면의 상태에 따라 명암의 히스토그램은 다른 특징을 보였다. 건조 노면의 경우 Fig. 4(a)에서와 같이 명암이 전반적으로 완만한 분포를 보였다. 젖은 노면은 표면의 수분에 의한 반사광으로 밝은 부분과 어두운 부분에 피크가 동시에 발생하는 것을 확인할 수 있었으며, 밝은 부분의 피크가 더 크게 발생하였다(Fig. 5(b)). 블랙 아이스를 갖는 표면의 명암 분포는 Fig. 5(c)와 같으며 표면에 생긴 얼음으로 인해 부분적인 다수의 피크가 발생한 것을 알 수 있었다. Fig. 5(d)는 눈이 일부 쌓인 노면의 명암 분포를 나타내고 있다. 젖는 노면과 상반되는 분포를 나타내고 있다. 밝은 눈에 의한 명암대비로 어두운 부분의 피크가 크게 발생한 것을 확인하였다.

아스팔트 콘크리트 표면의 명암 분포는 각 상태에 따라 다른 분포를 보이며, 이는 노면의 상태를 식별하는데 고유한 특징이 될 수 있다. 이러한 고유한 특징은 아스팔트 콘크리트 포장의 상태를 상기의 4개의 분류로 구분하는 것이 타당함을 나타낸 것으로 볼 수 있다. 본 연구에서는 이러한 아스팔트 콘크리트 포장 노면의 이러한 특징을 이용하여 이미지를 식별하는 시스템을 개발하였다. 이를 위해 각 노면의 상태별로 이미지 데이터 세트를 수집하여 데이터 세트를 구성하였다. 구축한 이미지 데이터세트를 이용하여 딥러닝 모델을 학습 시켰고, 이미지 데이터 세트의 제한적인 이미지 수에 대한 한계를 효율적으로 해결하고자 전이학습을 적용하였다. 이에 대한 자세한 내용은 3장에 나타나 있다.

Fig. 2 Example of discrete wavelet transform

Fig. 3 Surface conditions of asphalt concrete pavement

Fig. 4 DWT examples of asphalt concrete pavement images

Fig. 5 Histograms of surface images

3.1 아스팔트 콘크리트 포장 노면 상태별 이미지 구축

본 연구에서는 아스팔트 콘크리트 포장 노면의 상태의 식별을 위한 학습 및 평가 이미지를 준비하였다. 국내 아스팔트 콘크리트 포장이 시공된 도로를 대상으로 건조, 젖음, 블랙아이스, 눈 노면의 상태의 이미지를 352개(건조 86개, 젖음 170개, 블랙아이스 35개, 눈 노면 46개) 취득하였다. Fig. 6은 취득한 이미지의 일부분을 보여주고 있다.

아스팔트 콘크리트 포장의 상태별 이미지를 획득하는 것은 매우 제한적이다. 이러한 학습이미지의 개수의 제약의 문제를 해결할 수 있는 좋은 방법은 데이터 증식 기법이다. 데이터 증식은 기존의 데이터에 새로운 데이터를 생성해 인공적으로 훈련 세트의 크기를 늘려 정확도를 향상시키는 기법이다. 이미지 데이터 증식의 종류는 원본 이미지의 크기 조정, 이동, 회전, 플립핑 등에 의해 새로운 이미지를 생성한다. 또한, 원본 이미지에 휜 점 또는 검은 점의 노이즈, 그림자, 또는 원근감을 추가하여 새로운 이미지를 생성하는 방법이다. 본 연구에서는 상기의 데이터 증식 기법을 이용하여 이미지를 추가 생성하였다.

Fig. 6 Partial road condition image used for feature extraction

3.2 아스팔트 콘크리트 포장 노면 상태 분류 모델 학습

최근 하드웨어 성능 향상으로 딥러닝은 이미지 분류가 기본 작업인 컴퓨터 비전 분야에서 크게 발전하였다. CNN은 강력한 특징 추출 기능을 가지고 있으며 이미지 인식 및 분류 작업에서 뛰어난 성능을 발휘하고 있다. 계층별로 이미지 특징을 추출할 수 있을 뿐만 아니라 특징 및 구조적 특징도 병렬 학습을 통해 네트워크 효율성을 향상시킬 수 있다^{(Li et al., 2018; Krizhevsky et al., 2017)}. 본 연구에서는 아스팔트 콘크리트 포장 이미지의 분류를 위해 CNN 모델 아키텍처 중에서 VGG16을 사용하였다(Fig. 7). VGG 모델은 옥스퍼드 대학의 연구팀에 의해서 개발되었으며, 딥러닝 기반 컴퓨터 비전 모델의 시대를 열었던 AlexNet의 8-layers 모델보다 깊이가 2배 이상 깊은 네트워크의 학습에 성공하였다. 이를 통해 ImageNet 경연에서 AlexNet의 오차율을 절반(16.4 > 7.3)으로 줄였다. VGG16은 16계층 심층신경망을 나타내고 있으며, 약 1억 2,800만 개의 매개변수를 가지고 있다. VGG16은 Fig. 7에서 보는 바와 같이 13개의 컨볼루션 레이어와 3개의 완전히 연결된 레이어로 구성되어 있다.

일반적으로 데이터의 수집은 매우 복잡한 과정이 필요하며, 비용이 높은 특징이 있다. 따라서 고품질의 대용량 데이터 세트를 구성하는 것은 상당히 어렵다. 본 연구에서는 전이학습을 통해 이러한 문제점을 해결하였다. 전이학습은 학습 데이터가 부족한 경우 유사한 분야에서 기 학습된 신경망을 활용하여 학습하는 방법이다^{(Pan and Yand, 2010)}. 이미지 분류를 위한 모델 개발 및 학습기간을 줄일 수 있으며, 검증된 모델을 활용할 수 있는 장점이 있다. ^{Mao et al.(2020)} 연구진들은 육교, 도로, 건물 등 25개의 부류가 포함된 2,016개 데이터 세트에서 전이학습을 기반으로 하는 열화 이미지 분류 방법을 이용하여 분류 정확도가 10.54 % 향상되었다. 본 연구에서는 전체 컨볼루션 레이어에 대해 ImageNet 데이터 세트로 사전학습된 가중치(pretrained weight)를 호출하여 전이학습을 수행하였다. 본 연구에서 사용된 딥러닝 모델(VGG16)의 학습을 위한 하이퍼파라미터는 Table 1에 정리되어있다. 딥러닝 모델의 과적합(overfitting)을 방지하고 학습시간을 단축하기 위하여 검증데이터에 대한 손실함수가 50 epoch 이상 감소하지 않는 경우 훈련을 조기 중단하도록 설정하였다. 또한 모델 학습 시 성능향상을 위해 이미지 증강 기법을 사용하였다.

본 연구에서 사용된 딥러닝 모델을 학습시킴에 따라 발생한 손실 및 정확도의 변화를 추적하기 위해 훈련 및 검증 데이터세트에 대해 학습 이력을 분석하였다. Fig. 8(a)에서 볼 수 있듯이, 훈련(파란 실선) 및 검증(주황생 점선) 데이터에 대한 손실함수가 epoch를 거듭할수록 점차적으로 감소하였다. 특히, 초기 epoch에서 손실이 빠르게 감소하였으며, 점차 수렴하는 양상을 보였다.

다음으로, Fig. 8(b)에서 정확도에 대한 이력을 확인하였을 때, 훈련 및 검증 정확도는 학습이 진행됨에 따라 증가하는 경향을 보였다. 훈련 정확도와 검증 정확도가 유사한 패턴으로 증가하였고, 훈련 정확도가 검증 정확도보다 크지 않아 과적합 없이 모델이 학습된 것을 확인할 수 있다. 기존의 딥러닝 기반 이미지 분류 연구에 비해 상대적으로 적은양의 데이터를 모델 학습에 이용하였음에도 불구하고 과적합이 일어나지 않은 것은 이미지 증강과 전이학습의 효과인 것으로 사료된다.

Fig. 7 Model architecture of the deep learning model for road condition classification

Fig. 8 Learning curves of the deep learning model for road condition classification

3.3 아스팔트 콘크리트 포장 노면 상태 분류 모델 평가

학습된 딥러닝 모델의 아스팔트 콘크리트 포장 노면 상태 분류 성능을 평가하기 위해 검증 데이터세트에 대한 혼동 행렬(confusion matrix)를 계산하였다(Fig. 9). 혼동 행렬은 각 클래스(건조, 젖음, 블랙아이스, 눈 노면)에 대한 실제 레이블과 학습된 모델의 예측 레이블 간의 관계를 시각적으로 나타내는 도구이다.

Fig. 9에서 각 행은 실제 클래스를 나타내고, 각 열은 학습된 딥러닝 모델이 예측한 클래스를 나타낸다. Fig. 9에서 볼 수 있듯이, 블랙아이스와 눈 노면 클래스에 대해서는 오분류 없이 100 % 정확도로 분류가 가능한 것을 알 수 있다. 건조와 젖음 클래스 사이에서는 약간의 혼동이 발생한 것을 확인할 수 있다. 21개의 건조 상태의 이미지 중 3개의 이미지가 젖음 상태로 잘못 분류 되었고, 35개의 젖음 상태 이미지 중 4개의 이미지가 건조 상태로 오분류 되었다. 이는 이미지 해당하는 7개의 오분류된 이미지의 특성이 실제로 구분이 어려울 정도로 유사하기 때문 인 것으로 판단된다. 하지만, 본 연구에서 주로 관심이 있는 블랙아이스와 눈 노면에 대해서는 100 % 정확도를 달성하여 학습된 모델의 성능이 양호함을 확인하였다.

학습된 딥러닝 모델이 네 개의 아스팔트 콘크리트 포장 노면 상태에 대해 얼마나 효과적으로 분류하는지 정량적으로 평가하기 위해 정밀도(precision), 재현율(recall), 그리고 F1 점수(F1-score)를 계산하여 Table 2에 표시하였다. 먼저, 정밀도는 각 클래스에 대한 예측 중 학습된 딥러닝 모델이 정확하게 맞춘 비율을 나타낸다. 재현율은 실제로 해당 클래스에 속한 이미지 데이터 중에서 모델이 정확하게 예측한 비율을 나타낸다. 높은 재현율은 학습된 모델이 해당 클래스를 놓치지 않고 잘 식별한다는 것을 의미한다. 마지막으로, F1 점수는 정밀도와 재현율의 조화 평균으로, 두 지표 사이의 균형을 나타낸다. F1 점수는 모델이 얼마나 정확한 이미지 분류를 할 수 있는지 종합적으로 평가하는 지표이다.

Table 2에서 확인할 수 있듯이, 본 논문에서 고려하고 있는 네 가지의 클래스(건조, 젖음, 블랙아이스, 눈 노면)에 대해 학습된 모델이 높은 지표들을 보이는 것을 확인할 수 있다. 정밀도, 재현율, F1 점수 세 가지 지표에서 모두 1에 가깝거나 1의 값을 가지는 결과를 얻었고, 이는 학습된 모델의 분류 성능이 높음을 의미한다.

Fig. 9 Confusion matrix

3.4 블랙아이스 자동 예방 시스템

본 연구에서는 3장에서 개발된 아스팔트 콘크리트 포장 상태 인식 시스템의 검증을 위해 표면의 상태가 건조, 젖음, 블랙아이스, 눈인 아스팔트 콘크리트 포장체를 제작하였다. 각 표면상태가 다른 포장체를 3장에서 개발된 시스템에 의해 식별된 결과는 Fig. 10과 같다. Fig. 10에서 보는 바와 같이 노면의 상태를 정확히 식별하는 것을 알 수 있었다.

또한, 아스팔트 콘크리트 포장 노면의 상태 이미지 식별 기능의 정확도를 높이기 위해 실제 노면에 온도, 습도 등의 측정 센서를 설치하였다. 아스팔트 콘크리트 표면의 온도를 정확히 측정하는 것은 노면의 상태를 평가하는 데 상당히 중요하다. 이를 위해 본 연구에서는 길이 20 mm, 폭 7.4 mm, 두께 3.8 mm의 매립형 온도센서 PT1000을 이용하여 Fig. 11과 같이 아스팔트 콘크리트 표면에 매립하였다. 또한, 아스팔트 콘크리트 포장 대기의 상대습도를 측정하기 위해 Fig. 11과 같이 박막 콘덴서 센서를 사용하였다.

본 연구에서는 3.3의 이미지 식별에 의해 아스팔트 콘크리트 노면의 상태가 블랙아이스로 식별이 되면, 실제 도로에서 설치된 센서에서 측정된 온도 및 상태습도 결과를 통해 최종 판정을 하게끔 하였다. 즉, 센서에서 측정된 아스팔트 콘크리트 노면의 온도가 2 ℃이하이고, 상대습도가 90 %이상인 경우 블랙아이스로 최종 판정한다^{(Kim et al., 2011)}. 또한, 본 연구에서는 Fig. 11에서와 같이 블랙아이스로 최종 판정이 나면, 도로에 설치된 블랙아이스 예방 시스템이 자동으로 작동하게 된다. 도로 옆에 설치된 판넬하우스에 설치된 저장탱크와 펌프에 의해 염수가 자동적으로 노면 표면에 자동 분사하도록 하였다.

Fig. 10 Examples of asphalt concrete pavement condition recognition

Fig. 11 Example of black ice prevention system