정회평
(Hoe-Pyeong Jeong)
1
송호민
(Homin Song)
2
최영철
(Young-Cheol Choi)
3†
-
정회원,㈜에스알디 코리아 기술고문
-
정회원,가천대학교 토목환경공학과 교수
-
정회원,가천대학교 토목환경공학과 교수, 교신저자
Copyright © The Korea Institute for Structural Maintenance and Inspection
키워드
블랙아이스, 웨이블릿 변환, 아스팔트 포장, 이미지 식별, 딥러닝
Key words
Black ice, Wavelet transform, Asphalt pavement, Image classification, Deep learning
1. 서 론
최근 국내에서도 지구 온난화 등 기상여건의 변화로 하절기에는 게릴라성 폭우가 잦아지고 있으며, 동절기에는 특정지역에서 국지성 폭설의 빈도가 높아지는
등 기상이변이 속출하고 있다. 이러한 기후환경으로 인한 도로 상황 변화는 실시간적으로 파악이 어려워 교통안전에 지장을 주기 쉽다. 도로교통공단 보고서에
따르면 교통사고는 인명뿐만 아니라 연간 26조원에 해당하는 사회적 손실을 초래하고 있다.
기상이변에 따른 폭우는 노면에 수막을 형성하며, 폭설로 인한 결빙은 미끄럼저항성을 저하시키므로 차량의 주행에 의한 교통사고의 위험을 증가시키게 된다.
특히, 운전자가 시각적으로 인지하기 어려운 늦가을 서리에 의한 결로나 블랙아이스(black ice)도 교통사고의 주된 원인으로 지목되고 있다(Tan et al., 2021; Kropiwnicki, 2019). Fig. 1은 아스팔트 콘크리트 포장 노면에 발생한 블랙아이스 예를 나타내고 있다.
블랙아이스는 겨울철 비나 눈이 낮 동안 도로 틈새에 스며들어 있다가 기온이 내려가는 밤사이에 다시 얼면서 얇고 투명한 살얼음이 검은 아스팔트 위에
얼어붙는 결빙 현상을 뜻한다. 노면에 발생한 얼음의 두께가 상당히 얇고 투명하여, 검은 아스팔트 색이 그대로 나타나, 검은색 얼음이란 뜻으로 블랙아이스라고
불리게 되었다(Park et al., 2017). 이러한 도로면의 블랙아이스 현상은 지형 조건에 의하여 일조가 잘 들지 않는 구간이나, 교량의 하부 그리고 터널의 입구 등의 구역에서 발생하기 쉽다.
우리나라는 국토의 70 %이상이 산지이며, 이에 블랙 아이스가 자주 발생하는 지역이 많아 연쇄 재난 사고가 이어질 수 있기 때문에 블랙 아이스로 인한
개인적 및 사회적 손실이 증가할 수 있다. 블랙 아이스가 형성되면 인지하기가 매우 어렵고 타이어-로드 표면에서의 마찰을 강하게 감소시켜 자동차 사고를
유발한다. 국토교통부의 연간 보고서에 따르면, 빙판 포장으로 인해 15만 건 이상의 자동차 충돌 사고가 발생하고 있다.
차량의 정상적인 주행은 타이어와 지면 사이의 마찰력에 의존하는데, 노면에 고인 물, 적설, 동결, 블랙 아이스 등의 요인들은 노면 마찰계수를 현저히
감소시켜 타이어와 지면 간의 마찰력을 떨어뜨린다. 마찰계수가 낮을수록 안전 운행의 속도 상한선이 낮아져 운전자가 노면 상태에 따라 속도를 조절해야
한다. 블랙아이스 상태의 노면의 마찰계수는 건조한 노면의 약 12 %로 상당히 작은 값을 갖게 된다(Ghim and Fwa, 2010). 젖은 노면과 블랙아이스 노면의 안전 운행 속도 차이는 약 50 km/h로, 이를 혼동하면 교통사고가 유발되기 쉬우며, 대형 사고로 이어지기 쉽다(Hong, 2014). 현재 블랙 아이스에 대한 대처로는 평소주행 속도의 절반으로 주행하는 것 밖에는 없는 실정이다. 실질적으로 빠른 속도로 달리는 차 안에서 운전자가
블랙 아이스를 판별한다는 것은 매우 어렵다. 최근 도로 노면의 특성을 감지를 통한 교통안전 조기 경보시스템이 주목받고 있다. 하지만, 블랙 아이스
검출에 대한 구체적인 연구는 매우 미흡한 실정이다. 블랙아이스는 감지하기 어렵기 때문에 도로의 블랙아이스 정보를 실시간으로 판단하여 운전자에게 실시간으로
경고하는 검출 시스템이 필요하다. 이에 다양한 연구자들에 의해 도로 노면의 특성을 검출하는 연구가 다양하게 수행되었다(Yang et al., 2013; Landry and Akhloufi, 2022; Mats et al., 2012).
Lee et al.(2020)은 블랙아이스 노면, 건조한 노면, 젖은 노면, 눈 덮인 노면에 대한 4가지 도로 노면의 사진을 수집하였다. 수집된 사진을 컨볼루션 신경망(convolutional
neural network, CNN)에 학습시켜 도로 노면의 특징을 추출하고자 하였으며, 학습된 CNN은 96.1 %의 블랙아이스 검출 정확도를 보였다.
Li et al.(2017)은 OpenCV와 파이썬을 이용하여 도로 결빙 감지 시스템을 설계하였다. 이 시스템은 이미지를 분할하기 위해 에지 감지와 이진 형태의 조합을 사용하였다.
또한, 웨이블릿 변환 알고리즘을 사용하여 잡음을 제거하고 최종적으로 도로 이미지의 특성 값을 추출하고 서포트 벡터 머신 분류기를 통해 건조, 젖음,
눈, 얼음의 4가지 도로 이미지를 식별하였다.
Ma and Ruan(2020)은 광센서를 활용한 비 접촉 블랙아이스 검출기법을 제안하였다. 이 검출기법은 광센서의 파장 길이에 따라 달라지는 물, 얼음, 눈의 흡수계수가 달라짐을
활용하였다. 이 연구에서는 서로 다른 파장 길이를 갖는 세 개의 광센서를 통해 표면에 빛을 전송하고 반사된 빛의 양을 수집하여 반사율 비교를 통해
블랙아이스를 검출하였다. Jonsson (2011)은 할로겐램프 광원과 서로 다른 3개의 파장을 가진 적외선 검출기를 사용하여 도로 노면 상태를 구별하였다.
Tabatabai and Aljuboori(2017)은 접촉형 센서를 이용하여 도로 노면의 특성을 평가하는 방법을 제안하였다. 그들은 센서 표면의 온도와 센서에 포함된 두 개의 스테인리스 막대 간 저항
값 변화를 활용하여 도로 노면의 특성을 분류하였다. 하지만 이 방법은 도로 노면의 블랙아이스 상태를 정확하게 검출하는데 한계점을 나타냈다. 일반적으로
카메라, 광센서, 접촉형 센서가 블랙아이스 검출 기법에 활용되었지만, 해당 센서들은 한계점을 가진다. 카메라는 직관적인 데이터를 갖지만 저조도 환경,
눈, 비, 안개 등 외부요인에 의해 영향을 받을 수 있다. 광센서는 높은 분해능을 가져 정밀한 검출이 가능하다. 그러나 햇빛이 외부 요소로서 광센서에
수신될 경우, 성능에 영향을 받을 수 있다. 접촉형 센서는 조도 및 날씨 변화에 강인하지만 블랙아이스를 검출하기 위해 도로에 설치된 이후, 유지 또는
보수에 대한 추가적인 비용이 발생할 수 있다. 카메라가 널리 보급됨에 따라 이미지는 도로 정보를 획득하기 위한 편리하고 빠르고 경제적인 방법이 되었으며
차량 교통 위반, 교통 흐름, 번호판 인식 등 분야에서 널리 사용되고 있다. 이미지 방식에 기반한 도로 노면의 특성 검출 기술은 직관적이고, 기술의
업그레이드가 용이하며 설치 및 유지보수 시 도로에 피해를 주지 않는다. 하지만, 카메라 이미지 기반으로 노면의 특성을 검출하는 연구는 상당히 미흡한
실정이다.
본 논문에서는 시공성, 안전성, 매끄러움 등의 장점 때문에 널리 사용되고 있는 아스팔트 도로 노면의 특성을 실시간적으로 식별하는 시스템을 개발하였다.
이를 위해 각 아스팔트 도로 노면 이미지에 대해 데이터 세트를 구축한 다음 딥러닝 기법의 일종인 CNN과 전이학습(transfer learning)을
활용하여 노면의 상태를 건조, 젖음, 블랙아이스, 눈 노면 상태로 분류하였다. 노면의 상태를 정확하고 신속하게 식별하기 위해 웨이블릿 변환을 통해
노이즈를 제거한 이미지를 학습에 사용하였다. 또한, 이미지 분석을 통한 노면 상태의 최종판별을 위한 보조 수단으로 실제 노면에서 측정된 온도와 습도
데이터를 사용하였다. 아스팔트 노면의 표면 온도를 정확히 측정하기 위해 표면 매립형 온도센서를 설치하였다. 그리고 도로 노면의 특성이 블랙아이스로
판정이 나면, 도로에 설치된 열풍 또는 염수 분사장치가 자동으로 작동하도록 하였다. 본 연구에서 개발된 도로 노면 특성 검출 시스템과 더블어 블랙아이스
자동 예방 시스템은 운전자의 안전운행을 보장하고 교통사고 발생률을 낮출 수 있을 것으로 기대된다.
Fig. 1 Black ice on asphalt concrete pavement
2. 이산 웨이블릿 변환
2.1 이산웨이블릿 변환 개요
웨이블릿은 1909년 헝가리 수학자인 Alfred Haar에 의해 제안된 후 여러 수학자들에 의해 발전하여 1980년대에는 신호 및 이미지 처리에
활용되었다. 이산 웨이블릿 변환의 필터 구조는 다음 Fig. 2와 같으며, LoD는 저역 필터를 거친 데이터를 의미하고 HiD는 고역 필터를 거친 데이터를 의미한다.
이산 웨이블릿 변환(discrete wavelet transform, DWT)은 기본적으로 n개의 샘플을 갖는 이산 신호에 적용되며, 신호에 대해
필터를 이용하여 저주파 대역과 고주파 대역으로 분리한다. 각 대역은 2라는 요소로 서브 샘플링 되어 n/2개의 샘플을 포함한다. 2차원 이미지의 각
행에 대해 저역 통과 필터와 고역 통과 필터를 적용시키고 2로 다운 샘플링을 수행하면 고대역-고대역(HH), 고대역-저대역(HL), 저대역-고대역(LH),
저대역-저대역(LL)을 통과한 4개의 서브 이미지가 생성된다.
LL은 원본 이미지에 수평과 수직방향으로 저역 통과 필터를 적용하여 2로 서브 샘플링된 것을 의미한다. HL은 수직방향으로 고대역 통과 필터를 적용하여,
수직 방향 주파수의 노이즈를 포함하고 있다. LH는 수평 방향으로 고대역 통과 필터를 적용한 것으로 수평방향 주파수의 노이즈를 포함하고 있다. HH는
수평과 수직 방향에 고대역 통과 필터를 적용한 것이다. 이산 웨이블릿 변환을 거친 후 만들어지는 LL영역은 원본 이미지에서 노이즈가 제거된 영상이며,
HH는 노이즈 영상으로 볼 수 있다. LL 이미지에 웨이블릿 변환을 반복적으로 적용하는 것을 다해상도 웨이블릿 분해라고 한다.
본 연구에서는 아스팔트 콘크리트 포장 노면의 특성을 Fig. 3와 같이 건조, 젖음, 블랙아이스, 눈으로 구분하였으며, 다양한 노이즈를 제거하기 위해 이산 웨이블릿 변환을 수행하였다. Fig. 4는 Fig. 3의 각 노면의 특성에 대해 이산 웨이블릿 변환을 수행한 결과이며, Fig. 5는 Fig. 4의 LL이미지의 명암의 히스토그램을 나타내고 있다.
Fig. 5에서 보는 바와 같이 아스팔트 콘크리트 표면의 상태에 따라 명암의 히스토그램은 다른 특징을 보였다. 건조 노면의 경우 Fig. 4(a)에서와 같이 명암이 전반적으로 완만한 분포를 보였다. 젖은 노면은 표면의 수분에 의한 반사광으로 밝은 부분과 어두운 부분에 피크가 동시에 발생하는
것을 확인할 수 있었으며, 밝은 부분의 피크가 더 크게 발생하였다(Fig. 5(b)). 블랙 아이스를 갖는 표면의 명암 분포는 Fig. 5(c)와 같으며 표면에 생긴 얼음으로 인해 부분적인 다수의 피크가 발생한 것을 알 수 있었다. Fig. 5(d)는 눈이 일부 쌓인 노면의 명암 분포를 나타내고 있다. 젖는 노면과 상반되는 분포를 나타내고 있다. 밝은 눈에 의한 명암대비로 어두운 부분의 피크가
크게 발생한 것을 확인하였다.
아스팔트 콘크리트 표면의 명암 분포는 각 상태에 따라 다른 분포를 보이며, 이는 노면의 상태를 식별하는데 고유한 특징이 될 수 있다. 이러한 고유한
특징은 아스팔트 콘크리트 포장의 상태를 상기의 4개의 분류로 구분하는 것이 타당함을 나타낸 것으로 볼 수 있다. 본 연구에서는 이러한 아스팔트 콘크리트
포장 노면의 이러한 특징을 이용하여 이미지를 식별하는 시스템을 개발하였다. 이를 위해 각 노면의 상태별로 이미지 데이터 세트를 수집하여 데이터 세트를
구성하였다. 구축한 이미지 데이터세트를 이용하여 딥러닝 모델을 학습 시켰고, 이미지 데이터 세트의 제한적인 이미지 수에 대한 한계를 효율적으로 해결하고자
전이학습을 적용하였다. 이에 대한 자세한 내용은 3장에 나타나 있다.
Fig. 2 Example of discrete wavelet transform
Fig. 3 Surface conditions of asphalt concrete pavement
Fig. 4 DWT examples of asphalt concrete pavement images
Fig. 5 Histograms of surface images
3. 아스팔트 콘크리트 포장 이미지 인식
3.1 아스팔트 콘크리트 포장 노면 상태별 이미지 구축
본 연구에서는 아스팔트 콘크리트 포장 노면의 상태의 식별을 위한 학습 및 평가 이미지를 준비하였다. 국내 아스팔트 콘크리트 포장이 시공된 도로를 대상으로
건조, 젖음, 블랙아이스, 눈 노면의 상태의 이미지를 352개(건조 86개, 젖음 170개, 블랙아이스 35개, 눈 노면 46개) 취득하였다. Fig. 6은 취득한 이미지의 일부분을 보여주고 있다.
아스팔트 콘크리트 포장의 상태별 이미지를 획득하는 것은 매우 제한적이다. 이러한 학습이미지의 개수의 제약의 문제를 해결할 수 있는 좋은 방법은 데이터
증식 기법이다. 데이터 증식은 기존의 데이터에 새로운 데이터를 생성해 인공적으로 훈련 세트의 크기를 늘려 정확도를 향상시키는 기법이다. 이미지 데이터
증식의 종류는 원본 이미지의 크기 조정, 이동, 회전, 플립핑 등에 의해 새로운 이미지를 생성한다. 또한, 원본 이미지에 휜 점 또는 검은 점의 노이즈,
그림자, 또는 원근감을 추가하여 새로운 이미지를 생성하는 방법이다. 본 연구에서는 상기의 데이터 증식 기법을 이용하여 이미지를 추가 생성하였다.
Fig. 6 Partial road condition image used for feature extraction
3.2 아스팔트 콘크리트 포장 노면 상태 분류 모델 학습
최근 하드웨어 성능 향상으로 딥러닝은 이미지 분류가 기본 작업인 컴퓨터 비전 분야에서 크게 발전하였다. CNN은 강력한 특징 추출 기능을 가지고 있으며
이미지 인식 및 분류 작업에서 뛰어난 성능을 발휘하고 있다. 계층별로 이미지 특징을 추출할 수 있을 뿐만 아니라 특징 및 구조적 특징도 병렬 학습을
통해 네트워크 효율성을 향상시킬 수 있다(Li et al., 2018; Krizhevsky et al., 2017). 본 연구에서는 아스팔트 콘크리트 포장 이미지의 분류를 위해 CNN 모델 아키텍처 중에서 VGG16을 사용하였다(Fig. 7). VGG 모델은 옥스퍼드 대학의 연구팀에 의해서 개발되었으며, 딥러닝 기반 컴퓨터 비전 모델의 시대를 열었던 AlexNet의 8-layers 모델보다
깊이가 2배 이상 깊은 네트워크의 학습에 성공하였다. 이를 통해 ImageNet 경연에서 AlexNet의 오차율을 절반(16.4 > 7.3)으로 줄였다.
VGG16은 16계층 심층신경망을 나타내고 있으며, 약 1억 2,800만 개의 매개변수를 가지고 있다. VGG16은 Fig. 7에서 보는 바와 같이 13개의 컨볼루션 레이어와 3개의 완전히 연결된 레이어로 구성되어 있다.
일반적으로 데이터의 수집은 매우 복잡한 과정이 필요하며, 비용이 높은 특징이 있다. 따라서 고품질의 대용량 데이터 세트를 구성하는 것은 상당히 어렵다.
본 연구에서는 전이학습을 통해 이러한 문제점을 해결하였다. 전이학습은 학습 데이터가 부족한 경우 유사한 분야에서 기 학습된 신경망을 활용하여 학습하는
방법이다(Pan and Yand, 2010). 이미지 분류를 위한 모델 개발 및 학습기간을 줄일 수 있으며, 검증된 모델을 활용할 수 있는 장점이 있다. Mao et al.(2020) 연구진들은 육교, 도로, 건물 등 25개의 부류가 포함된 2,016개 데이터 세트에서 전이학습을 기반으로 하는 열화 이미지 분류 방법을 이용하여
분류 정확도가 10.54 % 향상되었다. 본 연구에서는 전체 컨볼루션 레이어에 대해 ImageNet 데이터 세트로 사전학습된 가중치(pretrained
weight)를 호출하여 전이학습을 수행하였다. 본 연구에서 사용된 딥러닝 모델(VGG16)의 학습을 위한 하이퍼파라미터는 Table 1에 정리되어있다. 딥러닝 모델의 과적합(overfitting)을 방지하고 학습시간을 단축하기 위하여 검증데이터에 대한 손실함수가 50 epoch 이상
감소하지 않는 경우 훈련을 조기 중단하도록 설정하였다. 또한 모델 학습 시 성능향상을 위해 이미지 증강 기법을 사용하였다.
본 연구에서 사용된 딥러닝 모델을 학습시킴에 따라 발생한 손실 및 정확도의 변화를 추적하기 위해 훈련 및 검증 데이터세트에 대해 학습 이력을 분석하였다.
Fig. 8(a)에서 볼 수 있듯이, 훈련(파란 실선) 및 검증(주황생 점선) 데이터에 대한 손실함수가 epoch를 거듭할수록 점차적으로 감소하였다. 특히, 초기
epoch에서 손실이 빠르게 감소하였으며, 점차 수렴하는 양상을 보였다.
다음으로, Fig. 8(b)에서 정확도에 대한 이력을 확인하였을 때, 훈련 및 검증 정확도는 학습이 진행됨에 따라 증가하는 경향을 보였다. 훈련 정확도와 검증 정확도가 유사한
패턴으로 증가하였고, 훈련 정확도가 검증 정확도보다 크지 않아 과적합 없이 모델이 학습된 것을 확인할 수 있다. 기존의 딥러닝 기반 이미지 분류 연구에
비해 상대적으로 적은양의 데이터를 모델 학습에 이용하였음에도 불구하고 과적합이 일어나지 않은 것은 이미지 증강과 전이학습의 효과인 것으로 사료된다.
Fig. 7 Model architecture of the deep learning model for road condition classification
Fig. 8 Learning curves of the deep learning model for road condition classification
Table 1 Hyperparameters to train the deep learning model
|
Hyperparameters
|
Value
|
|
No. of epochs
|
200
|
|
Batch size
|
16
|
|
Learning rate
|
0.001
|
3.3 아스팔트 콘크리트 포장 노면 상태 분류 모델 평가
학습된 딥러닝 모델의 아스팔트 콘크리트 포장 노면 상태 분류 성능을 평가하기 위해 검증 데이터세트에 대한 혼동 행렬(confusion matrix)를
계산하였다(Fig. 9). 혼동 행렬은 각 클래스(건조, 젖음, 블랙아이스, 눈 노면)에 대한 실제 레이블과 학습된 모델의 예측 레이블 간의 관계를 시각적으로 나타내는
도구이다.
Fig. 9에서 각 행은 실제 클래스를 나타내고, 각 열은 학습된 딥러닝 모델이 예측한 클래스를 나타낸다. Fig. 9에서 볼 수 있듯이, 블랙아이스와 눈 노면 클래스에 대해서는 오분류 없이 100 % 정확도로 분류가 가능한 것을 알 수 있다. 건조와 젖음 클래스
사이에서는 약간의 혼동이 발생한 것을 확인할 수 있다. 21개의 건조 상태의 이미지 중 3개의 이미지가 젖음 상태로 잘못 분류 되었고, 35개의 젖음
상태 이미지 중 4개의 이미지가 건조 상태로 오분류 되었다. 이는 이미지 해당하는 7개의 오분류된 이미지의 특성이 실제로 구분이 어려울 정도로 유사하기
때문 인 것으로 판단된다. 하지만, 본 연구에서 주로 관심이 있는 블랙아이스와 눈 노면에 대해서는 100 % 정확도를 달성하여 학습된 모델의 성능이
양호함을 확인하였다.
학습된 딥러닝 모델이 네 개의 아스팔트 콘크리트 포장 노면 상태에 대해 얼마나 효과적으로 분류하는지 정량적으로 평가하기 위해 정밀도(precision),
재현율(recall), 그리고 F1 점수(F1-score)를 계산하여 Table 2에 표시하였다. 먼저, 정밀도는 각 클래스에 대한 예측 중 학습된 딥러닝 모델이 정확하게 맞춘 비율을 나타낸다. 재현율은 실제로 해당 클래스에 속한
이미지 데이터 중에서 모델이 정확하게 예측한 비율을 나타낸다. 높은 재현율은 학습된 모델이 해당 클래스를 놓치지 않고 잘 식별한다는 것을 의미한다.
마지막으로, F1 점수는 정밀도와 재현율의 조화 평균으로, 두 지표 사이의 균형을 나타낸다. F1 점수는 모델이 얼마나 정확한 이미지 분류를 할 수
있는지 종합적으로 평가하는 지표이다.
Table 2에서 확인할 수 있듯이, 본 논문에서 고려하고 있는 네 가지의 클래스(건조, 젖음, 블랙아이스, 눈 노면)에 대해 학습된 모델이 높은 지표들을 보이는
것을 확인할 수 있다. 정밀도, 재현율, F1 점수 세 가지 지표에서 모두 1에 가깝거나 1의 값을 가지는 결과를 얻었고, 이는 학습된 모델의 분류
성능이 높음을 의미한다.
Table 2 Summary of road condition classification results on the validation dataset
|
Class
|
Precision
|
Recall
|
F1-score
|
No. of images
|
|
Dry
|
0.82
|
0.86
|
0.84
|
21
|
|
Wet
|
0.91
|
0.89
|
0.90
|
35
|
|
Ice
|
1.00
|
1.00
|
1.00
|
4
|
|
Snow
|
1.00
|
1.00
|
1.00
|
11
|
3.4 블랙아이스 자동 예방 시스템
본 연구에서는 3장에서 개발된 아스팔트 콘크리트 포장 상태 인식 시스템의 검증을 위해 표면의 상태가 건조, 젖음, 블랙아이스, 눈인 아스팔트 콘크리트
포장체를 제작하였다. 각 표면상태가 다른 포장체를 3장에서 개발된 시스템에 의해 식별된 결과는 Fig. 10과 같다. Fig. 10에서 보는 바와 같이 노면의 상태를 정확히 식별하는 것을 알 수 있었다.
또한, 아스팔트 콘크리트 포장 노면의 상태 이미지 식별 기능의 정확도를 높이기 위해 실제 노면에 온도, 습도 등의 측정 센서를 설치하였다. 아스팔트
콘크리트 표면의 온도를 정확히 측정하는 것은 노면의 상태를 평가하는 데 상당히 중요하다. 이를 위해 본 연구에서는 길이 20 mm, 폭 7.4 mm,
두께 3.8 mm의 매립형 온도센서 PT1000을 이용하여 Fig. 11과 같이 아스팔트 콘크리트 표면에 매립하였다. 또한, 아스팔트 콘크리트 포장 대기의 상대습도를 측정하기 위해 Fig. 11과 같이 박막 콘덴서 센서를 사용하였다.
본 연구에서는 3.3의 이미지 식별에 의해 아스팔트 콘크리트 노면의 상태가 블랙아이스로 식별이 되면, 실제 도로에서 설치된 센서에서 측정된 온도 및
상태습도 결과를 통해 최종 판정을 하게끔 하였다. 즉, 센서에서 측정된 아스팔트 콘크리트 노면의 온도가 2 ℃이하이고, 상대습도가 90 %이상인 경우
블랙아이스로 최종 판정한다(Kim et al., 2011). 또한, 본 연구에서는 Fig. 11에서와 같이 블랙아이스로 최종 판정이 나면, 도로에 설치된 블랙아이스 예방 시스템이 자동으로 작동하게 된다. 도로 옆에 설치된 판넬하우스에 설치된
저장탱크와 펌프에 의해 염수가 자동적으로 노면 표면에 자동 분사하도록 하였다.
Fig. 10 Examples of asphalt concrete pavement condition recognition
Fig. 11 Example of black ice prevention system
4. 결 론
본 연구에서는 아스팔트 콘크리트 노면의 상태를 실시간적으로 식별하기 위해 이미지기반 분석 시스템을 개발하였다. 이를 위해 각 아스팔트 도로 노면 이미지에
대해 데이터 세트를 딥러닝을 활용하여 노면의 상태를 건조, 젖음, 블랙아이스, 눈 노면 상태로 식별하였다. 또한, 노면 상태의 최종판별을 위해 실제
노면에서 측정된 온도와 습도 데이터를 사용하였다. 그리고 아스팔트 콘크리트 포장의 노면 상태가 블랙아이스로 판정이 나면, 도로에 설치된 염수 분사장치가
자동으로 작동하도록 하였다. 이 연구의 주요 결과는 다음과 같다.
(1) 아스팔트 콘크리트 포장의 노면 상태 이미지의 노이즈를 제거하기 위해 이산 웨이블릿 변환을 사용하였다. 즉, 저대역-저대역(LL) 이미지를 이미지
식별 학습에 사용하였다.
(2) 아스팔트 콘크리트 표면의 명암 분포는 각 상태에 따라 다른 분포를 보이는 것으로 확인하였으며, 노면의 상태를 식별하는데 고유한 특징이 될 수
있음을 확인하였다. 이는 아스팔트 콘크리트 포장의 상태를 건조, 젖음, 블랙아이스, 눈으로 분류하는 것이 타당한 것으로 나타났다.
(3) 아스팔트 콘크리트 포장 노면의 상태의 식별을 위해 국내 아스팔트 콘크리트 포장이 시공된 도로를 대상으로 건조, 젖음, 블랙아이스, 눈 노면의
상태의 이미지를 총 352개 취득하였다. 또한, 원본 이미지에 데이터 증식 기법(크기 조정, 이동, 회전, 플립핑 등)을 적용하여 새로운 이미지를
추가 생성하였다.
(4) 구축한 이미지 데이터세트를 활용하여 CNN 기반의 딥러닝 모델을 전이학습을 적용하여 학습 시킨 결과, 특별한 과적합 없이 안정적으로 학습이
이루어지는 것을 확인하였다.
(5) 학습된 딥러닝 모델을 검증용 데이터세트로 성능을 평가한 결과, F1 점수를 기준으로 블랙아이스와 눈 노면 상태에 대해서는 100 % 정확도를
달성한 것을 확인하였다.
(6) 본 연구에서 개발된 아스팔트 콘크리트 포장에 대한 노면 상태의 실시간 식별 시스템과 블랙아이스 자동 예방 시스템은 운전자의 안전운행을 보장하고
교통사고 발생률을 낮출 수 있을 것으로 기대된다.
감사의 글
본 연구는 정부(과학기술정보통신부)의 재원으로 한국연구재단(2020R1A2C2008926)의 지원에 의해 수행되었습니다.
References
Tan, Y., Xiao, S., and Xiong, X. (2021), Review on detection and prediction methods
for pavement skid resistance, Journal of Traffic and Transportation Engineering, 21(4),
32-47.
Kropiwnicki, J. (2019), A unified approach to the analysis of electric energy and
fuel consumption of cars in city traffic, Energy, 182, 1045-57.
Park, G. Y., Lee, S. H., Kim, E. J., and Yun, B. Y. (2017), A Case Study on Meteorological
Analysis of Freezing Rain and Black Ice Formation on the Load at Winter, Journal of
Environmental Science International, 26(7), 827-836.
Ghim, O. P., and Fwa, T. F. (2010), Mechanistic Interpretation of Braking Distance
Specifications and Pavement Friction Requirements, Journal of the Transportation Research
Board, 2155(1), 145-157.
Hong, H. (2014), Analysis of Accident Cause on Icy Road Pavement, Master Thesis, University
of Seoul (in Korean).
Yang, H. J., Jang, H., Jeong, D. S. (2013), Detection Algorithm for Road Surface Condition
Using Wavelet Packet Transform and SVM, In The 19th Korea-Japan Joint Workshop on
Frontiers of Computer Vision, IEEE, 323-326.
Landry, F. -G., and Akhloufi, M. A. (2022), Deep Learning and Computer Vision Techniques
for Estimating Snow Coverage on Roads using Surveillance Cameras, 18th IEEE International
Conference on Advanced Video and Signal Based Surveillance (AVSS), Madrid, Spain,
1-8.
Mats, R., Torbj, G., Jorgen, B., and Per-Erik, J. (2012), Ice Formation Detection
on Road Surfaces using Infrared Thermometry, Cold Regions Science and Technology,
Elsevier, 83-84, 71-76.
Lee, H., Hwang, K., Kang, M., and Song, J. (2020), Black ice detection using CNN for
the Prevention of Accidents in Automated Vehicle, International Conference on Computational
Science and Computational Intelligence (CSCI), Las Vegas, NV, USA, 2020, 1189-1192.
Li, Q., Ji, Y. W., and Wang, Z. P. (2017), Design of Road Icing Detection System Based
on OpenCV+Python, Journal of Shaanxi University of Science & Technology(Natural Science
Edition), 35(2), 158-164.
Ma, X., and Ruan, C. (2020), Method for Black Ice Detection on Roads using Tri-wavelength
Backscattering Measurements, Journal of Applied Optics, 59(24), 7242-7246.
Jonsson, P.. (2011), Remote sensor for winter road surface status detection, SENSORS,
2011 IEEE, Limerick, Ireland. 1285-1288.
Tabatabai, H., and Aljuboori, M. (2017), A Novel Concrete-Based Sensor for Detection
of Ice and Water on Roads and Bridges, Journal of Sensors, 17(12), 1-23.
Li, P., Li, J., and Wang, G. C. (2018), Application of convolutional neural network
in natural language processing, 15th International Computer Conference on Wavelet
Active Media Technology and Information Processing (ICCWAMTIP), Chengdu, China, 120-122.
Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2017), ImageNet classification with
deep convolutional neural networks, Communications of the ACM, 60(6), 84-90.
Pan, S. J., and Yang, Q. A. (2010), A Survey on transfer learning, IEEE Transactions
on knowledge and data engineering, 22(10), 1345-1359.
Mao, Y. H., He, Z. Z., and Ma, Z. (2020), Infrared Target Classification with Reconstruction
Transfer Learning, Journal of University of Electronic Science and Technology of China,
49(4), 609-614.
Kim, I. S., Bae, I. C., Rhee, J., Jang, H. I., Kim, K. (2011), Pavement Management
Strategy for Traffic Safety in Winter Season (Subtitle : A Study on the forecast of
Freezing Rain on Roads), Korea Expressway Corporation, Expressway & Transportation
Research Institute Report, No. EXTRI-2016-55-534.9607, 12-14 (in Korean).