심승보
(Seungbo Shim)
1†
민지영
(Jiyoung Min)
2
-
정회원,한국건설기술연구원 지반연구본부 수석연구원
-
정회원,한국건설기술연구원 구조연구본부 수석연구원
Copyright © The Korea Institute for Structural Maintenance and Inspection
키워드
딥러닝, 계층적 학습, 의미론적 분할, 다중 분류, 콘크리트 손상
Key words
Deep learning, Hierarchical learning, Semantic segmentation, Multi classification, Concrete damage
1. 서 론
국내 인프라 구조물 중 상당수는 1970년대 이후 집중적으로 건설되었으며 그동안 높은 품질의 인프라 서비스를 제공하며 경제 성장에 기여하였다. 하지만
시간이 경과함에 따라 노후화가 진행되고 성능이 저하됨에 따라 선제적인 점검 및 유지관리가 필요한 상황이다. 준공 후 30년이 경과된 교량은 2019년
12월 기준으로 4,500개소이며, 이러한 추세는 가속화되어 20년 뒤에는 공용연수 30년 이상 노후 교량의 수가 27,000개에 이를 것으로 예상된다(Jung et al., 2021). 이러한 경향은 일본에서도 유사하게 나타난다. 일본의 경우 2023년에 공용연수 50년 이상인 교량의 비율이 약 43%, 터널과 하천 관리 시설의
비율이 각각 34%와 43%가 된다(MLIT, 2013). 미국의 경우 2017년 ASCE에서 발간한 인프라 구조물 리포트 카드에 의하면 전체 614,387개의 교량 중 40%가 공용연수 50년 이상인
구조물에 해당한다(Kim and Cho, 2019).
이처럼 노후화된 구조물의 비율이 점차 증가하면서 인프라 구조물의 안전사고에 대한 우려가 높아지고 있다. 예를 들어, 미국에서는 2007년 미네소타주
I-35W 미시시피강 교량(No. 9340)의 붕괴사고로 13명이 사망, 145명이 부상을 입었다. 일본에서는 2012년에 사사고 터널에서 내부 풍도
공간을 위한 상부 슬래브가 붕괴되는 사고가 발생하여 32명의 인명피해가 발생하였다(Kawahara et al., 2014). 국민의 안전을 확보하고 사고를 사전에 예방하기 위해서는 선제적인 점검 및 유지관리가 필요하며, 이를 위해서는 주기적이고 객관적인 진단 및 평가가
동반되어야 한다.
이를 위하여 최근 컴퓨터 비전과 딥러닝을 활용한 점검 기술에 관한 연구가 활발하게 이뤄지고 있다(Spencer et al., 2019). 컴퓨터 비전은 높은 해상도의 카메라를 사용하므로 0.1mm 수준의 미세한 균열까지 촬영할 수 있다는 장점이 있다. 딥러닝 알고리즘은 촬영 영상
내에서 균열의 형상 및 위치 등의 정보를 매우 높은 정확도로 탐지할 수 있다. 하지만 딥러닝을 이용한 균열 탐지 알고리즘은 심층 신경망의 구조에 따라
그 성능이 달라진다. 즉, 동일한 학습 데이터를 사용하더라도 신경망의 구조에 따라 탐지 결과는 달라진다. 따라서 여러 신경망 구조들 가운데 콘크리트
손상을 정확히 탐지할 수 있는 신경망에 대한 고찰이 필요하다. 본 논문에서는 이러한 점을 고려하여 콘크리트 표면에서 발생할 수 있는 다양한 손상을
정확히 탐지할 수 있는 신경망 구조에 대하여 연구를 수행하였다.
2. 문헌조사
영상에서 대상을 인식하는 알고리즘은 크게 두 가지로 구분할 수 있다. 손상의 포함 여부, 즉 손상유무를 판단하는 분류 알고리즘과 손상의 영역을 화소
단위로 추출하는 분할 알고리즘이다(Shim et al., 2022). 이들 가운데서 분할 알고리즘은 미세한 균열까지 추출할 수 있다는 장점이 있어 구조물 손상 탐지 분야에서 널리 활용되고 있다. 물론 딥러닝 분야에서는
손상 위치를 사각형 형태로 결정하는 객체 인식 방법도 있다. 하지만 이 같은 방법은 사각형 내부에 손상 영역 외에 정상 영역까지 포함되어 효율적이지
못하다(Shim and Jeong, 2021). 이러한 이유로 손상 탐지에 있어서 분할 알고리즘 형태의 심층 신경망 구조를 주로 사용한다.
이러한 신경망 구조의 대표적인 예는 자기부호화기가 있다. Feng et al.(2020)은 콘크리트 댐에 발생하는 균열을 탐지하기 위하여 암호화기와 복호화기 형태의 신경망을 사용했다. 드론에 카메라를 장착하여 손상 영상을 수집한 다음,
이를 바탕으로 79.16%의 F1-measure를 갖는 알고리즘을 제안했다. Jenkins et al.(2018) 역시 자기부호화기 형태의 신경망 구조를 사용하였고, 80장의 균열 영상으로 학습한 모델을 20장의 균열 영상에 적용하여 성능을 검증하였다. Zhang et al. (2021)은 U-Net 구조를 사용하여 균열을 탐지하는 신경망을 제안하였다. 그 결과 CrackUnet을 개발하였으며 90%가 넘는 탐지 성능을 보였다.
이에 반해 더욱 발전된 구조를 제안하여 균열을 탐지하는 신경망도 있다. Ai et al.(2018)는 균열을 탐지하기 위해 해당 화소의 인접 정보뿐만 아니라 피라미드 구조의 인접 정보까지 고려했다. 또한, 확률 지도와 인지 영역을 넓히는 합성곱
연산을 융합하여 탐지 성능을 향상시켰다. Liu et al.(2019)는 계층적인 신경망 구조를 사용하여 균열을 탐지하는 알고리즘을 개발하였다. Shim et al.(2020)은 이것을 더 발전시켜 계층적 신경망 구조와 경량화 자기부호화기를 융합하여 탐지 성능을 향상시키는 방법을 제안하였다.
지금까지 살펴본 연구 동향처럼 영상 내에서 균열을 탐지하기 위해 다양한 형태의 신경망 구조에 대한 연구가 수행되고 있다. 본 논문에서는 이 같은 점을
고려하여 계층적 학습을 이용한 균열 탐지 신경망에 관해 살펴보고자 한다. 아울러 본 논문에서는 탐지하고자 하는 손상의 종류를 세 가지로 구분하고,
이 학습 기법이 여러 종류의 손상을 탐지하는 성능에 미치는 영향을 분석한다. 마지막으로 향후 구조물 점검 및 유지관리 분야에서의 신경망 구조 활용
방안에 관해 기술하고자 한다.
3. 다중 손상 탐지를 위한 신경망 구조
3.1 영상 데이터의 구성
콘크리트 구조물 표면에서 발생하는 손상의 유형은 다양하다. 국토교통부 「시설물의 안전 및 유지관리 실시 등에 관한 지침」에서는 14종 시설물에 대하여
조사, 점검, 평가 방법을 제시하고 있다. 콘크리트 구조물의 경우 시설물 유형이 다르더라도 공통적으로 균열, 누수, 박리, 박락, 층분리, 백태,
철근 노출 등을 점검한다. 또한 터널의 경우, 균열 및 누수, 파손, 철근 노출을 포함한 열화를 주로 점검한다.
Zhang et al.(2020)은 콘크리트 표면 손상을 균열(crack), 박락(spalling), 박리(pop-out), 철근 노출(exposed rebar)로 구분하여 손상
탐지 알고리즘을 제안하였으며, Li et al.(2019)은 콘크리트 백태(efflorescence)까지 포함하여 손상 탐지 알고리즘을 제안하였다. 본 논문에서는 손상의 종류를 Fig. 1과 같이 균열, 박락, 철근 노출의 세 가지로 정의하고, 이를 탐지하는 알고리즘을 제안하였다. Fig. 1에서 (a), (b), (c)의 첫 번째 행은 각각 균열, 박락, 철근 노출 영상이다. 아울러 두 번째 행은 손상의 영역을 표시한 라벨 영상이다.
손상 영상은 자체적으로 확보한 영상과 Shim et al.(2020)에서 사용한 영상으로 구성되어 있다. 이러한 손상 영상의 수는 총 2,534장이며, 라벨 영상의 수 역시 동일하다. 영상의 크기는 512×512로
일관되게 균일화하였다. 확보한 영상을 이용하여 알고리즘을 개발하기 위하여 데이터 세트를 구분하였다. 2,026장은 학습용으로, 508장은 실험용으로
사용하였다.
Fig. 1 Concrete damage Images: (a) crack, (b) spalling (c) spalling and rebar
3.2 계층적 학습 기반 신경망 구조
본 논문에서는 콘크리트 구조물에서 발생하는 손상을 탐지하기 위하여 Fig. 2와 같은 새로운 신경망 구조를 제안하였다. Gao(2021)이 제안한 것에서 영향을 받은 이 구조는 합성곱 연산 방식이 갖는 field of view를 넓히는 데에 무게를 두었다. 제안하는 구조는 크기가 줄어드는
암호화 단계와 크기를 키우는 복호화 단계로 구분된다. 암호화 단계는 입력 영상에서부터 feature 지도를 생성하는 과정으로 크기(s)가 1/4,
1/8, 1/16로 줄어든다. 복호화 단계는 feature 지도로부터 손상 영역의 위치를 결정하는 과정이다. 본 논문에서는 이러한 구조를 발전시켜
여러 feature 지도로부터 손상 탐지 결과를 결정할 수 있도록 하였으며, 이를 위해서 Up-Bottle 블록을 제안했다.
이 블록은 다섯 가지의 연산 과정을 거치는데, 모두 3회 적용하였다. Gao(2021)의 신경망 구조에서 암호화 단계는 입력의 크기가 1/16, 1/8, 그리고 1/4인 feature 지도를 생성한다. 각각의 feature 지도에 Up-Bottle
블록의 (1), (2), 그리고 (3)를 연결하였다. Up-Bottle 블록의 up-sample 연산은 feature 지도의 크기가 512×512가
되도록 스케일 요소를 설정하였다. 다음으로 첫 번째 합성곱 연산은 kernel, stride, padding을 각각 (3, 3), 1, 1로 설정하여
입력 feature 지도의 크기 변화가 없도록 하였다. 하지만 채널의 수는 입력채널의 수를 절반으로 줄이도록 하였다. 다음으로 배치 정규화 연산과
LeakyReLU 연산을 거쳐 두 번째 합성곱 연산이 연결되도록 하였다. 이 또한 첫 번째 연산과 동일한 파라미터를 갖는다. 하지만 최종 출력이 네
가지의 손상의 종류를 구분해야하기 때문에 채널은 4로 설정하였다. 이러한 과정을 예를 들어 설명하면 Up-Bottle 블록(2)의 경우 입력이 [128×64×64]가
된다. 이 feature 지도가 up-sample을 거쳐 [128×512×512]가 되고 첫 번째 합성곱 연산을 통과하면 [64×512×512]가
된다. 다음으로 배치 정규와 LeakyReLU를 형태의 변화가 없이 지나게 된다. 두 번째 합성곱 연산을 통과하면서 최종 출력 형태인 [4×512×512]가
된다. 이렇게 각각의 Up-Bottle 블록의 출력을 Suboutput으로 간주하면 총 4개의 Suboutput을 얻는다. 각각의 Suboutput에
최종적으로 Softmax를 연결하여 화소 값을 0에서 1의 값으로 정규화하였고 이들의 평균을 취하며 최종 탐지 결과를 얻었다.
이 같은 구조에서 각각의 계층으로부터 추출되는 feature 지도는 서로 다른 결과를 생성할 수 있다(Shim et al., 2021). 이러한 점을 고려하여 깊게 암호화된 feature 지도로부터 탐지 결과를 얻고, 여러 단계를 거쳐 복원된 feature 지도로부터도 탐지 결과를
추출했다. 이 같은 계층적 학습 방법을 통해 하나의 신경망으로부터 여러 개의 feature 지도를 얻을 수 있으며, 이는 복잡한 문제를 감당할 수
있도록 신경망의 역량을 향상시키는 기능을 하게 된다.
Fig. 2 Concrete damage detection network architecture (PropNet)
4. 실험 결과 및 논의
4.1 평가 지표
콘크리트 구조물의 손상 탐지 성능을 평가하기 위하여 두 가지의 평가 지표를 사용하였다. 첫 번째는 탐지 영역의 중첩 정확도(Intersection
over Union, IoU)를 이용한 평가이며, 딥러닝 알고리즘에 의해 탐지된 영역과 라벨 영역을 비교하는 것이다. 본 논문에서 제안한 신경망 구조는
배경(무손상), 균열, 박락, 철근 노출을 탐지하는 것을 목표로 하므로 각 종류별로 IoU 성능을 비교하였다. Eq. (1)은 IoU를 계산하는 식이며, nij는 class j에 속해 있을 것으로 예측된 class i의 모든 화소 수를 나타내고, ti는 class i에
속해 있는 모든 화소 수를 나타낸다. 본 논문에서는 무손상을 포함한 4종 손상을 탐지하므로 class는 0, 1, 2, 3으로 표현된다. 아울러 각
종류별 중첩 정확도의 평균인 mean Intersection over Union (m-IoU)을 계산하여 전반적인 탐지 성능을 비교하였다. 두 번째는
화소 단위로 탐지 정확도를 평가하는 지표이며, 정밀도(Precision, Pr)와 재현율(Recall, Re), 그리고 이들의 조화평균인 F1 score
(F1)를 이용하여 탐지 성능을 평가하는 것이다. Eq. (2)는 정밀도와 재현율을 통해 F1을 계산하는 식이다.
4.2 학습 환경
콘크리트 표면에서 발생하는 다양한 손상을 탐지하는 딥러닝 알고리즘을 개발하는 실험을 수행하기 위해서 사용한 하드웨어의 사양은 AMD Ryzen Threaddripper
PRO 3955WX 3.9GHz의 프로세서, 128GB의 메모리 그리고 NVIDIA RTX A6000이다. 소프트웨어는 윈도우 10을 운영체제로 사용했고
Pytorch를 딥러닝 라이브러리로 사용했다. 학습을 위해 사용한 전체 에포크의 수는 500번이다. 본 논문에서 사용한 최적화 함수는 모두 Adam을
사용했다. Adam을 사용할 때 필요한 파라미터는 learning rate, beta-1, 그리고 beta-2로 각각 0.001, 0.9, 그리고
0.999로 설정했다. 매 10회의 에포크마다 모델을 저장하였고 이들 가운데 가장 높은 성능을 갖는 모델을 선정하여 비교하였다.
4.3 성능 평가
본 논문에서 PropNet을 이용하여 수행한 학습 과정은 Fig. 3과 같이 진행되었다. 총 500회의 에포크에 따른 훈련 손실 함수 값은 비교적 정상적으로 수렴되는 것을 확인하였다. 또한, 매 10회의 에포크마다
저장된 모델을 실험용 데이터에 적용하여 성능을 측정하였다. 그 결과 에포크가 100회 이후부터는 m-IoU와 F1의 성능 변화가 없이 일정하게 유지되는
것으로 드러났다. 이러한 경향으로 고려했을 때 학습은 정상적으로 진행된 것으로 볼 수 있다.
본 논문에서 제안한 신경망 모델의 손상 탐지 성능을 비교 평가하기 위하여 기존 문헌에서 제안된 대표적인 네 가지 모델인 DDRNet (Hong et al., 2021), U-Net (Ronneberger et al., 2015), PIDNet (Xu et al., 2022), RegSeg (Gao, 2021)을 대조군으로 사용하였다. 각 모델을 대상으로 동일한 영상 데이터와 조건으로 학습을 수행하였고, 동일한 실험용 데이터로 성능을 평가하였다.
손상 탐지 성능 평가 결과는 Table 1과 같다. 대조군 모델 4종 중에서 RegSeg의 평균 성능이 가장 높게 나타났다. RegSeg의 손상 종류별 IoU 성능을 살펴보면 배경(무손상),
균열, 박락, 철근 노출은 각각 96.98%, 69.42%, 40.76%, 56.26%였으며, m-IoU와 F1은 각각 65.86%와 52.32%였다.
반면, 본 논문에서 제안한 모델(PropNet)을 적용할 경우, 전반적으로 손상 탐지 성능이 향상됨을 알 수 있었다. 기존 RegSeg와 IoU 값을
비교해보면, 배경(무손상), 균열, 박락, 철근 노출에 대한 탐지 성능이 각각 0.1%, 2.31%, 0.04%, 2.28%만큼 증가하였으며, m-IoU와
F1은 각각 67.04%와 52.65%로 높아졌다. 결과적으로 본 논문에서 제안한 모델은 기존 모델 중 가장 성능이 높았던 RegSeg 모델과 비교하였을
때 m-IoU와 F1이 각각 1.18%와 0.33%만큼씩 향상되었다.
박락 손상에 대한 탐지 성능은 PIDNet 모델을 사용했을 때가 가장 높은 것으로 나타났다. 손상의 특성을 본다면 박락은 균열과 철근 노출에 비해
넓은 면적을 차지한다. 따라서 탐지 면적과 실제 손상 면적의 중첩도를 계산할 경우 모델 간의 탐지 성능의 편차는 크게 나타날 수 있다. 또한 컴퓨터
비전을 이용하여 콘크리트 손상 점검 기술을 연구하는 이유는 큰 손상이 아니라 작은 손상에 대한 탐지 정확도가 높기 때문이다. 따라서 넓은 영역을 차지하는
박락의 탐지 성능보다 좁은 영역을 차지하는 균열 또는 철근 노출의 탐지 성능에 평가의 무게를 두는 것이 필요하다. 실제로 PIDNet의 박락 IoU가
PropNet의 박락 IoU보다 0.33%보다 높다. 하지만, 균열은 손상 면적이 더 좁음에도 불구하고 IoU는 PIDNet이 1.11%만큼 낮다.
이런 점을 고려했을 때, PropNet이 더 우수한 모델이라 볼 수 있다.
다음으로 각 신경망 모델이 손상을 탐지함에 있어서 필요한 연산 시간을 비교하였다. 실험용 영상을 탐지하는데 소요되는 평균적인 연산 시간은 Table 2와 같다. 실험 결과에 따르면 PropNet은 62.37ms로 가장 긴 소요 시간이 필요하다. 이에 반해 PIDNet를 사용했을 때 평균적인 연산
시간은 23.55ms로 가장 짧다. PropNet의 소요 시간이 긴 이유는 다른 모델과 달리 4개의 Suboutput을 추출하기 때문으로 볼 수 있다.
하나의 탐지 결과만 생성하는 다른 모델과 달리 정확도 향상을 위해 4개의 탐지 결과를 생성하는 PropNet이 갖는 더 많은 컴퓨팅 리소스가 필요하다.
이와 같은 연산 시간은 손상 점검의 조사 시간과 연관된다. 연산 시간이 짧을수록 빠른 점검이 가능하다. 하지만 손상의 점검에 있어 가장 중요한 점은
정확한 진단에 따른 보수의 우선 순위를 결정하는 것이다. 따라서 과도한 소요 시간이 필요하지 않은 선에서 정확도에 무게를 둔 알고리즘 개발이 필요하다.
Fig. 3 Learning curve along with epoch
Table 1 Performance evaluation results [%] (Best scores are highlighted in bold)
|
Model
|
IoU
|
F1
|
|
Back
ground
|
Crack
|
Spalling
|
Rebar
|
Mean
|
|
DDRNet
|
95.69
|
65.24
|
28.70
|
32.85
|
55.62
|
47.81
|
|
U-Net
|
96.43
|
70.09
|
36.24
|
48.84
|
62.90
|
50.79
|
|
PIDNet
|
96.41
|
70.02
|
41.13
|
44.77
|
63.08
|
50.79
|
|
RegSeg
|
96.98
|
69.42
|
40.76
|
56.26
|
65.86
|
52.32
|
|
PropNet
|
97.08
|
71.73
|
40.80
|
58.54
|
67.04
|
52.65
|
Table 2 Average elapsed time [ms]
|
Model
|
Elapsed time
|
|
DDRNet
|
23.75
|
|
U-Net
|
30.66
|
|
PIDNet
|
23.55
|
|
RegSeg
|
36.01
|
|
PropNet
|
62.37
|
4.4 인식 결과 비교·분석
딥러닝 모델을 통하여 콘크리트에서 발생한 손상을 탐지한 결과의 예시를 Fig. 4에 나타내었다. (a)와 (b)열은 각각 손상 영상 원본과 라벨 영상이다. 나머지 두 열은 이 손상 영상을 입력으로 했을 때 각 모델을 통하여 탐지된
결과 영상이다. 여기에서는 대조군 모델 가운데 가장 성능이 높았던 RegSeg와 본 논문에서 제안한 PropNet의 손상 탐지 결과 영상을 비교하였다.
아울러 신경망 모델을 통해 탐지된 균열, 박락, 철근 노출의 영역을 각각 다른 색으로 표시하여 구분할 수 있도록 하였다. 첫 번째 행은 균열에 대한
탐지 결과로 PropNet의 결과가 RegSeg의 결과보다 정밀하게 탐지하는 것을 알 수 있다. 두 번째 행은 박락에 대한 탐지 결과로서 PropNet이
원본 영상과 유사하게 탐지하였으며, RegSeg는 박락을 전혀 탐지하지 못하였다. 박락의 경우 콘크리트가 떨어져나감에 의한 음영 차이, 페이스트 탈락
이후 노출된 굵은 골재 등으로 인하여 배경(무손상) 영역과의 경계면에서 오탐지율이 높게 나타났다. 세 번째와 네 번째 행은 박락과 철근 노출이 동시에
존재하는 손상에 대한 탐지 결과이다. RegSeg의 경우 박락 및 철근 노출에 대한 탐지 성능이 이 PropNet에 비하여 낮게 나타났으며, PropNet에
비하여 상대적으로 영상 음영의 차이에 민감한 결과를 보여주었다.
Fig. 4 Result Images: (a) Input images, (b) Label images, (c) RegSeg, (d) PropNet
5. 결 론
신경망 구조에 따라 손상 탐지의 성능에 차이가 발생하므로, 콘크리트에 발생한 손상의 탐지에 적합한 신경망 구조를 발굴하고 최적의 신경망을 설계하여야
한다. 이를 위하여 본 논문에서는 콘크리트에서 발생하는 손상의 종류를 균열, 박락, 철근 노출의 3종으로 구분하고, 이들을 탐지하고 구분할 수 있는
신경망 구조를 제안하였다. 기존 문헌에서 제시된 네 가지의 신경망 모델을 대조군으로 설정하였고, 제안한 신경망 구조의 성능을 비교·평가하였다. 본
논문에서 개발한 모델은 대조군 모델보다 정확하게 배경(무손상)을 포함한 4종 손상을 탐지할 수 있었으며, 67.04% m-IoU와 52.65% F1의
탐지 성능을 보여주었다. 특히, 균열 손상에 대하여 기존 모델 대비 정밀한 화소 단위 탐지가 가능하였다. 박락 및 복합 손상의 경우, 기존 모델 대비
페이스트 탈락, 골재 노출 등에 의한 음영의 차이를 어느 정도 극복함으로써 무손상과의 경계면에서 탐지 성능이 향상됨을 확인하였다. 제안 알고리즘은
터널 내 콘크리트에서 발생하는 균열, 박락 등 다종 손상을 정밀하게 탐지하여 평가함으로써 상태 조사 및 점검에 활용될 수 있을 것으로 기대한다.
후속 연구로는, 탐지된 결과를 바탕으로 손상 종류 별로 크기를 측정하여 정량화할 수 있는 방법을 다루고자 한다. 노후 인프라 구조물의 상태를 정확하게
평가하고 관리하기 위해서는 최종적으로 손상의 크기를 측정하여 정량화할 수 있어야 한다. 특히 균열의 경우, 균열 폭에 대한 정보가 상태평가에 있어
매우 중요하다. 따라서 컴퓨터 비전 및 딥러닝을 활용하여 손상의 크기를 정확히 측정할 수 있는 기술을 개발하고, 이를 바탕으로 자동화 점검·평가 시스템을
구축함으로써, 구조물을 안전하게 관리할 수 있는 일련의 프로세스를 구축하고자 한다.
감사의 글
본 논문은 2021년 해양수산부 재원으로 해양수산과학기술진흥원(과제번호 20210659)의 지원을 받아 수행되었으며, 이에 감사드립니다.
References
Ai, D., Jiang, G., Kei, L. S., and Li, C. (2018), Automatic pixel-level pavement crack
detection using information of multi-scale neighborhoods, IEEE Access, IEEE., 6, 24452-24463.
Feng, C., Zhang, H., Wang, H., Wang, S., and Li, Y. (2020), Automatic pixel-level
crack detection on dam surface using deep convolutional network, Sensors, MDPI, 20(7),
2069.
Gao, R. (2021), Rethink dilated convolution for real-time semantic segmentation, arXiv:2111.09957.
[Online]. Available: https://arxiv.org/abs/2111.09957
Hong, Y., Pan, H., Sun, W., and Jia, Y. (2021), Deep dual-resolution networks for
real-time and accurate semantic segmentation of road scenes, arXiv:2101.06085. [Online].
Available: https://arxiv.org/abs/2101.06085
Jenkins, M. D., Carr, T. A., Iglesias, M. I., Buggy, T., and Morison, G. (2018), A
deep convolutional neural network for semantic pixel-wise segmentation of road and
pavement surface cracks, Proceeding European signal processing conference, IEEE.,
Rome, Italy, 2120-2124.
Jung, H. J., An, H. J., Park, K. T., Jung, K. S., Kim, Y. H., and Lee, J. H. (2021),
Correlation Analysis between Damage of Expansion Joints and Response of Deck in RC
Slab Bridges, Journal of the Korea Institute for Structural Maintenance and Inspection,
25(6), 245-253.
Kawahara, S., Shirato, M., Kajifusa, N., and Kutsukake, T. (2014), Investigation of
the tunnel ceiling collapse in the central expressway in Japan, Proceeding Transportation
Research Board 93rd Annual Meeting, Washington, D.C., USA, 14, 2559.
Kim, B., and Cho, S. (2019), Image‐based concrete crack assessment using mask and
region‐based convolutional neural network, Structural Control and Health Monitoring,
Wiley, 26(8), e2381.
Li, S., Zhao, X., and Zhou, G. (2019), Automatic pixel-level multiple damage detection
of concrete structure using fully convolutional network, Computer-Aided Civil and
Infrastructure Engineering, Wiley, 34(7), 616-634.
Liu, Y., Yao, J., Lu, X., Xie, R., and Li, L. (2019), DeepCrack: A deep hierarchical
feature learning architecture for crack segmentation, Neurocomputing, Elsevier, 338,
139-153.
Long, J., Shelhamer, E., and Darrell, T. (2015), Fully convolutional networks for
semantic segmentation, Proceedings of the IEEE conference on computer vision and pattern
recognition, Boston, MA, USA, pp. 3431-3440.
Ministry of Land, Infrastructure, Transportation, and Tourism. (2013), White paper
on land, infrastructure, transportation, and tourism in Japan, 2013.
Ronneberger, O., Fischer, P., and Brox, T. (2015), U-net: Convolutional networks for
biomedical image segmentation, Proceeding International Conference on Medical image
computing and computer-assisted intervention, Munich, Germany, 234-241.
Shim, S., and Jeong, J.-J. (2021), Detection Algorithm of Road Damage and Obstacle
Based on Joint Deep Learning for Driving Safety, The Journal of The Korea Institute
of Intelligent Transport Systems, 20(2), 95-111.
Shim, S., Kim, J., Cho, G. C., and Lee, S. W. (2020), Multiscale and adversarial learning-based
semi-supervised semantic segmentation approach for crack detection in concrete structures,
IEEE Access, IEEE., 8, 170939-170950.
Shim, S., Kim, J., Cho, G. C., and Lee, S. W. (2022), Stereo- vision-based 3D concrete
crack detection using adversarial learning with balanced ensemble discriminator networks,
Structural Health Monitoring, SAGE Publication, p. 14759217221097868.
Shim, S., Kim, J., Lee, S. W., and Cho, G. C. (2021), Road surface damage detection
based on hierarchical architecture using lightweight auto-encoder network, Automation
in Construction, 130, 103833.
Spencer Jr, B. F., Hoskere, V., and Narazaki, Y. (2019), Advances in computer vision-based
civil infrastructure inspection and monitoring, Engineering, Elsevier, 5(2), 199-222.
Witcher, T. R. (2017), From disaster to prevention: The silver bridge, Civil Engineering
Magazine Archive, ASCE., 87(11), 44-47.
Xu, J., Xiong, Z., and Bhattacharyya, S. P. (2022), PIDNet: A Real-time Semantic Segmentation
Network Inspired from PID Controller, arXiv:2206.02066. [Online]. Available: https://arxiv.org/abs/2206.02066
Zhang, C., Chang, C. C., and Jamshidi, M. (2020), Concrete bridge surface damage detection
using a single‐stage detector, Computer-Aided Civil and Infrastructure Engineering,
Wiley, 35(4), 389-409.
Zhang, L., Shen, J., and Zhu, B. (2021), A research on an improved Unet-based concrete
crack detection algorithm, Structural Health Monitoring, SAGE Publication, 20(4),
1864-1879.