2.1 하중에 따른 차량 하중 분류표 개발

국토해양부 차종분류가이드^{(MOLIT, 2008)}에 따르면, 국내에서는 교통량조사를 위해 차량을 12종으로 분류한다. 12종은 크게 승용차, 승합차, 화물차, 풀트레일러, 세미트레일러로 분류되며, 승용차는 1종, 승합차는 2종, 화물차와 풀트레일러, 세미트레일러는 차량 형식, 적재량 및 윤축을 기준으로 3종부터 12종에 해당한다. 그러나 본 연구에서는 CCTV를 이용하여 촬영된 외관 영상으로부터 차량의 근사하중을 추정하여야 하므로, 이와 같이 교통량조사를 위해 개발된 12종 분류를 그대로 활용하기에는 어려움이 있다.

본 제안 기법은 영상 속 차량의 외관만을 이용하여 하중을 추정하는 데 목적을 두고 있지만, 차량 내 탑승자 및 적재물품을 모른 상태로 외관만으로 하중을 정확하게 추정하기는 불가능하다. 따라서 본 연구에서는 국내에 주행하는 주요 차량을 조사하고, 이들을 외관 및 하중 분포에 따라서 7종으로 분류하는 하중 기반 차종 분류표를 제안하였다.

우선 국내에 보급되어 있는 주요 차량 60여가지 차종에 대한 하중을 조사하였다(부록 Table A 참고).위 하중 조사 결과를 기반으로, Table 1과 같이 (1) 경차(Compact Car: C.C), (2) 승용차&다마스(Passenger Car: P.C), (3) SUV&승합차(SUV), (4) 버스(Bus), (5) 소형 트럭(Small Truck: S.T), (6) 중형 트럭(Medium Truck: M.T), (7) 대형 트럭(Large Truck: L.T)의 7차종으로 분류하였다. 각각의 차종은 평균 공차중량과 적재하중에서 차이를 보인다. 예를 들어 C.C, P.C, SUV, Bus의 경우 주로 사람을 운송하는 반면, 트럭의 경우 화물을 운송한다. 이와 같은 경우를 고려하여, 차량의 순수한 무게인 공차중량에 추가하중을 고려하여 각 차종의 평균하중을 계산하였다. 차량에 탑승하는 사람은 평균 몸무게가 65kg^{(KOTI, 2013)}인 성인으로 가정한다. 추가하중 계산 시 C.C, P.C, SUV의 경우 성인 2인의 탑승을, BUS의 경우 성인 20인 탑승을 가정하였다. S.T, M.T, L.T은 각각의 최대적재중량^{(ME, 2021)}의 1/2인 750kg, 3,950kg, 7,200kg을 추가하중으로 산정하였다.

2.2 딥러닝 모델 학습데이터 제작

제안 방법의 1단계는 위의 차량 하중 분류표를 기반으로 딥러닝 모델 학습에 필요한 학습데이터를 제작하는 과정이다. 학습데이터로 사용되는 차량 이미지는 서울지방경찰청 종합교통정보센터에서 제공하는 CCTV 영상에서 추출하였다. 본 연구에서는 화질, 촬영각도, 주행 차종의 다양성을 고려하여 서울시의 B, C, D, E, F 총 5곳에 설치된 CCTV 영상을 활용하였다. 영상 중 차량이 많을 때의 사진을 캡쳐하여 Table 2와 같이 학습데이터 구축을 위한 이미지를 총 1,755장 획득하였다.

Matlab에서 제공하는 Image Labeler^{(MATLAB&Simulink, 2023)}를 사용하여 학습데이터를 라벨링하였다. Fig. 2는 Image Labeler를 이용하여 라벨링한 학습데이터의 예시로서, 육안으로 차종이 구분되는 부분을 차량 탐지 영역으로 설정하여 7차종 분류표에 따라 라벨링을 수행하였다. 그에 따라 총 4,914개(Table 3의 두번째 열 참조)의 차량 객체를 라벨링하였다.

Fig. 2 Example of labeling vehicles

Fig. 3 Image augmentation

추가적으로 학습데이터 수에서 나타나는 차종 간의 균형을 맞추기 위해 상대적으로 라벨링 개수가 적은 트럭을 대상으로 학습 이미지 증강(Image Augmentation)을 수행하였다. 학습 이미지 증강은, 이미지 처리(Image Processing)를 회전, 반전, 밝기 조절 등의 이용하여 학습 데이터 수와 데이터셋의 다양성을 효율적으로 확보하는 방법이다. 본 연구의 학습 이미지 증강은 Fig. 3과 같이 한국상용트럭 DB(KCT, 2021)의 상용트럭 사진과 기존의 CCTV 영상에서 수집한 트럭 사진을 빈 도로 사진 700장에 합성하는 방식으로 이루어졌다. 증강된 객체는 소형 트럭(S.T) 1,648개, 중형 트럭(M.T)은 605개, 대형 트럭(L.T) 525개로, 총 2,778개의 추가 객체를 증강하였다(Table 3의 세번째 열 참조). 학습 이미지 증강에 사용된 빈 도로 이미지는 5개의 CCTV에서 차량이 없는 경우를 이용하였다. 이와 같이 라벨링을 수행하여 Table 3과 같이 총 7,692개의 도로상의 차량 객체를 라벨링하여 학습데이터를 구축하였다.

2.3 딥러닝 모델 학습 및 세부사항

2.2절에서 구축한 차량 학습 데이터를 이용하여 물체 탐지(Object Detection) 모델 중 하나인 Faster R-CNN을 차량 탐지용으로 학습시켰다. Faster R-CNN은 Fig. 4와 같이 Region Proposal Network(RPN) 및 Classification Layer를 이용하여 이미지에서 물체의 위치를 탐지하고 종류를 분류하는 딥러닝 모델이다. RPN은 배경과 탐지하고자 하는 물체가 존재하는 영역을 구분하는 이진 분류를 수행한다. RoI(Region of Interest) Pooling을 사용하여 RPN에 의하여 물체가 있다고 판단된 영역에서 특징 지도(Feature Map)을 추출하고, 추출된 특징 지도에 근거하여 물체의 종류를 판단하고 물체의 위치를 보정한다. 보정한 정보를 Classification Layer에 적용하여 물체의 종류를 파악한다. 이때, 사전에 정의한 크기(scale)와 가로세로비(aspect ratio)를 갖는 Anchor Box를 사용하게 되는데, 본 연구에서는 원문에서 제시한 기본적인 Scale(128, 256, 512)과 가로세로비(1:1, 1:2, 2:1)를 사용하였다.

Fig. 4 Structure of Faster R-CNN(Redrawn from Shaoqing et al., 2017)

Fig. 5 Accuracy graph in training

학습에 사용된 컴퓨터는 Intel i5-7400 CPU, NVIDIA RTX 2080Ti 11GB 1개, 16GB RAM이 탑재된 컴퓨터이다. GPU당 4개의 이미지를 미니 배치(Mini Batch)로 할당하여 학습하였다. 모델 학습에 사용되는 최적화 기술은 Stochastic Gradient Descent^{(Robbins et. al., 1951)}을 이용하였다. Learning Rate, Epoch는 각각 0.001, 20으로 설정되었다. GPU의 메모리를 고려하여 모든 이미지의 크기를 600×800으로 조정하였다. 학습 속도를 높이기 위해 전이 학습(Transfer Learning)을 적용하였다. 전이학습은 Faster R-CNN의 Backbone Network에 대하여 적용되었으며, 전이 학습에 사용된 모델은 Matlab에서 제공하는 사전학습된 ResNet-50^{(Kaiming et al., 2015)}이다. Fig. 5는 Epoch에 따른 학습 정확도를 나타낸 것으로, Epoch 20에서 정확도는 약 99.3%를 보여 학습이 잘 수행되었음을 보였다.

2.4 CCTV 데이터를 이용한 차종 탐지

학습된 Faster R-CNN을 사용하여 CCTV에서 얻은 영상에 대해 차종 탐지 실험을 수행하였다. 학습된 딥러닝 모델의 성능은 성능 검증에 활용되는 지표인 mAP(mean Average Precision)를 사용하여 평가하였다. AP는 학습된 모델이 탐지한 결과물이 정답지와 일치하는 비율로, mAP는 1개의 물체(object)별로 개별적인 AP값을 구하여 여러 물체 탐지에 대한 평균값을 구한 것이다.

차종 탐지 성능 검증에 이용된 CCTV는 서울시에 위치한 A교량을 촬영하는 CCTV로서, A교량은 폭 26.1m, 길이 240m인 왕복 10차로의 1등급 교량(최대 하중 43.2ton)이다. A교량에 설치된 CCTV 영상은 학습데이터와 동일하게 고화질로 촬영되었고, 교량 통행 차량의 전면부, 후면부와 측면부 모습들이 포함되는 촬영각도, 주행 차종의 다양성 및 높은 대형 트럭의 통행량을 고려하여 선정하였다. Fig. 5와 같이 차량이 통행하는 도로 영역만을 탐지 영역으로 하여, 총 245장의 이미지에 대해서 성능 검증 테스트를 진행하였다.

Table 4는 245장의 테스트 이미지에 대한 모델의 mAP 값을 각 차종별로 나타낸 것이다. 버스의 경우 AP값 1.0을 달성하였으며, 이는 버스의 외관이 타 차종과 큰 차이를 보이기 때문으로 보인다. 트럭들의 경우 AP가 0.95~0.97 사이로 잘 탐지되었으며, 승용차&다마스의 경우 AP 0.83, SUV의 경우는 0.85로 다소 낮게 나타났다. 이는 승용차와 SUV의 경우 옆모습이나 뒷모습에서는 큰 차이를 보이지만, 앞모습은 큰 차이가 보이지 않기 때문에 촬영 각도에 따라 오탐지가 발생하기 때문으로 보인다. 경차의 경우 AP가 0.66으로 가장 작게 나타났으나, 이는 Table 3에서와 같이 경차의 학습데이터의 수가 작았기 때문으로 보인다. 그러나 경차의 하중은 7종 중 가장 작아 차량 교량에 큰 영향을 미치지 않으므로, 현재의 모델을 그대로 사용하기로 하였다. 최종적으로 7차종에 대한 mAP값은 0.89로서 학습된 모델이 충분한 성능을 가짐을 알 수 있다.

2.5 평균하중 계산을 통한 하중 이력 도출

차종을 탐지한 후 개발한 Table 2의 7차종 하중 분류표를 이용하여 교량을 통행한 차량들의 하중 이력을 도출할 수 있다. 한 개의 영상 프레임에서 차량을 탐지한 뒤, 탐지된 차량에 해당하는 차종의 평균하중(Table 1)을 곱하여 현재 교량에 가해지는 하중을 추정한다.

3.1 차량 탐지 수행 결과

서울시 내 A교량에서 획득한 15분간의 영상에 제안한 기법을 적용하여 15분간의 하중 이력을 추정하였다. 15분간의 CCTV 영상(1280×720픽셀)에서 4초당 1장의 이미지를 추출하여 총 247장의 이미지를 획득하였다. 육안으로 확인하여 통행 차량의 차종에 대한 정답지를 구성하였으며, 총 차량의 수는 935대였다.

Table 5는 학습된 Faster R-CNN 모델을 사용하여 15분 동안 통행한 차량의 차종을 탐지한 결과에 대한 혼동행렬(Confusion Matrix)이다. 전체 차량 935대 중에서 749대가 정확하게 탐지되었으며 176대가 오탐지, 10대가 미탐지되어 정밀도(Precision) 81.0%, 재현율(Recall) 80.1%를 달성하였다. 세부적으로 살펴보면 승용차&다마스(P.C)와 SUV&승합차(SUV), 소형 트럭(L.T)의 경우 탐지율이 각각 0.78(=303/388), 0.86(=255/297), 0.86(=130/ 152)으로 매우 높게 나타났다. 위 3종 차종의 통행량이 전체 통행량의 90%에 해당하였기 때문에, 위 차종들의 높은 정확도를 통해 하중이력이 높은 정확도로 추정될 수 있음을 알 수 있다. 전체 오탐지된 차량은 176대로 오탐지율은 18.8%이며, 미탐지된 차량은 총 10대로 미탐지율은 1.1%이다. 정확도 손실의 주요 원인은 소형차(C.C), 승용차&다마스(P.C), SUV& 승합차(SUV)의 외관의 유사성에 의한 것으로 보인다. 가장 큰 오탐지율을 보인 차종은 중형 트럭으로, 총 24대 중 5대만을 정확하게 탐지하여 오탐지율 0.79를 보였다. 이는 트럭의 경우 크기와 무관하게 외관 형상이 유사한 편이기 때문에 다수의 중형트럭이 소형트럭 또는 대형트럭으로 분류된 결과이다. 만일 각 차종별로 다양한 촬영 각도에서 학습데이터를 더욱 많이 확보한다면, 이와 같은 오탐지는 충분히 감소할 수 있을 것으로 판단된다.

Fig. 6 Examples of (a) accurate, (b) false (duplicated), and (c) missed detection

Fig. 6은 정탐지, 오탐지, 미탐지가 된 영상 프레임의 예시이다. Fig. 6(a)에서는 경차(C.C) 1대, 승용차&다마스(P.C) 2대, SUV&승합차(SUV) 1대, 소형트럭(S.T) 2대가 잘 탐지되었다. 그러나 Fig. 6(b)에서는 대형트럭(L.T)이 소형트럭(L.T)과 승용차&다마스(P.C)로 오탐지(파란 화살표 표시)되었으며, Fig. 6(c)에서는 경차(C.C) 1대와 승용차&다마스(P.C) 1대가 미탐지(파란 화살표 표시)되었다.

3.2 차량 하중 이력 산정 결과

차량을 탐지한 결과에 2.5절의 내용을 적용하여, 15분간 A교량의 통행 차량 하중 이력을 Fig. 7과 같이 산정하였다. 15분간 통행한 하중은 0-30tf 사이의 하중을 나타내었으며, 통행 차량에 의해 변화가 나타나는 형상을 보였다.

Fig. 7 Vehicle loading history of 15 minutes on test bridge

결과의 검증을 위하여 그래프 상에 나타난 13개의 피크점을 임의로 선정하고, 이들의 추정된 하중을 검증하였다. 영상에서 육안으로 차종을 직접 확인한 뒤 Table 1의 차량 하중 분류표를 활용하여 정답하중을 작성하였으며, 정답 하중과 추정된 하중을 Table 6에 비교하여 나타내었다. 하중이 부정확하게 탐지된 점들은 Fig. 7에 붉은색 동그라미로, 정확하게 탐지된 점들은 푸른색 동그라미로 표시하였다. Peak 1-4는 부정확한 탐지가 이루어진 점들이며, Peak 5-13는 정확한 탐지가 이루어진 점들이다. 대체적으로 이력 탐지가 잘 이루어졌으나, Peak 1-4와 같이 일부 점들에서 차량의 오탐지 또는 다중탐지로 인하여 하중이 과다추정되는 경우들이 있음을 알 수 있다.

Fig. 8 Inaccurate detection result corresponding to peaks 1-4 shown in Fig. 7

정확한 분석을 위하여 붉은색으로 표시된 4개의 피크점에 해당되는 프레임의 탐지 결과를 Fig. 8에 나타내었다. 그래프의 왼쪽을 기준으로 첫 번째 붉은색으로 표시된 피크점(Peak 1)에서는 Fig. 8(a)와 같이 딥러닝 모델이 승용차&다마스(P.C) 5대, 소형 트럭(S.T) 1대, 대형 트럭(L.T) 1대를 탐지하여 총 하중을 29.550tf로 계산하였으나, 소형 트럭(S.T) 1대를 소형 트럭(S.T)과 대형 트럭(L.T)으로 다중 탐지함으로 인해 하중이 다소 크게 추정되었다. 두 번째 붉은색으로 표시된 피크점(Peak 2)에서는 SUV&승합차(SUV) 3대, 소형 트럭(S.T)과 대형 트럭(L.T)을 탐지하여 계산된 하중으로, Fig. 8(b)에서 보는 바와 같이 경차(C.C) 1대를 SUV&승합차(SUV) 1대로 오탐지, 소형 트럭(S.T) 1대를 대형 트럭(L.T) 1대로 오탐지한 부분이 포함되어 있다. 세 번째 피크점(Peak 3)에서는 Fig. 8(c)와 같이 경차(C.C) 1대를 소형차&다마스(P.C) 1대로 오탐지한 부분과 소형 트럭(S.T)을 소형 트럭(S.T) 1대, 대형 트럭(L.T) 1대로 다중 탐지한 부분이 포함되어 있다. 마지막으로, 네 번째 피크점(Peak 4)에서는 Fig. 8(d)와 같이 소형 트럭(S.T) 1대를 소형 트럭(S.T) 1대와 대형 트럭(L.T) 1대로 다중 탐지한 부분이 포함되어 있다.

3.3 추가 연구 필요 내용

본 연구에서는 Faster R-CNN과 같은 객체 탐지 딥러닝 모델을 이용하여 차량을 탐지하고, 하중에 따른 차종의 평균하중을 적용하여 교량을 통행하는 차량의 하중 이력을 계산하는 방법을 제시하였다. 객체 탐지 딥러닝 모델은 정지 영상에서의 탐지 성공 여부를 결정하기 때문에 동영상에서의 안정적인 객체 추적 및 탐지를 위해서는 별도의 추적 기능이 필요하다^{(Kim et al., 2019)}. 추적 기술을 이용하면 차량이 주행한 위치뿐만 아니라 차량의 주행 속도까지도 함께 파악할 수 있다. 또한, 본 연구에서는 4초당 1장(0.25fps)씩 획득한 영상을 이용하였으나, 일반적인 CCTV 영상의 경우 30fps로 촬영되므로, 30fps의 영상을 모두 이용할 경우 차량의 하중 이력뿐만 아니라 차량 주행 위치, 차량 주행 속도를 더욱 정확하게 정보화할 수 있다.

대부분의 CCTV 영상이 공개가 되어 있지 않아, 본 연구에서는 공개된 일부 CCTV의 영상만을 이용하였다. 다양한 CCTV가 공개되어 다양한 차종 및 촬영각도에 대한 학습데이터를 충분하게 확보할 경우, 차량 하중 이력 정보를 더욱 정확하게 얻을 수 있을 것으로 예상된다. 또한, 차종 별 하중에 대한 통계자료, 차선별 하중 이력, 차량 주행 속도 등의 정보를 함께 획득할 경우, 실제 교량에 작용하는 하중에 대한 빅데이터를 최소한의 비용으로 확보할 수 있으며, 추후 적절한 분석을 통해 교량의 유지관리를 위한 정보들을 획득할 수 있을 것으로 기대된다.