2.1 손상 탐지

본 연구에서는 UAV 이미지를 대상으로 YOLOv11(You Only Look Once)기반 객체 탐지 모델을 구축하여 균열, 박리⋅박락, 철근 노출 손상을 탐지하였다. YOLOv11은 단일 패스로 객체의 위치와 종류를 실시간 예측하며, 소형 객체 검출 성능이 강화되어 균열과 같은 미세 손상 탐지에 효과적이다. 손상 유형에 따라 탐지 모델을 구분하여 적용하고. 균열은 0.1 mm 단위로 세밀하게 정량화하기 위하여 픽셀 단위 세그멘테이션 방식을 적용하였다. 박리⋅박락과 철근 노출은 바운딩 박스 기반 검출을 수행하였다. 각 데이터셋으로 fine-tuning하여 구조물 손상 탐지에 특화된 모델을 구축하였다.

모델의 성능평가는 Precision(정밀도), Recall(재현율), F1-score를 기준으로 각 손상 유형별로 탐지 정확도를 정량적으로 평가하였다. 또한 UAV 이미지에서 동일 손상이 연속 촬영되는 문제를 줄이기 위해, Fig. 2와 같이 동일 객체 간 유사도를 비교하여 대표성을 갖는 Key Frame만을 선정함으로써 중복 처리를 최소화하고 후속 분석의 효율성을 높였다. Key Frame은 IoU(Intersection over Union) 값과 거리 기반 유사도를 활용하여 동일 객체(Track)를 식별하고, 동일 객체 그룹 내에서 탐지 신뢰도와 프레임 위치 중심성을 평가하여 최적의 Key Frame을 선정하였다.

Fig. 2. Key frame selection

2.2 손상 위치 추적

탐지된 손상 객체의 정확한 공간적 위치를 추적하기 위해, 본 연구는 UAV 촬영 이미지에서 얻은 2차원 손상 탐지 결과를 PCD 상의 3차원 좌표로 정합하는 투영 기반 위치 추적 기법을 적용하였다.

이 과정에서 2차원 객체와 3차원 위치의 연결을 위해, 이미지 좌표와 공간 좌표 간의 관계를 나타내는 투영 변환식이 필요하다. 식 (1)은 좌표계($X_w$)에서의 한 점을 의미한다.

여기서, $x$, $y$, $z$는 3차원 공간에서의 좌표 성분을 의미하며, 마지막 성분인 상수 1은 동차 좌표계에서 점을 표현하기 위해 추가된 항이다. 이를 통해 행렬 연산으로 회전과 이동을 동시에 처리할 수 있다. 식 (2)는 해당 점을 카메라 좌표계($X_c$)로 변환한다.

여기서 $x_c$, $y_c$는 카메라 시점에서의 수평 및 수직 방향 좌표, $z_c$는 카메라 중심으로부터 광학축 방향의 거리, 즉, 깊이(depth)를 나타낸다. $R$(Rotation matrix)은 좌표계를 카메라 좌표계로 회전시키는 변환 행렬이며, $T$(Translation vector)는 카메라 위치를 반영하는 평행이동 벡터이다. 식 (3), (4)는 카메라 좌표계에 있는 $X_c$를 내부 파라미터 행렬 $K$(Intrinsic matrix)와 곱하여 이미지 좌표계로 변환하는 과정을 나타낸다.

여기서 $f_x$, $f_y$는 각각 가로와 세로 방향의 초점거리, $c_x$, $c_y$는 이미지 좌표계에서의 주점(principle point) 위치를 의미한다. 따라서 카메라 좌표계의 점을 이미지 평면으로 매핑하면 식 (5)로 나타낼 수 있다.

여기서 $(u, v)$는 최종적으로 얻어지는 이미지 내 픽셀 좌표이다. 카메라 내부 파라미터($K$)는 카메라 센서 사양과 렌즈 특성을 반영하여 초점거리 및 주점 정보로 구성되며, SfM(Structure from Motion) 보정을 통해 왜곡 계수와 함께 최적화하였다. 외부 파라미터($R$, $t$)는 이미지 간 특징점 매칭과 GCP를 활용하여 정의하였다. 해당 포인트는 동일한 시야선 상에서 표면 외에도 배경이나 후면 PCD가 포함될 수 있다. 본 연구에서는 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 클러스터링을 적용하여 밀도와 위치가 가장 일관된 주요 클러스터만을 선택하고, 손상 영역을 추출하였다. DBSCAN의 $\epsilon$ (eps, 이웃 탐색 반경)는 0.1m로 설정하였고, min_sample(반경 내 최소 포인트 수)은 50개로 설정하여 노이즈를 제거하면서 안정적인 클러스터링 형성을 보장하였다.

2.3 손상 정량화

손상 유형에 따라 정량화 방식을 구분하여 적용하였다. 균열은 초고해상도 기반의 픽셀 분석 기법을 통해 정량화하였으며, 박리⋅박락과 철근 노출은 바운딩 박스를 기반으로 길이 및 폭을 추정하였다.

균열은 구조물 열화를 판단하는 핵심 지표로 정밀 측정이 필요하다. 본 연구에서는 Fig. 3과 같이 균열을 정량화하였다. 탐지된 균열 영역을 RoI(Region of Interest)에 맞춰 추출(Crop)함으로써 연산 효율성을 확보하였다. 이는 데이터 전체를 처리할 때, 발생하는 연산 비용을 절감하기 위함이다. ^{(Yang et al., 2022)}. 추출된 영역은 Real-ESRGAN 모델로 초고해상도 복원하였다. 이는 UAV 이미지의 해상도 한계로 인해 미세 균열의 픽셀 폭 측정이 어렵기 때문이다. 초고해상도 이미지와 세그멘테이션 마스크 내에서 균열 후보를 추출하고 노이즈를 제거한 후, 스켈레톤화를 수행하여 균열의 중심선을 추출하였다.

박리⋅박락과 철근 노출 손상은 경계가 명확하고 영역이 큰 특성으로 바운딩 박스 기반 정량화 방식을 적용하였다. Fig. 4와 같이 탐지된 2차원 바운딩 박스 내 픽셀 좌표의 깊이 값을 추출하고, 카메라 내부 파라미터를 활용해 3차원 좌표로 변환하여 손상 영역의 실제 길이와 폭을 도출하였다.

Fig. 3. Crack quantification process

Fig. 4. Bounding box-based quantification

Fig. 5. Damage mapping on model

2.4 손상 매핑 그래픽 모델 생성

손상에 대한 정량 분석 및 위치 추적 후, 이를 그래픽 모델에 시각적으로 연계하였다. 본 연구에서는 탐지된 손상의 3차원 위치정보, 정량과 결과, 잘라낸 이미지를 통합하여 자동으로 손상을 매핑한 그래픽 모델을 생성하였다.

Fig. 5는 3차원 위치 추적 과정에서 얻어진 평면 좌표로 모델 평면을 생성하고, 여기에 잘라낸 손상 이미지를 매핑한 것이다. 균열은 빨간색, 박리⋅박락은 주황색, 철근 노출은 초록색으로 클래스별 색을 지정하여 식별성을 높였으며, 매핑된 평면에는 길이⋅폭 등 정량 지표를 함께 표시하였다. 또한 UI(User Interface)를 통해 손상 정보를 확인할 수 있으며, 리스트의 손상을 클릭하면 해당 손상 평면으로 카메라가 이동하며 정량 정보가 표시된다. 이를 통해 손상 위치를 직관적으로 파악하고 정량 정보를 그래픽 모델 위에서 통합적으로 확인할 수 있다.

3.1 교량 제원 정보

슬래브와 두 개의 교각이 일체형으로 연결된 3경간의 콘크리트 일체형 RC 슬래브교를 대상으로 실험을 수행하였다. 해당 교량은 장기간 사용으로 인해 슬래브 및 교각 부재에서 다수의 박리⋅박락 및 철근 노출 손상이 관찰된 상태이다. 손상 교량의 상부 구조인 슬래브는 연장 32 m, 폭 5 m이며, 하부 구조인 각 교각은 높이 3 m로 구성되어 있다. Fig. 6은 대상 교량의 3차원 그래픽 모델을 보여준다.

Fig. 6. Model of bridge A

3.2 딥러닝 기반의 손상 탐지

본 연구에서는 박리⋅박락 및 철근 노출 손상 탐지를 위해 YOLOv11 모델을 학습시켰다. 손상 이미지 데이터셋은 실제 콘크리트 교량 손상과 시각적으로 유사한 형태의 손상 이미지로 박리⋅박락 클래스 214개, 철근 노출 클래스 64개로 구성하였다. 입력 이미지는 YOLO의 기본 학습 해상도인 640×640으로 조정하고, 학습률 0.001, 배치 16으로 설정하여 100 에포크 동안 학습을 수행하였다.

손상 탐지를 수행한 결과, 총 12개의 박리⋅박락과 16개의 철근 노출이 발견되었다. 이후 현장 조사 및 정답 데이터(Ground Truth)와 비교하여 탐지 결과의 정확도를 Precision, Recall, F1-score를 활용하여 분석하였다. 탐지된 손상은 Fig. 7과 같이 클래스별로 색상이 구분된 바운딩 박스로 시각화하였다. 박리⋅박락 탐지의 정확도는 Precision 88.7%, Recall 91.6%, F1-score 90.2%을 보였으며, 철근 노출 탐지의 정확도는 Precision 96.8%, Recall 96.8%, F1-score 96.8%으로 나타났다. 이러한 평가는 Fig. 8에 제시된 confusion matrix를 통해 확인할 수 있으며, 각 클래스별 탐지 성능의 분포를 직관적으로 파악할 수 있다.

박리⋅박락 탐지에서는 총 9개의 False Positive가 발생하였다. 주로 콘크리트 표면의 얼룩 및 변색, 시공 중 발생한 공극 등이 박리⋅박락과 유사한 색상과 불규칙한 형태로 오인식되는 경향이 나타났다. 철근 노출은 1개의 False Negative가 발생하여 더 높은 정확도를 보였는데, 이는 철근의 독특한 선형 패턴과 부식으로 인한 적갈색이 다른 표면 특징과 명확히 구분되기 때문이다.

균열 손상 탐지를 위해서는 YOLOv11의 세그멘테이션 모델을 활용하였다. 균열의 미세하고 선형적인 형태를 효과적으로 탐지하기 위해 세그멘테이션 라벨링 이미지로 구성된 데이터셋을 구축하였다. 학습 데이터셋은 균열 클래스 125개로 구성하였다. 사전 학습된 가중치를 활용한 전이 학습 방식으로, 학습률 0.001, 배치크기 8로 설정하여 150 에포크 동안 학습을 진행하였다.

해당 교량의 UAV 이미지에 대해 딥러닝 기반의 손상 탐지를 수행한 결과, 총 18개의 균열이 발견되었다. 균열은 아래의 Fig. 9와 같이 바운딩 박스 및 세그멘테이션 마스크를 기반으로 예측되어 시각화된다. 탐지 후 현장 조사 및 정답 데이터(Ground Truth)와 비교하여 세그멘테이션 기반의 정확도를 분석한 결과, 균열 탐지의 정확도는 박리⋅박락, 철근 노출과 마찬가지로 Precision, Recall, F1-score를 활용하여 평가를 수행하였으며, Precision 79.4%, Recall 95.0%, F1-score 86.5%을 보였다. 이러한 평가는 Fig. 10에 제시된 confusion matrix를 통해 확인할 수 있다.

균열 탐지에서 상대적으로 낮은 Precision 값은 주로 False Positive 오탐지 사례에 기인한다. 균열 탐지에서는 총 7개의 False Positive가 발생하였으며, 주로 콘크리트 표면의 이음새가 균열로 오인식되는 경우가 관찰되었다. 이러한 오탐지는 이음새가 균열과 유사한 선형 패턴을 가지고 있어 발생하는 것으로 분석되었다. 반면, 95.0%의 높은 Recall 값은 실제 균열의 대부분을 성공적으로 탐지했음을 나타내며, 구조물 안전진단 관점에서 실제 손상을 놓치지 않는 것이 더 중요하다는 점에서 의미있는 결과로 판단된다.

Fig. 7. Damage detection results

Fig. 8. Confusion matrix for spalling and exposed rebar

Fig. 9. Crack detection results

Fig. 10. Confusion matrix for cracks

3.3 손상 정량화

탐지된 손상에 대해 실제 계측값과 비교하였다. 박리⋅박락과 철근 노출의 경우, 대표 손상 사례에 대해 평균 오차율을 약 6.87% 수준으로 나타났으며, 최대 오차율을 10% 이내였다. 실제 계측값과 알고리즘 결과의 비교 내용은 표 1에 정리하였다. 특히 탐지 단계에서 손상 경계를 정확히 인식하지 못할 경우, 해당 영역의 길이와 폭 산출 값에도 직접적인 오차가 반영되어 정량화 정확도에 영향을 미치는 것으로 확인되었다. 이는 손상 탐지의 정확성이 이후 정량화의 결과의 신뢰성에 중요한 변수임을 보여준다.

균열에 대한 분석 결과, 폭 0.3 mm 로 기록된 균열에 대해서는 절대오차가 약 0.01∼0.02 mm 수준으로 나타난 반면, 폭 0.2 mm 로 기록된 균열에서는 절대오차 0.02∼0.04 mm 정도의 오차가 발생하였다. 이는 균열 정량화 과정에서 콘크리트 표면의 질감으로 인해 노이즈가 균열 픽셀에 포함될 가능성이 있다. 또한 외관조사망도의 경우 균열자를 이용한 육안점검으로 0.01 mm 단위의 세밀한 평가에는 한계가 있으며, 이러한 특성이 결과 차이의 원인 중 하나로 작용했을 것으로 판단된다. 이러한 전반적 경향을 구체적으로 보여주기 위해, 교각 1에 대한 비교 결과를 Fig. 11에 나타내었다.

Fig. 11. Crack quantification results

3.4 그래픽 모델에 손상 매핑

탐지 단계에서 산출된 바운딩 박스를 활용하여 손상 영역 이미지를 개별적으로 잘라낸 후, 이를 3차원 그래픽 모델 상의 대응 위치에 매핑하였다. 이 과정에서 손상 분포를 기반으로 손상 평면을 추적하였다. 이를 통해 단순한 위치 매핑을 넘어 손상이 발생한 실제 구조 평면에 정렬된 형태로 결과를 시각화할 수 있었으며, 구조물 표면에 대한 손상 매핑 적합도가 향상되었다. Fig. 12은 손상 탐지 결과가 바운딩 박스 형태로 잘라내어 3차원 모델에 매핑된 과정을 보여주며, 이를 통해 교량 특정 부재별 손상 분포를 Fig. 13에 보인 바와 같이 시각적으로 쉽게 파악할 수 있게 하였다.

Fig. 12. Damage mapping with information

Fig. 13. Graphic model with mapped damage