2.1 사용 프로그램 및 PC 사양

본 연구의 모든 이미지 처리 및 딥러닝 실험은 MATLAB R2025a 환경에서 수행되었다. CNN 학습 및 평가에는 Deep Learning Toolbox를 중심으로 Image Processing Toolbox, Statistics and Machine Learning Toolbox, Parallel Computing Toolbox를 병행 활용하였다. 실험조건에 따른 성능 편차를 최소화하기 위해, 모든 모델 학습은 동일한 하드웨어 및 소프트웨어 환경에서 수행하였다.

모델 학습에는 GPU가 NVIDIA RTX A5000(24GB)인 데스크톱 PC를 사용하였으며, 메모리는 DDR5 64GB로 구성하였다. CPU는 Intel i9-14900KF를 사용하였고, 저장 장치는 SSD 2TB를 적용하였다. 상세한 PC 사양은 Table 1에 정리하였다.

2.2 데이터셋 구성 및 손상 유형

본 연구에서는 공공 데이터 플랫폼 AI-Hub에서 제공하는 콘크리트 구조물 손상 이미지 데이터셋을 활용하였다. 해당 데이터는 국내 교량, 옹벽 및 건축물 등 실제 구조물을 대상으로 드론과 고해상도 촬영 장비를 이용해 수집된 이미지로, 조도 변화, 배경 차이 및 표면 질감의 다양성을 포함하고 있다.

분류 대상 손상 유형은 균열, 백태, 철근 노출의 세 가지로 구분하였다. 클래스 불균형에 따른 성능 편향을 방지하기 위해, 각 손상 유형별 이미지 수를 동일하게 구성하였다. 데이터 규모에 따른 성능 변화를 분석하기 위해 클래스당 500장, 1,000장, 2,000장, 3,000장의 네 가지 조건을 설정하였다.

모든 데이터는 무작위(randomized) 방식으로 학습(70%), 검증(15%), 시험(15%) 세트로 분할하였으며, 각 데이터 수 조건에서도 동일한 분할 비율과 클래스 균형을 유지하였다. 본 연구에서 제시한 모든 분류 성능 지표는 학습 및 검증 과정에 사용되지 않은 시험 세트를 기준으로 산출하였다. 사용된 이미지의 예시는 Fig. 1에 나타내었다.

Fig. 1. Example images of concrete damage

2.3 이미지 전처리 및 증강

원본 이미지의 해상도와 종횡비가 상이하므로, 데이터 일관성과 학습 안정성을 확보하기 위해 모든 이미지는 패딩을 적용한 후 640×640 픽셀 해상도로 정규화하였다. 이는 전처리 과정에서의 형태 왜곡을 최소화하기 위한 조치이며, 이후 각 CNN 모델의 입력 크기(224×224)에 맞추어 리사이즈하여 학습에 사용하였다.

또한 모델의 일반화 성능 향상을 위해 데이터 증강을 수행하였다. 회전(±10°), 수평 및 수직 이동(±5 pixel), 스케일 변환(±10%)을 적용하였으며, MATLAB의 imageDataAugmenter 함수를 활용하였다. 모든 모델에 동일한 전처리 및 증강 조건을 적용하여, 모델 구조에 따른 성능 차이를 공정하게 비교할 수 있도록 하였다.

2.4 CNN 모델 구조 및 전이 학습 설정

본 연구에서는 CNN 구조에 따른 분류 성능 및 계산 효율의 차이를 분석하기 위해, 구조적 특성이 상이한 네 가지 대표적 모델을 적용하였다. GoogLeNet, ResNet-50, EfficientNet-B0, MobileNetV2는 각각 상이한 네트워크 구성과 연산 복잡도를 가지며, 이러한 차이는 파라미터 수와 계산 비용 측면에서 서로 다른 특성을 나타낸다. 여기서 계산 비용은 모델이 입력 이미지를 처리하기 위해 요구되는 연산량과 메모리 사용량을 의미하며, 일반적으로 모델의 파라미터 수(parameters), 부동소수점 연산 수(FLOPs), 그리고 학습 및 추론 과정에서 요구되는 메모리 사용량 등의 지표로 평가된다. 이러한 지표는 모델의 연산 복잡도와 계산 자원 요구 수준을 나타내며, 실제 적용 환경에서의 학습 시간과 추론 속도에 영향을 미친다.

GoogLeNet은 여러 크기의 필터를 동시에 적용하는 Inception 구조를 사용하여, 비교적 적은 파라미터 수로 다양한 특징을 효율적으로 추출할 수 있는 모델이다.

ResNet-50은 층이 깊은 구조를 가지며, 층 사이를 직접 연결하는 방식(잔차 연결)을 통해 학습 과정에서 발생할 수 있는 문제를 줄이고 안정적인 특징 추출이 가능하도록 설계되었다.

EfficientNet-B0는 네트워크의 깊이, 너비, 입력 해상도를 균형 있게 조절하는 방식을 적용한 모델로, 비교적 적은 파라미터 수로도 우수한 성능을 낼 수 있도록 구성되어 있다.

MobileNetV2는 연산량을 줄이기 위해 경량화된 구조를 사용한 모델로, 계산 자원이 제한된 환경에서도 적용 가능성이 높은 특징을 가진다.

이와 같은 모델 구조의 차이는 파라미터 수, 연산량, 메모리 사용량에 직접적인 영향을 미치며, 각 모델의 구조적 특성과 계산 효율을 비교하기 위해 주요 지표를 Table 2에 정리하였다.

각 모델은 ImageNet 데이터셋으로 사전 학습된 가중치를 초기값으로 사용하여 전이 학습을 수행하였다. 최종 분류층은 본 연구의 손상 유형 수에 맞게 재구성하였으며, 기존 계층은 미세 조정을 통해 구조물 손상 이미지의 특징을 학습하도록 하였다. 또한 출력층의 학습률을 상대적으로 높게 설정하여, 제한된 데이터 조건에서도 효율적인 수렴이 가능하도록 하였다.

2.5 하이퍼파라미터 설정 및 최적화 방법

CNN 학습 성능에 영향을 미치는 주요 하이퍼파라미터로 초기 학습률(learning rate), 에포크 수(epoch), 배치 크기(batch size)를 선정하였다. 초기 학습률은 CNN 기반 전이 학습 연구에서 Adam optimizer 사용 시 일반적으로 적용되는 학습률 범위를 참고하여 설정하였다. 기존 딥러닝 기반 영상 분류 및 구조물 손상 탐지 연구에서는 초기 학습률을 약 0.001–0.0001 범위에서 설정하는 사례가 보고되고 있으며(^{Islam et al., 2022}; ^{Philip et al., 2023}), 본 연구에서도 로그 스케일 학습률 탐색 원칙에 따라 0.001, 0.0003 및 0.0001의 세 수준을 적용하였다. 에포크 수(15, 30)와 배치 크기(16, 32)는 기존 CNN 기반 콘크리트 균열 및 구조물 손상 탐지 연구에서 사용된 학습 조건을 참고하여 설정하였다(^{Cha et al., 2017}; ^{Ali et al., 2021}). 이러한 설정은 제한된 데이터 환경에서 안정적인 학습 수렴과 모델 일반화 성능을 확보하기 위한 범위로 적용하였다.

하이퍼파라미터 최적화는 격자 탐색(grid search) 방식으로 수행하였으며, 각 하이퍼파라미터 조합에 대해 동일한 데이터 분할 조건을 적용하여 성능을 비교하였다. 학습 최적화 알고리즘으로는 Adam optimizer를 사용하였으며, 모든 실험은 동일한 GPU 환경에서 수행되었다. 또한 모델 구조에 따른 성능 차이를 보다 명확하게 비교하기 위해 optimizer 설정, fine-tuning 범위 등 기타 학습 조건은 모든 실험에서 동일하게 고정하였다.

본 연구에서는 단일 하이퍼파라미터 설정에 따른 성능 비교의 한계를 고려하여, 다양한 하이퍼파라미터 조합에 따른 분류 성능의 변동 특성을 함께 분석하고자 하였다. 이를 통해 동일한 데이터 수 조건에서도 학습 조건 변화에 따라 분류 성능이 어떻게 달라지는지를 정량적으로 평가하였다.

2.6 성능 평가 지표

모델의 분류 성능 평가는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), Macro F1-score를 기준으로 수행하였다. 정확도는 전체 분류 성능을 직관적으로 평가하기 위한 지표로 사용하였으며, 정밀도와 재현율은 각각 오탐(false positive)과 미검출(false negative) 발생 특성을 확인하기 위해 함께 분석하였다. F1-score는 정밀도와 재현율의 조화 평균으로 정의되는 지표로, 오탐과 미검출을 동시에 고려하여 분류 성능을 평가할 수 있다. Macro F1-score는 각 클래스별 F1-score를 개별적으로 산출한 후 이를 산술 평균한 값으로, 클래스 간 분류 성능의 균형을 평가하는 데 활용된다.

각 클래스 $i$에 대한 F1-score는 정밀도와 재현율의 조화 평균으로 정의되며, Macro F1-score는 다음 식(1)과 같이 계산된다.

여기서, $C$는 전체 클래스의 수(여기서 $C=3$) 를 의미한다.

본 연구에서는 특히 Macro F1-score를 중심 지표로 활용하여, 하이퍼파라미터 조합 변화에 따른 성능 편차와 민감도를 정량적으로 분석하였다.

각 하이퍼파라미터 조합에 대해 검증 세트와 시험 세트의 성능을 확인함으로써 모델의 학습 특성과 일반화 성능을 평가하였다. 전체 실험 조건 요약은 Table 3에 정리하였다.

3.1 하이퍼파라미터 조건에 따른 전체 분류 성능 비교

하이퍼파라미터 조합의 변화가 각 CNN 모델의 손상 분류 성능에 미치는 영향을 분석하였다. GoogLeNet, ResNet-50, EfficientNet-B0, MobileNetV2를 대상으로 학습 데이터 규모에 따른 초기 학습률, 에포크 수 및 배치 크기 변화에 따른 성능 변화를 검토하였으며, 시험 세트에 대한 정확도와 Macro F1-score를 주요 평가지표로 산출하였다. 특히 Macro F1-score는 클래스 간 성능 균형과 하이퍼파라미터 변동에 따른 학습 안정성을 정량적으로 평가하는 지표로 활용되었다.

Fig. 2는 데이터 2,000장 조건에서 ResNet-50 모델의 하이퍼파라미터 변화에 따른 시험 세트 Macro F1-score의 분포를 보여준다. 동일한 데이터 규모와 에포크 조건에서도 초기 학습률과 배치 크기 설정에 따라 분류 성능 차이가 발생하였으며, 특히 낮은 초기 학습률 조건에서 배치 크기 변화에 따른 성능 차이가 시각적으로 크지 않게 관찰되었다.

Table 4는 하이퍼파라미터 탐색을 통해 도출된 각 모델의 데이터 규모별 최적 분류 성능을 요약한 결과이다. 대부분의 모델에서 학습에 사용된 데이터 수가 증가함에 따라 정확도와 Macro F1-score가 전반적으로 향상되는 경향이 나타났으며, ResNet-50과 EfficientNet-B0는 모든 데이터 조건에서 타 모델 대비 상대적으로 높은 성능을 유지하였다. 반면 GoogLeNet은 일부 데이터 구간에서 성능 향상이 정체되거나 감소하는 경향을 보여, 데이터 수 증가에 대한 성능 반응이 모델 구조에 따라 상이하게 나타날 수 있음을 보여준다.

하이퍼파라미터 설정에 대한 모델별 민감도를 분석하기 위해, 동일 조건 내 Macro F1-score의 최대값, 표준편차 및 성능 변동 범위를 Table 5에 나타내었다. GoogLeNet은 전 구간에서 상대적으로 높은 편차와 변동 범위를 보여 하이퍼파라미터 변화에 따른 성능 민감도가 가장 크게 나타났다. 반면 MobileNetV2는 데이터 수가 증가함에 따라 성능 변동 폭이 감소하는 경향을 보였으며, EfficientNet-B0 또한 전반적으로 변동 폭이 감소하는 경향을 나타냈다. ResNet-50은 중간 수준의 민감도를 유지하면서 데이터 수 증가에 따라 성능 변동 폭이 감소하는 경향을 나타냈다.

Table 5에 나타난 바와 같이 데이터 수가 증가함에 따라 일부 CNN 모델에서는 Macro F1-score의 표준편차와 성능 변동 범위가 감소하는 경향이 관찰되었다. 이는 데이터 수 증가가 하이퍼파라미터 설정 변화에 따른 성능 민감도를 완화하고 학습 안정성을 향상시키는 효과가 있음을 나타낸다.

결과를 종합하면, 하이퍼파라미터 설정은 CNN 기반 구조물 손상 분류 모델의 절대적인 성능뿐만 아니라 학습 과정에서의 성능 변동 특성과 성능의 안정성에 중요한 영향을 미치는 요인으로 작용한다. 또한 학습에 사용된 데이터 수의 증가는 분류 성능 향상과 함께 하이퍼파라미터 민감도를 완화하는 경향을 보였으며, 이러한 경향은 개별 모델의 아키텍처 특성에 따라 상이하게 나타났다.

Fig. 2. Heatmap of test macro-F1(R.Net, 2000 images, 30 epochs)

3.2 데이터 수 조건별 성능 변화 분석

데이터 수 증가에 따른 CNN 모델의 분류 성능 변화를 분석하였다. 클래스당 이미지 수를 500장, 1,000장, 2,000장, 3,000장으로 단계적으로 증가시키며 실험을 수행하였고, 각 조건에서 하이퍼파라미터 최적화를 통해 도출된 시험 세트 기준 Macro-F1 score를 중심으로 성능 변화를 비교하였다. Macro-F1 score는 각 데이터 수 및 모델 조건에서 하이퍼파라미터 탐색을 통해 얻어진 시험 세트 기준 최고 성능을 의미한다.

Fig. 3과 Table 4에 나타난 바와 같이, 데이터 수가 500장에서 1,000장으로 증가하는 구간에서는 모든 CNN 모델에서 Macro-F1 score가 뚜렷하게 향상되었다. 특히 GoogLeNet과 MobileNetV2는 이 구간에서 상대적으로 큰 성능 향상을 보여, 제한된 데이터 조건에서 데이터 수 증가가 분류 성능 향상에 효과적으로 기여함을 확인할 수 있었다.

반면 데이터 수가 2,000장 이상으로 증가한 이후에는 모델별로 상이한 성능 변화가 관찰되었다. ResNet-50과 EfficientNet-B0는 데이터 수 증가에 따라 전반적으로 성능을 유지하거나 소폭의 향상을 보인 반면, GoogLeNet은 2,000장 이후 성능이 감소하는 경향을 나타내었다. 이는 GoogLeNet이 Inception 모듈 기반 구조를 사용하여 비교적 적은 파라미터로 특징을 추출하도록 설계된 모델이기 때문으로 판단된다(^{Szegedy et al., 2015}). 데이터 규모가 증가할수록 보다 깊은 네트워크 구조를 가진 ResNet-50 및 EfficientNet-B0와 같은 모델이 복잡한 특징을 효과적으로 학습할 수 있어 상대적으로 안정적인 성능을 유지한 것으로 해석된다. MobileNetV2의 경우 2,000장 조건에서 소폭의 성능 저하가 나타났으나, 3,000장 조건에서는 다시 성능이 향상되는 경향을 보였다.

이러한 결과는 데이터 수 증가가 항상 성능 향상으로 직결되지 않으며, 모델 구조에 따라 데이터 활용 경향이 다르게 나타날 수 있음을 보여준다. 또한 데이터 수가 증가함에 따라 일부 모델에서는 하이퍼파라미터 설정 변화에 따른 성능 변동 폭이 완화되는 경향이 나타났다.

Fig. 3. Effect of data quantity on classification performance

3.3 클래스별 분류 성능 비교

전체 분류 성능 및 하이퍼파라미터 분석 결과의 클래스 간 균형성을 확인하기 위해, 최적화된 학습 조건 중 하나의 대표 사례로서 ResNet-50 모델(2,000 images/class, 30 epochs, learning rate=0.0003, batch size=32)을 기준으로 CNN 모델의 손상 유형별 분류 성능을 분석하였다. 분석 대상 손상 유형은 균열, 백태, 철근 노출이며, Table 6에는 시험 세트 기준으로 산출된 클래스 별 정밀도, 재현율 및 F1-score를 나타내었다. 해당 성능 지표는 confusion matrix를 기반으로 계산되었으며, 소수점 셋째 자리까지 반올림하여 제시하였다.

Fig. 4는 동일한 실험 조건에서 시험 데이터셋에 대해 산출된 confusion matrix를 나타낸 것이다. 전반적으로 세 손상 유형 모두에서 대각선 성분의 값이 높게 나타나 대부분의 이미지가 해당 클래스에 대해 올바르게 분류되었음을 확인할 수 있다. 일부 오분류는 균열–백태 또는 백태–철근 노출 간에서 제한적으로 나타났으나, 전체 시험 데이터 규모 대비 그 비율은 비교적 낮은 수준이었다.

Table 6에 나타난 바와 같이, 세 손상 유형의 정밀도, 재현율 및 F1-score는 전반적으로 유사한 수준을 나타냈다. 이는 각 클래스의 데이터 수를 동일하게 구성하고 동일한 학습⋅검증⋅시험 분할 전략을 적용한 실험 설계의 영향으로 해석될 수 있으며, 해당 조건에서 분류 성능이 특정 손상 유형에 뚜렷하게 편중되지 않았음을 의미한다. 또한 이러한 경향은 Fig. 4의 confusion matrix에서도 확인된다.

이러한 결과는 Table 4 및 Fig. 3에서 제시한 전체 성능 지표(Macro F1-score) 분석 결과와도 일치하며, 클래스 간 성능 편차가 크지 않음을 보여준다. 따라서 클래스별 성능 분석은 전체 분류 성능 지표를 보완적으로 검증하는 역할을 수행하며, 데이터 수와 학습 조건이 동일하게 설정된 경우 손상 유형 간 성능 불균형이 크게 나타나지 않음을 확인하였다.

Fig. 4. Confusion matrix obtained from the test dataset

3.4 학습 시간 및 계산 효율 비교

CNN 모델의 실무 적용 가능성을 검토하기 위해 학습 시간과 계산 효율을 비교하였다. 모든 실험은 동일한 하드웨어 및 소프트웨어 환경에서 수행되었으며, 클래스당 2,000장의 데이터를 사용하고 30 epochs 학습을 수행한 대표 조건에서, 각 모델의 하이퍼파라미터 탐색 결과 중 시험 Macro-F1 score가 최대가 되는 조합을 기준으로 학습 시간을 비교하였다(Table 7). 이는 각 모델이 도달 가능한 성능 수준을 동일한 기준에서 평가하기 위함이다.

Table 7과 Fig. 5에 나타난 바와 같이, 모델 구조에 따라 학습 시간에서 뚜렷한 차이가 관찰되었다. GoogLeNet은 약 42.3분으로 가장 짧은 학습 시간을 보였으며, MobileNetV2(109.4분), ResNet-50(305.6분), EfficientNet-B0(456.4분) 순으로 학습 시간이 증가하였다. 이러한 차이는 네트워크 깊이와 블록 구조의 복잡성 증가로 인해 요구되는 연산량의 차이에서 비롯된 것으로 판단된다.

분류 성능과 학습 시간을 함께 고려하면, EfficientNet-B0는 가장 높은 시험 Macro-F1 score(0.950)를 나타냈으나 가장 긴 학습 시간이 필요하였다. 반면 GoogLeNet은 학습 시간은 가장 짧았으나 분류 성능은 상대적으로 낮은 수준(0.920)을 보였다. MobileNetV2는 비교적 짧은 학습 시간과 함께 높은 Macro-F1 score(0.938)를 나타내어 성능과 계산 효율 간 균형 측면에서 유리한 특성을 보였으며, ResNet-50은 MobileNetV2보다 긴 학습 시간이 요구되었으나 분류 성능은 유사한 수준(0.940)을 나타내었다.

추론 시간에서도 모델 간 차이가 확인되었다. GoogLeNet과 ResNet-50은 단일 이미지 기준 약 6.3–7.5 ms의 비교적 빠른 추론 속도를 보였으며, MobileNetV2와 EfficientNet-B0는 각각 약 10.7 ms와 17.6 ms의 추론 시간이 소요되었다(Table 7). 다만 모든 모델은 단일 이미지 기준 추론 시간이 20 ms 이하로 나타나, 실무 적용 가능성을 검토하기 위한 계산 효율 수준을 충족한 것으로 판단된다.

결과적으로, 본 연구에서 사용한 CNN 모델들은 분류 성능과 계산 효율 간의 상충 관계를 나타냈다. 또한 데이터 수와 하이퍼파라미터 설정에 따라 달성 가능한 분류 성능 수준과 계산 비용이 달라질 수 있음을 확인하였으며, 실제 적용 시에는 요구되는 분류 성능과 사용 가능한 계산 자원을 종합적으로 고려한 모델 선택이 필요하다.

Fig. 5. Comparison of training time among CNN models under the representative test condition