3.1 철근 배근 영상 데이터의 수집

철근 배근 장면은 주로 건축물 시공 현장에서 관찰된다. 그러나 이러한 장면은 건설 현장에서 직접 카메라로 촬영해야만 데이터를 얻을 수 있다. 철근 콘크리트 작업이 한창 진행되고 있는 현장에서 이러한 데이터 수집은 시공 작업을 방해할 뿐만 아니라 안전상 위험성이 높다. 최근 건설 현장에 고정형 CCTV를 설치하여 시공 상황을 관찰하는 시스템이 소개되었다^{(Seong et al., 2023)}. 이러한 장치는 작업자나 시공 과정을 방해하지 않고 영상 데이터를 수집할 수 있다는 장점이 있다. 하지만, 이러한 방법은 시공 현장에 사각지대가 있을 수밖에 없고, 다양한 데이터를 확보하기 어렵다.

본 연구에서는 다양한 영상 데이터를 확보하기 위해서 웹 크롤링(web crawling) 기술을 사용하였다. 이는 인터넷에 존재하는 웹사이트를 자동으로 탐색하면서 관련 정보를 수집하는 기술이다. 본 연구에서는 철근 콘크리트 작업 현장을 촬영한 영상을 수집하는 데에 이 기술을 적용하였다. 이 때 사용하는 키워드는 Table 1과 같다. 10개의 언어를 통해서 검색의 범위를 넓히고 다수의 영상 데이터를 확보할 수 있도록 하였다. 이 키워드 외에도 “건설현장 철근”, “기둥 철근 케이지” 등 추가 검색어를 포함해 총 200개의 키워드를 활용하여 영상 데이터를 수집하였다.

웹 크롤링을 통해 수집된 영상 데이터는 Fig. 1과 같다. 각각의 언어에 의해 검색된 영상은 해당 언어를 사용하는 국가의 특징을 어느 정도 담고 있다. 예를 들어, 한국어를 통해 검색된 영상에는 한국어로 된 표지판이 포함되어 있다. 또한, 중국어, 힌두어, 아랍어, 뱅갈어로 탐색된 영상에는 해당 언어가 captioning으로 각각의 그림에 삽입된 것을 알 수 있다. 이러한 방법으로 검색된 영상은 크기가 일정하지는 않지만 모두 ‘철근’ 키워드를 포함하는 것으로 나타났다. 이 방법을 통해서 총 검색된 영상 수는 총 2,800여장이고, 최종적으로 영상의 크기를 512 × 512로 변경하였다. 그리고 이중에서 1,600여장을 훈련용 데이터, 450여장은 검증용 데이터, 나머지 450여장은 실험용 데이터로 사용하였다.

Fig. 1 Dataset for rebar images

3.2 철근 및 배근 장면의 텍스트 데이터 수집

최근에는 영상을 새롭게 편집하기 위해 해당 영상을 설명하는 텍스트 데이터를 활용하는 방식이 널리 사용되고 있다. 트랜스포머(Transformer) 모델의 등장으로 서로 다른 형태의 데이터를 정교하게 연계할 수 있게 되었으며, 이를 통해 멀티모달 형식의 데이터 처리도 가능해졌다^{(Vaswani et al., 2017)}. 특히 어텐션 메커니즘의 query, key, value 간 관계가 학습 과정을 거쳐 데이터 세트에 최적화되면서, 텍스트 데이터와 영상 데이터가 유기적으로 연결될 수 있게 되었다. 이로써 개별 단어가 지닌 의미론적 지식(semantic knowledge)을 더욱 자연스럽고 정밀하게 표현할 수 있게 되었으며, 그 결과 텍스트 기반 영상 생성 제어 또한 한층 정교해졌다.

본 연구에서도 이를 위해 수집된 영상에 대응하는 텍스트 데이터가 필요하다. 즉, 각 영상의 상황을 구체적으로 설명할 수 있는 텍스트가 확보되어야 한다. 비록 철근 콘크리트 영상은 특정 검색어를 바탕으로 수집되었지만, 이러한 키워드만으로는 영상에 담긴 모든 상황을 충분히 표현하기 어렵다. 더불어, 모든 영상에 대한 설명문을 사람이 직접 작성하는 방식은 시간과 비용이 과도하게 소요되어 비효율적이다. 이러한 문제를 해결하기 위해 본 연구에서는 ChatGPT Application Programming Interface(API)를 활용하였다. ChatGPT는 영상을 입력받아 해당 내용을 설명하는 캡션(caption)을 자동으로 생성하는 기능을 제공한다. 일반적으로는 대화형 방식으로 사용되지만, 본 연구에서는 대량의 데이터를 신속하게 확보하기 위해 Python 기반 API 방식을 적용하였다. 이를 통해 모든 영상에 대한 텍스트 데이터를 Fig. 2와 같이 구축하였다.

Fig. 2 Dataset: (a) damage image and (b) text data

3.3 초해상화 생성형 AI 활용 및 신경망 모델 훈련

본 연구에서 제안된 초해상화(super-resolution, SR) 기법을 학습하기 위해, 먼저 고해상도(high-resolution, HR) 영상을 인위적으로 축소하여 저해상도(low-resolution, LR) 영상을 생성한 뒤 이를 복원하는 방식을 적용하였다. 구체적으로는 512×512 크기의 HR 영상을 256×256으로 축소하여 LR 영상을 제작하고, 이를 HR 영상과 함께 학습 데이터로 활용하여 초해상화 신경망(SRNet)을 훈련하였다. 훈련 과정에서 SRNet은 LR 영상을 입력으로 받아 출력된 SR 영상이 HR 영상과의 차이를 최소화하도록 가중치가 갱신되며, 이를 통해 실제 고해상도 구조와 유사한 복원 결과를 생성할 수 있도록 학습된다. 이러한 절차는 알고리즘 성능을 객관적으로 평가하기 위해 초해상화 연구에서 널리 활용되는 일반적인 실험 설계 방식이다. 이러한 방식으로 훈련된 모델은 실제 현장에서 취득한 영상을 입력으로 하여 2배의 해상도로 복원할 수 있으며, 이를 통해 현장 영상의 품질을 향상시키고 보다 선명한 시각 정보를 확보할 수 있다.

본 연구에서 사용한 영상 데이터는 웹 크롤링을 통해 수집된 것으로, 초기 단계부터 고품질의 영상을 확보하기 어려운 한계가 있다. 일반적으로 SR 알고리즘을 개발하기 위해서는 고해상도 훈련 데이터가 필수적이지만, 크롤링 영상은 이를 직접 제공하지 못한다. 이러한 문제를 해결하기 위해, 본 연구에서는 Fig. 3과 같이 Stable Diffusion X4(SDX4) 모델을 활용하였다. SDX4는 잠재 확산 모델(latent diffusion model)에 기반한 초해상화 기법으로, 저해상도 영상을 잠재 공간(latent space)으로 변환한 뒤 점진적인 잡음 제거 과정을 통해 고해상도의 영상을 복원한다^{(Rombach et al., 2022)}. 학습 단계에서는 원본 영상에 가우시안 잡음을 점차 주입하는 전방 확산(forward diffusion) 과정을 수행하며, 이후 역방향 과정(reverse diffusion)에서는 U-Net 기반 신경망이 확률적 샘플링을 통해 잡음을 단계적으로 제거하면서 원본 영상을 복원한다. 이 과정에서 포함된 attention mechanism은 영상의 지역적 특징과 전역적 문맥 정보를 동시에 학습할 수 있도록 하여, 세부 텍스처와 전체 구조 간의 균형 잡힌 복원을 가능하게 한다. SDX4모델은 이러한 확산 과정을 바탕으로 입력 해상도의 4배 크기의 출력을 생성하며, 픽셀 공간에서 직접 연산하는 기존 방법과 달리 잠재 공간에서 학습이 이루어지기 때문에 계산 효율성을 높이면서도 구조적 정합성과 시각적 선명도를 유지할 수 있다. SDX4는 영상과 해당 텍스트 데이터를 입력받아 해상도를 4배 향상시키는 인공지능 모델이다. 이를 적용하기 위해, 먼저 훈련용 철근 배근 영상을 HR 영상으로 간주하였다. 그리고 해당 HR 영상을 256×256 크기로 축소해 저해상도 영상을 생성한 뒤, 다시 절반 크기인 128×128로 축소하여 SDX4에 입력하였다. 그 결과, 해상도가 4배 향상된 X4 영상(X4 image)을 생성하여 훈련 데이터로 활용하였다.

이렇게 확보한 X4 영상은 LR 영상과 함께 SRNet 학습에 활용하였다. X4 영상의 해상도는 512×512이므로, 이를 절반 크기로 축소하여 LR 영상과 동일한 해상도로 맞춘 후 학습에 사용한다. 학습 과정에서는 LR 영상과 축소된 X4 영상을 SRNet에 입력하고, 이를 통해 생성된 SR 영상이 각각 HR 영상과 X4 영상과 동일해지도록 훈련을 진행한다. 손실 함수로는 평균제곱오차(Mean Square Error, MSE)를 사용하여, 출력 영상이 각 목표 영상과 얼마나 유사한지를 정량적으로 평가한다. 결과적으로, 제안한 방법은 기존 HR 영상뿐 아니라 Stable Diffusion 기반으로 생성된 X4 영상을 함께 활용함으로써, 신경망을 보다 다양하고 풍부한 데이터로 학습시킬 수 있는 효과적인 접근법임을 확인하였다.

Fig. 3 Training Framework of Super Resolution Network with Stable Diffusion Model

4.1 평가 지표

본 연구에서는 생성된 철근 및 배근 영상의 품질을 정량적으로 평가하기 위하여 PSNR(Peak Signal-to-Noise Ratio)과 SSIM(Structural Similarity Index) 두 가지 지표를 활용하였다. 이 두 평가지표는 초해상화 영상 연구 분야에서 널리 사용되고 있으며, 각각 영상의 복원 정밀도 및 구조적 유사성을 평가하는 데에 강점을 가진다. PSNR은 Eq. (1)과 같이 고해상도 참조 영상과 복원된 영상 간의 픽셀 단위 차이를 기반으로 품질을 정량화하는 지표로, 다음과 같이 정의된다.

여기서 MAX는 영상의 최대 화소값으로 일반적으로 255다. MSE는 두 영상 간의 평균 제곱 오차를 의미한다. PSNR 값이 클수록 복원 영상이 참조 영상과 더 유사함을 나타낸다.

SSIM은 Eq. (2)와 같이 인간의 시각적 인지를 반영하여 영상의 밝기(luminance), 대비(contrast), 구조(structure)를 종합적으로 비교하는 지표로, 다음과 같이 정의된다.

여기서 μₓ, μᵧ는 각 영상의 평균, σₓ, σᵧ는 분산, σₓᵧ는 공분산이며, C₁, C₂는 계산의 안정성을 위한 상수이다. SSIM 값은 0에서 1 사이의 값을 가지며, 1에 가까울수록 두 영상 간의 구조적 유사성이 높음을 의미한다.

본 연구에서는 두 지표 모두를 종합적으로 고려함으로써 생성된 영상의 화질뿐만 아니라 구조적 정확도까지 정량적으로 평가하였다. 이를 통해 학습된 초해상화 모델의 실질적 성능을 객관적으로 검증할 수 있었다.

4.2 실험 환경 및 조건

실험에서는 총 500 epoch 동안 훈련을 진행하였다. 10 epoch마다 훈련된 가중치를 저장하고 검증용 데이터를 이용해서 정확도를 평가하였다. 이렇게 평가된 결과 중 가장 높은 PSNR 값을 기록한 epoch을 선정하였다. 선정된 모델을 실험용 데이터 세트에 적용하여 최종 성능을 평가하였다. 모델에 사용한 최적화 함수는 Adam을 사용했고, learning rate는 0.001이다. Beta-1과 beta-2는 각각 0.9와 0.999로 설정하였다.

초해상화를 구현하기 위해서 사용한 모델은 3가지다. 이들은 MSRN^{(Li et al., 2018)}, RCAN^{(Zhang et al., 2018)}, HAN ^{(Liu et al., 2021)}이다. MSRN(Multi-Scale Residual Network)은 다양한 스케일의 커널을 병렬적으로 활용하여 다중 해상도 특징을 추출하고, 이를 잔차 블록으로 연결하는 구조를 통해 복잡한 영상 세부 정보를 효과적으로 복원한다. 이 모델은 저해상도 영상 내의 텍스처와 경계선을 여러 스케일에서 동시에 학습할 수 있다는 점에서 높은 표현력을 가진다. RCAN(Residual Channel Attention Network)은 매우 깊은 CNN 구조 위에 채널 어텐션 메커니즘을 도입하여, 채널 간 상호작용과 중요도 차이를 학습할 수 있도록 설계되었다. 이를 통해 영상의 고주파 정보와 세밀한 질감을 효과적으로 보존하며, 특히 복잡한 구조물의 복원에 강점을 보인다. HAN (Hierarchical Attention Network)은 계층적 self-attention 구조를 도입하여 국소적인 특징뿐 아니라 전역적인 문맥 정보까지 반영할 수 있도록 구성된 신경망이다. 특히 구조적인 정보가 중요한 철근 및 배근 영상에서 효율적인 메모리 사용과 함께 높은 복원 성능을 보인다. 이 3가지 모델을 대상으로 초해상화 알고리즘을 개발하고 평가하였다.

본 연구에서는 초해상화 모델 훈련하기 위해 Intel Xeon 6226R 2.9 GHz, 320 GB 메모리, NVIDIA Quadro 8000을 사용하였으며, 운영체제는 Ubuntu 22.04를 사용하였다. 딥러닝 프레임워크는 PyTorch를 사용하였다.

4.3 실험 결과 비교 및 분석

본 연구에서는 초해상화 알고리즘을 개발하기 위해 영상의 해상도를 2배로 높이는 실험을 수행하였으며, 그 결과는 Table 2와 Table 3에 각각 제시하였다. 기존 방법(baseline method)은 일반적인 초해상화 기법을 적용하여 얻은 결과를 의미하고, 제안 방법(proposed method)은 수집된 영상과 더불어 Stable Diffusion X4 모델로 생성한 합성 영상을 훈련에 활용하는 방법이다.

Table 2는 검증용 데이터(Validation dataset)에 대한 성능 평가 결과를 나타낸다. 세 가지 대표적인 초해상화 모델(MSRN, RCAN, HAN)에 제안 기법을 적용한 결과, 모든 지표에서 기존 방법 대비 성능이 향상되었다. 예를 들어, MSRN 모델은 PSNR이 28.00 dB에서 28.34 dB로, SSIM이 88.74%에서 89.31%로 개선되었다. RCAN과 HAN 모델 역시 유사한 향상 경향을 보였으며, 평균적으로 PSNR은 27.75 dB에서 28.19 dB로, SSIM은 88.19%에서 89.00%로 향상되었다.

Table 3은 실험용 데이터(Test dataset)에 대한 성능 평가 결과를 보여준다. MSRN 모델은 PSNR이 27.58 dB에서 27.95 dB로, SSIM이 88.28%에서 88.90%로 향상되었다. RCAN 모델 역시 전반적으로 성능이 개선되었으며, HAN 모델은 SSIM이 87.31%에서 88.52%로 상승하여 기존 방법 대비 1.21%의 향상을 기록하였다.

또한 세 모델에 대한 평균 성능 향상 폭을 정량적으로 분석한 결과, Test dataset 기준으로 PSNR은 평균 0.45 dB, SSIM은 평균 0.85% 향상을 보였다. 이러한 결과는 제안 기법이 다양한 신경망 모델에 적용 가능하며, 안정적인 초해상화 성능을 제공한다. 따라서 본 연구의 방법은 기존 초해상화 신경망에 적용 가능한 효과적인 프레임워크로서, 철근 및 배근 영상의 구조적 특징과 고주파 정보를 보다 정밀하게 복원할 수 있음을 보여준다.

4.4 실험 결과 영상 비교

본 연구에서는 Stable Diffusion X4에 의한 초해상화 영상을 대신하여 새로운 방법을 제안하였다. 이를 검증하기 위해 먼저 Stable Diffusion X4를 적용한 초해상화 결과를 관찰하였으며, 이는 Fig. 4에 제시하였다. Fig. 4의 목적은 동일한 입력 영상에 대해 선형 보간 확대와 Stable Diffusion X4 기반 4배 초해상화가 시각 품질과 구조 정합성에 미치는 차이를 예시적으로 제시하는 데 있다. Fig. 4(a) 선형 보간은 픽셀 보간에 기반하여 구조 왜곡을 유발하지 않는 반면, 경계가 전반적으로 흐릿해지고 세부 질감이 소실되는 한계를 보인다. Fig. 4(b) Stable Diffusion X4 결과는 윤곽선 선명도와 미세 텍스처 표현이 현저히 개선되지만, 원본 구조 대비 환각적(hallucinatory) 디테일이 일부 삽입되거나 직선성 저하와 같은 구조적 불일치가 국소 영역에서 관찰될 수 있다. 이는 확률적 샘플링을 통해 시각적 세부를 추정⋅보강하는 확산 모델의 특성에 기인하며, 시각 품질 향상과 구조 정합성 간의 트레이드오프를 내포한다. 따라서 Fig. 4에서는 선명도 향상이라는 장점과 구조 왜곡 가능성이라는 단점이 동시에 나타난다. 이러한 관찰을 바탕으로, 본 연구에서는 철근 및 배근 영상의 특수성을 고려하여 원형 구조의 보존과 세부 묘사 간 균형을 동시에 달성할 수 있는 새로운 초해상화 기법이 필요하다.

이를 위해 본 연구에서는 Stable Diffusion X4 모델의 영상 복원 능력을 활용한 새로운 훈련 기법을 제안하였다. Stable diffusion이 저해상도 영상에서 고해상도의 선명한 영상을 생성할 수 있다는 점에 착안하여, 이를 초해상화 신경망의 훈련 데이터로 활용함으로써 성능 향상을 도모하였다. 제안된 기법을 철근 배근 영상에 적용하여 초해상화 실험을 수행하였으며, 그 결과는 Fig. 5에 제시하였다. Fig. 5에서 (a) 열은 원본 철근 배근 영상, (b) 열과 (c) 열은 각각 기존 방법과 제안 방법으로 생성한 초해상화 영상이다. 첫 번째 행을 살펴보면, (b) 열에서는 철 구조물 위에 놓인 철근이 왜곡되어 직선 형태를 유지하지 못하는 반면, (c) 열에서는 보다 정확하고 일관된 형상이 유지됨을 확인할 수 있다. 두 번째 및 세 번째 행에서도 유사한 경향이 나타난다. 기존 방법에서는 철근의 직진성이 저하되어 형태 왜곡이 두드러지며, 이는 초해상화 과정에서 영상 품질 저하가 발생했음을 의미한다. 반면, 제안된 방법을 적용한 (c) 열에서는 철근의 윤곽과 형태가 상대적으로 온전하게 복원되어, 구조적 특징이 보다 잘 보존되고 있음이 확인된다. 이러한 결과는 Stable Diffusion X4로 생성한 고품질 영상이 초해상화 신경망 훈련에 효과적으로 기여했음을 보여준다. 따라서 제안한 방법은 실제 촬영 영상의 왜곡을 줄이고, 보다 선명하고 구조적으로 정확한 철근 배근 영상을 복원하는 데 효과적인 접근법임을 알 수 있다. 비록 Table 2와 3에서 언급한 PSNR과 SSIM의 향상 폭은 수치적으로 크지 않지만, Fig. 5에서 확인되듯이 제안 기법은 기존 방법과 비교하여 철근의 직선성을 보다 안정적으로 유지하고 세부 텍스처를 더 선명하게 보존하였다. 이러한 점은 철근 및 배근 구조의 인식 정확성을 높이는 데 중요한 의미를 갖는다.

본 연구의 목적은 고해상도 영상이 주어진 조건에서의 일반적인 초해상화 알고리즘 개발이 아니라, 저해상도 영상만을 입력으로 하는 암맹 초해상화 방법을 제안하는 데 있다. 이를 검증하기 위해 Fig. 5의 (a)열에 제시된 영상은 상대적으로 해상도가 높고 선명한 원본 이미지를 선별하여 제시하였다. 이에 반해 (b)열과 (c)열은 비지도 학습 기반의 초해상화 과정을 거친 결과 영상이다. 그러므로 본질적으로 원본 영상과 동일한 수준의 화질을 복원하기는 어렵다. 이는 암맹 초해상화가 일반적인 초해상화 접근과 달리 고해상도 원본 영상을 활용하지 않고 저해상도 입력만으로 학습되기 때문에 나타나는 한계이며, 결과적으로 복원 영상에서는 화질 저하나 국소적 구조 왜곡이 불가피하게 나타날 수 있다. 그럼에도 불구하고 제안된 방법은 기존 방법과 비교할 때 윤곽선 보존과 직선성 유지에서 상대적으로 개선된 결과를 보였으며, 이는 저해상도 영상만 주어진 상황에서도 일정 수준 이상의 구조적 특징 복원이 가능함을 의미한다.

Fig. 4 Super resolution comparison: (a) Linear interpolation (b) Stable Diffusion X4

Fig. 5 Result images: (a) Original images, (b) Baseline method, (c) Proposed method