2.1 딥러닝 기반 영상 분할모델

2.1.1 Fully Convolutional Network (FCN)

Fig. 1와 같이 FCN은 이미지에서 대상의 특징을 추출하는 다운샘플링(Down-sampling) 과정과 대상의 위치를 찾는 업샘플링(Up-sampling) 과정으로 구성된다^{(Long et al., 2015)}. 다운샘플링 과정에서는 Fig. 2에 나타낸 바와 같이 컨볼루션 레이어(Convolution layer)가 이미지의 특징 정보를 추출하고, 주요 정보만을 풀링(Pooling) 과정으로 저장하게 된다. 이 과정을 여러 번 반복하여 얻은 정보를 통해 대상의 특징을 파악하고, 이를 업샘플링 과정으로 이전시킨다. 업샘플링 과정에서는 해당 특징의 위치를 언풀링(Unpooling)하여 특정함으로써 대상의 위치정보를 파악한다. FCN은 업샘플링에서 발생하는 위치정보의 손실 최소화하기 위하여 다운샘플링에서 컨볼루션 레이어의 일부를 참조한다.

Fig. 1 Structure of FCN

Fig. 2 Convolution layer

2.1.2 U-net

Fig. 3과 같이 U-net 또한 다운샘플링 과정과 업샘플링 과정으로 구성된다^{(Ronneberger et al., 2015)}. 이 방법은 모든 업샘플링 레이어에서 다운샘플링 단계의 컨볼루션 레이어를 참조하기 때문에 일반적으로 FCN대비 높은 분류정확도를 갖는다. 또한 컨볼루션 레이어에서의 중복 검증문제를 해결하여 학습 속도가 빠르다는 특징을 갖는다.

Fig. 3 Structure of U-net

2.1.3 DeepLab v3+

DeepLab v3+는 기본적으로 FCN모델과 유사한 구조로 되어 있지만, Fig. 4에 나타난 바와 같이 공간 피라미드 풀링 (Spatial Pyramid pooling) 기법이 활용된다^{(Chen et al., 2017)}. 이 기법은 빈 공간을 갖는 필터를 활용하며, 비율 (rate)의 값에 따라 빈 공간의 크기가 결정된다. 예를 들어, rate=1일 경우 필터에 빈 공간이 없으며, 비율이 커질수록 빈 공간이 넓어지게 된다. 이를 통해 Fig. 5와 같이 필터를 이용한 계산량을 적게 유지하면서도 한 픽셀로 볼 수 있는 영역을 넓게 가져갈 수 있다.

Fig. 4 Spatial pyramid pooling

Fig. 5 Atrous convolution

2.2 실험장비

Fig. 6 MobileNet

콘크리트의 표면 이미지를 취득하기 위하여 광학현미경(HT004, Gasworld)을 활용하였다. 콘크리트의 실제 공극률을 측정하기 위하여 X-ray Microscope (XRM, Xradia 620 Versa, Carl Zeiss)을 활용하였으며, Dragonfly Pro를 사용하여 XRM데이터를 3차원으로 가시화하였다. 비파괴 시험법에 기반하여 콘크리트의 압축강도를 추정하기 위하여 Concrete Test & Surveyor (CTS, HJ-CTS-02v04, Heungjin)를 활용하였다.

3.1 시편 제작

본 연구에서는 콘크리트의 표면 이미지를 수집하기 위해 물시멘트비를 변수로 하는 3종류의 콘크리트 실험체들을 제작하였다. Table 1에는 각 실험체의 콘크리트 배합비를 나타내었으며, 한 변의 길이가 50mm인 정육면체 실험체를 배합당 30개씩, 총 90개를 제작하였다(Fig. 7). 모든 실험체는 28일간 수중양생 되었다.

Fig. 7 Specimen

3.2 이미지 취득 및 예측 공극률 산정

86배율 및 500만 화소의 광학현미경을 활용하여 표면처리를 거치지 않은 실험체들의 표면 이미지를 취득하였다. 표면공극률의 변동성을 고려하기 위하여 모든 실험체(90개)를 이미지 취득에 활용하였다. 다만, 각 시편의 6개 면 중, 거푸집과 맞닿은 5개의 면에 대해서만 촬영이 이루어졌으며, 각 면당 6개의 구역을 나누어 표면 이미지를 촬영하였다. 그 결과, 총 2,729장(90개×5면×6구역 + 29장의 추가 이미지)의 이미지를 취득하였다. 이 중 총 139개 이미지의 공극을 마스킹하여 모델학습, 검증 및 시험(model training, validation and testing)에 활용하였으며, 나머지 2,590장의 이미지는 배합 별 공극률을 평가하는 데 사용되었다. 여기서 예측 공극률은 전체 이미지 면적 중 공극이 차지하는 면적의 비율로 산정되었다. Fig. 8 (a) 및 (b)는 각각 광학현미경으로 촬영된 실험체의 표면 이미지와 마스킹 된 이미지를 나타낸다.

Fig. 8 Surface images extracted by microscope

3.3 측정 공극률 산정

영상 분할기법을 통해 도출한 예측 공극률의 정확도를 평가하고자, XRM 및 수분 흡수법을 활용하여 공극률을 계측하였다. 각 배합 별 실험체를 10×10×10 mm3 크기로 절단하여 XRM 시편을 준비하였으며, Fig. 9는 XRM (X-Ray Microscopy)을 통해 촬영된 시편의 3차원 공극 구조를 나타낸다. 이때, 공극 구조는 Dragonfly Pro의 Threshold를 조절하며 공극을 구분하고 촬영한 것이다. 제안 방법은 굵은골재가 보이지 않는 표면 이미지를 바탕으로 예측 공극률을 산정하기 때문에, 굵은골재가 없는 3차원 영역의 XRM 결과를 활용하여 측정 공극률을 산정하였다.

수분 흡수법^{(Ahn et al., 2013)}으로 공극률을 측정하기 위하여 실험체를 100°C 환경에서 24시간 건조한 뒤, 1주일간 수중에 두어 실험체에 수분이 충분히 흡수될 수 있게 하였다. 이후 실험체의 변화된 중량을 통해 공극률($P$)을

으로 산정하였으며, 여기서, P는 백분율로 나타낸 시료의 공극률, $V_{sol}$는 공극을 제외한 시료의 부피, $V_{T}$는 시료의 부피, $W_{S}$는 시료의 수중중량, $W_{D}$는 시료의 건조중량, $\gamma_{W}$는 물의 단위중량을 나타낸다.

Fig. 9 3-Dimensionalized X-ray images (Type 1)

3.4 압축강도 평가

압축강도는 공극률과 강한 상관관계를 갖는 대체인자 이므로^{(Kumar et al., 2003)}, CTS(비파괴 시험, ^{Nitto, 2009)}와 Universal Testing Machine(UTM, 파괴 시험, ^{KS F 2405, 2022)}을 활용하여 콘크리트의 압축강도를 측정하였다. 압축강도 측정은 Type 별로 각각 지름이 100 mm이고, 높이가 200 mm인 원주형 공시체 3개에 대해 실시되었다. CTS를 활용할 경우, 원주형 공시체를 20회 타격하여 도출된 반발 경도 값에 기반하여 압축강도를 산정하였다.

3.5 모델학습

3.5.1 증강(Augmentation)

컴퓨터 비전은 이미지를 수치화하여 사용하므로, 회전, 반전 및 확대된 객체를 다른 객체로 인식할 수 있다. 이에 따라 이미지의 회전과 반전, 확대 등의 데이터 증강과정을 통해 추가 이미지를 확보하고, 학습에 활용하였다. 또한 모델이 다양한 크기 및 해상도의 이미지를 활용할 수 있도록 생성자(generator)를 거쳐 이미지의 크기를 256×256으로 변형하였다. 이후 전반적인 모델도출과정은 Fig. 10에 도식화하였다.

Fig. 10 Flowchart for model derivation

4.1 공극률

Table 4에는 XRM, 수분 흡수법, U-net을 통해 도출된 공극률을 비교하였다. 세 가지 측정법 모두 물시멘트비(w/c)가 높을수록, 높은 공극률을 나타내었다. Type 1에 대해서는 XRM과 U-net이 유사한 공극률을 나타내었으나, Type 2 및 3에 대해서는 U-net이 공극률을 조금 더 낮게 평가하는 경향을 나타내었다. 이는 XRM 에 비해 이미지 기반 Unet을 활용하여 계측할 수 있는 최소공극의 크기(XRM: 0.5μm, U-net: 20~30μm)가 크므로, w/c가 감소할수록 U-net이 관측할 수 없는 공극들이 많아지기 때문으로 판단된다. 수분 흡수법은 XRM 및 U-net보다 비교적 높은 공극률을 나타내었는데, 이는 XRM 및 U-net이 관측할 수 있는 공극보다 작은 공극(0.5μm 이하의 capilary void 등)에서도 수분흡수가 발생하기 때문으로 판단된다.

4.2 필요 표본크기

현장에서 취득한 콘크리트의 표면 이미지를 활용하여 신뢰성 있는 공극률을 추정하기 위해, 통계적 기법을 활용하여 필요한 표본의 수를 조사하였다. U-net과 2,729개의 이미지를 활용하여, 이미지마다 공극률을 도출하였으며, 도출 값이 정규분포를 따르는지 판단하기 위하여 Shapiro-Wilk test를 수행하였다. 귀무가설은 ‘정규분포를 따른다.’로 설정되었으며, 유의수준은 0.05로 설정하였다. Table 5에 나타낸 바와 같이, 모든 종류의 실험체에서 유의확률이 0.05보다 낮았으며, 이는 예측 공극률이 정규분포를 따르지 않는 것을 의미한다. 따라서, 다양한 확률분포를 모사할 수 있는 감마분포를 활용하여 모평균 추정에 필요한 최소 표본크기를 산정하였다.

표본크기($n$)는 아래와 같이 산정되었으며,

$Z$는 Z-score, $\sigma$는 표준편차, $d$는 허용오차 크기를 나타낸다. Table 6에는 신뢰수준 (90%, 95%, 99%) 및 허용 오차(2%, 1%, 0.5%)에 따른 필요 표본 개수를 나타내었다. 신뢰수준을 90%로 하고 허용오차를 1% 내외로 한다면 Type 1, 2, 3 실험체 별로 필요한 이미지 수는 각각 34, 9, 4장이었다.

4.3 압축강도

Table 7에는 CTS 해머와 UTM을 이용하여 측정한 압축강도를 나타내었다. CTS 해머의 시험 결과는 UTM을 통한 압축파괴시험과 비교할 때, Type 1과 3은 5MPa 내외로, Type 2는 10MPa 내외로 유사한 압축강도를 나타내었다.

4.4 공극률과 압축강도의 상관관계

Fig. 11에는 제안모델을 활용하여 얻어진 공극률과 UTM 및 CTS 해머로 계측된 압축강도를 비교한 것이다. 모델로 측정한 공극률은 압축강도와 모두 반비례하는 것으로 나타났다.

Fig. 11 Relationship between porosity and strength

5.1 추후 연구

추후 연구에서는 다양한 배율의 공극 이미지(멀티스케일 공극 이미지)를 활용하여 U-net 기반 영상 분할모델을 학습할 필요가 있다. 또한, 제안 방법은 공극률의 추정뿐만 아니라, 골재량 및 콘크리트 배합비를 추정하는 데에도 활용될 수 있으므로, 모델의 응용범위를 확장하여 콘크리트 품질평가에 이를 활용할 수 있도록 해야 할 것이다.