Mobile QR Code QR CODE

Journal of the Korea Concrete Institute

J Korea Inst. Struct. Maint. Insp.
  • Indexed by
  • Korea Citation Index (KCI)

  1. (학생회원, 성균관대학교 미래도시융합공학과 석사과정)
  2. (정회원, 성균관대학교 건설환경공학부 연구교수)
  3. (학생회원, 성균관대학교 미래도시융합공학과 석사과정)
  4. (학생회원, 성균관대학교 건설환경시스템공학과 석사과정)
  5. (정회원, 성균관대학교 건설환경공학부 교수)



GPR, B-scan, 히트맵, 합성곱 신경망, 철근, 두께
Ground Penetrating Radar, B-scan, heatmap, Convolution Neural Network, Rebar Thickness

1. 서 론

최근 도시환경이 점점 복잡해짐에 따라 시설물의 재정비 및 재개발 시 기존 매설물들에 손상이 가해질 위험이 증가하고 있다(Lester and Bernold, 2007). 따라서 시설물의 유지관리를 위해 기존 도면에서 확인할 수 있는 주어진 위치에서의 매설물 감지뿐만 아니라, 도면에서 확인할 수 없는 매설물에 대한 정보가 필요한 상황이다(Sajad et al., 2017).

특히, 시설물 시공 시 철근 절단 및 철근 누락과 같은 부실시공에 대한 유지관리가 필요해지면서 시설물의 도면과 같은 정보 외에도 이를 검사할 방법이 요구되고 있다. 목감수질복원센터 철근 누락 시공(2013), 대우건설 시공 아파트 철근 누락(2014), 동부건설 아파트 천장 보 절단(2014) 등 국내의 시설물 부실시공 사례를 통해 볼 수 있듯이, 철근 누락 및 절단에 의한 부실시공의 사례가 빈번하게 발생하고 있는 것을 확인할 수 있다. 또한 최근 지진 발생빈도가 빈번해짐에 따라 시설물의 내진 설계가 강조되는 시점에서, 철근에 의한 부실시공 발생 시 흔들림에 취약해져 내진성능이 떨어지는 문제점이 발생하기 때문에 설계도면을 지키지 않은 규격 미달 철근의 사용 및 배근 시공은 안전에 매우 취약해질 수 있다. 특히, 규격 미달 철근 사용의 경우 정밀 안전진단을 위해서 철근 두께에 대한 정보가 필수적이다.

오늘날 시설물 내부의 철근 두께 정보 취득을 위한 연구가 활발하게 진행되고 있다. 매설된 파이프의 지름을 추정하기 위해 전자기파법을 이용하여 이를 예측하는 연구가 이루어졌고(Windsor et al., 2005), 콘크리트에 매립된 철근의 데이터를 전자기파법을 사용하여 그래프화 하고, 이를 이용하여 철근의 두께 예측에 관한 연구가 진행된 바 있다(Shihab and AI-Nuaimy, 2005). 더 나아가 딥러닝을 이용한 연구로써, 전자기파법 데이터 기반 합성곱 신경망을 이용한 방법과(Maha et al., 2018) deep CNN(Convolution Neural Network)을 적용한 방법(Kazuya et al., 2018) 등 다양한 기법이 제안되고 있다. 그러나 기존의 철근 두께 예측기법에 관한 연구는 데이터 처리에 많은 시간을 소비하고, 밀집된 철근에 대해 신호 간섭(Noise)이 일어날 경우 효과적인 철근 직경의 추정 및 측정이 힘들다는 한계점이 존재한다. 또한 기존의 딥러닝 기법을 이용한 철근 두께 예측에 관한 연구는 정확도가 높지 않다는 한계점을 가지고 있다.

따라서 본 논문에서는 시설물 내부의 철근의 두께를 예측하기 위해 지상 관통 레이더(Ground Penetrating Radar)를 이용하여 철근을 탐상하고 두께를 예측하는 기법을 제안하고자 한다. GPR은 비파괴시험(NDT, Non-Destructive Testing)을 위한 장비 중 하나로써, 다양한 주파수 대역의 전자기파를 지반 혹은 구조물 내로 전파한 후 내부에서 반사되는 신호를 분석하여 층리의 위치, 바위와 철근, 또는 파이프와 같은 매설물이나 동공을 찾는 데 많이 이용되고 있다(Rhee et al., 2017).

본 연구에서는 아크릴 시편을 제작하여 ∅10mm, ∅20mm, ∅30mm의 두께를 갖는 철근을 설치하여 각각의 직경에 대한 GPR B-scan 이미지 데이터를 취득하였으며 migration을 통해 히트맵(heatmap) 이미지 데이터로 변환시켰다. B-scan 이미지 데이터와 히트맵 이미지 데이터와의 비교 검증을 위해 각각의 이미지 데이터에서 철근에 대한 영역을 추출하였다. 추출한 영역의 이미지 데이터를 이용하여 검증데이터 및 학습데이터를 구축하고, Deep Learning 기반 합성곱 신경망(CNN)을 이용하여 철근의 두께를 예측하는 기법을 검증하고자 하였다.

2. 본 론

2.1 철근 두께 예측을 위한 GPR 탐사 원리 및 CNN 원리

2.1.1 GPR 탐사 원리

GPR 탐사 시 유전율이 다른 매질을 Tx안테나(Transmitter)를 통해 전자기파를 방사시켜 Rx안테나(Receiver)에서 신호를 수신하여 받아들인다. 전자기파의 진폭 크기 및 왕복 시간에 대한 정보가 수신된 신호에 저장되며, 진폭의 크기 변화를 통해 매설물의 깊이 및 존재여부를 확인한다(Lee, 2016).

GPR의 전파특성으로는 유전상수(Dielectric Constant) 및 전기전도도(Electric Conductivity)가 있다. 유전상수는 매질의 극성과 관련된 상수를 의미하며, 값이 큰 매질일수록 전자기파의 진행을 크게 방해하기 때문에 전파속도가 줄어든다. 금속을 제외한 대부분의 매질의 유전상수는 1-81 사이에 있으며, 같은 물질이라도 함수율의 증가에 따라 유전상수도 증가한다.

(1)
$\lambda_{l}=\dfrac{\lambda_{f}\times C}{10^{9}\times\varepsilon_{r}}(cm)$

식(1)에서 $\lambda_{f}$은 전자기파의 1파장, $\lambda_{l}$은 땅속에서의 1파장의 길이, C는 빛의 속도, 마지막으로 $\varepsilon_{r}$은 유전상수를 의미한다. GPR의 분해능은 $\lambda_{l}$의 절반 값을 말하며 이는 GPR 탐사가 가능한 최소크기의 물체를 말한다. 식(1)에서 유전상수가 클수록 분해능이 떨어지는 것을 알 수 있으므로, 이는 유전상수가 큰 매질일수록 GPR 탐사 시 좋은 결괏값을 얻기 힘들다는 것을 의미한다.

전기전도도는 매질 내 자유전자의 흐름을 나타내는 상수로써 전자기파의 감쇠율을 결정한다. 전기전도도가 큰 금속의 경우 전자기파의 에너지는 표면에서부터 급격하게 감소하고 진행이 곧 차단된다. 일반적으로 $10^{-7}$(ohm/m)보다 작은 전기전도도는 좋은 조사 조건을 가지고 $10^{-7}$~$10^{-2}$(ohm/m)는 보통의 조사 조건을, $10^{-2}$(ohm/m)보다 큰 전기전도도의 경우 나쁜 조사 조건을 가진다(Ahn, 2009).

GPR 데이터는 매질과 매설물 사이의 전자기적 특성 차이가 클수록 결과가 뚜렷하게 나타난다. Table 1은 매질의 전자기적 특성을 보여준 예시이다. 물의 경우 유전상수가 81로 가장 크며, 공기의 유전상수의 경우 1로 가장 작은 것을 볼 수 있다. 따라서 유전상수 및 감쇠율 모두 큰 철근의 경우 공기 중 또는 콘크리트와 같은 매질에서 뚜렷한 결괏값을 보여준다.

GPR 데이터 취득 시, 일반적인 B-scan 이미지 데이터의 경우 Fig. 1(a)에서 보이는 것과 같이 포물선의 형태에 대한 데이터를 취득하게 된다. B-scan 이미지 데이터는 migration을 통해 Fig. 1(b)과 같은 히트맵으로 변환시킴으로써 매설물에 대해 더욱 직관적인 데이터로 나타낼 수 있다. 히트맵 이미지 데이터로 변환 시 매설물의 존재에 따라 색의 밝기가 변하며, 색이 밝아질수록 매설물이 존재할 확률이 높고(Chae et al., 2019), 매설물의 크기에 따라 히트맵의 범위가 변하는 특성을 가진다.

Table 1. Values of electromagnetic properites for various materials

물질

유전상수

속도

(cm/nsec)

감쇠율

(dB/m)

공기

1

30

0

콘크리트

6~12

8~12

1~100

물(담수)

81

3.3

0.1

철근

200~

2~

300~

Fig. 1. B-scan and heatmap image data

../../Resources/ksm/jksmi.2019.23.7.66/fig1.png

2.1.2 CNN(Convolution Neural Network) 원리

최근 이미지 및 영상 인식에서 합성곱 신경망(CNN)은 뛰어난 성능을 보여주고 있다. CNN은 입력층과 출력층 사이에 많은 은닉층을 포함한 구조를 가진다. 은닉층은 합성곱층(convolutional layer), 결합층(Pooling layer), 완전 연결층(fully-connected layer) 등으로 이루어져 있다. 보통의 CNN 모델들은 합성곱층을 거치고 나온 특징 지도(feature map)를 다시 합성곱층을 거치거나 결합층을 거치게 되고, 마지막 단계는 완전 연결층을 거침으로써 마무리하게 된다.

합성곱층에서는 필터 또는 커널에 의해서 탐색 과정을 거치게 되고 특징 지도가 생성되는데, 필터는 2차원의 값으로 이루어진 가중치 값을 가지고 있으며, 여러 특징 지도를 추출하고자 할 때는 필터의 수를 조절하면 된다(Chae et al., 2019). 결합층은 추가적인 추상화 및 노이즈 제거를 위한 층으로써, 특징 지도의 크기를 결합 연산을 통해 줄여주는 역할을 한다. 보통 최댓값 결합(max pooling) 방식을 사용하며, 결합층 역시 합성곱층과 마찬가지로 필터에 의해 탐색 과정을 거치게 되고 결합 함수를 통해 결과를 하나로 요약해 준다. 일련의 과정을 거친 뒤, CNN의 마지막 층인 완전 연결층을 적용하기 위해서 마지막 결합층의 모든 노드를 일차원으로 만드는 작업(flattening)이 필요하다. 노드를 일차원으로 만든 후에는 보통의 다층 신경망과 똑같이 일차원으로 만들어진 노드들을 입력층으로 하여 완전 연결층을 구성한다.

활성 함수(Activation Function)는 다음 층으로 입력 데이터를 출력할지 결정하는 역할을 하며, 어떤 활성 함수를 쓰는지에 따라 CNN의 성능이 달라질 수 있으므로 매우 중요한 요소이다. CNN의 성능 저하의 이유 중 하나인 기울기 소실(Gradient Vanishing)을 해결하기 위해 다양한 활성 함수가 존재하며, 대부분 정규화 선형 유닛(ReLU, Rectified Linear Unit)을 이용하고 있다(Park and Kim, 2018). 또한 멀티 클래스를 분류하기 위해 softmax 함수를 사용하는 등(Bae and Kim, 2019) 활성 함수를 이용하여 CNN의 정확도를 높일 수 있다.

Photo 1 Specimen for data acquisition

../../Resources/ksm/jksmi.2019.23.7.66/photo1.png

2.2 실험 계획 및 구성

CNN을 적용하기 위한 데이터 취득을 위해 Photo 1(a)과 같이 시편을 제작하였다. 시편은 80×80×50(cm)의 아크릴 상자로써 철근을 설치하기 위해 높이 25cm 위치에 ∅31mm 크기의 구멍을 내었다.

Photo 1(b)은 왼쪽부터 직경 ∅10mm, ∅20mm, ∅30mm에 대한 철근 시편이며 공기 중에서 GPR 데이터의 노이즈가 가장 최소화되기 때문에, 학습 결과를 극대화하기 위해 공기 중에서 각 직경 별 철근에 대해 Proceq사의 GPR live 장비를 사용하여 100개씩 총 300개의 B-scan 이미지 데이터를 취득하였다.

Photo 2 GPR live equipment and data acquisition method

../../Resources/ksm/jksmi.2019.23.7.66/photo2.png

Table 2. Spec of GPR live equipment

spec

Frequency range(GHz)

Sampling speed(GHz)

Antenna gap(cm)

GPR live

0.2~4.0

20.48

7.2

Fig. 2. CNN model schematic

../../Resources/ksm/jksmi.2019.23.7.66/fig2.png

취득한 B-scan 이미지 데이터는 migration을 통해 히트맵 이미지 데이터로 변환하였으며 B-scan 및 히트맵 이미지 데이터에서 철근이 검출된 영역을 추출하여 학습데이터 및 검증데이터를 구축하였다. 학습 및 검증데이터는 32×32픽셀로 설정하였으며, 히트맵 이미지 데이터는 R, G, B 값을 갖는 컬러로 구성되어 있기 때문에 3 차원(3-dimension)으로 CNN에 사용되는 필터를 설정해 주었다.

Fig. 2는 본 연구에 사용한 CNN 모델을 간략하게 추상화한 그림이다. 첫 번째 합성곱층에 사용한 필터는 총 32개의 3×3 크기의 필터를 사용하였고, 두 번째 합성곱층에서는 총 64개의 3×3 크기의 필터를 사용하였으며, 각 합성곱층에서 활성함수로 ReLU 함수를 사용하였다. 또한 각각의 결합층에서는 2×2크기의 필터를 이용하였다.

2개의 합성곱층과 2개의 결합층인 비교적 간단한 모델을 이용하였으며, 마지막 단계인 완전 연결층에서 softmax 함수를 이용하여 추출된 특성을 통해 철근의 두께별 이미지 분류를 진행하였다.

2.3 실험 결과

실험은 먼저 히트맵 이미지 데이터를 이용하였을 때 철근 두께 예측의 우수성 비교를 위해 GPR 데이터 분석에 주로 이용되는 B-scan 이미지 데이터를 이용하여 학습 및 검증데이터를 구축하여 구성한 CNN 모델에 50회(Epoch) 학습시켰다. 같은 방법으로 히트맵 이미지를 이용하여 CNN 모델에 학습시켰으며 학습 및 검증데이터에 대한 손실률과 정확도는 Figs. 34와 같이 나타났다.

실험 결과 B-scan 이미지 데이터를 사용한 것보다 히트맵 이미지 데이터를 사용하여 CNN으로 학습한 결과가 더 좋은 것을 확인할 수 있었다. B-scan 및 히트맵 이미지 데이터 모두 Figs. 3(a)Figs. 4(a)를 보았을 때, 학습데이터 및 검증데이터의 손실률 그래프가 점점 낮아지는 추세를 보이기 때문에 과적합(overfitting)이 발생하지 않았음을 확인할 수 있다.

B-scan 이미지 데이터의 경우 학습 횟수가 증가할수록 학습데이터 및 검증데이터의 손실률이 0.4 즉, 40%정도 되는 것을 Fig. 3(a)을 통해 볼 수 있었으며, 정확도 또한 학습데이터와 검증데이터가 큰 차이를 보이는 것을 Fig. 3(b)을 통해 확인할 수 있었다.

반면 히트맵 이미지 데이터의 경우, 학습 횟수가 증가할수록 학습데이터 및 검증데이터의 손실률이 점점 0에 가까워지는 것을 Fig. 4(a)를 통해 확인할 수 있으며, 정확도는 1에 가까워지는 것을 Fig. 4(b)를 통해 확인할 수 있었다.

훈련된 CNN 모델을 이용하여 15개의 B-scan 및 히트맵 이미지에 대한 철근 두께 예측을 진행한 것을 Figs. 56에 나타내었다. Figs. 5와 6에서 보이는 B-scan 및 히트맵 이미지는 테스트에 사용한 이미지를 가시화한 것이고, 이미지 아래의 라벨은 차례대로 예측한 철근 두께, 정확도, 실제 철근의 두께를 나타낸다. 이미지의 오른쪽의 막대 그래프는 철근 직경의 예측 비율을 가시화한 것으로써, 가장 왼쪽 막대 그래프부터 순서대로 ∅10mm, ∅20mm, ∅30mm의 철근 직경을 의미한다.

B-scan 이미지를 이용하여 철근 직경을 예측 결과 15회의 테스트 중 8회를 올바르게 예측하였으며, 7회를 올바르게 예측하지 못하는 결과를 볼 수 있었다. 하지만 올바르게 예측한 결과 또한 38%~45%의 정확도를 보여주었으며, 이는 히트맵 이미지를 이용하여 철근 직경을 예측한 Fig. 6(b)의 결괏값인 15회의 테스트 모두 올바르게 예측한 결과와 87%~100%의 정확도와 비교하였을 때 히트맵 이미지를 이용하여 철근 직경을 예측한 결과가 더 정확하다고 할 수 있다.

이에 본 연구를 통해 히트맵 이미지를 이용하여 CNN을 적용한 결과가 B-scan 이미지 데이터를 이용한 것보다 정확하게 철근 두께를 예측할 수 있음을 확인하였다. 추후 이를 이용하여 다양한 매질에 대한 학습 및 검증 데이터를 구축하여 시설물 내부 철근 직경에 대한 예측이 가능함을 확인하였다.

Fig. 3. Loss rate and accuracy of B-scan image data

../../Resources/ksm/jksmi.2019.23.7.66/fig3.png

Fig. 4. Loss rate and accuracy of heatmap image data

../../Resources/ksm/jksmi.2019.23.7.66/fig4.png

Fig. 5. Rebar diameter prediction using a B-scan image data

../../Resources/ksm/jksmi.2019.23.7.66/fig5.png

Fig. 6. Rebar diameter prediction using a heatmap image data

../../Resources/ksm/jksmi.2019.23.7.66/fig6.png

3. 결 론

본 연구에서는 GPR 데이터를 활용하여 현장에서 신속하게 시설물 내부 철근 두께를 예측하기 위해 GPR 데이터를 활용한 철근 두께 예측 기법에 관한 연구를 실시하였다. 보편적으로 매설물 검출에 이용되는 GPR의 B-scan 데이터는 철근의 깊이 및 유무에 대해 신속한 검출이 가능하지만, 철근의 두께를 알아내는 데는 상당한 시간이 소요되기 때문에 현장에 이를 바로 적용하기 힘든 한계점이 존재한다. 이에 GPR 데이터를 미리 학습시켜 신속한 철근 두께 예측에 관한 기초연구로써, 이미지 분류에 널리 사용되고 있는 CNN을 활용하여 이를 GPR 데이터에 적용하기 위한 실험을 진행하였다.

먼저 철근 두께별 GPR 데이터를 취득하기 위해 아크릴을 이용해 시편을 제작하였으며 ∅10mm, ∅20mm, ∅30mm 두께의 철근에 대한 GPR B-scan 이미지 데이터를 취득하였다. B-scan 이미지 데이터의 경우 가시성이 높지 않기 때문에 migration을 통해 히트맵 이미지 데이터로 변환해 줌으로써 가시성을 높일 수 있었다.

보편적으로 이용되는 B-scan 이미지 데이터와 히트맵 이미지 데이터의 CNN 적용 시 결과를 비교하기 위해 B-scan 및 히트맵 이미지 데이터에서 철근에 대한 영역을 각각 추출하여 학습 및 검증 데이터를 구축하였으며, 2개의 합성곱층과 2개의 결합층을 가진 CNN 모델에 이를 학습시켰다. 학습된 모델을 이용하여 철근 두께 예측에 관해 검증한 결과 히트맵 이미지 데이터의 경우 B-scan 이미지 데이터와 비교하였을 때, 더 좋은 결괏값을 얻을 수 있었으며 이에 히트맵 이미지 데이터를 활용하여 시설물 내부 철근 두께 예측의 가능성을 검증하였다.

향후 더 많은 데이터 취득을 통하여 다양한 철근 직경에 대한 학습 및 검증 데이터를 구축하고, 다양한 매질에 이를 적용하고자 한다. 또한 더욱 복잡한 CNN 모델을 이용하여 높은 정확도의 결괏값을 도출해 내어 현장 적용성을 높임으로써 스마트시티 구현에 이바지하고자 한다.

Acknowledgements

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(No. NO. NRF-2017R1A2B3007607)과 국토교통부의 스마트시티 혁신인재육성사업의 지원을 받아 수행되었습니다.

References

1 
I. Kazuya, I. Shinichiro, O. Kyosuke, M. Toshifumi, 2018, Object Detection in Ground-Penetrating Radar Images Using a Deep Convolutional Neural Network and Image Set Preparation by Migration, International Journal of Geophysics, Vol. 2018, No. , pp. 1-8DOI
2 
K. Morton, Recognizing subsurface target responses in ground penetrating radar data using convolutional neural networks, SPIEDOI
3 
J. Chae, H. Y. Ko, B. G. Lee, N. Kim, 2019, A Study on the Pipe Position Estimation in GPR Images Using Deep Learning Based Convolutional Neural Network, Journal of Internet Computing and Services, Vol. 20, No. 4, pp. 39-46DOI
4 
H. Y. Ko, N. Kim, 2019, Performance Analysis of Detecting buried pipelines in GPR images using Faster R-CNN, Journal of Convergence for information Technology, Vol. 9, No. 5, pp. 21-26DOI
5 
K. Venceslav, Sinisha P. , Dimitar T. , 2018, Detection and Classification of Land Mines from Ground Penetrating Radar Data Using Faster R-CNN, Published in 26th Telecommunications Forum, IEEE, BelgradeDOI
6 
C. Windsor, L. Capineri, P. Falorni, S. Matucci, G. Borgioli, 2005, The estimation of buried pipe diameters using ground penetrating radar, Journal of Insight, Vol. 47, No. 7, pp. 394-399DOI
7 
S. Shihab, W. AI-Nuaimy, 2005, Radius Estimation for Cylindrical Objects Detected by Ground Penetrating Radar, Journal of Subsurface Sensing Technologies and Applications, Vol. 6, No. 2, pp. 151-166DOI
8 
S. W. Park, D. Y. Kim, 2018, Comparision of Image Classification Performance by Activation Functions in Convolutional Neural Networks, Journal of Korea Multimedia Society, Vol. 21, No. 10, pp. 1142-1149DOI
9 
J. Bae, J. Kim, 2019, Deep Learning Music genre automatic classification voting system using Softmax, Journal of the Korea Institute of Information and Communication Engineering, Vol. 23, No. 1, pp. 27-32DOI
10 
J. Y. Rhee, H. S. Kim, J. J. Choi, 2017, Deterioration Characteristics of Concrete Bridge Decks and Advances in Condition Assessment with Air-coupled GPR, Journal of the Korea Concrete Institute, Vol. 29, No. 2, pp. 737-738Google Search
11 
H. H. Lee, 2016, Image Processing of GPR Detection Data, Journal of the Korea Institute for Structural Maintenance and Inspection, Vol. 20, No. 4, pp. 104-110Google Search
12 
H. W. Ahn, 2009, Underground Buried GPR Exploration Study for Subway Construction, Inha University, Master degree paperGoogle Search