1. 서 론

교량의 건전도 모니터링 시스템(Structural Health Monitoring System)은 교량에 다양한 센서를 부착하여 교량의 거동응답을 실시간으로 모니터링하고 이를 분석하여 교량의 구조적 건전도 및 손상을 추정에 도움을 주는 시스템을 말한다. 이러한 교량의 손상 추정은 최근 수십년간 연구되어오고 있으며, 교량의 거동 응답을 분석하기 위하여 다양한 통계적 방법, 신호처리기법 등이 활용되고 있다. 이러한 손상 추정(Damage Detection)에는 교량 손상 전, 후의 거동 변화를 패턴화 하는 것이 중요한데, 최근 수년간에는 복잡한 자료에서 패턴을 찾아내는데 능한 딥러닝이 손상 추정 연구에 자주 사용되고 있는 추세이다.

딥러닝을 활용한 손상 추정 연구에서는 그 방법론으로 주로 Convolutional Neural Network (CNN)를 활용하고 있다(^{Lin et al., 2017}; ^{Abdeljaber et al., 2017}). 이러한 CNN을 이용한 딥러닝 기반 손상 추정 기법은 지도학습을 이용하고 있으므로, 손상 추정을 위한 CNN 모델을 학습하기 위해서는 교량의 손상 전, 후 계측된 거동 데이터와 손상 상태를 의미하는 라벨 데이터를 함께 확보하는 것이 필수적이다. 하지만 실제 현장에서 교량의 거동 데이터를 계측함과 동시에 교량 손상상태까지 확보하는 것은 쉽지 않다. 이에 따라 지도학습 기반의 딥러닝의 경우, 현장에서 수행되는 교량의 손상 추정에 있어서는 그 활용성이 떨어진다고 판단된다.

이러한 한계에 대하여 비지도학습을 이용하는 딥러닝이 해결 방안이 될 수 있다. 비지도학습은 지도학습과는 달리 라벨 데이터가 없이 딥러닝 모델의 학습이 가능하다는 장점이 있다. 즉, 비지도학습을 통해 손상 추정 모델을 개발하고자 한다면, 교량의 계측 데이터만으로 개발 가능할 수 있다. 이러한 점을 특성을 이용하여, 본 연구진은 선행 연구에서 비지도학습 기반 딥러닝 네트워크인 Autoencoder (AE)를 활용하여 교량의 손상 유무를 파악할 수 있는 손상 추정 기법을 제안한 바 있으며(^{Lee et al., 2018}), 이를 이론적으로 증명한 바 있다(^{Lee et al., 2019}).

한편, 해당 연구의 경우 손상의 유무만을 파악할 수 있는 방법론으로, 손상의 위치는 파악이 불가능 하였다. 이를 해결하기 위한 첫 단계로, 본 연구에서는 비지도학습의 대표적인 딥러닝 기법인 Variational Autoencoder를 사용한 교량 손상 위치 추정의 방법을 제안하였으며, 그 사용 가능성을 확인하고자 하였다.

2. Autoencoder 기반 교량 손상 추정 기법 선행연구

비지도학습을 기반으로 하는 대표적인 딥러닝 네트워크인 AE는 Encoder 네트워크와 Decoder 네트워크로 이루어진 딥러닝 네트워크를 말한다. Fig. 1에서 보는 것처럼 AE는 Encoder와 Decoder로 이루어져 있다. AE의 Encoder는 입력되는 데이터를 그 데이터의 특성값으로 대표되는 Latent Variable로 차원 축소하는 역할을 담당하며, Decoder는 Latent Variable의 특성치들을 분석하여 다시 본래의 입력데이터로 복원시키는 역할을 담당한다. 이에 따라, AE 모델의 학습에서는 출력값과 입력값의 차이를 딥러닝 모델 학습의 손실값(Loss)으로서 이용하고 이를 역전파 시켜 학습에 이용하게 되므로, 별다른 라벨이 필요하지 않은 비지도학습이 가능하게 된다.

Fig. 1.

Architecture of Autoencoder

한편, 교량의 손상 추정에서, AE 모델의 학습에 손상 전 계측 데이터만을 학습시키게 되면, AE 모델은 손상 전 계측 데이터의 특성치를 도출하고 이를 다시 원상태로 복원하는데 특화되도록 만들어지게 된다. 이러한 학습이 완료된 뒤, 손상 후의 계측데이터가 AE 모델의 입력값으로 이용된다면, AE 모델은 해당 데이터의 복원에서 좋은 성능을 발휘하지 못하게 되어 딥러닝 모델의 손실값이 손상 전 데이터를 입력값으로 활용할 때 보다 커지게 된다. 즉, 교량의 손상 전 데이터로만 AE 모델을 학습시킨 뒤, 교량 손상 전, 후의 AE 모델이 나타내는 손실값의 차이를 이용하게 되면 교량의 손상 유무 추정에 활용할 수 있게 된다. 이러한 특성을 기반으로한 AE를 활용한 교량의 손상 유무 추정의 개념은 본 연구진의 선행 연구 ^{Lee et al.(2018)}를 통하여 제안되었다. 특히 본 연구진은 ^{Lee et al.(2019)}을 통하여 이러한 개념의 이론적 검증을 수행하였으며, 만족할만한 손상 유무 추정 성능을 보이는 비지도학습 기반의 딥러닝 모델의 개발이 가능함을 보였다.

하지만, 복원 능력을 나타내는 손실값을 이용하여 손상의 유무를 추정하는 딥러닝 모델의 경우, 손상 위치를 파악하는 데에는 한계가 있다. 이를 해결하기 위한 방안으로 AE의 Encoder를 통해 입력 데이터의 특징값으로 대표되는 Latent Variable의 활용을 고려할 수 있다. 실제로 ^Bengio(2012)는 입력 데이터의 각 라벨에 따른 특징들을 학습한 Latent Variable의 구성이 충분히 가능함을 보였다. 한편, 손상 위치에 따른 거동 데이터의 패턴은 일반적으로 유사한 패턴을 가질 가능성이 있다. 이에 따라, 손상 위치가 다른 데이터들을 AE 모델의 학습 과정에 이용하게 된다면, 각 손상 위치의 데이터들은 학습 과정에서 공통된 성질을 가지는 Latent Variable을 구성할 가능성이 있다. 이러한 가능성에 주목하여, 본 연구에서는 AE 기반의 교량 손상 위치 추정방법 제시에 목적을 두었다.

3. Variational Autoencoder를 활용한 교량의 손상 위치 추정

AE의 Latent Variable을 손상 위치 추정에 이용한다면, 손상 위치에 따른 거동 데이터로부터 얻을 수 있는 다양한 Latent Variable들을 손상 위치의 군집으로 군집화(Clustering)하는 과정을 우선적으로 수행하여야 한다. 하지만 AE의 특성상, AE의 Encoder가 생성해내는 Latent Variable은 생성될 수 있는 값의 범위가 정해지지 않아 같은 손상 위치라도 다른 Latent Variable의 군집을 형성하는 등의 어려움이 있을 수 있다. 이러한 한계에 대하여 Latent Variable을 가우시안 분포로서 한 번 더 체계화 하여 사용하는 Variational Autoencoder (VAE)가 해결 방안으로 이용될 수 있다.

3.1 손상 위치 추정과 Variational Autoencoder

VAE의 기본적인 원리는 AE와 동일하지만, Latent Variable를 가우시안 분포로 한 번 더 체계화시킨 뒤 이를 이용한다는 점에서 그 차이가 있다. Fig. 2(a)에서 볼 수 있듯이, 손상 추정에 있어 AE가 생성하는 Latent Variable들은 각각 손상을 나타내는 특징 값들로 대표될 수 있는데, 이들은 일반적으로 신경망을 통해 생성된 임의 이산형(Discrete) 값으로 정의된다. 즉, AE가 생성하는 Latent Variable값은 경계가 정해지지 않은 임의 이산형 값으로 각각의 Latent Variable이 의미하는 바를 파악하는데 어려움이 있을 수 있다. 반면, Fig. 2(b)에서 볼 수 있듯이, VAE는 Latent Variable의 평균( $\mu$)과 표준편차( $\sigma$)를 도출하여, 해당 평균과 표준편차로 만들 수 있는 가우시안 확률분포를 구성한 뒤, 해당 확률분포에서 랜덤하게 얻어낸 임의의 변수들을 Decoder의 입력값으로 활용하여 이용한다. 이에 따라, VAE의 Decoder는 해당 확률분포로부터 생성된 랜덤 변수들을 이용하여 입력 데이터의 복원을 수행하므로, 구조물 손상 위치의 정보는 생성되는 Latent Variable의 평균 및 표준편차로 대표될 수 있다.

Fig. 2.

Latent Variables of Autoencoder and Variational Autoencoder

특히, 학습과정에서 AE와 VAE는 손실값을 구성하는데 큰 차이가 있다. AE의 경우, Decoder의 복원력을 판별할 수 있는 지표인 Reconstruction error(일반적으로 입력값과 출력값의 MSE 사용)만을 AE의 손실값으로 사용하여 학습하게 된다. 즉, 각각의 클래스에 따라 Latent Variable이 어떻게 생성되는지에 대해서는 학습할 수 없으므로, 같은 클래스여도 각기 다른 군집을 형성할 가능성이 다분하다. 한편, VAE의 경우, Reconstruction Error와 더불어 VAE의 Encoder가 만들어낸 Latent Variable이 임의의 일정 분포를 나타내고 있는지 파악할 수 있는 지표인 KL Divergence를 함께 손실값으로 이용한다. 즉, 학습과정에서 KL Divergence를 이용하게 되면 VAE의 encoder가 데이터의 클래스에 따라 공통된 군집을 생성할 수 있도록 도움을 줄 수 있다. 이러한 특성에 따라, 손상 위치 추정에서 VAE를 사용할 경우 손상 위치를 의미하는 Latent Variable의 군집화 과정에서 각 군집별 특징을 AE에 비하여 상대적으로 명확하게 알 수 있다는 장점이 있다. 따라서 본 연구에서는 VAE의 Latent Variable이 거동 패턴별로 군집을 적절히 형성하는지를 검증하여 VAE 기반 손상 위치 추정방법의 적용성을 검증하고자 하였다.

3.2 VAE 기반 손상 위치 추정방법 적용성 검증

대부분의 손상 위치 추정 논문들(^{e.g. Blachowski et al., 2016}; ^{Tan et al., 2017}; ^{Soman et al., 2018})에서는 고유진동수와 같은 특징값의 변화를 감지하여 구조물의 존재하는 손상의 위치를 추정하는데 활용하고 있으며, 거동 데이터로부터 얻어진 이러한 특징 값들은 각 손상 위치에 따라 각기 다른 패턴을 나타내고 있음을 보였다. 이는 거동 데이터가 가진 패턴이 손상에 의존적으로 달라지고 있음을 의미하므로 거동 데이터의 패턴 분석이 가능하다면 손상 위치의 추정이 가능할 수 있음을 나타낸다. 이러한 가능성에 주목하여, 본 연구에서는 VAE 모델의 Latent Variable이 거동 데이터의 패턴을 분석하고 이를 각 데이터 별 군집으로 적절히 형성할 수 있는지 이론적으로 검증하고자 하였다.

VAE 기반 손상 위치 추정방법의 적용성 검증을 위하여, 각 데이터가 가진 패턴의 차이를 나타낼 수 있는 세 가지 주기함수를 인위적으로 구성하였으며, 이에 따라 각 신호는 주기와 진폭의 크기 등 여러 신호적 특성에 차이를 가지도록 하였다. 또한, 각 신호의 데이터 포인트에는 Eq. (1)과 같이 평균 0, 표준편차 0.1을 따르는 정규 분포에서 추출된 랜덤 오차를 더하여 만들어질 각각의 신호가 가질 수 있는 신호의 다양성을 높이고자 하였다.

각 신호의 샘플링 주파수는 100 Hz이며, Eqs. (2)~(4)을 통해 총 160,000초의 길이를 갖는 3개의 신호를 생성하였다. 또한 각각의 신호에서 주기함수의 전체 모양이 2회 이상 나타날 수 있도록 각각 8초의 길이를 가진 Window를 적용하였으며, 이를 통해 각 20,000개의 데이터, 총 60,000개의 데이터를 생성하였다. 각 데이터의 샘플을 보여주는 그래프는 Fig. 3에서 보는 바와 같다. 총 60,000개의 데이터 중 랜덤하게 뽑힌 50,000개의 데이터는 VAE의 학습에 활용되었으며, 나머지 10,000개의 데이터는 VAE의 Latent Variable 군집화 검증에 사용되었다.

여기서, $t$는 시간, $y_t$는 신호의 크기, $y_t$은 랜덤 에러, $N$은 정규분포, $\mu$는 정규분포의 평균, $\sigma$ 정규분포의 표준편차이다.

Fig. 3.

Samples of Each Time Domain Signal

손상 위치 추정 적용성 검토에 이용된 VAE 모델의 아키텍쳐는 Fig. 4와 같다. 본 연구에서 이용된 VAE의 하이퍼파라미터로써 Gradient Method는 Adam Optimizer, Batch Size는 64, Activation Function의 경우 마지막 층에만 Hyperbolic Tangent (tanh)를 사용하였으며 그 외 모든 레이어에는 Rectified Linear Unit (ReLU)가 이용되었다.

Fig. 4.

Architecture of Variational Autoencoder Used in This Study

VAE를 활용한 손상 위치 추정이 가능한지를 살펴보기 위해선 앞서 정의한 데이터로 VAE 모델을 학습한 뒤, VAE 모델의 Encoder가 만들어내는 Latent Variable의 평균과 표준편차로 표현되는 Latent Space가 군집을 이루는지를 확인할 필요가 있다. 따라서 본 연구에서는 50,000개의 데이터를 기반으로 Epoch를 변화시켜가며 학습된 각각의 VAE 모델의 검증 결과를 비교하였으며, 각 모델의 검증은 학습에 사용되지 않은 10,000개의 데이터를 통하여 수행되었다.

VAE 모델의 군집화를 검증하기 위한 Latent Space 해석에서는 각 신호가 군집을 형성하고 있는지가 가장 중요한 지표이며, 군집의 크기가 작을수록, 더 명확하게 구분할 수 있음을 보여준다. 먼저 Epoch가 1일 때에는 같은 신호에서 추출된 데이터의 Latent Variable 이라도 그 평균과 분산이 만들어내는 군집의 수가 다수 생성됨을 확인할 수 있었으며, 모든 군집의 위치가 Latent Space 내에 섞여있어 각 군집을 신호 별로 구분하는데 어려움이 있을 수 있어보였다. 이후 5 Epoch의 학습이 진행되었을 때, 군집의 수는 그대로이나 각 군집들의 구분이 진행됨을 확인할 수 있었다. 또한 학습이 11 Epoch 까지 진행되었을 때에는 각 군집들이 신호별로 통일된 군집을 형성하는 모습을 보이는 것을 확인할 수 있었으며, 이를 통해 각 군집을 구분하는 것이 충분히 가능할 것으로 보였다. 이러한 결과는 각 데이터들이 만들어내는 Latent Variable이 각 신호별로 군집을 형성할 수 있음을 보이고 있으며, VAE가 교량 손상 위치 추정에 사용될 수 있는 가능성을 보여주는 결과로 해석될 수 있다.

각 VAE 모델이 생성하는 Latent Space의 비교를 통해 Fig. 5와 같은 결과를 얻을 수 있었다. Fig. 5에서 볼 수 있듯이, 여러 분포를 보이던 각 신호들이 Epoch가 커질수록 하나의 분포로 통일되고 있음을 확인할 수 있다. 이는 학습이 진행되어가며 VAE 모델이 세 종류의 신호들을 잘 구분할 수 있음을 의미한다. 한편, Fig. 5(c)에서 볼 수 있듯이, Signal 2의 경우 타 영역보다 큰 부분을 차지하고 있어 상대적으로 영역을 지배하고 있는 것처럼 보이지만 그 절대적인 수치는 충분히 작은 수준을 보이고 있음을 확인할 수 있다. 따라서, 본 연구의 검증 결과는 VAE가 세가지 특징을 가진 신호를 신호별로 구분하여 군집화 할 수 있음을 보여주고 있는 결과로 판단된다.

Fig. 5.

Change of Latent Space According to Training Epoch (Purple - Signal 1, Green - Signal 2, Yellow - Signal 3)

특히 신호의 군집화가 가능하여 각 군집의 신호 발생 시점의 환경 조건에 대한 역추적을 통해 군집별 출현 신호의 공통점을 분석하게 된다면, 군집이 의미하는 손상 위치에 대한 유추가 비교적 쉽게 가능할 수 있게 된다. 다시 말해, 각 신호 별 군집화가 가능함은 손상 위치의 구별과 직접적인 연관을 보이고 있으므로 VAE 기반의 손상 위치 추정의 가능성을 보여주는 지표로 볼 수 있다. 이러한 VAE 기반의 손상 위치 추정은 교량 생애 주기 중, 유지관리 단계의 의사결정에 큰 도움을 줄 수 있을 것으로 판단된다.

4. 결 론

본 연구에서는 비지도학습 딥러닝 기법인 VAE를 사용한 교량 손상 위치 추정의 방법을 제안하였다. 본 연구진의 선행연구에서 제안한 AE 기반의 손상 유무 추정 방법의 한계점인 손상 위치 추정 문제를 해결하고자, 가우시안 분포를 Latent Variable로 활용하는 VAE를 이용하였다. 특히 본 연구에서는 VAE를 기반으로 한 신호 군집화의 가능성을 이론적으로 확인하는데 중점을 두었다. VAE 기반 손상 위치 추정 방법의 적용성을 검증하기 위하여 각각의 패턴을 가지고 있는 세가지 거동 데이터를 이용하여 VAE 학습과 거동 패턴에 따른 군집형성 여부를 확인하였다. 학습 진행에 따른 Latent Space 변화를 확인한 결과, VAE는 각 신호로 만들어낸 Latent Variable들을 신호에 따라 군집화할 수 있음을 보였다. 이러한 군집화 가능성은 교량 손상 위치추정을 위한 VAE의 적용 가능성을 긍정적으로 보여주는 것으로 해석될 수 있다.

특히 VAE를 활용한 손상 위치 추정을 통해 얻은 각 신호의 군집화를 이용하여 계측되는 신호가 어떤 군집에 속하는지를 파악한다면, 교량의 손상 유형을 신속히 파악할 수 있게 되며, 이러한 결과는 교량의 유지관리 단계의 의사결정에 도움을 줄 수 있다. 하지만 본 연구는 교량 손상 위치추정을 위한 VAE의 적용 가능성을 이론적으로 검증하였으므로, 실제 교량의 거동 데이터를 활용한 손상 위치 추정 기법의 개발 및 검증은 추가적인 연구로서 향후에 수행될 필요가 있다. 이에 대하여 본 연구진은 실제 데이터를 활용할 때, VAE 기반 손상 위치 추정이 효과적으로 활용될 수 있는지 파악하기 위한 후속 연구를 수행 중에 있다.