2.1 구조 이벤트 분류 구조 개요

본 연구에서 제안하는 프레임워크는 root mean square (RMS)를 기반으로 센서 데이터에서 대표 데이터를 추출한 후 적응형 기준치를 산출하여 SSM을 구축한다. 이후 Gumbel 분포 기반의 통계적 방법론을 통해 데이터의 증강을 진행하여 CNN을 학습시킨다. 학습시킨 모델과 실시간 데이터를 활용하여 이벤트를 분류하고 검증을 진행한다. 교량에서 발생하는 구조 이벤트들은 그 발생 빈도가 극히 낮을 뿐만이 아니라 실제 교량 구조에 영향을 미치는 정도를 확인하기 어렵기 때문에 CNN을 학습시키기 위해서 충분한 양의 데이터를 확보하기가 어렵다. 이에 따라 프레임워크에 확률론적 방법을 기반으로 한 통계적 방법론을 적용하여 진행하는 데이터의 증강이 필수적이다.

Fig. 1(a)는 케이블지지 교량에서 취득된 IoT 센서 데이터에 대한 전처리를 진행하여 RMS를 기반으로 대표 데이터를 추출한 후 통계 기반의 적응형 기준치를 산출하는 과정을 확인할 수 있다. 교량에 설치된 센서의 배치를 고려하여 공간적으로 센서 채널의 데이터를 배치한 SSM을 생성하고, 적응형 기준치를 초과하는 대표 데이터 응답과 초과하지 않은 응답을 SSM에 배치하여 시간에 대한 응답 SSM들을 생성한다. Fig. 1(b)에서는 생성된 SSM을 통해서 각 구조 이벤트에 대한 SSM의 패턴을 확인하여 패턴을 기반으로 각 이벤트에 어떤 센서들이 적응형 기준치를 초과하는지 분석한다. 분석 결과를 기반으로 확률론적 기법을 활용하여 데이터 증강을 진행하여 CNN 학습 데이터를 생성한다. Fig. 1(c)에서는 데이터 증강으로 생성된 학습 SSM을 통해 학습된 CNN 모델에 시간 이력 SSM을 시험하여 이벤트를 분류하는 과정을 보인다. SSM에서 아무런 센서 데이터도 기준치를 초과하지 않으면 정상 신호로, 센서의 응답이 확인되지 않으면 신호 미계측으로 우선 분류가 진행되고 학습된 CNN 모델을 통과하면 개별 혹은 로거로 연결된 채널이 기준치를 초과하는 응답은 신호 오류로 분류되며 구조 이벤트인 선박 충돌, 태풍, 지진과 미확인 이벤트로 분류를 진행한다.

IoT 센서에서 취득한 raw data를 사용하여 대표 데이터를 추출하는 과정은 아래의 식 (1)을 통해 진행하며, 각 센서에 대해서 대표 데이터를 추출한다.

위의 식에서 x는 IoT 센서의 raw data이고, i는 i번째 time step에서 취득된 데이터를 의미한다. N은 추출 대상 데이터의 개수를 의미하고 $\hat{x}$는 RMS를 통해 추출된 대표 데이터이다. 기존의 기준치 설정 방법론에 따르면 2년에 해당하는 장기 계측 데이터를 사용하여 기준치를 설정하고 센서에서 발생하는 큰 이상 신호 응답을 감지한다. 하지만, 2년에 해당하는 데이터를 기반으로 기준치를 선정하면 이상 신호 데이터도 기준치 설정에 반영이 될 수 있다. 또한, 장기 계측 데이터를 기반으로 기준치의 업데이트를 진행하기 때문에 장기간의 데이터가 있어야 기준치를 보정할 수 있으므로 실시간으로 변동하는

이상 신호에 대응하기에 어렵다. 따라서, 추출된 대표 데이터에 Gumbel distribution을 적용하여 표준편차를 통해 기준치를 선정한 후 지정한 기간마다 변동하는 적응형 기준치를 산출하여 사용하는 것으로, 이상 신호의 영향성을 줄이고 실시간으로 변동하는 이상 신호에 적합한 기준치를 제안할 수 있다. 산출된 적응형 기준치를 초과하는 대표 데이터를 기반으로 SSM을 생성하고 실제 구조 이벤트가 발생했던 이력에 대한 SSM을 수집하여 나타나는 패턴을 분석하여 데이터 증강을 진행한다. SSM을 구성함에 있어서 교량에 설치되어 있는 IoT 센서의 위치와 센서 채널의 유형에 따라 공간적으로 배치를 진행하기 때문에 전체적인 교량의 응답 발생 위치에 대한 분석이 가능하다. 또한, 특정 이벤트에서 응답을 나타내는 센서 채널의 유형에 대한 분석이 가능하여 이벤트별 응답이 발생하는 패턴에 대한 분석이 가능하다. 각 구조 이벤트별로 응답하는 센서 채널의 패턴을 기반으로 응답 센서 채널의 개수에 대한 Gumbel 분포 기반의 통계적 분석을 통한 데이터 증강을 진행하여 희귀하게 발생하는 구조 이벤트에 대한 부족한 데이터를 보충하여 CNN 모델의 원활한 학습을 유도한다.

CNN 모델의 학습 데이터는 SSM이며, SSM은 2D 데이터이기 때문에 2D CNN 모델을 사용하여 학습을 진행한다. 분류를 진행하는 이벤트는 선박 충돌과 태풍, 지진, 미확인 이벤트, 신호 오류로 나뉘며, 모든 센서 채널의 응답이 기준치를 초과하지 않으면 이벤트가 아닌 정상 신호로 선분류를 진행하여 효율적인 분류 모델을 구축하였다.

Fig. 1 Probability-based data augmentation process for event classification framework (a) data preprocessing step, (b) over threshold pattern analysis, (c) CNN model training and testing; RMS is root mean square and SSM is the sensor spatial matrix

2.2 IoT 센서 데이터 이벤트 분류 국내 실증

본 연구에서는 대한민국의 진도대교를 대상으로 실증을 진행하였으며, 진도대교는 전라남도 울둘목 인근에 위치한 교량으로 배가 통행하는 사장교이고 전경은 Fig. 2와 같다. 진도대교의 구조물 건전성 모니터링은 국토안전관리원 관리 하에 Long-span Bridge Monitoring and Control 시스템을 통해서 진행하고 있다. 진도대교의 IoT 센서 중 구조 이벤트에 대하여 분류가 가능한 센서들을 확인 후 선정하여 실증을 진행하였으며 케이블 가속도계 (CA), 동적 변형률계 (DS), 풍향풍속계 (WS)와 지진에 대한 응답을 확인하기 위하여 교량과 분리되어 설치되어 있는 인근 지진계 (EA) 총 36개의 센서 채널을 활용하였다. 진도대교에서 2020년 7월 1일부터 2022년 7월 31일까지 수집된 IoT 센서 데이터를 활용하였으며, 본 연구에서는 3분에 해당하는 데이터를 대상으로 추출을 진행하였으며 1분의 간격을 이동하며 1분마다 대표 데이터를 추출하도록 지정하였다. 한 달의 대표 데이터에 Gumbel distribution을 적용하여 표준편차를 통해 기준치를 선정하며 이를 하루 단위로 이동하며 1일마다 변동하는 적응형 기준치를 산출하였다.

실증에 사용한 센서 채널들의 설치 위치와 구성한 SSM는 Fig. 3과 같이 나타나며, 각 센서 채널의 배치는 실제 교량에 설치된 센서의 위치를 반영하였다. 또한, 동일한 유형의 센서 채널들은 함께 위치시켜 SSM에서 응답한 센서를 나타낼 경우 응답하는 센서 유형을 파악하기 용이하도록 지정하였다. Fig. 3(a)는 12개의 CA, 12개의 EA, 6개의 WS, 6개의 DS로 구성된 SSM을 나타내며 각 센서 채널의 선택과 배치는 공간적 형상을 최대한 반영하고 이벤트의 구분을 가능하게 하였다. Fig. 3(b)에서는 CA가 주 케이블을 따라서 대칭적으로 설치되어 있고 EA 01∼03, 07∼12는 교량의 거더와 주탑에 설치된 지진 가속도계이며, EA 04∼06는 교량과 분리된 독립적인 장소에 설치된 지진 가속도계이다. WS는 진도 측 주탑 상부와 중앙 경간 가운데에 설치되어 있으며 DS는 중앙 경간 중앙부 내부에 설치되어 있다. 진도대교에서 발생한 구조 이벤트는 선박 충돌, 태풍, 지진이 있으며 각 이벤트는 자체 보고서와 기상청 보고서를 통해 정확한 시점을 확인하였다. 또한, 센서 데이터의 오류들에 대한 사항도 진도대교 자체 보고서를 기반으로 확인하여 검증 데이터로 사용하였다. 진도대교 데이터에 대해서 3분의 데이터를 사용해서 1분씩 이동하여 추출된 대표 데이터를 기반으로 Gumbel 분포를 활용한 적응형 기준치를 산출한다. 각 센서 데이터에 대한 기준치를 기반으로 기준치 초과 채널에 1의 값을, 초과하지 않은 채널에는 0의 값을 지정하여 구축한 SSM의 각 채널 위치에 값을 부여한다. 1의 값을 부여받은 채널의 개수와 유형을 통해 각 센서 유형별 기준치 초과 개수를 이벤트에 대해서 분류한다. 태풍 이벤트의 경우, 2020년 8월 28일부터 9월 03일까지 발생한 마이삭, 2020년 9월 1일부터 7일까지 발생한 하이선이 진도대교에 유의미한 영향을 작용한 것을 확인하였다. 따라서, 태풍 마이삭과 하이선에 대한 데이터를 기반으로 SSM을 생성하여 기준치를 초과한 센서 채널의 유형별 개수에 대한 분석을 진행하였다. 태풍 이력 데이터에 대해 기준치를 초과한 센서 채널 유형별 개수는 0 혹은 최대 개수에 치우쳐서 나타났으며, Gumbel distribution을 기반으로 통계 분석을 진행하기에 적합하였고 센서 채널 유형별 평균값과 표준편차는 Table 1과 같이 나타났다.

Fig. 2 Jindo bridge overview

Fig. 3 Jindo bridge (a) 36 sensor channels placement of SSM, (b) sensor channel location; SSM is the sensor spatial matrix

CA는 총 12개의 채널을 사용하고 DS는 6개, EA는 12개, WS는 6개이다. 센서 채널 유형별 평균값은 9.172, 0.346, 2.596, 4.413으로 나타난다. CA와 WS는 대부분의 센서 채널이 기준치를 초과하였으며, DS와 EA는 대부분의 센서 채널이 기준치를 초과하지 않았다. 따라서, 대다수의 센서 채널이 기준치를 초과하면 평균값에서 표준편차를 뺀 값과 같거나 큰 값을 기준으로 데이터를 생성하고 대다수의 센서 채널이 기준치를 초과하지 않으면 평균값에서 표준편차를 더한 값과 같거나 작은 값을 기준으로 데이터를 생성한다. 태풍에 대해 응답한 센서 채널의 개수에 대한 Gumbel 분포는 Fig. 4와 같다. 따라서, 태풍에 대한 합성 SSM은 CA 7개 이상, DS 1개 이하, EA 4개 이하, WS 3개 이상의 데이터를 생성하여 학습 데이터로 활용한다. 태풍에서 진행한 방법론과 동일하게 선박 충돌과 지진에도 적용하여 데이터를 생성한다. 선박 충돌은 WS와 교량과 떨어진 위치에 설치된 EA 04∼06를 제외한 센서 채널에서 응답을 확인할 수 있었으며, 비율을 동일하게 진행하여 데이터를 생성하였다. 지진은 EA 04∼06에서 확실한 응답을 확인할 수 있었으며, 나머지 센서 채널들에서는 미약한 반응을 확인하여 비율을 지정하여 데이터를 생성하였다. 신호 오류에 해당하는 데이터는 단일 센서 채널에서 응답이 확인되거나 로거로 연결된 채널들이 기준치를 넘게 되는 사항들에 대하여 생성하였다. 기준치를 초과한 센서 응답 중에서 선박 충돌, 태풍, 지진, 신호 오류는 현장 전문가에 의해 확인되어 이벤트로 분류된다. 반면, 기록되어 있지 않은, 즉 원인이 불분명한 기준치 초과 사항들은 미확인 이벤트로 지정하여 데이터를 생성하였다. 확률론적 분석 기반으로 생성된 데이터는 선박 충돌, 태풍, 지진, 신호 오류 그리고 미확인 이벤트에 대하여 각각 180, 180, 220, 3,050, 232개의 SSM을 생성하였다. 데이터 증강을 통해 생성된 데이터를 활용하여 CNN 모델을 학습시켰으며 batch size는 32, epoch는 30, learning rate는 0.001로 학습을 완료하였다. 학습에 사용된 CNN 모델은 3개의 Convolutional block으로 이루어져 있으며 상세한 모델은 Fig. 5와 같다. 각 Convolutional block은 convolutional layer, batch normalization, ReLU layer로 구성되어 있으며 convolutional block 1과 2 이후에 max pooling layer를 통과한다. 3개의 convolutional block 이후에 fully connected layer로 시작하는 classification 부분을 통과하여 최종 output인 분류 결과를 출력한다. 분류 결과는 선박 충돌, 태풍, 지진, 신호 오류와 미확인 이벤트로 나뉜다.

Fig. 4 Gumbel distribution of activated sensor channels in typhoon (a) CA, (b) DS, (c) EA, (d) WS

Fig. 5 CNN model specification

2.3 실험 및 검증

데이터 증강을 통해서 생성한 합성 SSM 데이터로 학습된 CNN 모델로 진도대교에서 발생한 이벤트인 선박 충돌, 태풍, 지진과 신호 오류에 대한 부분에 대하여 검증을 진행하였고, 검증 결과는 Fig. 6과 같다. Fig. 6(a)에서 CA와 WS에서 이상 신호가 발생함을 확인할 수 있다. CNN 모델에 의해 2020년 9월 2일 21시 30분부터 23시까지 발생한 태풍으로 올바르게 식별되었으며 Fig. 6(b)에서는 2021년 8월 22일 3시 11분에 발생한 선박 충돌 이벤트에 대한 분류 결과를 확인할 수 있다. 선박 충돌은 센서 채널 CA, DS, EA 04∼06에서 기준치를 초과하였으며 이는 raw 데이터에서 확인할 수 있다. 지진과 신호 오류에 해당하는 시점인 2021년 12월 14일 16시 30분부터 17시 45분까지의 데이터를 나타내는 Fig. 6(c, d)에서는 데이터가 측정되지 않은 신호 미계측 시점과 지진을 성공적으로 분류한 것을 확인할 수 있다. 지진은 CA에서 기준치를 초과하지 않을 정도의 응답이 나타난 것을 확인할 수 있고 이외에는 EA만 기준치를 초과하였다. EA 중 진도대교와 독립되어 설치된 EA 04∼06에서 기준치를 초과하였으며, 지진으로 분류를 진행하였다. 따라서, 확률론적 방법론을 활용한 합성 SSM 데이터 증강 기법을 통해 생성한 학습 데이터로 학습된 CNN 모델이 실제 진도대교의 이벤트를 효과적으로 분류한 것을 확인하였다.

희귀 이벤트를 포함한 전체 데이터의 10%를 검증데이터로 사용하여 혼동행렬 (confusion matrix) 분석을 수행하였다 (Fig. 7). 분석 결과, 선박 충돌, 지진, 태풍은 모두 1.00의 정확도로 분류되었으며, 미확인 이벤트와 신호 오류는 각각 0.97, 0.82의 정확도를 보였다. 이는 제안된 기법이 희귀 이벤트에 대해서도 안정적인 분류 성능을 확보함을 보여주는 동시에, 태풍이 아닌 강풍과 신호 오류, 미확인 이벤트의 경우 혼동으로 인해 일부 정확도가 감소하는 경향을 확인할 수 있었다.

Fig. 6 Event classification results (a) typhoon, (b) ship collision, (c) signal error, (d) earthquake; the dashed-dot line marks abnormal signals, and dot line is the adaptive threshold

Fig. 7 Confusion matrix of validation dataset