2.1 Autoencoder

그림 1은 Autoencoder의 구조를 나타낸다. Autoencoder는 encoder와 decoder로 구성되어 있고, 입력과 출력의 노드 수가 같다. Hidden Layer의 수가 input layer의 수보다 작아서 데이터를 차원 축소하거나 입력 데이터에 노이즈를 추가한 후 원본 입력을 복원할 수 있도록 네트워크를 학습시키는 모델이다⁽⁵⁾.

그림. 1. Autoencoder의 구조

Fig. 1. Architecture of Autoencoder

Autoencoder의 architecture를 설명하기 위해서 아래와 같은 정의가 필요하다.

1) $F, G$는 일반 집합이다.

2) $n, p$는 자연수이며, $0<p<n$을 만족한다.

3) $A$는 $G^{P}$에서 $F^{n}$로의 함수들의 클래스를 나타낸다.

4) $B$는 $F^{n}$에서 $G^{P}$로의 함수들의 클래스를 나타낸다.

5) $X=\left\{x_{1},\: x_{2},\:\cdots ,\: x_{m}\right\}$은 $F^{n}$의 학습 벡터들의 집합을 의미한다.

$Y=\left\{y_{1},\: y_{2},\:\cdots ,\: y_{m}\right\}$은 $F^{n}$의 학습 벡터들에 대응되는 목표 벡터들을 나타낸다.

6) Δ는 $F^{n}$에서 정의된 비유사 함수 (dissimilarity function)이다.

Autoencoder의 최종 출력 식은 (1)과 같다.

여기서, 임의의 함수 $A, B$는 $A∈A$, $B∈B$이고, autoencoder 변환의 입력 벡터는 $x_{t}$이며 autoencoder 변환의 출력 벡터는 (1)과 같이 $Y$이다.

최적의 autoencoder 변환을 위한 최적해 $A, B$는 (2)와 같이 정의된 비유사 함수를 최소화 시켜야 한다.

여기서 $\Delta\left(a_{i}, b_{i}\right)=\left\|a_{i}-b_{i}\right\|^{2}$이다.

2.2 Stacked Autoencoder

Stacked Autoencoder(SAE)는 여러 개의 히든 레이어를 가지는 오토인코더이며, 레이어를 추가할수록 오토인코더가 더 복잡한 학습이 가능하다⁽⁶⁾. 입력할 때 입력 값이 압축됨으로써 손실 없는 완벽한 출력 복사는 불가능하며, 히든 레이어에서 입력의 특성을 학습한다. Stacked Autoencoder 기법은 사용의 편리성과 유연성으로 인해, 현재도 많은 이상 진단 모델에서 다양한 방법으로 사용되고 있는 모델이고, 레이어 추가 삭제가 용이하여 이상진단에 폭넓게 활용되고 있다.

그림. 2. Self-Attention module 생성방법

Fig. 2. Generation of Self-Attention module

2.3 Attention Mechanism

Self attention 모듈은 이미지에서 넓은 범위와 여러 단계의 dependency에 대해 모델링 할 수 있어 기존 convolution의 단점을 보완할 수 있는 특징이 있다. 그림 2는 self-attention의 메카니즘을 보여주는 것으로, 한 픽셀과 다른 포지션의 픽셀들 간에 관계를 명시적으로 학습하도록 설계된 것이다.

Self attention의 메카니즘은 다음과 같다⁽⁷⁾. Convolution feature maps(x)은 3개로 복제되어 나눠지며, 이전 hidden layer $x\in R^{C\times N}$의 image feature는 attention을 계산하기 위해 두 개의 피쳐 공간 $f,\:{g} $로 변환되며, 여기서 $f(x)= W_{f}x$, ${g}(x)= W_{{g}}x$,

$\beta_{j,\:i}$는 $j $번째 지역을 합성할 때 $i $번 위치에 집중하는 정도를 나타낸다. 여기서 $C $는 채널의 수이고, $N $은 이전 hidden layer에서 feature들의 feature location의 개수이다. Attention layer의 출력은 $O=(o_{1},\: o_{2},\:\cdots ,\: o_{j},\:\cdots ,\: o_{N})\in R^{C\times N}$

$W_{{g}}\in R^{\bar{C}\times C},\: W_{f}\in R^{\bar{C}\times C},\: W_{h}\in R^{\bar{C}\times C},\:$$W_{v}\in R^{C\times\bar{C}}$는 학습가중 매트릭스이다.

출력 $y $는 식(5)와 같이 self-attention feature map(o)에 scale parameter $\gamma$를 곱하고, original input feature map을 더한다.

scale parameter $\gamma$는 초기값이 0이지만 학습과정에서 점차 증가하고, 네트워크는 처음에는 로컬 영역에만 의존하다가 점차 멀리 있는 영역에 더 많은 가중치를 주는 방법을 학습할 수 있도록 구성한다. 따라서 Self-attention이 적용된 SAE는 오토인코더의 인코딩 단계에서 사라질 수 있는 디테일한 feature 특성을 잘 처리할 수 있다.

그림. 3. Convolutional filter와 self attention간의 차이

Fig. 3. Difference between convolutional filter and self attention

일반적인 Convolution 네트워크에서 하나의 픽셀은 작은 로컬 영역으로 제한하는 반면, Self-Attention은 그림 3에서와 같이, 일반적인 CNN 구조에서 발생하는 픽셀과 이웃 간의 특징점 위주로 추출하는 단점을 보완하여 멀리 떨어진 영역이더라도 쉽게 전 영역에서의 의존성을 학습할 수 있다.

2.4 Adversarial-Auto Encoder

Adversarial-Auto Encoder(AAE)는 Variational Auto-Encoder (VAE)와 Generative Adversarial Network(GAN)을 결합한 준지도 학습 Neural Network이다⁽⁸⁾. AAE는 VAE의 단점인 표본의 정규분포 가정과 상호 거리계산 문제를 극복하기 위해 GAN 구조를 추가함으로써, 보다 효과적인 네트워크 학습을 가능하게 한다. 생성자의 encoder는 데이터 x를 입력받아서 잠재변수 z를 샘플링하고 잠재 공간에서 데이터를 매핑한다. 생성자의 Generator는 이로부터 다시 x를 복원한다. AAE는 기존 VAE에서 GAN의 구분자(discriminator)역할을 하는 네트워크가 추가되었다. 이 구분자는 encoder가 위조한 z와 p(z)로부터 직접 샘플링한 real z를 구분한다. 학습시에는 정상데이터를 활용하고, 실행시 Query Image에 대하여 복구 영상을 구한 뒤 MSE를 도출한다. 이 MSE의 최대 최소치를 고려한 Regularity score로 정상과 비정상을 판별할 수 있다.

3.1 이상 탐지시스템 구조

그림 4는 이상탐지 시스템 구조도를 나타내는 것으로 데이터 입력 후 전처리를 통해 이미지화 시킨 후 딥러닝 학습을 시킨 후 손실값을 추출하여 정상, 비정상유무를 판단한다. 본 논문에서는 음향 데이터만을 대상으로 4가지 이상탐지 알고리즘을 적용하고 그 성능에 대해 논하고자 한다.

그림. 4. 이상탐지 시스템 구조도

Fig. 4. Architecture of Anomaly-Detection System for underground cable tunnel

3.2 이상탐지용 음향 데이터 취득 및 전처리

음향 데이터는 9종(rain, water drop, human walking, convert- sation, water pump, engine, drilling, jack hammer, construction)의 정상 데이터 셋과 1종(siren)의 이상 데이터 셋으로 구성하였다. Water drop, water pump, human walking의 음원은 현장 지하 전력구에서 상황을 발생시켜 녹음하였고, rain, conversation, engine, drilling, jack hammer, construction, siren 7종의 데이터는 뉴욕대의 MARL(Music and Audio Research Lab)⁽⁹⁾에서 다운받아 활용하였다. 위 7종의 음향을 재생하여 지하전력구 현장 특유의 잡음과 같이 녹음하여 음향 데이터를 확보하였다. Mel Frequency Cepstral Coefficient(MFCC) 기반의 특징 벡터를 기반으로 총 10종 음향 클래스 중 9종의 유사 음향 신호(water drop, jackhammer 등)을 정상 신호로 분류하고, 특성이 다른 1종의 음향신호(siren)를 비정상 신호로 색인하여, 비정상 신호 판별 여부를 시험하였다.

그림. 5. 측정한 10종 음향 데이터 샘플

Fig. 5. Measured Sound Data

그림. 6. 음향 신호 전처리(MFCC) 결과

Fig. 6. MFCC Preprocessed Sound Signal

그림. 7. 취득 데이터 수량

Fig. 7. Number of Sample data

오디오 데이터는 MFCC 전처리 기법을 적용하여 1차원의 시계열 데이터를 2차원의 이미지 형태의 데이터로 가공하였다. MFCC는 음향신호 처리에 있어, 단기 신호의 파워 스펙트럼을 표현하는 방법 중 하나로써, 전력 스펙트럼에 비선형의 Mel 스케일 주파수 필터를 적용하여 얻는 방법을 말한다⁽¹⁰⁾. MFCC 특징 벡터는 그림 6과 같이 48개의 MFCC 계수를 이용하고, 12kHz 샘플링 주파수에 따라 4초 음향 샘플의 윈도우 중첩을 통해 188개의 특징 벡터를 갖도록 구성하여, 샘플 당 48×188의 학습 입력 데이터를 갖도록 하였다. 사운드를 잘 표현할 수 있는 스펙트럼 형태의 이미지로 변환하였고, 한 스펙트럼 당 4초씩 데이터를 만들고, MFCC를 포함한 전처리 과정을 거쳐 그림 7과 같이 데이터별로 1,000개 이상씩 10종으로 10,000개 이상의 데이터를 생성하였다.

4.1 Stacked Autoencoder 모델링

음향 이상진단용 SAE 모델은 convolution layer, max-pooling layer, upsampling layer, batch_normalization layer로 구성하였다. 음향신호에 대한 SAE 모델의 인코더는 Convolution layer- Leaky Relu layer-Maxpooling layer의 반복으로 구성하였다. 디코더는 대칭구조로 개발하고 마지막 Activation layer는 sigmoid 함수를 활용하였다. z-dimension은 8로 압축하였고, epoch은 1000으로 진행하였다. Optimizer는 Adam 기법을, Loss함수로는 MSE를 사용하였다. 음향 데이터는 MFCC 전처리기법을 통해 2D 이미지화하여 48×188×1의 입력사이즈로 정상상태의 데이터 셋 9종의 음향 클래스를 SAE 모델에 학습 시킨다. Criteria 값은 학습을 통해 도출된 최대값을 기준으로 정하였고, criteria를 기준으로 정상과 비정상을 구분하였다. 그림 8은 반복적인 실험을 통해 구성한 최적의 SAE 모델을 보여준다. 이 모델의 이상진단 성능은 87%를 보였다.

그림. 8. Stacked Autoencoder 구조

Fig. 8. Abnormal Sound Diagnostic Model using Stacked Autoencoder

4.2 Adversarial Autoencoder 모델링

Adversarial Autoencoder(AAE) 모델은 크게 Encoder, Generator, Discriminator 구조로 구분된다. 인코더, Generator 구조는 AE 구조와 유사하고, Discriminator 구분자의 경우 Dense Layer로 구성하였다. 그림 9의 AAE 모델에서는 표준편차(σ)와 평균값(μ)를 기반으로 latent space z를 설정한다. 이후 Discriminator에서 정상데이터를 기반으로 학습을 진행한다.

AE 모델에서는 아래 그림과 같이 MFCC를 기반으로 48×188크기의 음향 특징자를 구현하고, 이를 AAE 모델의 입력으로한다. 인코더 단은 4×188×48(1stLayer)+4×94×24(2ndLayer) +8× 94×24(3rd Layer)+8×47×12(4th Layer)+4512(5th Layer)로 구성하였다. 생성자 단은 4512(1st Layer)+8×47×12(2nd Layer)+8× 94×24(3rd Layer)+4×94×24(4th Layer)+4×188×48(5th Layer)로 구성되어있다. 인코더 단의 5번째 레이어에서 임의의 표준편차(σ)와 평균값(u)을 바탕으로 Kullback Leibler-Divergence를 이용하여 q(z)와 p(z) 생성하였다. 이후 구분자단에서는 Fully connected Layer로 16(1st Layer)+8(2nd Layer)+1(3rd Layer)로 구성하여 모델링하였다.

그림. 9. AAE를 사용한 이상음향 진단 모델

Fig. 9. Abnormal Sound Diagnostic Model using AAE

4.3 Attention 추가 SAE 모델링

딥러닝 모델이 특정 벡터에 주목하여 모델 성능을 높이는 기법인 self-attention을 SAE에 적용하였다. Attention 기반 SAE 모델은 SAE 모델 코드에 ‘Attention’ 레이어를 인코더 파트에 추가한다. Attention 모듈의 크기 조정 및 위치변경 실험을 통해 인코더 마지막 hidden layer의 앞단에 위치시키고, 사이즈를 24×94×16로 하였을 때 이상 탐지 성능이 개선됨을 알 수 있었다. Attention 기반 SAE 모델은 91%로, attention 모듈을 추가함으로 인해 성능이 4% 증가하였음을 알 수 있다.

그림. 10. Attention 기반 SAE모델 및 플로우 차트

Fig. 10. Abnormal Sound Diagnostic Model using Attention based SAE

그림. 11. Attention 기반 AAE모델

Fig. 11. Attention based AAE Model

4.4 Attention 추가 AAE 모델링

Attention layer를 인코드와 generator 단에 옮겨가면서 반복실험을 한 결과, AAE 모델보다 성능이 떨어 졌지만, generator 단에 최소 사이즈와 같은 크기의 attention layer(12×47×8)를 삽입하였을 경우, 이상탐지 정확도가 그나마 덜 저하됨을 확인하였다. 본 이상탐지 시스템에서는 AAE 모델에 attention layer 추가할 경우 성능이 70%로, AAE 모델에 비해 성능이 오히려 14% 낮아짐을 보였다.

4.5 음향 학습모델 시험 결과

실제 정상으로 운영되고 있는 지하전력구를 대상으로 데이터를 취득하였으므로 수집된 데이터는 대부분 정상이며, 모델의 성능을 확인하기 위하여 인위적으로 이상데이터를 생성하여 성능 분석을 시행하였다. 모델은 총 10,000개의 데이터 중 정상데이터 9000개를 사용하여 학습시켰고, 테스트시에는 학습에 사용되지 않은 500개의 정상 데이터와 500개의 이상 데이터를 입력하여 MSE 함수를 적용하여 손실값을 비교하는 방식으로 이상 음향 여부를 판별하고 성능을 평가하였다.

그림 12는 attention 기반 SAE 모델을 반복 학습시킬 때의 손실값을 보여주며, 손실값이 지수함수적으로 감소하여 수렴하므로 모델이 정상적으로 학습되었음을 알 수 있다.

그림. 12. 어텐션 기반 오토인코더 모델 학습 커브

Fig. 12. Loss value curve for Attention based SAE Model

그림. 13. 어텐션기반 AAE 모델에서의 잠재변수 ICA 군집화 비교

Fig. 13. ICA Clustering of Latent Variables for Attention Based AAE

그림 13은 Independent Component Analysis(ICA) 방법을 활용하여 AAE 모델의 잠재변수 군집화를 3차원으로 보여주는 것이다. latent 사이즈가 6일 때 빨간색은 정상, 노란색은 비정상 데이터의 군집화를 나타내며 정상적으로 모델링이 되었음을 확인할 수 있다.

그림 14는 attention 기반 SAE 모델을 사용하여 테스트 데이터에 대해 이상 판정 결과를 보여주는 것으로, 빨간색 △는 이상데이터, 파란색 x표는 정상데이터를 나타낸다. Loss값이 –250~-300 근처일 경우 이상 진단에 에러가 발생할 수 있음을 알 수 있다.

그림. 14. 정상/이상 TEST Data에 대한 어텐션 기반 오토인코더 모델의 출력 군집

Fig. 14. Normal/Abnormal test data cluster of attention based AE Model output

모델 출력의 이상판단 기준은 테스트용 데이터세트를 학습이 완료된 모델에 입력한 뒤, 입력된 이미지와 출력된 이미지 간의 MSE를 기준으로 설정하였다. Criteria 값은 학습시 정상 샘플링 데이터 100개를 기준으로 80퍼센타일을 정상/비정상을 판별하도록 하였다. 성능평가 Accuracy는 confusion matrix의 Accuracy = (TP + TN) / (TP + FP + FN + TN)로 사용하였다.

위의 4가지 모델에 대한 이상판별 성능은 표 1과 같다. SAE 모델의 성능은 87%, attention layer를 추가한 SAE 모델의 성능은 91%로 성능이 4% 증가하였음을 알 수 있다. AAE 모델의 성능은 84%, 여기에 attention layer를 추가하였을 경우 70%로 성능이 오히려 낮아짐을 볼 수 있다. AAE 모델 훈련 시에도 이미 모델 파라미터 수 대비하여 훈련데이터가 많지 않았는데, 이에 attention 모델을 추가함으로써, 모델 내에서 언더피팅 현상이 발생했을 가능성이 높다. 향후 Attention-based AAE 모델 성능을 높이기 위해 훈련데이터를 추가하여 실험 예정이다.