2.1 부분방전 패턴 분류 학습 알고리즘

VGG 는 CNN의 기본 구조를 가지며, 부분방전 패턴을 이미지로 변환한 후 특징을 추출하는 데 주로 사용된다^{[8, 9]}. VGG 는 여러 개의 convolution layger 를 통해 특징을 세밀하게 추출가능하고, Pretrained 모델 사용함으로써, 사전 학습된 모델을 사용하여 Feature Extraction 분야에서 사용되는 유사한 알고리즘인 ResNet, DenseNet, EfficientNet에 비해 적은 Data Set 에서도 높은 성능을 보일 수 있다. Fig. 2에 나타낸바와 같이, 입력 이미지의 복잡한 계층적 표현을 학습할 수 있도록 설계되었다.

Fig. 2. VGG algorithm structure

VGG 는 각 convolution layer 뒤로 입력 받은 비선형성을 갖는 신호 $x$의 값을 원하는 출력 $y$ 를 얻기 위한 특정값으로 전달하기 위한 활성화 함수가 적용되며, Table 1에 나타낸 바와 같이, 입력 신호에 따라 Sigmoid/Logistic, Tanh, linear, Soft Max 등 다양한 함수가 존재한다.

Table 1. Types of activation functions

본 논문에서는 입력 값이 0보다 작으면 0을 출력하고, 0보다 큰 경우 입력값을 그대로 출력하는 ReLU 함수를 적용하였고, 입력 데이터 $x$에 대한 ReLU는 아래 수식 (1)과 같이 표현할 수 있다.

2.2 Grad-CAM

Fig. 3에서 확인할 수 있듯이, 본 논문에서 제안하고자 하는 부분방전 패턴 분류 모델이 학습시 입력데이터의 픽셀의 위치 상 특징에 가중치를 잘 두고 있는지 여부를 가시화 할 수 있는 Grad-CAM이 적용된 알고리즘 구조를 나타낸다. Grad-CAM은 딥러닝의 CNN 구조에서 자주 활용되는 연산 기법으로, 각 채널의 특성 맵(Feature map)의 공간적 정보를 평균값으로 요약하여 하나의 스칼라 값으로 변환 후 각 특징 맵에 RGB 그라데이션으로 가중치를 부여하여 Heat Map 을 생성하는 기법이다^[10].

Fig. 3. Architecture of Grad-CAM and proposed models

최종 합성곱 층에서 각 특징 맵(feature map)의 평균값을 계산하여 하나의 숫자로 출력하는 방식으로 이루어진다. 수식 (2)에 나타낸 바와 같이, $f(i,\: j)$는 신경망 계층에서 출력되는 결과값을 의미하고, 마지막 계층과 클래스 간의 학습 가중치 즉, 이미지 데이터의 특징을 인식하는 최적의 추적값 $w$ 로 표현되며, 각 특징 맵과 곱해져 $k$개의 Heat map을 생성한다. 생성된 Heat map 들을 모두 합산하여 최종적인 CAM(Class Activation Map) 이미지를 생성한다.

4.1 PRPD 패턴 분류 결과

PRPD 패턴 분류에 대한 VGG 알고리즘의 정확도는 각 패턴 별 90%이상의 정확도를 보였다. 하지만 단일 Test Data Set 에서의 성능 평가만으로는 모델이 데이터에 과적합(overfitting)되었는지 여부에 대해 명확히 판단하는데 한계점이 있다. 따라서, 교차 검증을 수행하여 보다 신뢰성 있는 성능 지표를 도출하기 위해 교차검증(k-fold cross validation) 기법을 적용하여 성능을 검증하였다^[10]. 본 논문에서는 전체 Data Set($D$) 를 동일한 크기의 Data Set을 나누는 각각의 부분집합을 의미하는 $k$개의 fold로 분할 한 뒤, 각 fold를 한번 씩 Test Data Set으로 사용하고, 나머지 $k-1$ 개의 fold는 Traning Data Set 으로 사용하였다. 이를 수식적으로 표현하면 아래 수식 (3)에서 (5)과 같이 표현할 수 있다.

알고리즘 정확도 검증은 각 $i$번째 반복하여 fold $D_{i}$를 Test Data Set으로 사용하고 나머지 fold를 Traning Data Set으로 사용하였다. 각 $i$번째 fold에서 Traning Data Set $D_{train}^{(i)}$는 나머지 $k-1$개의 fold로 구성되고, Test Data Set $D_{val}^{(i)}$는 해당 fold와 같다.

각 $i$ 번째 fold에서 제안하고자하는 VGG 알고리즘을 학습한 뒤 Test Data Set에 대한 정확도 $A^{(i)}$는 수식(6)과 같이 정의할 수 있으며,

알고리즘의 성능 검증은 수식(7)에 의해 k개의 fold에서 측정된 성능을 평균화하여 최종 정확도를 도출할 수 있다.

k = 200으로 설정하여 교차 검증을 진행한 결과 이에 대한 결과를 Table 3에서 확인할 수 있듯이, Test Data Set에 대한 평균 정확도가 94.13% 로 부분방전 패턴 분류 성능이 우수한 것을 확인하였다. 또한, Table 2의 학습 데이터와 비교해보면 각 패턴별 존재하는 고유의 위상에서의 형태를 잘 인식하고 있음을 Grad-CAM 결과를 통해 살펴보면, 부분방전의 종류에 따라 다양한 패턴과 위상에 대해 빨간색으로 표현될수록 알고리즘이 주요 위치에 가중치를 높게 두어 학습결과를 도출하는 것을 볼 수 있고, 또한 학습을 위한 데이터의 형태와 유사하게 표현되는 것을 시각적으로 확인할 수 있다.

Table 3. Results of classification for partial discharge

4.2 Epoch plot

패턴 분류 결과를 보다 정량화 하기 위해, Python-matplotlib 을 사용하여 모델 학습률 대비 패턴 분류 정확도 및 손실률에 대한 오차 검증을 진행하였다. Epch plot 는 일반적으로 y 축에 정확도 또는 손실률이 표시되고, 학습률을 의미하는 epoch 는 x축에 표시된다. 이 결과를 통해 epoch 수가 증가함에 따라 모델 성능의 변화(수렴 또는 발산) 여부를 시각화할 수 있다. 또한, 학습을 위한 최적의 epoch(학습률)를 결정하고 모델의 학습량에 대한 과적합 또는 과소적합과 같은 변수를 최적화 할 수 있다^[11].

Fig. 5는 VGG 의 epoch plot 결과를 나타낸다. 정확도는 Loss Finction 을 통해 모델의 학습 정도를 확인하고자 구성했던 Test Data set을 통해 패턴 분류 결과 값과 실제 데이터와의 차이 즉, epoch값이 증가할 수 록 모델의 정확도와 손실률을 각각 1과 0으로 수렴하는 것으로 확인할 수 있다. 따라서 두 개의 결과를 교차검증하여 본 논문에서 제안하고자 하는 모델의 패턴 분류 학습 정확도를 Table 3의 결과와 같이 Grad-CAM을 활용한 모델 가중치를 시각적으로 확인할 수 있을 뿐만 아니라 정량적으로 확인 하였다.

Fig. 5. Loss and accuracy plot of proposed model