3.1 시공간 그래프 컨볼루션 신경망 (ST-GCNs)

본 절에서 설명하는 모델의 전반적인 구조에 관해서 설명한다. 시공간 데이터에 대한 학습을 진행하기 위한 공간 그래프 컨볼루션(spatial graph convolution)과 시간 게이트 컨볼루션(temporal gated convolution) ⁽¹⁴⁾인 두 가지 구조로 구성되며, Fig. 6과 같다.

Fig. 6. ST-GCNs architecture

첫째로, 공간 정보에 대한 연산 $*_{𝒢}$은 $K$ 크기 커널, 체비셰프 계수(Chebyshev coefficient)인 $\Theta_{i,\: j}\in R^{K}$, 그리고 라플라시안 행렬(Laplacian matrix)인 $L$로 $y_{j}=\sum_{i = 1}^{C_{i}}\Theta_{i,\: j}(L)x_{i}$ 로 공간적 그래프 컨볼루션을 나타낸다. 간단히 3차원 표현으로 $\Theta *_{𝒢}𝓧$, $𝓧\in R^{M'\times node\times C_{i}}$ 정의된다. 이러한 연산은 네트워크가 각 노드 간의 연결 관계를 내포하여 학습하도록 한다⁽¹¹⁾.

두 번째로, 시간 정보에 대한 학습은 시간 게이트 컨볼루션(temporal gated convolution) 구조를 활용한다. CNN기반 구조에 게이트(gate)를 도입하여, LSTM에서 발생하는 체인 구조와 이전 히든(hidden) 상태에 의존하는 계산적 문제점을 해결하는 구조이다. 이를 통해 계산량을 커널의 크기 k에 대해, $O(N/k)$의 계산적 이득과 장기간 종속성을 유지할 수 있다. 이를 게이트 선형 유닛(gated linear unit, GLU)라고 하며. 수식은 아래와 같다^(11,14).

$T *_{𝒯}Y = C_{out_{1}}(I)\otimes\sigma(C_{out_{2}}(I))\in R^{\left(M-K_{t}+1\right)\times C_{out}}$

연산 $*_{𝒯}$은 $T\in R^{K_{t}\times C_{i n}\times 2C_{out}}$ 는 크기 $K_{t}$ 인 커널로 연산 입력값($I$ )에 대한 컨볼루션과 시그모이드(sigmoid) 함수를 통과한 컨볼루션 출력에 대한 ⊗ 연산은 아다마르 곱(element-wise product), $M$은 시계열 데이터의 길이, $C$는 컨볼루션, 그리고 $C_{"\in}"$와 $C_{out = out_{1}+out_{2}}$은 각각 컨볼루션의 입력과 출력 채널의 크기를 의미한다. 이는 LSTM의 게이트와 같이 정보의 입출력을 제어하는 역할을 한다. 앞서 소개한 Fig. 6에서 시공간 컨볼루션 블록(spatial-temporal convolutional block)이라고 하며, 수식은 아래와 같이 나타낼 수 있다⁽¹¹⁾.

$i^{l+1}= T_{1}*_{𝒯}Re LU\left(\theta^{l}*_{𝒢}\left(T_{0}^{l}*_{𝒯}i^{l}\right)\right)$

결과적으로, $i^{l+1}$의 예측값과 실측값을 Loss값을 최소화하며, 신경망의 파라미터를 학습한다.

3.2 비교 모델

학습된 ST-GCN 모델의 성능을 검증하기 위해서 다음과 같이 시계열 예측에 널리 사용되는 ARIMA 모델과 딥러닝 모델인 LSTM을 비교군으로 선택하였다. 비교군의 경우 모델 특성상 D/L에 속한 각 자동화 개폐기별 23개의 모델학습을 수행하고 성능을 평가한다. 비교군에 대한 소개는 아래와 같다.

∙ARIMA(Auto Regressive Integrated Moving Average⁽⁸⁾): 시계열 예측에 많이 사용되는 기법으로서 자기회귀(aurto regression)모형의 시간 차이인 p, 이동평균(movig average)모형의 시간 차이인 q, 차분(Differencing)의 횟수 d인 초매개변수(hyperparmeter)인 [p, d, q]를 통해 자기회귀, 차분, 오차에 대한 자기회귀, 그리고 계절 주기를 모델링한다. 모델은 ARIMA기반 단기부하 예측에 관한 논문⁽⁸⁾의 실험결과를 참고하여, 초매개변수 [1, 0, 0]을 중심으로 그리드 서치(grid search)한다. 단기부하 예측모델은 매시간 학습데이터를 점증적으로 반영하여 최적화한다.

∙LSTM(Long Short-Term Memory⁽¹⁵⁾): 기계학습 모델이 가진 기울기 소실 문제(gradient vanishing problem)와 데이터 장기의존성(long-term dependency) 모델링에서 좋은 성능을 보이는 모델이다. 내부에 망각(forget) 게이트, 입력(input) 게이트, 그리고 출력(output) 게이트로 구성된 게이트들을 통해 LSTM 내 셀 정보들을 가중한 상태정보들을 순환 구조로 이후 셀에 전달하도록 구성된다. 논문⁽¹⁶⁾에서 초매개변수를 참고하였으며, Table 2와 같다.

4.1 그래프 신경망 모델학습

본 실험에 사용된 개폐기 노드 정보와 부하 데이터는 종합배전자동화시스템에서 추출하였다. 데이터는 2019년 8월-2021년 8월 간 충북의 공북, 서평, 덕촌, 연제 4개의 D/L 23개 개폐기의 시간당 상전류 시계열 데이터 정보로 구성되며, 연결정보는 자동화 개폐기에 대한 부분 그래프로 표현된 인접행렬을 사용한다. ST-GCNs 모델은 시공간적 연관 데이터를 통해 D/L별 예측 이전 시점 12시간 동안의 패턴정보로 (1/ 2/ 3hr) 이후 상 전류값을 추정하는 데 사용한다. 학습 및 테스트 데이터는 4대 1로 나뉘며, 기간으로는 각각 20개월과 5개월의 시간별 전류 데이터로 구성된다. 실험환경은 데스크탑 환경(CPU: Intel(R) 10th i7-10875H NVIDIA GeForce RTX 2080)에서 모델학습을 진행하였다.

4.2 성능 지표

ST-GCNs 모델의 성능을 확인하기 위하여, 평균절대 오차(mean absolute error, MAE), 제곱근 평균제곱 오차(root mean squared error, RMSE), 그리고 평균 절대 백분율 오차(mean absolute percentage error, MAPE)를 측도로 사용한다. 위의 세 가지 측도는 (1 / 2 / 3hr) 이후 예측값으로 각각 비교한다.

여기서, $H$ 는 시간을, $N$은 학습 개폐기의 수를 의미한다. 성능 지표는 예측성능을 확인하기 위한 측도로 낮을수록 좋은 성능을 의미한다.

4.3 실험결과

본 논문에서 제안된 모델과 비교모델의 예측 결과는 Table 3과 같다. RMSE와 MAE 관점에서, ST-GCNs기반 모델은 ARIMA와 LSTM의 결과와 비교하여 준수한 성능을 보여주었다.

연재-D/L의 경우는 학습되지 않은 새로운 패턴의 데이터에 대해서는 ARIMA처럼 학습데이터를 점증적으로 증가시키며 최근의 데이터를 반영하는 방식이 이점을 가졌다. 하지만 이것은 수시로 모델을 갱신해야만 하는 문제점을 지닌다.

제안된 모델은 MAPE 기준 공북 D/L에서 가장 낮은 성능을 보였다. D/L 내 두 개폐기의 학습데이터와는 전혀 다른 형태 패턴의 예측 결과로 보인다. 이 두 개폐기별 오차는 67%와 81%로 예측하였으며, LSTM의 경우에는 77%와 26%를 보였다. 이는 앞으로 제안된 모델의 성능을 높이는 데 있어서, 다양한 학습데이터가 필요하다는 것을 보여준다.

Fig. 7. MAPE-Boxplot result of test models

Fig. 7은 실험모델 간 MAPE 성능을 박스 플롯으로 나타내며, 이는 딥러닝 계열 모델이 ARIMA와 비교하여, 전반적으로 높은 정확도와 오류에 대한 분산도가 낮음을 확인할 수 있다. 실험 결과를 종합하면, 개폐기별 LSTM 기반 모델이 가장 우수한 성능을 얻을 수 있었다.

하지만, 이러한 성능을 얻기 위해 하나의 모델을 학습하기 위해 사용된 학습 시간(Table 4)은 ST-GCN과 비교하여 대략 11배의 시간이 소요되었으며, 생성되는 모델의 개수를 반영할 경우 63배까지 늘어난다. 이는 전국 단위의 D/L에 대한 접근에 있어서 연산자원확보에 대한 어려움을 가진다. 따라서 본 논문에서는 제안된 모델이 연산시간과 정확도 측면을 고려하여, 실제 산업에 응용하는 데 장점이 있는 것으로 판단된다.