1.1 연구의 배경

인공신경망 기법은 전력부하를 예측하는 방법론 중 하나로 각광 받고 있으며 실제 평일이나 특수일 예측에도 많이 활용되고 있다.

특히 시계열모형인 ARMA나 ARIMA와 같은 예측모형에 비하여 전력부하에 영향을 미치는 다양한 정보들을 활용할 수 있다는 점에서 장점이 있고 최근처럼 데이터가 잘 구축되어 있는 환경을 잘 활용할 수 있는 대표적인 기법이라 할 수 있다.

하지만 인공신경망 기법 역시 다양한 방법론과 모형들이 존재하는 만큼 어떤 방법론을 사용하고 모형을 어떻게 구축하는지에 따라서 예측력에 큰 차이가 존재한다.

본 연구에서는 인공신경망 기법 중 다중퍼셉트론이라 불리는 MLP모형을 활용하여 전력부하 예측모형을 구축하였다. MLP모형은 입력층과 출력층 사이에 은닉층이 존재하는 신경망을 의미한다. 이러한 MLP모형은 단층 퍼셉트론인 SLP모형에 비하여 데이터들의 비선형적 특징을 잘 반영할 수 있기 때문에 전력부하를 예측하는데 활용하는 다양한 피쳐(설명변수)들의 특징을 잘 반영할 수 있다.

따라서 본 연구에서 구축한 MLP모형을 바탕으로 평일의 시간대별 전력부하를 예측하며 그 중에서도 하절기에 속하는 8월 달 평일의 시간대별 전력부하를 예측하고자 한다.

하절기로 특정지어 전력부하를 예측하는 이유는 본 연구에서 활용하는 다양한 기상정보의 경우 동절기 보다 하절기 전력부하에 더 큰 영향을 미치기 때문이다.

특히 기온, 습도, 강수량, 일사량, 일조량 등의 기상정보와 함께 빅데이터로 일반국도의 평균교통량이 반영되고 날짜정보로 월,일,요일,시간이 더미변수로 활용되는 만큼 전력부하에 영향을 미치는 다양한 요인들을 최대한 반영하여 예측하고자 하였다.

1.2 연구의 목적 및 방법

본 연구에서는 다양한 기상정보와 빅데이터를 반영하여 전력부하를 예측하는 인공신경망 모형을 구축하여 하절기 평일에 대한 예측오차를 줄여 전력수급계획에 이바지함을 목표로 하고 있다.

특히 기존의 인공신경망 모형을 활용한 전력부하예측에는 주로 기상정보로는 기온만 활용되는 경우가 많으며 날짜정보로 요일 또는 시간 등의 정보와 전력시차항이 사용되는 경우가 대부분이었다.

하지만 전력부하에 영향을 미치는 기상요인은 기온뿐만 아니라 습도와 강수량 그리고 풍속 등 다양하며 태양광 발전의 대리변수(proxy)로 볼 수 있는 일사량과 일조량 역시 기상정보로 전력부하 예측모형에 반영해야 하는 것이 적절하다고 할 수 있다.

따라서 본 연구의 주요한 장점으로는 선행연구들에 비해서 다양한 기상정보를 활용하였을 뿐만 아니라 최근 다양한 분야에서 활용되는 빅데이터 중 일반국도의 시간대별 누적교통량의 평균교통량을 활용하여 전력부하 예측에 활용하였다는 점이다.

또한 날짜정보를 월, 일, 요일, 시간의 4가지로 구분하여 더미변수로서 모형에 반영함으로써 날짜효과(Calendar Effect)를 반영하였다. 이를 통해 개별 날짜정보가 가지는 특성이나 주기성을 반영할 수 있도록 하였다.

이를 바탕으로 본 연구에서는 하절기 중 8월의 평일의 전력부하를 표본 외 예측(Out of sample forecast)하고 본 연구에서 제시한 MLP모형의 예측력을 추가로 검증하기 위해 벤치마크 모형으로 ARIMA-X 모형을 구축하여 비교 및 분석하였다.

2.1 MLP모형의 개요

본 논문에서 사용한 인공신경망은 다중 퍼셉트론이라고 불리는 MLP이다. MLP는 기존의 단층퍼셉트론인 SLP가 가지고 있던 선형분류기라는 한계를 극복하고 XOR문제를 해결한 방법론이다. 즉 MLP는 입력층과 출력층 사이에 은닉층이 존재하는 신경망을 의미한다. MLP 신경망은 은닉층과 은닉마디의 개수를 정해야 하는데 은닉층과 은닉마디가 많아 질수록 모형이 복잡해지며 추정할 계수가 늘어나 최적화가 어려워진다⁽¹⁾.

반면에 SLP(Single Layer perceptron)신경망은 입력층과 출력층으로만 구성된 신경망을 의미한다. 이러한 단층 퍼셉트론은 비선형 문제를 해결할 수 없는 문제가 있다⁽²⁾.

따라서 본 논문에서는 전력부하를 예측하는데 사용하는 데이터들의 비선형적 특징을 반영하기 위하여 MLP 모형을 구축하여 예측에 활용하며 이를 위해 파이썬의 TensorFlow Library를 사용하였다.

2.2 MLP모형 주요 특징

MLP 모형을 통한 예측에서 중요한 것은 은닉층의 layer의 수와 활성화함수(Activation Fucntion)를 설정해주는 것이다. 따라서 본 논문에서는 은닉층의 개수를 두 개로 설정하고 활성화함수로는 비선형성을 반영할 수 있는 함수들을 선정하였다. 즉 비선형성을 반영할 수 있는 대표적인 활성화함수인 ReLU와 ELU를 사용하였다.

활성화 함수의 경우 은닉층과 출력층에 동일한 활성화 함수를 사용하는 경우도 있으며 서로 다른 활성화함수를 사용하는 경우도 있다.

하지만 본 연구에서는 은닉층과 출력층에 동일한 활성화 함수를 사용하였으며 동일한 조건에서 ReLU와 ELU를 사용했을 때의 예측력의 차이를 보고자 하였다.

2.3 활성화함수

활성화함수에 대해서 좀 더 자세하게 살펴보면 본 연구에서 사용된 ReLU와 ELU 뿐만 아니라 LReLU, sigmoid(시그모이드), tanh(하이퍼볼릭탄젠트) 등 다양한 활성화 함수들이 존재한다. 여기서 ReLU와 ELU와 직접적인 연관이 있는 LReLU에 대해서 같이 살펴보면 각 함수는 다음과 같은 방식으로 계산된다.

Fig. 1. Comparison of ReLU, ELU, and LReLU

앞에서 살펴본 식과 더불어 위의 <Figure 1>에서 볼 수 있듯이 ReLU의 경우 x가 음수일 경우 모두 0으로 출력하는 활성화 함수이다. 이러한 특징으로 인해 매우 빠르게 계산할 수 있으며 수렴속도가 다른 비선형함수인 sigmoid에 비해 월등히 빠르다.

또한 vanishing gradient problem 문제를 보완했다는 점에서 머신러닝에서 많이 사용되는 활성화 함수이다. 다만 단점으로는 x가 음수일 경우 기울기가 0이 되면서 뉴런이 유효하지 않게 될 수 있다.

반면 LReLU의 경우 x가 음수인 경우에도 기울기값을 부여하여 ReLU에서 뉴런이 유효하지 않게 되는 현상을 해결한 방법론이다. 다만 주의할 점은 LReLU에서 음수인 x값에 부여하는 기울기값은 매우 작은 값이라는 점이다.

ELU의 경우 LReLU와 마찬가지로 x가 음수인 경우에도 기울기가 부여되는데 큰 차이점은 0에 가까운 음수값일수록 상대적으로 기울기가 크며 0에서 멀어진 음수값일수록 기울기가 0에 가까워진다는 점이다.

이러한 ELU의 장점은 ReLU가 가진 장점을 유지하면서 뉴런이 유효하지 않게 되어 파라미터가 업데이트 되지 않는 ReLU의 단점도 해결했다는 점이다. 다만 $e^{x}$값을 활용해야 한다는 점에서 추가적인 비용이 발생한다.

본 연구에서는 앞서 언급한 것처럼 일반적으로 많이 활용되는 ReLU와 ELU를 활성화함수로 선정하여 MLP 모형 구축 및 학습에 활용하였다.

2.4 국외 주요 선행연구

아래 <Table 1>에는 인공신경망 관련하여 주요 국외 선행연구가 정리되어 있다. Tanidir et al.(2015)에서는 전력시차항으로 직전일(1일전)과 직전주(7일전)가 반영되었으며 날짜정보 관련 변수 및 기온변수 등이 사용되어 전력부하에 영향을 미치는 요인들이 다양하게 반영되었다⁽³⁾. 이는 인공신경망 모형이 가지는 장점을 잘 활용한 경우이다. 다만 기상요인이 다양하게 반영되지 못했다는 점은 한계점으로 남는다.

Ortiz-Arroyo et al.(2005)은 평일과 휴일의 패턴차이를 반영하고자 날짜정보 중 요일변수를 활용하였다⁽⁴⁾. 다만 인공신경망 모형에 기상요인은 반영되지 못했다.

Mohammad et al.(2000)은 인공신경망 모형과 Fuzzy-logic의 expert system을 결합하여 시간대별 전력부하를 예측하였다. 특히 Fuzzy-logic의 module을 통해 얻어진 산출값을 인공신경망의 피쳐(설명변수)로 추가하여 학습을 진행하였다는 점에서 학습과 최적화에 뛰어난 인공신경망 기법과 전력예측을 위해 필요한 전문가의 지식을 추출하고 활용할 수 있는 expert system의 시너지 효과를 기대할 수 있다. 하지만 활성화함수로 sigmoid를 사용했다는 점에서 vanishing gradient problem 문제가 있을 수 있다.

Al-Rashid et al.(1996)는 시간대별 전력부하 예측을 위해 여름철과 겨울철로 모형을 나누고 각 모형 별로 피쳐(설명변수)를 다르게 적용하였다. 다만 겨울철 모형의 경우 기온 관련된 변수만 포함되었고 여름철 모형의 경우 기온과 함께 상대습도까지 고려한 열지수(heat index)가 사용되긴 했지만 이외의 추가적인 기상변수는 고려되지 않았다.

2.5 국내 주요 선행연구

아래 <Table 2>에는 주요 국내 선행연구가 정리되어 있다. 김경환 외 3인(2017)에서는 전력시차항으로 2일전 전력부하가 사용되고 기상변수로는 기온만 사용되었는데 3일전, 2일전 그리고 당일의 기온이 사용되었다. 또한 시간인덱스를 사용하여 전력부하가 가지는 시간대별 주기성을 반영하였다.

고희석 외 2인(2002)에서는 신경망 모형이 회귀모형에 비해 알 수 없는 변동성을 더 많이 반영한다는 것을 밝혀냈다. 다만 기상요인을 신경망 모형에 반영하지 않았다는 점에서 한계를 지닌다.

본 연구에서는 특히 김경환 외 3인(2017)의 연구에서 착안하여 하절기로서 8월을 선정하고 8월 평일의 시간대별 전력부하를 예측하는 연구를 진행하였다. 김경환 외 3인(2017)에서는 16년도 8월의 평일을 예측하였지만 본 연구에서는 18년도 8월의 평일을 예측하였다.

2.6 본 연구의 차별점

먼저 선행연구와는 달리 입력층에 투입되는 피쳐들의 다양화로 전력부하에 영향을 미치는 요인들을 다양하게 반영하였다.

특히 전력시차항의 경우 2일전, 3일전, 7일전 전력부하를 활용하여 전력부하의 패턴을 다양하게 학습하도록 하였다. 기상변수의 경우 전력부하에 영향을 미치는 기상요인들을 데이터 확보가 허용하는 범위 안에서 모두 반영하였다.

또한 날짜정보의 경우도 요일이나 시간만 사용한 것이 아니라 일과 월도 사용하여 더미변수화 시켰기 때문에 예측을 위해 활용할 수 있는 날짜정보를 최대한 모형에 반영하였다.

이를 통해 날짜정보와 관련하여 전력부하가 가지는 특성이나 패턴을 잘 포착하도록 하였다.

빅데이터 중에서는 일반국도의 시간대별 누적교통량의 평균교통량을 활용하였다. 일반국도의 평균교통량을 활용한 이유는 일반적으로 휴일의 경우 회사나 공장이 휴업하고 대부분 자가용을 활용하여 외출을 하는 경우가 많기 때문에 일반국도의 평균교통량이 많아지면 전력부하도 낮아진다는 관점에서 모형에 반영하였다.

MLP 모형의 구조적 관점에서는 MLP모형을 2개로 구축하였고 각 모형의 은닉층의 개수는 2개로 동일하며 은닉노드의 수도 42개와 21개로 각각 동일하게 구성하였다.

하지만 활성화함수의 경우 ELU를 사용한 경우와 ReLU를 사용한 경우로 구분하였고 ELU를 사용한 경우 MLP모형1로 지칭하고 ReLU를 사용한 경우 MLP모형2로 지칭하였다.

2.7 데이터셋

본 연구에서 구축한 데이터셋은 아래 <Table 3>와 같다. 데이터의 기간은 모두 2000년에서 2018년으로 총 19년치로 동일하다. 빈도(frequency)의 경우 시간대별이며 날짜변수를 제외하고는 모두 한국전력거래소와 한국건설기술연구원의 자료를 활용하였다.

전력변수와 기상변수의 경우 한국전력거래소(KPX)로부터 제공받았다. 기상변수의 경우 전국기상변수를 사용하였는데 전국기상변수란 전국 8대 도시의 기상변수에 인구가중치를 부여하여 계산된 값을 의미한다. 따라서 각 시간대별로 전체 지역의 대표성을 지니는 기상변수라고 볼 수 있다.

빅데이터의 경우 한국건설기술연구원으로부터 일반국도의 시간대별 누적교통량을 제공받았으며 이를 평균교통량으로 변환하였다.

날짜변수의 경우 앞서 언급한 것처럼 자체 구축하였으며 모두 더미변수화 시켰다.

3.1 모형 구축

본 모형의 MLP모형은 입력층에 84개의 피쳐가 포함된다. 각 피쳐들은 전력시차항(2일전, 3일전, 7일전), 기상변수(전국기온, 전국습도, 전국일사량, 전국일조량, 전국풍속, 전국강수량), 날짜변수(월더미, 일더미, 요일더미, 시간더미) 그리고 빅데이터(일반국도 평균교통량)로 구성된다.

은닉층의 개수는 두 개로 설정하였으며 각각의 은닉층의 은닉노드의 수는 42개와 21개로 설정하였다. 이는 input 변수가 84개이므로 첫 번째 은닉층에서는 그 절반인 42개의 은닉노드를 설정하였고 두 번째 은닉층에서는 첫 번째 은닉층의 은닉노드 수인 42개의 절반인 21개로 설정하였다.

최적의 은닉층과 은닉노드의 수를 결정하는 명확한 방법은 존재하지 않지만 MLP모형에 있어서 예측력에 중대한 영향을 미치는 것은 잘 알려진 사실이다.

층과 노드가 많아지면 복잡한 과정을 희미하게 처리할 수 있지만 너무 많은 층과 노드로 인해 overfitting현상이 발생할 수 있고 반대로 너무 적은 층과 노드를 사용하면 underfitting 현상이 발생할 수 있기 때문이다⁽⁶⁾.

가중치 업데이트를 위해서는 Mini-batch를 활용하였으며 크기는 24로 설정하였다. 따라서 총 145080개의 학습용 데이터를 epoch 당 6045번 가중치를 업데이트 하여 학습하게 된다. epoch은 150으로 설정하였기 때문에 150번 iteration 된다. Validation용으로는 336개(24시간×14일)의 데이터가 활용된다.

이를 통해 최종 출력층에서는 예측일의 시간대별 전력부하(24개)가 도출되게 된다.

3.2 예측력 평가 방법

예측력 평가방법으로는 평균절대백분위오차인 MAPE를 활용하였다. MAPE는 다음과 같은 방식으로 계산된다.

MAPE는 서로 다른 모형끼리의 예측력을 평가 및 비교할 때 유용하게 사용되며 낮은 값을 가질수록 높은 예측력을 나타낸다.

3.3 표본 외 예측결과

MLP모형1과 MLP모형2를 바탕으로 2018년 8월달의 평일에 대하여 표본 외 예측을 시행한 결과는 <Table 5>와 같다.

우선 본 연구에서 구축한 두 가지 모형 중 활성화함수로 ReLU를 사용한 MLP모형2가 8월 평일 동안의 평균 MAPE가 낮았기 때문에 더 우수한 예측력을 보여준 것으로 나타났다. MLP모형2는 8월 평일 동안의 평균 MAPE가 2.49로 나타났고 MLP모형1은 2.69로 나타났다.

주목할 점은 MLP모형1과 MLP모형2가 하절기인 8월 동안 대부분 안정적인 예측력을 보여주었다는 점이다.

3.4 시계열모형과 예측력 비교

본 연구에서 구축한 인공신경망 모형의 예측력을 타모형 및 방법론과의 비교를 통해서 예측모형으로서의 우수성을 입증하고자 하였다.

이를 위해 벤치마크 모형으로 예측에 많이 활용되는 시계열 모형을 활용하였다. 시계열 모형은 고전적 모형과 확률적 시계열 모형 두 가지로 구분되는데 고전적 모형에는 이동평균법, 지수평활화법 및 분해법이 있으며 확률적 시계열 모형에는 대표적으로 ARIMA가 있다⁽⁷⁾. 본 연구에서는 ARIMA모형을 사용하였으며 그 중 ARIMA-X모형을 사용하여 본 연구에서 제안한 MLP모형과의 예측력을 비교하였다.

ARIMA-X모형의 경우 ARIMA모형에서 외생변수를 추가한 모형을 의미한다. 본 연구에서 신경망 모형과의 비교를 위해 구축한 ARIMA-X 벤치마크 모형의 식은 다음과 같다.

본 연구에서 위와 같은 ARIMA-X모형을 구축한 과정은 다음과 같다. 먼저 ARIMA모형을 위해서 ARIMA(p,d,q)의 차수를 구하기 위한 작업이 선행되어야 한다.

ARMA(p,q)모형과 ARIMA(p,d,q)모형의 차이는 데이터의 추세를 반영했다는 점이다⁽⁸⁾. 즉 시계열에 noise가 존재하더라도 추세가 없고 정상성을 만족한다면 ARMA모형으로 충분하지만 시계열에 추세가 존재한다면 잔차 제거를 위해 ARIMA모델을 사용해야한다⁽⁹⁾.

이는 차분을 하지 않고도 시계열이 정상성을 만족하는 모형이 ARMA(p,q)이고 d번 차분해야 정상성을 만족하며 ARMA 과정을 따르는 시계열이라면 ARIMA(p,d,q)라는 의미이다.

차수인 p와 q는 일반적으로 자기상관함수(ACF)나 편자기상관함수(PACF)를 통해서 판단하거나 ARIMA모형 추정 후 AIC와 SIC 값이 낮은 모형의 차수를 선택하게 된다. 이는 AR모형이나 MR모형에서는 ACF와 PACF만으로도 모형식별이 용이하지만 ARMA 계열에서는 ACF와 PACF만으로는 모형식별이 쉽지 않기 때문이다.

따라서 본 연구에서는 위에 따라 몇 가지 모형을 선정한 후 그에 대한 분석을 진행하여 p와 q를 11과 4로 선정하였다. d의 경우 전력부하 변수가 trend를 가지기 때문에 차분을 통해서 정상시계열로 변환하는 작업을 거쳤으며 따라서 1차 차분 이후 정상시계열이 되는 ARIMA(11,1,4)모형이 구축되었다.

이후 외생변수로는 전국기온 변수를 활용하여 ARIMA-X 모형 구축을 완료하였다. 다만 전국기온 변수 역시 trend를 가지고 있기 때문에 차분을 통해서 정상시계열로 변환한 후 모형에 반영하였다.

ARIMA-X모형을 바탕으로 하절기인 8월 평일의 전력부하를 예측한 결과 평균 MAPE가 3.88로 나타나 비교적 우수하였으나 본 모형에서 제시한 MLP모형1과 MLP모형2에 비해서는 예측력이 떨어지는 것으로 나타났다.

전력부하예측에는 예측오차를 살펴보는 것 이외에도 예측치가 실제치의 패턴을 포착하는지도 중요하기 때문에 MLP모형1과 MLP모형2에서 가장 좋은 시간대별 평균 MAPE를 기록한 8월 3일(음영표시)과 8월 8일(음영표시)의 패턴을 살펴보았다.

아래 <Figure 2>의 경우 활성화함수로 ELU를 사용한 MLP모형1의 8월 3일 예측치(점선)와 실제치(실선)의 패턴을 보여주고 있는데 오후 시간대에 다소 과소예측하는 부분을 제외하고는 실제치의 패턴을 매우 잘 포착하고 있음을 알 수 있다.

Fig. 2. Patterns of actual and predictive values on the 3th day of August(ELU)

마찬가지로 <Figure 3>의 경우 활성화함수로 ReLU를 사용한 MLP모형2의 8월 8일 예측치(점선)와 실제치(실선)의 패턴을 보여주고 있는데 저녁 시간대에 과대예측을 하는 부분을 제외하고는 실제치의 패턴을 매우 잘 포착하고 있음을 알 수 있다.

Fig. 3. Patterns of actual and predictive values on the 8th day of August(ReLU)

3.5 선행연구와의 예측력 비교

본 논문과 동일하게 가장 최근인 18년도 8월의 평일을 예측하거나 동일한 데이터를 사용한 다른 모형의 선행연구가 없는 만큼 직접적인 비교는 어려우나 과거의 선행연구들 중 비록 연도는 다르나 8월의 평균 MAPE를 살펴보면서 간접적으로 본 논문에서 제시한 MLP모형의 예측력을 비교할 수는 있다.

Al-Rashid et al(1996)의 경우 ANN모형을 바탕으로 1992년의 시간대별 전력부하를 예측하였는데 8월의 평균 MAPE가 3.156으로 나타났으며 해당 연구에서 벤치마크로 삼은 시계열 모형의 경우 3.559로 나타났다.

Al-Rashid et al(1996)의 경우 여름철과 겨울철로 나누어 두 종류의 ANN 모형을 구축하였는데 여름철의 ANN에 들어가는 피쳐(설명번수)로 1일전 시차항이 포함된다는 점을 감안하여 8월의 MAPE를 본 연구의 모형과 간접적으로 비교할 때 Al-Rashid et al(1996)에 비해서 본 논문에서 제시한 모형의 예측력이 더 좋을 것으로 판단된다.

Mohammad et al(2000)에서는 Fuzzy-logic의 expert system을 인공신경망 모형과 결합하여 1997년의 시간대별 전력부하 예측을 실시하였는데 앞서 언급한 Al-Rashid et al(1996)의 후속연구로서 동일한 지역의 전력부하 데이터를 사용하였으며 이전의 ANN모형을 개선한 FL-ANN모형을 개발 및 구축하였다.

이를 바탕으로 예측한 결과를 살펴보면 FL-ANN 모형의 8월 MAPE가 해당 연구에서 벤치마크로 선정한 ARMA의 3.559에 비해서 2.397로 개선된 모습을 보여주었다.

이는 앞서 언급했던 Al-Rashid et al(2000)의 ANN모형이 기록했던 3.156보다도 개선된 결과이다. 이러한 결과를 본 논문에서 구축한 MLP모형의 8월 MAPE와 간접적으로 비교해보면 MLP모형2의 2.49와 유사한 수준의 예측력이라고 볼 수 있다.