3.1 LSTM(Long Short-Term Memory Networks) 구조

LSTM은 기존 RNN(Recurrent Neural Networks)의 기울기 사라짐 문제(Gradient Vanishing Problem)를 해결할 수 있게 셀 상태(Cell state)와 3개의 게이트(Forget, Input, Output)를 도입하여 정보의 흐름을 효과적으로 제어한다 ^[14]. 특정 시점 t에서의 LSTM 연산 과정은 다음과 같다. 여기서 $x_{t}$는 현재 시점의 입력, $h_{t-1}$은 이전 시점의 은닉 상태, $C_{t}$는 셀 상태를 의미한다. $W$와 $b$는 각 게이트의 가중치 행렬과 편향 벡터이며, $\sigma$는 시그모이드 함수, $\tanh$는 하이퍼볼릭 탄젠트 함수, $*$는 원소별 곱셈(element-wise multiplication)을 나타낸다.

수식 (1)에서 Forget Gate는 이전 시점의 정보 중 어떤 것을 잊을지 결정한다. 다음으로 수식 (2), 수식 (3)에서 Input Gate는 현재 시점의 정보 중 어떤 값을 셀 상태에 저장할지 결정한다. 수식 (4)에서 이전 셀 상태($C_{t-1}$)와 두 게이트의 결과를 결합하여 현재 시점의 셀 상태($C_{t}$)를 업데이트한다. 수식 (5), 수식 (6)에서 마지막으로, Output Gate는 업데이트된 셀 상태로부터 어떤 정보를 다음 은닉 상태($h_{t}$)로 내보낼지 결정한다. 이러한 LSTM 모델은 뛰어난 성능으로 인하여 시계열 데이터 예측 문제에 많이 활용되고 있다.

3.2 Bi-LSTM 모델 구조

이번 연구의 실시간 전력수요예측 모델로 사용된 Bi-LSTM은 입력 시퀀스를 순방향과 역방향으로 각각 처리하는 두 개의 독립적인 레이어를 사용한다 ^{[13, 15]}. 이를 통해 각 시점의 입력에 대해 과거와 미래의 문맥 정보를 모두 고려할 수 있다. 따라서 단방향 LSTM에 비해 시간적 패턴 인식 능력이 향상된다.

그림 4. Bi-LSTM 구조

Fig. 4. Bi-LSTM Structure

Bi-LSTM 모델의 구조는 그림 4와 같이, 순방향 정보를 학습하는 Forward LSTM과 역방향 정보를 학습하는 Backward LSTM 구조가 있다. 각각의 LSTM 셀에서 추출한 정보를 병합(Concatenate)하여 최종으로 출력한다.

3.3 실시간 전력수요 예측 알고리즘 순서도

본 절에서는 그림 5의 순서도를 통해, 제안하는 Bi-LSTM 기반 실시간 전력수요 예측 알고리즘의 전체적인 프레임워크를 기술한다. 본 알고리즘의 핵심은 모델의 내부 하이퍼파라미터가 아닌, 예측 성능에 영향을 미치는 학습 전략 변수(학습 기간, 윈도우 크기, 재학습 빈도)를 최적화하는 데 있다.

그림 5. 실시간 전력수요 예측 알고리즘 순서도

Fig. 5. Flowchart of the Real-Time Electricity Demand Forecasting Algorithm

이러한 접근법은 크게 세 단계로 구성된다. 첫 번째는 예측 환경의 변화에 대응하기 위해, 모델이 고정된 성능에서 머무르지 않고 지속적으로 최신 데이터 패턴에 적응할 수 있는 ‘학습 전략 재설정’ 단계이다. 두 번째는 최적의 학습 전략을 탐색하는 '학습 전략 최적화' 단계이며, 세 번째는 도출된 최적의 전략을 기반으로 실시간 예측을 수행하는 '운영 모델 구축 및 예측' 단계이다.

4.1 실험 설계

본 논문에서는 5분 단위 수요예측을 시도하였다. 실시간 수요예측에서는 15분 단위로 예측을 시도하는데, 같은 포인트의 변화량을 파악할 때, 5분 단위가 더욱 빠르게 변화량을 파악할 수 있어서 대응이 빠르다는 장점이 있다. 5분 단위 전력수요 데이터는 공공데이터 포털에서 제공하는 육지와 제주가 합쳐진 2020년부터 2023년까지 4년 치 송전단 5분 단위 전력수요 데이터를 활용하였다. 결측치는 26시간 연속된 결측치를 제외하고서 전부 선형보간을 하였다. 5분 단위 기상 데이터는 2020년부터 2023년까지의 기상청 종관기상관측자료(ASOS)를 예보 데이터가 1시간 단위로 나오는 것을 고려하여 1시간 데이터를 5분 단위로 선형보간 하여 사용하였다. 그리고 피어슨 상관관계 분석과 변수 조합별 오차율 개선 경향을 통해서 입력변수를 선정했다.

그림 6. 전력수요와 기상변수 간 상관관계 분석

Fig. 6. Correlation Analysis between Power Demand and Weather Variables

초기 분석 단계에서 전력수요와 주요 기상 변수 간의 피어슨 상관관계를 분석한 결과, 그림 6과 같이 변수 간의 뚜렷한 선형적 관계는 나타나지 않았다. 그러나 LSTM과 같은 비선형 모델은 변수 간의 복잡하고 비선형적인 패턴을 학습하므로, 선형 관계 지표만으로 최적의 입력 변수를 판단하는 데에는 한계가 있다. 이에 본 연구에서는 실제 예측 성능에 기반하여 최적의 변수 조합을 도출하고자, 입력 변수 조합별 오차율(MAPE) 비교 실험을 수행했다. 표 1에서 볼 수 있듯이, 기온과 일사량을 입력 변수로 사용했을 때 MAPE가 1.26%로 가장 낮았으며, 강수량이나 풍속 등 다른 변수를 추가했을 때는 오히려 오차율이 증가하는 경향을 보였다. 이러한 실증적 결과에 근거하여, 본 모델의 최종 입력 변수로는 기온과 일사량을 선정했다. 선정된 변수의 결측치 처리의 경우, 기온은 선형보간법을 적용하였고, 일사량은 태양 관측이 가능한 시간대(09시~18시)는 선형보간으로, 그 외 시간은 0으로 대체하여 데이터의 현실성을 반영했다.

표 2와 같이 우분투 22.04.5 LTS 환경에서 빠른 실험을 위해 V100 GPU를 2대 연결하여 실험을 진행하였다. 표 3과 같이 하이퍼파라미터를 고정하고 사례연구를 진행하였다. Bi-LSTM은 순방향, 역방향 학습이 이루어지기 때문에 층수를 1개로 두었고 입력 변수의 갯수를 고려하여 유닛수를 정하였고 성능 대비 시간을 고려해 나머지 하이퍼파라미터를 정하였다.

LSTM 모델은 신경망 모델로 학습에 오랜 시간이 소요되기 때문에 다양한 학습전략 탐구를 위해서 특수일이 적은 계절별 4주를 표 4와 같이 선정하였다.

그림 1과 같이 예측 대상 시점은 예측 수행 시점으로부터 15개 포인트 이후(75분 후) 단일 포인트로 설정하였다. 이는 실시간 시장에서 입찰 마감이 T – 75분인 점을 고려하여 설정하였다 ^[1]. 예측 수행 시점 이전 1포인트까지 데이터 수집시간을 반영하여 대략 10분가량 여유를 두어 학습, 예측 윈도우를 설정하였다. 그리고 추가로 모델 학습 시 대략 30분 정도의 학습 시간이 필요한 점을 고려하여, 예측 수행 시점 1시간 전까지의 데이터만으로 학습을 진행하였다.

4.4 실시간 전력수요예측 사례연구

Bi-LSTM 모델 학습 시 모델 내부의 하이퍼파라미터 이외에 모델의 학습 기간, 학습 윈도우 크기, 재학습 빈도 같은 학습 전략 선정이 예측 정확도에 큰 영향을 미친다. 여기서 학습 기간은 학습에 사용되는 데이터의 총 기간을 뜻하고 윈도우 크기는 모델의 입력 사이즈를 의미한다. 재학습 빈도는 모델이 최신 데이터를 학습하기 위해 얼마만큼의 기간마다 학습할 것인지를 나타내는 파라미터이다. Bi-LSTM 모델은 딥러닝 모델로 학습에 오랜 시간이 걸린다. 따라서 본 연구에서는 최적의 학습 전략 조합을 찾기 위해 다음과 같은 순차적 탐색을 진행하였다. 첫째, 기본 파라미터(재학습 빈도 3일, 윈도우 크기 1일)를 고정한 상태에서 최적의 학습 기간을 탐색한다. 둘째, 선정된 최적 학습 기간을 적용하여 윈도우 크기에 따른 성능 변화를 분석한다. 마지막으로, 최적의 학습 기간과 윈도우 크기를 고정한 후 재학습 빈도를 조절하며 최종 모델을 선정한다. 표 5와 같이 기본 모델을 학습 빈도 3일, 윈도우 크기 1일, 학습 기간 18개월로 고정하고 실험한 결과 MAPE는 0.98%가 나왔다.

먼저 학습 기간에 따른 오차율 분석을 진행하였다. 학습 기간은 모델의 학습 데이터 크기를 결정하는 중요한 부분이기 때문에 우선 실험을 진행하였다. 표 6에서 학습 기간이 24개월일 때가 전체 MAPE가 0.88% 전체 RMSE가 767.92로 가장 좋은 결과를 보여줬다. 이는 학습 기간이 길수록 모델 학습에 사용할 수 있는 데이터가 증가하여 성능이 향상되는 것으로 보인다. 다음으로 학습 기간을 24개월로 고정한 후 윈도우 크기를 7일부터 6시간까지 조절하여 오차율 분석을 실행하였다.

표 7에서 윈도우 크기가 288*7(7일)일 때가 전체 MAPE는 0.84, 전체 RMSE는 729.72로 가장 좋은 결과를 보였다. 이는 입력을 짧은 기간으로 학습하는 것보다 일주일 정도(요일 특성)의 긴 주기성을 학습하는 것이 오차율 개선에 도움을 준다고 볼 수 있다. 다음으로 윈도우 크기를 288*7(7일)로 고정하고 재학습 빈도를 7일부터 6시간까지 오차율을 분석하였다.

표 8에서 재학습 빈도가 3일과 12시간일 때, 전체 MAPE가 가장 낮게 나왔다. 전체 RMSE는 12시간일 때가 더 낮았지만, 학습을 6배 더 많이 하므로 필요한 컴퓨팅 자원이 6배 정도 더 많이 필요하고 들이는 시간 대비 RMSE가 큰 차이가 없으므로 최적 파라미터로 재학습 빈도 3일로 선정하였다. 최적의 파라미터 결과는 표 9와 같이 재학습 빈도 3일, 윈도우 크기 7일 학습 기간 24개월로 선정되었다.

표 9의 파라미터로 2023년에 4월, 7월, 10월, 12월 총 4달의 예측을 진행한 결과를 추가 분석하였다. 4개월의 계절별 MAPE와 전체 MAPE, RMSE는 표 10과 같다.

4.5 실시간 전력수요예측 사례연구 결과분석

사례연구 결과, Bi-LSTM 모델의 최적의 학습 전략은 재학습 빈도 3일, 윈도우 크기 7일, 학습 기간 24개월로 나타났다. 학습 기간은 길수록 신경망 모델의 학습에 유리한 것으로 나타났고 윈도우 크기는 일주일의 경향을 한 번에 보는 7일이 유리한 것으로 보인다. 다만 재학습 빈도 같은 경우 전체 MAPE는 12시간과 3일마다 학습하는 경우가 같았고 전체 RMSE는 3일보다 12시간마다 학습하는 것이 적게 나왔는데, 이는 계통 운영자 관점에서 전략적으로 선택할 수 있는 지점이다. 12시간마다 학습하는 모델은 한번 학습에 9.8시간이 걸려 실제로 매번 학습하기에는 어렵지만 전체 RMSE가 더 낮다. 3일마다 학습하는 모델은 학습에 1.6시간이 걸려 학습이 빠르지만, 전체 RMSE는 높다. 본 연구에서는 3일마다 선택하는 모델이 빠르게 학습과 예측을 반복해야 하는 실시간 전력수요예측 모델에서 경제성이 있다고 판단하였다. 3일마다 학습하는 모델은 최신 데이터 변동성과 장기적 데이터의 안정성을 고려한 균형점으로 판단된다.

그림 7. 계절별 요일 MAPE 비교

Fig. 7. Comparison of MAPE by Day of the Week for Each Season

그림 7은 계절별 요일 오차율을 나타낸 그래프이다. 봄철 오차율이 유독 높은데, 봄은 일조량이 풍부해 BTM 태양광의 발전량이 높은 시기 중 하나이다. 하지만 냉난방 수요는 적어 전력 소비가 적다. 그림 5와 같이 봄철 수요의 크기가 작기 때문에 비교적 오차율이 더 크게 나온 것으로 보인다. 또한 봄철을 제외한 월요일이 오차율이 크게 나온 것으로 확인되는데, 이는 평일과 주말을 나눈 원 핫 인코딩 때문으로 생각된다. 추후 연구에서는 월요일을 별도의 범주로 처리하거나, 공휴일 다음 날의 패턴을 반영하는 라벨링을 통해 예측 성능을 개선할 수 있을 것으로 판단된다.

그림 8. 계절별 시간대 MAPE 변화

Fig. 8. MAPE Variation by Time of Day for Each Season

그림 8은 계절별 시간대 MAPE를 나타낸 그래프이다. 주로 태양이 뜨는 시간대인 8시부터 18시까지 오차율이 높아지는 것을 알 수 있다. BTM 태양광의 변동성 때문에 오차율이 증가한 것으로 보인다. 반면 일사량이 없는 새벽 시간대에는 오차율이 작은 것을 볼 수 있다.

그림 9에서는 4월 1일부터 4월 2일 18시까지의 5분 단위 실제값과 예측값을 보여준다. 예측값이 실제값보다 큰 것을 볼 수 있는데, 특히 7시부터 13시까지 감소하는 경향이 있다. 이러한 과대 예측은 모델이 과거의 정보를 바탕으로 미래를 예측하기 때문에 발생하는 자연스러운 현상일 수 있다. 향후 연구에서는 이러한 패턴이 일정하게 반복됨에 따라 오차 보정 모델을 추가하거나, Attention 메커니즘을 도입하여 특정 시점의 정보에 가중치를 부여함으로써 지연 현상을 개선하는 방안을 모색할 계획이다.

그림 9. 4월 1일 ~ 4월 2일 실제값, 예측값 그래프

Fig. 9. Graph of Actual vs. Predicted Values(April 1st – April 2nd)

그림 10. 계절별 실제값, 예측값 램프율 비교 박스플롯

Fig. 10. Boxplot Comparison of Actual vs. Predicted Ramp Rates for Each Season

그림 11. 재학습 트리거 적용한 예측 결과

Fig. 11. Forecasting Results with a Retraining Trigger

그림 10은 실제값과 예측값의 5분 단위 변화량을 나타낸 박스플롯이다. 전체적으로 보면 실제값에 비해서 예측값은 변화량이 낮은 것을 볼 수 있는데, 이는 모델이 안정적인 학습을 위해서 변화량을 낮춘 것으로 판단할 수 있다. 봄철의 경우 실제 수요 변화량의 사분위수 범위(IQR)가 평균 180MW/5min인 반면, 예측값의 IQR은 150MW/5min 수준으로 낮게 나타났다. 이는 MSE 손실함수가 큰 오차에 강한 페널티를 부여하여, 모델이 급격한 변화를 예측하기보다 평균적인 패턴에 수렴하도록 학습되었기 때문으로 분석된다. 추후 MAE 등 이상치에 덜 민감한 다른 손실함수를 적용한다면 예측값의 변화량이 낮은 문제를 해결할 가능성이 있다.

그림 11은 학습 전략 재설정 단계의 재학습 트리거를 적용 시 예측 성능의 향상을 그래프로 표현한 것이다. 표 5의 기본 학습전략으로 예측하고 6포인트(30분) 이상 오차율이 증가하면 학습전략을 다시 결정하여 예측하여 오차를 비교해 보았다. 기간은 기존 예측에서 오차가 컸던 봄철‘2023-04-24~2023-04-30’로 테스트해 보았다.

실험 결과 4월 24일 11:55분에 6포인트 이상 오차율이 증가하여 트리거가 작동하였다. 표 11에서 작동하기 전의 전체 오차율 1.50%에서 트리거가 발생하여 스위칭 된 결과 전체 오차율은 1.15%로 개선됨을 확인할 수 있다.