기호설명

1. 서 론

일사량은 태양광 및 태양열 에너지 시스템 등 건물 및 신재생에너지 시스템에서 주요입력데이터로 활용되고 있다.⁽¹⁾ 특히 방위별 입사량 계산을 위해서는 일사량을 직달일사와 산란일사로 분류하는 과정이 필요하며 이를 직산분리라고 한다. 정확한 직산분리는 건물 및 신재생에너지 시스템 활용에 직접적인 영향을 미치는 중요한 과정이다. 하지만 국내에서는 장기 측정의 어려움으로 인해 대부분의 일사량 지표는 수평면 전일사량만을 기준으로 하며 국내 기상 관측소 역시 수평면 전일사량 만을 측정한다.⁽²⁾ 따라서 시스템 성능 평가를 위해 개발 된 해석 도구에서는 직산 분리 모델을 이용하여 산란일사량을 추론한다. 직산분리 모델은 대상 지역에서 측정된 수평면 전일사량과 기타 기상데이터를 기반으로 하여 출력 값인 산란일사량을 가장 잘 묘사할 수 있는 방정식을 유추하는 형태로 개발되었다. 이때 직산분리 모델은 대상 지역의 기상 특징을 묘사하는 방식으로 개발되고, 기존의 직산분리 모델은 주로 해외 기관에서 개발되었기 때문에 국내에 적용 시 모델로 계산된 산란 일사 값은 큰 오차를 발생시킨다.

이러한 배경에서 Seo and Kim⁽³⁾의 연구에 따르면 국내에서 직산분리 모델을 연구한 사례는 산란 일사량을 측정할 수 있는 소수의 연구기관에 한해 이루어졌으며 2000년 이후 단 4차례만 이루어 졌다. Seo and Kim⁽³⁾은 해외에서 개발된 직산분리 모델을 우리나라 지역적 특성을 반영하도록 적합화를 진행하는 연구를 진행하여 기존의 직산분리 모델의 원계수 대신 서울지역의 기후 특성을 반영한 지역계수를 새로 개발하였으며 연구 결과 기존의 직산분리 모델이 갖는 오차를 어느 정도 개선할 수 있음을 보였다. 하지만 수정된 지역계수를 반영했음에도 기존 직산분리 모델의 오차 패턴 대부분이 그대로 유지되고 모델 개발을 위해서도 대상 지역에서 측정된 약 2년간의 데이터를 요구한다. 또한 한번 지정된 지역계수는 기후 변화와 지역에 따른 수정이 어려워 현장 적용성이 떨어지기 때문에 대상 지역 이외에서 신재생에너지 설비 운전계획이나 예측제어를 위해서 단순 물리식 기반의 기존의 직산분리 모델이 활용되기는 어려움이 따른다.

본 연구에서는 앞서 언급한 기존 직산분리 모델의 단점을 개선하고자 한다. 본 연구에서 제안되는 직산분리 모델은 다음과 같은 장점이 있다. 먼저 제안된 모델은 일반적으로 일사량 주기인 1년 이상의 측정 기상데이터로부터 모델을 구현하는 것과 달리 약 2주간의 측정데이터로도 활용할 수 있다. 다음으로 지역특성을 요구하는 계수를 적용하지 않음으로써 어느 지역 및 건물에서도 활용할 수 있는 범용의 직산분리 모델을 개발한다. 마지막으로 기존에 시도되지 않았던 강화학습(RL-Reinforcement learning) 기반의 직산분리 모델을 제안하고 그 가능성을 확인하고자 한다.

2. 기존 직산분리 모델

3. 직산분리 모델과 결합된 강화학습 기반 산란일사량 예측

강화학습은 환경(environment) 속에 놓인 학습 주체인 Agent가 특정 상태(State)에서 스스로 행동(Action) 하여 시행착오를 겪으면서 최대의 보상을 받을 수 있도록 학습하여 정책(policy)을 업데이트 하는 학습 방법이다.⁽¹⁰⁾ 강화학습은 Agent 학습 과정에서 학습에 사용되는 알고리즘을 선정해야 하는데 대표적인 학습 알고리즘은 모델 없이 학습을 진행하는 Q-learning이 주로 사용된다. 다만 Q-learning은 모든 상태와 행동에 대한 결과를 Table 형태로 저장하기 때문에 학습에 많은 계산 속도를 소비하거나 복잡한 문제를 수행할 때 수렴이 되지 않는 문제가 발생해 비교적 소수의 상태와 행동으로 해결할 수 있는 문제에 적용되어 왔다.⁽¹¹⁾ 한편, Deep Q-learning(DQN) 알고리즘은 심층 신경망을 이용하여 기존의 Q-learning의 문제점을 개선하였으며 고전게임과 바둑에 적용되어 수많은 경우의 수가 존재하는 문제에서도 사람 수준 이상의 의사결정이 가능함을 보였다.^(12-13) 따라서 본 연구에서도 DQN 알고리즘을 이용하여 Agent가 직산분리를 수행하도록 학습시키며 학습 프로세스는 Fig. 1과 같다. 먼저 Agent는 학습 데이터에 사용되는 2주 중 임의의 시간(1~24h)에 대한 State를 수신한다. 여기서 State는 청명계수와 수평면 전일사량만이 포함된다. 수평면 전일사량은 일사모델의 성능 평가 목적 시 수집된 측정데이터를 활용한다. 한편, 예측제어 목적 시 내일의 일사량을 입력할 수 있으며, 이 경우 선행연구에서 개발된 일사예측 모델을^(14-15) 활용할 수 있다. 식(1)~식(7)에서 알 수 있듯이 청명계수는 대기권 밖 일사량과 태양고도를 입력 값으로 하는데 이는 태양기하학에 기반해 이론적인 수식으로 특별한 제약 없이 계산할 수 있다.^(16-17) 즉 강화학습 Agent는 State로 선정된 청명계수와 수평면 전일사량의 관계 분석을 통해 우수한 정책을 수립한다면 예측 단계에서도 대상지역의 연간 일사 특징을 묘사할 수 있을 것으로 기대할 수 있다.

Agent는 -500 w/㎡부터 500 W/㎡ 사이의 Action을 선택하며 Action이 가능한 간격은 5 W/㎡이다. 결정된 Action은 기준이 되는 물리식 기반의 직산분리 모델의 산란일사 계산 결과에 합산되며 실제 측정된 산란일사량과 비교해 식(8)에 따라 reward(Rt)를 계산하게 된다. 즉 Agent는 기존 직산분리 모델의 물리 기반 신뢰성은 유지하면서도 발생되는 모델의 오차를 학습하는 형태로 학습이 진행된다.

만약 실제 측정된 값보다 산란일사를 과대평가하도록 action을 취할 경우 이 또한 양의 오차임을 인지하도록 reward 수식을 설정하였다. 즉 Agent가 한 time step에서 얻을 수 있는 최대한의 보상은 0으로 이는 해당 time step에서 실제 측정된 산란일사를 완벽히 묘사한 경우다. Action의 범위는 연중 최대 산란일사량 472 W/㎡임을 고려한 설정 값이며 Agent는 이 과정을 반복하여 학습기간 동안 보상을 최대로 얻을 수 있는 policy를 지속적으로 업데이트 한다. 여기서 Id,ref는 예측 대상이 되는 기준 산란일사량이며 Id,model는 각 직산분리 모델로부터 계산된 산란일사를 의미한다.

본 연구에서 제안된 강화학습의 주요 설정 값은 Table 1에 정리하였으며 여기서 Episode는 agent가 Environment로부터 데이터를 수신하고 reward를 획득하는 과정을 의미하는데 일반적으로 episode의 반복횟수가 많을수록 agent는 다양한 경험을 하기 때문에 우수한 Action을 내릴 가능성이 높으나 episode 횟수와 관련된 자세한 지침은 현재까지 없다. 연산은 GPU(graphics processing unit - RTX-2080ti)을 사용하여 학습을 진행하였다.

언급하였듯이 Agent는 2주 동안의 기상데이터를 학습하여 강화학습을 진행한다. 즉 학습 기간인 2주 동안 대상 지역에서 직달/산란 일사를 측정할 수 있거나 과거 데이터를 확보한다면 강화학습이 결합된 직산분리 모델은 이후 사용단계에서 추가적인 데이터 수집이나 모델의 업데이트가 필요하지 않다는 장점이 있다. 제안 모델의 평가를 위해 외부로부터 매일 수평면 전일사량을 수신하는 상황을 가정해 1년 동안의 강화학습 결합 모델로 직산분리를 수행하였으며, 기상데이터는 TRNSYS에서 제공하는 서울지역 TMY2 데이터를 사용하였다. Table 2에 모델 구축에 사용되는 기상데이터 및 정보를 요약하였다.

Fig. 1 Reinforcement learning process based solar decomposition models.

4. 시뮬레이션 결과 및 분석

모델의 평가는 일반적인 오차 평가 방법인 RMSE(Root Mean Square Error)와 RMSE를 백분율로 표현하는 CVRMSE를 활용하며(식(9)~식(10)), 일사량 발생 패턴의 특성상 일사가 발생하지 않는 시간 까지 포함해 모델을 평가할 경우 오차가 과소평가되기 때문에 객관적인 평가를 위해 산란일사가 발생하는 시간만으로 모델의 성능을 평가하였다. 여기서 Id,test 직산분리 모델과 Agent를 거쳐 최종적으로 계산된 강화학습 기반 산란일사 값을 의미한다.

4.1 기존 직산분리 모델 성능

본 연구에서는 직산분리 모델의 오차를 개선하는 방향으로 강화학습 Agent가 학습을 진행한다. 따라서 사용된 직산분리 모델이 우수할수록 강화학습 모델이 더 우수한 action을 내릴 것을 기대할 수 있다.

Fig. 2는 기존 직산분리 모델만을 이용하여 연간 직산분리를 수행한 결과이다. 그래프에서 점은 대각선에 가까울수록 모델이 정확함을 의미한다. Watanabe 모델은 산란일사의 모든 값들이 대각선 아래에 분포하면서 산란일사를 실제보다 과소평가 하였다. 본 연구의 테스트 환경에서 Watanabe 모델의 오차는 RMSE 88.2 W/㎡로 확인되었다. Watanabe 모델에 기반해 서울 지역계수를 개발한 Seo and kim의 연구에서도 Watanabe 모델은 105.2 W/㎡ 수준의 오차를 보였으며 대부분의 결과가 실제보다 과소평가되는 점으로 미루어 볼 때 이같은 현상은 Watanabe 모델을 우리나라 일사 직산분리에 적용할 때 나타나는 특성인 것으로 판단된다.

Reindl 모델은 대부분의 점이 대각선 주변에 분포하며 실제와 유사한 직산분리 결과를 보였으며 RMSE 오차는 13.6 W/㎡ 였다. 다만 선행연구에서는 대부분 범위에서 실제보다 과대 분포하는 현상을 보이며 RMSE 오차 102 W/㎡ 수준인 것으로 확인되었다. 두 연구의 테스트 환경이 다른 것을 고려하더라도 분포 현상이나 오차에서 큰 차이를 보였다. 이는 정보 제공의 한계로 확인할 수는 없었지만 TRNSYS에서 제공하는 서울 지역 TMY2 데이터의 산란일사는 현장 측정값이 아닌 직산분리 모델을 활용한 것으로 추정되며 이때 직산분리 모델로 Reindl 모델 혹은 이와 유사한 알고리즘을 적용한 것으로 판단된다. 그러나 본 연구의 목적이 강화학습을 기존 직산분리모델에 적용했을 때 정확성이 향상되는지를 확인하기 위한 것이기 때문에 이후 TMY2에 표시된 산란일사량을 실 측정데이터로 가정하여 연구를 진행하였다.

Fig. 2 Performance comparison of decomposition models (Watanabe vs Reindl).

4.2 강화학습이 결합된 직산분리 모델

4.2.1 Watanabe 모델 기반 강화학습

Fig. 3은 Watanabe 모델에 기반해 Agent를 학습시킨 결과이다. 테스트 결과 산란일사량이 비교적 적게 발생하는 100~200 W/㎡ 구간에서는 대부분의 점들이 대각선 근처에 분포하며 기존 모델보다 개선된 성능을 보여주었다. RMSE 오차는 29.1 W/㎡으로 기존 watanabe 모델 오차 88.2 W/㎡ 개선된 성능을 보였으나 산란일사량이 많아질수록 강화학습 모델은 실제보다 과대하게 산란일사량을 계산하는 것으로 확인되었다.

해당 오차는 여름기간에 한정된 것으로 Agent가 학습한 기간이 1월 1일부터 14일로 연중 일사량 발생량이 적은 기간인 겨울에만 학습이 진행됐기 때문에 일사량 발생량이 증가하는 여름에 직산분리 성능이 감소하였다. Fig. 4는 모델의 계절별(1월, 8월, 12월) 산란일사 예측 성능을 비교한 것이다. 먼저 학습기간을 제외하고 1월 15일부터 28일까지의 RL 모델은 모든 구간에서 실제와 매우 유사한 계산 성능을 보이며 이 기간 RMSE 13.7 W/㎡ 수준의 오차를 보였다. 반면 학습기간과 일사 발생량 차이가 큰 8월에는 실제보다 과하게 산란일사량을 계산하였다. 이는 학습기간인 1월달 Watanabe 모델의 오차를 개선하기 위해 Agent는 Watanbe모델의 직산분리 결과에 과대한 Action을 취하도록 학습되었으며 이러한 행동 패턴은 8월에도 동일하게 이어졌다. 이때 Fig. 4의 중앙 그림과 같이 비학습 계절에서 기존 Watanabe 모델의 여름철 산란일사 계산 성능이 개선되면서 겨울철 학습된 Agent의 action이 오히려 오차를 증가시켰다. 그럼에도 전체적으로 8월달 강화학습 모델의 성능은 RMSE 41.9 W/㎡로 기존 Watanabe 모델의 오차인 68 W/㎡보다 개선된 성능을 보였다.

마지막으로 학습기간과 물리적인 기간은 멀지만 비슷한 기상 상태를 갖는 12월에는 모델의 오차가 다시 감소하는 것을 확인할 수 있었다. 이는 본 연구에서 제안하는 강화학습이 결합된 직산분리 모델이 기존의 직산분리 모델의 성능에 어느 정도 영향을 받고 있음을 의미하기 때문에 강화학습 모델 개발 이전단계에서 우리나라에서 적합한 적절한 직산분리 모델을 선정한다면 모델의 오차는 개선될 여지가 있을 것으로 판단한다. 또한 향후 여름기간을 포함하도록 학습 기간을 조정하거나 계절의 변화를 묘사할 수 있는 입력 값을 추가하여 학습하는 방법을 적용한다면 모델의 오차는 더욱 개선될 것으로 판단된다.

Fig. 3 Prediction performance (Watanabe vs RL).

Fig. 4 Proposed model performance over the year for the Watanabe model case.

4.2.2 Reindl 모델 기반 강화학습

Fig. 5는 Reindl 모델에 기반해 Agent를 학습한 결과이다. 기존 Reindl 모델의 오차는 RMSE 13.6 W/㎡ 이었으며 강화학습을 진행하였을 때 모델의 오차는 10.2 W/㎡로 조금 감소하였다. Reindl 모델은 본 연구의 테스트 환경에서 우수한 직산분리 성능을 보였기 때문에 Watanabe 케이스에 비해 큰 개선의 효과는 없었다. 모델 오차의 개선은 특정구간에서 산란일사량을 지나치게 과소평가하는 현상을 줄였으며 이외 두 모델 모두 대부분의 점들이 산점도 근처에 분포하였다. Fig. 6은 각 모델의 계절별 산란일사 계산 성능을 의미하는데 강화학습 모델은 2주만의 적은 학습 데이터만으로도 미래 1년 동안의 산란일사를 높은 성능으로 계산할 수 있었다. 언급했듯이, 기존 모델에서 예측이 과소평가되는 현상이 사라진 것을 확인할 수 있다. 기존 모델의 에러 패턴으로 미루어 모델이 정의된 각 범위의 경계치에서 발생한 문제로 예상된다.

Fig. 7은 본 연구에서 제안된 모델들의 월별 산란일사 계산 성능을 나타낸 것이다. RL(Watanabe) 모델은 계산의 기준이 되는 Watanabe 모델이 실제와 큰 오차를 보였음에도 2주만의 학습만으로 겨울철 우수한 계산 성능을 보여주었다. 다만 학습 기간과 기상 조건이 달라질수록 모델의 오차는 증가하였다. Reindl 모델을 기반으로 하는 강화학습 모델은 계산 시점과 상관없이 1년 동안 우수한 성능을 보였다. 본 연구에서 제안된 강화학습 기반 직산분리 모델은 학습의 기준이 되는 직산분리 모델의 성능에 영향을 받긴 하지만 2주의 적은 학습 데이터만으로도 1년 동안 안정적인 예측 성능을 보였다. 또한 일반적인 Data-driven 모델의 경우 사용되는 데이터의 입력값과 출력값의 관계를 설명할 때 물리식에 대한 고려가 없기 때문에 예측 단계에서 일사 발생 패턴을 잘 묘사하다가도 학습에 사용되는 데이터가 부족하거나 학습과 다른 환경 조건에서는 예측 값이 예상 범위 밖에서 분포하는 상황이 발생한다. 하지만 본 연구 제안하는 직산분리 방법은 물리적 인자를 포함하는 기존의 직산분리 모델에 강화학습 알고리즘을 적용하여 성능을 개선하는 형태이기 때문에 예측 값이 일반적인 산란일사 발생 범위 안에서만 발생하였다. 최종적으로 모델의 오차는 Table 3에 정리하였다.

Fig. 5 Prediction performance (Reindl vs RL).

Fig. 6 Proposed model performance over the year for the Reindl model case.

Fig. 7 Comparison of the decomposition performance of models according to the month.

Table 3 Performance of the target models

	Watanabe		RL (Watanabe)		Reindl		RL (Reindl)
Month	RMSE	CV	RMSE	CV	RMSE	CV	RMSE	CV
Jan.	90.8	82.0	13.7	12.3	15.0	13.5	9.2	8.3
Feb.	101.2	73.5	16.9	12.3	18.7	13.6	10.8	7.8
Mar.	106.9	61.5	22.3	12.8	15.2	8.7	11.1	6.4
Apr.	95.5	50.8	34.0	18.1	15.1	8.0	13.4	7.1
May.	86.1	43.5	45.1	22.8	14.2	7.2	11.9	6.0
Jun.	75.5	40.3	47.4	25.3	11.3	6.0	11.3	6.0
Jul.	71.2	41.0	43.4	25.0	10.1	5.8	9.5	5.5
Aug.	68.1	43.6	41.9	26.9	16.6	10.7	11.7	7.5
Sep.	88.1	53.9	27.5	16.8	13.5	8.3	8.4	5.2
Oct.	87.3	66.6	19.1	14.6	10.9	8.3	7.7	5.9
Nov.	88.5	66.9	21.5	16.7	13.1	6.7	10.4	5.3
Dec.	98.8	84.3	16.9	14.4	10.0	8.5	7.0	6.0
Average	88.2	59.0	29.1	18.2	13.6	8.8	10.2	6.4

※ RMSE - W/㎡, CV(RMSE) - %

5. 결 론

본 연구에서는 강화학습이 결합된 새로운 직산분리 프레임워크를 제안하였다. 제안 모델은 기존의 직산분리 모델인 Watanabe 모델과 Reindl 모델의 오차를 강화학습 Agent가 학습하는 형태로 개발 되었으며 현장에서 장기간 안정적으로 산란일사 측정데이터를 확보하기 어려운 상황을 고려해 단 2주 동안의 측정데이터만 학습에 사용하였다. 모델의 성능은 Watanabe 모델을 기준으로 학습을 진행한 경우 기존 CVRMSE 59%의 오차 대비 18.2%로 성능이 개선되었으며 Rindl 모델을 기준으로 학습을 진행한 경우 CVRMSE 8.8%에서 6.4%로 소폭 오차가 감소하였다. 본 연구에서 제안 모델은 기존에 시도되지 않았던 강화학습 기반의 직산분리 모델을 개발하고 그 성능을 평가하였다. 제안된 모델은 장기간 누적된 현장데이터를 사용해 대상지역의 기후 특성을 반영하는 기존의 직산분리 개선 방법과 달리 2주의 비교적 짧은 기간의 측정 데이터만을 사용하며 추가적인 모델의 업데이트 없이도 우수한 성능으로 장기 직산분리 계산할 수 있어 사용성 측면에서 장점을 갖는다.