2.1 Data sources

미국 지질조사국(United States Georogical Survey, USGS)은 국토관리와 연구를 위해 미국 전역에 현장측정소를 설치하여 장기간에 걸쳐 유량과 SSC를 측정하고 그 결과를 공개하고 있으며, 본 연구에서는 USGS에서 운영하는 현장측정소 중 미국 Calfironia Reedwood Creek에 위치한 2개 지점(Blue Lake 및 Orick)의 Q 및 SSC 일일 측정자료를 활용하였다(Table 1) (^{USGS, 2014}). 미국 서부연안에 위치한 Redwood Creek은 지중해성 기후 지역에 속하며 10월경부터 우기가 시작되어 이듬해 봄까지 계속되고 이후 9월경까지 건기가 이어지는 강우 특성을 가지고 있다. Orick 지점은 강하구로부터 약 6km 상류에 위치하며 하천은 Blue Lake에서 Orick을 거쳐 태평양으로 유입하게 된다(^{USGS, 2009}).

2.2 Model development

본 연구에서는 ensemble 머신러닝 모형인 GBDT 모형을 이용하여 하천의 SSC를 예측하는 모형을 구축하였다. GBDT는 RF와 함께 대표적인 ensemble 머신러닝 모형 중 하나이다. RF는 의사결정나무(decision tree, DT)기반의 다수의 weak learner를 생성하고 각 weak learner에서 독립적으로 생성된 결과의 평균을 이용하여 예측값을 산정하는 반면, GBDT 모형은 전단계 weak learner의 예측값을 다음 단계의 weak learner의 구축에 활용하며, 실측값과 예측값 간의 잔차가 많은 입력자료에 더 높은 가중치를 주어 모형의 학습을(training) 수행하여 모형의 성능을 향상시키도록 구성된 모형이다(^{Chen and Guestrin, 2016}; ^{Friedman, 2001}; ^{Zhang, Bouadi et al., 2018}).

GBDT 모형은 예측의 대상이 되는 항목의 실측값(y_obs,i)과 모형의 예측값(y_pred,i)의 차이를 계산하는 손실함수(L: loss function)와, 개별 DT 모형(f_k)의 함수인 regulation 함수(Ω)로 구성된 objective 함수(J)를 최소화하는 방향으로 모형을 최적화한다(Eq. 1) (^{Chen and Guestrin, 2016}; ^{Shin et al., 2020}; ^{Zhang, Qian et al., 2018}). 모형의 구축은 가장 널리 사용되는 GBDT 알고리즘 중 하나인 XGBoost regressor (XGB)를 이용하였으며, Q를 독립변수로 하여 종속변수 SSC를 예측하도록 구성하였다. 또한 일단위 자료의 차분을 적용하여 시간 t에 대해서 1일 전의 Q 및 SSC인 Q_t-1과 SSC_t-1을 입력자료로 추가하여 모형의 구축에 활용하였다. 모형의 최적화는 grid search 방법을 이용하였으며, 입력자료를 10개의 set으로 구분하여 cross validation을 수행하였다. 모형의 구축과 최적화 등은 python open source library인 Scikit-learn을 이용하여 실행하였다(^{Pedregosa et al., 2011}).

2.3 Clustering of input variables

XGB 모형에 사용된 입력자료의 군집화를 위해 비지도 학습 모형인 KMC을 이용하였다. KMC는 입력자료를 사전에 개수가 정해진 임의의 군집에 분류하고 각 군집의 평균값(μ_j)과 각 입력자료의값() 과의 차이를 유클리디언 거리(euclidean distance)를 이용하여 구하고 이를 최소화 할 수 있도록 최종적으로 분류되는 군집을 결정하는 모형이다(^{Ahmad and Dey, 2007}; ^{Ayub et al., 2016}; ^{Song, 2017}) (Eq. 2). KMC는 python Scikit-learn library를 이용하여 수행되었다(^{Pedregosa et al., 2011}).

2.4 Model evaluation

구축된 XGB 모형을 이용한 SSC 예측성능의 평가는 평균 제곱근 오차(root mean square error, RMSE)와 평균 제곱근 오차-관측값 표준편차비(mean squared error-observation standard deviation Ratio)를 이용하였다(Eq. 3 and 4). RMSE는 예측값과 실측값의 차이의 절대치를 비교하는 지수로 RMSE가 0에 가까울수록 모형의 예측성능이 좋음을 의미한다. RSR은 모형간 성능의 절대적인 비교가 가능한 지수로 0~1의 범위를 가지며 일반적으로 RSR이 0.7 이하인 경우 예측이 잘 수행된 것으로 판단하고, 0에 가까울수록 모형의 성능이 우수한 것을 의미한다(^{Bennett et al., 2013}; ^{Moriasi et al., 2007}).

where

    : Observed value at time t,

    : Predicted value at time t,

    : mean of observed values.

3.1 Characteristics of input variables and pretreatment of missing variables

모형의 구축에 사용된 입력자료의 기초 통계량을 Table 2에 제시하였다. 모형 구축에 사용된 측정값은 Blue Lake와 Orick에서 각각 15% 및 13%의 SSC의 결측치를 포함하고 있다. 머신러닝 모형의 구축시 입력자료에 결측치가 포함되는 경우 이를 제거하거나, 보간법이나 주변값들의 평균값을 이용해서 결측치를 추정하는 k nearest neighbors 등을 통해 결측치에 대한 전처리를 수행하게 되며, 입력자료의 특성을 고려한 적정한 전처리 방법의 선정이 필요하다.

본 연구에 사용된 입력자료가 측정된 북부 California 지역은 10월부터 우기가 시작되고 이듬해 2월경까지 강우가 지속되게 되며, 이후 봄과 여름 동안은 강우가 거의 발생하지 않는 건기가 지속된다. SSC의 결측치는 대부분 이러한 건기인 3~9월중에 발생하였으며, 이시기는 강우가 발생하지 않아 낮은 Q와 SSC가 측정되는 시기로 본 연구에서는 별도의 결측치 보정을 수행하지 않고, 입력자료에서 결측값을 제거하고 사용하는 방법을 적용하였다. 또한 이러한 강우 특성을 고려하여 건기가 끝나고 새로운 우기가 시작되는 10월을 기준으로 모형의 training과 성능의 평가를 위한 testing에 사용되는 입력자료를 구분하여, Blue Lake는 1985년 10월 1일 이후의 자료를 Orick에서는 1984년 10월 1일 이후의 자료를 testing에 활용하였다(Fig. 1). 모형의 training과 testing에는 결측치를 제외하고 Blue Lake에서는 각각 4,271일 및 1,792일, Orick에서는 각각 4,853일 및 2,157일 간 측정된 값이 사용되어, training과 testing에 사용된 입력자료의 비율은 Blue Lake와 Orick에서 각각 0.70:0.30 및 0.69:0.31로 구성되었다.

Fig. 1. Training and testing data.

3.2 Clustering of input SSC

KMC를 이용하여 모형의 구축에 사용된 training 자료를 Q가 낮은 군집과(Class 1), 높은 군집(Class 2)의 2개의 군집으로 구분하여 XGB 모형에 적용하였으며, 군집화를 하지 않은 전체자료를 이용하여 구축된 모형과 성능을 비교하여 입력자료의 특성을 고려한 모형의 구축이 모형 성능에 미치는 영향을 분석하였다(Table 3 and Fig. 2).

Fig. 2. Distribution of clustered input variables for the model training.

3.3 Model simulation result

Model 1. Separated model

군집화를 통해 Q를 기준으로 구분된 낮은 Q 값을 가지는 Class 1과 높은 Q 값을 가지는 Class 2 각각에 대하여 별도의 training을 수행하여 모형을 구축하였다. 모형의 testing은 각 testing 자료가 해당되는 Class에서 구축된 모형을 적용하여 수행하였다.

Model 2. Combined model

군집화를 통해 입력자료의 특성을 반영하여 모형을 구축한 Model 1과의 비교를 위해 Q에 따른 구분 없이 전체 입력자료를 모두 사용하여 training 및 testing을 수행하였다.

구축된 모형의 testing 결과 Blue Lake와 Orick 두측정지점 모두에서, 군집화를 통해 낮은 Q와 높은 Q 구간에 대하여 별도의 최적화를 수행한 Model 1이 전체자료를 이용하여 구축된 Model 2보다 더 좋은 성능을 보여, 입력자료 특성을 고려한 모형 구축을 통해 XGB 모형의 성능을 개선할 수 있는 것을 확인하였다(Fig. 3).

Fig. 3. A comparison of model evaluation results.

Q의 범위와 상관없이 전체 입력자료를 모두 이용하여 구축한 Model 2의 경우 Blue Lake와 Orick에서 RSR이 각각 0.51과 0.57로 분석되었으나, Model 1의 RSR은 Blue Lake와 Orick에서 각각 0.46 및 0.55로 분석되어 개선된 SSC 예측성능을 보여주었다. RMSE는 Blue Lake와 Orick에서 Model 2의 경우 각각 117.10과 124.04로 Model 1의 경우 각각 104.05와 118.95로 분석되어, RSR과 마찬가지로 두지점 모두에서 Model 1을 사용할 때 성능이 개선되었다.

모형의 결과를 시각적으로 확인하기 위해 구축된 Model 1과 Model 2의 testing 자료에 대한 실측값과 예측값을 비교하여 Fig. 4에 제시하였다. Fig. 4의 검은색 원은 Model 1의 낮은 Q 구간에 대하여, 파란색 사각형은 Model 1의 높은 Q 구간에 대해서 각각 최적화된 모형의 예측값과 실측값의 관계를 나타내며, 빨간색 삼각형은 전체자료를 이용하여 구축한 Model 2의 모형을 통한 예측값과 실측값의 관계를 나타낸다. Blue Lake와 Orick 두측정지점 모두에서 낮은 Q와 높은 Q의 구간에 대하여 각각 최적화된 Model 1이 Model 2에 비해 1:1 선에 상대적으로 근접하여 분포하는 경향을 보이는 것을 시각적으로 확인할 수 있다.

Fig. 4. A comparison of model predictions.

3.4 Comparision with arbitrarily separated model

본 연구에서는 자료의 특성에 따라 입력자료를 구분하기 위해 KMC를 적용하였으며, KMC를 이용하지 않고 임의로 입력자료를 구분하여 구축된 모형과의 비교를 통해 KMC의 적용에 따른 모형 성능 개선 효과를 확인하였다.

Blue Lake와 Orick에서 각각 Q=2.6 ㎥/s 및 Q=10.5㎥/s를 기준으로 입력자료를 구분한 결과 각 지점에서 전체 training에 사용된 자료의 50%가 높은 Q와 낮은 Q 구간에 각각 분포하도록 구분이 되었다. 이후 Model 1과 유사한 방식으로 상위 50%와 하위 50% Q에 해당되는 구간에 대해서 각각 최적화를 수행하여 모형의 성능을 분석하였다. 분석결과 Blue Lake의 경우 RMSE와 RSR이 각각 112.35와 0.49로 분석되어, 전체자료를 사용한 Model 2에 비해서는 개선된 성능을 보였으나 KMC를 이용하여 군집화된 입력자료를 이용하여 구축된 Model 1에 비해서는 낮은 성능 개선효과를 보였다. Orick의 경우 RMSE와 RSR이 각각 124.73과 0.57로 전체 자료를 이용하여 구축된 Model 2와 유사한 모형 성능을 보였다. 모형의 training에 사용된 자료를 상위 50% 및 하위 50%로 구분하여 모형을 구축한 결과, 전체자료를 적용하는 모형에 비해 다소 성능이 개선되거나 거의 개선되지 않은 것으로 분석되어, KMC를 이용하여 입력자료를 군집화하여 모형을 구축하는 경우와 차이가 있음을 확인할 수 있었다.

3.5 Optimal clustering

Elbow 알고리즘은 KMC를 이용하여 군집수 k를 늘려가면서 각 k에서의 오차의 제곱합(sum of squared error, SE)를 구하고 k의 증가에 따른 SE의 감소율이 적어지는 지점을 최적의 군집수로 결정하여 입력자료의 최적 군집수를 산정하는 방법이다(^{Park, 2018}; ^{Zhang, Bouadi et al., 2018}). 모형 구축에 사용된 자료의 특성을 고려한 최적군집수를 확인하기 위해 elbow 알고리즘을 이용한 최적군집수 분석을 수행하였다. 이를 위해 KMC를 이용하여 training에 사용된 자료의 Q를 기준으로 1~10개로 군집수 k를 증가시켜가면서 SE의 변화를 분석하였다. 입력자료를 2개의 군집으로 구분한 경우 SE가 초기값의 절반 이하로 급격히 감소하였으며 이후 군집수가 증가함에 따라 SE가 지속적으로 감소하였으나 군집수 k=6 이후 SE 변화율이 크지 않아 최적의 군집수는 6개 내외 정도임을 확인할 수 있었다(Fig. 5).

Fig. 5. Result of the elbow analysis.

KMC을 통해 모형 구축에 사용된 training 자료를 k=3~6개의 군집으로 나눈 결과 가장 낮은 Q 범위에 가장 많은 자료가 분류되는 것을 확인할수 있었다(Fig. 6). 각 군집별로 분류된 자료의 비율은 군집수 k에 따라 차이가 있었다. 군집수 k=3일 경우 Blue Lake와 Orick에서 각각 전체자료의 78% 및 85%가 가장 낮은 Q의 범위로 분류되었으며, 군집수가 커짐에 따라 그 비율이 줄어들어 k=6일 경우 Blue Lake와 Orick에서 각각 전체자료의 62% 및 67%가 가장 낮은 Q의 범위로 분류되었다. 가장 높은 Q의 범위에는 가장 작은 수의 자료가 분포하여 k=3일 경우 Blue Lake에는 134일, Orick에는 50일간의 측정자료가, k=6일 경우 Blue Lake에서는 1일 Orick에는 4일간의 측정자료가 가장 높은 Q구간으로 분류되었다. 군집수를 3개 이상으로 진행하는 경우 머신러닝 모형의 구축에는 자료가 충분하지 않아 본 연구에서는 추가적인 군집별 모형구축은 수행하지 않았다.

Fig. 6.

Distribution of the clustered training data in Redwood Creek at Orick, California USA.

*Note: Each color represents different cluster.

머신러닝 모형의 성능은 입력자료의 특성에 다양한 영향을 받게 된다. 본 연구에서는 군집화 모형을 이용하여 입력자료의 특성을 반영한 군집화를 통한 전처리를 수행하여 머신러닝 모형의 성능을 향상시킬수 있는 가능성을 확인하였다. 향후 입력자료의 다양한 특성의 반영을 통해 머신러닝 모형의 성능을 개선할 수 있는 지속적인 연구가 필요할 것으로 생각된다.