The Journal of
the Korean Society on Water Environment

The Journal of
the Korean Society on Water Environment

Bimonthly
  • ISSN : 2289-0971 (Print)
  • ISSN : 2289-098X (Online)
  • KCI Accredited Journal

Editorial Office


  1. 부경대학교 지구환경시스템과학부 (환경공학전공) (Division of Earth Environmental System Science (Major of Environmental Engineering), Pukyong National University)
  2. 부경대학교 지구환경교육연구단 (School of Integrated Science for Sustainable Earth & Environmental Disaster, Pukyong National University)
  3. 부경대학교 환경공학과 (Department of Environmental Engineering, Pukyong National University)



Calibration, Conceptual hydrologic partitioning model, Hydro-climate condition, Markov chain - Monte Carlo, Uncertainty

1. Introduction

수문학자들은 모델링으로부터 최적의 정보를 제공하기 위해 수문모형의 보정(Bardossy and Singh, 2008; Kavetski and Fenicia, 2011) 및 불확실성 평가(Li et al., 2010; Yen et al., 2014; Zhang et al., 2011; Zhang et al., 2016)에 대한 많은 연구를 수행하여왔다. 수문모형의 보정 또는 불확실성 평가를 위해서는 관측자료가 가장 중요한 역할을 하는데, 이때 핵심이 되는 요소는 자료의 길이와 자료가 속한 수문기후학적 조건(예를 들어, 건조 해, 습윤 해, 평균 해)이다(Motavita et al., 2019).

특정 기간(예를 들어, 4-8년)이 보정에 가장 적합하다고 제시하는 등 자료의 길이와 관련된 많은 문헌들이 있으며(Anctil et al., 2004; Perrin et al., 2007; Sorooshian et al., 1983; Xia et al., 2004), 보정 시에 관측자료의 확보는 곧 자료의 길이를 의미할 정도로 자료의 길이는 무엇보다도 중요한 제1순위의 요소가 될 것임은 의심의 여지가 없다. 이에 반하여 자료 유형의 선택, 즉 보정을 위한 수문기후학적 조건의 선택에는 상대적으로 많은 관심을 두지 않았다. 특히 개념적 수문모형은 수문 프로세스를 간결하게 표현하기 때문에 모형의 구조적인 결함이 존재할 수밖에 없으며, 이는 특정 수문기후학적 조건에서 확연하게 드러나기도 한다(Wagener et al., 2003). 이러한 결함은 보정을 통한 매개변수 추정에 의해 부분적으로 보완되기도 하지만, 추정된 매개변수의 값은 보정이 수행된 수문기후학적 조건에 따라 달라질 것으로 예상된다. Abebe et al. (2010)은 매개변수의 추정치가 모형의 구조적인 결함뿐만 아니라 기후에 반응하는 유역의 비선형성으로 인해 시간적인 변화를 보일 수도 있음을 발견하였다. 보정에 가장 적합한 수문기후학적 조건의 자료는 평균 강수량보다 큰 해의 자료라는 연구결과(Gan et al., 1997; Yapo et al., 1996)가 있는 등 사실 외국의 경우에는 많은 수문학자들은 변화하는 수문기후학적 조건 하에서 다양한 수문모형의 성능과 매개변수의 적용성에 대한 평가를 수행해오고 있다(Dakhlaoui et al., 2017; Fowler et al., 2016; Hartmann and Bardossy, 2005; Refsgaard and Knudsen, 1996; Seibert et al., 2003). 이러한 연구들을 살펴보면, 각각의 방법을 개발하여 적용하였지만 기본적으로 Klemes (1986)에 의해 제안된 분할 샘플 보정방법에 기초하고 있다. 분할 샘플 보정방법에서는 수문기후학적인 조건에 따라 보정 및 검증기간이 선택된다. 그런 다음, 건조 또는 습윤 기간의 자료를 이용하여 보정된 매개변수들은 동일하거나 반대의 수문기후학적 조건의 기간에 관측된 자료를 이용하여 검증된다. Wu and Johnston (2007)은 다양한 수문기후학적 조건에 놓인 자료를 이용하여 Soil and Water Assessment Tool (SWAT)을 수치실험해본 결과로부터, 건조기간에 대해 보정된 매개변수들이 습윤하거나 평균적인 수문기후학적 조건의 기간에 대해 보정된 매개변수들보다 검증에서 더 좋은 재현성을 나타냈음을 보고하였으며, 이는 증발산 프로세스를 지배하는 매개변수가 증발산이 수문순환을 주로 지배하는 건조한 시기에 더 잘 식별될 수 있었기 때문이라는 분석결과를 제시하였다. 반대로 Ruelland et al. (2015)은 건조 조건에서의 검증된 습윤 조건에서의 보정이 건조 조건에서의 보정보다 더 큰 오차를 유발하지 않는 것으로 보고하였다. 종합적으로 볼 때, 특정 모델링 목적 또는 특정 기후지역을 위한 최적의 보정 및 모형평가를 위한 명확한 지침은 없는 것으로 보는 것이 타당할 것이다. 다만, 일부 연구들을 제외하고(Seiller et al., 2012; Troin et al., 2018; Vaze et al., 2010), 이전 연구들은 주로 검증에 중점을 두지 않고 모형 보정에 중점을 두어 수행된 것도 사실이며, 더 중요한 것은 몬순기후로 대표되는 우리나라 지역을 대상으로 수문기후학적 조건에 따른 모형 보정의 성능을 모형의 재현성 및 불확실성 측면에서 분석한 사례는 찾아보기 어렵다.

이에 본 연구에서는 Choi, Kim et al. (2020)에 의해 개발된 준분포형 단순 수문분할모형의 집체형 버전(lumped version)을 합천댐 유입량에 적용하여 개념적 수문분할모형의 보정에 미치는 수문기후학적 조건의 영향을 살펴보고자 하였다. 1991년에서 2019년까지의 합천댐 일 유입량 자료는 네 개의 수문기학적인 조건(건조 해, 습윤 해, 평균 해, 혼합해)에 따라 분류되었다. 그런 다음 마코프체인 몬테카를로(Markov-chain Monte Carlo, MCMC) 모의를 통하여 각각의 수문기후학적 조건의 자료로부터 수문모형을 반복적으로 보정하였으며, 수문기후학적 조건에 따라 다시 분류된 다양한 검증기간에 대하여 모형의 예측성능 및 불확실성을 평가하였다.

2. Methods

2.1 연구적용지역 및 자료

본 연구에서는 낙동강 유역에 위치한 유역 면적 925.0 ㎢의 합천댐 유역이 연구적용지역으로 선정되었다(Fig. 1). 본 연구에서 사용된 개념적 수문분할모형의 입력 기상자료는 일 강우량과 일 기준증발산량(즉, 대기의 기화요구량)으로, 합천댐 유역 인근에 위치한 기상관측소인 합천, 장수, 거창, 산청지점의 일 강우량을 포함한 기상자료를 기상청의 기상자료개방포털에서 수집하였다(KMA, 2020). 일 기준증발산량은 Penman-Monteith 방법으로 기상자료(일 최저⋅최저기온, 일 평균풍속, 일 평균이슬점온도)로부터 계산된다(Allen et al., 1998, Won et al., 2020). 그 후, 지점별 강우량 및 기준증발산량을 Thiessen 방법을 이용하여 면적 가중 평균된 유역평균 강우량 및 기준증발산량 자료를 구축하였다. 또한, 합천댐 유역 말단에 위치한 합천댐의 일 유입량 자료를 환경부 수자원관리 종합정보시스템(www.wamis.go.kr)에서 수집하여 사용하였다(ME, 2020).

Fig. 1. Hapcheon-dam watershed.
../../Resources/kswe/KSWE.2020.36.6.568/PIC24FE.png

2.2 개념적 수문분할모형

본 연구에서는 유역을 수직 방향으로 표면층, 토양층, 대수층으로 구분한 개념적인 수문분할모형(Conceptual Hydrologic Partitioning Model, CHPM)이 구성된다. CHPM에서 유역에 내린 강수는 1차적으로는 토양 습윤량과 직접유출량으로 분할되고, 토양으로 스며든 습윤양은 다시 더 깊은 토양층으로 침루하거나 대기로 기화되는 수문학적인 분할과정을 겪게 된다(Lee et al., 2020). 적용된 모형은 Choi, Kim et al. (2020)에 의해 제안된 준분포형 모형의 집체형 버전이라 볼 수 있다. 본 연구에서 적용한 집체형 모형에 대한 더 자세한 설명은 Choi, Jang et al. (2020)에 기술되어 있다.

본 연구에 적용된 CHPM은 6개의 매개변수(../../Resources/kswe/KSWE.2020.36.6.568/PIC250F.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2510.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2521.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2522.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2523.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2533.gif)로 구성되며, 강수량과 대기로부터의 요구되는 기화량이 입력자료로 요구된다. 계산시간 간격은 일 단위로 설정하였다. 후술할 마코프체인 몬테카를로 기법을 위한 매개변수의 사전분포는 Table 1과 같이 설정하였다.

Table 1. CHPM parameters and prescribed bounds for uniform parameter distributions
Parameter Unit Low bound Upper bound
../../Resources/kswe/KSWE.2020.36.6.568/PIC2534.gif [mm] 5 2,000
../../Resources/kswe/KSWE.2020.36.6.568/PIC2545.gif - 0.01 0.99
../../Resources/kswe/KSWE.2020.36.6.568/PIC2546.gif [mm/day] 15 500
../../Resources/kswe/KSWE.2020.36.6.568/PIC2547.gif - 1 20
../../Resources/kswe/KSWE.2020.36.6.568/PIC2558.gif - 0.01 0.99
../../Resources/kswe/KSWE.2020.36.6.568/PIC2559.gif [mm] 1 20

2.3 마코프체인 몬테카를로 기법을 이용한 매개변수 추정

CHPM의 6개 매개변수는 MCMC 표본추출을 위한 알고리즘들 중 하나인 Metropolis-Hastings (MH) 알고리즘을 이용하여 추정되었다. MH 알고리즘은 매개변수 값 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2569.gif와 함께 시작된다. 그런 다음 매개변수의 ../../Resources/kswe/KSWE.2020.36.6.568/PIC256A.gif개 시퀀스 ../../Resources/kswe/KSWE.2020.36.6.568/PIC256B.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC257C.gif가 아래와 같은 절차를 거쳐 생성된다.

(1) 제안분포 ../../Resources/kswe/KSWE.2020.36.6.568/PIC258C.gif로부터 후보 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC258D.gif을 표본추출한다.

(2) 채택 기준 값 ../../Resources/kswe/KSWE.2020.36.6.568/PIC258E.gif 계산

(1)
Tc=π(Yθ*)q(θi-1θ*)π(Yθi-1)q(θ*θi-1)

여기서 ../../Resources/kswe/KSWE.2020.36.6.568/PIC259F.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC25B0.gif은 각각 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC25B1.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC25B2.gif에서의 우도 값으로 아래와 같이 정의된다.

(2)
π(Yθ)=ni=1e-B[Qoi]-B[Qsi]2σ2o

여기서 ../../Resources/kswe/KSWE.2020.36.6.568/PIC25C2.gif는 관측된 유량, ../../Resources/kswe/KSWE.2020.36.6.568/PIC25C3.gif는 매개변수 벡터 ../../Resources/kswe/KSWE.2020.36.6.568/PIC25C4.gif을 이용하여 모의된 유량, ../../Resources/kswe/KSWE.2020.36.6.568/PIC25C5.gif은 관측 유량자료의 개수, ../../Resources/kswe/KSWE.2020.36.6.568/PIC25D6.gif는 관측 유량자료의 분산이다. ../../Resources/kswe/KSWE.2020.36.6.568/PIC25E7.gif는 유량자료에 Box-Cox 변환을 하였음을 의미한다(Box and Cox, 1964; Kuczera, 1983). 본 연구에서는 Box-Cox의 변환계수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC25E8.gif = 0.5를 적용하였다. 유량자료에 Box-Cox 변환을 취한 이유는 큰 유량에 치우쳐서 사후분포가 고 유량에 적합하도록 편향되게 표본 추출되는 것을 방지하기 위해서이다.

(3) 0에서 1 사이의 균등난수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC25E9.gif에 대하여 ../../Resources/kswe/KSWE.2020.36.6.568/PIC25F9.gif을 만족하면, ../../Resources/kswe/KSWE.2020.36.6.568/PIC25FA.gif가 되며, 그렇지 못할 경우에는 ../../Resources/kswe/KSWE.2020.36.6.568/PIC260B.gif이 된다.

초기 ../../Resources/kswe/KSWE.2020.36.6.568/PIC260C.gif회 반복하는 단계를 거친 후에 구성된 마코프체인은 매개변수의 사후분포 ../../Resources/kswe/KSWE.2020.36.6.568/PIC260D.gif에서 무작위로 추출된 매개변수를 갖는 체인으로 수렴된다. 이때, 초기 ../../Resources/kswe/KSWE.2020.36.6.568/PIC261D.gif회 반복되기 전에 추출된 매개변수는 버려야 한다.

MH 알고리즘을 사용하기 전에, 초기 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC261E.gif, 제안분포 ../../Resources/kswe/KSWE.2020.36.6.568/PIC262F.gif, 초기 반복 추출 횟수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2630.gif, 총 반복 추출 횟수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2631.gif 등이 결정될 필요가 있다. 이에 관한 더 자세한 사항은 Kim et al. (2020)을 참고할 수 있다. 생성된 표본으로부터 매개변수의 사후분포의 특성을 정량화할 수 있다. 일반적으로 최종 추정된 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2642.gif는 아래와 같이 계산된다.

(3)
ˉθ=1MMi=N+1θi

이 외에도 추정된 매개변수의 분산도 생성된 표본으로부터 계산이 가능하다.

2.4 모형 예측성능평가 및 불확실성 분석

모형 예측성능평가는 세 가지 통계량(../../Resources/kswe/KSWE.2020.36.6.568/PIC2643.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2644.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2645.gif)을 이용하여 수행되었다. ../../Resources/kswe/KSWE.2020.36.6.568/PIC2655.gif는 관측자료와 모의자료의 선형회귀분석에 의한 결정계수이며, 0.6이상이면 모형의 예측성능(즉, 관측자료와의 일치성)이 만족스러운 것으로 제시되어 있다(Me et al., 2015). ../../Resources/kswe/KSWE.2020.36.6.568/PIC2666.gif는 Nash-Sutcliffe 모형효율계수로서 아래와 같다(Nash and Sutcliffe, 1970). 기본적으로 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2667.gif가 1에 가까울수록 모형이 더 정확하다는 것을 의미한다. 충분한 품질의 모형을 나타내는 임계값은 0.5에서 0.65 사이로 제안되어있다(Ritter and Munoz-Carpena, 2013).

(4)
NSE=1-ni=1(Qsi-Qoi)2Tt=1(Qoi-ˉQo)2

../../Resources/kswe/KSWE.2020.36.6.568/PIC2668.gifGupta et al. (2009)이 제안한 계수로서 식 (5)을 통해 산정된다.

(5)
KGE=1-(r-1)2+(α-1)2+(β-1)2

여기서, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2679.gif은 관측자료와 모의자료의 선형상관계수, ../../Resources/kswe/KSWE.2020.36.6.568/PIC267A.gif는 모의자료의 표준편차와 관측자료의 표준편차의 비, ../../Resources/kswe/KSWE.2020.36.6.568/PIC268A.gif는 모의자료의 평균과 관측자료의 평균 비이다. ../../Resources/kswe/KSWE.2020.36.6.568/PIC268B.gif가 1에 가까울수록 모의자료가 관측자료를 높은 수준으로 모의하고 있음을 의미한다. Patil and Stieglitz (2015)는 KGE가 0.6 이상이면 충분히 만족스러운 모의결과로 간주될 수 있음을 제시하였다.

불확실성은 두 가지 관점에서 분석되었다. 첫 번째는 추정된 매개변수의 불확실성이다. 매개변수의 불확실성은 식 (6)와 같은 매개변수별 변동계수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC268C.gif로 정량화되었다.

(6)
PCVp=σp^θp

여기서 ../../Resources/kswe/KSWE.2020.36.6.568/PIC269D.gif는 MCMC에 의해 모의된 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC269E.gif의 앙상블의 표준편차이며, ../../Resources/kswe/KSWE.2020.36.6.568/PIC26AE.gif는 매개변수의 ../../Resources/kswe/KSWE.2020.36.6.568/PIC26AF.gif의 추정치(즉, 앙상블 평균)이다. 모의된 하천유량의 불확실성은 평균 변동계수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC26B0.gif로 정량화될 수 있다. ../../Resources/kswe/KSWE.2020.36.6.568/PIC26C1.gif는 MCMC에 의해 모의된 하천유량 앙상블의 이산 정도를 반영하며, 식 (7)와 같이 계산된다.

(7)
MCV=1nni=1(σy,i^yi)

여기서 ../../Resources/kswe/KSWE.2020.36.6.568/PIC26D2.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC26D3.gif번째 관측자료에 대응하는 앙상블의 표준편차이며, ../../Resources/kswe/KSWE.2020.36.6.568/PIC26D4.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC26D5.gif번째 관측자료에 대응하는 모형 예측치(즉, 앙상블 평균)이다.

3. Results and discussion

3.1 수문기후학적 조건에 따른 보정 및 검증기간 구분

분할 샘플 보정방법의 핵심은 사용 가능한 유량자료를 여러 기간으로 분할하여 보정한 후, 서로 교차 검증을 수행하는 것이다. 본 연구에서는 특정 연도가 건조 해인지, 습윤 해인지, 평균 해인지를 정의하기 위해 Budyko의 건조지수(Budyko, 1974)를 이용하여 연별 합천댐 유입량을 살펴보았다. 식 (8)로 표현되는 건조지수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC26E5.gif는 유역에서의 에너지와 물의 경쟁을 반영한다. 높은 건조지수를 보이는 해는 물이 제한되는 상태(즉, 높은 기화요구량)에 있게 되며, 낮은 건조지수인 해는 주로 강수량에 의해 지배되어 에너지가 제한된 환경에 놓이게 된다.

(8)
DIy=AEo,yAPy

여기서 ../../Resources/kswe/KSWE.2020.36.6.568/PIC26E6.gif는 어떤 해(year ../../Resources/kswe/KSWE.2020.36.6.568/PIC26E7.gif)의 연간 대기의 기화요구량(mm/year), ../../Resources/kswe/KSWE.2020.36.6.568/PIC26F8.gif는 어떤 해의 연 강수량(mm/year)이다. 본 연구에서 연간 대기의 기화요구량은 Penman-Monteith 방법으로 추정한 일 기준 증발산량으로부터 계산되었다. Fig. 2는 합천댐 유역의 연별 건조지수 시계열을 보여주고 있다. 그림에서 ○-○가 연별 건조지수이며, 실선은 건조지수의 평균 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2709.gif, 점선은 평균에 표준편차 ../../Resources/kswe/KSWE.2020.36.6.568/PIC270A.gif의 절반을 더하거나 뺀 값을 의미한다.

Fig. 2. Budyko dryness index at Hapcheon-dam watershed.
../../Resources/kswe/KSWE.2020.36.6.568/PIC270B.png

건조지수에 기초하여 어떤 해를 아래와 같이 세 가지 수문기후학적 조건 중 하나로 분류할 수 있다.

Dry year:       ../../Resources/kswe/KSWE.2020.36.6.568/PIC271B.gif

Wet year:      ../../Resources/kswe/KSWE.2020.36.6.568/PIC272C.gif

Normal year:   ../../Resources/kswe/KSWE.2020.36.6.568/PIC272D.gif

Table 2는 다양한 수문기후학적 조건을 가진 3개의 해에 대한 정보를 보여주고 있다. 보정 시에 처음 1년 동안은 모형의 워밍업 기간으로 적용하였으며, 4년을 기준으로 건조 조건, 습윤 조건, 평균 조건, 혼합 조건의 네 가지 수문기후학적 조건으로 보정 및 검증 자료가 준비되었다. 즉, 건조 조건에서의 보정은 1992년, 1994년, 1995년, 1996년 자료를 이용하여 수행되었으며, 습윤 조건에서의 보정은 1999년, 2000년, 2002년, 2003년 자료를 이용하여 수행되었다. 평균 조건에서의 보정은 2005년, 2006년, 2011년, 2013년 자료를 이용하여 수행되었으며, 혼합 조건에서의 보정은 2005-2008년의 자료를 이용하여 수행되었다. 각각의 수문기후학적 조건에서 추정된 매개변수들은 건조 조건 기간(2008년, 2009년, 2015년, 2017년), 습윤 조건 기간(2004년, 2007년, 2010년, 2012년), 평균 조건 기간(2014년, 2016년, 2018년, 2019년), 혼합 조건 기간(2012-2015년)의 자료를 이용하여 검증되었다. 혼합 조건의 기간은 보전 기간과 검증 기간 모두 평균 해 2개년과 건조 해 1개년, 습윤 해 1개년으로 구성하였다.

Table 2. Classification of selected years
Max Mean Std Min 1995 2007 2018
AP [mm] 1,947 1,316 344 633 819 1,697 1,248
Eo [mm] 1,127 1,045 51 936 1,056 1,063 1,061
DI 1.785 0.845 0.297 0.492 1.289 0.627 0.850
Classification Dry Wet Normal

보정 및 검증을 위해 선택한 연도는 연속적이지 않으며, Fig. 3과 같이 보정 및 검증 기간에는 불연속적인 연도가 포함될 수 있다. 단, 불연속적인 기간의 선택은 각각 보정 및 검증을 위한 자료의 선택에만 적용되었으며, 수문모형은 항상 31년 전체 기간 동안 실행되었다. Fig. 3에서 DC는 건조 조건에서의 보정 기간, DV는 건조 조건에 대한 검증 기간, WC는 습윤 조건에서의 보정 기간, WV는 습윤 조건에 대한 검증 기간이다. 마찬가지로 NC는 평균 조건에서의 보정 기간, NV는 평균 조건에 대한 검증 기간, MC는 혼합 조건에서의 보정 기간, MV는 혼합 조건에서의 검증 기간이다. 연도의 색은 빨간색은 건조 해, 파란색은 습윤 해, 초록색은 평균 해를 각각 의미한다.

Fig. 3. Selected years of calibration and verification datasets.
../../Resources/kswe/KSWE.2020.36.6.568/PIC272E.png

3.2 수문기후학적 조건별 개념적 수문분할모형의 보정결과 및 토의

Fig. 4는 사후분포로부터 샘플링된 7,200개의 매개변수 조합으로부터 획득된 하천유량 앙상블을 보여주고 있다. Fig. 4(a)는 4년 동안의 건기 해의 자료를 이용하여 보정한 후, 건기 해인 2009년의 자료를 이용하여 검증한 결과이며, Fig. 4(b)는 4년 동안의 습윤 해의 자료를 이용하여 보정한 후, 습윤 해인 2007년의 자료를 이용하여 검증한 결과이다. 마찬가지로 Fig. 4(c)는 4년 동안의 평균 해의 자료를 이용하여 보정한 후, 평균 해인 2016년의 자료를 이용하여 검증한 결과를 각각 보여주고 있다. 예측 불확실성은 노란색으로 음영 처리된 90 % 신뢰구간으로 시각화하였다. 여기서 90 % 신뢰구간은 사후분포에서 샘플링된 매개변수 조합으로부터 획득된 7,200개의 하천유량 앙상블의 90 %가 포함되는 구간을 의미한다. 빨간색, 파란색, 초록색의 선은 각각 건조, 습윤, 혼합 조건에 대한 하천유량 예측결과를 나타낸다. 관측된 하천유량은 검은색으로 표시하였다.

Fig. 4. Example time series of posterior maximum likelihood estimation of stream flows.
../../Resources/kswe/KSWE.2020.36.6.568/PIC279A.png

각각의 수문기후학적 조건에 해당하는 시기의 자료를 이용한 보정결과를 Table 3에 나타내었다. Table 3의 결과에서 가장 먼저 언급해야할 사항은 매개변수의 앙상블 평균값(즉, 최종 추정된 매개변수 값)이다. 네 개의 보정 시나리오(DC, WC, AC, MC)에서 각각 다른 매개변수 값이 추정되었다. 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC273E.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC274F.gif만이 보정 시나리오에 따라 상대적으로 큰 차이 없이 비교적 일정한 값으로 추정되었으며, 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2750.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC2751.gif는 보정 시나리오에 따라 추정된 값의 차이가 많이 발생되었다. 특히, 보정 시나리오 DC의 경우에는 추정된 모든 매개변수 값들이 다른 보정 시나리오에서의 값들과 비교할 때 가장 크거나(../../Resources/kswe/KSWE.2020.36.6.568/PIC2762.gif../../Resources/kswe/KSWE.2020.36.6.568/PIC2763.gif) 가장 작은 값(../../Resources/kswe/KSWE.2020.36.6.568/PIC2764.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2774.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2775.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2786.gif)으로 추정되었다.

Table 3. Results of calibration performance criteria for four different 4-year calibration periods.
Calibration condition Parameter ../../Resources/kswe/KSWE.2020.36.6.568/PIC2805.gif ../../Resources/kswe/KSWE.2020.36.6.568/PIC2816.gif ../../Resources/kswe/KSWE.2020.36.6.568/PIC2817.gif ../../Resources/kswe/KSWE.2020.36.6.568/PIC2828.gif ../../Resources/kswe/KSWE.2020.36.6.568/PIC2829.gif
Dry ../../Resources/kswe/KSWE.2020.36.6.568/PIC282A.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC283A.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC284B.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC284C.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC284D.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC284E.gif
479.546
0.708
328.357
5.509
0.838
5.867
0.324
0.283
0.364
0.285
0.158
0.676
0.619 0.616 0.657 0.407
Wet ../../Resources/kswe/KSWE.2020.36.6.568/PIC285E.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC286F.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC2870.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC2871.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC2872.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC2883.gif
619.792
0.710
291.978
8.025
0.669
9.342
0.616
0.315
0.453
0.589
0.351
0.588
0.750 0.738 0.691 3.087
Normal ../../Resources/kswe/KSWE.2020.36.6.568/PIC2884.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC2885.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC2895.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28A6.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28A7.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28A8.gif
646.081
0.737
277.215
6.191
0.678
8.164
0.536
0.286
0.488
0.564
0.342
0.609
0.780 0.749 0.659 0.733
Mixed ../../Resources/kswe/KSWE.2020.36.6.568/PIC28B9.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28BA.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28CA.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28CB.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28CC.gif
../../Resources/kswe/KSWE.2020.36.6.568/PIC28DD.gif
634.752
0.738
283.942
5.881
0.696
7.478
0.505
0.293
0.471
0.561
0.325
0.668
0.794 0.793 0.819 0.826

두 번째로 살펴본 사항은 추정된 매개변수를 이용한 관측 하천유량의 재현성능(즉, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2787.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2788.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2799.gif)이다. 보정에 사용된 하천유량자료의 재현성능이 가장 좋은 시나리오는 MC이다. 그 다음으로 AC, WC, DC 순이다. 네 개의 보정 시나리오에서 세 가지 지표 모두 MC가 재현성능이 가장 우수한 것을 지시하고 있으며, AC와 WC는 서로 비슷한 재현성능을 보인다. 네 개의 보정 시나리오에서 세 가지 지표 모두 DC가 재현성능이 가장 좋지 못함을 나타내고 있다. 일반적으로 수문모형 보정 시에 상기 세 가지 지표가 모형 정확도를 살펴볼 목적으로 널리 사용된다는 측면에서 볼 때, 이러한 결과는 건조 해와 습윤 해, 그리고 평균 해를 적절히 혼합하여 모형 매개변수 보정전략을 세우는 것이 가장 좋은 재현성능을 얻을 수 있으며, 건조 해 기간만을 이용하여 보정전략을 수립하는 것은 타당하지 못할 것이라는 판단이 들게 할 수 있을 것이다.

하지만, 과적합 문제를 고려한다면, Table 3의 하천유량 재현성능은 네 개의 보정 시나리오 모두 적합한 수준임을 인지해야한다. 즉, 네 개 보정 시나리오 모두 ../../Resources/kswe/KSWE.2020.36.6.568/PIC27AA.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC27BB.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC27BC.gif가 만족스러운 성능임을 지시하는 최소한의 임계값 이상이기 때문이다. 또한 매개변수 및 예측된 하천유량의 불확실성을 분석한 결과를 살펴보면, 혼합 해로 구성된 보정 시나리오가 적절하지 않을 수도 있음을 인지하게 된다. ../../Resources/kswe/KSWE.2020.36.6.568/PIC27CC.gif로 살펴본 매개변수의 불확실성은 WC의 경우가 가장 크게 발생되었다. 특히, 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC27CD.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC27CE.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC27DF.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC27E0.gif의 불확실성은 WC의 경우가 다른 보정 시나리오들 중에서 가장 크게 발생되었다. NC와 MC의 경우에도 WC에 비슷한 수준의 매개변수 불확실성이 포함되어 있음을 살펴볼 수 있다. DC의 경우에는 ../../Resources/kswe/KSWE.2020.36.6.568/PIC27F1.gif을 제외한 모든 매개변수 불확실성이 다른 보정 시나리오들보다 가장 작았다. 이는 DC가 가장 신뢰성 높은 매개변수를 추정해준다는 사실을 의미한다. 각각의 수문기후학적 조건의 시기의 자료를 이용하여 샘플링된 매개변수의 앙상블의 범위를 Fig. 5에 나타내었다. DC의 경우에 매개변수 ../../Resources/kswe/KSWE.2020.36.6.568/PIC27F2.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC27F3.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2803.gif의 범위가 다른 보정 시나리오들에서 대응하는 매개변수의 범위보다 유의하게 작은 것을 확인할 수 있다.

Fig. 5. Parameter range with respect to hydro-climate condition for calibration.
../../Resources/kswe/KSWE.2020.36.6.568/PIC28DE.png

이와 같은 매개변수의 불확실성은 예측결과인 하천유량의 불확실성에 영향을 줄 수밖에 없으며, 사실 매개변수의 불확실성은 예측된 하천유량의 불확실성에 증폭되어 반영됨을 발견할 수 있다. 매개변수의 불확실성은 WC가 가장 높았을지라도 NC와 MC도 WC와 비슷한 수준의 매개변수 불확실성을 나타냈지만, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2804.gif로 살펴본 하천유량의 불확실성은 WC의 경우가 NC와 MC의 경우와 비교해볼 때 훨씬 높다. DC의 경우 예측된 하천유량은 다른 보정 시나리오들과 비교해볼 때, 매우 낮은 불확실성이 포함되어 있음을 살펴볼 수 있다. 하천유량의 재현성능이 최소한의 기준은 만족시킨다는 전제하에 이러한 결과는 추정된 매개변수 및 예측된 하천유량의 불확실성이 가장 작은 건조 해 기간의 자료를 이용한 매개변수 보정이 모형의 신뢰도 측면에서는 가장 적절할 보정전략이 될 수 있음을 의미한다.

3.3 수문기후학적 조건별 개념적 수문분할모형의 검증결과 및 토의

본 절에서는 각각의 보정 시나리오로부터 획득된 매개변수 앙상블을 이용하여 검증 시나리오에 대한 모형의 예측정확도를 평가하였다(Fig. 6-9). Fig. 6-9는 각각의 수문기후학적 조건에서 추정된 매개변수를 이용하여(DC, WC, NC, MC), 각각의 수문기후학적 조건에 해당되는 자료로 검증한 결과이다(DV, WV, NV, MV). 보정 및 검증 시나리오별 차이를 시각적으로 명확히 나타내기 위하여 월 유입량 자료로 환산하여 도시하였다. 건조 해 자료를 이용한 보정은 건조 해 뿐만 아니라 습윤 해와 평균 해에 대해서도 양호한 검증결과를 생산하고 있다(Fig. 6). 그러나 습윤 해를 이용한 보정은 습윤 해에 대해서는 양호한 검증결과를 나타내고 있으나, 건조 해와 평균 해에 대한 검증결과는 만족스럽지 못하다(Fig. 7). WC의 하천유량 재현정확도가 DC보다 더 우수했던 보정결과와는 정 반대의 검증결과가 도출되었다. WC의 경우 하천유량의 재현성능은 우수하였으나, 추정된 매개변수 및 예측된 하천유량의 불확실성이 매우 높았다는 것을 상기해볼 때, 이러한 결과는 보정결과의 적합성을 판단할 때 단순히 ../../Resources/kswe/KSWE.2020.36.6.568/PIC2910.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2911.gif, ../../Resources/kswe/KSWE.2020.36.6.568/PIC2921.gif 등과 같은 재현성능뿐만 아니라 예측에 포함된 불확실성을 함께 살펴볼 필요가 있다는 사실을 말해주고 있다. 흥미로운 사실은 DC의 경우에는 DV, WV, NV, MV 모두에서 DC에서보다 더 양호한 재현성능을 보여주고 있으며, WC의 경우에는 WV에서만 WC보다 더 양호한 재현성능을 보여준다는 것이다. NC의 경우에는 WD와 MD의 경우에만 NC보다 더 양호한 재현성능을 나타내고 있으며(Fig. 8), MC의 경우에는 MC보다 더 양호한 재현성능을 나타내는 검증 시나리오가 없었다(Fig. 9). 즉, 보정된 수문기후학적 조건보다 상대적으로 더 습윤한 시기에서는 양호한 검증결과를 도출할 수 있었으며, 반대로 보정된 수문기후학적 조건보다 더 건조한 시기에서는 보정 시의 재현성능을 유지할 수 없었다. 이러한 결과로부터 보정을 위한 자료의 크기가 확보된다는 전제하에 가능한 많은 건조 해를 포함시켜 보정전략을 수립하는 것이 예측된 하천유량의 정확도를 확보하는데 더 유리할 것이라는 결론을 얻을 수 있다.

Fig. 6. Monthly stream flow verification for dry 4-year calibration periods.
../../Resources/kswe/KSWE.2020.36.6.568/PIC28EE.png
Fig. 7. Monthly stream flow verification for wet 4-year calibration periods.
../../Resources/kswe/KSWE.2020.36.6.568/PIC28FF.png
Fig. 8. Monthly stream flow verification for normal 4-year calibration periods.
../../Resources/kswe/KSWE.2020.36.6.568/PIC2922.png
Fig. 9. Monthly stream flow verification for mixed 4-year calibration periods.
../../Resources/kswe/KSWE.2020.36.6.568/PIC2933.png

Fig. 10은 서로 다른 네 개의 수문기후학적 조건에서 보정된 매개변수들을 이용하여 각각의 수문기후학적 조건에서 검증된 수치적인 결과를 보여주고 있다. DC의 보정 시나리오가 검증에 사용된 수문기후학적 조건에 상관없이 다른 보정 시나리오들보다 더 우수하다는 사실을 발견할 수 있다. WC, NC, MC는 서로 비슷한 정확도의 검증결과를 보여주고 있으며, 특히 습윤한 수문기후학적 조건에서 추정된 모형은 건조한 수문기후학적 조건의 시기에는 모형의 정확도를 확보하기 어려울 수도 있음을 살펴볼 수 있다. 이러한 특성은 가능한 최근의 자료를 이용하여 수문모형을 보정하는 것이 바람직하다는 주장에 정면으로 배치된다. Fig. 2에서 알 수 있듯이, 합천댐 유역의 경우 2012년 이후로는 건조 조건에 해당되는 해가 발생한 적이 없다. 즉, 2012년 이후의 자료만을 이용하여 보정한 후, 이를 이용하여 과거 30년(예를 들어) 하천유량을 모의할 경우, 과거의 건조 시기의 유량을 정확하게 모의하는데 한계가 있을 수 있기 때문이다. 또한 이러한 특성은 미래의 하천유량을 전망하는 일에도 매우 중요한 영향을 미칠 수 있다는 사실에 주목해야한다. 과거 불특정한 시기의 자료를 이용하여 보정된 수문모형은 미래에 발생 가능한 건조시기의 하천유량을 전망하는데 적절하지 못할 가능성이 높기 때문이다. 특히, 이수 및 생태와 관련된 계획에 활용하기 위해 수문모형을 구성할 경우에는 목적에 적합한 보정전략을 신중하게 수립할 필요가 있다.

Fig. 10. Model prediction performance scores in validation for four different 4-year calibration periods.
../../Resources/kswe/KSWE.2020.36.6.568/PIC2944.png

앞서 보정결과에 대한 논의에서 살펴보았듯이, 매개변수의 불확실성은 예측된 하천유량의 불확실성에 증폭되어 반영된다. 이러한 특성은 검증 시나리오에서 더 명확하게 표출된다. Fig. 11은 네 개의 보정 시나리오에 대한 각각의 검증 시나리오에서 예측된 하천유량의 불확실성을 보여주고 있다. Fig. 5에서와 같은 보정 시나리오별 매개변수의 불확실성은 검증 시나리오에서는 Fig. 11과 같은 하천유량의 불확실성을 나타내게 된다. 건조 조건에서 추정된 매개변수의 불확실성은 상대적으로 더 습윤한 조건에서는 다소 완화되는 경향을 보이는 반면에, 습윤 조건에서 추정된 매개변수의 불확실성은 더 건조한 조건에서는 더 증폭된 불확실성을 나타내고 있다. 특히, WC에서 보정된 CHPM은 DV에서는 불확실성이 매우 큰 하천유량을 예측함에 따라, 도출된 결과의 신뢰성이 확보되었다고 말하기 어려울 것이다.

Fig. 11. Model prediction uncertainty in validation for four different 4-year calibration periods.
../../Resources/kswe/KSWE.2020.36.6.568/PIC2945.png

4. Conclusion

수문모형의 보정 및 검증을 위한 자료기간의 선택은 대부분 주관적이며, 가장 신뢰할 수 있는 예측결과를 얻기 위한 기간을 선택하는 객관적인 지침이 없다. 본 연구에서는 수문모형의 보정 및 검증 자료의 선택이 매개변수 추정 및 하천유량 예측성능에 미치는 영향을 살펴보았다.

낙동강 유역의 합천댐 상류유역을 대상으로 과거 32년 동안의 수문기상학적인 관측자료가 이용되었다. 이 자료를 세 가지 수문기후학적 조건(건조, 습윤, 평균)으로 분류하고, 수문기후학적 조건에 따른 네 가지 보정 시나리오(건조 해, 습윤 해, 평균 해, 혼합 해)를 구성한 후, 마코프체인 몬테카를로 모의를 이용하여 개념적인 수문분할모형을 보정하였다. 보정 시나리오별로 구성된 모형은 다시 네 가지 검증 시나리오에 따라 모형의 유효성을 검증하였다.

보정에 이용된 자료의 수문기후학적 조건에 따라 추정된 매개변수 및 모의된 하천유량에 비교적 많은 차이가 있었기 때문에 보정 및 검증에서 자료 기간의 선택은 모형성능과 관련이 있는 것을 확인할 수 있었다. 보정에 의한 하천유량 재현성능으로만 보면 건조 조건에서 보정하는 것이 정확도를 확보하기가 가장 어렵다는 사실을 살펴볼 수 있었다. 하지만, 양호한 정확도를 확보하기가 상대적으로 용이한 습윤 조건에서의 보정이 반드시 최고의 검증결과를 보장할 수 없다는 사실을 발견하였다. 오히려 건조 조건에서 보정이 이루어져야 습윤 또는 평균적인 수문기후학적 조건에서 하천유량을 예측할 때도 더 만족스러운 모형성능을 얻을 수 있음을 제시할 수 있다.

그러나 본 연구의 결과 및 토론은 특정 유역의 특정 기간에 대한 결과물에 기반하기 때문에 일반화를 위해서는 더 많은 유역과 더 많은 기간에 대한 검증이 요구된다. 다양한 수문기후학적 조건에 기초한 민감도 분석에 대한 본 연구의 접근방식은 다양한 기후, 다른 형태의 유역, 더 복잡한 수문모형의 적용과 관련된 향후 연구의 출발점이 될 수 있을 것이다.

Acknowledgement

본 결과물은 환경부의 재원으로 한국환경산업기술원의 지능형 도시 수자원 관리사업의 지원을 받아 연구되었습니다. (2019002950004)

References

1 
Abebe N., Ogden F., Pradhan N., 2010, Sensitivity and uncertainty analysis of the conceptual HBV rainfall-runoff model: implications for parameter estimation,, Journal of Hydrology,, Vol. 389, pp. 301-310DOI
2 
Anctil F., Perrin C., Andreassian V., 2004, Impact of the length of observed records on the performance of ANN and of conceptual parsimonious rainfall-runoff forecasting models,, Environmental Modelling and Software,, Vol. 19, pp. 357-368DOI
3 
Allen R., Pereira L., Raes D., Smith M., 1998, Crop evapotranspiration–Guidelines for computing crop water requirements. FAO Irrigation and drainage paper 56,, ISBN 978-92-5-104219-9., Rome, Italy: Food and Agriculture Organization of the United Nations,Google Search
4 
Bardossy A., Singh S., 2008, Robust estimation of hydrological model parameters,, Hydrology Earth System Sciences,, Vol. 12, pp. 1273-1283DOI
5 
Box G., Cox D., 1964, An analysis of transformations,, Journal of the Royal Statistical Society: Series B (Methodological),, Vol. 26, pp. 211-243DOI
6 
Budyko M., 1974, Climate and Life,, Academic Press,Google Search
7 
Choi J., Jang S., Kim S., 2020, Parameter and modeling uncertainty analysis of semi-distributed hydrologic model using Markov-chain Monte Carlo technique,, [Korean Literature], Journal of Korean Society on Water Environment,, Vol. 36, No. 5, pp. 373-384Google Search
8 
Choi J., Kim R., Kim S., 2020, Development of parsimonious semi-distributed hydrolgic partitioning model based on soil moisture storages,, [Korean Literature], Journal of Korean Society on Water Environment,, Vol. 36, No. 3, pp. 229-244Google Search
9 
Dakhlaoui H., Ruelland D., Tramblay Y., Bargaoui Z., 2017, Evaluating the robustness of conceptual rainfall-runoff models under climate variability in northern Tunisia,, Journal of Hydrology,, Vol. 550, pp. 201-217DOI
10 
Fowler K., Peel M., Western A., Zhang L., Peterson T., 2016, Simulating runoff under changing climatic conditions: revisiting an apparent deficiency of conceptual rainfall runoff models,, Water Resources Research,, Vol. 52, pp. 1820-1846DOI
11 
Gan T., Dlamini E., Biftu G., 1997, Effects of model complexity and structure, data quality, and objective functions on hydrologic modeling,, Journal of Hydrology,, Vol. 192, pp. 81-103DOI
12 
Gupta H., Kling H., Yilmaz K., Martinez G., 2009, Decomposition of the mean squared error and NSE performance criteria: implications for improving hydrological modelling,, Journal of Hydrology,, Vol. 377, pp. 80-91DOI
13 
Hartmann G., Bardossy A., 2005, Investigation of the transferability of hydrological models and a method to improve model calibration,, Advances in Geosciences,, Vol. 5, pp. 83-87DOI
14 
Kavetski D., Fenicia F., 2011, Elements of a flexible approach for conceptual hydrological modeling: 2. Applications experimental insights,, Water Resources Research,, Vol. 47, pp. 1-19Google Search
15 
Kim R., Won J., Choi J., Lee O., Kim S., 2020, Application of bayesian approach to parameter estimation of TANK model: comparison of MCMC and GLUE methods,, [Korean Literature], Journal of Korean Society on Water Environment,, Vol. 36, No. 4, pp. 300-313Google Search
16 
Klemes V., 1986, Operational testing of hydrological simulation models,, Hydrological Sciences Journal,, Vol. 31, pp. 13-24DOI
17 
Korea Meteorological Administration (KMA)., 2020, http://data.kma.go.kr (accessed Sept. 2020)., Weather Data Open Portal,
18 
Kuczera G., 1983, Improved parameter inference in catchment models: 1. Evaluating parameter uncertainty,, Water Resources Research,, Vol. 19, pp. 1151-1162DOI
19 
Lee O., Kim H., Kim S., 2020, Hydrological simple water balance modeling for increasing geographically isolated doline wetland functions and its application to climate change,, 105812., Ecological Engineering,, Vol. 149DOI
20 
Li C., Wang H., Liu J., Yan D., Yu F., Zhang L., 2010, Effect of calibration data series length on performance and optimal parameters of hydrological model,, Water Science and Engineering,, Vol. 3, pp. 378-393Google Search
21 
Me W., Abell J. M., Hamilton D. P., 2015, Effects of hydrologic conditions on SWAT model performance and parameter sensitivity for a small, mixed land use catchment in New Zealand,, Hydrology and Earth System Sciences,, Vol. 19, pp. 4127-4147DOI
22 
Ministry of Environment (ME)., 2020, http://www.wamis.go.kr (accessed Sept. 2020)., Water Resources Management Information System (WAMIS),
23 
Motavita D., Chow R., Guthke A., Nowak W., 2019, The comprehensive differential split-sample test: A stress-test for hydrological model robustness under climate variability,, Journal of Hydrology,, Vol. 573, pp. 501-515DOI
24 
Nash J., Sutcliffe J., 1970, River flow forecasting through conceptual models part I - A discussion of principles,, Journal of Hydrology,, Vol. 10, pp. 282-290DOI
25 
Patil S., Stieglitz M., 2015, Comparing spatial and temporal transferability of hydrological model parameters,, Journal of Hydrology,, Vol. 525, pp. 409-417DOI
26 
Perrin C., Oudin L., Andreassian V., Rojas-Serna C., Michel C., Mathevet T., 2007, Impact of limited streamflow data on the efficiency and the parameters of rainfall runoff models,, Hydrological Sciences Journal,, Vol. 52, pp. 131-151DOI
27 
Refsgaard J., 1996, Operational validation and intercomparison of different types of hydrological models,, Water Resources Research,, Vol. 32, pp. 2189-2202DOI
28 
Ritter A., Munoz-Carpena R., 2013, Performance evaluation of hydrological models: statistical significance for reducing subjectivity in goodness-of-fit assessments,, Journal of Hydrology,, Vol. 480, pp. 33-45DOI
29 
Ruelland D., Hublart P., Tramblay Y., 2015, Assessing uncertainties in climate change impacts on runoff in Western Mediterranean basins,, Proceedings of the International Association of Hydrological Sciences,, Copernicus Publications,, Vol. 371, pp. 75-81DOI
30 
Seibert J., Rodhe A., Bishop K., 2003, Simulating interactions between saturated and unsaturated storage in a conceptual runoff model,, Hydrological Process,, Vol. 17, pp. 379-390DOI
31 
Seiller G., Anctil F., Perrin C., 2012, Multimodel evaluation of twenty lumped hydrological models under contrasted climate conditions,, Hydrology Earth System Sciences,, Vol. 16, pp. 1171-1189DOI
32 
Sorooshian S., Gupta V., Fulton J., 1983, Evaluation of maximum likelihood parameter estimation techniques for conceptual rainfall runoff models: influence of calibration data variability and length on model credibility,, Water Resources Research,, Vol. 19, pp. 251-259DOI
33 
Troin M., Arsenault R., Martel J., Brissette F., 2018, Uncertainty of hydrological model components in climate change studies over two nordic quebec catchments,, Journal of Hydrometeorology,, Vol. 19, pp. 27-46DOI
34 
Vaze J., Post D., Chiew F., Perraud J., Viney N., Teng J., 2010, Climate non-stationarity: validity of calibrated rainfall runoff models for use in climate change studies,, Journal of Hydrology,, Vol. 394, pp. 447-457DOI
35 
Wagener T., McIntyre N., Lees M., Wheater H., Gupta H., 2003, Towards reduced uncertainty in conceptual rainfall-runoff modelling: dynamic identifiability analysis,, Hydrological Process,, Vol. 17, pp. 455-476DOI
36 
Won J., Choi J., Lee O., Kim S., 2020, Copula-based joint drought index using SPI and EDDI and its application to climate change,, 140701., Science of The Total Environment,DOI
37 
Wu K., Johnston C., 2007, Hydrologic response to climatic variability in a great lakes watershed: a case study with the swat model,, Journal of Hydrology,, Vol. 337, pp. 187-199Google Search
38 
Xia Y., Yang Z., Jackson C., Stoffa P., Sen M., 2004, Impacts of data length on optimal parameter and uncertainty estimation of a land surface model,, Journal of Geophysical Research - Atmospheres,, Vol. 109, pp. 1-13Google Search
39 
Yapo P., Gupta H., Sorooshian S., 1996, Automatic calibration of conceptual rainfall-runoff models: sensitivity to calibration data,, Journal of Hydrology,, Vol. 181, pp. 23-48DOI
40 
Yen H., Wang X., Fontane D., Harmel R., Arabi M., 2014, A framework for propagation of uncertainty contributed by parameterization, input data, model structure, and calibration/validation data in watershed modeling,, Environmental Modelling and Software,, Vol. 54, pp. 211-221DOI
41 
Zhang H., Huang G., Wang D., Zhang X., 2011, Multi-period calibration of a semidistributed hydrological model based on hydroclimatic clustering,, Advances in Water Resources,, Vol. 34, pp. 1292-1303DOI
42 
Zhang J., Li Y., Huang G., Chen X., Bao A., 2016, Assessment of parameter uncertainty in hydrological model using a Markov-Chain-Monte-Carlo-based multilevel- factorial analysis method,, Journal of Hydrology,, Vol. 538, pp. 471-486DOI