4.1 실험 데이터 구성 및 분석 조건
실험에 사용된 지진 이벤트 데이터는 IRIS 데이터베이스의 지진 관측 기록 중 지진 규모(earthquake magnitude) $4.0 \le M_w
\le 8.3$, 진앙거리(epicentral distance) $d \le 500km$, 진원 깊이(hypocentral depth) $h \le
600km$ 범위에 해당하는 이벤트를 대상으로 무작위 추출하였으며, 그림 1과 같은 총 1,550개의 mSEED 포맷 가속도 데이터를 선정하였다. 데이터셋은 근거리, 천발 지진뿐만 아니라 다양한 진앙거리 및 진원 깊이 조건의
이벤트를 포함하고 있다. 이는 특정 EEW 운용 환경에 한정된 성능 평가가 아닌, 다양한 관측 조건에서의 알고리즘 파라미터 거동 특성을 폭넓게 분석하고,
운용 목적에 따른 파라미터 선택 기준을 일반적인 관점에서 제시하기 위한 구성이다. 선정된 모든 지진 데이터는 가속도 파형으로, 속도 또는 변위로의
물리량 변환은 수행하지 않았다.
Fig. 1. 시뮬레이션에 사용된 IRIS 지진 데이터셋의 분포(N = 1550): (a)지진 규모, (b)진앙 거리, (c)진원 깊이, (d)규모
구분과 진앙 거리 구분에 따른 데이터 개수.
Fig. 1 Distribution of the IRIS seismic dataset used in the simulation(N = 1550):
(a)earthquake magnitude, (b)epicentral distance, (c)focal depth, (d)number
of data according to magnitude classification and epicentral distance
classification
모든 이벤트에 대해 샘플링 주파수가 100Hz인 수직 성분(Z축) 파형만을 분석 대상으로 사용하였다. 전처리 단계에서는 EEWS에서 일반적으로 사용되는
전처리 사양을 참고하여 0.075~15Hz 통과대역을 갖는 4차 Butterworth IIR 대역통과필터를 적용하였다[18]. 이후 가속도 신호에 대해 후방차분을 수행하여 jerk를 계산하고, 이를 기반으로 IMAV를 산출하였다. IRIS 데이터에는 P파 도달 시각의 기준값(reference
arrival time)이 포함되어 있지 않으므로, 필터링된 파형을 대상으로 사전에 수동 picking을 수행하여 결정된 P파 도달 시각을 기준값
$t_P$로 정의하였다.
실제 P파 이벤트가 명확히 존재하는 관측 기록만을 실험에 사용하였으며, 모든 trial은 지진 이벤트를 포함하는 데이터로 구성하였다. 해당 trial에서
알고리즘의 P파 검출 여부를 기준으로 성능을 평가함으로써, 시간 구간 단위 분석에서 발생할 수 있는 중복 검출 문제를 배제하고, EEWS의 실제 운용
환경을 반영한 이벤트 기반 분석을 수행하였다. IMAV 계산에 사용되는 스케일링 파라미터 $\alpha$는 상수 $\alpha = 1$로 설정하여
민감도 분석 대상에서 제외하였다.
4.2 파라미터 민감도 분석 방법
3σ-IMAV 알고리즘의 주요 파라미터 $L_s$, $k_\sigma$, $T_{TRG,s}$가 P파 검출 성능에 미치는 영향을 정량적으로 평가하기
위해 일반화 선형모형(Generalized Linear Model, GLM)을 적용하였다. 모든 분석은 이벤트(trial) 단위로 수행되며, 각 trial에
대해 알고리즘이 유효 시간창($|\Delta t| \le W_{sec}$)내에서 P파 검출 여부와 P파 도달 이전 구간에서 오검출 발생 여부를 이진
반응변수로 정의하였다. 정탐($TP$) 성능 분석을 위해, $i$-번째 trial에서 유효 검출이 이루어진 경우 $y_i^{(TP)} = 1$, 그렇지
않은 경우 $y_i^{(TP)} = 0$으로 정의하고, 정탐 발생 확률 $p_i^{(TP)}$를 로지스틱 링크 함수를 갖는 이항 분포 GLM으로 모델링하였다.
동일한 방식으로 P파 도달 이전 잡음구간에서 오검출($FP$),이 발생한 경우 $y_i^{(FP)} = 1$, 그렇지 않은 경우 $y_i^{(FP)}
= 0$으로 정의하여 오검출 발생 확률 $p_i^{(FP)}$를 추정하였다. 미검출($FN$) 역시 trial 단위의 이진 반응변수로 정의하여 동일한
방식으로 분석하였다.
각 GLM 설명변수로는 주요 파라미터 $L_s$, $k_\sigma$, $T_{TRG,s}$만을 포함하였으며, 모든 파라미터는 범주형(categorical)
변수로 하여, 주효과(main effect)를 고려하였다. 각 파라미터의 상대적 영향도는 drop-one 방식으로 해당 항을 제거했을 때의 분산 증가량($\Delta
Deviance$)을 기준으로 평가하였다. 또한, trial 결과를 파라미터 조합별로 집계하여 조합별 성능 지표 $P_{TP}$, $P_{FP}$,
$P_{FN}$, $P_{LATE}$, 및 $RMSE_{\Delta t}$를 계산하고, 사전 정의한 기준을 만족하는 유효영역(valid region)을
도출하였다. $LATE$는 GLM 모형에는 포함하지 않고, 유효영역 분석에서 제약 또는 보조 성능 지표로만 사용하였다. 파라미터 조합에 따른 성능
변화는 pairwise 2차원 히트맵과 슬라이스(slice) 방식의 시각화를 통해 표현하였다. GLM 분석 결과는 파라미터 변화에 따른 성능 지표의
상대적 경향을 파악하기 위한 탐색적 분석으로 활용하였다. 동일 이벤트에 대한 반복 평가로 인한 종속성 가능성이 있으므로, GLM의 deviance
기반 결과는 절대적 유의성 검정이 아닌 상대적 경향성 비교로 해석하였다.
4.4 GLM 기반 파라미터 민감도 주효과 분석 결과
3σ-IMAV 알고리즘의 주요 파라미터가 검출 성능에 미치는 상대적 영향도를 평가하기 위해, $FP$ 모델, $FN$ 모델, 그리고 $TP$ 모델에
대해 $L_s$, $k_\sigma$, $T_{TRG,s}$의 주효과를 분석하였다. 각 성능 지표에 대한 파라미터 영향도는 drop-one 방식의
GLM 분석을 통해 산출된 $\Delta Deviance$를 기준으로 평가하였으며, 정규화된 상대 중요도를 그림 2와 표 3에 제시하였다.
Fig. 2. $FP$, $FN$, 그리고 $TP$ 모델에 대해 드롭-원(drop-one) 방식의 정규화된 $\Delta Deviance$을 이용한
GLM 분석 결과로 산출한 주효과 중요도
Fig. 2 Main-effect importance obtaioned from GLM analysis using drop-one
noralized $\Delta Deviance$ for the $FP$, $FN$, and $TP$ models.
Table 3. GLM 기반 주효과 분석에서 $FP$, $FN$, $TP$ 모델에 대해 산출된 파라미터별 정규화 $\Delta Deviance$.
Table 3 Parameter-wise normalized $\Delta Deviance$ values obtained from GLM
main-effect analysis for $FP$, $FN$, and $TP$ models.
|
GLM model
|
$\Delta Deviance$
|
|
$L_s$
|
$k_\sigma$
|
$T_{TRG,s}$
|
|
$FP$-model
|
0.061
|
0.522
|
0.417
|
|
$FN$-model
|
0.288
|
0.162
|
0.550
|
|
$TP$-model
|
0.066
|
0.599
|
0.334
|
분석 결과, 세 파라미터 모두 $FP$, $FN$, $TP$ 성능 지표에 대해 유의미한 영향을 미치는 것으로 나타났으나, 성능 지표에 따라 파라미터의
상대적 중요도 순서는 상이하게 나타났다. $FP$ 모델에서는 임계값 계수 $k_\sigma$의 중요도가 가장 높게 나타나 오검출 억제 성능과의 직접적인
연관성을 보였으며, $FN$ 모델에서는 임계값 초과 유지 시간 $T_{TRG,s}$와 계산 구간 길이 $L_s$가 상대적으로 큰 영향을 미쳐 미검출
성능과의 밀접한 관련성을 확인할 수 있었다. $TP$ 모델에서도 $k_\sigma$의 영향이 가장 크게 나타났으나, $FN$ 모델에 비해 $T_{TRG,s}$의
상대적 중요도는 감소하는 경향을 보였다. 이러한 결과는 3σ-IMAV 알고리즘의 각 파라미터가 서로 다른 유형의 검출 오류에 대해 상이한 trade-off
구조를 형성함을 의미하며, 단일 성능 지표 기반의 파라미터 최적화가 아닌 다중 성능 지표를 고려한 파라미터 민감도 분석의 필요성을 뒷받침한다.
추가적으로, $LATE$ 성능에 대한 파라미터 민감도를 평가하기 위해 동일한 GLM 기반 drop-one 주효과 분석을 수행하였으며, 그 결과를 표 4에 정리하였다. 정규화된 $\Delta Deviance$ 기준으로, 지연 검출 성능은 임계값 유지 시간 $T_{TRG,s}$에 가장 민감하게 반응하는
것으로 나타났으며, 이는 검출 유지 조건과 검출 지연 발생 여부 사이에 강한 연관성이 있음을 의미한다. 또한 검출 성공 이후의 검출 시각 정확도를
평가하기 위해, $TP$로 판정된 사례에 한정하여 검출 시각 오차 $RMSE_{\Delta t}$의 제곱값($dt^2$)을 반응 변수로 하는 GLM
기반 drop-one 분석을 수행하였고, 그 결과를 표 5에 정리하였다. 분석 결과, 검출 시각 오차 역시 $T_{TRG,s}$에 의해 거의 전적으로 지배되는 것으로 확인되었으며, 이는 임계값 유지 시간
설정이 P파 검출 시점의 시간 정확도를 결정하는 핵심적인 역할을 함을 보여준다.
Table 4. 이항 GLM 기반 drop-one 주효과 분석을 통해 산출한 지연 검출($LATE$) 성능에 대한 파라미터별 정규화 $\Delta
Deviance$.
Table 4 Parameter-wise normalized drop-one $\Delta Deviance$ for the $LATE$
detection model obtained using binomial GLM analysis.
|
GLM analysis
|
$L_s$
|
$k_\sigma$
|
$T_{TRG,s}$
|
|
Relative $\Delta Deviance$
|
0.145
|
0.124
|
0.731
|
|
$\Delta Deviance$(absolute)
|
863.316
|
4355.876
|
736.013
|
Table 5. TP로 판정된 사례에 한정하여 계산한 검출 시각 오차 제곱($dt^2$)에 대한 파라미터별 정규화 drop-one $\Delta SSE$.
Table 5 Parameter-wise normalized drop-one $\Delta SSE$ for the squared detection
time error ($dt^2$) computed using TP-only trials.
|
GLM analysis
|
$L_s$
|
$k_\sigma$
|
$T_{TRG,s}$
|
|
Relative $\Delta SSE$
|
0.008
|
0.006
|
0.986
|
|
$\Delta SSE$ (absolute)
|
333.247
|
260.919
|
43084.105
|
이러한 GMS 기반 분석 결과는 3σ-IMAV 알고리즘에서 각 파라미터가 오검출, 미검출, 정탐 여부뿐만 아니라 검출 지연 및 검출 시각 오차에 서로
다른 방식으로 기여함을 보여주며, 단일 파라미터 조정으로 모든 성능 지표를 동시에 최적화하기 어려운 구조적 trade-off가 존재함을 시사한다.
4.4 파라미터 조합별 성능 특성 및 유효 영역 분석 결과
3σ-IMAV 알고리즘의 주요 파라미터 조합에 따른 성능 특성을 분석하고, 각 성능 지표별 요구 조건을 만족하는 유효 영역의 분포 및 성능 지표 간
상호 관계를 정량적으로 평가하였다. 이를 위해 파라미터 스윕(parameter sweep) 실험 결과에 대해 탐색적 분석을 수행하였다. $FP$,
$FN$, 그리고 $RMSE_{\Delta t}$에 대해 EEWS 운용 관점에서 실용적인 성능 수준을 예시적으로 반영한 기준값($P_{TP} = 0.80$,
$P_{FP} = 0.20$, $P_{FN} = 0.05$, $P_{LATE} = 0.20$, $RMSE_{\Delta t} = 0.50$)을 설정하고,
해당 기준을 만족하는 파라미터 조합의 분포를 시각화하였다.
그림 3~그림 5는 각각 $FP$, $FN$, 그리고 $RMSE_{\Delta t}$ 성능 기준을 만족하는 파라미터 조합의 유효 영역을 나타낸다. 각 그림은 세 개의
파라미터 $L_s$, $k_\sigma$, $T_{TRG,s}$ 중 하나를 고정한 상태에서 나머지 두 파라미터의 조합에 따른 유효 여부를 시각화한
것이며, 이때 고정 파라미터 값은 해당 성능 지표 기준을 만족하는 파라미터 조합의 개수가 최대가 되도록 선택하였다. 안정성 위주의 운용 환경에서는
오검출 억제를 우선하는 FP 유효 조합이, 미검출을 최소화해야 하는 조기경보 환경에서는 FN 유효 조합이, 검출 시각 정확도가 중요한 환경에서는 RMSE
유효 조합이 적합한 선택으로 판단된다. 각 그림은 세 파라미터 중 하나를 고정한 상태에서 나머지 두 파라미터를 동시에 변화시켰을 때의 성능 분포를
시각화한 것이다. 이를 통해 파라미터 간 조합에 따른 성능 변화를 시각적으로 확인할 수 있지만, 통계적 상호작용에 대한 정량적 분석으로 해석하기에는
제한이 있다.
Fig. 3. 오검출(False Positive, $FP$) 성능 기준을 만족하는 3σ-IMAV 파라미터 조합의 유효 영역 분포.
Fig. 3 Valid parameter regions satisfying the false positive($FP$) performance
criterion for the 3σ-IMAV algorithm.
Fig. 4. 미검출(False Negative, $FN$) 성능 기준을 만족하는 3σ-IMAV 파라미터 조합의 유효 영역 분포.
Fig. 4 Valid parameter regions satisfying the false negative($FN$) performance
criterion for the 3σ-IMAV algorithm.
그림 3의 $FP$ 기준을 만족하는 영역은 임계값 계수 $k_\sigma$가 상대적으로 큰 경우에 넓게 분포하며, $T_{TRG,s}$와 $L_s$에 대해서는
비교적 완만한 민감도를 보인다. 이는 오검출 억제 성능이 주로 임계값 계수 $k_\sigma$에 의해 지배됨을 의미하며, 앞서 수행한 주효과 분석
결과와도 일관된 경향을 보인다. 그림 4의 $FN$ 기준을 만족하는 영역은 $FP$ 기준과는 상이한 분포를 나타내며, 특히 $T_{TRG,s}$와 $L_s$의 조합에 따라 유효 영역이 크게
변화한다. 이는 검출 유지 시간 및 IMAV 계산 구간 길이가 미검출 성능에 중요한 영향을 미친다는 것을 의미한다. 그림 5의 $RMSE_{\Delta t}$ 기준을 만족하는 영역은 제한적으로 분포하며, $FP$ 또는 $FN$ 기준을 만족하는 영역과 공간적으로 불일치하는
경향이 확인되었다. 이는 검출 안정성을 고려한 파라미터 설정이 검출 시각 정확도와 항상 일치하지 않을 수 있음을 의미한다.
성능 지표 간 상호 관계를 직관적으로 분석하기 위해, 그림 6에서는 모든 파라미터 조합에 대해 $P_{FP}$와 $P_{FN}$의 관계를 산점도(scatter plot)로 표현하고, 해당 조합의 $RMSE_{\Delta
t}$ 값을 색상으로 함께 나타내었다.
그림 6에서 $FP$가 감소할수록 $FN$이 증가하는 경향이 뚜렷하게 나타나며, $FN$을 최소화하는 영역에서는 $RMSE_{\Delta t}$가 상대적으로
증가하는 경향이 관찰된다. 이는 오검출 억제, 미검출 최소화, 그리고 검출 시각 오차 사이에 구조적인 trade-off 관계가 존재함을 보여준다.
이상의 분석 결과로부터 3σ-IMAV 알고리즘의 파라미터는 단일 최적값으로 정의되기 어렵다는 것을 알 수 있다. 따라서 파라미터 설정은 적용 목적에
따라 오검출 억제, 미검출 최소화, 또는 검출 시각 오차 중 어느 성능을 우선시할 것인지에 대한 선택 문제로 해석할 수 있다.
앞선 파라미터 조합별 성능 분포 및 유효 영역 분석 결과로부터, 모든 성능 지표를 동시에 최적화하는 단일 파라미터 조합은 존재하지 않음을 확인하였다.
이러한 trade-off 구조를 고려하여, 성능 지표별로 대표적인 파라미터 조합을 선택하고, 각 조합의 성능 특성을 비교하였다. 오검출 억제를 최우선으로
고려한 $FP$-optimal 조합, 미검출 최소화를 목표로 한 $FN$-optimal 조합, 그리고 검출 시각 오차를 최소화한 $RMSE_{\Delta
t}$-optimal 조합을 도출하였으며, 그 결과를 표 6에 정리하였다.
Table 6. 성능 지표별($FP$, $FN$, $RMSE_{\Delta t}$) 대표 파라미터 조합과 해당 조합에서의 검출 성능 요약.
Table 6 Representative parameter combinations optimized for each performance metric($FP$,
$FN$, $RMSE_{\Delta t}$), along with the corresponding detection performance.
|
Mode
|
$L_s$
|
$k_\sigma$
|
$T_{TRG,s}$
|
$P_{TP}$
|
$P_{FP}$
|
$P_{FN}$
|
$P_{LATE}$
|
$RMSE_{\Delta t}$
|
Used Rule
|
mean $\Delta t$
|
|
$FP$-optimal
|
0.3
|
5.0
|
0.4
|
0.895
|
0.017
|
0.045
|
0.041
|
0.615
|
$P_{TP} \ge 0.80$ & $P_{FN} \le 0.05$
|
0.526
|
|
$FN$-optimal
|
1.0
|
4.0
|
0.1
|
0.824
|
0.156
|
0.001
|
0.019
|
0.445
|
$P_{TP} \ge 0.80$ & $P_{FP} \le 0.20$
|
0.245
|
|
$RMSE_{\Delta t}$-optimal
|
0.4
|
4.5
|
0.1
|
0.832
|
0.149
|
0.002
|
0.017
|
0.380
|
$P_{TP} \ge 0.80$ & $P_{FP} \le 0.20$
& $P_{FN} \le 0.05$
|
0.192
|
Fig. 5. 검출 시각 오차($RMSE_{\Delta t}$) 성능 기준을 만족하는 3σ-IMAV 파라미터 조합의 유효 영역 분포.
Fig. 5 Valid parameter regions satisfying the detection time accuracy criterion
($RMSE_{\Delta t}$) for the 3σ-IMAV algorithm.
Fig. 6. 3σ-IMAV 알고리즘에서 파라미터 조합에 따른 오검출 확률($P_{FP}$)과 미검출 확률($P_{FN}$) 간의 trade-off
관계
Fig. 6 Trade-off between false positive probability($P_{FP}$) and false negative
probability($P_{FN}$) for different parameter combinations of the 3σ-IMAV
algorithm.
먼저, $FP$-optimal 조합은 $L_s = 0.3[s]$, $k_\sigma = 5.0$, $T_{TRG,s} = 0.4[s]$로 설정된 경우로,
$P_{FP} = 0.017$로 매우 낮은 오검출률을 보였다. 동시에 $P_{TP} = 0.895$, $P_{FN} = 0.045$로 검출 성공률을
일정 수준 이상 유지하였으나, 검출 시각 오차를 나타내는 $RMSE_{\Delta t} = 0.615[s]$는 상대적으로 크게 나타났다. 이는 임계
계수 $k_\sigma$와 유지 시간 $T_{TRG,s}$를 크게 설정함으로써 보수적인 검출 조건이 형성되어, 오검출 억제에는 유리하나 검출 지연이
증가하는 특성을 반영한 결과로 해석할 수 있다.
다음으로, $FN$-optimal 조합은 $L_s = 1.0[s]$, $k_\sigma = 4.0$, $T_{TRG,s} = 0.1[s]$에서 도출되었다.
해당 조합에서는 $P_{FN} = 0.001$로 거의 미검출이 발생하지 않았으며, $P_{TP} = 0.824$로 충분한 검출 성공률을 확보하였다.
반면, $P_{FP} = 0.156$으로 오검출률이 증가하는 경향을 보였는데, 이는 비교적 긴 IMAV 계산 구간과 짧은 임계 유지 시간 설정으로
인해 민감도가 증가한 결과로 해석할 수 있다. 이러한 특성은 미검출을 최소화해야 하는 조기 경보 목적의 운용 환경에 적합한 설정임을 나타낸다.
마지막으로, $RMSE_{\Delta t}$-optimal 조합은 $L_s = 0.4[s]$, $k_\sigma = 4.5$, $T_{TRG,s}
= 0.1[s]$로 나타났으며, $RMSE_{\Delta t} = 0.380[s]$로 전체 파라미터 조합 중 가장 우수한 시간 정확도를 보였다. 해당
조합은 $P_{TP} = 0.832$, $P_{FP} = 0.149$, $P_{FN} = 0.002$로, 검출 성공률과 오검출률 및 미검출률 성능
간의 균형이 비교적 잘 유지된 중간 영역에 위치한다. 이는 그림 3~그림 5에서 확인된 $FP$–$FN$–$RMSE_{\Delta t}$ 간의 trade-off 구조 내에서, 시간 정확도 관점에서의 파레토(Pareto) 최적해에
해당한다.
이상의 결과는 3σ-IMAV 알고리즘의 파라미터 설정이 단일 성능 지표를 최적화하는 문제가 아니라, 오검출 억제, 미검출 최소화, 그리고 검출 시각
정확도 간의 trade-off를 고려한 운용 조건 기반 설계 문제임을 명확히 보여준다. 이러한 분석 결과는 적용 목적에 따라 요구되는 성능 기준을
명시적으로 설정하고, 이에 부합하는 파라미터 조합을 합리적으로 선택할 수 있는 실질적인 기준을 제공한다.