4.1 데이터 구성 및 실험 절차
본 연구에서는 제안한 오픈셋 이벤트 분류 프레임워크의 성능을 검증하기 위해 IEEE 68-bus 테스트 시스템 기반 시뮬레이션 데이터를 구축하였다.
모든 시뮬레이션 시나리오는 PSS/E-Python 환경을 활용하여 생성하였다. 해당 계통의 구조를 기반으로 본 연구에서는 전력계통에서 대표적으로 발생
가능한 5가지 이벤트를 이벤트 클래스로 정의하였다. 이벤트 클래스는 (1) 발전기 탈락 및 손실 (Generator Loss, GL), (2) 선로
개방 사고 (Branch Trip, BT), (3) 무효전력 부하 손실 (Shunt Loss, SL), (4) 선로 단락 고장 (Line Fault,
LF), (5) 유효전력 부하 손실 (Load Loss, LL)로 구성하였다. 각 이벤트는 고장 위치, 고장 임피던스, 부하 변동 수준 등 주요 변수를
임의 변화시키며 총 4,268개의 시나리오가 생성되었다.
각 시나리오에 대해 계통 전반에 배치된 PMU를 통해 전압 및 주파수 시계열 데이터를 수집하였다. 수집된 데이터는 정상 상태부터 이벤트 발생 이후
과도 응답 구간까지의 계통 거동을 포함하도록 구성하였다. 또한 분류 신뢰도를 향상시키기 위해 과도 특성이 명확히 나타나는 구간을 중심으로 신호를 추출하는
전처리 과정을 적용하였다. 이를 통해 정상 상태에서 발생하는 미세한 변동보다 이벤트로 인한 동특성이 강조되도록 하였으며, 상시 모니터링 환경에서 안정적인
이벤트 분류가 가능하도록 데이터를 구성하였다. 모델 학습을 위한 하이퍼파라미터는 grid search 방식으로 탐색하였으며, 최종적으로 학습률 0.001,
배치 크기 64, dropout 0.2를 선정하였다. 해당 설정은 모든 실험에서 동일하게 적용하였다.
4.2 모델 성능 평가
본 연구에서는 이벤트 발생 시점을 사전에 알 수 없는 실제 계통 운영 환경을 모사하기 위해 이벤트 신호 간의 분류 외에 장기간 과도 구간 신호에 대한
분류 성능 평가를 구성하였다. 학습 단계에서는 이벤트 발생 직후의 짧은 과도 구간 데이터인 이벤트 신호만을 활용하며, 테스트 단계에서는 연속적인 시계열
데이터를 입력하여 상시 모니터링 환경에서의 분류 성능을 평가하였다. 테스트 데이터는 이벤트 발생 이전 정상 상태 구간, 이벤트 발생 구간, 이벤트
이후 과도 응답 구간을 포함하도록 moving-window 형태로 구성하였다. 이를 통해 이벤트 탐지와 분류 정확도와 오알람 방지 성능을 동시에 평가할
수 있도록 하였다.
그림 5 구간별 이벤트 감지 비율
Fig. 5 Event Detection Ratio Over Time
본 연구의 open-set 평가는 두 가지 설정으로 구성된다. 상시 모니터링 평가에서는 정의된 5가지 이벤트(GL, BT, SL, LF, LL)를
모두 known class로 학습하고, 이벤트 발생 구간 이외의 정상 상태 및 과도 구간 신호를 unknown으로 간주하여 모델의 거부 성능을 평가한다.
데이터셋은 학습·검증용 80%, 시험용 20%로 분할하였으며, 학습에는 이벤트 발생 직후의 짧은 과도 구간만을, 시험에는 정상상태–이벤트–이후 과도
구간을 포함한 연속 시계열을 moving-window 형태로 사용하였다. 이때 unknown은 별도의 합성 신호로 생성하지 않고, 상시 모니터링 평가에서는
이벤트 외 구간의 실제 동적 응답을 사용한다. 시뮬레이션 결과 그림 5의 결과에서 제안한 모델은 정상 상태 및 과도 구간을 포함한 전체 구간에서 오픈셋 탐지 정확도 99.85%를 달성하였다. 세부적으로 0초 시점에 발생한
이벤트 지점에서는 높은 이벤트 검출 성능과 이후 구간에서는 강제 분류를 효과적으로 억제함으로써 false alarm 발생을 크게 줄일 수 있음을 의미한다.
즉, 이벤트 발생 전후의 과도 전환 구간에서도 안정적인 판별 성능을 유지하여 상시 운영 환경에서 신뢰성 있는 이벤트 감시가 가능함을 확인하였다. 이는
제안한 모델이 상시적용 가능한 모델로서 안정적인 동작을 유지하면서도, 이벤트 발생 시 즉각적으로 탐지할 수 있음을 보여준다.
표 2 클래스별 분류 성능 평가
Table 2 Class-wise classification performance
|
Class
|
Total Case
|
Correct
|
Accuracy (Recall)
|
|
LL
|
314
|
312
|
99.36%
|
|
GL
|
162
|
158
|
97.53%
|
|
BT
|
98
|
83
|
84.69%
|
|
SL
|
141
|
125
|
88.65%
|
|
LF
|
139
|
138
|
99.28%
|
위의 표 2는 클래스별 분류 성능을 정리한 결과이다. 제안한 프레임워크는 이벤트 탐지와 분류를 통합적으로 수행할 수 있으며, 5개 이벤트 클래스에 대해 평균
recall 95.55%를 달성하였다. 또한 오픈셋 판별 메커니즘을 통해 학습되지 않은 이벤트가 기존 이벤트 클래스로 오분류되는 문제를 효과적으로
억제함으로써, 상시 모니터링 환경에서의 신뢰성 있는 이벤트 감시 성능을 확보하였다. 또한 학습되지 않은 새로운 이벤트 유형에 대한 일반화 성능을 검증하기
위해, 5개 클래스 중 하나를 학습에서 제외하고 이를 미지(Unknown) 이벤트로 간주하는 교차검증을 수행한다. 관련 결과는 표 3에 제시하였다.
표 3 교차검증을 통한 미학습 이벤트의 Open-set 분류 성능
Table 3 Open-set Classification Performance for Unseen Events via Leave-One-Class-Out
Validation
|
Removed Class
|
Classification Accuracy
|
Open-set Detection Accuracy
|
|
LL
|
95.24%
|
99.11%
|
|
GL
|
92.74%
|
99.32%
|
|
BT
|
94.79%
|
98.11%
|
|
SL
|
93.90%
|
99.23%
|
|
LF
|
92.26%
|
98.38%
|
다만 이 교차검증은 제외된 클래스 역시 동일 계통의 이벤트로서 나머지 클래스와 특성을 부분적으로 공유하므로, 적합한 클래스가 부재할 때 모델이 강제
분류를 억제하는 능력을 검증한 것으로 해석된다. 학습 분포와 이질적인 정상·과도 구간 신호에 대한 거부는 앞선 상시 모니터링 평가에서 별도로 확인하였다.
한편 강제 진동, 삼상 단락과 같이 학습에 없는 새로운 외란 유형에 대한 거부 성능의 정량적 평가는 향후 실측 및 추가 시뮬레이션 연구로 수행될 수
있다.
앞선 평가에서는 고정된 PMU 배치 조건에서 제안 모델의 성능을 검증하였다. 그러나 실제 전력계통에서는 PMU 설치 위치와 개수가 유지보수, 통신
장애, 계통 확장 등의 요인으로 인해 변화할 수 있다. 따라서 PMU 배치 및 밀도 변화에 대한 모델의 강건성은 실제 적용을 위해 중요한 요소이다.
기존의 PMU 기반 이벤트 분석 연구 [9], [21], [23]에서 제시한 계통 전체의 동특성을 균형 있게 관측 가능한 방법을 적용하여 PMU 개수에 따라 4가지 배치 시나리오를 정의하였다. Set A는 12개,
Set B는 16개, Set C는 18개, Set D는 20개의 PMU를 사용하는 구성으로 설정하였다. 각 PMU 구성에 대해 moving-window
기반 연속 평가를 수행하여 분류 정확도와 오픈셋 탐지 성능을 비교하였다. 그림 6은 서로 다른 PMU 구성에서의 연속 이벤트 탐지 비율을 나타낸다. 모든 구성에서 이벤트 구간에서는 탐지 비율이 급격히 증가하였으며, 정상 상태 구간에서는
탐지 비율이 0에 가깝게 유지되었다. 이는 PMU 개수가 감소하더라도 제안한 모델이 실제 이벤트에 대해서만 선택적으로 반응하며 안정적인 탐지 성능을
유지함을 의미한다.
그림 6 PMU 구성별 이벤트 감지 비율
Fig. 6 Comparison of Event Detection Ratios for Different PMU Configurations
표 4는 PMU 구성별 정량적 성능 결과를 정리한 것이다. 모든 PMU 구성에서 분류 정확도는 90% 이상을 유지하였으며, 오픈셋 탐지 정확도는 99%
이상으로 매우 높은 수준을 나타냈다. 특히 최소 PMU 구성(Set A)에서도 오픈셋 탐지 성능이 크게 저하되지 않았으며, 이는 제안한 모델이 단순한
측정에 의존하지 않고 계통의 본질적인 동특성을 학습하고 있음을 보여준다. 결과적으로 제안 모델은 PMU 배치 및 개수 변화에 대해 높은 강건성을 가지며,
실제 운영 환경에서도 적용 가능성이 높음을 확인하였다.
표 4 PMU 구성별 성능 비교 결과
Table 4 Classification and open-set detection performance under different PMU Configurations
|
PMU 구성
|
Classification Accuracy
|
Open-set Detection Accuracy
|
|
Set A
|
91.21%
|
99.68%
|
|
Set B
|
92.74%
|
99.73%
|
|
Set C
|
93.79%
|
99.91%
|
|
Set D
|
95.90%
|
99.85%
|
추가적으로 제안 모델의 이벤트 분류 성능을 객관적으로 검증하기 위해 PMU 기반 이벤트 분류 연구에서 널리 사용되는 CNN 및 GCN과 비교하였다.
모든 설정은 4.1절과 동일한 데이터셋, 학습·테스트 데이터 및 하이퍼파라미터를 기반으로 하였다. 공정한 비교를 위해 CNN과 GCN의 모델에도 제안
기법과 동일한 다단계 판별 절차를 결합하여 신경망 구조만 달리한 상태에서 평가하였으며, classification accuracy와 open-set
detection accuracy를 함께 비교한 결과는 표 5와 같다.
표 5 기존 PMU 기반 이벤트 분류 모델과의 성능 비교
Table 5 Performance Comparison with Conventional PMU-based Event Classification Models
|
Model
|
Classification Accuracy
|
Open-set Detection Accuracy
|
|
CNN
|
81.85%
|
98.59%
|
|
GCN
|
86.65%
|
99.83%
|
|
GAT
|
95.55%
|
99.85%
|
표 5에서 볼 수 있듯이 제안 모델은 CNN과 GCN보다 높은 이벤트 분류 정확도를 나타냈다. 이는 GAT의 attention mechanism이 PMU
간 중요 관계를 효과적으로 학습하여 이벤트 발생 시 나타나는 공간적 특성을 보다 정확하게 표현하기 때문으로 판단된다. 또한 정상 상태에서도 99.85%의
높은 정확도를 유지하여 false alarm 발생을 효과적으로 억제하였다.
4.3 Ablation Study
본 연구에서는 제안 모델을 구성하는 핵심 요소들이 성능에 미치는 영향을 분석하기 위해 ablation study를 수행하였다. Baseline 모델을
기준으로 OpenMax, L2 정규화, synthetic class 학습, 그래프 축소 요소를 각각 제거한 후 성능 변화를 비교하였다. 이를 통해
각 구성 요소가 이벤트 탐지 및 오픈셋 판별 성능에 기여하는 정도를 정량적으로 분석하였다.
그림 7 Ablation Study 모델별 이벤트 감지 비율
Fig. 7 Classification and open-set detection performance under different models
그림 7은 각 비교 모델의 연속 이벤트 탐지 비율을 나타낸 결과이다. Baseline 모델은 정상 상태 구간에서는 거의 0에 가까운 반응을 유지하면서 이벤트
구간에서만 탐지 비율이 뚜렷하게 증가하였다. 반면 제안하는 모델의 핵심 구성요소가 제거된 경우 탐지 비율이 불안정하게 증가하는 현상이 나타났으며,
이는 오알람 억제 성능이 저하되었음을 의미한다. 이러한 결과는 제안된 통합 기법이 신뢰성 있는 이벤트 판별과 오알람 억제에 중요한 역할을 수행함을
보여준다.
표 6은 ablation 실험 결과를 정리한 것으로 OpenMax를 적용한 경우 분류 정확도와 오픈셋 탐지 정확도가 각각 83.95%, 59.31%로 가장
낮게 나타났다. 이는 EVT 기반 접근 방식이 고차원 PMU 특징 공간에서 나타나는 미세한 동특성 차이를 효과적으로 반영하기 어렵다는 점을 시사하며,
실제 PMU 기반 이벤트 환경에서는 적용성이 제한적일 수 있음을 의미한다. 또한 L2 정규화를 제거한 경우 오픈셋 탐지 정확도가 약 14.8% 감소하였다.
이는 logit 벡터 크기 차이에 의해 거리 기반 유사도 계산이 왜곡되어 판별 신뢰성이 저하되었음을 나타낸다. 가장 큰 성능 저하는 synthetic
class를 제거했을 때 나타났으며, 오픈셋 탐지 정확도가 71.82%로 28% 이상 감소하였다. 이는 synthetic class 학습이 정상 상태,
미지 이벤트, 학습된 이벤트 상태 간 결정 경계를 안정적으로 형성하는 데 핵심적인 역할을 수행함을 보여준다.
표 6 Ablation Study 모델별 성능 비교 결과
Table 6 Performance Comparison Across Different Ablation Configurations
|
모델 구성
|
Classification Accuracy
|
Open-set Detection Accuracy
|
|
Baseline
|
95.55%
|
99.85%
|
|
OpenMax
|
83.95%
|
59.31%
|
|
w/o L2 Norm
|
95.66%
|
85.07%
|
|
w/o Synthetic
|
88.75%
|
71.82%
|
|
w/o Graph Reduction
|
92.43%
|
99.44%
|
마지막으로 그래프 축소 기법을 제거한 경우 분류 정확도가 약 3.1% 감소하였다. 이는 불필요한 노드 및 엣지가 포함될 경우 토폴로지 기반 표현 학습
과정에서 잡음이 증가하며, 모델이 중요한 상호작용 패턴을 학습하는 데 방해가 될 수 있음을 의미한다. 종합적으로 그래프 축소, logit L2 정규화,
synthetic class 학습은 제안 모델의 핵심 구성 요소로서, 선택적 이벤트 반응과 false alarm 억제를 가능하게 하는 주요 기반 기술임을
확인하였다. 이를 통해 제안 프레임워크는 오픈셋 환경에서 신뢰성 있는 전력계통 상시 모니터링을 수행할 수 있다. 또한 제안 기법의 계산 성능을 평가하기
위해 3.23Ghz M1 PRO CPU, RAM 16GB, 14CORE GPU, mac OS 26 환경에서 PyTorch 및 PyTorch Geometric을
이용하여 수행하였다. Window length는 20 samples(약 0.33s), stride 1 sample(약 16.7 ms)로 설정하였을
때 예측하는데 소요 시간은 평균 약 2.14 ms의 처리 시간이 소요되어 실시간 적용 가능성을 확인하였다.
4.4 계측 잡음 강건성 평가
실제 PMU 계측에서는 측정 노이즈가 불가피하게 존재하므로, 이에 대한 모델의 강건성을 정량적으로 검증하였다. DWT 수행 이전의 원신호에 SNR
수준을 달리하여 노이즈를 주입하였으며, 학습에는 노이즈를 포함하지 않고 시험 데이터에만 AWGN(Additive White Gaussian Noise)를
추가하여 배포 환경에서 마주하는 계측 노이즈에 대한 강건성을 평가하였다.
표 7 AWGN 기반 노이즈 강건성 평가 결과
Table 7 Noise Robustness Evaluation Under AWGN
|
SNR (dB)
|
Classification Accuracy
|
Open-set Detection Accuracy
|
|
No noise
|
95.55%
|
99.85%
|
|
45
|
92.17%
|
99.30%
|
|
40
|
92.88%
|
99.42%
|
|
30
|
91.34%
|
99.83%
|
|
20
|
90.93%
|
98.35%
|
표 7에서 오픈셋 탐지 정확도는 SNR 저하와 무관하게 99% 이상으로 유지되어, 제안 기법의 거부 성능이 계측 노이즈에 강건함을 확인하였다. 이벤트 분류
정확도는 노이즈 증가에 따라 완만하게 저하되나 높은 수준을 유지하였으며, 이러한 결과는 측정 노이즈가 증가할수록 이벤트의 세부적인 특성을 구분하는
분류 성능은 일부 저하될 수 있으나, 학습된 이벤트와 미지 입력을 구분하는 Open-set 판별 성능은 상대적으로 안정적으로 유지됨을 보여준다. 특히
학습 과정에서 노이즈를 별도로 포함하지 않았음에도 20 dB의 비교적 강한 노이즈 환경에서 98.35%의 Open-set Detection Accuracy를
확보한 것은 제안한 프레임워크가 노이즈가 존재하는 환경에서도 미지 입력에 대한 강건한 거부 성능을 유지할 수 있음을 의미한다.