서현욱
(Hyunuk Seo)
1iD
한병길
(Byung-Kil Han)
1iD
김훈
(Hun Kim)
2iD
심재훈
(Jaehoon Shim)
†iD
-
(Korea Institute of Machinery and Materials, Republic of Korea.)
-
(Department of Electrical Engineering, Myongji University, Republic of Korea.)
Copyright © The Korean Institute of Electrical Engineers
Key Words
Ensemble learning, Fault diagnosis, Motor drive systems, Servo motor, Uncertainty estimation
1. 서 론
모터 드라이브 시스템은 전기차(EV), 하이브리드 전기차(HEV), 그리고 최근 각광받고 있는 도심항공교통(UAM; Urban Air Mobility)
분야에서 핵심적인 구동원으로 활용되고 있다. 이러한 응용 분야에서는 높은 에너지 효율과 신뢰성뿐 아니라, 안전성을 확보하기 위한 고장 진단의 중요성이
지속적으로 증대되고 있다. 특히 전기차와 항공형 구동 시스템의 경우 고장이 발생하면 즉각적인 제어 성능 저하뿐 아니라 승객 안전과 직결된 문제로 이어지기
때문에, 실시간 고장 검출 및 진단 알고리즘의 필요성이 더욱 강조되고 있다 [1].
그러나 고장 발생 시의 모터 드라이브 시스템은 정상 상태와 달리 모델링이 까다롭다. 정상 상태에서는 전압방정식, 토크 방정식 등으로 비교적 정확한
모델이 확보되지만, 고장 상황에서는 파라미터 변화, 비선형성 증가, 센서 신호 왜곡 등 다양한 요인이 동시에 발생한다. 이처럼 고장 환경에서는 기존의
물리 기반 모델이 실제 시스템을 충분히 설명하지 못해, 모델 기반 진단 방법의 성능이 급격히 저하될 수 있다. 결국 고장 상황 자체의 복잡성이 높고,
모델 불확실성이 커지기 때문에, 전통적인 방식으로는 신뢰성 있는 고장 진단 알고리즘을 구성하기 어렵다는 문제가 대두되고 있다 [2].
이러한 배경에서 데이터 기반·학습 기반 고장 진단 접근법이 주목받고 있다. 학습 기반 모델은 시스템 모델링이 불완전하거나 비선형 특성이 강한 경우에도,
수집된 정상·고장 데이터를 통해 패턴을 식별할 수 있으며, 모델링 되지 않은 비선형 특징까지 효과적으로 학습할 수 있다는 장점을 가진다 [2], [3], [4]. 특히 모터 드라이브 진단 분야에서는 CNN, RNN, Transformer 기반의 딥러닝 연구뿐 아니라, 제어기에 직접 탑재하기 위한 경량화 신경망
구조를 활용하는 연구도 꾸준히 확장되고 있다 [5], [6].
하지만 실제 모터 제어기(MCU, DSP) 환경을 고려하면 연산 자원, 메모리 사용량, 실시간성 제약 등을 감안해야 한다. 이러한 이유로 본 연구에서는
비교적 계산 복잡도가 낮고 제어주기 내 실행이 가능한 순방향 전파 기반의 경량 신경망(FNN)을 기본 구조로 채택한다. FNN은 구조가 단순하고 임베디드
제어 환경에서 활용하기 용이하다는 장점이 있지만, 대부분의 학습 기반 모델이 그렇듯 지도학습 방식으로 학습되기 때문에 출력이 결정론적인 형태라는 한계를
가진다.
결정론적으로 학습된 모델은 학습 분포(in-distribution, ID)에 속하는 데이터에 대해서는 높은 정확도를 달성할 수 있지만, 학습에 포함되지
않았던 새로운 조건(out-of-distribution, OOD)이나 고장 유형이 등장하는 경우 추론의 신뢰도가 크게 저하될 수 있다 [7]. 특히 고장 진단 문제에서는 진단 알고리즘이 오진하거나 과신하는 것이 위험성을 초래할 수 있기 때문에, 모델 출력의 불확실성을 정량적으로 평가할
수 있는 메커니즘이 필요하다 [8], [9].
지금까지 딥러닝 모델의 불확실성을 추정하기 위해 다양한 방법들이 연구되어 왔다. 대표적으로 베이지안 신경망, 드롭아웃 기반 Monte-Carlo 추정,
확률적 출력 분포를 모델링하는 방법 등이 있으며, 각각 장단점이 있다. 이 중 앙상블 기반 접근법은 여러 개의 독립적으로 학습된 모델을 활용하여 출력의
분산으로부터 불확실성을 추정하는 방식으로, 구현이 간단하고 안정성이 높다는 장점을 가진다. 또한 임베디드 환경에서도 비교적 쉽게 적용 가능하며, 모델의
표현력을 강제적으로 넓혀주는 효과까지 제공한다 [10], [11], [12].
따라서 본 연구에서는 앙상블 기반 불확실성 추정 기법을 활용하여 모터 드라이브 고장 진단 모델의 출력 신뢰도를 평가하는 방법을 제안한다. 제안하는
접근법은 경량화된 신경망 구조와 앙상블 기반 추정 방식을 결합하여, 계산 자원 제약이 있는 모터 제어기 환경에서도 적용 가능하도록 경량화 모델로 설계된다.
또한 학습 데이터 분포 내뿐 아니라, 분포 외 상황에서도 고장 진단 결과의 신뢰도를 수치적으로 해석할 수 있도록 지원하여, 실제 시스템 운용에서 발생할
수 있는 다양한 비정상 상태에 대해 보다 안전한 판단 근거를 제공한다.
본 논문에서는 임베디드 제어기에서 실행 가능한 경량화 모델을 기반으로 하면서도, 모델 출력의 신뢰도를 정량적으로 평가할 수 있는 앙상블 기반 고장
진단 모델을 새롭게 제안한다.
제안된 모델의 성능을 평가하기 위해 실제 모터 드라이브 실험 데이터를 활용하여 검증을 수행한다. 구체적으로, 학습 과정에서 사용된 분포 내 데이터뿐만
아니라, 학습에 포함되지 않은 조건을 반영한 분포 외 데이터에 대해서도 통계적 검증을 수행함으로써, 제안 방법이 고장 진단과 불확실성 추정 관점에서
모두 유효함을 확인한다. 마지막으로 본 논문은 전체 연구 결과를 요약하고, 향후 연구 방향을 포함한 결론을 제시한다.
2. 학습 기반 모터 드라이브 고장 진단 모델
서론에서 언급한 바와 같이, 본 연구에서는 경량화된 구조로 구성된 FNN 기반 고장 진단 모델을 기본 단위 모델로 가정한다. 이러한 단일 FNN 모델
여러 개를 독립적으로 학습시키고, 그 출력들의 통계적 분산을 활용하여 불확실성을 추정하는 구조가 본 연구에서 활용되는 앙상블 모델의 핵심 구성 요소가
된다.
제안하는 단일 FNN의 구조는 기존 연구[13]에서 제안된 모델과 유사한 형태를 기반으로 하며, 그 구조는 그림 1과 같다. 그림 1에서 $x$는 입력 데이터를 의미하고, 아랫첨자 pu는 정규값으로 스케일 된 변수를 의미한다. $n_{(hid)}$는 은닉층의 노드수를 의미하고,
$\omega^{(L)}$은 L번째 층의 가중치 벡터, $b^{(L)}$은 L번째 층의 편향값 벡터를 의미한다. 이 모델은 [13]에 제시된 바와 같이 그림 2의 절차를 통해 개발되며, 본 연구에서는 초록색으로 표시된 2번째 단계까지를 다룬다.
그림 1. 학습 기반 모터 드라이브 고장 진단 모델
Fig. 1. Learning-based fault diagnosis model for motor drives
그림 2. 학습 기반 모터 드라이브 진단 모델 개발 과정
Fig. 2. Development process of the learning-based motor drive fault diagnosis model
그림 3. 샘플링 위치 인덱스
Fig. 3. Sampling position index
표 1. 본 연구에서 다루는 상태별 In-distribution 고장 유형 및 해당 ID
Table 1. In-distribution fault types considered in this study and their corresponding
IDs
|
Fault ID (c)
|
0
|
1
|
2
|
3
|
4
|
|
Types
|
Normal
|
ia scale error
|
ia offset error
|
ib scale error
|
ib offset error
|
|
Fault ID (c)
|
7
|
8
|
9
|
10
|
|
Types
|
ATSO
|
ABSO
|
BTSO
|
BBSO
|
개발되는 단일 FNN 진단 모델의 입력 벡터는 식 (1)에 정의된 바와 같이 [13]논문과 동일한 형태를 사용한다.
여기서 k는 1, 11, 21, 31, 41, 51로, 그림 3에 해당 인덱스들의 위치가 표시된다. $\omega_{rm}$은 회전자의 rad/s로 나타낸 기계각 속도이고, $T_e^*$는 토크 지령 값을 의미한다.
또한 $i_{qs,err}^r$과 $v_{qs,err}^r$는 동기 좌표계에서의 q축 전류 및 전압 지령값과 관측 또는 추정값 간의 오차를 각각 나타낸다.
입력 데이터들은 [13]에서 제시된 바와 같이 per unit 기반의 전처리를 통해 신경망으로 입력되도록 설계된다.
그리고 신경망 네트워크는 두 개의 히든 레이어로 구성되고 각 레이어에는 16개의 노드를 배치한다. 활성화 함수로는 연산량 대비 표현력이 우수한 ReLU
(Rectified Linear Unit) 함수를 적용한다. 출력층은 총 9개의 노드를 가지며, 이는 진단 대상인 고장 유형 9가지를 각각 구분하도록
설계된다.
구체적으로, 본 연구에서 진단 대상으로 포함한 고장은 표 1에 나타난 바와 같으며 다음과 같다: a상 전류의 오프셋 및 스케일 이상, b상 전류의 스케일 및 오프셋 에러, 그리고 a상 상·하 스위치 개방 고장과
b상 상·하 스위치 고장을 포함한다. 반면 c상 전류의 스케일 및 오프셋 에러, c상 상·하 스위치 개방 고장은 학습 과정에서는 제외하고, 추후 실험에서
분포 외 데이터로 처리하여 모델의 일반화 성능 및 불확실성 추정 능력을 평가하는 데 활용한다.
3. 제안하는 앙상블 기반 불확실성 추정을 이용한 모터 드라이브 시스템 고장 진단 방법
본 절에서는 제안하는 고장 진단 프레임워크의 전체 구조를 상세히 기술하며, 이를 구성하는 개별 진단 모델의 설계, 학습 절차, 그리고 앙상블 기반
불확실성 추정 방법에 대해 설명한다. 제안하는 방법은 임베디드 제어기 환경에서 실시간 동작 가능하도록 설계된 경량 신경망을 기반으로 하며, 다수의
독립적인 모델을 학습하여 예측의 신뢰도를 정량적으로 제시하는 것을 목표로 한다.
3.1 전체 프레임워크
제안하는 앙상블 기반 고장 진단 시스템은 총 5개의 독립적인 FNN 기반 진단 모델로 구성되며, 전체적인 구조는 그림 4에 제시되어 있다. 앙상블 모델 수는 불확실성 추정의 통계적 안정성과 임베디드 시스템에서의 구현 제약을 종합적으로 고려하여 5개로 설정하였다. 모델을
하나가 아닌 여러 개로 구성하는 이유는 다음과 같다. 단일 모델은 학습된 데이터 분포 주변에서는 높은 정확도를 보일 수 있으나, 학습되지 않은 외삽
구간이나 새로운 고장 형태에 직면할 경우 과신 문제를 보일 가능성이 높다. 반면, 초기 가중치와 미세한 학습 조건의 차이가 반영된 여러 개의 모델을
동시에 운용하면, 동일 입력에 대해 서로 다른 예측 경향을 보일 수 있다. 이러한 모델 간 예측 차이를 활용하면 결과적으로 모델 출력의 불확실성을
정량화할 수 있으며, 이는 실시간 고장 진단 시스템에서 매우 중요한 안전 지표가 된다.
각 모델은 2절에서 설명한 FNN 구조와 동일한 형태를 갖는다. 입력은 전류 및 제어 변수 기반의 특징 벡터이며, 두 개의 히든 레이어(각16개 노드),
ReLU 활성화 함수, 그리고 9개의 출력 노드로 구성된 다중 클래스 분류 구조를 사용한다. 앙상블 내 모든 모델은 동일한 네트워크 구조를 사용하지만
서로 다른 초기 가중치로 학습을 시작하므로, 개별 모델 간의 표현 구조가 달라지고 이는 불확실성 추정을 위한 다양성을 확보하는 데 기여한다.
다섯 개 모델은 각각 독립적으로 학습되며, 학습 데이터는 클래스 불균형을 고려하여 고장별로 적절히 표본을 분배한다. 학습 후, 주어진 입력 x에 대해
5개의 모델은 모두 확률 벡터 $p_m(y=c|x)$를 출력하게 되고, 이들의 평균 및 분산을 기반으로 고장 판단과 불확실성 추정이 수행된다. 특히
제어기 환경에서 앙상블을 사용하기 어려운 이유로 흔히 제시되는 계산량 문제는, 본 연구에서 경량화된 FNN 구조를 사용함으로써 크게 완화된다. 따라서
제안한 방법은 실시간성 요구가 강한 인버터 제어기의 특성에 적합한 경량화 구조로 설계된다.
단일 고장 진단 모델의 추론 시간은 STM32H755의 M7 코어에서 속도 최적화 옵션을 적용한 조건에서 약 118 µs로 측정되며. 동일한 구조의
모델을 5개로 구성한 앙상블 방식의 경우, 모든 모델을 순차적으로 수행하면 약 590 µs 수준의 연산 시간이 요구된다.
그림 4. 제안하는 전체 프레임워크
Fig. 4. The proposed overall framework
3.2 앙상블 기반 모델에서 고장 진단
본 연구에서는 모터 드라이브 시스템의 고장 진단 성능 향상을 위해, 서로 다른 초기 조건과 데이터 섭동을 기반으로 독립적으로 학습된 총 다섯 개의
분류 모델을 구성하여 앙상블 기반 고장진단 구조를 설계하였다. 개별 모델은 동일한 입력 특징 벡터를 기반으로 softmax 출력 확률 $p_m(y=c|x)$을
산출하며, 이러한 확률적 예측은 모델 간의 학습 편차와 데이터 다양성에 따른 불확실성을 반영한다. 앙상블 모델은 이러한 다중 모델의 출력을 종합하여
보다 견고하고 안정적인 고장 진단을 수행하도록 설계되었다 [14], [15].
앙상블의 예측 확률은 각 모델이 출력하는 클래스별 확률을 종합하여 결정되며, 본 연구에서는 다섯 개 모델의 softmax 출력에 대한 산술 평균을
최종 예측 확률로 정의한다. 입력 x에 대한 개별 모델의 출력 확률이 $p_m(y=c|x)$일 때, 앙상블 예측 확률은 (2)와 같이 나타내진다.
여기서 $\bar{p}$는 확률 예측 평균값을 의미하며, M은 사용된 앙상블 모델의 개수를 나타낸다.
이와 같이 평균된 확률은 모델 간 오차의 상쇄 효과를 통해 개별 모델 대비 더 낮은 분산을 가지며, 다양한 고장 패턴에 대해 보다 안정적인 추론 성능을
제공한다. 이러한 평균화 과정은 특히 경계 주변 데이터나 오분류 가능성이 높은 모호한 입력에서 앙상블 기반 접근의 이점을 극대화한다.
다음으로, 앙상블 기반 고장 진단 모델의 최종 예측 클래스는 평균 확률 $\bar{p}(y=c|x)$가 가장 큰 클래스로 정의된다. 즉, 고장 유형을
나타내는 클래스 c중에서 앙상블 확률이 최대가 되는 클래스를 선택하며, 이는 (3)과 같이 표현된다:
앙상블 기반 고장 진단기의 성능은 테스트 집합 $D = \{(x_i, y_i)\}_{i=1}^N$에 대해 앙상블 예측 결과 $\hat{y}(x_i)$와
실제 라벨 $y_i$가 일치하는지 여부를 지시함수 1[·]를 통해 평가한다. 여기서 지시함수는 조건이 참일 경우 1, 거짓일 경우 0을 반환한다.
전체 테스트 샘플에 대한 정답 비율로 앙상블 정확도를 (4)와 같이 표현한다.
3.3 앙상블 기반 불확실성 추정 방법
불확실성 추정은 고장 진단 모델의 신뢰도를 평가하는 핵심 요소이며, 특히 학습된 데이터 분포에서 벗어난 입력이 유입될 때 모델의 위험한 과신을 방지하는
역할을 한다. 본 연구에서는 앙상블 모델의 출력 분산을 활용한 모델 불확실성과 평균 예측의 엔트로피를 활용한 예측 엔트로피 두 가지 불확실성 지표를
사용한다 [14].
모델 불확실성 $U_{epi}$는 모델 파라미터의 불확실성에서 기인하며, 학습 데이터가 충분하지 않거나 새로운 상황(OOD)이 나타날 때 증가하는
특성을 갖는다. 앙상블 기반 접근에서는 동일 입력 x에 대해 각각의 모델이 출력한 확률 간의 분산을 계산함으로써 이를 정량화할 수 있다. 본 연구에서는
식 (5)를 사용한다:
여기서 $p_m(y=c|x)$는 앙상블의 m번째 모델이 클래스 c에 대해 출력한 확률을 나타내고, $Var_m[\cdot]$은 모델 차원의 분산을
의미한다. 모델 불확실성 값이 높다는 것은 앙상블 모델들이 서로 일관되지 않은 판단을 내리고 있음을 의미하며, 이는 입력이 학습되지 않은 조건이거나
고장 패턴이 불명확한 경우에 나타난다.
예측 엔트로피 H는 앙상블 평균 확률 분포의 불확실성을 나타내는 지표로, 예측 결과가 특정 클래스에 집중되는지 혹은 여러 클래스에 걸쳐 퍼져 있는지를
평가한다. 엔트로피는 (6)과 같이 정의한다:
여기서 $\bar{p}(y=c|x)$는 앙상블 평균 확률이며 (2)와 같이 나타내진다. 그리고 $\epsilon$은 로그 계산의 수치적 안정성을 위한 작은 상수이다. 예측 엔트로피는 모델 불확실성보다 더 전체적인
예측 불확실성을 반영하며, 분포 외(OOD) 데이터뿐 아니라 클래스 간 경계에 위치한 애매한 데이터에 대해서도 증가하는 특성을 보인다.
결론적으로, 모델 불확실성은 모델 간 의견 불일치를 기반으로 하여 모델이 모르는 상태를 잘 반영하고, 예측 엔트로피는 전체적으로 예측 확률의 퍼짐
정도를 반영하여 진단 결과의 난이도를 나타낸다. 본 연구에서는 두 지표를 함께 사용하여 모터 드라이브 고장 진단 과정에서 정확도와 함께 신뢰도를 동시에
확보할 수 있게끔 한다.
4. 실험 결과
본 연구에서는 그림 6과 표 2에 제시된 실험 세트를 이용하여 데이터를 취득하고 알고리즘을 개발하였다. 데이터 취득 과정은 그림 5의 운전 프로파일을 기반으로 수행되며, 세부 조건은 표 3에 나타났다. 표 3에 나타난 바와 같이 Set 1과 Set 2는 모델 학습을 위한 데이터로, Set 3은 모델 성능 평가를 위한 테스트 데이터로 구성하였다. 이러한
구성은 모델 학습의 일반성과 검증 신뢰도를 확보하기 위함이다.
그림 5. 데이터 취득을 위한 실험 모터의 운전 프로파일. 오른쪽 그래프는 왼쪽 프로파일을 시간 축 기준으로 재구성하여 나타낸 것.
Fig. 5. Motor operation profile for data acquisition. The right plot presents the
same profile reconstructed along the time axis.
그림 6. 실험 세트
Fig. 6. The experimental setup
표 2. 실험에 사용된 모터-인버터 파라미터
Table 2. Experimental Motor-Inverter Parameters
|
Parameter
|
Value
|
Parameter
|
Value
|
|
$P_{rated}$
|
1.5 kW
|
$F_{sw}$
|
8 kHz
|
|
Motor
|
8-poles SPMSM
|
$F_{samp}$
|
8 kHz
|
|
$T_{e, rated}$
|
4.776 Nm
|
$T_{dead}$
|
2.5 s
|
|
$\omega_{rpm, rated}$
|
3000 r/min
|
$\lambda_f$
|
0.0780 V/(rad/s)
|
|
DSP
|
TMS320F28379S
|
$R_s$
|
0.2034
|
|
Inverter
|
PM150RLA060
|
$L_{ds}$
|
2.61 mH
|
|
$V_{DC}$
|
310 V
|
$L_{qs}$
|
2.61 mH
|
표 3. 그림 5에 나타난 운전 프로파일의 세부 조건
Table 3. Detailed Conditions of the Operating Profiles Shown in Fig. 5
|
Case
|
Train
|
Test
|
|
Set 1
|
Set 2
|
Set 3
|
|
Torque (pu)
|
A
|
0.15
|
0.05
|
0.05
|
|
B
|
0.30
|
0.10
|
0.20
|
|
C
|
0.60
|
0.40
|
0.50
|
|
D
|
1.00
|
0.80
|
0.90
|
|
Velocity (pu)
|
E
|
0.10
|
0.40
|
0.25
|
|
F
|
0.30
|
0.60
|
0.45
|
|
G
|
0.50
|
0.80
|
0.65
|
|
H
|
0.70
|
1.00
|
0.85
|
|
I
|
0.90
|
1.20
|
1.05
|
4.1 학습된 모델을 통한 고장 진단 결과
그림 7은 제안된 모델이 학습 데이터셋에 대해 분류한 결과를 혼동 행렬 형태로 나타낸 것이다. 모든 클래스에서 예측 정확도가 99.8% 이상으로 나타나며,
대부분의 클래스는 100%의 분류 정확도를 보였다. 이는 모델이 정상적인 운전 조건(In-distribution)에서 각 고장 클래스를 높은 신뢰도로
구분할 수 있음을 의미한다. 이 때의 평균 정확도는 99.94%를 달성한다.
그림 7. 학습된 데이터에 대한 혼동 행렬
Fig. 7. Confusion matrix for the trained dataset
4.2 분포 내(ID) 데이터/분포 외(OOD) 데이터에 대한 앙상블 기반 불확실성 추정 결과
그림 8과 그림 9는 제안된 딥 앙상블 기반 고장 진단 모델에 대해, 입력 샘플이 ID일 때와 OOD일 때의 모델 불확실성 $U_{epi}$와 예측 엔트로피 H의 분포를
비교한 결과를 나타낸다. ID 샘플(총 22,500개)의 $U_{epi}$는 평균 0.0033, 표준편차 0.0314로 매우 낮게 나타났다. 이는
대부분의 ID 샘플에서 앙상블 모델이 거의 일관된 예측을 수행하며, 모델 간 분산이 사실상 0에 가까운 영역에 집중되어 있음을 의미한다. 반면, OOD
샘플(10,000개)의 $U_{epi}$는 평균 0.3312, 표준편차 0.2398로 크게 증가하였다.
그림 9에서 H에 대해서도 유사한 경향이 관찰된다. ID 샘플의 엔트로피는 평균 0.0086, 표준편차 0.0614로 매우 작다. 이는 ID 영역에서 예측
확률 분포가 한 클래스에 강하게 집중된 결정적 예측이 이루어지고 있음을 보여준다. 반대로, OOD 샘플의 엔트로피는 평균 0.5863, 표준편차 0.4477으로
크게 증가하였으며, ID 대비 넓은 분산과 높은 불확실성을 나타낸다. 이러한 결과는 OOD 입력에 대해 앙상블이 다양한 클래스로 확률을 분산시키고,
예측이 덜 확신적인 상태로 유지됨을 의미한다.
그림 8. ID 및 OOD 샘플에 대해 모델 불확실성의 확률 분포를 비교한 결과
Fig. 8. Probability density distribution of epistemic uncertainty for ID and OOD samples
그림 9. ID와 OOD 샘플의 예측 엔트로피 분포 비교
Fig. 9. Distribution of predictive entropy for ID and OOD samples
그림 10의 박스플롯은 위의 수치 결과를 시각적으로 요약한다. $U_{epi}$와 엔트로피 모두에서 ID와 OOD의 분포가 거의 겹치지 않는 수준으로 분리되어
있으며, 특히 ID 구간의 상자와 수염이 0 인근에 밀집된 반면, OOD 구간은 중간~높은 불확실성 영역에 넓게 분포한다. 이는 제안된 딥 앙상블
구조에서 모델 불확실성 및 예측 엔트로피가 ID/OOD 분리 지표로 활용하기에 충분한 분리도를 제공함을 정량적으로 뒷받침한다.
그림 10. ID와 OOD 샘플의 모델 불확실성 및 엔트로피 박스플롯
Fig. 10. Boxplots of epistemic uncertainty and predictive entropy for ID and OOD samples
4.3 분포 내(ID) 데이터에서 정답·오답에 따른 불확실성 특성
그림 11과 그림 12는 ID 샘플 중에서 정답으로 분류된 경우와 오분류된 경우의 $U_{epi}$및 엔트로피 분포를 비교한 결과이다. ID 샘플 22,500개 중 22,487개가
정답으로 분류되었고, 13개만 오분류된 것으로 나타났다. 정답 샘플의 $U_{epi}$는 평균 0.00315, 표준편차 0.0303으로 ID 전체
통계와 거의 동일하다. 반면, 오답 샘플의 $U_{epi}$는 평균 0.3212, 표준편차 0.1380으로 OOD 샘플과 유사한 수준의 높은 불확실성을
보였다. 즉, ID 데이터 내부에서도 오분류가 발생하는 경우에는 앙상블 모델 간 예측 분산이 크게 증가하며, 해당 샘플이 사실상 내부 OOD에 가까운
특성을 갖는다는 점을 확인할 수 있다.
그림 12의 예측 엔트로피에 대해서도 동일한 경향이 관찰된다. 정답 샘플의 엔트로피는 평균 0.00819, 표준편차 0.0590로 매우 낮은 수준에 머무르는
반면, 오답 샘플의 엔트로피는 평균 0.7040, 표준편차 0.1372로 크게 증가하였다. 두 집단의 평균 차이가 크게 나타나며, 분산을 고려하더라도
오답 샘플이 상대적으로 높은 엔트로피 영역에 집중되는 경향이 확인된다. 이는 오답 샘플에서 클래스 간 예측 확률이 특정 클래스에 충분히 수렴하지 못하고
비교적 분산되어 있음을 의미하며, 결과적으로 예측 결정의 모호성이 증가했음을 반영한다. 따라서 이러한 결과는 제안된 앙상블 기반 불확실성이 단순히
ID/OOD 구분뿐 아니라, ID 영역 내에서도 예측 엔트로피를 기준으로 오분류 가능성이 높은 샘플을 선별하고, 신뢰도 기반 예측 거부 또는 추가
검증 로직에 활용할 수 있음을 나타낸다.
그림 11. ID 샘플 중 정답 및 오답에 대한 $U_{epi}$분포 비교
Fig. 11. Comparison of epistemic uncertainty between correct and incorrect ID samples
그림 12. ID 샘플에 대해 예측 엔트로피 비교 결과.
Fig. 12. Predictive entropy comparison between correct and incorrect ID samples.
4.4 불확실성 임계값 기반 필터링 특성
그림 13은 모델 불확실성 $U_{epi}$에 임계값(threshold, th)을 설정하고, $U_{epi} \le \text{th}$를 만족하는 샘플만을
신뢰 가능한 예측으로 채택한다고 가정했을 때의 ID 정확도와 OOD 비율 변화를 나타낸다. 실험 결과, $U_{epi} = 0$ 근방의 매우 낮은
임계값에서 ID 샘플에 대한 정확도는 1.0으로 유지되며, 해당 임계값 이하에 포함되는 전체 샘플 중 OOD가 차지하는 비율은 약 4.02% 수준으로
나타났다.
이는 제안된 앙상블 모델에서 ID 샘플 대부분이 $U_{epi} = 0$ 부근에 집중되어 있고, OOD 샘플은 상대적으로 높은 불확실성 영역으로 분리되어
있기 때문에, 낮은 임계값만으로도 ID에 대한 정확도를 유지하면서 상당수의 OOD 샘플을 효과적으로 배제할 수 있음을 의미한다. 특히, 임계값 0
부근에서 ID 정확도가 100%로 유지된다는 점은, 실시간 제어기 환경에서 불확실성 기반 예측 거부 로직을 적용할 때, 보수적인 임계값 설정이 권장될
수 있다.
상기의 설정들을 통해, 실제 산업에서는 $U_{epi}$를 통해 입력의 분포를 판단하여 모델 신뢰도를 우선 평가하고, 이후 예측 엔트로피를 이용하여
출력 확률 분포의 모호성을 정량화 할 수 있다. 두 지표가 모두 낮은 경우는 올바른 판단으로 간주하며, $U_{epi}$는 낮으나 예측 엔트로피가
높은 경우는 클래스 경계 부근의 모호한 판단으로 분류한다. 반대로 $U_{epi}$가 높은 경우는 잠재적 OOD 영역으로 간주하여 추가 검증이 필요한
상태로 처리할 수 있다.
그림 13. $U_{epi} \le \text{th}$ 적용 시 ID 정확도와 OOD 비율 변화
Fig. 13. Variation of ID accuracy and OOD ratio with respect to the $U_{epi} \le \text{th}$
5. 결론 및 향후 계획
연구에서는 딥 앙상블 기반 고장진단 모델을 활용하여, ID·OOD 데이터를 구분하고 모델 예측의 신뢰도를 정량화할 수 있는 불확실성 추정 기법을 체계적으로
검증하고 분석하였다. 실험 결과, 모델 불확실성과 예측 엔트로피는 ID와 OOD 데이터뿐 아니라 ID 내부의 오분류 샘플까지 명확하게 분리하는 특성을
보여주었으며, 낮은 임계값에서도 높은 ID 정확도와 낮은 OOD 비율을 동시에 확보할 수 있음을 확인하였다. 이는 불확실성 기반 예측 거부 또는 모델
신뢰도 제어 전략이 실제 산업용 고장진단 시스템에서도 효과적으로 적용될 수 있음을 시사한다.
향후 연구에서는 실제 산업 환경에 제안 기법을 적용하여 전체 진단 프레임워크의 유효성을 종합적으로 검증할 계획이다. 또한 다른 불확실성 추정 기법과의
비교 분석을 수행하여, 제안 방법의 성능적 특성을 체계적으로 분석할 예정이다.
Acknowledgements
본 논문은 산업통상자원부 과제 RS-2024-00508463의 지원을 받아서 연구되었습니다.
References
T. Lee, H. Lee, P. Jang, Y. Hwang, K. Nam, 2021, Position Fault Detection for UAM
Motor With Seamless Transition, IEEE Access, Vol. 9, pp. 168042-168051
S. Zhao, F. Blaabjerg, H. Wang, 2021, An Overview of Artificial Intelligence Applications
for Power Electronics, IEEE Trans. Power Electron., Vol. 36, No. 4, pp. 4633-4658
M. Z. Ali, M. N. S. K. Shabbir, X. Liang, Y. Zhang, T. Hu, 2019, Machine Learning-Based
Fault Diagnosis for Single- and Multi-Faults in Induction Motors Using Measured Stator
Currents and Vibration Signals, IEEE Trans. on Ind. Applicat., Vol. 55, No. 3, pp.
2378-2391
F. B. Abid, M. Sallem, A. Braham, 2020, Robust Interpretable Deep Learning for Intelligent
Fault Diagnosis of Induction Motors, IEEE Trans. Instrum. Meas., Vol. 69, No. 6, pp.
3506-3515
F. Xie, X. Tang, F. Xiao, Y. Luo, H. Shen, Z. Shi, 2023, Online Diagnosis Method for
Open-Circuit Fault of NPC Inverter Based on 1D-DSCNN-GMP Lightweight Edge Deployment,
IEEE J. Emerg. Sel. Topics Power Electron., Vol. 11, No. 6, pp. 6054-6067
S. Lu, Q. He, T. Yuan, F. Kong, 2017, Online Fault Diagnosis of Motor Bearing via
Stochastic-Resonance-Based Adaptive Filter in an Embedded System, IEEE Trans. Syst.
Man Cybern, Syst., Vol. 47, No. 7, pp. 1111-1122
T. Han, Y.-F. Li, 2022, Out-of-distribution detection-assisted trustworthy machinery
fault diagnosis approach with uncertainty-aware deep ensembles, Reliability Engineering
& System Safety, Vol. 226, pp. 108648
T. Qiu, X. Wen, F. Zhao, 2016, Adaptive-Linear-Neuron-Based Dead-Time Effects Compensation
Scheme for PMSM Drives, IEEE Trans. Power Electron., Vol. 31, No. 3, pp. 2530-2538
B. Anoch, L. Parthiban, 2025, Uncertainty-Aware AI for Enhanced Chronic Kidney Disease
Diagnosis: A Review of Explainable and Reliable Models, pp. 1-6
K. Wickstrom, K. O. Mikalsen, M. Kampffmeyer, A. Revhaug, R. Jenssen, 2021, Uncertainty-Aware
Deep Ensembles for Reliable and Explainable Predictions of Clinical Time Series, IEEE
J. Biomed. Health Inform., Vol. 25, No. 7, pp. 2435-2444
J. Kafunah, M. I. Ali, J. G. Breslin, 2024, Uncertainty-Aware Ensemble Combination
Method for Quality Monitoring Fault Diagnosis in Safety-Related Products, IEEE Trans.
Ind. Inf., Vol. 20, No. 2, pp. 1975-1986
U. Sarawgi, 2021, Uncertainty-Aware Ensembling in Multi-Modal AI and its Applications
in Digital Health for Neurodegenerative Disorders, M.S. thesis
J. Shim, G. Cheol Lim, S. Lee, J.-I. Ha, 2025, Fault Diagnosis for Electric Drives
Using Averagely Pooled and Downsampled Data Fusion on Embedded Systems, IEEE J. Emerg.
Sel. Topics Power Electron., Vol. 13, No. 1, pp. 1224-1241
N. Ståhl, G. Falkman, A. Karlsson, G. Mathiason, 2020, Information Processing and
Management of Uncertainty in Knowledge-Based Systems, Vol. 1237, pp. 556-568
A. Alqarafi, H. Batool, T. Abbas, J. I. Janjua, S. A. Ramay, M. Ahmed, 2024, Estimating
Uncertainty in Deep Learning Methods and Applications, pp. 1-6
저자소개
Hyunuk Seo received his B.S. degree in 2011, and M.S. and Ph.D. degrees in 2020, from
Konkuk University, Seoul, South Korea. He was a research engineer at VC Tech, Gunpo,
South Korea, where he was responsible for developing motor drivers for electric vehicles
(EVs) and magnetic levitation (MAGLEV) systems. Currently, he is a senior researcher
at the Advanced Robotics Research Center, Research Institute of AI Robotics, Korea
Institute of Machinery and Materials (KIMM). His research interests include the design
of motor drivers for humanoid robots.
Byung-Kil Han received the M.S. and Ph.D. degrees in mechanical engineering from the
Korea Advanced Institute of Science and Technology, Daejeon, South Korea, in 2010
and 2019, respectively. In 2013, he was a Research Intern with the Human-Computer
Interaction Group, Microsoft Research Asia, Beijing. He is currently a Senior Researcher
with the Korea Institute of Machinery and Materials, Daejeon, South Korea. His current
research interests include human-robot interaction, reinforcement based robot control,
and bimanual robot manipulation
Hun Kim was born in South Korea, in 2003. He is currently working toward the B.S.
degree in electrical engineering at Myongji University, Yongin, South Korea, where
he is also an Undergraduate Researcher. His research interests include machine learning,
deep learning, and state-of-health (SOH) estimation of power batteries.
Jaehoon Shim received the B.S. degree in automotive engineering from Hanyang University,
Seoul, South Korea, in 2018, and the Ph.D. degree in electrical engineering and computer
science from Seoul National University, Seoul, in 2024. From 2018 to 2019, he was
a Researcher with Hyundai Motors Company, South Korea, where he worked on the design
and analysis of electric drive systems. From 2024 to 2025, he was a Staff Engineer
with Samsung Electronics Company, Ltd., South Korea. Since 2025, he has been with
the Department of Electrical Engineering, Myong Ji University, Yongin, where he is
currently an Assistant Professor. His current research interests include embedded
AI for electric drives and robotic systems.