1. 서 론

BLDC(brushless DC) 모터는 높은 효율·응답성·내구성이 요구되는 로봇, 드론, 차량 구동 분야에서 표준 구동원으로 널리 채택되고 있다. 그러나 권선 온도 상승, 자속 약화, 윤활 상태 변화, 가변 하중 등으로 전기·기계 파라미터가 시간에 따라 열화하며, 이는 속도·토크 성능 저하로 이어진다는 사실이 다수의 연구에서 보고되었다 ^{[1- 2]}. 더불어 현장 신호 환경에는 센서·전원의 고주파 잡음이 공존한다. 특히 저가·소형 시스템에서 보편적으로 사용하는 Hall 위치 센서는 지터 및 지연 특성으로 인해 위치 추정의 시간적 불확실성을 유발한다 ^[3]. 이러한 요인들은 제어기 설계 여유를 축소시키고, 초기 조정 성능의 장기 유지에 어려움을 초래한다 ^[4].

이 문제에 대응하기 위해 강인 비선형 제어와 예측·최적 제어가 활발히 연구되고 있다. SMC(sliding mode control)는 모델 불확실성과 외란에 강인하며, 과도 오버슈트를 억제하고 부하 변동 복원 시간을 단축할 수 있음이 보고되었다 ^[5]. 반면, 구현에 따라 오버슈트 및 응답 지연이 발생할 수 있어 체계적인 설계·조정 절차가 요구된다.

예측·최적 제어 측면에서는 전력변환기 스위칭 제약과 구동계 비선형을 명시적으로 다루는 MPC(model predictive control) 계열이 BLDC에 적용되어 전환 구간 매끄러움과 속도 품질을 개선하였고, NMPC(nonlinear model predictive control)는 제약 하의 응답을 체계적으로 다루는 장점을 보였다 ^[6]. 다만 산업 전반에서 범용 제어기의 실사용 비중은 여전히 PID 계열이 압도적이다. 구조 단순성, 해석 용이성, 유지보수 편의성에도 불구하고, PID는 참조 추종과 외란 억제를 동일 이득으로 절충해야 하며, 미분항의 고주파 증폭 특성으로 인해 Hall 신호의 잡음에 민감하다는 한계가 있다. 또한 파라미터 변화에 적응하지 못해 장기간 운용 시 성능이 저하된다.

이를 보완하기 위해 본 연구는 기존의 PID와 다르게 출력 미분을 직접 쓰지 않고 관측기 기반 추정과 내부 상태 피드백을 활용하는 SS-PID(State-Space PID)를 도입해 잡음 민감성을 완화하고 실측 신호의 거칠기에도 안정적인 추종을 얻는 것을 출발점으로 한다 ^[7]. 다만 SS-PID도 이득이 고정되면 모터 열화에 따른 파라미터 변화에 취약하고, 관측기 이득 등 조정해야 할 변수가 PID 대비 증가하므로 파라미터가 시간에 따라 변하는 플랜트에서는 수동 재조정의 부담이 크다. 고전적 PID 제어기에 대하여 퍼지, 진화알고리즘, 입자 군집 최적화, 신경망 등 다양한 기법으로 연구되었으나 주로 고정적인 구조를 가진 제어기를 대상으로 하거나 오프라인 최적화를 대상으로 하여 실시간 연속 조정에 한계를 보였다.

따라서 이러한 문제를 해결하기 위해 SS-PID의 제어변수를 온라인으로 재조정하는 강화학습 기반 DDPG(Deep deterministic policy gradient) 에이전트를 제안한다 ^{[8- 12]}. 이러한 조정기는 SS-PID 제어기에 학습 기반 온라인 재조정 기법을 통합하는 것으로 실제 적용 가능성과 높은 제어 성능을 동시에 확보한다. 핵심 설계는 안전과 재현성이다. 첫째, 에이전트의 액션을 통한 조정된 파라미터는 초기 인증된 SS-PID의 파라미터 주변의 스케일로 제한되어 불안정한 탐색은 원천 차단한다. 또한 제어 변수를 시간에 따라 변화하는 연속 액션을 산출하여 부드럽게 조정한다. 둘째, 관측은 오차, 오차 변화율, 누적 오차로 구성해 오차를 최소화하기 위해 필요한 정보만 압축한다. 셋째, 보상은 음의 오차를 적분하여 실용적 제어를 유도한다. 넷째, Simulink 환경에서 에피소드마다 리셋 함수로 파라미터를 물리적 상·하한 사이에서 무작위 초기화하여 파라미터 변화에 따라 에이전트가 최적의 제어 변수를 선택하도록 한다. 결과적으로 본 연구는 구현과 설계가 단순하며 기존의 PID 계열의 제어기를 사용하며 고전적 PID와 비교하여 고주파 잡음의 영향을 조절가능한 SS-PID로 Hall 센서 잡음 민감도를 낮추면서, 파라미터 변화로 인한 장기 성능 저하를 딥신경망 구조를 가지는 것으로 비선형적 특성을 학습가능한 DDPG 강화학습 기반의 온라인 재조정으로 보완하는 실무 지향의 프레임워크를 제시한다.

2. 이론적 배경

2.2 SS-PID

SS-PID는 전달함수 형태의 고전적인 구조의 PID를 상태 공간 방정식의 형태로 표현하여 상태공간상의 분석기법을 PID제어기에서도 적용할 수 있도록 하였다 ^[7]. 이때 SS-PID는 관측기를 추가하여 PID의 내부 상태를 추정하는 것으로 PID를 상태 공간 방정식으로 표현하였다. SS-PID는 $\overline{x}(t)$와 $\overline{r}(t)$를 입력받아 제어입력 $u(t)$을 출력한다. 여기서 $\overline{x}(t):=\begin{pmatrix}\dot{y}(t)\\y(t)\\\int y(t)dt\end{pmatrix}$, $\overline{r}(t):=\begin{pmatrix}\dot{r}(t)\\r(t)\\\int r(t)dt\end{pmatrix}$이다.

SS-PID의 상태방정식은 식 (5)와 같다.

(5)

$\begin{cases} \dot{\overline{x}}(t)=(\overline{A}_{e}-\overline{L}_{o}\overline{C}_{e})\overline{x}(t)+\overline{B}_{e}u(t)+\overline{L}_{o}y(t)\\ u(t)=\overline{K}_{o}(\overline{r}(t)-\overline{x}(t)) \end{cases}$

$\overline{A}_{e}=\left[\begin{matrix}0&0&0\\1&0&0\\0&1&0\end{matrix}\right], \overline{B}_{e}=\left[\begin{matrix}1\\0\\0\end{matrix}\right], \overline{C}_{e}=\left[\begin{matrix}0&1&0\end{matrix}\right], \\ \overline{L}_{o}=\left[\begin{aligned}\beta_{1}\\\beta_{2}\\1\end{aligned}\right]^{T}, \overline{K}_{o}=\begin{bmatrix}K_{d}&K_{p}&K_{i}\end{bmatrix}$

여기서 $K_{d}, K_{p}, K_{i}$는 각각 미분, 비례, 적분에 대한 이득을 의미하며 제어입력의 동특성을 결정한다. 또한 $\overline{L}_{o}$는 관측기의 이득을 의미하며 그 이득의 비율에 따라 관측기의 동특성을 결정할 수 있다. 이렇게 설계된 SS-PID는 관측기 이득 $\overline{L}_{o}$를 조정하는 것으로 그 주파수 응답을 바꾸어 고주파 노이즈의 영향을 줄일 수 있다 ^{[11- 12]}. 그림 1은 제안된 BLDC모터에 맞게 설계된 PID와 SS-PID의 보드 크기선도이다. PID와 비교하여 SS-PID는 고주파에서 그 크기가 감쇠되는 것을 볼 수 있다. 그림 2는 제어기와 BLDC모터의 개루프 보드 크기선도이며 이 또한 고주파에서 그 크기가 작아지는 것을 볼 수 있다. 이러한 고주파에서의 크기의 감쇠는 센서에서 입력되는 고주파 특성이 강한 잡음은 감쇄되며 반대로 비교적 저주파영역에 있는 레퍼런스 입력을 추종할 수 있도록 한다 ^[15].

그림 1. PID 제어기와 SS-PID의 보드 크기선도

Fig. 1. Bode magnitude plots of PID and SS-PID controllers

그림 2. 제어기–플랜트 개루프 보드 크기선도

Fig. 2. Open-loop Bode magnitude of controller–plant

3. 강화학습 설계

BLDC 구동에서는 온도 상승·노화·윤활·부하 변동 등으로 전기·기계 파라미터가 시간에 따라 변동한다. 이때 제어기의 성능과 제어기 파라미터 $\theta$사이의 사상은 비정상, 비정형이며, 유도 모델만으로 최적의 제어기 파라미터를 안정적으로 계산하기 어렵다. 본 연구는 이를 모델에 덜 의존하면서도 연속 파라미터를 다룰 수 있는 결정론 정책경사(Deterministic Policy Gradient) 기반의 강화학습 알고리즘으로 해소한다 ^[8].

강화학습에서 시간 $t$에서의 관측 $o_{t}$, 액션 $a_{t}$, 보상 $r_{t}$이라고 한다. 정책 $\pi(a | o ;\theta)$은 관측 $o_{t}$가 주어졌을 때 액션 $a_{t}$를 선택하는 확률분포이다. DDPG는 액터-크리틱 구조를 가지는 강화학습 알고리즘 중 하나이다. DDPG의 액터와 크리틱은 딥신경망으로 구성되어 있으며 이러한 신경망은 성능과 파라미터간의 비정상, 비정형을 학습할 수 있다 ^[16]. 여기서 액터는 관측을 받아 관측값에 따른 최적의 액션을 출력하고 크리틱은 관측과 액션 조합에 따른 가치(Q-value)를 평가하여 정책을 개선하도록 한다. 이러한 딥신경망을 구조로 하는 강화학습은 딥신경망의 블랙박스 문제를 동일하게 가지고 있다는 단점이 있다. 경우에 따라 처음 보는 상황에서 에이전트는 틀린 액션을 할 수 있으며 그로 인해 잘못된 파라미터로 조정되어 성능이 떨어지거나 출력이 발산하는 문제가 발생할 수 있다.

그림 3. 강화학습 기반 SS-PID 온라인 조정 프레임워크

Fig. 3. RL-based online tuning framework for the SS-PID controller

따라서 본 연구에서는 그림 3의 강화학습 기반 파라미터 조정 구조를 제안한다. 위 구조에서는 에이전트가 직접 파라미터를 조정하는 것이 아닌 액션함수에 의해 조정되며 이때 조정될 수 있는 각 파라미터의 최대최소 값을 고정하여 안정성을 높이며 액션의 적분을 통하여 급격한 파라미터의 변화를 제한하였다.

3.2 보상함수 정의

강화학습에서 보상함수의 정의는 학습 성능을 좌우한다. 에이전트는 누적보상을 최대화하도록 정책을 갱신하므로, 보상 설계는 수렴 속도, 학습 안정성, 탐색–활용 균형, 정책의 안전성/일반화 성향에 직접적인 영향을 미친다. 부적절한 보상은 이른 시점에서의 과도한 탐색, 보상 해킹, 비의도적 편향, 수치적 불안정 등을 야기할 수 있다. 본 연구는 속도 추종 맥락에서 오차 중심의 연속형 보상을 사용하며, 희소보상을 회피하고 정규화와 평균화를 통해 조정 민감도를 낮출 수 있도록 에피소드 길이 분변성을 고려하여 설계되었다.

여기서 속도 추종 오차 $e(t)$를 이산시간 $t = k\Delta t$에서의 오차 변화율 $\dot{e}(t)$로 정의한다. 여기서 각각의 오차 무차원 정규화를 적용하면 식 (13)가 나온다.

(13)

$e_{n}=\tanh(\kappa\dfrac{e}{E}), \dot{e}_{n}=\tanh(\kappa\dfrac{\dot{e}\Delta t}{E})$

여기서 $E$는 오차 스케일, $\kappa$는 포화속도를 조절하는 상수이다. $\tanh(\bullet)$를 적용하는 것으로 보상항은 유계를 가지도록 하였다 ^[17]. 이는 큰 오차에서의 포화로 이상치에 대한 강건성을 제공하고, 작은 오차 영역에서는 거의 선형 감도를 유지하여 학습 안정성을 향상시킨다.

각 스탭에 따른 원시보상은 식 (14)에 정의된다.

(14)

$r_{step}=r_{core}+r_{prog} \\ r_{core}= -(w_{1}e_{n}^{2}+w_{2}| e_{n} | +w_{\dot{e}}\dot{e}_{n}^{2}) \\ r_{prog}= w_{prog}\max(0, -e_{n}\dot{e}_{n})$

$r_{core}$는 오차를 패널티로 제공하며 각 세 개의 항은 제곱오차, 절대 오차, 기울기 추종 억제를 페널티로 준다. 제곱 오차항은 대오차 구간에서 빠른 수렴을 유도하며 절대 오차는 전체구간에서 평균적인 수렴을 유도하여 작은 오차에 대해서도 일정한 감도를 유지시키며 기울기 추종 억제항은 오차의 변화율에 대한 페널티로 너무 빠른 이득 변동이나 고주파 진동을 억제한다. $r_{prog}$는 진행항으로 $e^{2}$의 시간 미분에 비례하는 감소 경향이 관찰될 때만 소정의 보상을 부여한다. 이는 더 큰 보상을 받기위해 에이전트가 시스템을 바로 발산시켜 시뮬레이션을 조기 종료시키는 것으로 음의 보상을 줄이는 동작을 방지할 수 있다. 가중치 $w_{1}, w_{2}, w_{\dot{e}}, w_{prog}> 0$는 상호 균형을 조정하며 더 중요하게 고려할 오차에 대하여 강한 페널티를 제공할 수 있다.

최종적으로 보상값은 에피소드길이 $H$에 대한 평균형 정규화로 길이 의존성을 줄이게 된다. 식 (15)은 보상값이다.

(15)

$r_{t}=\dfrac{1}{H}r_{step, t}$

그림 4는 이렇게 설계된 원시보상 $r_{step}$의 3차원 표면도 예시를 그림 5는 그 히트맵을 보여주고 있다.

그림 4. 원시 보상함수의 3차원 표면도

Fig. 4. 3D surface of the raw reward function

그림 5. 원시 보상함수의 히트맵

Fig. 5. Heatmap of the raw reward function

에이전트는 보상의 누적합 식 (16) $J$를 최소화하는 정책을 학습하게 된다.

(16)

$J =\sum_{t=0}^{H-1}\gamma^{k}r_{k}$

여기서 $\gamma\in(0, 1)$은 할인율이다, 또한 마지막으로 신뢰구간 밖의 큰 오차는 조기종료와 함께 강한 페널티를 부여하는 것으로 무의미한 학습을 줄이고 빠른 학습을 할 수 있도록 한다.

(17)

$\text{if } |e| > e_{te}, r_{t}=r_{t}-\rho$

여기서 $e_{te}> 0$은 에피소드 조기 종료 에러이고 $\rho > 0$은 조기 종료시 추가될 페널티이다. 이는 명백한 발산 궤적을 빠르게 제외하고 표본의 효율과 안전성을 높인다.

4. 시뮬레이션

제안된 SS-PID 온라인 파라미터 조정 기법을 평가하기 위해 MATLAB/Simulink에서 학습 및 시뮬레이션을 진행하였다.

시뮬레이션에 사용된 모터의 파라미터는 Maxon사의 BLDC 모터 EC45 24 V 150 W를 기준으로 0.236 $kg$의 질량과 0.1$m$ 의 반지름을 가지는 균질원판을 추가하였으며 모터의 초기 파라미터는 표 1과 같다.

강화학습 학습중에는 모터의 열화로 인한 파라미터의 변화가 있을 때의 오차 최소화를 학습하기 위해 에피소드마다 파라미터를 $R\in[R_{0}, 1.5R_{0}]$, $L\in[L_{0}, 1.2L_{0}]$, $K_{t}\in[K_{t0}, 1.1K_{t0}]$, $K_{e}\in[K_{e0}, 1.1K_{e0}]$, $J\in[J_{0}, 1.1J_{0}]$, $B\in[B_{0}, 1.6B_{0}]$ 범위에 맞게 균등분포로 초기화하여 학습하였다.

SS-PID의 초기 파라미터는 표 2에 제시되어 있으며 PID 계수는 MATLAB PID Tuner를 이용하여 구하였으며 관측기 이득은 PID와 동일한 극점을 가지도록 설계하였다 ^[7].

또한 액션함수, 보상함수, 강화학습의 파라미터와 하이퍼파라미터는 각각 표 3, 표 4, 표 5에 제시되어 있으며 모든 파라미터는 경험적 방법으로 설정되었다.

액션함수의 스케일 이득은 제어기의 파라미터의 변화속도를 제한하며 급격하게 변하지 않도록 설정하였으며 이득 상태 포화의 경우 큰 범위의 변화에도 발산하지 않지만 관측기 상태 포화의 경우 값이 너무 커지면 고주파 응답을 고려하기 위해 시뮬레이션 또는 제어기의 샘플링타임을 줄여야 하며 그로 인해 제어기의 실시간성 또는 시뮬레이션 타임이 늘어나며 너무 작아질 경우 기존의 PID제어기의 응답에 따라가지 못하여 발산할 수 있어 적절한 값으로 제한을 하였다. 이러한 파라미터의 선정에 따라 에이전트의 정책 학습과정에서 학습 속도와 안정성에 영향이 있지만 학습이 안정적으로 완료가 된 경우 안정적으로 파라미터를 조정할 수 있다.

그림 6은 설계된 강화학습에서 학습과정에서 고려된 50초 이후에서의 동작을 볼 수 있도록 100초간의 기존 초기 파라미터를 가지는 BLDC모터에서의 응답 비교를 보여주고 있다. 열화가 진행되지 않아 기존의 튜닝이 되지 않은 SS-PID로 제어되는 BLDC모터의 제어 응답도 안정적이며 연구에서 제안하는 강화학습 조정 SS-PID는 처음에는 동일한 응답특성을 보이지만 시간에 따라 온라인으로 조정이 진행되어 그 응답이 기존의 SS-PID와는 다르게 최적화 되는 것을 볼 수 있다. 이때 오차를 최소화하기 위해 기존의 파라미터보다 더 공격적으로 제어되고 있음을 보이고 그로 인해 오버슈트는 더 커지지만, 정착시간은 짧아지는 결과를 보인다.

그림 6. 정상 플랜트에서의 속도 추종 응답 비교 (기존 SS-PID vs 강화학습 기반 조정 SS-PID)

Fig. 6. Speed tracking responses under nominal plant (Conventional SS-PID vs RL-tuned SS-PID)

그림 7. 정상 플랜트에서의 제어 성능 비교: ISE 지수

Fig. 7. Control performance comparison in nominal plant: ISE index

그림 7은 제어기의 성능을 비교하기 위해 각각 제어결과의 ISE(Integral of Squared Error)를 보여주고 있다. 강화학습 조정 SS-PID는 시간에 따라 오차를 최소화하는 방향으로 조정해 기존의 파라미터와 비교하여 100초간 $105\times 10^{3}[rad]$만큼의 ISE 차이를 보이며, 한번의 스탭에 $6.48\times 10^{3}[rad]$의 오차가 증가하는 기존의 제어기에 비하여 $3.29\times 10^{3}[rad]$의 ISE로 우수한 추종 성능을 보인다.

이런 온라인으로 제어기를 최적화하는 기법은 특히 모델의 파라미터가 열화로 인해 변해 그 성능이 떨어졌을 때 활용할 수 있다.

그림 8. 열화 플랜트에서의 속도 추종 응답 비교 (기존 SS-PID vs 강화학습 기반 조정 SS-PID)

Fig. 8. Speed tracking responses under degraded plant parameters (Conventional SS-PID vs RL-tuned SS-PID)

그림 9. 열화 플랜트에서의 제어 성능 비교: ISE 지수

Fig. 9. Control performance comparison in degraded plant: ISE index

그림 8은 열화되어 파라미터가 변하였을 때 기존 SS-PID의 응답과 강화학습 조정 SS-PID의 응답을 비교한 것이다. SS-PID의 제어 파라미터는 열화 이전의 시스템에 맞춰 조정이 되었기 때문에 파라미터의 변화로 인해 더 높은 오버슈트와 정착시간을 보인다. 강화학습 조정 SS-PID의 경우 동일하게 초기에는 높은 오버슈트와 정착시간을 보여주고 있지만 시간이 지남에 따라 최적화되며 기존 SS-PID와 비교하여 더 낮은 오버슈트와 정착시간을 보여주며 안정적으로 기준신호를 추종하고 있다.

동일하게 그림 9는 제어기의 성능을 비교하기 위해 각각 제어 결과의 ISE를 보여주고 있다. 최종적으로 100초간 기존의 제어기는 $247\times 10^{3}[rad]$만큼의 ISE를 보이는 것에 비하여 제안된 제어기는 $116\times 10^{3}[rad]$의 ISE를 보이며 그 차이는 $131\times 10^{3}[rad]$이다. 또한 최종적으로 하나의 스탭당 ISE는 $7.49\times 10^{3}[rad]$인 기존의 제어기에 비하여 제안된 제어기는 $3.26\times 10^{3}[rad]$으로 두배 수준의 제어추종 성능을 보인다. 이는 첫 번째 스탭에서 각각 스탭당 ISE가 $7.41\times 10^{3}[rad]$, $6.71\times 10^{3}[rad]$인것에 비하여 강화학습 기반 조정된 SS-PID는 시간이 지남에 따라 안정적으로 조정되어 오차를 줄이고 있는 것을 볼 수 있다.

5. 실 험

제안된 강화학습 기반 SS-PID 제어기의 실시간 성능을 검증하기 위해 Speedgoat Performance 장비를 이용한 HILS(Hardware-In-the-Loop Simulation) 환경을 구축하였다. 본 실험은 MATLAB/Simulink Real-Time 환경에서 수행되었으며, Simulink Coder를 이용하여 설계된 제어기를 실시간 실행 코드로 변환하여 동일한 Speedgoat 하드웨어에서 동작시켰다. 제어기 및 플랜트 모델은 모두 실시간 조건에서 연동되도록 구성하였다.

실험에 사용된 Speedgoat Performance 장비의 기본 사양은 CPU는 Intel Core 3.1 GHz(4-core)이며, 메모리는 8 GB이다. 운영체제는 Simulink Real-Time이다. 사용된 통신 모듈은 IO133 I/O 모듈으로 16채널 A/D 입력(16-bit, ±10 V, 200 kSPS), 8채널 D/A 출력(16-bit, ±10 V, 정착시간 10 µs)을 제공한다.

그림 10. Speedgoat Performance 및 IO133 모듈을 이용한 HILS 실험 구성

Fig. 10. HILS experimental setup using Speedgoat Performance and IO133 module.

시뮬레이션에서 학습된 강화학습 기반 SS-PID 제어기 파라미터를 동일하게 적용하고, IO133 모듈을 통해 제어 입력 신호를 실시간 입출력하였다. 샘플링 주기는 1 ms로 설정하였으며, DDPG 정책에 따라 제어기의 이득을 온라인으로 조정하였다.

그림 11. HILS 열화 플랜트에서의 속도 추종 응답

Fig. 11. Speed tracking response in HILS deterioration plants

열화된 파라미터 조건에서의 HILS 응답 결과는 그림 11과 같으며 시뮬레이션 결과와 유사한 추종 특성을 보였다. 또한 ISE 성능은 그림 12에 나타나 있으며 100초 구간에서 측정된 ISE 값은 $117\times 10^{3}[rad]$로, 시뮬레이션 대비 약 $1\times 10^{3}[rad]$ 수준의 차이만 존재하였다. 이는 전체 비율로 볼 때 미미한 차이에 해당하며, 제안된 제어기가 실제 하드웨어 환경에서도 유사한 속도 추종 성능을 유지함을 보여준다. 또한 HILS 환경에서도 정책 갱신 및 파라미터 조정이 실시간으로 이루어져, 제안된 프레임워크가 실시간 학습 및 온라인 튜닝이 충분히 가능함을 실험적으로 검증하였다.

그림 12. HILS 열화 플랜트에서의 제어 성능 : ISE 지수

Fig. 12. Control Performance in Degraded Plant under HILS: ISE Index

6. 결 론

본 연구는 BLDC 모터 제어에서 모터의 센서 잡음과 열화로 인한 파라미터 변화에 기인한 장기 성능 저하 문제를 해결하기 위해, SS-PID 제어기의 장점과 강화학습 기반 온라인 조정을 결합한 새로운 제어 프레임워크를 제안하였다. 제안된 방법은 Simulink 환경에서 DDPG 에이전트를 이용하여 SS-PID의 PID 이득 및 관측기 이득을 연속적으로 조정함으로써, 초기 파라미터에 고정된 전통적 SS-PID와 달리 시간에 따라 변화하는 시스템 파라미터에 적응할 수 있음을 보였다. 시뮬레이션 결과, 제안된 강화학습 기반 SS-PID는 정상 조건뿐 아니라 열화된 파라미터 조건에서도 기존 SS-PID보다 우수한 추종 성능과 낮은 ISE를 달성하였다. 이는 제안된 기법이 장기간 운용 환경에서의 BLDC 모터 제어 신뢰성을 향상할 수 있음을 보여준다.

그러나 여전히 강화학습 에이전트가 학습 과정에서 산출하는 파라미터가 전역적 최적값 또는 안정성을 보장하지는 못하며, 이는 이론적 측면에서 제약으로 작용한다. 둘째, 에이전트 학습에는 상당한 시뮬레이션 시간과 연산 자원이 요구되며, 이는 실제 산업 적용 시 비용상승의 요인으로 이어질 수 있다.

그럼에도 제안된 강화학습 기반 SS-PID는 기존 제어기의 단점을 보완하고 장기간 운용에서의 파라미터 열화 문제를 효과적으로 완화할 수 있는 가능성을 보여주었다. 특히 전기자동차와 같이 고신뢰성이 요구되는 장기 운용 모터 구동 시스템에서, 제안 기법은 온라인으로 제어기를 적응적으로 보정하여 성능 저하를 방지하는 핵심 기술로 활용될 수 있을 것으로 기대된다. 향후 연구에서는 계산 비용을 절감할 수 있는 경량화 학습 구조 개발이 필요하다.