1. 서 론

현재 인공지능 기술이 전 세계적으로 활발하게 진행되고 있으며 특히, 빅데이터 검색, 자율주행, 컴퓨터 게임, 경로 탐색 등에 많은 성공적인 사례가 발표되고 있다. 이러한 기술개발에는 인간의 정보처리 메커니즘을 바탕으로 구현되는 인공신경회로망의 발전이 큰 몫을 담당하고 있다. 일반적으로 인공신경회로망은 자동번역, 얼굴인식, 음성인식, 패턴분석, 로봇제어 등과 같은 응용기술에 중요하게 적용되고 있으며 그에 따른 다양한 신경회로망 모델들이 개발되고 있다.

피드포워드 신경회로망은 한쪽 방향으로만 데이터를 연산하기 때문에 처리속도가 매우 빠른 장점이 있어 주로 화상 및 음성 인식 분야에 많이 적용되고 있다⁽¹⁾. 그리고 RBF(radial basis function) 신경회로망은 패턴 분류에, Kohonen self- organizing 신경회로망은 의학 분야에서 패턴 인식 기술에 성공적으로 적용되고 있다⁽²⁾⁽³⁾. 또한 재귀형(recurrent) 신경회로망은 출력 신호의 일부를 입력 신호로 다시 되돌리는 형태로서 문자를 음성으로 변환하는 기술에 적용되고 있다⁽⁴⁾. 최근에는 콘볼류션(convolution) 신경회로망 모델이 개발되었으며 각각의 신경회로망은 부분별로 영상을 기억하는 특징이 있으며 특히 얼굴인식과 같은 신호처리에 많은 각광을 받고 있다⁽⁵⁾. 마지막으로, 모듈화(modular) 신경회로망은 여러 가지 다양한 신경회로망 모델들로 구성되어 있으며 현재까지 다양한 응용 분야에 개발 중에 있다⁽⁶⁾.

인공 신경회로망은 바이어스(bias) 입력 신호를 포함하고 있으며 일반적으로 각각의 계층에 1개의 바이어스 입력 채널을 적용하고 있다. 하지만, 외부 입력 신호 채널의 수가 적은 경우 그에 상응하는 신경회로망 파라미터의 개수도 적어지므로 전체적으로 신경회로망의 성능이 바람직하지 못한 경우가 발생한다. 본 논문은 이러한 문제점을 보완하기 위하여 다수의 바이어스 입력 채널을 갖는 신경회로망 모델들을 제안한다. 첫 번째로, 널리 알려진 단층 및 다층 퍼셉트론에 다중 바이어스 입력 벡터를 갖는 신경회로망 모델을 제시하며 최급강하(steepest descent) 최적화 기법⁽⁷⁾을 적용한 학습 알고리즘을 제시한다. 다음으로, 재귀형 퍼셉트론에도 다중 바이어스 입력 채널이 포함된 신경회로망 모델을 제시하며 국부(local) 안정성, 가제어성 및 가관측성을 해석적 방법으로 분석한다. 마지막으로, 제안한 신경회로망의 타당성을 검증하기 위하여 컴퓨터 시뮬레이션을 실시하였으며, 기존의 단일 바이어스 입력 채널을 갖는 신경회로망 모델과의 비교 연구를 통해 성능의 우수성을 입증하였다.

2. 다중 바이어스 채널을 갖는 단층 퍼셉트론 모델

본 논문에서 제안하는 다중 바이어스 입력 채널을 갖는 단층 퍼셉트론 신경회로망 모델은 그림 1과 같다. 여기서 $x_{i}$, $i\in[1,\:n]$ 및 $y_{i}$, $i\in[1,\: l]$은 각각 입력 및 출력 신호이며, $w_{ij}$, $i\in[1,\:l]$, $j\in[1,\:n]$은 $x_{i}$에 관련된 신경회로망 파라미터를 나타내며, $b_{ij}$, $i\in[1,\:l]$, $j\in[1,\:m]$은 바이어스 입력에 관련된 파라미터를 나타낸다. 바이어스의 입력 값은 동일하게 모두 1이며 $m$개의 입력이 인가된다. 그림 1의 출력 벡터 $y\in R^{l}$에 대한 수학적 표현은 다음과 같다.

여기서 $\phi(\cdot)$는 비선형 활성화 함수(nonlinear activation function)이며,

이며 여기서 $W\in R^{l\times n}$, $b\in R^{l\times m}$, $x\in R^{n}$, $1_{m}=[1 1\cdots 1]^{T}$$\in R^{m}$이다. 식(2)에서 파라미터 행렬 $W=[w_{1}w_{2}\cdots w_{l}]^{T}\in R^{l\times n}$ 및 벡터 $b=[b_{1}b_{2}\cdots b_{l}]^{T}\in R^{l\times m}$는 최적화 기법을 기반으로 한 신경회로망 학습 알고리즘을 통해 최적값으로 결정되어야 한다. 신경회로망 학습은 설정치 벡터 $r\in R^{l}$과 출력 벡터 $y$와의 차이로 정의되는 오차 벡터 $e=r-y$을 이용하여 구성한 다음의 평가함수를 최소화하는 목적으로 이루어진다.

본 논문은 최급강하 최적화 기법을 통해 학습 알고리즘을 구성하기 위하여, 우선 식(2)의 파라미터 수정규칙을 다음과 같이 표현한다.

여기서 $\eta\in(0,\:1)$는 학습 파라미터이다. 식(4)에서 우변의 편미분항은 미분의 연쇄법칙(chain rule)에 의해 다음과 같이 각각 전개된다.

여기서 각 편미분 식을 연산하면

$\dfrac{\partial J}{\partial e}= e^{T}$, $\dfrac{\partial e}{\partial y}= -I$, $\dfrac{\partial y}{\partial\widetilde y}=\dot\phi(\widetilde y)$, $\dfrac{\partial\widetilde y}{\partial w_{i}}=x$, $\dfrac{\partial\widetilde y}{\partial b_{i}}= 1_{m}$

와 같으며 이 결과 식을 식(5)에 적용하면 식(4)는 최종적으로 다음과 같다.

3. 다중 바이어스 채널을 갖는 다층 퍼셉트론

2장에서 제안한 단층 퍼셉트론에 은닉층을 추가한 3층 퍼셉트론 신경회로망 모델은 그림 2와 같으며 은닉층의 출력 벡터 $h$, 출력층의 출력 벡터 $\widetilde y$ 그리고 최종 출력 벡터 $y$에 대한 수학적 표현은 다음과 같다.

여기서 각 파라미터 행렬은 다음과 같이 표현된다.

$W=[w_{1}\cdots w_{p}]^{T}\in R^{p\times n}$, $b=[b_{1}\cdots b_{p}]^{T}\in R^{p\times m}$,

$V=[v_{1}\cdots v_{l}]^{T}\in R^{l\times p}$, $\beta =[\beta_{1}\cdots\beta_{l}]^{T}\in R^{l\times q}$

마찬가지로, 식(7)의 신경회로망 파라미터 수정 규칙은 다음과 같다.

또한 식(8)에서 우변의 편미분항은 다음과 같이 전개된다.

그리고 식(9)에서 편미분항을 연산하면 각각 다음과 같다.

$\dfrac{\partial y}{\partial\widetilde y}= diag\left(\dot\phi_{1}\cdots\dot\phi_{l})\right.$, $\dfrac{\partial\widetilde y}{\partial h}=V$,

$\dfrac{\partial h}{\partial w_{i}^{T}}=[\mathbf{0} \cdots x^{(i)}\cdots \mathbf{0}]^{T}$, $\dfrac{\partial h}{\partial b_{i}^{T}}=[\mathbf{0}\cdots 1_{m}^{(i)}\cdots \mathbf{0}]^{T}$,

$\dfrac{\partial h}{\partial w_{i}^{T}}=[\mathbf{0}\cdots x^{(i)}\cdots \mathbf{0}]^{T}$, $\dfrac{\partial\widetilde y}{\partial v_{i}^{T}}=[\mathbf{0}\cdots h^{(i)}\cdots \mathbf{0}]^{T}$,

$\dfrac{\partial\widetilde y}{\partial\beta_{i}^{T}}=[\mathbf{0}\cdots 1_{q}^{(i)}\cdots \mathbf{0}]^{T}$

이 결과 식을 바탕으로 식(8)을 정리하면 최종적으로 다음과 같다.

4. 재귀형 신경회로망 모델

본 논문에서 고려하는 다중 입력 바이어스를 갖는 재귀형 신경회로망 모델은 그림 3과 같으며, 모든 출력 신호는 입력 신호로 다시 입력 신호로 피드백이 되는 것을 볼 수 있다. 이 신경회로망 모델의 출력 신호는 수학적으로 다음과 같다.

여기서 $\sigma =[X \quad u \quad \mathbf{1}_{l}]^{T}\in R^{n+m+l}$ 및 $W =[w_{1}\cdots w_{n}]^{T}$$\in R^{n\times(n+m+l)}$이다. 마찬가지로 식(11)의 신경회로망 파라미터 학습규칙은 다음과 같다.

또한 식(12)의 우변의 편미분 항은 다음과 같이 전개되며

여기서 각각의 편미분항을 연산하여 그 결과를 식(12)에 적용하면 최종적으로 다음과 같다.

5. 컴퓨터 시뮬레이션

2장에서 제시한 다중 바이어스 입력 채널을 갖는 3층 퍼셉트론 신경회로망 모델의 타당성을 검증하기 위하여 컴퓨터 시뮬레이션을 실시하였다. 신경회로망 학습에는 다음과 같은 복합 삼각함수를 이용하였으며 파형은 그림 4와 같다.

설계한 신경회로망 모델은 입력층에 20개의 바이어스 입력 채널과 중간층에 12개의 노드를 포함하고 있으며, 식(21)의 $y$를 추정하는 입출력 매핑(mapping) 기능을 한다. 그리고 출력층의 활성화 함수는 양극성 시그모이드 함수를 선정하였으며, 신경회로망 파라미터의 초기값은 –1과 1 사이의 무작위 값으로, 학습 파라미터 $\eta =0.01$로 하였다. 설계한 신경회로망 모델은 이러한 시나리오 환경에서 $2\times 10^{6}$번의 학습이 실시 되었으며, 가장 우수한 결과를 선택하여 파형으로 나타내었다. 또한, 기존의 방식인 1개의 바이어스 입력의 신경회로망을 동일한 조건에서 시뮬레이션을 실시하였으며 그 결과 파형을 통해 비교 분석하였다.

그림 5는 학습 주기에 대한 각각의 신경회로망 학습 오차 파형을 보여주며, 오차는 square root 오차로 정의하였으며 수학적으로 $\sqrt{e^{T}e}$로 표현된다. 그림 5(a)는 1개의 바이어스 입력을 갖는 신경회로망에 대한 오차 파형이며 주어진 학습 주기 동안 오차 값을 현저하게 감소시키지 못하고 학습이 종료가 된 후에 매우 큰 오차 값을 가지는 것을 볼 수 있다. 다시 말해, 약 $0.5\times 10^{6}$ 부근에서부터 학습 오차 값이 크게 감소하였지만 $0.7\times 10^{6}$ 정도에서 약 54 정도의 일정한 오차 값을 유지하는 것을 볼 수 있다. 하지만, 그림 5(b)를 통해 알 수 있듯이, 본 논문에서 제안한 신경회로망을 이용한 경우에는, 약 $0.2\times 10^{6}$부터 오차 값이 지속적으로 감소하였으며, 약 $1.4\times 10^{6}$ 부터는 오차 값이 거의 0에 가까운 값을 유지하는 것을 관측할 수 있다. 같은 조건에서 실시한 시뮬레이션 결과를 통해 제안한 신경회로망 모델이 매우 효과적으로 동작하고 있음을 알 수 있다.

다음으로, 학습이 완료된 각각의 신경회로망에 대한 일반화(generalization) 시험을 시행하였으며, 그 결과 파형을 그림 6에 나타내었다. 그림 6(a)는 1개의 바이어스 입력의 신경회로망에 대한 일반화 시험 오차이며 그림 6(b)는 본 논문에서 제안한 20개의 바이어스 입력에 대한 오차 파형이며, 이 두 오차 파형을 단순하게 비교하더라도 그 오차 값이 현저하게 차이가 나는 것을 쉽게 알 수가 있다. 그림 6(a)의 경우 최대 오차 값이 약 2.3이며 대부분의 영역에서 1 이상의 오차 값을 발생하는 것을 볼 수 있다. 반면, 그림 6(b)는 최대 오차가 0.04이며 전체적으로 그림 6(a)에 비해 90% 이상 오차가 감소한 것을 관측할 수 있다.

6. 결 론

본 논문에서 다중 바이어스 입력 신호를 갖는 인공 신경회로망 모델을 제시하였으며 최급 강하 최적화 기법을 통한 학습 알고리즘을 수학적으로 표현하였다. 제안한 신경회로망의 타당성을 검증하기 위하여 컴퓨터 시뮬레이션을 실시하였으며 기존의 신경회로망 모델과의 비교 시뮬레이션을 통해 성능의 우수성 또한 입증하였다. 본 연구의 결과는 지능형 산업시스템 구축에 적용될 수 있으며, 보다 정밀한 전기계측장비 구현에 주요 기술로서 응용될 수 있을 것이다. 향후 연구는 컨볼류션 신경회로망에 확대 적용을 포함할 것이며, 또한 최근에 많은 주목을 받고 있는 딥러닝 기반 기술을 연구할 계획이다.