염찬욱
(Chan-Uk Yeom)
1iD
곽근창
(Keun-Chang Kwak)
†iD
-
(Dept. of Control and Instrumentation Engineering, Chosun University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Incremental granular model, Interval-based fuzzy C-means clustering, Coverage, Specificity, Performance evaluation, Coagulant injection
1. 서 론
퍼지 집합은 각각의 원소가 어떠한 집합에 속하는 소속도가 존재하는 집합을 의미하며, 이를 바탕으로 다양한 방법론, 알고리즘 및 구조 등 연구가 활발히
진행되고 있다(1-3). 퍼지 관련 다양한 연구들이 진행되었지만 하나의 공통된 특징으로 모델의 출력이 수치적인 값으로 나타난다(4). Pedrycz(5)는 모델의 출력이 수치적인 값이 아닌 삼각형 형태의 퍼지 수로 나타내는 입자 모델(GM: Granular Model)을 제안했다. 입자 모델을 기존의
퍼지 클러스터링(FCM: Fuzzy C-Means clustering) 방법을 응용한 컨텍스트기반 퍼지 클러스터링(CFCM: Con- text-based
Fuzzy C-Means clustering) 방법을 이용하여 정보 입자를 생성한다(6). 컨텍스트기반 퍼지 클러스터링 방법은 입력 공간뿐만 아니라 출력 공간에서 데이터들의 특징을 고려하여 클러스터를 생성하는 방법이다. 점증적인 입자
모델(IGM: Incremental Granular Model)은 선형회귀(LR: Linear Regression) 모델과 입자 모델이 결합한 구조로서
전역적인 부분은 선형회귀 모델을 통해 오차를 계산하고, 국부적인 부분은 입자 모델을 통해 오차를 보상하여 기존의 입자 모델의 성능을 향상한 방법이다(7).
위 예측 관련 모델들의 성능을 평가할 때 중요한 요소로 정확성과 명백함이 있다. 모델의 정확성을 판단하는 방법은 실제 출력값과 모델 예측값의 차이를
이용하며 대표적으로 평균 제곱근 오차(RMSE: Root Mean Square Error), 평균 절대비 오차(MAPE: Mean Absolute
Percentage Error) 방법 등이 있다. 모델의 정확성을 평가하는 방법에 관한 연구는 활발히 진행되었지만, 모델의 명백함을 평가하는 연구는
여전히 연구가 필요한 부분이다. Pedrycz(8)는 입자 모델의 출력값의 범위(coverage)와 특이성(specificity)을 이용한 성능 지표(PI: Per- formance Index)를
통해 입자 모델의 정확성과 명백함을 평가하는 방법을 제안했다.
본 논문에서는 구간기반 점증적인 입자 모델을 설계하고 성능 지표 방법을 이용하여 예측성능을 비교 분석한다. 기존의 컨텍스트기반 퍼지 클러스터링 방법이
아닌 구간기반 퍼지 클러스터링(IFCM: Interval-based Fuzzy C-Means clustering) 방법을 사용하는 입자 모델을 설계하여
국부적인 부분을 처리하도록 설정하였다. 구간기반 클러스터링 방법은 출력 공간에 생성되는 구간의 분할 방법에 따라 case 1, 2, 3으로 분류하고
일반적인 성능 평가 방법이 아닌 입자 모델에 적합한 성능 지표 방법을 이용하여 각각의 모델의 예측성능을 비교한다. 성능 지표의 타당성을 확인하기 위해서
정수장 응집제 데이터를 이용하여 예측 실험을 수행한다. 정수장의 여러 공정 중 응집제를 주입하는 공정은 정수하는 물의 탁도를 조절하는 중요한 역할을
한다. 하지만, 변화의 촉이 큰 원수에 따른 응집제 투입량을 계산하는 데 어려움이 있다. 본 논문에서는 구간기반 점증적 입자 모델을 설계하고 구간
분할 방법에 따른 응집제 투입량 예측 문제에 적용한다.
본 논문의 구성은 다음과 같다. 2장에서는 구간기반 퍼지 클러스터링 방법에 대하여 설명하고, 3장에서는 구간기반 점증적인 입자 모델에 대하여 설명한다.
4장에서는 성능 평가 방법인 성능 지표 방법에 대하여 설명하고, 5장에서는 정수장 응집제 데이터를 이용한 예측 실험을 진행하고 실험 결과를 분석한다,
마지막으로 6장에서는 결론 및 향후 연구 계획으로 마무리한다.
2. 구간기반 퍼지 클러스터링(IFCM) 방법
기존의 입자 모델은 컨텍스트기반 퍼지 클러스터링 방법을 사용하여 정보 입자를 생성하고 모델을 설계하였다. 본 논문에서는 구간기반 퍼지 클러스터링 방법을
사용하여 정보 입자를 생성하고 구간기반 입자 모델을 설계한다.
구간기반 퍼지 클러스터링 방법은 입력 공간과 출력 공간의 패턴을 고려하여 출력 공간에 구간을 생성하고 입력 공간에 클러스터를 생성한다. 일반적인 퍼지
클러스터링 방법은 출력 공간은 고려하지 않고 입력 공간에서 클러스터의 중심과 입력 데이터 사이의 유클리디안(Euclidean) 거리를 사용하여 클러스터를
생성한다. 반면에, 구간기반 퍼지 클러스터링 방법은 출력 공간의 패턴을 고려하여 군집화를 수행하기 때문에 기존의 클러스터링 방법에 비해 우수한 성능을
가지고 있다. 구간기반 퍼지 클러스터링 방법의 진행순서는 다음과 같다.
[단계 1] 구간의 수인 $I(1<m<Q)$와 클러스터의 수인 $C(2<c<n)$와 초기 분할 행렬인 $U$와 임계값인 $W$을 설정하고 반복 횟수를
선택한다. $u_{ij}$는 $j$번째 데이터가 $i$번째 클러스터에 속하는 소속도를 나타낸다.
[단계 2] 분할 행렬인 $U$와 식 (2)을 이용하여 각각의 클러스터의 중심인 $C_{i}$을 계산한다.
[단계 3] 클러스터의 중심 값인 $C$와 식 (3)을 이용하여 분할 행렬 $U$을 업데이트한다.
여기서, $f_{i}$는 생성된 클러스터에서 $x_{j}$의 포함되는 정도를 나타낸다. 다시 말해, 출력변수에서 정의된 언어적인 형태가 퍼지 집합
$A,\: A:R>[0,\: 1]$로 표현되며 퍼지 균등화 알고리즘으로 계산된다.
[단계 4] 수식이 만족하면 위 과정을 정지하게 되고, 그렇지 않으면 단계 3부터 다시 진행한다.
여기서, $J$는 목적함수로서 입력 데이터인 $x_{j}$와 $i$번째 클러스터의 중심인 $C_{i}$의 거리를 이용하여 조건에 만족할 때까지 위
단계를 반복적으로 수행한다.
일반적으로 출력 공간에서 구간을 생성할 때, 구간을 균등하게 겹치지 않게 분할하는 방법을 사용한다. 본 논문에서는 그림 1과 같이 일반적인 분할 방법(case 1) 이외에 구간을 확률적인 분포에 근거하여 유연하면서 겹치지 않게 분할하는 방법(case 2)과 구간을 균등하게
일정 간격 겹치게 분할하는 방법(case 3)을 추가하여 입자 모델의 성능을 비교한다. 일반적으로 사용되고 있는 구간을 균등하게 겹치지 않게 분할하는
방법은 출력 공간을 구간의 수에 맞게 겹치지 않게 균등하게 분할하기 때문에 각각의 구간의 간격만 고려하면 된다(case 1).
본 논문에서 추가로 사용한 구간 분할 방법은 다음과 같다. 첫 번째, 구간을 유연하게 겹치지 않게 분할하는 방법은 출력 공간에 있는 데이터들의 확률적인
분포에 근거하여 구간의 길이를 조정하게 된다. 분포 값이 큰 부분의 구간은 길이가 짧아지고 분포 값이 작은 부분의 구간은 길이가 길어지게 된다(case
2). 두 번째, 구간을 균등하게 일정한 범위를 겹치게 분할하는 방법은 일반적인 방법과 유사하지만, 각각의 구간 끝을 겹치게 하는 부분이 차이점이다.
이 방법은 각각의 구간을 일정한 범위를 겹치게 만들어 추가적인 유사 특징을 찾을 수 있다(case 3).
그림 1 구간 분할 방법의 개념도
Fig. 1 Conceptual diagram of interval partitioning method
3. 구간기반 점증적인 입자 모델(interval-basead IGM) 설계
점증적인 입자 모델은 모델링 오차를 예측하기 위해 제안된 정보 입자 모델로서 전역적인 부분을 처리하는 선형회귀 모델과 국부적인 부분을 처리하는 입자
모델로 구성된다. 본 논문에서는 기존의 입자 모델이 아닌 구간기반 입자 모델을 사용하여 구간기반 점증적인 입자 모델을 제안한다.
3.1 전역적인 부분을 계산하는 선형회귀(LR) 모델
선형회귀는 종속 변수와 한 개 이상의 독립 변수들과의 선형 상관관계를 모델링하는 것으로 단순 선형회귀, 다중 선형회귀 등이 있다. 전역적인 부분을
계산하는 선형회귀 모델은 선형예측 함수를 사용하여 모델링하며 알려지지 않은 파라미터는 데이터로부터 추정한다. 예를 들어, 두 개의 입력변수와 하나의
출력변수로 이루어진 데이터를 간소화하려고 한다, 임의의 입력-출력 데이터는 $x_{k},\: y_{k},\: k = 1,\: 2,\: ...,\:
n$의 형태로 구성된다. 여기서, $x_{k}$는 입력변수를 나타내고 $y_{k}$는 출력변수를 나타낼 수 있으며 식 (5)와 같이 표현할 수 있다.
여기서, $r^{T}$는 선형회귀 모델의 계수를 나타내며, 이 계수들은 최소자승법(LSE: Least Square Estimation)에 의해 모델의
오차를 계산한다. 모델의 오차는 $e_{k}= y_{k}- z_{k}$이며, 언어적인 규칙들에 따라 표현된다. 모델의 오차와 입력 데이터를 결합하여
국부적인 부분의 구간기반 입자 모델에서 사용할 수 있는 새로운 형태의 데이터인 입력-오차 형태의 데이터를 생성한다.
그림 2 구간기반 점증적인 입자 모델의 구조
Fig. 2 Structure of interval-based incremental granular model
3.2 국부적인 부분을 계산하는 구간기반 입자 모델 (interval-base GM)
구간기반 입자 모델은 구간기반 퍼지 클러스터링 방법을 통해 설계된다. 국부적인 부분을 모델링하는 구간기반의 입자 모델은 일반적인 데이터가 아닌 전역적인
부분에서 구한 오차와 입력 데이터를 결합한 입력-오차 데이터를 사용하여 모델링된다. 입력-오차 데이터가 구간기반 입자 모델의 입력으로 들어오면 출력
공간에서 구간이 생성되고 입력 공간에서는 각각의 구간에 해당하는 클러스터가 생성되게 된다.
여기서 생성된 구간과 클러스터를 통해 퍼지 규칙을 생성할 수 있다. 얻어진 퍼지 규칙을 토대로 구간기반 입자 모델의 출력을 생성하고 이를 선형회귀
모델의 출력과 결합하여 구간기반 점증적인 입자 모델의 최종 출력을 계산한다. 구간기반 점증적인 입자 모델의 구조는 그림 2에서 나타내고 있으며, 진행순서는 다음과 같다.
[단계 1] 입력 및 출력 공간에서 선형회귀 모델을 설계한다. 선형회귀 모델을 사용하여 오차를 계산하고, 입력-오차 데이터를 생성한다.
[단계 2] 오차 공간에서 구간을 생성한다. 구간은 일반적인 방법은 균등하게 겹치지 않게 분할하는 case 1 방법, 유연하게 겹치지 않게 분할하는
case 2 방법, 균등하게 일정한 범위를 겹치게 분할하는 case 3 방법에 따라 생성된다.
[단계 3] 오차 공간에서 생성된 구간과 대응되는 입력 공간에서 구간기반 퍼지 클러스터링 방법을 수행한다. 구간기반 입자 모델의 설계에서는 구간의
수 $I$와 각각의 구간에서 생성되는 클러스터의 수 $C$를 곱한 $I\times C$개의 클러스터를 생성할 수 있다.
[단계 4] 대응하는 구간에 의해 생성된 클러스터에서 활성함수 값을 얻고, 구간을 통한 가중치에 의해 출력값을 계산한다. 결과적으로 구간기반 입자
모델의 출력은 구간 형태의 퍼지 수를 얻는다.
[단계 5] 선형회귀 모델의 출력과 구간기반 입자 모델의 입자 출력을 결합한다. 결과적으로 최종적인 예측은 $\hat Y =z\oplus\hat E$에
의해 계산된다.
4. 입자 모델에 적합한 성능 평가 방법
성능 평가 방법은 모델의 정확성 및 명백함을 평가할 때 필수적인 요소이며 중요한 척도이다. 모델의 정확성을 평가하는 방법으로 다양한 방법들이 존재한다.
일반적인 성능 평가 방법으로 평균 제곱근 오차, 평균 절대비 오차 등이 있다. 평균 제곱근 오차 방법은 실제 예측값에서 모델 예측값을 빼고 제곱의
평균을 구한 후, 그 값을 제곱근 하여 성능을 평가한다. 평균 절대비 오차 방법은 실체 예측값에서 모델 예측값을 빼고, 모델 예측값으로 나누어 성능을
평가한다. 위 방법들처럼 일반적인 성능 평가 방법들은 수치적인 모델의 예측값을 사용하여 성능을 평가한다. 하지만, 본 논문에서 제안하는 구간기반 점증적인
입자 모델의 최종 출력은 수치적인 값이 아닌 구간 형태의 퍼지 수이기 때문에 일반적인 성능 평가 방법으로 모델을 평가하는 제한이 있다. 그래서 본
논문에서는 입자 모델에 적합한 성능 평가 방법인 성능 지표 방법을 사용하여 모델을 평가한다.
4.1 성능 지표 방법
본 논문에서는 성능 지표 방법을 사용하여 구간기반 점증적인 입자 모델의 예측성능을 평가한다. 성능 지표 방법은 입자 모델 출력의 범위와 특이성을 이용하여
성능을 평가한다. 초기 성능 지표 방법은 Pedrycz가 제안하였으며, 이후 Hu(9), Galaviz(10), Zhu(11), Zhu(12), Alteeq(13) 등에 의해 다양한 성능 지표 방법에 관한 연구들이 진행되었다. 그림 3은 모델 출력 범위(coverage)의 개념을 나타내고 있으며, 그림 4는 모델 출력 특이성(specificity)의 개념을 보여주고 있다.
모델 출력 범위는 실제 출력값이 입자 모델 출력의 상한값과 하한값에 속하는지를 판단한다. 모델 출력에 속하면 1에 가까운 값이 부여되며, 반대로 속하지
않으면 0에 가까운 값이 부여된다. 다시 말해, 입자 모델의 출력인 구간 형태의 퍼지 수 범위에 실제 출력값이 포함되는지를 확인한다. 범위 값이 크면
입자 모델의 성능이 우수하다는 것을 의미한다.
모델 출력 특이성은 입자 모델 출력의 상한값에서 하한값까지의 거리를 나타낸다. 거리가 짧으면 높은 특이성 값이 부여되고, 길이가 길면 낮은 특이성
값이 부여된다. 다시 말해, 입자 모델 출력의 상한값에서 하한값까지의 거리의 정도를 확인한다. 성능 지표 값은 범위와 특이성 개념 간의 균형이 이루어져야
한다. 범위 값이 커지면 특이성 값이 작아지고, 범위 값이 작아지면 특이성 값이 커지는 trade-off 관계이다. 그래서 어느 한쪽에 치우치지 않고
두 값이 균형을 맞추는 것이 중요하다.
그림 3 범위의 개념
Fig. 3 Concept of coverage
그림 4 특이성의 개념
Fig. 4 Concept of specificity
5. 실험 및 결과 분석
본 실험에서는 구간기반 점증적인 입자 모델(case 1, 2, 3)의 예측성능을 비교 분석하기 위해 정수장 응집제 데이터를 이용하여 정수장 응집제
주입 공정에서 응집제를 예측하는 실험을 수행한다.
5.1 정수장 응집제 데이터세트
정수장 응집제 데이터는 서울 강동구 암사 정수장에서 1년 동안 Jar 테스트한 데이터세트로서 입력변수는 원수의 탁도, 온도, pH, 알칼리며, 출력변수는
응집제의 한 종류인 PAC이다. 데이터는 총 346개로 이루어져 있으며, 학습 데이터와 검증데이터를 50:50으로 나누어 사용하였다. 입력변수 간의
값의 크기를 균일하게 다루기 위해 0과 1 사이 값으로 정규화하였다.
5.2 실험 방법 및 결과 분석
구간기반 점증적인 입자 모델에서 출력 공간에 존재하는 구간들의 분할 방법에 따른 case 1, 2, 3의 예측성능을 성능 지표 방법에 따라 비교 분석하였다.
구간기반 점증적인 입자 모델의 예측성능은 4장에서 설명한 범위와 특이성 개념을 사용하는 성능 지표 방법을 통해 확인한다. 구간기반 점증적인 입자 모델의
구간의 수 는 2에서 10까지 1씩 증가하면서 실험을 진행하였다. 각각의 구간에 해당하는 클러스터의 수 는 2에서 10까지 1씩 증가시켰으며, 퍼지화
계수는 2로 고정하였다. 실험은 case 1, 2, 3에 대해서 각각 진행하였다.
그림 5는 학습 데이터를 사용한 구간을 유연하게 겹치지 않게 분할하는 case 2 방법에 대한 성능 지표 결과를 보여주고 있다. 그림 6은 검증데이터를 사용한 case 2 방법에 대한 성능 지표 결과를 보여주고 있다. 그림 5, 6의 x축은 구간의 수를 나타내고, y축은 클러스터의 수를 나타내고 있습니다. z축은 학습 및 검증데이터를 사용한 성능 지표 값을 나타내고 있습니다.
그림 5 학습데이터를 사용한 case 2의 성능 지표 결과값
Fig. 5 Case 2 performance index result value using training data
그림 6 검증데이터를 사용한 case 2의 성능 지표 결과값
Fig. 6 Case 2 performance index result value using testing data
표 1은 각각의 구간기반 점증적인 입자 모델의 우수한 예측 결과를 보여준다. case 1은 구간의 수와 클러스터의 수가 각각 7개였을 때 성능 지표 값이
약 0.585이 나왔으며, case 3은 구간의 수와 클러스터의 수가 각각 6개와 8개였을 때 성능 지표 값이 약 0.587이 나왔다. 마지막으로
case 3은 구간의 수와 클러스터의 수가 각각 9개와 8개였을 때 약 0.643으로 가장 우수한 성능을 보였다. 실험 결과를 분석해보면, 구간을
겹치지 않게 분할하는 것보다 일정한 범위를 겹치게 분할할 때 성능이 우수했으며, 균등하게 분할하는 방법보다 유연하게 분할했을 때 성능이 우수한 것을
확인할 수 있었다. 그림 7은 구간을 유연하게 겹치지 않게 분할하는 case 2 방법을 사용하는 구간기반 점증적인 입자 모델의 예측 결과를 보여주고 있다.
표 1 구간기반 점증적인 입자 모델에 대한 성능 지표 결과(case 1, 2, 3)
Table 1 Performance index results for interval-based incremental granular model (case
1, 2, 3)
예측 모델
|
I
|
C
|
규칙 수
|
학습
성능 지표
|
검증
성능 지표
|
GM
|
4
|
3
|
12
|
0.514
|
0.534
|
Case1
|
7
|
7
|
49
|
0.629
|
0.585
|
Case2
|
9
|
8
|
72
|
0.660
|
0.643
|
Case3
|
6
|
8
|
48
|
0.600
|
0.587
|
그림 7 구간기반 점증적인 입자 모델의 예측 결과(case 2)
Fig. 7 Prediction results for interval-based incremental granular model(case 2)
6. 결 론
본 논문에서는 출력 공간에서 구간을 분할하는 방법에 따른 구간기반 점증적인 입자 모델의 예측성능을 성능 지표 방법을 통해 비교 분석하였다. 실험 결과,
구간을 유연하게 겹치지 않게 분할하는 case 2 방법을 사용할 때 구간이 9개이고 클러스터가 8개일 때 성능 지표 값이 약 0.643으로 가장 우수한
성능을 나타냈다. 결과를 분석해보면, 균등하게 분할하는 방법보다는 확률적인 분포를 통해 유연하게 분할하는 방법이 효과적이며, 겹치지 않게 분할하는
방법보다 겹치게 분할할 때 우수한 성능을 보이는 것을 확인했다. 본 연구를 통해 기존의 컨텍스트기반 퍼지 클러스터링뿐만 아니라 구간기반 퍼지 클러스터링을
이용한 입자모델의 타당성을 확인할 수 있었으며, 출력 공간에서 정보 입자를 생성하는 방법에 따라 모델의 성능에 영향을 주는 것을 확인하였다. 향후
계획으로는 다양한 형태의 정보 입자를 생성하기 위해 타입-2기반 구간 퍼지 클러스터링 등에 대한 연구와 다양한 형태기반 입자모델의 성능을 평가하기
위한 새로운 성능 평가 방법에 관한 연구를 진행할 계획이다.
Acknowledgements
이 논문은 조선대학교 학술연구비의 지원을 받아 연구되었음(2020)
References
L. Wang, 2016, A New Look at Type-2 Fuzzy Sets and Type-2 Fuzzy Logic Systems, IEEE
Trans. Fuzzy Syst., Vol. 25, pp. 693-706
J.I. Hidalgo, S. Massanet, A. Mir, D. Ruiz-Aguilera, 2014, On the Choice of the Pair
Conjunction-Implication into the Fuzzy Morphological Edge Detecto, IEEE Trans. Fuzzy
Syst., Vol. 23, pp. 872-884
C.-S. Lee, M.-H. Wang, S.-T. Lan, 2015, Adaptive Personalized Diet Linguistic Recommendation
Mechanism Based on Type-2 Fuzzy Sets and Genetic Fuzzy Markup Language, IEEE Trans.
Fuzzy Syst., Vol. 23, pp. 1777-1802
J.-S.R. Jang, 1993, ANFIS: Adaptive-network-based fuzzy inference system, IEEE Trans.
Syst. Man Cybern., Vol. 23, pp. 665-685
W. Pedryez, A. Vasilakos, 1999, Linguistic models and linguistic modeling, IEEE Trans.
Syst. Man Cybern, Vol. 29, pp. 745-757
W. Pedrycz, F. Gomide, 2007, Fuzzy Systems Engineering: Toward Human-Centric Computing,
John Wiley & Sons: New York, NY, USA
F. Colace, V. Loia, S. Tomasiello, 2019, Revising recurrent neural networks from a
granular perspective, Appl. Soft Comput, Vol. 82, No. 105535
W. Pedrycz, X. Wang, 2015, Designing Fuzzy Sets with the Use of the Parametric Principle
of Justifiable Granularity, IEEE Trans. Fuzzy Syst., Vol. 24, pp. 489-496
X. Hu, W. Pedrycz, X. Wang, 2016, Granular Fuzzy Rule-Based Models: A Study in a Comprehensive
Evaluation and Construction of Fuzzy Models, IEEE Trans. Fuzzy Syst., Vol. 25, pp.
1342-1355
O. F. Reyes-Galaviz, W. Pedrycz, 2015, Granular fuzzy models: Analysis, design, and
evaluation, Int. J. Approx. Reason., Vol. 64, pp. 1-19
X. Zhu, W. Pedrycz, Z. Li, 2018, Granular Models and Granular Outliers, IEEE Trans.
Fuzzy Syst., Vol. 26, pp. 3835-3846
X. Zhu, W. Pedrycz, L. Zhiwu, 2021, A development of granular input space in system
modeling, IEEE Trans. Cybernetics., Vol. 51, pp. 1639-1650
M. Alateeq, W. A Pedrycz, 2021, comparative analysis of bio- inspired optimization
algoruthms for automated test pattern generation in sequential circuits, Applied Soft
Computing Journal, Vol. 101
저자소개
2016년 2월: 조선대학교 제어계측로봇공학과(학사)
2017년 8월: 조선대학교 제어계측공학과(석사)
2017년 9월 ~ 현재: 조선대학교 제어계측공학과 박사과정수료
관심분야: 입자 컴퓨팅, 계산지능
2002년: 충북대학교 전기공학과 박사 졸업
2003년 ~ 2005년: 캐나다 앨버타대학교 전기 및 컴퓨터 공학과, 박사후과정
2005년 ~ 2007년: 한국전자통신연구원 지능형로봇연구단 선임연구원
2014년 ~ 2015년: 미국 캘리포니아주립대학교 플러튼, 방문교수
2007년 ~ 현재: 조선대학교 전자공학부 교수
관심분야: 계산지능, 인간-로봇상호작용, 바이오인식