Mobile QR Code QR CODE : The Transactions P of the Korean Institute of Electrical Engineers

Korean Journal of Air-Conditioning and Refrigeration Engineering

ISO Journal TitleTrans. P of KIEE

Indexed by
Korea Citation Index(KCI)

Main Menu

Journal Search

[

Research article

]

The Transactions P of the Korean Institute of Electrical Engineers

KIEEP Vol. 71P, No. 01, p.54-60

ISSN (print) :

1229-800X

ISSN (online) :

2586-7792

Received : 22 January 2022Revised : 14 February 2022Accepted : 22 February 2022

DOI :

https://doi.org/10.5370/KIEEP.2022.71.1.54

심전도의 다양한 2차원 변환에 의한 합성곱 신경망기반 개인식별

Personal Identification Based on an Convolutional Neural Networks by Various Two-Dimensional Transform of Electrocardiogram Signals

이진아 (Jin-A Lee) ¹iD 곽근창 (Keun-Chang Kwak) ^†iD

(Dept. of Electronics Engineering, Interdisciplinary Program in IT-Bio Convergence System, Chosun University, Korea.)

^†Corresponding Author: Dept. of Electronics Engineering, Chosun University, Korea. E-mail : kwak@chosun.ac.kr

License :

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

In this paper, we propose personal identification method based on Convolutional Neural Networks (CNN) by various two-dimensional (2D) transform of Electrocardiogram (ECG) signals. For this purpose, various 2D time-frequency representation are peformed by Short-Time Fourier Transform (STFT), Fourier Synchrosqueezed Transform (FSST), and Wavelet Synchrosqueezed Transform (WSST) from one-dimensional ECG signals. The individual identification performance is achieved by transfer learning based on the pretrained GoogleNet and ResNet-101. The performance of experimental results are compared by the well-known PTB-ECG database.

Key words

person identification, electrocardiogram, convolutional neural networks, time-frequency transform, Short-Time Fourier Transform, Fourier Synchrosqueezed Transform

1. 서 론

인공지능의 핵심 기술인 딥러닝으로 인해 인공지능의 기술 분야는 농업, 의료, 금융, 보안 등으로 확대되고 인간의 삶과 일의 질이 향상되고 있다. 하지만 기술의 확산과 발전으로 사이버 보안의 공격이 증가하고 있다^[1]. 이러한 공격을 막기 위해 다양한 개인인식 기술이 연구되고 있다.

기존의 개인인식 방식은 패스워드, 공인인증서, OTP 등을 사용하여 개인의 정보를 보호했지만, 분실, 도난 또는 모방 등의 위험으로 신뢰하기 어렵기 때문에 개인의 생체 정보를 이용한 개인인식 기술이 연구되고 있다^[2]^[3]. 생체인식은 신체적인 특성과 행동학적 특성으로 나눌 수 있다. 신체적인 특성은 얼굴, 지문, 홍채 등이 있고, 행동학적 특성은 사람의 행동적 특징을 의미하며 걸음걸이, 음성, 서명 또는 필체 등으로 이러한 특성들은 빠르게 인식이 가능하기 때문에 현재 많이 사용되고 있는 인식 방법이다. 하지만 신체적인 특성과 행동학적 특성의 경우 다른 사람들과 소통하며 정보를 공유하는 소셜 네트워크에서 개인의 정보는 신체 외부로 쉽게 보여지기 때문에 사진 또는 기록으로 누구나 볼 수 있는 정보로 위변조 위험, 도용, 주변 환경의 영향을 미치는 문제점이 있다. 이러한 문제점을 해결하기 위해 외부로 보여지는 생체인식이 아닌 신체 내부의 신호인 근전도, 뇌전도, 심전도와 같은 신호를 사용하여 개인을 인식하는 연구가 활발히 진행되고 있다.

근전도는 근육의 수축에 의해 발생한 신호를 기록한 것으로, 의료분야, 모션인식 등으로 활용되고 있다. 하지만 근전도를 인식하기 위해서는 각 모션의 신호를 설정해야하고 신호 분석을 위해 정확한 위치에 부착해야 하는 단점이 있다. 뇌전도는 뇌의 전기적인 신호를 전극을 통해 기록하는 것으로, 감성 ICT^[4], 뉴로마케팅, 뇌-컴퓨터 인터페이스^[5], 의료분야 등에서 활용되고 있다. 하지만 다른 인식 방법들과 다르게 뇌전도는 센서를 머리에 착용하여 측정하기 때문에 거부감이 있고, 원하는 측정 위치를 정확하게 부착을 해야 하며, 두개골을 거치면서 신호가 왜곡되는 문제점이 있다. 심전도는 심박동의 전기적인 신호를 전류에 의해 기록한 것으로, 정상적인 사람의 심전도 신호는 P파, QRS 복합파, T파로 구성되어 있으며, 주기적으로 나타난다. P파는 심방의 탈분극, QRS 복합파는 심실의 탈분극, T파는 심실의 재분극에 의해 파형이 나타난다. 심전도는 개인마다 성별, 나이, 심장의 위치, 크기에 따라 다르기 때문에 개인의 고유한 신호이다. 근전도와 뇌전도와 다르게 심전도의 측정 방법은 양쪽 손목에서 간편하게 신호를 측정할 수 있고, 개인의 고유한 신호로 위변조가 어려우며, 질병과 상관없이 모든 사람이 지니고 있는 신호이다^[6]. 심전도는 생체인식을 위한 기술의 7가지 특성인 보편성, 영구성, 유일성, 획득성, 정확성, 기만성, 접근성을 포함한다^[7]. 또한 보안성이 가장 우수하기 때문에 심전도를 사용하여 개인식별을 한다.

심전도의 특징 추출을 위해 Handcrafted와 Non-Handcrafted의 특징방법을 사용할 수 있다. Handcrafted 특징방법은 심전도 신호의 피크, 진폭, 시간 간격 등을 사람이 직접 추출하는 방법으로 신호 왜곡과 성능 저하 문제가 발생한다^[8]^[9]. Non-Handcrafted 특징방법은 LSTM과 2D-CNN을 사용하며, 학습을 통해 특징을 추출하는 방법으로 사람이 직접 추출할 필요 없다. 또한 신호의 형태를 기반으로 특징을 추출하기 때문에 R-피크를 검출하여 신호 분할 과정이 필요하다.

본 논문은 개개인마다 다르게 나타나는 심전도 신호를 이용해 개인식별 하는 것으로 심전도 벤치마킹 데이터베이스인 PTB Database^[10]를 사용하고, Non-Handcrafted 특징방법을 위해 R-피크를 검출하여 일정한 간격으로 신호를 분할하였다. 분할된 심전도 신호는 2차원 시간-주파수 영역으로 변환하고, 신호 분석을 위해 전이학습 모델을 GoogleNet, ResNet-101을 사용하여 성능 결과를 확인한다.

본 논문은 2장은 관련 연구로 벤치마킹 데이터베이스, 심전도의 특징을 추출하는 방법과 심전도를 이용한 딥러닝기반 개인식별에 대해 기술하고, 3장은 시간-주파수 변환 방법에 대해 기술한다. 4장은 시간-주파수 변환기반 2차원 합성곱 신경망에 대해 기술한다. 5장은 실험 결과, 6장은 결론에 대해 기술한다.

2. 관련 연구

2.1 심전도 데이터베이스

심전도 데이터베이스는 개인인식과 질병분류 등을 위해 사용되고 있으며, 주로 사용되고 있는 공개 데이터베이스에 대해 설명한다. MIT-BIH Arrhythmia Database^[11]는 BIH 부정맥 연구소에서 연구한 32세에서 89세 사이의 남성 25명과 여성 22명으로 47명의 피험자가 포함되어 있다. 또한 2채널의 신호로 30분 길이의 48개로 구성되어 있다. 데이터베이스는 보스턴의 Beth Israel Hospital 병원에서 입원 환자와 외래 환자의 심전도 신호로부터 수집되었다. PTB Database^[10]는 독일의 국립 계측 연구소에서 수집된 데이터로 17세에서 87세 사이의 남성 209명, 여성 81명으로 290명의 피험자가 포함되어 있다. 15개의 리드로 측정되었으며, 데이터베이스는 심장질환을 가지고 있는 피험자의 신호와 건강한 피험자의 신호를 포함하고 있다. ECG-ID^[12]는 13세에서 75세 사이의 남성 44명, 여성 46명으로 90명의 피험자로 포함되어 있다. 신호는 리드 I에서 측정되었으며, 한 사람당 6개월 동안 2개에서 20개의 신호로 총 310개를 포함한다.

2.2 특징 추출 방법

심전도 신호의 특징을 추출하기 위해서 Handcrafted와 Non- Handcrafted의 특징 방법을 사용한다.

Handcrafted 특징 추출 방법은 사람이 직접 심전도 신호의 시간 간격, 진폭, 각도, 피크(P, Q, R, S, T) 등에서 심진도의 특성점기반으로 특징을 추출한다^[8]^[9]. Israel^[13]은 심전도기반 개인식별을 하기 위해 P, R, S 피크와 시간 간격을 특징으로 15개의 특징을 추출했다. Jahiruzzaman^[14]는 MIT-BIH Arrhythmia Database를 사용하여 심전도 신호에 시간 영역의 특징 추출을 하기 위해 Continuous Wavelet Transform(CWT)를 사용했다. 또한 암호화 기술을 적용한 후 ID Matching을 사용하여 개인식별을 한다.

Non-Handcrafted 특징 방법은 Handcrafted과 반대로 학습을 통해 특징을 추출하는 방법이다. 또한 심전도 신호의 형태를 기반으로 특성점을 사용하지 않기 때문에 심전도 신호의 특징 추출을 위해 R 피크를 검출하여 일정한 간격으로 분할하는 과정이 필요하다. Abdeldayem^[15]은 심전도를 기반으로 개인 식별하기 위해 다섯 가지의 새로운 접근 방식을 제안했다. 제안된 첫 번째는 심전도 신호 구별을 위해 주기적인 특징을 사용하는 방법이다. 두 번째는 복잡한 계산 감소와 성능 향상을 위해 심전도 신호에 일정한 기간으로 분할하는 방법을 사용한다. 두 번째 방법은 첫 번째의 방법에서의 심전도의 주기적인 특징이 포함해야 한다. 세 번째는 기존 논문과 대조적으로 잡음 제거 단계를 사용하지 않는 것이다. 네 번째는 신호를 주파수 영역으로 변환하여 높은 정확도를 나타내는 2D-CNN을 사용한다. 다섯 번째는 8개의 데이터베이스를 사용하여 하나의 데이터로 결합하고, 488명의 피험자의 심전도 신호를 사용했다. Labati^[16]는 PTB Database를 사용하여 CNN기반 Deep- ECG를 제안했다. CNN은 6개의 컨볼루션 계층, 1개의 드롭아웃 계층, 완전 연결 계층, 소프트맥스 계층으로 구성하여 개인식별을 진행했다. Y. H. Byeon^[17]은 5개의 시간-주파수 표현으로 CNN을 사용하여 심전도기반 생체 인식 성능을 확인하였다. 시간-주파수 표현 방법으로 scalogram, spectrogram, mel spectrogram, log spectrogram, spectrogram, MFCC를 사용하여 전이학습 모델인 VGGNet, ResNet, Xception, DenseNet을 사용했다.

2.3 딥러닝기반 심전도를 이용한 개인식별

최근 심전도를 기반으로 딥러닝을 사용하여 개인식별 관련 연구가 활발히 진행되고 있다. 심전도를 이용한 개인 사용자 인식 연구는 최초로 Biel^[18]에 의해 연구가 진행되었다. D. Jyotishi^[19]는 심전도 신호를 사용하여 개인을 식별하기 위해 LSTM의 셀 출력을 합산하여 분류하는 방법을 제안했다. J. S. Kim^[20]는 심전도 신호의 주기적인 특징을 이용하여 2D 커플링 이미지를 사용한 개인식별을 제안했다. 2D 커플링 이미지를 위해 12개의 컨볼루션 계층, 6개의 최대 풀링 계층으로 구성된 CNN 구조를 사용하여 심전도를 이용한 사용자 인식 방법을 제안했다. M. Hammad^[21]는 ECG기반 인증을 위해 심층 신경망 모델을 제안했다. 첫 번째는 4개의 합성곱 계층과 2개의 최대 풀링 계층, 2개의 완전 연결 계층, 1개의 최대 풀링 계층으로 구성된 1D-CNN 모델을 설계하였다. CNN의 합성곱 연산은 이미지 데이터의 형태학적인 특징을 효과적으로 추출할 수 있다. 두 번째 모델은 2개의 합성곱 계층, 정규화 계층, ReLU 계층, 드롭아웃 계층으로 구성된 첫 번째 계층과 2개의 정규화 계층, 2개의 ReLU 계층, 2개의 드롭아웃 계층, 2개의 합성곱 계층으로 구성된 두 번째 계층의 출력을 합병하여 Attention의 입력으로 사용되는 ResNet-Attention 모델을 설계했다. Attention 구조는 2개의 Dense 계층, ReLU 계층, 소프트맥스 계층을 통해 사용자 인증 성능을 확인한다.

3.시간-주파수 변환 방법

심전도, 근전도, 뇌전도와 같은 생리학적 신호는 잡음의 영향을 많이 받기 때문에 신호를 분석하기 위해 1차원 신호를 시간-주파수 영역으로 변환하여 2차원 이미지로 나타낸다^[22]. 시간-주파수 영역의 변환을 통해 심전도 신호는 Short-Time Fourier Transform(STFT), Fourier Synchrosqueezed Transform(FSST), Wavelet Synchrosqueezed Transform(WSST)로 표현된 이미지를 사용한다.

3.1 STFT

STFT는 시간이 지남에 따라 변하는 신호를 일정한 길이로 분할하여 푸리에 변환에 적용시킨다. 푸리에 변환은 시간 영역의 신호를 주파수로 분해하는 변환이다. STFT는 신호를 분할하는 길이에 따라 시간 또는 주파수의 분해능이 좋음을 확인할 수 있다. 수식 (1)은 신호를 분할하는 과정이고, 수식 (2)는 푸리에 변환의 계산 과정으로, $x(t)$는 시간 t에 대한 신호, $w(t)$는 윈도우 함수, $m$은 윈도우 함수의 중점을 나타낸다^[23].

(1)

$x(m,\: t)= x(t)*w(t-f)$

(2)

$x(m,\: u)=\int_{-\infty}^{\infty}x(t)w(t-m)e^{-iut}dt$

그림 1은 128의 윈도우 길이에 따른 STFT를 보여준다.

그림 1. 128의 윈도우 길이를 가진 STFT

Fig. 1. STFT with a window length of 128

3.2FSST

기계 진동, 음성 및 생리학적 신호 등은 주파수 또는 진폭 변조의 중첩으로 표현될 수 있다. 시간-주파수 분석을 위해 분석 신호의 합은 수식 (3)과 같이 표현할 수 있다. $f(t)$와 $ϕ_{a}(t)$는 $X_{a}(t)$의 분석 신호의 시간-주파수 진폭과 위상, $j$는 $\sqrt{-1}$, $N$은 분석 신호 수이다. FSST는 STFT의 기반으로 선명한 시간-주파수를 생성한다^[24]. 수식 (4)와 같이 스펙트럼 윈도우 g와 함수 $f$를 계산하여 STFT을 변환한다. FSST는 STFT를 구하는 수식에서 $e^{j2\pi\eta t}$를 추가하여 STFT로 변환된 값이 압축되어 표현된다. 수식 (4)부터 수식 (6)은 FSST의 계산 과정을 나타낸다. 그림 2는 1차원인 심전도 신호를 시간-주파수 표현인 FSST로 나타낸 것을 보여준다.

(3)

$f(t)=\sum_{a=1}^{A}f_{a}(t)=\sum_{a=1}^{A}X_{a}(t)e^{j2\pi ϕ_{a}(t)}$

(4)

$K_{g}f(t,\: \eta)=\int_{-\infty}^{\infty}f(s)g(s-t)e^{-j2\pi\eta(s-t)}ds$

(5)

$V_{g}f(t,\: \omega)=\int_{-\infty}^{\infty}H_{g}f(t,\: \eta)\delta(\omega -\omega_{g}f(t,\: \eta))d\eta$

(6)

$\omega_{g}f(x,\: \eta)=\eta -\dfrac{1}{j2\pi}\dfrac{H_{\partial_{g}/\partial_{x}}f(x,\: \eta)}{H_{g}f(x,\: \eta)}$

그림 2. FSST로 표현된 심전도 신호

Fig. 2. An electrocardiogram signal expressed as FSST

3.3WSST

WSST는 음성, 생리학적 신호, 기계 등과 같은 진동이 있는 다성분 신호를 분석하는데 유용한 시간-주파수 표현 방법이다. 또한 WSST는 신호 에너지를 주파수로 재할당하는 표현 방법으로 mather 웨이블릿으로 산란된 효과를 보상할 수 있다^[25]. WSST의 알고리즘 순서는 다음과 같이 나타낸다.

1. 입력 신호의 CWT을 구하기 위해 수식 (7)과 같이 계산한다. C는 CWT를 의미하고, n과 b는 스케일링과 시프트 파라미터를 의미한다.

(7)

$C(n,\: b)=\dfrac{1}{\sqrt{n}}\int_{-\infty}^{\infty}h(t)\psi(\dfrac{t-b}{n})dt$

2. Synchrosqueezing로 표현하기 위해 수식 (8)을 계산하고, CWT의 출력에서 순간 주파수 정보를 추출한다.

(8)

$h_{c}= -i\dfrac{\dfrac{d C(n,\: b)}{db}}{C(n,\: b)}$

3. CWT의 값을 압축하고, 순간 주파수 정보 값은 시간-주파수 영역의 중심에서 단일 값으로 재할당된다. 재할당에 의해 WSST는 선명한 출력을 얻는다.

그림 3. WSST로 표현된 심전도 신호

Fig. 3. An electrocardiogram signal expressed as WSST

4. 시간-주파수 변환기반 2차원 합성곱 신경망

4.1합성곱 신경망

딥러닝은 기계학습의 특정한 한 분야로, 여러 층을 가진 심층 신경망으로 구성된다. 심층 신경망은 입력 계층, 2개 이상의 은닉층, 출력층으로 구성되며, 높은 성능을 기대할 수 있다.

합성곱 신경망은 딥러닝의 아키텍처로 주로 이미지 분야에서 많이 사용되고 있다. 또한 합성곱 신경망은 그림 4와 같이 합성곱 계층, ReLU 계층, 풀링 계층이 반복되며, 입력된 데이터는 합성곱 연산을 통해 특징이 추출된다.

그림 4. 합성곱 신경망의 구조

Fig. 4. The structure of the convolutional neural network

4.2시간-주파수 변환기반 합성곱 신경망

1차원 심전도 신호를 2차원 시간-주파수 변환을 통해 STFT, FSST, WSST의 이미지로 표현하여 이미지 분류 성능이 높은 합성곱 신경망을 사용한다. 합성곱 신경망은 직접 모델을 설계하여 모델을 훈련시키기 위해 많은 데이터 수, 많은 시간, 복잡한 단점이 있기 때문에 합성곱 신경망의 모델로 전이학습을 사용한다. 전이학습은 기존에 만들어진 모델을 사용하여 새로운 데이터를 학습 시키는 방법이다. 또한 전이학습은 직접 설계한 합성곱 신경망과 반대로 작은 데이터 수에도 학습이 가능하다는 장점이 있다. 2차원 변환기반 합성곱 신경망은 GoogleNet, ResNet-101를 사용한다. GoogleNet은 학습이 가능한 22개의 계층과 9개의 인셉션 모듈으로 구성된 심층 네트워크이다. 또한 인셉션 모듈을 포함한 병렬 합성곱 필터로 출력이 연결되어 구성되어 있다^[26]. 그림 6은 인셉션 모듈로 1*1 합성곱, 1*1 합성곱 + 3*3 합성곱, 1*1 합성곱 + 5*5 합성곱, 3*3 최대 풀링 + 1*1 합성곱으로 4가지 연산이 수행된다. 이러한 연산들은 파라미터 수를 감소시키고, 채널의 수를 조절함으로서 필요한 연산량을 줄이기 위해 사용된다. GoogleNet은 그림 5와 같이 구성되어 있다. 하지만 GoogleNet은 심층 신경망으로, vanishing gradient가 생기기 때문에 이를 방지하기 위해 계산된 손실 값을 추가하는 과정으로 훈련 과정 중에만 사용되는 보조 분류기가 포함된다.

그림 5. GoogleNet의 구조

Fig. 5. The structure of GoogleNet

그림 6. GoogleNet의 인셉션 모듈

Fig. 6. GoogleNet's Inception Module

ResNet-101은 33개의 계층인 블록으로 구성되어 있으며, 합성곱 계층은 104개를 포함하고 있다. 1*1 합성곱, 3*3 합성곱, 1*1 합성곱과 같은 병목 계층을 통해 연산을 줄일 수 있으며, Residual Connection을 추가하여 vanishing gradient을 해결할 수 있다. 이를 추가함으로써 신경망의 계층이 깊어 더 높은 성능을 확인할 수 있다^[27]. 그림 7과 그림 8은 각각 ResNet-101의 구조와 Residual Connection을 보여준다.

그림 7. ResNet-101의 구조

Fig. 7. The structure of ResNet-101

그림 8. Residual Connection

Fig. 8. Residual Connection

5. 실험 결과

본 논문은 심전도기반으로 개인식별을 하기 위해 벤치마킹 데이터베이스 PTB를 사용하였다. PTB 데이터베이스는 290명의 피험자로 구성되어 있지만 그 중 R-peak의 감지가 어려운 79명을 제외하고 211명 피험자의 심전도 신호를 사용하였다. 피험자 당 120개의 데이터로 구성되며, 학습 60개, 검증 60개를 사용하였다.

심전도 신호는 잡음에 영향을 크게 미치기 때문에 1차원 심전도 신호를 2차원 이미지로 변환하여 합성곱 신경망을 통해 개인식별한다. 그림 9는 PTB 데이터베이스 신호 중 임의의 2명의 피험자에 대한 STFT, FSST, WSST로 변환시킨 이미지를 보여준다. 그림 9의 심전도 원 신호와 같이 심전도는 사람마다 다르게 나타나는 것을 확인할 수 있고, 사용한 STFT, FSST, WSST의 3개의 변환 방법에 따라 심전도가 다르게 나타내는 것을 확인할 수 있다.

그림 9. 피험자에 대한 시간-주파수 표현

Fig. 9. Time-frequency representation for a subject

시간-주파수로 변환된 2차원 이미지는 합성곱 신경망의 심층 모델인 GoogleNet, ResNet-101를 사용하였다. 데이터는 224*224 크기로 변경하여 입력 데이터로 사용된다. 실험 진행하기 위해 GoogleNet은 최적화 함수 Adam, 초기 학습률 1e-4, 에포크 30, 미니배치사이즈 64로 설정하였다. ResNet-101은 최적화 함수 Adam, 초기 학습률 1e-4, 에포크 20, 미니배치사이즈 32로 설정하였다.

표 1은 PTB 데이터베이스의 2차원 합성곱 신경망을 이용한 개인식별 성능 결과이다. 2개의 전이학습 모델을 사용한 결과 GoogleNet에서 STFT가 98.04%로 가장 높은 성능을 나타내고, FSST는 97.32%, WSST는 97.50%로 성능을 확인할 수 있다. 또한 ResNet-101은 FSST가 98.47%로 가장 우수한 성능을 나타내고, STFT는 98.44%, WSST가 98.29%의 성능을 확인할 수 있다. 심전도 신호를 3개의 변환 방법을 통해 2차원 시간-주파수 영역으로 변환하여 GoogleNet과 ResNet-101를 사용한 결과는 모두 우수하지만 ResNet-101을 사용했을 경우 더 우수한 것을 확인할 수 있다.

표 1 PTB 데이터베이스의 2차원 합성곱 신경망기반 실험 결과

Table 1 2D Convolutional Neural Network Based Experimental Results of PTB Database

	시간-주파수 표현	2D-CNN 검증 정확도
GoogleNet	STFT	98.04%
	FSST	97.32%
	WSST	97.50%
ResNet-101	STFT	98.44%
	FSST	98.47%
	WSST	98.29%

6. 결 론

심전도를 이용한 개인식별은 사용자가 심전도 신호를 등록하여 저장된 심전도 신호와 비교하여 사용자를 인식하는 기술이다. 심전도는 심장의 크기, 위치, 나이 및 성별 등에 따라 다르게 나타나는 신호로 심전도의 특성을 통해 90% 이상인 높은 확률로 개인을 분류할 수 있다. 또한 심전도를 이용하여 개인식별뿐만 아니라 의료 분야로 심장 질병들을 예측하고 진단할 수 있으며, 사용자의 심장 상태를 원격으로 확인이 가능한 기술을 기대할 수 있다.

본 논문에서는 심전도기반으로 2차원 합성곱 신경망을 이용하여 개인식별을 진행했다. 이를 위해 다양한 잡음들로 인한 왜곡된 신호들을 평균 이동 필터, 저역 통과 필터, 고역 통과 필터를 적용하고 기저선을 영점으로 맞춰 왜곡된 신호들의 잡음을 제거하였다. 또한 심전도 신호의 특징을 추출하기 위해 R-peak를 검출하여, R-peak를 기준으로 일정한 간격에 따라 신호를 한 주기로 분할하였다. 분할된 1차원 심전도 신호는 3가지의 시간-주파수 변환 방법 STFT, FSST, WSST에 의해 전이학습인 GoogleNet, ResNet-101을 사용하였다. PTB 데이터베이스를 이용하여 2차원 합성곱 신경망기반 개인식별 성능 결과는 GoogleNet에서 STFT가 98.04%로 가장 높은 성능을 나타내고, ResNet-101에서 FSST가 98.47%로 가장 우수한 성능을 확인할 수 있다. 향후에는 심전도기반 개인식별뿐만 아니라 심전도를 이용하여 감정인식 연구를 진행할 계획이다.

Acknowledgements

본 논문은 2017년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (No.2017R1A6A1A03015496)

References

D. Jeong, 2020, Artificial intelligence security threat, crime, and forensics: Taxonomy and open issues, IEEE Access, Vol. 8, pp. 184560-184574

J. W. Kim, P. K. Rhee, 2018, Image Recognition based on Adaptive Deep Learning, The Journal of the Institute of Internet, Broadcasting and Communication, Vol. 18, No. 1, pp. 113-117

L. Lu, J. Mao, W. Wang, G. Ding, Z. Zhang, Aug. 2020, A Study of Personal Recognition Method Based on EMG Signal, IEEE Transactions on Biomedical Circuits and Systems, Vol. 14, No. 4, pp. 681-691

H. S. Sin, C. Y. Hahm, N. K. Kim, M. K. Kim, S. H. Lee, Y. S. Kim, 2014, Trends of Emotional Information & Communication Technology, Electronics and Telecommunications Trends, Vol. 29, No. 5, pp. 30-39

A. Barros, D. Rosário, P. Resque, E. Cerqueira, 2019, Heart of IoT: ECG as biometric sign for authentication and identification, 2019 15th International Wireless Communications & Mobile Computing Conference (IWCMC), pp. 307-312

X. Jiang, et al., 2021, Cancelable HD-sEMG-Based Biometrics for Cross-Application Discrepant Personal Identification, IEEE Journal of Biomedical, Health Informatics, Vol. 25, No. 4, pp. 1070-1079

K. Rabuzin, M. Baca, M. Sajko, 2006, E-learning: Biometrics as a Security Factor, International Multi- Conference on Computing in the Global Information Technology, pp. 64-64

M. Ingale, R. Cordeiro, S. Thentu, Y. Park, N. Karimian, 2020, ECG biometric authentication: A comparative analysis, IEEE Access, Vol. 8, pp. 117853-117866

Q. Zhang, D. Zhou, X. Zeng, 2017, HeartID: A multiresolution convolutional neural network for ECG-Based biometric human identification in smart health applications, IEEE Access, Vol. 5, pp. 11805-11816

R. Bousseljot, D. Kreiseler, A. Schnabel, 1995., Nutzung der EKG-Signaldatenbank CARDIODAT der PTB über das Internet, Biomedizinische Technik, pp. 317

G. B. Moody, R. G. Mark., 2001, The impact of the MIT-BIH Arrhythmia Database, IEEE Engineering in Medicine and Biology Magazine, Vol. 20, No. 3, pp. 45-50

T. S. Lugovaya, 2005, Biometric human identification based on electrocardiogram

S. A. Israel, J. M.Irvine, A. Cheng, M. D. Wiederhold, B. K. Wiederhold, 2005, ECG to identify individuals, Pattern Recognition, Vol. 38, No. 1, pp. 113-142

M. Jahiruzzaman, A. B. M. A. Hossain, 2015, ECG based biometric human identification using chaotic encryption, 2015 International Conference on Electrical Engineering and Information Communication Technology (ICEEICT), pp. 1-5

S. S. Abdeldayem, T. Bourlai, 2020, A novel approach for ECG-Based human identification using spectral correlation and deep learning, IEEE Transactions on Biometrics, Behavior, and Identity Science, Vol. 2, No. 1, pp. 1-14

R. D. Labati, E. Muñoz, V. Piuri, R. Sassi, F. Scotti, 2019, Deep-ECG: Convolutional neural networks for ECG biometric recognition, Pattern Recognition Letters, Vol. 126, pp. 78-85

Y. H. Byeon, K. C. Kwak, 2019, Pre-Configured Deep Convolutional Neural Networks with Various Time- Frequency Representations for Biometrics from ECG Signals, Applied Sciences, Vol. 9, No. 22, pp. 2076-3417

L. Biel, O. Pettersson, L. Philipson, P. Wide, 2001, ECG analysis: a new approach in human identification, IEEE Transactions on Instrumentation and Measurement, Vol. 50, No. 3, pp. 808-812

D. Jyotishi, S. Dandapat, 2020, An LSTM-Based Model for Person Identification Using ECG Signal, IEEE Sensors Letters, Vol. 4, No. 8, pp. 1-4

J. S. Kim, S. G. Kim, S. B. Pan, 2020, Personal recognition using convolutional nearal network with ECG coupling image, Journal of Ambient Intelligence and Humanized Computing, Vol. 11, pp. 1923-1932

M. Hammad, P. Pławiak, K. Wang, U. R. Acharya, 2021, ResNet-Attention model for human authen ticationusing ECG signals, Expert Systems, Vol. 38, No. 6

Y. H. Byeon, S. B. Pan, K. C. Kwak, 2019., Intelligent deep models based on scalograms of electrocardiogram signals for biometrics, Sensors, Vol. 19, No. 4

K. El-Shennawy, 2014, Communication theory and signal processing for transform coding, Bentham Science Publishers

T. Oberlin, S. Meignen, V. Perrier, 2014, The fourier-based synchrosqueezing transform, 2014 IEEE International Conference on Acoustic,s Speech and Signal Processing (ICASSP), pp. 315-319

A. Kumar, C. P. Gandhi, Y. Zhou, G. Vashishtha, R. Kumar, J. Xiang, 2020, Improved CNN for the diagnosis of engine defects of 2-wheeler vehicle using wavelet synchro-squeezed transform (WSST), Knowledge-Based Systems, Vol. 208

A. Lumini, L. Nanni, 2019, Deep learning and transfer learning features for plankton classification, Ecological Informatics, Vol. 51, pp. 33-43

K. He, X. Zhang, S. Ren, J. Sun, 2016, Deep residual learning for image recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778

저자소개

이진아(Jin-A Lee)

2020년 2월 : 조선대학교 전자공학과(학사)

2020년 3월~현재 : 조선대학교 전자공학과 석사과정

관심분야 : 영상처리, 바이오인식

곽근창(Keun-Chang Kwak)

2002년: 충북대학교 전기공학과 박사 졸업

2003년~2005년: 캐나다 앨버타대학교 전기 및 컴퓨터 공학과, 박사후과정

2005년~2007년: 한국전자통신연구원 지능형로봇연구단 선임연구원

2014년~2015년: 미국 캘리포니아주립대학교 플러튼, 방문교수

2007년~현재: 조선대학교 전자공학부 교수

관심분야: 계산지능, 인간-로봇상호작용, 바이오인식

KIEEThe Transactions P of
the Korean Institute of Electrical Engineers

Korean Journal of Air-Conditioning and Refrigeration Engineering

ISO Journal TitleTrans. P of KIEE

Journal Search

Journal XML

Journal Information

Personal Identification Based on an Convolutional Neural Networks by Various Two-Dimensional Transform of Electrocardiogram Signals

Abstract

Key words

1. 서 론

2. 관련 연구

2.1 심전도 데이터베이스

2.2 특징 추출 방법

2.3 딥러닝기반 심전도를 이용한 개인식별

3.시간-주파수 변환 방법

3.1 STFT

(1)

(2)

3.2FSST

(3)

(4)

(5)

(6)

3.3WSST

(7)

(8)

4. 시간-주파수 변환기반 2차원 합성곱 신경망

4.1합성곱 신경망

4.2시간-주파수 변환기반 합성곱 신경망

5. 실험 결과

6. 결 론

Acknowledgements

References

저자소개

이진아(Jin-A Lee)

곽근창(Keun-Chang Kwak)

Article Information (continued)

Key words

KIEEThe Transactions P ofthe Korean Institute of Electrical Engineers

Korean Journal of Air-Conditioning and Refrigeration Engineering

ISO Journal TitleTrans. P of KIEE

Journal Search

Journal XML

Journal Information

Personal Identification Based on an Convolutional Neural Networks by Various Two-Dimensional Transform of Electrocardiogram Signals

Abstract

Key words

1. 서 론

2. 관련 연구

2.1 심전도 데이터베이스

2.2 특징 추출 방법

2.3 딥러닝기반 심전도를 이용한 개인식별

3.시간-주파수 변환 방법

3.1 STFT

(1)

(2)

3.2FSST

(3)

(4)

(5)

(6)

3.3WSST

(7)

(8)

4. 시간-주파수 변환기반 2차원 합성곱 신경망

4.1합성곱 신경망

4.2시간-주파수 변환기반 합성곱 신경망

5. 실험 결과

6. 결 론

Acknowledgements

References

저자소개

이진아(Jin-A Lee)

곽근창(Keun-Chang Kwak)

Article Information (continued)

Key words

KIEEThe Transactions P of
the Korean Institute of Electrical Engineers