이진아
(Jin-A Lee)
1iD
곽근창
(Keun-Chang Kwak)
†iD
-
(Dept. of Electronics Engineering, Interdisciplinary Program in IT-Bio Convergence
System, Chosun University, Korea.)
Copyright © The Korean Institute of Electrical Engineers(KIEE)
Key words
Deep Neural Network, Medical Image Processing, Cardiac, Image Segmentation
1. 서 론
심장은 생존에 있어 필수적인 신체의 순환계에서 중심적인 역할을 담당하고 있으며, 혈액 펌프, 항상성 유지, 체온 조절 등 다양한 기능을 할 수 있도록
해주는 기관이다. 하지만 성별, 연령, 가족력의 영향을 받거나 흡연, 음주, 스트레스, 당뇨병, 고혈압 등 일상생활에서 영향을 받을 수 있는 심혈관질환은
국내 사망 원인 2위로 높은 유병률을 가진 질환이다[1][2]. 심혈관질환은 초기에 발견할 수 있는 반면, 심장마비, 뇌졸중으로 이어질 수 있기 때문에 조기 예측 및 발견을 위한 심장 기능 분석하는 것이 중요하다.
심혈관질환은 혈액 검사, 심장 초음파, 관상동맥조영술, 심장 컴퓨터 단층 촬영(Cardiac Computed Tomography, CCT), 심장
MRI(Magnetic Resonance Imaging), 심장도관술 등을 통해 진단할 수 있지만, 심장의 구조와 기능, 혈관을 파악하기 위해 비침습적
방법으로 사용되는 심장 초음파, 컴퓨터 단층 촬영, 심장 MRI 등을 사용하여 심장의 기능 분석이 가능하다[3][4]. 심장 초음파는 초음파 파장을 통해 심장의 구조와 기능을 측정하여 진단할 수 있는 영상 기법으로 심장 및 혈관 종양, 심근 경색, 심부전 등 다양한
질환에 대해 파악할 수 있다[5].
심장 컴퓨터 단층 촬영은 X선을 사용하여 심장 구조 및 심장 관련 혈관을 세밀하게 시각화할 수 있는 영상 기법으로 빠른 속도로 심장의 움직임을 파악할
수 있다[6]. 이 영상 기법을 통해 심장의 구조 및 기능, 관상동맥의 형태, 심근경색 등의 질환을 진단할 수 있다[7]. 심장 MRI는 다양한 시퀀스를 사용하여 심장의 구조, 기능, 조직 특성 등을 파악할 수 있을 뿐만 아니라 심장의 이완기 및 수축기를 분석할 수
있어 심장 질환, 심근허혈, 심장판막증 등을 진단할 수 있다. 또한 심장 초음파에서 감지되지 않는 심장의 구조를 확인할 수 있으며, 높은 공간적 해상도와
대조도로 심장 내부 및 주변 구조를 세밀하게 시각화할 수 있다[8].
인공지능의 기술인 딥러닝은 최근 몇 년 동안 각광받고 있는 분야로 의료, 컴퓨터비전, 자율주행, 음성인식 등에 적용되고 있다[9]. 딥러닝은 심층 신경망을 활용하여 대규모의 데이터를 처리할 수 있으며 복잡한 패턴과 특징을 파악할 수 있기 때문에 의료영상 내의 장기 또는 병변의
위치와 종류를 세밀하고 신속하게 진단해야 하는 의료분야에 적합하다[10]. 의료분야에 딥러닝을 적용하여 MRI, CT, X-ray 등 복잡한 의료 영상을 분석 및 해석이 가능하고, 질병·질환을 감지하고 미리 예측하여 조기
진단 및 치료 계획을 세울 수 있다[11]. 또한 의료영상은 개인정보보호 및 기밀 유지로 인해 데이터 양이 제한적이기 때문에 딥러닝 모델을 통해 데이터 확장 기법을 통해 데이터의 다양성을
높일 수 있다. 또한 사전에 훈련된 전이학습 모델을 사용하여 데이터 수가 적은 의료영상을 fine-tuning 하여 성능을 높일 수 있다.
본 논문에서는 딥러닝을 기반으로 심장의 기능적 분석을 위해 구조적인 분할을 하는 것으로 심장 벤치마킹 데이터세트를 사용하여 CETUS(Challenge
on Endocardial Three-dimensional Ultrasound Segmentation) MICCAI challenge 2014 데이터세트에서는
좌심실을 분할하고, ACDC(Automated Cardiac Diagnosis Challenge) MICCAI 2017 데이터세트에서는 좌심실, 우심실,
심장근육을 분할한다. 전처리는 각 데이터세트에 적합한 필터를 사용하고 필터가 적용된 의료영상은 심장의 구조적 분할을 위해 SegNet, DeepLabV3+를
사용하여 성능 결과를 확인한다.
본 논문은 다음과 같이 구성되어진다. 2장은 관련연구로 심장 벤치마킹 데이터베이스와 딥러닝기반 심장영상에서의 구조적 분할에 대해 기술하고, 3장은
각 데이터세트에 적합한 심장영상의 전처리 방법을 설계한다. 4장은 구조적분할을 위한 세 개의 딥러닝 모델에 대해 기술한다. 5장은 영상분할의 평가방법
및 실험결과를 나타내며, 마지막으로 6장은 결론에 대해 기술한다.
2. 관련연구
2.1 심장 데이터베이스
심장 데이터베이스는 심장 MRI 영상, 심초음파 영상, 심전도 데이터, 심장 혈관 조영술 이미지 등 포함되며, 의료 연구, 질환 모니터링, 임상 진단
및 치료 계획 등에서 광범위하게 사용되고 있다. 본 논문은 벤치마킹 데이터베이스를 사용하여 심장질환을 위해 심장의 기능을 분석한다.
CETUS MICCAI challenge 2014 데이터세트[12]는 Thoraxcenter - Erasmus MC – Rotterdam, Rennes University Hospital, KU Leuven의 3개의
병원에서 3개의 초음파 기계로 획득된 데이터로, 45개의 3D 심장 초음파 시퀀스 데이터를 포함하고 있다. 45명의 환자는 3개의 하위그룹으로 균등하게
분포되어 있으며, 건강한 피험자 15명, 심근경색의 병력이 있는 환자 15명, 확장성 심근병증 환자 15명으로 구성되어 있다. Groundtruth
레이블은 세 명의 다른 심장 전문의에 의해 그려졌다.
ACDC MICCAI 2017 데이터세트[13]는 Dijon 대학 병원에서 서로 다른 자기 강도를 가진 1.5T와 3.0T의 MRI 스캐너를 사용하여 획득된 데이터로 150명의 환자를 포함하고
있다. Cine MRI 영상은 단축 방향으로 전향적 및 후향적 게이팅을 통해 호흡 정지 상태에서 SSFP(Steady-state free precession)로
획득됐다. 150명의 환자는 균등하게 5개의 하위 그룹으로 30명의 정상인 환자, 30명의 심근경색의 병력이 있는 환자, 30명의 비대심근병증 환자,
30명의 확장성 심근병증 환자, 30명의 우심실이 비정상적인 환자가 포함되어 있다. Groundtruth 레이블은 10년 이상의 경력이 있는 두 명의
심장 전문의가 좌심실, 우심실, 심장근육에 대해 수동으로 그려 포함되어 있다.
2.2 딥러닝기반 심장영상에서의 구조적 분할
딥러닝 기법은 심장 기능 분석, 종양 검출, 안구 질환, 암 세포 또는 조직의 감지 및 분류, 피부 병변 분석 등 다양한 의료 분야에서 연구가 활발히
진행되고 있다.
생물의학 영상 분할 분야로 의료 영상의 구조와 특징을 위해 효과적을 사용되는 아키텍처에 대해 설명한다. O. Ronneberger[14]은 생물의학 영상을 분할하기 위해 U-Net을 설계했다. U-Net의 아키텍처는 수축경로와 대칭확장경로로 구성되어 정확한 위치 파악이 가능하며, 데이터
증강을 강력하게 활용하여 이미지 수가 적어도 end-to-end로 학습되어 효과적으로 학습이 가능한 신경망이다. Ö. Çiçek[15]은 U-Net의 핵심 아키텍처를 유지하면서 2D 컨볼루션 대신 3D 컨볼루션을 사용하여 2D를 3D로 확장 시킨 3D U-Net의 아키텍처를 제안하여
MRI와 CT 스캔과 같은 3D 의료 영상 데이터에 적합하다. 또한 의료영상에서의 클래스 불균형 문제를 해결하기 위해 Dice 계수를 기반으로 새로운
손실 함수를 제안하여 3D 의료영상에서 세분화 성능을 향상시켰다.
MR Avendi[16]는 단축 심장 MRI 데이터세트에서 좌심실을 자동으로 감지하여 분할하기 위해 분할도구를 개발하고 딥러닝 알고리즘과 변형 가능한 모델을 통합하여 세분화의
견고성과 정확성을 향상시켰다. J. Duan[17]은 완전 컨볼루션 네트워크와 아틀라스 전파를 결합하여 단축 심장 MRI 이미지의 bi-ventricular segmentation을 위한 파이프라인을
제안했다. 다중 작업 딥러닝 접근법을 사용하여 2.5D 표현을 사용하므로 3D 공간 일관성을 유지하면서 2D FCN의 계산적 이점과 세분화 품질을
위해 설계되었다. T. Liu[18]는 자동 심장 분할 및 진단을 위한 프레임워크로 심장 MRI 데이터의 intra-slice 정보 정보를 압축하기 위해 잔여 컨볼루션 신경망과 inter-slice
문맥을 활용하기 위한 Bi-CLSTM으로 구성되어 있다.
3. 심장영상의 전처리 방법
심장의 구조적 특징, 형태 유지, 잡음 제거 및 선명도 향상을 위해 적응형 잡음 제거 필터링, 중앙값 필터링, 가우스 필터링, speckle 필터링을
사용하여 구조적 유사도 지수를 계산하여 원본과 가장 가까운 필터를 사용하여 각 데이터에 맞는 필터링을 사용하였다. 그림 1과 2는 각 데이터세트의 필터링 방법에 따른 구조적 유사도를 계산한 일부 결과를 나타낸다.
그림 1. CETUS MICCAI challenge 2014 데이터세트의 필터링 방법에 따른 구조적 유사도 결과 예시
Fig. 1. Examples of structural similarity results according to the filtering method
of the CETUS MICCAI challenge 2014 dataset
그림 2. ACDC MICCAI 2017 데이터세트의 필터링 방법에 따른 구조적 유사도 결과 예시
Fig. 2. Architecture of SegNetExamples of structural similarity results according
to the filtering method of the CETUS MICCAI challenge 2014 dataset
3.1 CETUS MICCAI challenge 2014
CETUS MICCAI challenge 2014 데이터세트[12]는 실시간으로 심장의 운동을 관찰하는 심장 초음파로 획득된 데이터로 환자의 움직임, 호흡, 신호 간섭 등으로 인해 이상치가 발생할 수 있어 이는 영상
품질 저하 및 정확한 진단이 어려울 수 있다. 이상치 값을 제거하기 위해 영상에 맞는 백분위 수를 지정하여 그 사이의 픽셀 값들을 정규화하기 위해
0과 1 사이의 값으로 변환하였다. 또한 조직 내에서 초음파 파장이 산란 및 반사되면서 발생하는 잡음으로, 이 speckle 잡음을 줄이기 위해 구조적
유사도가 1에 가까운 speckle 필터링을 사용하여 세부 구조, 윤곽선을 유지하며 품질 개선을 위해 사용하였다.
3.2 ACDC MICCAI 2017
ACDC MICCAI 2017 데이터세트[13]는 Cine MRI로 취득된 심장 데이터로 명암 대비, 영상 밝기, 취득 장비의 설정 및 잡음, 비정상적인 조직에 의해 생기는 변화 등 다양한 잡음이
포함된다. 이로 인해 생기는 이상치 값들을 제거하기 위해 CETUS MICCAI challenge 2014 데이터세트에서 사용한 정규화를 동일하게
적용하여 그림 2와 같이 심장의 구조 및 특징에 대해 원본과 가장 유사한 적응형 필터링을 사용하여 명암 대비, 영상의 밝기가 조정된 것을 확인할 수 있다.
그림 3은 ACDC MICCAI 2017 데이터세트에 대해 잡음을 제거한 정상 환자와 비정상적인 우심실을 가진 환자에 대한 예시이다. 이완기(End-Diastole,
ED)와 수축기(End-Systole, ES)으로 나누어 환자에 따른 심장의 구조로 좌심실은 초록색, 우심실을 파란색, 심장근육은 빨간색으로 나타낸다.
그림 3. ACDC MICCAI 2017 데이터세트에 대한 정상 환자와 비정상적인 환자의 심장의 구조 예시
Fig. 3. Example structure of the cardiac of normal and abnormal patients for the ACDC
MICCAI 2017
4. 구조적 분할을 위한 딥러닝 모델
딥러닝 모델은 의료영상 내의 질병 진단, 장기 및 병변 분할에 사용되며, 의료영상 분할에 사용되는 모델은 U-Net, DeepLabV3+, SegNet,
ResNet 등이 있다. 본 논문에서는 SegNet과 DeepLabV3+의 백본 네트워크로 MobileNetV2, InceptionresnetV2을
사용한다.
4.1 SegNet
SegNet[19]은 시맨틱 분할을 위해 제안된 아키텍처로 의료 영상을 포함한 다양한 분야에서 사용되고 있다. 그림 4는 SegNet의 아키텍처이다. SegNet은 U-Net과 유사하게 skip connection이 있는 인코더-디코더 구조로 구성되어 있다. 이 네트워크는
인코더 단계에서 풀링 인덱스를 사용하기 때문에 메모리의 효율성을 높일 수 있으며 local 및 global 컨텍스트 정보를 캡처하고 디코딩 과정에서
세분화된 세부 정보를 복구시킬 수 있다. SegNet은 정확한 픽셀 단위의 세분화 문제를 위해 설계된 네트워크로 장기와 병변의 픽셀 단위 분할이 필요한
의료영상에 적합하다.
그림 4. SegNet의 아키텍처
Fig. 4. Architecture of SegNet
4.2 DeepLabV3+
DeepLabV3+[20]는 인코더-디코더 구조로, 백본 네트워크와 ASPP(Atrous Spatial Pyramid Pooling)로 구성되어 있다. 백본 네트워크는 DCNN으로
MobileNetV2, InceptionresnetV2, Xception, ResNet 등 사용할 수 있으며, atrous 컨볼루션를 이용하여 세밀한
특징 맵을 사용할 수 있다. atrous 컨볼루션은 그림 5와 같이 수용 필드 사이에 간격을 추가하여 확장하는 구조를 가진 컨볼루션 연산의 유형으로 간격을 나타내는 r의 값에 따라 다양한 수용 필드 크기에서
영상을 분석할 수 있다.
그림 5. Atrous Convolution
Fig. 5. Atrous Convolution
ASPP는 그림 6과 같이 1×1 컨볼루션 레이어, 서로 다른 간격을 가진 atrous 컨볼루션 레이어, 풀링의 병렬 작업을 통해 다양한 크기의 수용 필드 특징을 융합하기
위한 기법이다. 이는 다중 스케일 컨텍스트 정보를 사용하여 영상 분할의 정확도를 기대할 수 있다.
그림 7은 DeepLabV3+의 아키텍처로 인코더 단계에는 DCNN으로 백본 네트워크를 통해 특징을 추출하고 컨텍스트 정보를 추출하고 다중 스케일 컨텍스트
정보를 위해 ASPP을 사용한다. 디코더 단계는 인코더에서 생성된 특징을 업샘플링하고 skip connection과 융합을 진행한 후 3×3 컨볼루션을
통해 업샘플링을 하는 구조이다. 본 논문에서 사용하는 백본 네트워크는 Mobile NetV2, inceptionresnetV2이다.
MobileNetV2[21]은 모바일, 리소스가 제한된 장치에서 효율적인 컴퓨터비전 분야의 작업을 하기 위한 아키텍처로 매개변수 수와 계산 복잡성을 줄여 메모리 성능 문제,
속도 측면에서 이상 없이 효율적으로 사용할 수 있다. MobileNetV2을 DeepLabV3+의 백본 네트워크로 사용하면 대용량의 의료영상 데이터를
처리 속도 문제와 메모리 문제를 해결할 수 있으며, 의료영상에서의 질병 및 질환을 실시간으로 분석 및 진단 하는 것을 기대할 수 있다. InceptionresnetV2[22]는 다중 스케일 표현을 위해 inception 모듈과 ResNet의 잔여 연결의 이점을 결합한 아키텍처로 의료영상을 세밀하고 정확한 분할이 가능하며,
복잡한 패턴과 특징을 효과적으로 추출할 수 있다.
그림 7. DeepLabV3+의 아키텍처
Fig. 7. Architecture of DeepLabV3+
5. 분할 성능평가 방법 및 실험결과
5.1 분할 성능평가지표
의료영상 내의 장기, 병변을 분할한 성능 결과의 정확성, 신뢰성, 해석 및 이해를 위해 성능평가지표가 사용된다.
Accuracy는 각 클래스에 대해 올바르게 식별된 픽셀의 백분율로, 식 (1)과 같이 분할 결과에서 올바르게 분류된 픽셀의 수를 총 픽셀 수로 나눈 값을 나타낸다. TP(True Positive)는 실제 양성 픽셀을 양성으로
올바르게 예측한 픽셀 수를 나타내고, TN(True Negative)는 실제 음성 픽셀을 음성으로 올바르게 예측한 픽셀 수를 나타낸다. FP(False
Positive)는 실제 음성 픽셀을 양성으로 잘못 예측한 픽셀 수를 나타내며, FN(False Negative)는 실제 양성 픽셀을 음성 픽셀로
잘못 예측한 픽셀 수를 나타낸 것이다. 여기서, 양성은 관심 대상이 있는 영역 또는 클래스를 의미하며 음성은 관심 대상이 아닌 영역 또는 배경을 의미한다.
DSC(Dice Similarity Cofficient)는 분할된 결과와 Ground Truth의 유사도를 측정하여 분할 정확성을 평가하는 방법이다.
DSC은 식 (2)와 같이 나타낸다.
P는 분할 결과로 양성으로 분류된 영역, T는 실제 양성 영역, $| P\cap T |$는 실제 양성 영역과 분할 결과의 교차 영역, $| P |$는
분할 결과로 양성으로 분류된 픽셀 수, $| T |$는 실제 양성 영역의 픽셀 수를 의미한다. DSC는 1에 가까울수록 분할된 결과와 Ground
Truth가 유사함을 의미한다.
IoU(Intersection over Union)는 분할 결과와 Ground Truth 영역이 겹치는 부분을 통해 일치 정도를 계산한다. IoU의
공식은 식 (3)과 같이 정의할 수 있으며, P는 양성으로 분류된 영역, T는 실제 양성인 영역, $P\cup T$는 분할된 결과와 실제 영역 중 하나의 픽셀이라도
양성으로 분류된 영역으로 의미한다. $P\cap T$ 는 분할된 결과와 실제 영역이 양성으로 분류된 픽셀의 수를 나타내며, IoU는 DSC와 유사하게
1에 가까울수록 분할된 결과가 실제 영역과 일치한다는 것을 의미한다.
5.2 실험결과
심장 벤치마킹 데이터세트를 사용하여 심장 초음파영상에서 좌심실을 분할하고 심장 MRI 영상에서의 좌심실, 우심실, 심장근육을 분할하여 심장의 구조적
분할 실험을 진행했다. 각 데이터세트는 이상치 값을 제거하고 0과 1 사이로 정규화하는 작업과 데이터 특성에 맞게 초음파 영상에서 발생하는 speckle
잡음을 위해 speckle 필터링을 적용하고, MRI 영상에서 발생하는 취득 장비로 인한 잡음, 밝기, 명암 등 다양한 잡음을 제거하기 위해 적응형
잡음 제거 필터를 사용하였다. 두 개의 데이터세트의 최적화 함수로 adam이 사용되었고, CETUS MICCAI challenge 2014 데이터세트의
경우 SegNet의 영상 입력 크기는 252×252×3, 초기 학습률 0.01, 에포크 300, 미니배치사이즈 8, 신경망 검증 빈도 20으로 설정하였고,
MobileNet의 영상 입력 크기는 352×256×3, 초기 학습률 1e-4, 학습률 감소 인자 0.8, L2 정규화 인자 0.009, 에포크 300,
미니배치사이즈 8, 신경망 검증 빈도 20으로 설정하였다. 또한 InceptionresnetV2의 입력 크기는 352×299×3, 초기 학습률 1e-4,
학습률 감소 인자 0.8, L2 정규화 인자 0.009, 에포크 300, 미니배치사이즈 8, 신경망 검증 빈도 20으로 설정하였다. ACDC MICCAI
2017 데이터세트 경우 SegNet의 영상 입력 크기는 224×224×3, 초기 학습률 0.01, 에포크 50, 미니배치사이즈 8, 신경망 검증
빈도 20으로 설정하였고, MobileNetV2와 InceptionresnetV2의 영상 입력 크기는 299×299×3, 초기 학습률 1e-4, 학습률
감소 인자 0.8, L2 정규화 인자 0.009, 에포크 300, 미니배치사이즈 8, 신경망 검증 빈도 20으로 설정하였다.수직 및 수평이동, 회전을
통해 데이터를 증강함으로써 의료영상이 변형되는 다양한 영상을 사용하여 과적합을 방지할 수 있다. 또한 환자마다 영상 내의 장기, 병변이 일정한 위치,
모양이 아니기 때문에 위치와 방향 변화에도 정확도가 향상을 기대할 수 있다.
표 1은 CETUS MICCAI challenge 2014 데이터세트의 좌심실 분할 결과는 이완기에서 Accuracy, DSC, IoU 모두 높은 성능을
확인할 수 있다. SegNet은 Accuracy가 98.1%로 가장 높은 성능을 나타내고 1에 가까운 값일수록 높은 성능을 나타내는 DSC와 IoU는
Inceptionresnetv2에서 각 0.93, 0.88로 SegNet과 MobileNet에 비해 우수한 성능을 확인할 수 있다. 표 2는 ACDC MICCAI 2017 데이터세트의 좌심실, 우심실, 심장근육을 분할한 결과로 이완기, 수축기 모두 좌심실이 우심실과 심장근육보다 높은
성능으로 분할된 것을 확인할 수 있으며, SegNet은 MobileNetV2과 InceptionresnetV2에 비해 DSC, IoU 성능이 낮은
것을 확인하였다.
표 1 CETUS MICCAI challenge 2014 데이터세트의 좌심실 분할 결과
Table 1 Left ventricular segmentation results from the CETUS MICCAI challenge 2014
dataset
|
CETUS MICCAI challenge 2014 Dataset
|
LV
|
|
ED
|
ES
|
|
SegNet
|
Accuracy
|
98.1%
|
97.68%
|
|
DSC
|
0.84
|
0.79
|
|
IoU
|
0.73
|
0.66
|
|
MobileNetV2
|
Accuracy
|
87.79%
|
84.18%
|
|
DSC
|
0.9
|
0.87
|
|
IoU
|
0.82
|
0.77
|
|
Inceptionresnetv2
|
Accuracy
|
92.27%
|
89.7%
|
|
DSC
|
0.93
|
0.92
|
|
IoU
|
0.88
|
0.85
|
표 2 ACDC MICCAI 2017 데이터세트의 좌심실, 우심실, 심장근육 분할 결과
Table 2 Left ventricle, right ventricle, and cardiac muscle segmentation results from
the ACDC MICCAI 2017 dataset
|
ACDC MICCAI 2017 Dataset
|
ED
|
ES
|
|
RV
|
LV
|
Myo
|
RV
|
LV
|
Myo
|
|
SegNet
|
Accuracy
|
84.65%
|
93.93%
|
67.28%
|
72.45%
|
87.29%
|
83.75%
|
|
DSC
|
0.7
|
0.89
|
0.57
|
0.58
|
0.86
|
0.68
|
|
IoU
|
0.58
|
0.83
|
0.42
|
0.43
|
0.76
|
0.52
|
|
MobileNetV2
|
Accuracy
|
81.4%
|
94.63%
|
82.56%
|
86.46%
|
91.99%
|
87.27%
|
|
DSC
|
0.86
|
0.95
|
0.84
|
0.81
|
0.93
|
0.87
|
|
IoU
|
0.77
|
0.92
|
0.72
|
0.72
|
0.88
|
0.76
|
|
InceptionresnetV2
|
Accuracy
|
84%
|
90.34%
|
84.57%
|
85.58%
|
82.92%
|
89.74%
|
|
DSC
|
0.85
|
0.88
|
0.78
|
0.73
|
0.89
|
0.85
|
|
IoU
|
0.79
|
0.88
|
0.69
|
0.74
|
0.85
|
0.74
|
6. 결 론
심장의 기능적 분석을 위한 구조적 분할은 높은 유병률을 가진 심혈관질환을 조기 예측 및 신속한 진단·치료를 하기 위해 사용된다. 심혈관질환은 나이,
성별, 가족력, 흡연, 스트레스 등 다양한 원인으로 발생할 수 있는 질환으로 본 논문에서는 심장의 구조와 기능, 혈관을 파악할 수 있는 CETUS
MICCAI challenge 2014 데이터세트와 ACDC MICCAI 2017 데이터세트를 사용하고, 각 데이터 특성을 유지하면서, 잡음 제거를
위해 4개의 필터링 방법 중에 구조적 유사도가 가장 높은 필터를 사용하여 영상의 품질을 향상시켰다. 잡음이 제거된 영상은 SegNet과 DeepLabV3+의
백본 네트워크로 MobileNet, InceptionresnetV2를 사용하였고, 분할 성능평가방법으로 Accuracy, DSC, IoU를 통해 CETUS
MICCAI challenge 2014 데이터세트에서의 좌심실 분할, ACDC MICCAI 2017 데이터세트에서의 좌심실, 우심실, 심장근육을 분할하였다.
CETUS MICCAI challenge 2014 데이터세트의 좌심실 분할 결과는 SegNet이 Accuracy가 가장 높지만 Inceptionresnetv2의
DSC와 IoU가 가장 높은 성능을 확인하였다. ACDC MICCAI 2017 데이터세트의 좌심실, 우심실, 심장근육을 분할한 Accuracy,
DSC, IoU의 성능 결과를 통해 좌심실의 분할이 우심실과 심장근육에 비해 높은 성능으로 분할된 것을 확인하였다. 또한, 두 개의 데이터세트에 대한
실험 결과는 초음파 영상과 MRI 영상에 포함된 잡음 종류와 잡음 제거를 위한 필터에 따라 다르게 나타날 수 있기 때문에 본 논문의 실험을 통해 차이를
인식하고 각 데이터세트에 적합한 다양한 모델과 파라미터를 통해 최적의 모델을 선택하여 성능을 평가할 수 있다.
Acknowledgements
본 연구는 본 논문은 2017년도 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (No. 2017R1A6A1A03015496).
또한, 본 연구는 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신산업진흥원의 지원을 받아 수행된 헬스케어 AI 융합 연구개발사업임(No.
S0316-21-1001).
References
“Statistics on causes of death in 2021,” National Statistical Office, 2022.
J. J, Cho, “Stress and cardiovascular disease,” Journal of the Korean Medical Association,
vol. 56, no. 6, pp. 462- 470, 2013.
C. Chen, C. Qin, H. Qiu, G. Tarroni, J. Duan, W. Bai, D. Rueckert, “Deep learning
for cardiac image segmentation: a review,” Frontiers in Cardiovascular Medicine, vol.
7, 2020.
M. S. Cohen, B. W. Eidem, F. Cetta, M. A. Fogel, P. C. Frommelt, J. Ganame, B. K.
Han, T. R. Kimball, R. K. Johnson, L. Mertens, S. M. Paridon, A. J. Powell, L. Lopez,
“Multimodality Imaging Guidelines of Patients with Transposition of the Great Arteries:
A Report from the American Society of Echocardiography Developed in Collaboration
with the Society for Cardiovascular Magnetic Resonance and the Society of Cardiovascular
Computed Tomography,” Journal of the American Society of Echocardiography, vol. 29,
no. 7, pp. 571-621, 2016.
S. Leclerc et al., “Deep Learning for Segmentation Using an Open Large-Scale Dataset
in 2D Echocardiography,” in IEEE Transactions on Medical Imaging, vol. 38, no. 9,
pp. 2198-2210, 2019.
V. Bui, L. -Y. Hsu, L. -C. Chang and M. Y. Chen, “An automatic random walk based method
for 3D segmentation of the heart in cardiac computed tomography images,” 2018 IEEE
15th International Symposium on Biomedical Imaging, pp. 1352-1355, 2018.
S. M. Ko, S. H. Hwang, H. J. Lee, “Role of Cardiac Computed Tomography in the Diagnosis
of Left Ventricular Myocardial Diseases,” vol. 27, no. 2, pp. 73-92, 2019.
M. Stachera, P. Przybyło, K. Sznajder, M, Gierlotka, “Cardiac magnetic resonance in
the assessment of hypertrophic cardiomyopathy phenotypes and stages – pictorial review,”
Polish Journal of Radiology, vol. 86, no. 1, pp. 672-684, 2021.
Z. Rguibi, A. Hajami and Z. Dya, “Explaining Deep Neural Networks in medical imaging
context,” 2021 IEEE/ACS 18th International Conference on Computer Systems and Applications
(AICCSA), Tangier, Morocco, pp. 1-2, 2021.
S. Patel, “An Overview and Application of Deep Convolutional Neural Networks for Medical
Image Segmentation,” 2023 Third International Conference on Artificial Intelligence
and Smart Energy (ICAIS), Coimbatore, India, pp. 722-728, 2023.
M. Mahmud, M. S. Kaiser, A. Hussain and S. Vassanelli, “Applications of Deep Learning
and Reinforcement Learning to Biological Data,” in IEEE Transactions on Neural Networks
and Learning Systems, vol. 29, no. 6, pp. 2063- 2079, 2018.
O. Bernard, B. Heyde, M. Alessandrini, D. Barbosa, S. Camarasu-Pop, F. Cervenansky,
S. Valette, O. Mirea, E. Galli, M. Geleijnse, A. Papachristidis, J. Bosch, J. D'hooge,
“Challenge on Endocardial Three-dimensional Ultrasound Segmentation (CETUS),” The
MIDAS Journal, 2014.
O. Bernard, A. Lalande, C. Zotti, F. Cervenansky, et al. “Deep Learning Techniques
for Automatic MRI Cardiac Multi-structures Segmentation and Diagnosis: Is the Problem
Solved ?,” in IEEE Transactions on Medical Imaging, vol. 37, no. 11, pp. 2514-2525,
2018
O. Ronneberger, P. Fischer, T. Brox, “U-Net: Convolutional Networks for Biomedical
Image Segmentation,” Medical Image Computing and Computer-Assisted Intervention–MICCAI
2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings,
Part III 18, pp. 234-241, 2015.
Ö. Çiçek, A. Abdulkadir, S. S. Lienkamp, T. Brox, O. Ronneberger, “3D U-Net: Learning
Dense Volumetric Segmentation from Sparse Annotation,” Medical Image Computing and
Computer- Assisted Intervention–MICCAI 2016: 19th International Conference, Athens,
Greece, October 17-21, 2016, Proceedings, Part II 19, pp. 424—432, 2016.
MR Avendi, A. Kheradvar, H. Jafarkhani, “A combined deep-learning and deformable-model
approach to fully automatic segmentation of the left ventricle in cardiac mri,” Medical
image analysis, vol. 30, pp. 108-119, 2016.
J. Duan et al., “Automatic 3D Bi-Ventricular Segmentation of Cardiac Images by a Shape-Refined
Multi- Task Deep Learning Approach,” in IEEE Transactions on Medical Imaging, vol.
38, no. 9, pp. 2151-2164, 2019.
T. Liu, Y. Tian, S. Zhao, X. Huang and Q. Wang, “Residual Convolutional Neural Network
for Cardiac Image Segmentation and Heart Disease Diagnosis,” in IEEE Access, vol.
8, pp. 82153-82161, 2020.
V. Badrinarayanan, A. Kendall and R. Cipolla, “SegNet: A Deep Convolutional Encoder-Decoder
Architecture for Image Segmentation,” in IEEE Transactions on Pattern Analysis and
Machine Intelligence, vol. 39, no. 12, pp. 2481-2495, 2017.
L. C. Chen, Y. Zhu, G. Papandreou, F. Schroff, H. Adam, “Encoder-decoder with atrous
separable convolution for semantic image segmentation,” Proceedings of the European
conference on computer vision (ECCV), pp. 801-818, 2018.
M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, L. C. Chen, “Mobilenetv2: Inverted residuals
and linear bottlenecks,” Proceedings of the IEEE conference on computer vision and
pattern recognition, pp. 4510-4520, 2018.
C. Szegedy, S. Ioffe, V. Vanhoucke, A. Alemi, “Inception-v4, inception-resnet and
the impact of residual connections on learning,” Proceedings of the AAAI conference
on artificial intelligence, vol. 31, no. 1, 2017.
저자소개
2020년 2월 : 조선대학교 전자공학과(학사)
2020년 3월~2022년 2월 : 조선대학교 전자공학과 석사 졸업
2022년 3월~현재: 조선대학교 전자공학과 박사과정
관심분야 : 의료영상처리, 바이오인식
2002년: 충북대학교 전기공학과 박사 졸업
2003년~2005년: 캐나다 앨버타대학교 전기 및 컴퓨터 공학과, 박사후과정
2005년~2007년: 한국전자통신연구원 지능형로봇연구단 선임연구원
2014년~2015년: 미국 캘리포니아주립대학교 플러튼, 방문교수
2007년~현재: 조선대학교 전자공학부 교수
관심분야: 계산지능, 인간로봇상호작용, 바이오인식