1. 서 론

인공지능(Artificial Intelligence, AI)은 인간의 삶과 관련된 모든 분야에 적용되어 많은 새로운 제품과 서비스가 개발되고 있다. 최근에는 챗GPT(ChatGPT)가 발표되면서 생성형 AI(Generative AI)의 열풍이 일고 있으며 이론적으로 분류되던 일반 인공지능(General AI)의 서막을 알리고 있다. 이러한 흐름과 별개로 인공지능이 가장 가장 많이 발전한 분야 중 하나는 영상처리 및 인식 분야이다. 컴퓨터 관련 기술이 발전하면서 컴퓨터 비전의 한 영역으로 영상인식이 발전해왔는데 영상인식은 영상, 즉 이미지 데이터를 가지고 이미지 처리를 하거나 인공지능 등의 알고리즘을 사용하여 영상에 포함된 의미를 분석 및 해석해 가는 과정이라고 할 수 있다. 디지털 영상 처리에서의 영상인식은 크게 객체 탐지, 객체 인식, 객체 추적, 객체 분류, 객체 분할이 있다. 영상인식의 객체 분할은 시맨틱 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation), 팬옵틱 분할(Panoptic Segmentation) 등이 있다. 객체 분할은 컴퓨터 비전의 다양한 응용 영역에서 사용되고 있다. 그중에는 자율주행, 객체 인식과 추적, 의료영상 분할, 증강 현실(AR)과 가상 현실(VR), 비디오 감시, 이미지 편집과 포렌식 분석, 로봇공학 등이다⁽¹⁾.

최근에는 하드웨어와 소프트웨어의 급속한 발전으로 전통적인 컴퓨터 영상처리 기법에 더해 심층 신경망(Deep Neural Network)은 영상처리와 컴퓨터 비전에서 우수한 성능을 보여왔다. 이러한 심층 신경망은 영상(Image)에서 특징을 추출하여 처리하는 방법으로 딥러닝(Deep Learning)에 기반을 둔 학습 모델을 사용한다. 딥러닝은 학습 과정에서 데이터의 특징을 자체적으로 추출하는데, 영상 기기나 특정 부분에 상관없이 일관된 특징 추출 모델을 가진다. 영상의 객체 분할에서 많이 사용되는 딥러닝 모델 중 하나는 UNet이다. UNet은 기존의 CNN(Convolution Neural Network)의 단점을 개선하여 영상 분할의 성능을 높인 FCN(Fully Convolutional Network)에 기반하고 인코더(encoder)와 디코더(decoder) 구조를 가짐으로써 의미론적 분할에서 매우 우수한 결과를 보여준다^(2,3). 이후 UNet을 개선한 UNet++, UNet3+ 등 다양한 모델이 제안되어 성능이 더욱 향상되었다^(4,5).

UNet++는 더 좋은 성능의 의료 이미지 분할을 위해 인코더와 디코더 하위 네트워크(sub-networks)가 일련의 중첩되고 조밀한 스킵 경로를 통해 연결되는 심층 감독된(deeply-supervised) 인코더-디코더 네트워크 구조를 가진다. 재설계된 스킵 경로는 인코더와 디코더 하위 네트워크의 특징맵 사이의 의미론적 간극(gap)을 줄이는 것을 목표로 하고 이를 통해 의료 이미지 분할에서 UNet보다 더 좋은 성능을 보인다. UNet3+는 의료 영상 분할을 위해 전체 스케일(full-scale)로 연결된 구조이다. 정확한 분할을 위해 중요한 요소 중 하나는 다중 스케일(multi-scale) 특징을 결합하는 것이다. UNet++는 중첩되고 조밀한 스킵 연결을 가지는 아키텍처를 설계하여 변형된 UNet으로 개발되었다. 그러나 전체 스케일에서 충분한 정보를 탐색하지 못하고 여전히 개선의 여지가 있다. UNet3+는 전체 스케일 스킵 연결과 심층 감독(deep supervision)을 활용한다. 전체 스케일 스킵 연결은 다양한 스케일의 특징 맵에서 나온 상위 수준 의미(sementics)와 하위 수준 세부 정보를 통합한다. 심층 감독은 전체 스케일에서 집계된 특징맵에서 계층적 표현을 학습한다.

본 논문의 저자들은 치과에 사용되는 3D CBCT(Cone Beam Computed Tomography) 영상에서 UNet 계열의 딥러닝을 사용하여 치아를 분할하고 성능을 향상하기 위해 스킵 연결(skip connection)을 새로 설계한 레이어(Layered) UNet 모델을 제안했다. 제안된 레이어 Unet 모델은 일반적으로 가장 좋은 성능을 보여온 UNet3+보다 치아 분할에서 우수한 분할 결과를 보여주었다. 레이어 Unet은 UNet3+에서 제안한 상호 연결 및 내부 연결과 UNet++에서 제안한 중첩된 합성곱 블록을 모두 사용한다. 또한 총 8개 노드에 대해 심층 감독을 사용하여 학습하였다. 학습되는 파라미터의 수를 줄이기 위해 합성곱 블록에서 합성곱이 1 또는 2회 연산된다. 이러한 구조를 통해 인코더와 디코더의 하위 네트워크의 특징맵 사이의 의미론적 간극을 줄이고 다양한 스케일의 특징맵에서 상위 수준의 의미와 하위 수준 세부 정보를 통합함으로써 의료 영상 분할의 성능을 향상할 수 있었다⁽⁶⁾.

최근 인공지능은 의료영상치료에 활용되어 많은 성능 향상을 이루어 왔다. 치과에서도 AI는 고품질 환자 치료를 제공하도록 임상의에게 도움이 되고, 예측 가능한 결과를 제공하여 복잡한 프로토콜을 단순화하기 때문에 점점 더 많은 관심 주제가 되고 있다. 임상 치과의 방사선과, 교정과, 치주과, 구강 내과 등에서 AI의 응용 사례 연구가 보고되었다. AI는 치과 방사선과에서 이미지 해석을 개선하고 충치 감지, 이미지 향상, 치료 계획 제안 등에 사용되고 있다. 교정과에서는 치열 교정 발치를 위한 진단, 치료 결과 분석 등에 사용되고 치주과는 급성과 만성 치주 질환의 구분, 치주 손상 치아의 진단 및 예측 등에 사용된다. 구강내과는 구강 암의 위험성 평가, 치조골의 약물 관련 괴사(MRONJ)의 예측 등에 사용된다⁽⁷⁾. 또한 국외 벤처 회사에서는 2D 영상뿐만 아니라 3D CBCT 영상을 이용하는 다양한 소프트웨어가 개발되어 치아 분리를 통한 디지털 셋업의 자동화, 교정 치료 및 양악수술 진단 3D 분석, 정교한 악교정 및 임플란트 수술 계획 수립, 교정 치료 및 수술 전후 3D 결과 분석 등이 이루어지고 있는데 AI를 이용하여 해부학적 랜드마크의 주석과 뼈와 치아 구조의 분할 등이 자동적으로 수행되도록 많은 연구가 이루어지고 실용화되고 있다. 국내 기업들도 AI를 기반으로 다양한 CBCT 및 스캔 메쉬(mesh) 영상으로부터 개별 치아를 자동분할하고 치아 이동을 시뮬레이션하는 기술을 개발하여 치아 임플란트 및 보철 치료에서 크라운 배치와 크기 조정의 자동화, 치근과 치관의 인접 간섭과 충돌을 회피하는 AI 알고리즘을 탑재한 소프트웨어를 상용화하고 있다 ⁽⁸⁾.

콘빔 컴퓨터 단층촬영(CBCT) 이미지에서 3차원(3D)으로 개별 치아를 정확하고 자동으로 분할하는 것은 개별 치아에 인접한 치아 및 주변 치조골에서 이것을 분리하기 어렵기 때문에 쉽지 않은 문제이다. 이를 해결하기 위해 연구가 이루져 왔는데 장태준⁽⁹⁾ 등은 딥러닝 기반의 계층적 다단계 모델을 개발하여 이 문제를 해결하고자 하였다. 다단계 모델은 먼저 위턱과 아래턱의 파노라마 이미지를 자동으로 생성하고, 획득된 2D 파노라마 이미지는 2D 개별 치아를 식별하고 3D 개별 치아의 느슨한 관심 영역(ROI) 및 엄격한 관심 영역을 캡처하는 데 사용된다. 마지막으로, 느슨한 ROI와 엄격한 ROI를 모두 사용하여 정확한 3D 개별 치아 분할이 이루어진다. Cui 등⁽¹⁰⁾은 치과용 CBCT 영상에서 완전 자동으로 치아 및 치조골 분할을 할 수 있는 임상적으로 안정적이고 정확한 딥러닝 기반 AI 시스템을 개발하였다. 이들은 1단계로 ROI 생성 네트워크를 사용하여 먼저 상악과 하악의 전경 영역을 위치화함으로써 고해상도 3D CBCT 영상에서 분할을 수행하는 데 드는 계산 비용을 줄인다. 그런 다음 특정 2단계 심층 네트워크는 포괄적인 기하학적 정보(치아의 계층적 형태학적 구성 요소에 자연적으로 내재되어 있음)를 이용하여 개별 치아를 정확하게 묘사하고 분할한다.

이러한 AI를 이용한 치과를 비롯한 의료영상처리를 위해서는 많은 관련 데이터가 필요하다. 국내에서는 한국지능정보사회진흥원에서 운영하는 AIHub에 치의학 영상의 분할이 가능한 AI 개발을 위해 치아 및 하치조 신경관을 분할하고 치아 번호를 인식할 수 있는 데이터셋 구축 및 AI 모델 생성 시 활용 가능한 치아의 성별, 나이대 정보를 제공한다⁽¹¹⁾.

본 논문에서는 치아 분할을 위해 AIHub에서 제공하는 치아 번호를 인식할 수 있는 데이터셋을 이용하여 치의학 영상의 해부학적 분할이 가능한 인공지능 모델을 개발하고 이를 이용하여 개별 치아별로 치아를 분할하는 소프트웨어를 구현한다. 이를 위해 치아 분할에서 우수한 성능을 보인 레이어 UNet을 사용한다. 치아 번호로 개별 인식된 치아 분할 결과를 이용하면 특정 소프트웨어를 이용하여 골격 안에서 기준에 맞추어 재배열하는 셋업(setup) 모델을 통해 치료를 위한 진단 분석 및 치료 계획 설정과 3D 프린터용 stl 파일 추출 등에 사용될 수 있다. 연구결과를 이용하면 치아교정을 위한 시뮬레이션 소프트웨어를 개발할 수 있으며 자동으로 치아를 분할하고, 사용자는 치아의 이동 등으로 발생할 수 있는 문제점(예를 들면, 특정치아(치아번호로 표시)에 치아우식증 발견) 등을 미리 확인할 수 있다. 본 논문의 내용은 다음과 같다. 2장에서 AIHub에서 제공하는 치아 영상 데이터 셋에 대해 설명하고, 3장에서 치아의 시맨틱 분할을 위한 레이어 UNet과 학습 데이터를 설명한다. 4장에서 시뮬레이션 결과, 마지막으로 5장은 결론을 기술한다.

2. 치아 데이터 셋

AIHub에서 제공되는 구강악 2D⋅３D 이미지는 치의학 영상의 해부학적 세그멘테이션이 가능한 AI 개발을 위해 치아 및 하치조 신경관을 분할하고 치아 번호를 인식할 수 있는 데이터셋 및 AI 모델 생성 시 활용 가능한 치아의 성별과 나이대 정보를 제공한다. 이는 두 가지 형식으로 파노라마 영상에서 치아 인식과 콘빔 CT(CBCT) 영상에서 치아 및 하치조신경관 인식을 위한 데이터 셋이다. 파노라마 방사선 사진(Panoramic radiograph)은 위턱과 아래턱의 파노라마 스캔 치과용 X-Ray로 귀에서 귀로의 반원을 2차원(2D）으로 보여준다. 콘빔 CT는 치아와 경조직을 볼 수 있고 소프트웨어로 다양한 영상을 재구성할 수 있다. 주로 매복치, 치근단 병소, 턱관절의 골변화 등의 평가에 사용할 수 있다. 이를 이용하여 의료영상에서 치아 및 하치조신경관 인식을 필요로 하는 의료용 소프트웨어, 예를 들어 교정치료, 사랑니 발치, 임플란트 시술용 소프트웨어 등 해부학적 구조물을 인식할 수 있는 의료기기를 개발할 수 있다. 표 1은 AIHub에서 제공하는 데이터 셋의 형태와 종류를 나타낸다⁽¹¹⁾. 본 논문에서는 콘빔 CT(CBCT) ３D 데이터 셋 중 치아 데이터 셋을 이용하여 치아의 개별 분할을 위한 딥러닝 모델 학습에 사용하였다.

모든 치아는 치아번호와 함께 제공되고, 특히 인구통계학적 정보인 성별 나이대를 포함하고 있어 AI 모델 생성 시 활용할 수 있도록 제공한다. 그림 1은 AIHub에서 제공하는 데이터 셋의 사례를 보여준다. 이것은 치과에서 많이 사용하는 파노라마 X-ray 영상에서 저작도구를 이용하여 상악 좌우 치아와 하악 좌우 치아의 번호가 색깔별로 구분되도록 라벨링한 것이다. 치아번호는 FDI World Dental Federation notation 방식으로 표기되었다. 제공되는 모든 영상자료는 비식별화가 완료된 정보이며, 개인정보는 생년과 성별 이외에는 모두 제거되어 있다.

산출물이 JPG 그림 파일인 경우 JSON 파일에 어노테이션 정보가 들어가 있고 구조는 표 2와 같다⁽⁸⁾.

그림. 1. 제공되는 치아 데이터 셋 사례

Fig. 1. An example of teeth data-set

어노테이션 정보를 제공하는 JSON 파일 형식은 다음과 같다. 2D의 경우, cordinate을 2개 단위로 3D의 경우 3개를 한 단위로 끊어 읽는다. 데이터 구축 과정은 어노테이션(Annotation）의 정확성을 높이기 위해 애플 펜슬을 이용한 1차 비전문가 어노테이션, 2차 전문가 어노테이션 및 피드백, 3차 최종 승인 단계로 진행되었다. CBCT 데이터를 이용한 3D 어노테이션의 경우 매 슬라이스마다 치아 분할을 수행하고 각 결과를 적층하여 3Ｄ 치아를 구성할 수 있다. 그림 2는 저작도구를 이용한 3D 어노테이션의 사례를 보여준다.

{"data-group": { "id": "2D-C-T",

"name": "2D Cone beam computed tomography for Teeth detection and labeling"},

"case": { "id": 1599051329870,

{"ref": "1.3.6.1.4.1.25403.172056116518522.46876.20200720125053.119",

"status": "IN PROGRESS"},

"facility": {"id": 1,},

"patient": { "id": "00641366","birth_date": "1997","sex": "F "},

"study": {

"name": "standard panoramic",

"protocol": "Normal",

"date": "20200720",

"acquisition_model": "RAYSCAN Alpha "},

"meta": {"width": 2988,"height": 1468},

"annotation": {"tooth":

{ "1": { "status": "normal","coordinate":

[ 834.0,770.0,835.0, ........,1020.0]},

"2": {"status": "lost","coordinate": null },

.............

"28": { "status": "lost", "coordinate": null}}}}

그림. 2. 3Ｄ 어노테이션 사례

Fig. 2. An example of 3Ｄ Annotation

3. 치아 시멘틱 분할 학습

본 논문에서는 AIHub에서 제공하는 치아 데이터 셋을 이용하여 개별 치아를 분할하기 위해 저자들이 이전에 발표한 논문에서 제안한 레이어 UNet을 사용하여 학습하였다. 그림 ３은 레이어 UNet의 구조를 보여준다⁽⁶⁾. 레이어 UNet의 깊이는 그림에 보이는 것과 같이 5로 하였고 초기 특징맵의 수는 32로 다음 수준의 깊이로 가면서 2배씩 특징맵의 수가 늘어난다. 입력 이미지의 크기는 400×400 크기로 사용하였다. 이 값들은 모델 학습을 위한 하이퍼파라미터로 시행착오(trial and error)로 결정하는데 가장 적합한 값으로 정하였다.

그림 3의 인코더 및 디코더의 각 블록 $x^{i,\: j}$에서 이루어지는 연산은 아래 식 (1)과 같다. 학습되는 파라미터는 표 3과 같다.

그림. 3. 학습에 사용된 레이어 UNet 모델

Fig. 3. Layered UNet Model used for training

여기서, $H^{n}(x)=Re LU(Conv(x))with n \times$,

$f^{n}(x)=Re LU(Batch No({Conv}({x})))with n \times$,$u(x,\:n)=Up Sample \left(x,\: 2^{n},\:'bilinear'\right)$, $m(x,\:n)=\max Pool\left(x,\: 2^{n}\right)$,

$\left[x_{1},\: x_{2},\:\cdots ,\: x_{n}\right]=Concatenate\left(x_{1},\: x_{2},\:\cdots ,\: x_{n}\right)$.

AIHub에서 제공하는 치아 데이터 셋의 종류별 수량과 형태는 다음 표 4와 같다. 여기에서 CBCT 영상의 치아분할 데이터 2,000건 1,000,000장을 사용하여 학습하였다. 이 중 제대로 어노테이션 되지 못한 이미지를 제외하고 학습용(train)으로 789,302장, 나머지 100,016장을 검증용(validation)으로 사용하였다.

정확한 분할과 학습 성능을 높이기 위해 손실함수와 성능 평가를 위한 지표로 영상 인식 및 분할에서 많이 사용하는 크로스엔트로피(crossentropy)와 정확도(Accuracy), 그리고 IoU(Intersection over Union)를 사용하였다. 각 지표를 나타내는 수식은 다음과 같다.

4. 시뮬레이션 결과

그림. 4. 학습된 레이어 UNet을 이용한 치아의 시맨틱 분할 결과

Fig. 4. Results of teeth sementation segmentation by trained Layered UNet Model

AIHub 치아 3Ｄ 데이터 셋을 가지고 레이어 UNet 모델을 이용하여 잇몸뼈를 구분하고 각 개별 치아를 자동적으로 시멘틱 분할하는 시뮬레이션을 수행하였다. 추출된 치아는 치아의 뿌리까지 포함하여 온전한 개별 치아 모양을 나타낸다. 레이어 UNet 모델을 이용한 학습, 검증 데이터 셋의 시뮬레이션 결과는 표 5와 같다.

시뮬레이션 결과, 세 가지 지표에서 모두 우수한 결과를 보이는 것을 알 수 있다. 레이어 UNet의 학습을 위한 손실함수로는 크로스엔트로피를 사용하였고 정확도와 그리고 IoU는 결과의 평가를 위한 지표로 사용하였다.

그림 4는 AIHub 데이터 셋으로 학습된 레이어 UNet 모델을 이용하여 이전 논문에서 사용한 치아 데이터를 AIHub와 같은 방식으로 어노테이션 한 치아의 시맨틱 분할 결과를 보여준다. AIHub 제공되는 치아 데이터 셋은 외부 반출이 안되어 그림으로 결과를 보일 수 없어 저자들이 보유하고 있는 치아 데이터를 사용하였다. 학습에 사용되는 치아 데이터셋은 환자 2명(환자 1, 2)의 CBCT 데이터이고, 하나의 CBCT는 280개의 슬라이스 이미지로 이루어져 있다. 학습용 데이터는 총 560개의 슬라이스 이미지에서 이루어져 있다⁽⁶⁾. 색깔별로 구별된 각 치아 번호별로 잘 식별되어 시맨틱 분할이 이루어진 것을 볼 수 있다. 각 슬라이스별 그림에서 첫 번째 열의 그림은 원본 영상이고 두 번째 열의 그림은 어노테이션이다. 세 번째 열은 레이어 UNet에 의해 예측된 결과이다.

그림 5는 환자 1과 2의 분할된 결과를 적층하여 3Ｄ로 구현한 것이다. 일부분이 부정확하게 나타난 부분이 있으나 매우 양호한 것을 볼 수 있다. 그림 6은 환자 2의 3Ｄ 치아 모양을 45도 왼쪽으로 회전한 모습과 환자 2의 3Ｄ 치아 모양에서 치아 번호로 구별하여 상악 14, 15, 16, 17번 치아를 보여준다. 그림 6에서 상악과 하악의 오른쪽 치아가 학습이 잘 안 된 부분이 있음을 알 수 있다.

그림. 5. 학습 결과로 구축한 3D 치아 모양

Fig. 5. 3D teeth shape from results

그림. 6. 3D 치아 모양과 개별 치아 분할

Fig. 6. 3D teeth shape from results and each tooth segmentation

5. 결 론

본 논문에서는 AIHub에서 제공하는 치아 데이터 셋을 이용하여 개별 치아를 시맨틱 분할하기 위해 레이어 UNet을 사용하여 학습하였다. AIHub의 치아 데이터 셋은 치과용 AI 모델을 개발할 수 있도록 2D 파노라마 X-ray 영상과 3D CBCT 영상으로 제공된다. 이전 논문에서 제안한 레이어 UNet은 치아 번호를 구분하지 않는 치아 분할에서 매우 우수한 성능을 보였는데 치아 번호를 부여하여 각 치아별로 구분되는 치아 데이터 셋에 대해서도 우수하게 학습되는 것을 볼 수 있다.

시뮬레이션 결과, 레이어 UNet 모델에 의한 학습 결과는 학습용과 검증용 데이터에 대해 각각 손실함수 값, 0.005, 0.006을 보였다. 다른 평가지표인 정확도와 IoU는 학습용과 검증용 데이터에 대해 각각 (0.99, 0.99)와 (0.89, 0.88)의 결과를 보였다. AIHub 제공 치아 데이터 셋의 반출이 되지 않아 보유한 치아 데이터에 학습된 레이어 UNet을 적용하여 치아를 분할하고 각 슬라이스 별 결과를 적층하여 3Ｄ 치아 모양을 추출하였다. 일부분에서 학습이 잘 안된 부분이 존재하지만 치아별로 잘 구분되어 치아가 추출되었고 개별 치아별로도 추출될 수 있음을 보여주었다.

본 논문 결과를 활용하면 교정치료, 사랑니 발치, 임플란트 시술 등 치아 인식을 필요로 하는 의료용 소프트웨어를 개발할 수 있다. 특히 교정 치료에서 치아의 뿌리까지 고려한 치료를 통해 기존의 방법보다 더 효율적인 치료를 할 수 있을 것으로 예상된다. 이를 위해 향후 다양한 교정 치료 환자 사례를 대상으로 치아 데이터를 확보하여 기존 모델에 전이학습을 통해 성능을 향상하고 개별 치아별로 분할된 결과를 이용한 치아 교정용 시뮬레이션 소프트웨어를 개발하는 연구가 필요하다.