3.1 STFT(Short-Time Fourier Transform)

STFT는 스펙트로그램의 기반이 되는 시간-주파수 영역을 모두 분석할 수 있는 기법이다. 이는 시간의 흐름에 따라 변하는 일정하지 않은 음성신호를 특정 시간 단위로 나누어, 푸리에 변환을 적용하는 것으로 식(1)과 같이 정의한다⁽¹⁰⁾.

여기서 x(n)은 시간에 따른 입력 신호, w(n)은 윈도우 함수이다. 본 논문에서는 윈도우 크기는 400, 중첩 샘플의 개수는 240, 이산 푸리의 변환을 적용할 지점의 개수는 512로 지정하였고, 사용된 모든 특징 추출 방법은 STFT를 기반으로 했다.

3.2 바크 스펙트로그램(Bark Sepectrogram)

바크 스케일(Bark scale)은 주파수의 정신 음향학적 측정값으로, 가청 범위를 사람의 청각 시스템과 생리학적 의미에서 같은 24개의 대역으로 나눈다. 이는 음성신호에서 중요한 요소가 있는 특정 대역에 대해 표현하는 데 있어 우수하다. 이러한 바크 스케일 주파수를 기반으로 하여 대역통과 필터의 수와 주파수 범위 등을 지정하여 그림 2과 같은 바크 필터 뱅크를 생성할 수 있다. 이를 STFT가 적용된 스펙트로그램과 곱하게 되면 그림 3와 같은 바크 스케일 기반 스펙트로그램을 얻을 수 있다. 그림 3은 우울증과 비우울증 데이터에 대한 첫 번째 바크 스펙트로그램 특징을 확인할 수 있다.

3.3 멜 스펙트로그램(Mel Sepctrogram)

멜 스케일(Mel scale)은 실제 주파수 정보를 인간의 청각 구조를 반영하여 수학적으로 변환하기 위한 대표적인 방법이다. 이는 주파수 성분을 중요도에 따라 차등적으로 사용하기 위한 좋은 지표로서 다양한 음성처리 분야에서 사용되고 있다. 멜 스펙트로그램은 멜 스케일로 오디오를 시각화하는 스펙트로그램이다. 바크 스펙트로그램과 마찬가지로 그림 4와 같이 멜 주파수를 기반으로 하는 필터뱅크를 생성하고 이를 STFT 스펙트로그램과 곱하게 되면, 그림 5과 같은 멜 스케일 기반 스펙트로그램을 얻을 수 있다. 그림 5는 우울증과 비우울증 음성 데이터에서 추출한 첫 번째 멜 스펙트로그램 특징을 확인할 수 있다.

3.4 로그 멜-스펙트로그램(Log mel-Spectrogram)

로그 멜-스펙트로그램은 앞서 설명한 멜 스펙트로그램에 로그 변환을 취하면 얻을 수 있다. 그림 6은 우울증과 비우울증 음성 데이터에서 추출한 첫 번째 로그 멜-스펙트로그램 시각화한 그림이다. 이는 로그 변환을 취하기 전 멜 스펙트로그램과 비교해 특징이 더욱 확실하게 드러나는 것을 볼 수 있다.

4.1 전이 학습(Transfer Learning)

전이 학습(Transfer Learning)은 특정 분야에서 학습된 신경망 일부를 유사한 분야 혹은 새로운 분야에서 사용되는 신경망의 학습에 이용하는 것으로 현재 많은 연구가 이뤄지고 있다. 일반적으로 VGG, ResNet, GoogleNet 등 사전에 학습이 완료된 모델(Pre-Training Model)을 가지고 우리가 원하는 학습에 미세 조정 즉, 작은 변화를 이용하여 학습시키는 방법이라고 할 수 있다. 이는 기존의 만들어진 모델을 사용하여 새로운 모델을 구축하는 것으로 학습 속도가 빨라지며, 예측을 더 높일 수 있다. 전이 학습을 사용하는 이유는 이미 잘 훈련된 모델이 있고, 해당 모델과 유사한 문제를 해결하고자 할 때, 이미 학습된 모델을 이용하여 문제를 쉽게 해결할 수 있기 때문이다. 전이 학습모델은 학습데이터 수가 적을 때에도 빠른 학습 속도와 높은 성능을 얻을 수 있다는 장점이 있다. 본 논문에서 이미지가 아닌 오디오 분류에 사용되는 CNN기반 전이 학습모델인 VGGish와 YAMNet을 음성 우울증 데이터 학습에 사용했다.

4.2 VGGish 모델

VGGish 모델은 Hershey et al.⁽¹¹⁾에서 오디오 콘텐츠를 기반하여 대규모 유튜브 비디오 데이터 세트를 이용해 오디오를 분류하기 위해 제안한 심층 합성곱 신경망이다. 이는 컴퓨터 비전 분야에서 이미지 분류를 위해 사용되었던 VGGNet을 기반으로 한다. VGGish는 527개의 클래스를 수동으로 라벨을 단 유튜브의 2백만 개 이상의 비디오 클립으로 구성된 오디오 셋을 이용해 훈련되었다. 527개의 클래스에는 성인 남성/여성 목소리, 유아 옹알이 소리, 동물 소리 등이 포함된다⁽¹²⁾. VGGish 네트워크 아키텍처는 그림 7에서 볼 수 있듯이 4개의 블록으로 구성되고 블록 안에는 convolution, relu, max pooling 계층으로 이루어져 있다. 그다음 단에는 이미지 분류에 사용되는 두 개의 완전 연결 계층과 임베딩 계층, 회귀 출력계층으로 구성된다. 본 연구에서는 이미지 분류를 통한 우울증 진단이기 때문에 새로운 완전 연결 계층을 추가해 분류 클래스 수를 지정해 주고, 마지막 회귀 출력 계층을 제거하고 클래스 레이블이 없는 새로운 분류 계층으로 교체하였다.

4.3 YAMnet 모델

YAMNet 모델은 오디오셋을 이용하여 오디오 이벤트 분류를 위한 효율적인 모델로서 ‘Ellis’와 ‘Chowdhry’의해 개발되었다. 이는 H. A. Andrew et al.⁽¹³⁾에서 제안한 MobileNet을 기반으로 하며, 깊이별로 분리 가능한 합성곱 커널을 사용하여 모바일 및 임베디드 비전 애플리케이션에 사용할 수 있는 경량 모델을 만들었다. VGGish 모델은 7천 2백만 개 이상의 매개 변수를 사용하기 때문에 계산 복잡성이 높다. 그에 비해 YAMNet 모델은 470만 개의 매개 변수를 사용하기 때문에 VGGish 모델보다는 계산의 복잡성이 줄어들게 된다. YAMNet 모델의 네트워크 아키텍처는 첫 번째 계층을 제외한 모든 계층이 깊이별 합성곱 커널을 기반으로 하는 14개의 합성곱 계층 블록으로 구성되고, 분류 출력계층을 가진다⁽¹²⁾. 본 연구에서는 VGGish 모델과 마찬가지로 새로운 완전 연결 계층을 추가해 분류 클래스 수를 지정해 주고, 분류 계층을 클래스 레이블이 없는 새로운 분류 계층으로 교체하였다.

5.1 실험환경 및 과정

본 논문에서는 인터뷰 형식의 음성 데이터를 이용하여 전이 학습모델의 우울증 진단 성능을 비교 및 분석한다. 음성 데이터는 DAIC-WOZ 우울증 데이터베이스에서 누락 된 1개의 우울증 데이터를 제외한 55명의 우울증 데이터와 133명의 비우울증 데이터 총 188명의 데이터를 사용하였다. 1차원 음성신호는 바크 스펙트로그램, 로그 스펙트로그램, 로그 멜-스펙트로그램 방법을 이용해 시간-진폭이 아닌 시간-주파수 표현인 2차원 이미지로 특징을 추출하였다. 이렇게 추출된 특징 데이터의 70%는 학습 데이터로, 30%는 성능 검증을 위한 검증데이터로 사용하였다. 실험에서 사용된 딥러닝 모델은 오디오 분류에 많이 사용되고 있는 CNN 기반 전이 학습모델인 VGGish와 YAMNet이다. 전이 학습모델의 분류 성능은 막대그래프와 오차 행렬을 시각화하여 확인 및 비교분석 했다. 앞서 설명한 데이터 특징 추출, 학습, 성능 검증 등 모든 실험은 MATLAB2021b 환경에서 진행되었다.

5.2 실험 결과 및 분석

전이 학습모델의 우울증 진단 성능을 확인하기 위한 실험은 크게 2가지로 나누어 진행하였다. 첫 번째 실험에서는 흑백 이미지 특징을 입력으로 넣었을 경우 특징 추출 방법에 따른 전이 학습모델의 분류 성능을 확인하였다. 두 번째 실험에서는 첫 번째 실험에서 사용된 흑백 이미지 특징을 컬러이미지로 변환하여 이를 입력으로 넣었을 경우 특징 추출 방법에 따른 전이 학습모델의 분류 성능을 확인했다. 1차원인 음성신호를 시간대 주파수 표현인 스펙트로그램으로 변환하기 위해 바크 스펙트로그램, 로그 스펙트로그램, 로그 멜-스펙트로그램 총 3가지의 특징 추출 방법을 이용했다. 추출된 특징을 이용하여 VGGish 모델과 YAMNet 모델의 학습을 진행하였고, 이에 대한 검증 성능을 비교 및 분석하였다.

CNN 기반 전이 학습모델인 VGGish와 YAMNet은 원래 96*64*1의 크기를 가지는 흑백 이미지를 입력으로 받는다. 표 2에서는 스펙트로그램 특징을 흑백 이미지로 변환하여 넣었을 경우, 특징 추출 방법에 따른 VGGish와 YAMNet의 검증 성능을 확인할 수 있다. 로그 변환을 통해 얻은 바크 스펙트로그램과 로그 멜-스펙트로그램 특징은 흑백 이미지로 변환했을 때, 데이터에 대한 특징이 잘 드러나지 않았다. 반면, 로그 변환을 취하지 않은 멜 스펙트로그램은 다른 특징에 비해 특징이 잘 드러났다. 그림 8에서 볼 수 있듯이 이 실험에서는 특징이 잘 드러난 멜 스펙트로그램을 사용했을 때, YAMNet 모델의 검증 성능이 94.48%로 가장 높은 것을 확인할 수 있었다. 그림 9에서 이에 대한 오차 행렬을 보면, 실제 클래스에서 비우울증 데이터에 비해 우울증 데이터를 잘 분류하지 못하였다. 하지만 데이터의 개수를 고려해보았을 경우, 우울증 데이터가 훨씬 적음에도 불구하고 94.48%의 높은 성능을 보이며 잘 분류된 것을 확인할 수 있다.

표 3에서는 흑백 이미지를 컬러이미지로 변환하여 이를 입력으로 넣었을 경우, 특징 추출 방법에 따른 VGGish와 YAMNet의 검증 성능을 확인할 수 있다. 컬러이미지는 흑백 이미지와 다르게 96*64*3의 크기를 가지기 때문에 VGGish와 YAMNet의 입력단과 첫 번째 합성곱 계층을 입력 크기에 맞춰 변경해주었다. 그림 10에서 보면, 특징 추출 방법에 상관없이 VGGish와 YAMNet 모델의 검증 성능이 90% 이상으로 높은 성능을 가진다. VGGish에 비해 YAMNet 모델의 성능이 더 높은 것을 확인할 수 있다. 이 실험에서는 첫 번째 실험과 다르게 바크 스펙트로그램 특징을 사용했을 때, YAMNet 모델의 검증 성능이 97.34%로 가장 높다. 그림 11에서 이에 대한 오차 행렬을 살펴보면 YAMNet의 모델이 우울증과 비우울증을 높은 성능으로 잘 분류한 것을 확인할 수 있다.

본 논문에서는 평균적으로 YAMNet의 우울증 진단 성능이 VGGish 모델보다 높은 것을 확인하였다. 흑백 이미지를 입력으로 넣었을 경우, 다른 특징 추출 방법을 사용했을 때와 비교해 로그 변환이 없는 멜 스펙트로그램을 사용했을 때의 검증 성능이 약 20% 더 높은 것을 확인했다. 반면 컬러이미지를 입력으로 넣었을 경우, 흑백 이미지를 넣었을 경우보다 모두 90% 이상의 성능을 보임으로써 성능이 더 향상된 것을 확인했고, 정신 음향학에서 많이 사용되는 바크 스펙트로그램 특징을 사용했을 때 97.34%로 가장 높은 성능을 보였다. 여기서 우울증 진단에는 YAMNet 모델을 사용하고 바크 스펙트로그램을 컬러이미지로 변환하여 입력으로 넣었을 때 가장 적합하다는 것을 증명했다.