2.2.1 Mel-Spectrogram

Mel-spectrogram은 SFTF (Short Time Fourier Transform)을 바탕으로 한 Spectrogram 성분을 인간의 청각 특성을 잘 나타낼 수 있도록 Mel Scale로 변환한 것이다. Mel Scale은 인간의 청각 특성을 구조화하여 1 kHz 이하에서는 중심 주파수가 균일하게 나누어지고 1 kHz 이상에서는 Logarithm Scale에 따른다^[3]. 변환된 멜 스케일 스펙트럼을 이미지화한 것이 멜 스펙트로그램이며, 시간에 따라 진폭 축의 변화를 시각적으로 볼 수 있는 파형과 주파수 상에서 진폭 축의 변화를 볼 수 있는 스펙트럼의 특징이 결합 되어 있으며, 진폭의 차이를 색으로 나타낸다^[4]. Mel-Spectrogram은 Mel Filter Bank가 적용된 Spectrogram으로, 각각의 프레임에 대해 얻어낸 주파수들에 대해서 Mel 값을 얻어내기 위한 Filter를 적용한다. 또한 이 Mel Filter Bank는 주파수 Scale을 지수적 증가로 표현하는데 이는 사람이 소리를 인식하는 것과 유사하다. 그리하여 사람이 잘 인식할 수 있는 저음역의 주파수는 세밀하게 표현하며 그 외 영역은 상대적으로 덜 세밀하게 표현한다^[5]. 따라서 본 논문에서 다루고자 하는 딥보이스와 일반 음성 데이터의 특징을 추출하는 데 있어서 적합한 기법이라고 할 수 있다. 그림 2는 가공되지 않은 음성 신호와 음성 신호를 Mel-Spectrogram을 이용하여 변환한 결과이다.

그림 2. 음성 데이터 mel scale 추출 전과 추출 후

Fig. 2. Before and after extracting voice data mel scale

2.2.2 MFCC

MFCC는 음성 신호 처리 분야에서 널리 사용되는 효과적인 특징 추출 기술로, 음성 신호를 주파수 정보의 고차원 표현에서 더 의미 있는 저차원의 특징 공간으로 변환한다. 이는 음성 인식, 화자 인식, 음성 합성 등 다양한 음성 처리 작업에서 중요한 역할을 하며, 음성 신호의 주파수 정보를 사람의 청각 특성에 더 가깝게 변환하여 중요한 음성 특징을 추출하는 과정이다. MFCC 특징값을 뽑아내는 과정은 그림 3과 같다.

그림 3. MFCC 특징 추출 과정

Fig. 3. MFCC feature extraction process

초기 단계로 입력 신호에 Pre-Emphasis Filter를 적용하여 고주파 신호의 에너지를 증가시키고, 이에 따라 고주파 잡음의 영향을 최소화하는 효과를 얻는다. 다음으로, 단시간(Short-Time) 푸리에 변환을 수행하여 시간 도메인의 데이터를 주파수 도메인으로 변환한다. 이러한 단시간 푸리에 변환은 신호를 작은 구간으로 나누어 각 구간에서의 주파수 정보를 분석하며, 이를 통해 시간에 따른 주파수 변화를 Spectrogram으로 확인할 수 있다. 변환 구간의 크기와 오버랩을 조절하는 윈도우(Window)와 홉(Hop)의 크기를 설정하여 변환의 정밀도를 조절한다. 이후, Mel Filter Bank를 적용하여 주파수 스펙트럼을 Mel Scale로 변환한다. Mel Filter Bank는 앞서 언급한 것과 같이, 일련의 Mel Scale Filter를 통해 신호의 주파수를 사람의 청각 특성에 맞게 변환하며, 이를 통해 선형적이지 않은 주파수 영역을 보다 적절한 비선형 스케일로 변환한다. 변환된 주파수 정보를 이용하여 Mel Scale에 근사시키며, 이 과정에서 로그 변환을 통해 주파수의 비선형적 특성을 고려한다. 변환된 데이터에 이산 코사인 변환(DCT)을 적용하여 MFCC 특징값을 추출하며, 일반적으로 13개의 계수를 사용한다. 또한 음성 인식 분야에서는 Delta 값과 Delta-Delta 값을 추가적인 특징값으로 이용하여 잡음에 강인한 모델을 구성하고 성능을 향상시킬 수 있다^[6,7].

2.2.3 음성 특징 추출

제안하는 연구에서는 MFCC를 이용하여 100가지의 음성 특징을 추출하였고, 샘플링 주파수는 16,000Hz로 설정하였다. 음성은 연속적인 신호이며, 이런 연속적인 신호를 주파수로 바꿔야 하는데, 이때 사용하는 것이 n_fft 이며, 값이 높아질수록 높은 주파수의 해상도를 가진다. n_fft 값은 400으로 설정하였고, hop_length 값은 음성을 작은 조각으로 자를 때, 자르는 간격을 의미하며, 160으로 설정하였다. 이는 샘플링 주파수로 설정한 16,000Hz에 대한 균형을 맞춘값으로, 중간 크기의 주파수와 작은 간격으로 프레임을 생성해 시간적 변화를 높여줄 수 있다. 다음으로 Mel-Spectrogram에서는 같은 형식을 최대한 갖추기 위하여 MFCC에서 설정한 값과 같이 샘플링 주파수는 16,000Hz로, n_fft 값은 400으로, hop_length는 160으로 설정하였다. Mel 주파수 척도는 128로 설정하였다. 마지막으로 추출된 Mel-spectrogram에 흑백화를 적용하여 학습 정확도를 향상시켰다. 그림 4는 Mel-

그림 4. 음성 특징 추출 결과(Mel-spectrogram, MFCC)

Fig. 4. Voice feature extraction results

Spectrogrm과 MFCC를 이용한 음성 특징을 추출한 결과이며 학습에 적용하였다.

2.3.1 VGG-19

CNN 모델은 TensorFlow의 제공하는 VGG-19 모델을 활용하여 실험을 진행한다. VGG 19는 19개의 계층으로 이루어진 CNN 구조로, 주로 이미지 분류를 위한 목적으로 설계되었다. 그림 5에서 확인할 수 있듯이, VGG 19의 각 계층은 컨볼루션 (Convolution), 활성화 함수, 풀링(Pooling) 계층으로 이루어져 있으며, 총 16개의 컨볼루션 계층과 3개의 완전 연결 계층으로 구성되어 총 19개의 계층을 가지고 있다^[10]. 계층 구조는 VGG 19가 이미지의 다양한 특징을 추출하고 학습하는 강점을 제공한다. 특히 3x3 크기의 작은 커널을 여러 번 중첩하여 컨볼루션 계층을 구성함으로써 모델은 더 복잡하고 추상적인 패턴을 학습하며 동시에 파라미터 수를 줄여 메모리와 계산 비용을 효율적으로 관리할 수 있다. 실험에서는 사전 학습된 가중치를 사용하여 모델의 초기 가중치를 설정하였다. 최상위 Layer는 제외하였으며, VGG 19 모델 이후에는 Flatten Layer를 통해 데이터를 일차원으로 변환하고, 이어서 Dense Layer와 Dropout Layer가 사용되었다. Dropout Layer는 과적합을 방지하기 위해 활성화 함수를 통해 얻은 중간 출력값을 무작위로 삭제하는 역활을 수행한다. 이 모델은 0.5의 Dropout 비율을 가지며, 512개의 뉴런을 가진 Dense Layer와 ReLU 활성화 함수를 통해 복잡한 비선형성을 학습하였다. 마지막으로, 2개의 뉴런을 가진 Dense Layer를 추가하여 최종 클래스 분류를 수행하였으며, Adam Optimizer를 사용하여 모델의 가중치를 조정하였다.

그림 5. VGG 19 구성도

Fig. 5. VGG 19 Configuration

2.3.2 BiLSTM

BiLSTM은 순차적인 데이터 처리에 있어서 LSTM의 발전된 형태로서, 시계열 데이터나 음성 데이터와 같이 시간적인 의존성을 갖는 데이터를 다루는 데 매우 유용한 역할을 한다. LSTM은 기본적으로 과거의 정보를 기억하고 현재의 입력을 기반으로 다음 상태를 예측하는 데 사용된다. 그러나 RNN이나 LSTM은 입력한 순서를 시간 순서대로 입력하기 때문에 결과물이 직전 패턴을 기반하여 수렴하는 경향이 있다는 한계가 보인다^[11]. 이에 반해 BiLSTM은 양방향으로 데이터를 처리하는 구조로 되어 있어 과거와 미래의 정보를 모두 고려할 수 있다. 그림 6과 같이 두 방향의 LSTM 결과를 결합함으로써, 각 시점에서 과거와 미래의 정보를 함께 고려하면서 더욱 정확한 패턴 인식을 가능케 한다. 음성 데이터의 경우, 발화자의 발음 특징이 시간상으로 변하는 특성 때문에 시계열적인 의미가 크다. 따라서 BiLSTM은 음성 데이터에서 음절, 발음, 강세 등의 특징을 더욱 정확하게 추출하고 이를 기반으로 판별하는 데 도움을 줄 수 있다. 특히 딥보이스와 정상 음성을 구분하는 작업에서 BiLSTM은 양 방향적인 정보 처리를 통해 딥보이스의 특징을 탐지하고 이를 구별하는 데 유용하게 활용된다. 따라서, 본 연구에서는 음성 데이터의 시계열적인 특성을 고려하고 BiLSTM을 활용하여 딥보이스와 정상 음성을 식별하고 탐지하는 시스템을 개발하였다. 이를 통해 더 정확하고 신뢰성 있는 딥보이스 탐지를 실현하며, 음성 데이터의 복잡한 패턴을 잘 인식하는 데 기여했다. BiLSTM 모델의 설정값으로는 Sequence Model이고, Units 수는 512, Dropout Layer는 0.8이다. 그리고 Sigmoid 활성화 함수와 Adam Optimizer를 사용하였다.

그림 6. BiLSTM 구성도

Fig. 6. BiLSTM Configuration

2.3.3 앙상블(Ensemble) 모델

본 논문에서 제안하는 최종 모델인 CNN+BiLSTM 앙상블 모델을 만들기 위하여, 각각의 모델을 생성한 뒤, 앙상블을 진행하였다. 먼저, 앙상블이란 크게 부스팅(Boosting), 배깅(Bagging), 보팅(Voting) 등으로 나누어진다. 그중 보팅 기법은 여러 모델을 통해 얻은 예측값들을 대상으로 투표하는 방식으로 최종 예측값을 정하는 것이다. 보팅 기법에는 하드 보팅과 소프트보팅이 있다. 하드 보팅은 여러 모델의 클래스 예측값들을 가지고 다수결 투표를 하여 가장 많이 나온 클래스를 최종 예측값으로 지정하는 방식이다. 소프트 보팅은 그림 7과 같이 각 모델의 예측값들을 가지고 평균을 내어 최종 클래스를 최종 예측값으로 지정하는 방식이다. 하드 보팅의 경우 신뢰성을 위해서는 많은 모델이 필요하다. 만일, 모델이 적은 상황에서 오판단하거나 예측값이 높지 않을 때는 최종 클래스 예측 자체가 오판단일 가능성이 높다. 하지만 소프트 보팅의 경우에는 적은 모델의 수를 가지고도 보다 높은 정확도를 보일 수 있으며, 오판단이나 예측값이 높지 않을 때도 각 클래스의 평균을 내어 최종 클래스를 예측하기 때문에 신뢰성과 정확도를 보다 높일 수 있다^[12]. 본 논문에서 제안한 모델은 두 가지 모델을 사용한다. 그렇기 때문에 하드 보팅에는 적합하지 않고, 소프트 보팅이 적합하며, 더 높은 정확도를 보일 수 있기에 앙상블 기법 중 소프트 보팅 기법을 선정하였다.

그림 7. 소프트 보팅 기법

Fig. 7. Soft-Boating Method