3.2.1 LDA

LDA는 문서 내에 숨어있는 주제를 찾아내기 위해 문서와 키워드를 결합하는 비지도학습 기법이다^{(Blei et al., 2003)}. LDA는 두 가지 가정에 기반을 두고 있다. 첫 번째 가정은 토픽이 단어의 순서를 고려하지 않고, 단어의 출현 빈도에만 초점을 둔 Bag of Words(BoW) 모델로 표현된다는 것이다. 이에 따라 토픽은 단어의 확률 분포로 표현된다. 두 번째 가정은 하나의 문서에는 여러 토픽이 존재하며, 문서는 토픽의 확률 분포로 표현된다는 것이다. 이 두 확률 분포를 결합하여 문서 내에 숨어있는 주제를 찾아내는 기법이 LDA이다. Fig. 2는 LDA의 간략한 과정을 보여 준다.

LDA 토픽모델링은 전처리, 토픽 개수 산정, 모델링의 순서로 수행된다. 전처리 단계에서는 우선 전체 텍스트를 소문자로 변환하고, 띄어쓰기 단위로 토큰화를 수행하였다. 이후 자연어 처리를 위한 파이썬 패키지인 Natural Language Toolkit(NLTK)에 구축되어 있는 영어 불용어 사전을 사용해 불용어를 제거하고, 뉴스 기사 특성상 끝부분에 “Follow BBC News”와 같은 광고성 문구가 반복적으로 등장하는 것을 확인하여 해당 문구를 제거하였다.

그 후 전처리가 완료된 텍스트를 활용하여 최적의 토픽 개수를 결정하기 위해 coherence score를 계산하였다. Coherence score는 토픽모델링 결과로 생성된 토픽 내의 키워드들이 얼마나 의미론적으로 유사한지 측정하는 지표로^{(Newman et al., 2010)}, 아래의 Eq. (1)로 계산할 수 있다. Eq. (1)에서 $C(w_{i},\: w_{j})$는 두 단어 $w_{i}$와 $w_{j}$ 사이의 유사도를 나타내는 coherence score이다. $D(w_{i})$는 단어 $w_{i}$를 포함하는 문서의 수를 나타내고, $D(w_{i},\: w_{j})$는 단어 $w_{i}$와 $w_{j}$를 포함하는 문서의 수를 나타낸다^{(Stevens et al., 2012)}.

Fig. 2. LDA Process

3.2.2 BERTopic

BERTopic은 문서 임베딩, 차원 축소, 클러스터링 및 키워드 추출의 과정을 통해 토픽을 분류한다^{(Grootendorst, 2022)}. 먼저, 사전 훈련된 언어 모델인 Bidirectional Encoder Representations from Transformer(BERT)를 사용하여 개별 뉴스 기사를 벡터로 표현하는 임베딩 작업을 수행한다. 그 후, Uniform Manifold Approximation and Projection(UMAP)이라는 차원 축소 기법을 사용하여 임베딩된 벡터의 차원을 축소한다. 그리고 밀도 기반 클러스터링 알고리즘인 Hierarchical Density-Based Spatial Clustering of Applications with Noise(HDBSCAN)를 사용하여 유사한 주제를 가진 문서끼리 군집을 생성한다. 이때, 어떤 군집에도 속하지 않는 문서는 Outlier로 처리된다. HDBSCAN 알고리즘 적용 시, 파라미터를 조정함으로써 토픽 개수를 특정 개수로 설정하거나, 알고리즘에 의해 최적의 토픽 개수를 자동으로 찾아낼 수 있다. 본 연구에서는 BERTopic 알고리즘이 최적의 성능을 보이는 토픽 개수를 자동으로 찾도록 설정하였다. 생성된 문서 군집에 class-based Term Frequency-Inverse Document Frequency (c-TF-IDF)를 적용하여 토픽별 키워드를 추출하였다. BERTopic에 적용되는 c-TF-IDF는 각각의 군집을 하나의 문서로 간주하여, 군집별 주요 단어의 TF-IDF 값을 계산함으로써 각 토픽의 주제를 설명할 수 있는 주요 키워드를 도출하였다(Fig. 3).

Fig. 3. BERTopic Process

4.2.1 토픽 이름 배정 결과

LDA 모델링 결과, 토픽 개수가 10개일 때 가장 높은 coherence score를 보였으며, 상위 5개 토픽에 대한 키워드 및 토픽 이름 배정 결과는 Table 4와 같이 나타났다. 토픽 개수의 다양성을 고려하여 20개의 토픽 개수로 설정한 모델에 대해 추가적으로 분석을 수행하였다.

두 경우 모두 소수의 토픽이 대부분의 비중을 차지하는 것을 확인할 수 있었다. 토픽 개수가 10개일 때 1번 토픽이 58.1%, 2번 토픽이 26.1%를 차지했고, 나머지 8개의 토픽이 15.8%의 비율로 존재하였다. 토픽 개수가 20개인 경우에도 1, 2, 3번 토픽이 80.7%로 높은 부분을 차지하였다. 토픽 개수를 20개 이상으로 설정한 경우, 나머지 토픽이 더욱 세분화되어 키워드만 보고 분류하기 어려운 경우가 늘어났기에 토픽 개수를 20개로 한정하였다.

개별 토픽 검토 결과, 하나의 토픽에 여러 주제의 키워드가 포함된 것을 확인할 수 있었다. 토픽 개수가 10개일 때, 1번 토픽 “범죄”는 “Police”, “Road”, “Officers”, “Arrested”, “Hospital”, “Council”, “Old”, “Injuries”와 같은 키워드를 포함하였다. 이러한 키워드들은 “Crime”, “Road/Traffic”, “Traffic accident” 주제의 내용을 모두 포함하고 있어, 하나의 토픽으로 한정한 것이 추후 성능평가에서 정확도가 낮아지는 원인이 되었다.

4.2.2 성능평가 결과

성능평가 결과는 Table 5와 같이 나타났다. 토픽이 10개일 때의 F1 score은 0.011, 20개일 때의 F1 score은 0.0003으로 두 경우 모두 매우 낮은 점수를 보였고, 20개로 토픽을 늘렸을 때 성능이 오히려 감소하였다. 낮은 F1 score가 얻어진 주요한 원인은 성능평가를 위해 한 문서당 하나의 토픽만을 할당하였기 때문인 것으로 파악된다. LDA 토픽 모델에는 하나의 문서에 여러 토픽이 확률적으로 분포하지만, 본 연구에서는 각 기사에 하나의 토픽만을 할당하여 성능을 평가하였기 때문에 낮은 F1 score를 얻은 것으로 보인다. 또한, LDA 모델에서 설정한 총 토픽 개수는 10개와 20개이지만, 일대일 비교를 시행한 ground truth의 소분류 개수는 128개로 매우 큰 차이가 있었으며, 이러한 차이가 LDA 모델의 낮은 성능에 영향을 미친 것으로 추정된다.

4.3.1 토픽 이름 배정 결과

BERTopic의 경우, 토픽 개수를 자동으로 설정하고 모델링을 수행한 결과 총 87개의 토픽이 생성되었다. Table 6은 87개 토픽 중 상위 10개 토픽의 키워드와, 그에 대한 토픽 이름을 배정한 결과이다. Topic -1은 outlier로 분류된 기사들이다.

BERTopic은 LDA와 비교했을 때 토픽별 키워드가 명확하게 나타나, 토픽 이름을 할당하는 것이 더 쉽다는 이점이 있었다. 예를 들어, 1번 토픽에서 생성된 “truss”, “tax”, “ms truss”, “prime”과 같은 키워드는 영국의 전 총리인 “Liz Truss”와 관련된 단어들로 이루어져 있음을 알 수 있었다.

4.3.2 성능평가 결과

토픽 개수가 87개일 때의 성능평가 결과, 정확도는 0.394, Precision은 0.242, Recall은 0.288, F1 score은 0.244로 나타났다. 비교적 낮은 F1 score를 얻은 이유 중 하나는 outlier를 모두 오답으로 분류하였기 때문이다. Outlier는 총 6,273개의 기사 중 상당한 부분(1,785개, 28.5%)을 차지하므로 모델의 성능에 영향을 주었을 것으로 생각된다. 또한, BERTopic이 자동으로 도출한 토픽 개수(87개)가 수작업으로 분류한 토픽 개수(128개)와 차이가 나는 점도 낮은 F1 score에 영향을 미친 것으로 보인다.

구체적으로, 가장 높은 F1 score인 0.857을 얻은 토픽은 “Cough Syrup”으로, 인도네시아에서 100명 가까이 되는 아이들이 감기약을 먹고 사망한 사건을 다루는 토픽이다. 그 외 F1 score가 높게 나온 토픽으로는 인도의 힌두교 축제인 “Diwali 2022”(0.842), “Ukraine War”(0.833), 영국 Creeslough 지역의 주유소 폭발 사고를 다루는 “Creeslough explosion”(0.826) 등이 있다(Table 7). 이 토픽들은 모두 대분류 중 “Specific Issues”에 속하는 것으로 나타났다. 즉, BERTopic 모델은 특정 이슈를 다루는 뉴스 기사를 정확하게 분류한다는 것을 알 수 있다.

F1 score가 0이 나온 토픽으로는 “Congress/Parties”와 “Tax”가 있다. “Congress/Parties” 토픽의 경우 총 23개 기사 중 5개가 “Liz Truss”로, 8개가 “Rishi Sunak”로 분류되었다. Liz Truss는 영국 78대 총리로, 금융 위기를 촉발한 경제 정책 실책으로 2022년 10월 25일 사임하였다. Rishi Sunak은 Liz Truss의 뒤를 이은 영국 79대 총리이다. 이 두 정치인에 관한 내용은 실제 뉴스 기사에는 없지만, 일반적인 정치 기사에서 나타나는 단어와 문맥이 유사하므로 BERTopic 모델에서 “Congress/Parties”로 분류되었을 것으로 추정된다. “Tax” 토픽 역시 22개 중 17개의 기사가 “Liz Truss”로 오분류되었다(Table 8).

4.3.3 비교 및 논의

BERTopic 모델링 시 87개의 토픽에 대해 0.244의 F1 score를 얻었다. 이는 LDA의 0.011보다 훨씬 높은 수치로, BERTopic 기법이 LDA보다 뉴스 기사의 주제를 실제와 더 유사하게 분류한다는 것을 확인할 수 있다. 두 경우 모두 일반적인 예측 모델에 비해 매우 낮은 F1 score를 보였으나, 뉴스 기사의 실제 주제를 고려한 성능평가를 시행했다는 점에서 의의가 있다. 이전 연구 중에는 ground truth와 모델링 결과로 얻은 기사별 토픽을 직접 비교한 사례가 없기 때문에, 본 연구에서 수행한 ground truth 기반의 성능평가는 토픽모델링 기법의 성능에 대한 새로운 방식을 제안할 수 있다.

또한, BERTopic에서 F1 score를 높게 기록한 토픽의 기사를 살펴본 결과, 특정 이슈를 다루는 기사가 정확하게 분류되었다. 이러한 특징은 BERTopic 모델을 해외건설사업 시 현지 상황을 파악하는 데 유용하게 쓸 수 있다는 것을 보여 준다. 특정 이슈에 해당하는 기사를 정확하게 분류함으로써 해당 지역의 이슈 및 동향을 신속하게 파악하고, 사업의 주요 의사 결정에 도움을 줄 수 있다.