1.1 연구의 배경

건설산업은 위험한 산업이다^{(Chan et al., 2008; Chi et al., 2005)}. 국내 건설현장에서는 많은 사고가 발생하며 사고 빈도 역시 증가하고 있다^{(Im et al., 2009)}. 지난 몇 년간 중대재해처벌법^{(MOLEG, 2021)}을 비롯하여 각종 건설안전 관련 규제가 강화되었다. 이러한 노력에도 불구하고, 안전 역량이 부족한 중소 규모 건설현장에서는 건설 비용 상승으로 인해 현장 관리자의 수가 감소하고 있으며, 중대 사고 또한 지속적으로 발생하고 있다^{(Kang et al., 2021)}. 고용노동부 2022년 산업재해 현황 통계 “재해조사 대상 사망사고 발생 현황”^{(MOEL, 2023)}에 따르면 사망사고 644명(611건) 중 건설업에서 341명(328건)이 발생했다. 그 중 50인(억) 미만 사업장에서 226명(224건)이 발생했다. 사망사고의 상당수가 중소 규모의 사업장에서 발생함을 감안하면 이들 현장에서의 안전규정 준수에 대한 문제가 심각하다는 것을 알 수 있다.

미국, 영국, 호주와 같은 국가들은 건설안전 관리에 지속적인 관심을 보여왔으며, 고위험 작업 환경에서의 안전 수준 향상을 위해 작업 수준에서 위험을 분석하고 문서화하는 작업 위험 분석(Job Hazard Analysis)을 의무화하고 있다^{(Saurin et al., 2008)}.

또한, 건설 산업 전반에 걸친 표준화된 안전관리를 위해 정부 기관들은 문서 형태로 지침을 제작하고 있다^{(Reese & Eidson, 2006)}. 미국의 Occupational Safety and Health Administration (OSHA)은 각종 산업에 대한 규제와 가이드라인을 제정하고 관리하고 있다^{(OSHA, 1970)}. 또한, 호주의 연방 정부 기관인 Safe Work Australia는 다양한 산업 부문에 맞춘 지침을 발행하여 표준화된 안전관리 기법과 기준을 제공한다^{(NOHSC, 2005)}. 한국산업안전보건공단은 2010년부터 다양한 작업에 대한 안전작업지침을 지속적으로 발행하고 있다^{(KOSHA, 2010)}.

그럼에도 불구하고 건설안전지침 문서들은 PDF 형식으로 제공되고 있으며 서로 다른 문서 간의 상호 관계 파악과 실질적인 적용에 있어 어려움이 있다. 따라서, 이러한 한계를 극복하고 건설안전 관행을 강화하기 위해 지침의 효율적인 연계성와 활용이 필요하다.

1.2 연구의 목적

본 연구의 목적은 건설안전지침 문서를 포함한 다양한 형태의 문서들을 통합하여 데이터셋을 구성하고 건설안전에 특화된 대규모 언어모델을 구축하는 것이다. 또한, 이러한 AI 모델의 건설현장 안전관리 업무의 적용 가능성을 확인하는 것이다. 대규모 언어모델을 미세조정하여 건설안전정보를 생성하는 AI를 제작하고 이를 현장 안전관리자가 쉽게 접근할 수 있는 챗봇 형태로 제공하여 현장 작업과 관련된 질문에 답변할 수 있도록 한다.

2.1 건설안전 문서 텍스트 마이닝

건설산업에 있어 자연어처리, 텍스트 마이닝(Text Mining) 등에 관한 관심이 높아지고 있다. 건설 분야에서 자연어처리는 문서관리^{(Caldas & Soibelman, 2003)}, 안전관리^{(Cheng et al., 2020; Fan & Li, 2013; Tixier et al., 2017)}, 위험 관리^{(Lee & Yi, 2017)}, 규제 준수 여부 확인^{(Salama & El-Gohary, 2013)} 등에서 활용되고 있다.

^{Zhang et al. (2019)}은 텍스트 마이닝과 NLP를 이용하여 건설사고를 조사하였다. 과거 사고를 분석하여 건설안전 개선을 목적으로 연구를 수행하였다. OSHA 사고 보고서를 분석하고 원인 분류를 위해 Support Vector Machine, K-Nearest Neighbor, Decision Tree, Naive Bayes, Ensemble Model과 같은 방법을 사용했다. ^{Chi et al. (2016)}은 건설현장 검토를 지원하기 위한 텍스트 분류 연구를 수행하였다. 건설안전 기준에서 관련 정보를 검색하는 텍스트 분류 카테고리의 적합성을 평가하는 방법론을 제시하고 분류 카테고리의 중요성을 보여준다. 이러한 접근 방식을 통해, 건설현장에서의 위반 사항을 식별하고 시정하는 데 도움을 주어 건설안전 관행을 개선한다.

2.2 지능형 질의응답 시스템

^{Wu et al. (2016)}은 대화에서 응답 선택을 위한 새로운 아키텍처인 Sequential Maching Network (SMN)을 제안했다. SMN은 공개 데이터셋에서 기존 방법들보다 우수한 성능을 보여주었으며 새로운 방법론을 제시한다. ^{Zhong et al. (2020)}은 딥러닝 기반 자연어처리를 통해 건축 규정에서 정확하고 빠르게 답변을 추론하였다. ^{Ma et al. (2021)}은 검색 기반 챗봇에서 응답 선택을 위한 새로운 방법인 Hierarchical Matching Network를 제안했다. 대화 맥락과 응답 간의 일치도를 단어 수준과 문장 수준에서 평가하며, 적절한 응답을 선택했다. 대규모 데이터셋에서 이러한 접근 방법이 기존 방법보다 효과적임을 보여준다.

건설안전 지능형 질의응답 시스템과 관련된 가장 선구적인 연구는 ^{Tian et al. (2023)}이다. 연구자들은 건설안전 위험 관리를 위한 지능형 질의응답 방법을 개발하였다. Bidirectional Encoder Representations from Transformers (BERT)와 Bidirectional Gated Recurrent Unit, Self-Attention 기술을 결합한 딥러닝 기술을 사용한다. 건설현장 위험 요소와 관련된 질문과 답변 텍스트에서 의미적 특징을 추출하고 매칭하여 안전 위험 관리 조치를 자동으로 생성하는 것을 목표로 하여, 안전관리 응답을 정확하게 생성하고 선택한다.

미세조정된 모델을 통한 지능형 질의응답 시스템 구성은 의료, 법 등 다양한 분야에서 활용될 수 있으며 연구자들의 관심이 높아지고 있다. ^{Wu et al. (2024)}은 의료분야에 특화된 대규모 언어모델인 PMC-LlaMA를 개발했다. 연구는 언어모델을 의료분야에 맞게 미세조정하고, 480만 편 이상의 문헌과 3만권 이상의 교과서를 통해 모델을 제작했다. 미세조정된 모델을 통해 의료분야 벤치마크에서 우수한 성능을 보인다. ^{Yue et al. (2023)} 연구에서 연구자들은 법률 서비스를 위한 특화된 언어모델인 DISC-LawLLM을 개발했다. 이 모델은 삼단논법 프롬프팅 전략과 검색 모듈을 활용하여 법률 지식을 통합하고 법률 추론 능력을 향상시켰다. 중국 법률 데이터셋을 통해 미세조정되었으며, 일반적인 대규모 언어모델보다 뛰어난 성능을 보이며 다양한 법률 시나리오에서 효과적이다.

^{Ghimire et al. (2023)} 연구는 생성형 AI를 건설산업에 통합하는 방법을 조사하고 AI 모델의 이점과 한계점을 제시하였다. 생성형 AI는 안전관리, 실시간 모니터링과 같은 영역에서 업무에 도움을 제공한다. 과거 사고와 현재 프로젝트 상황을 분석하여 위험요소를 예측하는데 활용될 수 있다. 하지만, 생성형 AI는 사고사례와 같은 데이터를 활용하는 것에 있어 보안 조치가 필수적이며, AI 예측의 정확성은 안전관리에 있어 중요하다. 잘못된 예측이나 조치는 심각한 결과를 초래할 수 있으므로 AI가 훈련되고 신뢰할 수 있는지 확인하여야 한다. 따라서, 연구자들은 분야별 데이터셋을 구축하고 건설안전 분야에 맞는 미세조정 프로세스 대한 후속연구의 필요성을 시사했다. ^{Smetana et al. (2024)} 연구는 OpenAI의 GPT-3.5를 사용하여 고속도로 건설안전 사고에 대한 분석을 진행했다. 이러한 언어모델은 충돌, 추락과 같은 사고를 식별하였고 부적절한 위험요소 평가, 안전조치사항 미준수 등 사고의 원인을 파악하였다. 하지만, 연구자들은 일반적인 정보를 제공하는 ChatGPT와 같은 오픈소스 언어모델의 한계점을 제시하였고 도메인별 지식을 가지고 있는 언어모델의 적용이 필요함을 제시하였다.

이러한 연구들은 지능형 질의응답 시스템 구성에 있어 딥러닝 프로세스를 활용하여 성능을 향상시켰다. 하지만, 건설안전에 특화된 언어모델을 구축하기 위해서는 건설안전에 최적화된 데이터셋이 요구되며, 이러한 데이터셋을 통해 건설안전에 대한 지식과 용어 학습을 진행하여야 한다.

2.3 Knowledge Gap

건설현장의 안전 문제에 대응하기 위해, 대부분의 기존 질의응답 시스템 연구에서는 미리 정해진 답변 중에서 확률적으로 가장 적합한 것을 선택하는 데 중점을 둔다. 하지만, 이 방식은 새로운 정보나 특정 상황에 특화된 답변을 생성하는 것에 한계가 있다. 또한, chatGPT와 같은 오픈소스 언어모델은 건설산업에서 발생하는 상황에 일반적인 정보 제공에 중점을 두고 있으며, 도메인별 최적화된 지식을 요구하는 상황에서의 성능은 제한적이다.

따라서, 본 연구는 건설안전 분야의 데이터셋을 통한 미세조정 기반 언어모델을 통해 기존 질의응답 시스템의 한계를 극복하고, 건설안전 분야에 대해 맞춤형 답변을 생성하는 것을 목표로 한다. 이러한 방식을 통해 개발되는 건설안전 챗봇은 미리 정해진 답변을 제공하는 것이 아닌, 실시간으로 변화하는 건설현장의 상황과 사용자의 질문에 맞춰 정확하고 구체적인 답변을 생성할 수 있다. 이러한 접근을 통해, 건설현장에서 발생할 수 있는 다양한 상황과 문제를 효과적이면서 정확한 대응이 가능하게 하며, 전통적인 질의응답 시스템이 가지고 있는 한계를 극복할 수 있다.

3.1 연구 방법론

<Fig. 1>은 본 연구에서 제안하는 방법론의 연구흐름도이다. 본 연구에서 데이터셋은 산업안전보건공단에서 제공하는 ‘KOSHA Guide 건설안전지침(C)’에 대한 내용을 기반으로 제작한다. 건설안전지침 86개의 문서를 프롬프트 엔지니어링 기법을 활용하여 GPT-3.5-turbo ^{(OpenAI, 2022)} 모델을 통해 QA (Question Answering) 데이터셋을 제작한다(Step 1). KoAlpaca-Polyglot-12.8B ^{(Beomi, 2023)} 모델을 QA 데이터셋으로 미세조정을 실시한다(Step 2). 이 과정은 언어모델이 건설안전지침에 특화된 답변을 할 수 있도록 학습시키는 과정이다. 이렇게 미세조정된 모델을 바탕으로 chatGPT-4 ^{(Achiam, 2023)}, Palm2 ^{(Anil, 2023)}, KoAlpaca와 같은 언어모델과 건설 안전정보에 대하여 응답의 정확성, 전문성 등을 기준으로 정성평가를 수행하고, 정답과의 유사도를 바탕으로 정량평가를 수행한다(Step 3).

Fig. 1. Research Flow

3.2 QA 데이터셋 생성

QA 데이터셋 생성을 위해 프롬프트 엔지니어링 기법을 활용하여 ChatGPT를 통해 작성되었다. 프롬프트(Prompt)는 특정 작업을 수행하도록 생성형 AI에 요청하는 자연어 텍스트이다^{(Ekin, 2023)}. 생성형 AI는 프롬프트를 바탕으로 사전 훈련된 심층 신경망을 바탕으로 답변을 생성한다. 하지만, 생성형 AI는 환각(Hallucination)과 같은 치명적인 문제를 내포한다^{(Bang et al., 2023; Lee et al., 2018)}. 프롬프트 엔지니어링은 환각과 같은 오류를 줄이고 AI로부터 정확한 답변을 끌어내기 위한 입력값을 조합하고 최적화하는 과정이다.

프롬프트 엔지니어링 기법에는 ‘Zero-Shot Prompting ^{(Wei et al., 2021)}’, ‘CoT (Chain of Thought) ^{(Wei, J. et al., 2022)}’, ‘Self-Consistency ^{(Wang et al., 2022)}’ 등과 같은 기법이 있다. 본 연구에서는 ‘CoT’와 ‘Self-Consistency’ 기법이 사용되었다. CoT는 AI가 복잡한 문제를 해결하기 위해 추론 과정을 단계별로 거치면서 답변을 도출하는 기법이다. Self-Consistency는 여러 추론 경로를 비교하고 가장 일관성 있는 답변을 선택하도록 AI에 프롬프트를 제공하는 방식이다.

CoT 기법과 Self-Consistency 기법이 적용된 프롬프트 구성은 다음과 같다.

주요 문장 파악: 지침 문서를 분석하여 주요 문장 파악

관련 질문 생성: 주요 문장을 바탕으로 각각의 문장에 대해 3개 이상의 관련 질문 생성

적절한 질문 선택: 생성된 질문 중에서 핵심 내용을 잘 드러내며, 실질적인 이해를 돕는 질문 선정

답변 작성: 질문에 대해 지침 내용을 바탕으로 구체적인 답변 생성

질문과 답변 반환: 각각의 주요 문장에 대해 선택된 질문과 그에 대한 답변 반환

프롬프트는 QA 데이터셋 생성을 위해서 다섯 단계를 거치면서 답변을 도출하였으며, 각 단계에서 선택된 질문과 답변이 지침의 전체 맥락을 이해하고 일관성을 유지하도록 구성하였다. 이러한 프롬프트 기반의 접근 방식은 QA 데이터셋의 정확성과 일관성을 높이고 복잡한 지침 내용에서 명확하게 질문과 답변을 생성한다. 프롬프트는 chatGPT와 같은 AI 모델을 통해 한글로 작성된 건설안전지침을 바탕으로 한글 QA 데이터셋을 생성하는 것에 활용된다.

QA 데이터셋 생성에 사용된 데이터는 산업안전보건공단에서 제공하는 86개의 건설안전지침(C) (https://www.kosha.or.kr/kosha/data/guidanceC.do)를 기반으로 구축되었다. 건설안전지침은 건설현장에서 다양한 공정에 대해 안전 작업을 위한 지침들로 건설 작업 및 공정에 대해 안전 절차와 기준을 제시한다. 산업안전보건공단의 건설안전지침은 ‘거푸집 및 비계’, ‘흙막이 공사’, ‘교량 및 터널 공사,’특수 공법 및 장비’, ‘해체 및 리모델링’ 등 건설현장에서 발생할 수 있는 다양한 상황에 대비하여 작성되어 있다. 건설안전지침 PDF 문서를 기반으로 CoT 기법과 Self-Consistency 기법을 활용한 프롬프트 엔지니어링을 통해 5,114개의 건설안전 질의응답 학습용 데이터셋을 구축하였다<Table 1>. QA 데이터셋 정보의 신뢰성을 위해 연구자들이 직접 내용을 검수하였다. 검토과정에서는 질의응답의 불완전성과 답변의 정확성을 중점적으로 검토하였다. “이것”과 같은 모호한 표현과 지침 내용과 일치하지 않는 답변을 중점적으로 확인하였으며 건설안전 기본지침^{(Go, 2015)} 및 건설현장 안전관리 지침서^{(Park et al., 1997)}를 활용하여 검증하였다.

3.3 대규모 언어모델 미세조정

KoAlpaca-Polyglot-12.8B 언어모델 미세조정을 진행하였다. KoAlpaca-Polyglot-12.8B는 건설현장에서 실제로 활용할 수 있는 규모 수준의 언어모델로 실질적인 적용 가능성을 고려하여 선정되었다. 연구에 사용된 언어모델은 Stanford Alpaca LLM ^{(Taori, 2023)}의 학습방법을 사용하여 사전학습이 진행된 모델로 데이터셋이 공개되어 있으며 NSMC 벤치마크 결과가 공개되어 있다.

본 연구에서 사용된 미세조정 방식은 PEFT (Parameter-Efficient-Fine-Tuning methods)-LoRA (Low-Rank Adaption) ^{(Hu et al., 2021)}를 이용하여 진행하였다. 일반적인 전체 파라미터 미세조정 방식에서는 입력 행렬 X를 학습된 가중치 행렬 W과 곱해 중간 결과 H를 생성하며, 이 과정에서 W 행렬의 모든 파라미터가 조정된다. 반면 LoRA 방식의 미세조정에서는 전체 파라미터 W를 동결하고 추가 가능한 학습 파라미터인 A와 B 행렬을 도입하여, X를 A와 곱해 중간 결과를 생성하고, 이를 B와 곱해 최종 결과를 얻고 이 값을 본래의 H 값에 더함으로써 모델을 미세조정한다<Fig. 2>. 즉, LoRA 방식 미세조정은 사전학습된 파라미터를 프리징하고, Adapter 행렬의 차원을 Low-Rank로 변환하여 연산량과 메모리 소비량을 감소시킨다. 일반적인 미세조정 과정은 전체 네트워크의 매개변수를 조정하지만, LoRA 방식은 제한된 수의 파라미터에 초점을 맞춘다. 이를 통해, 모델의 성능을 유지하면서 제한된 데이터셋의 개수에서 전체 매개변수 미세조정보다 우수한 성능을 보인다.

Fig. 2. PEFT-LoRa Fine-Tunning Methods (Source: ^{Hu et al., 2021)}

3.4 대규모 언어모델 평가

미세조정된 언어모델 평가를 위해 GPT-4, Palm2와 같은 초대규모 언어모델과 미세조정된 모델을 비교한다. 정성평가는 건설 용어나 안전조치 사항에 대해 질의하고 초대규모 언어모델과 미세조정된 모델에 대해 응답의 정확성, 전문성 등을 기준으로 평가를 수행한다. 건설 용어나 안전조치와 같은 전문적인 주제에 대해 질의함으로써, 미세조정된 언어모델이 정확하고 전문적인 답변을 제공할 수 있는지 평가한다. 또한, 정량적 평가를 위해 BLEU (Bilingual Evaluation Understudy) Score ^{(Post, 2018)}와 BERT Similarity Score ^{(Lo & Simard, 2019)} 기반 평가를 통해 정답과 미세조정된 언어모델, 초대규모 언어모델 생성 답변의 유사도를 평가한다.

BLUE Score는 기계 번역의 성능을 평가하기 위한 지표로 단어와 구절의 일치도를 통해 평가한다. BLEU Score는 생성된 문장과 정답 문장의 길이를 바탕으로 n-gram의 기하평균을 구하여 계산되며 이를 통해 모델이 생성한 답변과 정답 간의 유사도를 비교할 수 있다. 모델이 생성한 답변과 정답 문장과의 길이를 바탕으로 간결성 패널티(Brevity penalty)를 적용하고 각 n-gram의 정확도를 기하평균으로 결정한다(1). 이러한 BLEU Score는 모델이 생성한 답변에서 적절한 용어 사용 여부를 평가한다. BLEU Score는 0~1 사이의 값으로 나타난다. 0.1~0.2의 값은 모델이 생성한 문장이 정답과 상당히 다르거나 핵심을 파악하기 어려운 문장이며, 0.2~0.3의 값은 요점은 명확하지만, 오류가 존재하는 문장이다. 0.3~0.4의 값은 언어모델이 이해할 수 있는 양호한 문장을 생성했음을 나타낸다.

BERT Similarity Score는 BERT 임베딩 모델을 활용하여 두 문장 간의 유사도를 측정하는 방법이다. 이 과정에서 정답 문장과 언어모델이 생성한 문장의 임베딩 벡터를 BERT로 생성한 후, 이 두 벡터 간의 코사인 유사도를 계산하여 문장 간의 유사도를 평가한다. 코사인 유사도는 내적을 각 벡터의 크기로 나눈 값으로 계산되며, 이는 벡터 간의 각도를 기반으로 문장의 의미적 유사성을 측정한다(2). 코사인 유사도는 두 벡터 사이의 각도를 측정하여 0에서 1 사이의 값을 가지며, 값이 1에 가까울수록 두 문장이 의미적으로 유사함을 나타낸다. 이러한 BERT Similarity Score는 문장의 의미적 맥락까지 평가할 수 있어 언어모델이 생성한 답변의 정확성과 의미적 유사성을 판단할 수 있다.

4.1 대규모 언어모델 미세조정

KoAlpaca-Polyglot-12.8B 모델에 대한 미세조정은 산업안전보건공단 건설안전지침을 바탕으로 진행된다. CoT 기법과 Self-Consistency 기법을 활용한 프롬프트 엔지니어링을 통해 추출한 5,114개의 QA 데이터셋을 바탕으로 PEFT LoRA 방식으로 미세조정된다. 미세조정에 사용된 하이퍼파라미터값은 다음과 같다: Batch_size=1, Gradient_acuumulation_steps=4, Max_steps=6440 (Epoch=5), Learning_Rate=1e-5

Batch_size는 대규모 언어모델의 메모리 제약으로 인해 작은 1개로 지정되었고, 작은 Batch_size를 보완하기 위해 4번의 Batch_size마다 한 번의 파라미터가 업데이트된다. 또한, 모델의 충분한 학습을 위해 Max_steps을 6440으로 설정하였다. 전체 데이터셋을 약 5회 학습한다. 언어모델의 충분한 학습과 과적합을 방지하기 위해 학습률은 1e-5로 설정되었다.

미세조정에서 사용된 하이퍼파라미터는 ^{Halfon et al. (2024)}의 연구 결과에서 제시된 권장 사항의 범위에 해당한다. 학습률 0.00001 (1e-5)은 Llama-3-8B 모델에서 LoRA 방식을 사용할 때 최적의 범위로 나타났으며, Batch size와 Epoch 설정도 적절한 수준으로 설정되었다.

미세조정 결과 대규모 언어모델에 포함된 전체 매개변수 6,653,788,160개 중 52,428,800 (0.79%)의 매개변수가 조정되며 6:50:44에 걸쳐 학습되었다. <Fig. 3>은 미세조정 중 Loss 값 변화량이다.

<Fig. 3>에 나타난 Loss 곡선은 건설안전 데이터셋에 대한 미세조정 과정에서 모델의 학습과정을 보여준다. 초기에는 Loss 값이 빠르게 감소하며 모델이 데이터에 빠르게 적응하고 있음을 나타내며, 학습이 진행될수록 Loss 감소율이 완만해지는 것은 모델이 수렴에 가까워지고 있음을 의미한다. 또한, LoRA 방식을 통한 Adpater 기반 미세조정 과정의 효율성을 보여준다. 전체 매개변수의 일부인 0.79%의 Adapter 매개변수만이 조정되었음에도 불구하고 모델은 안정적으로 학습을 이어가고 있으며, 이를 통해 사전 학습된 언어모델이 특정 도메인에 대해 최적화 될 수 있음을 확인할 수 있다.

Fig. 3. Training Loss

4.2 대규모 언어모델 미세조정 결과

학습된 대규모 언어모델 평가를 위해 미세조정된 모델, GPT-4, Palm2, KoAlpaca 모델이 생성한 답변을 비교하여 답변의 정확성, 전문성을 바탕으로 정성적인 평가를 진행한다. <Table 2>는 건설안전지침을 기반으로 구성된 공통된 질의에 대한 대규모 언어모델의 응답 생성 결과이다.

첫 번째 질의응답에서 미세조정된 모델은 “흙막이 지보공”이라는 용어에 대해 정확한 응답을 생성하였다. 미세조정된 모델은 “흙막이 지보공”이 굴착작업 중 토사의 붕괴나 토석의 낙하로 인한 근로자의 위험을 방지하기 위해 굴착 면을 지탱하는 가시설물이라는 정의를 정확하게 전달하였다. 이는 제시된 정답과 매우 유사한 답변으로, 미세조정된 모델이 특정 도메인 용어에 대해 정확하게 학습이 수행되었음을 보여준다. 반면, GPT-4와 같은 일반적인 모델은 동일한 용어에 대해 “흙을 제거하고 그 흙을 다른 곳에 쌓는 공사”라는 부정확한 답변을 작성하였다. 이는 일반적인 모델이 특정 도메인 용어에 대한 정확한 이해가 부족함을 나타낸다. 또한, 미세조정되지 않은 KoAlpaca 모델은 “흙막이지보공”을 댐이나 구조물의 공사 시 토사의 무너짐을 방지하기 위해 설치하는 구조물로 설명하며 정확하지 않은 답변을 생성한다. 이러한 일반적인 모델은 특정 도메인에 대한 지식이 부족하여 관련 없는 정보나 부정확한 정의를 제공한다.

두 번째 질의응답은 조치사항과 주의사항에 대한 질의이다. 미세조정된 모델은 개구부에 덮개를 설치할 때 주의해야 할 사항으로 “작업자가 임의로 제거하지 못하도록 단단히 고정해야 한다”는 내용을 포함하며, 덮개가 안전하게 유지될 수 있도록 잠금장치를 설치하고 결속철물을 사용하여 덮개와 구조물을 견고하게 연결할 수 있도록 방법을 제시하였다. 이는 참고 정답과 유사한 답변으로 미세조정된 모델이 특정 도메인에 대해 정확한 지식을 가지고 있음을 보여준다. GPT-4 및 Palm2 모델은 정답에서 강조하는 “임의로 제거하지 못하도록 단단히 고정”이라는 핵심 내용과 유사하지만 덮개의 고정과 관련된 구체적인 방법에 대해서는 언급하지 않았다. 즉, 정확한 답변을 제공하였지만 미세조정된 모델에 비해 답변의 구체성이 부족하다. 반면, KoAlpaca 모델은 덮개 설치 시 주의사항으로 안전조치와는 관련되지 않은 답변을 생성하는 것으로 보아 특정 도메인에 대한 이해가 부족한 것으로 평가된다.

세 번째 질의응답은 습식공법과 건식공법에 대한 차이점에 대한 질의응답이다. 미세조정된 언어모델은 습식공법과 건식공법의 차이점을 정확하게 설명한다. 이 모델은 습식공법이 모르타르를 사용해 석재를 설치하고 마감하는 공법이고 건식공법은 연결재만을 사용하여 석재를 설치하고 마감하는 공법임을 명확하게 설명한다. 이는 정답과 매우 유사한 내용으로 미세조정된 모델이 특정 도메인에 대해 정확한 정보를 제공할 수 있음을 보여준다. 반면 GPT-4은 질문의 맥락과 다소 벗어난 답변을 제공한다. Palm2 모델은 습식공법과 건식공법의 차이점에 대해서 정답과는 내용이 다소 다르나 비교적 정확한 답변을 제공한다. 하지만, KoAlpaca 모델이 생성한 답변은 습식공법과 건식공법의 정의와 차이점과는 거리가 멀며 잘못된 정보를 포함하고 있다.

정량평가는 정성평가와 동일하게 구성된 질의에 대해서 각각의 언어모델이 생성한 답변을 바탕으로 BLEU Score와 BERT Similarity를 바탕으로 평가한다. 건설안전과 관련된 100개의 질의 내용에 대해 각각의 언어모델의 답변을 정답 문장과 비교하여 결과를 도출하였다.

<Table 3>과 <Fig. 4>는 각각의 언어모델이 생성한 응답에 대해 BERT Similarity Score와 BLEU Score를 나타낸다.

BERT Similarity Score는 ko-sroberta-multitask ^{(jhgan, 2021)} 임베딩 모델을 통해서 정답문장과 언어모델이 생성한 문장을 임베딩한다. 임베딩 과정에서 문장은 768차원의 벡터로 변환되며 코사인 유사도 계산을 통해서 BERT Similarity Score를 결정한다.

미세조정된 모델이 0.8416으로 가장 높은 유사도를 기록했으며 이는 정답 문장과 가장 유사한 문장을 생성했음을 나타낸다. GPT-4는 0.7694로 두 번째로 높은 유사도를 보였으며, Palm2와 KoAlpaca는 각각 0.7267, 0.7232의 유사도를 보였다. 이러한 결과는 미세조정된 모델이 건설안전의 맥락에서 적절하게 학습이 수행되었음을 보여준다.

BLEU Score는 n-gram이 1인 경우와 2인 경우에 대해 분석을 진행하였다. 이는 n-gram이 값이 커질수록 더 긴 연속된 단어들의 일치를 평가하게 되는데 평가에 사용된 정답 문장의 길이가 충분히 길지 않아 연속된 단어 그룹이 제한적이기에 점수가 과도하게 낮게 나타난다. 또한, BLEU Score를 통한 정량평가의 목적이 기술적인 용어의 일치성을 확인하는 것이므로 n-gram이 1인 경우와 2인 경우에 대해서 평가를 진행한다.

미세조정된 언어모델은 Unigram과 Bigram 점수에서 각각 0.3497과 0.2604를 기록하며 가장 높은 성능을 보였고, 이는 생성된 텍스트와 정답간의 단어 및 단어 쌍의 일치도가 높음을 의미한다. 반면, KoAlpaca 모델은 BLEU Unigram과 Bigram 점수에서 0.1407, 0.0615를 기록하며 가장 낮은 성능을 보였다. 이는 생성된 텍스트가 정답 텍스트와의 단어 일치도와 단어 쌍 일치도에서 모두 낮은 성능을 보였다. 이러한 결과는 미세조정된 모델이 건설안전 도메인에 대해서 적절한 용어를 사용하고 정확한 정보를 제공함을 나타낸다.

Fig. 4. Language Model Quantitative Evaluation Results