2.1.1 텍스트 임베딩(Text Embedding)

텍스트 임베딩은 비정형 문서(PDF, HWP 등)를 RAG 시스템이 활용 가능한 벡터 기반 데이터 구조로 변환하는 단계이다. 임베딩(embedding)은 사람이 사용하는 자연어 문장을 컴퓨터가 처리할 수 있도록 숫자로 이루어진 고차원 벡터로 표현하는 기술로, 의미가 비슷한 문장이나 문단일수록 벡터 공간에서 서로 가깝게, 의미가 다른 텍스트일수록 멀리 위치하도록 하는 것이 핵심이다. 이렇게 만들어진 임베딩 벡터는 사람 눈에는 단순한 숫자 배열에 불과하지만, 컴퓨터에서는 두 텍스트의 의미적 유사성을 거리(예: 코사인 유사도)로 비교할 수 있게 해주는 공간이 되며 이러한 벡터의 집합 공간을 벡터 데이터베이스(Vector DB)라고 한다. 본 연구에서는 시설물 안전점검 지침서와 같은 비정형 문서를 문단 단위의 청크로 분할하고, 문서명⋅페이지⋅절 번호 등 최소한의 메타데이터를 부여한 뒤, 사전 학습된 LLM 기반 임베딩 모델을 이용해 각 청크를 고차원 벡터로 변환하였다. 실제 임베딩 공간은 수백-수천의 고차원 구조이지만, 본 논문에서는 그 특성을 직관적으로 보여주고자 차원 축소를 통해 3차원 공간으로 투영한 예시를 Fig. 1에 제시하며, 의미적으로 유사한 문단들이 벡터 공간에서 군집을 이루는 모습을 시각적으로 확인할 수 있다.

Fig. 1. Vector DB 기반 문단 단위 텍스트 임베딩의 3차원 공간 분포 및 범주별 군집 특성

2.1.2 문서 처리 프로세스

문서 처리 단계는 RAG 시스템의 기반을 형성하는 전처리 과정으로, Fig. 2와 같이 시설물 유지관리 문서를 벡터 기반 검색이 가능한 구조화 데이터로 변환하는 것을 목표로 한다. 시설물 관련 문서는 표, 수치, 단위, 절 번호, 캡션 등 복잡한 구조를 포함하고 있으므로, 단순 텍스트 변환만으로는 의미 단위와 문맥을 온전히 보존하기 어렵다. 이에 따라 본 연구에서는 문단 중심 청크화와 보수적 정규화 전략을 결합한 전처리 방식을 적용하였다.

우선 입력 문서는 pdfplumber 라이브러리를 활용하여 페이지 단위로 본문 텍스트와 표를 병렬 추출하였다. 표는 셀 구조와 캡션을 함께 직렬화하여 HTML 형식으로 저장함으로써, 나중에 필요할 경우 표 단위 검색이나 캡션 기반 검색에도 활용할 수 있도록 하였다. 본문 텍스트는 빈 줄을 기준으로 문단을 구분하고, 각 문단을 독립적인 청크 단위로 취급하였다. 페이지마다 반복되는 머리말⋅꼬리말⋅페이지 번호 등은 자동 제거하여, 동일한 문서에서 반복적으로 등장하는 비의미적 요소가 검색 결과를 왜곡하지 않도록 하였다.

정규화 과정에서는 시설물 안전문서의 특성을 고려하여 의미 보존을 최우선으로 하는 보수적 정규화(conservative normalization)를 적용하였다. 공백과 개행은 일정한 규칙에 따라 통일하되, 문장 순서는 보존하였으며, 규정 수치, 단위(mm, MPa, ℃ 등), 비교 연산자(≥, ≤, ±)는 원형을 유지하였다. 또한, 표나 그림 캡션은 본문과 혼합하지 않고 별도의 청크로 분리하여, 검색 단계에서 규정 본문과 보조 설명을 구분해 활용할 수 있도록 하였다. 각 청크에는 문서명, 페이지 번호, 절 번호, 캡션 여부 등 메타데이터를 부착하여, 검색 이후 생성 단계에서 출처 정보를 상세히 제공할 수 있도록 준비하였다.

정제된 문단 청크는 OpenAI의 text-embedding-3-small 모델을 이용해 고차원 임베딩 벡터로 변환되었다. 이렇게 생성된 임베딩은 Pandas DataFrame 형태로 관리된 후, CSV 파일로 직렬화하여 경량 파일 기반 벡터 데이터베이스(File-based Vector DB)로 활용하였다. 이러한 구조는 별도의 데이터베이스 관리 시스템(DBMS)이나 외부 서버 없이도 로컬 환경에서 의미 기반 검색을 구현할 수 있게 해주며, 문서 개정 시 해당 문서만 재처리하여 CSV를 갱신하는 증분 업데이트(Incremental Update)가 가능하다는 장점을 가진다.

요약하면, 문서 처리 단계는 비정형 PDF 문서를 RAG 시스템이 직접 검색할 수 있는 구조화⋅벡터화된 지식 인덱스로 변환하는 과정이며, 이후 질의응답 단계에서 수행되는 검색-생성 파이프라인의 성능과 신뢰성을 좌우하는 기초 인프라를 제공한다.

Fig. 2. 문서 처리 프로세스

2.2.1 RAG 모델의 개요

Retrieval-Augmented Generation(RAG)은 주어진 질문에 관련된 외부 지식을 먼저 검색한 뒤, 검색된 정보를 기반으로 LLM의 생성 능력을 보완하는 구조로, 검색과 생성을 하나의 파이프라인으로 결합한 검색 증강 생성 기법이다^{(C Jeong, 2023)}. LLM이 모델 파라미터 내부에 내재된 지식 파라메트릭 메모리(Parametric Memory)에 주로 의존한다면, RAG 시스템은 질의 시점에 외부 지식 저장소인 Vector DB를 참조하는 비파라메트릭 메모리(Non-parametric Memory)를 함께 활용함으로써, 모델을 재학습하지 않고도 최신 지식을 반영할 수 있도록 설계된다.

이처럼, RAG의 핵심 아이디어는 파라메트릭 메모리와 비파라메트릭 메모리를 결합한 이중 메모리 구조에 있다. LLM 내부 지식과 외부 지식 저장소를 결합하여, 질의와 관련된 문맥을 검색⋅증강한 뒤 응답을 생성함으로써 근거와 출처를 명확히 할 수 있다^{(P Lewis et al., 2020)}.

RAG 구조는 일반적으로 (i) 검색(Retrieval) 단계와 (ii) 생성(Generation) 단계라는 두 축으로 구성된다. 이와 별개로, 실제 시스템 구현에서는 비정형 문서를 벡터화하고 인덱스를 구축하는 임베딩⋅인덱싱 과정이 사전에 수행되는데, 이는 질의가 입력되기 전에 한 번 수행되는 전처리 단계이며, 질의응답 파이프라인과는 구분되는 준비 과정이다. 즉, 본 연구의 프로세스는 (1) 문서 임베딩 및 인덱스 구축이라는 사전 준비 단계와, (2) 질의 시점에 동작하는 검색-생성 RAG 파이프라인으로 구성되며, RAG 파이프라인은 검색기(Retriever)와 생성기(Generator)가 실시간으로 상호작용하는 구조를 가진다.

본 연구에서는 이러한 RAG의 일반 개념을 시설물 안전점검⋅진단 도메인에 적용하였다. 구체적으로, 시설물 유지관리 지침서, 진단 보고서 등 비정형 PDF 문서를 Vector DB로 구성하고, 현장 점검자가 제기하는 자연어 질의에 대해 문서명⋅페이지⋅절 번호 등의 출처 정보를 함께 제공하는 근거 기반 질의응답 체계를 설계하였다. 이를 통해 모델이 내부 지식에만 의존하지 않고, 실제 지침 문서에 근거한 응답을 생성하도록 유도하였다.

2.2.2 사용자 질의응답 프로세스

질의응답 단계는 Fig. 3과 같이 사용자의 자연어 질문을 입력으로 받아, 검색과 생성 단계의 절차를 순차적으로 수행하는 RAG 파이프라인이 포함된 시스템의 전반적인 프로세스이다. 이 단계에서 사용자는 웹 기반 대화형 사용자 인터페이스(UI)를 통해 시스템과 상호작용하며, 시스템은 외부 지식 저장소를 활용하여 근거 기반 응답을 실시간으로 제공한다. 사용자가 “균열 폭 0.3 mm 이상은 몇 등급인가?”와 같은 질문을 입력하면, 시스템은 우선 동일한 임베딩 모델(text-embedding-3-small)을 사용하여 질의를 벡터로 변환한다.

Fig. 3. 질의 응답 프로세스

생성된 질의 벡터는 Vector DB에 저장된 각 문단 임베딩과의 코사인 유사도(Cosine Similarity) 식 (1)를 계산하는 데 사용되며, 유사도 값이 높은 순으로 상위 K개(Top-K, 기본값 3개)의 문단이 탐색된다. 여기서 Top-K는 검색 단계에서 선택되는 문맥의 개수를 의미하며, RAG 시스템의 응답 품질을 결정하는 주요 파라미터로 작용한다. Top-K 값이 너무 작을 경우 관련 문맥이 충분히 확보되지 않아 근거 부족 문제가 발생할 수 있으며, 반대로 너무 클 경우 불필요한 문맥이 포함되어 응답의 정확도를 저하시킬 수 있다. 따라서 본 연구에서는 정확도와 문맥 효율성을 고려하여 Top-K=3으로 설정하였다. 이 과정은 키워드 기반 검색이 아니라 의미 기반 검색이므로, “균열 폭 0.3 mm 이상”과 “크랙 폭이 0.3 mm 초과”처럼 표현이 다르더라도 동일한 의미로 인식될 수 있다. 검색된 문단에는 본문 내용과 함께 문서명, 페이지, 절 번호 등 메타데이터가 포함된다.

검색된 문맥은 프롬프트에 포함되어 LLM의 응답 생성에 활용되며, 본 연구에서는 근거 기반 응답과 출처 명시를 유도하는 구조를 적용하였다. 시스템 지침에는 문서에서 제공된 근거를 기반으로 답변을 생성하도록 하는 규칙과 함께, 답변에 원본 문서의 문서명과 페이지 번호를 포함하도록 요구하는 지침을 포함하였다. 또한 제공된 문서에서 충분한 근거를 확인할 수 없는 경우에는 이를 명시적으로 표현(예: 근거 없음)하거나 추가 질문을 통해 판단을 보완하도록 프롬프트를 설계하였다. 검색된 문맥 블록은 규정 본문을 중심으로 표⋅그림 캡션 및 관련 설명을 함께 포함하도록 구성되며, 동일한 정보가 반복되는 경우 중복 문맥을 제거하여 불필요한 토큰 사용을 최소화하였다. 이러한 프롬프트 설계는 RAG 파이프라인의 구조적 특성뿐 아니라, LLM이 명시적인 규칙과 제약을 따르도록 유도함으로써 응답의 신뢰성과 일관성 확보에 중요한 역할을 한다^{(L Ouyang et al., 2022)}.

응답 생성에는 OpenAI의 gpt-4o 모델을 사용하였다. 모델은 기술 문서 형식에 가까운 문장 구조로 답변을 생성하며, 출력에는 참조한 문서명과 페이지 번호를 함께 포함한다. 또한 프롬프트 설계를 통해 문서 기반 근거 중심 응답을 유도하였다. 검색 결과가 없거나, 유사도가 사전에 설정한 임계값 이하인 경우에는 모델 호출을 생략하고 “해당 문서에서 근거를 찾지 못했습니다. 추가 문서를 업로드하거나 다른 질의를 입력해 주세요.”와 같은 메시지를 반환함으로써, 근거 없이 임의로 답변을 생성하는 상황을 사전에 피하도록 설계하였다. 이러한 접근은 근거 기반 생성과 환각(hallucination) 완화를 동시에 달성하기 위한 전략으로, 최근 제안된 프롬프트 기반 RAG 구조에서 강조되는 환각 억제 및 응답 신뢰성 확보의 방향성과 개념적으로 일관된 접근이라 할 수 있다 ^{(Asai et al., 2024)}. 최종 응답은 Streamlit 기반 사용자 인터페이스에서 “답변” 영역과 “참고한 문서 내용” 영역으로 분리되어 표시된다. 사용자는 한 화면에서 LLM이 생성한 요약형 답변과, 해당 답변의 근거가 된 원문 문단을 동시에 확인할 수 있으며, 필요 시 원문 페이지를 직접 열람하여 모델의 판단 근거를 검증할 수 있다. 또한, 인터페이스에서 Top-K 개수, 응답 톤(기초 수준–전문가 수준) 등을 조정할 수 있어, 현장 점검자, 관리자 등 다양한 사용자 수준에 맞춰 시스템을 활용할 수 있다.

2.4.1 기능의 구현 및 비교⋅분석

본 논문에서 수행한 평가는 제안 시스템이 원문 기준을 얼마나 정확하게 검색⋅요약하고 근거와 함께 제시하는지를 확인하는 기능적 검증에 초점을 두었다. 이를 위해 ｢시설물 안전 및 유지관리 실시 세부지침(성능평가 편)｣의 원문 내용과 제안한 RAG 기반 의사결정 지원 시스템(Proposed System)이 산출한 응답을 비교하였다. Streamlit 기반으로 구현한 시스템 UI는 사용자가 웹 브라우저에서 “안전성 평가기준 및 방법”과 같은 질의를 입력하면, Fig. 6와 같이 화면 상단에 LLM이 생성한 요약 답변을, 하단에는 “참고한 문서 내용” 패널을 통해 원문에서 검색된 문단과 페이지 번호를 함께 제시하도록 설계하였다. 요약문, 검토할 사항 목록을 통해 가독성을 높이고, 원문 참조 페이지 정보를 동시에 제공함으로써, 모델이 프롬프트에 따라 관련 규정을 요약⋅정리하고 근거를 명시적으로 제시하는 기능을 확인할 수 있다.

Fig. 6. 생성형 AI 응답의 요약 및 원문 근거 제시 구조

Fig. 7은 제안된 시스템이 연속적인 질의 상황에서 대화 맥락을 유지하고 의미적으로 유연하게 응답을 생성하는 과정을 보여준다. 그림의 질문 1과 질문 2는 동일한 규정에 대해 사용자가 순차적으로 질문하는 예시이며, 제안 시스템은 대화 히스토리 기억 모듈을 통해 이전 질의-응답 내용을 세션 단위로 저장하고 이를 참조함으로써 후속 질문에 대해서도 일관된 답변을 제공한다. 또한 텍스트 임베딩 기반 질의 처리를 통해 “균열 폭 0.3 mm 이상”과 “크랙 폭이 0.3 mm 초과”처럼 표현 방식이 다르거나 경미한 오타가 포함된 경우에도 동일한 의미의 규정으로 인식하고 관련 문단을 회수할 수 있어, 실무자가 선행 질문과의 연관성을 유지한 채 심도 있는 탐색을 수행할 수 있도록 지원한다.

Fig. 7. 이전 질의 정보를 반영한 연속 질의 응답 처리 구조

본 연구는 제안 시스템의 효용성을 검증하기 위해, 시설물 안전진단 실무에서 빈번히 등장하는 질의 유형(예: 균열 폭에 따른 등급 판정, 재료시험 조건, 보고서 작성 형식 등)을 선정하고, 동일한 질의를 각각의 모델에 입력한 뒤 응답을 비교하고 분석하였다. Fig. 8은 “유⋅토수문의 부식손상에 대한 상태평가기준”이라는 수치형 질의에 대해, 본 논문에서 제안한 RAG 기반 시스템(Proposed System)과 범용 LLM 기반 시스템(Baseline System)의 응답을 비교한 결과를 나타낸다. 원본 지침인 ｢시설물의 안전 및 유지관리 실시 세부지침｣에서는 상태등급이 A-E등급을 보여주고 있으며, 각 등급별 점수 및 부식률(예: 5%, 20%, 50%)과 같이 정량 기준에 따라 구간별로 명확히 정의되어 있다. Fig. 8의 RAG 기반 시스템은 이러한 정량 기준과 등급 구간을 정확히 유지한 채 응답을 생성하여 원문과 정확성이 높은 응답을 제공함을 확인할 수 있다. 반면 Fig. 8의 LLM 기반 시스템은 사전 학습된 일반 지식을 바탕으로 ‘부식의 정도’, ‘기능의 영향’ 등 원문에 존재하지 않는 임의의 상위 카테고리로 내용을 재구성하고, 원문에서 제시된 핵심 부식률 구간을 명시적으로 반영하지 못하는 모습을 보인다. 이는 단순한 요약이 아니라, 문서의 판단 기준 자체가 변형되고 필요 이상의 설명을 장황하게 제시하는 구조적 환각(Structural Hallucination)에 해당한다. 또 다른 예시로는 “절연내력 상태평가기준”에 대해서 질의를 하면, 일반적 LLM(Baseline LLM)은 사실과 전혀 다르고 시설물과는 관련 없는 내용을 제시하는 등 환각현상(Hallucination)이 일어나는 것을 확인할 수 있었다. 이러한 비교를 통해, 제안한 시스템이 사용자의 질의에 대해 프롬프트 규정에 입각한 신뢰성 높은 정보를 제공하고, LLM의 자의적 해석 및 요약⋅재구성에 따른 정보 왜곡을 효과적으로 억제한다는 점을 확인하였다.

Fig. 8. RAG 기반 시스템과 일반 GPT 응답 결과 비교

본 연구에서는 제안하는 RAG 파이프라인의 정량적 성능을 평가하기 위해 GPT-5.3 모델을 활용하여 유지관리 실무에서 요구되는 핵심 질의를 기반으로 평가용 데이터셋을 구축하였다. 유지관리 문서를 기반으로 전문가 관점에서 활용 가능한 질의를 도출하고, 이를 질의-답변-근거 구조로 정제하였다. 질의 유형은 유지관리 방안, 지침, 법규 등을 포함한 설명형 질의 100건으로, 일반 LLM이 장황한 설명을 생성하는 경향이 있어 의미적 적절성을 보다 합리적으로 반영하기 위해 핵심 단어의 포함 여부를 기준으로 정확도(Accuracy)를 평가하였다. 반면, 수치형 질의의 경우에는 상태 등급 판정과 보수보강 기준 등 정량정보를 요구하는 질의 100건에 대해서 원문에 명시된 수치값 및 구간 조건이 정확히 반영된 경우에만 정답으로 판단하였다. 이때, 평가용 벤치마크셋은 환각현상으로 인한 라벨링 오류를 최소화하기 위해 Human-in-the-Loop (HITL) 과정을 동반하여 신뢰성을 검증하였다. 이와 같은 평가 기준을 적용한 결과, Table 1과 같이 Baseline LLM은 설명형 질의에서 비교적 양호한 성능을 보였으나, 수치형 질의에서는 문서에 명시된 정량 기준을 정확히 유지하지 못하는 경우가 다수 확인되었다. 이는 일반 LLM이 의미적으로 유사한 내용을 생성하는 능력은 갖추고 있으나, 문서에 명시된 정량 기준을 정확히 반영하는 데에는 한계가 있다고 사료된다.