기호설명

1. 서 론

2017년부터 2021년의 화재발생 현황을 나타낸 통계청 자료에 의하면(Fig. 1), 2020년(38,659건, 재산피해 600,475,432천 원)과 2021년(화재 발생 36,267건, 재산피해 1,099,124,986천 원)을 비교하였을 때, 2020년 대비 2021년에 화재 발생 건수는 6%의 감소율을 나타냈으나 오히려 재산피해는 83% 증가함을 나타냈다.⁽¹⁾ 이는 국토 교통부의 자료에서 나타나듯이 2021년도 전국 건축물의 연면적은 전년 대비 9,435만 5,000 m2에서 40억 5,624만 3,000 m2로 증가한 것으로 집계되었는데⁽²⁾, 건축기술의 발달과 인구밀집에 따른 건축물 고층화로 인한 연면적 증가로 나타난 현상으로 사료된다. 또한 건축물의 연면적이 증가함에 따라 건축도면 및 설비 계획은 점차 다양하고 복잡해지고 있으나 소방 설비 엔지니어는 부족한 현황이다.⁽³⁾ 소방청 및 한국소방시설협회에서 제공하는 소방시설 설계 절차서를 따르면 소방시설 설계 절차는 기획설계, 계획설계, 기본설계, 실시 설계 순서로 진행된다.⁽⁴⁾ 그중 기획설계와 계획설계는 설계 조건 검토, 설계 기본 방침 수립을 진행하게 되고 소방 엔지니어는 이를 위해 설계사로부터 다양한 파일 양식의 건축개요를 받아 필요한 요소들을 수작업으로 추출하게 된다. 이러한 작업 중 소방 설비 엔지니어의 실수와 누락 등의 이유로 설계의 오류가 발생하거나 시스템의 검토시간 부족으로 신뢰성, 성능 효율성 저하 등의 문제를 초래할 수 있다. 따라서 설비 엔지니어의 능률 개선을 위해 인공지능 활용이 필요할 것으로 판단된다. 인공지능은 1956년 John McCarthy⁽⁵⁾에 의해 처음 소개되었고 2016년 알파고 대 이세돌 대국 이후 인공지능에 대한 관심도가 높아지면서 최근 인공지능을 활용한 많은 연구가 진행되고 있다.

Ko et al.⁽⁶⁾은 인공지능의 기술 중 하나인 MLP(Multi-Layer Perceptron)을 활용한 화재 예측 모델을 개발을 통해 화재 예방 활동에 기여 하고자 하였다. 개발된 모델은 10-겹 교차검증(10-fold cross validation)을 통해 87.1%라는 높은 정확도를 나타냈다. Park and Kang⁽⁷⁾은 RTSP 카메라를 통해 들어온 영상을 화재추론 AI디바이스 Jetson nano에 YOLOv4를 구축하여 실시간 영상 기반 화재 검출을 제시하였다. Kim and Kim⁽⁸⁾은 CNN(Convolutional Neural Network)을 활용한 영상 기반의 화재감지 방법을 제안하였으며 검출률, 미검출률 그리고 오검출률의 비교를 통해 기존 연구와 비교하여 성능이 크게 향상됨을 확인하였다. Rho et al.⁽⁹⁾은 화재 안전 향상을 위한 엣지 컴퓨팅(edge computing) 기반의 화재감지 시스템에 적용 가능한 CNN 기반 이미지 분류 모델인 MobileNetV2, RestNet101, EfficientNetB0를 활용하여 화재 예측 성능 해석을 및 비교하였다. 비교 분석한 결과, 화재 예측 정확도는 95.2%로 EfficientNetB0 모델이 가장 우수하였고 경량성 측면에서는 MobileNetV2가 가장 우수한 것으로 나타났다. Kim et al.⁽¹⁰⁾은 딥러닝 Yolo 모델 기반의 건축도면 공간탐지 및 공간사이 관계 정보 검출을 통해 재난 시, 구조 및 대피의 최적 경로를 탐색하는 알고리즘을 제시하였다. Zhao et al.⁽¹¹⁾은 딥러닝 Yolo 모델을 활용하여 2D의 구조 도면 인식 및 건물 구성요소 감지를 통한 BIM(Building Information Model) 재구성 방법을 제안하였다. 1,500개의 구조 도면 이미지를 1,500개의 구조 도면 이미지를 수집하여 전처리 작업 및 학습을 진행한 결과, 이미지 감지 정확도는 약 80%를 나타내어 모델의 가능성을 입증하였다. Huanget al.은 이미지 데이터를 쌍으로 학습하고 입력을 기반으로 새로운 이미지를 생성하는 딥러닝 기반 GAN(Generative Adversarial Networks) 알고리즘 중 하나인 Pix2pixHD를 사용하여 건축도면을 인식 및 생성하여 디지털 도면 보조를 위한 프로토타입의 도구를 제안하고자 하였다. Schönfelder et al.⁽¹²⁾은 Faster R-CNN을 기반의 딥러닝 텍스트 감지 모델을 이용하여 품질이 좋지 않은 2D 건축도면으로부터 읽기 어려운 문자 요소를 감지하고 분류하는 방법을 제안하였다.

위와 같이 선행 연구를 살펴본 결과, 소방분야에서는 대다수가 화재 예측, 감지, 도면 인식 등의 연구가 진행되고 있는 것으로 나타났으나 소방 설비 설계에 직접적인 도움을 줄 수 있는 연구 및 방법론은 다소 부족한 것으로 나타났다.

따라서 본 연구에서는 소방 설비 엔지니어의 작업 능률을 효율적으로 개선하고자 딥러닝 기반의 이미지 인식 및 OCR(Optical Character Recognition)을 활용한 건축개요 표 자동인식 및 소방 설계요소 추출 모델 개발을 진행하고자 한다. 개발된 모델을 통해 소방 설비 엔지니어의 소방 설비 기획 및 계획에 필요한 시간을 단축함으로써 추가적인 시스템 검토 시간 확보를 통한 설계의 고품질화, 성능 효율성, 기능 적합성 등 다양한 효과를 기대할 수 있을 것으로 판단된다.

Fig. 1 Property damage and number of fires.(1)

2. 연구방법

2.3 알고리즘 프로세스

Fig. 2는 인공지능 기반 이미지 양식의 건축개요 표 인식 및 문자 추출 프로세스를 나타낸다. 프로세스 순서는 다음과 같다. 첫째, TableNet와 OpenCV를 통해 구현된 ROI(Region of Interest)를 통해 이미지로부터 건축개요 표를 감지 및 분류 한다. 둘째, 감지된 표는 OpenCV를 통해 전처리를 진행한다. 이때, 전처리의 목적은 표의 Cell Bounding box 계산함으로써 표의 형태와 문자 위치정보를 저장하기 위함이다. 셋째, Cell Bounding box로 저장된 이미지를 Craft를 통해 문자 감지를 진행한다. 넷째, EasyOCR을 통해 표의 문자를 추출하고 인식된 문자는 Cell의 Bounding box 위치정보를 통해 표의 형태에 따라 정렬한다. 마지막으로 Edit Distance 알고리즘을 통해 잘못 인식된 문자를 개선하고 추출하고자 하는 소방설비 요소 Head와 유사도가 높은 문자를 추출 및 저장한다.

Fig. 2 Process of extracting fire protection system design information.

2.4 학습데이터 구축

본 연구에서는 이미지로부터 표 감지 모델 개발을 위해 소방설비 전문기업인 ‘H’사에서 제공한 건축개요 표 이미지와 Marmot 데이터 대략 1,000개의 이미지를 사용하였다. 건축개요 표 이미지 학습데이터의 예시는 Fig. 3과 같다. ‘H 사’에서 제공한 건축개요 표 이미지는 건물의 용도에 따라 판매시설, 자동차 관련 시설, 의료시설, 업무시설, 숙박시설, 판매 및 집회 시설, 교육 및 연구시설, 공장, 공동주택으로 분류되며 다양한 형식의 표를 학습시킬 수 있을 것으로 사료된다. 또한 표 이미지를 학습하기 위해 XML 포맷의 파일을 사용하였다. 이는 이미지를 학습시키기 전 표의 형태와 위치를 저장하기 위함이며, XML 포맷 생성은 Yolo 알고리즘 기반의 Labeling 프로그램을 사용하였다. Labeling을 통해 생성된 XML 파일은 이미지의 표의 위치에 대한 정보가 포함되어 있다. 학습 데이터의 학습과 테스트 비율은 7:3으로 진행하였다. OCR 학습데이터의 경우 EasyOCR 라이브러리에서 제공하는 2r Generation Models_Korean_g2를 사용하였다.⁽¹⁷⁾

Fig. 3 Example of table detection model training data (bmp, xml).

2.5 표 감지 개선을 위한 이미지 전처리

이미지의 해상도는 표 및 문자를 인식하는 데 있어 큰 영향을 미친다. 따라서 본 연구에서는 OpenCV의 함수 중 임계값을 제어하는 cv2.threshold() 함수를 사용하였다. cv2.threshold() 함수는 이미지의 이진화법으로 임계값을 제어하여 흑/백으로 분류하여 Fig. 4와 같이 이미지 전처리가 가능하다.⁽¹⁶⁾ 전처리된 이미지는 흑백 반전, 화질 개선 등으로 표와 문자가 Computer Vision으로 인식하기 유리한 조건으로 조정된다. 이와 같이 전처리된 이미지는 본 연구에서 구현한 표 감지 모델과 Cell 영역 계산 함수에 입력데이터로 사용되어 최종적으로 문자 인식 딥러닝 모델인 EasyOCR의 인식률을 개선하고자 하였다.

Fig. 4 Image pre-processing through OpenCV.

2.6 인공지능 기반 표 감지 모델 개발

Fig. 5는 본 연구에서 TCS Reserch에서 개발한 TableNet을 참조하여 개발한 건축개요 표 감지 모델의 Architecture를 나타낸다. 본 모델의 구조는 VGG-19를 기반으로 한 FCN 구조이며, 참조 모델인 TableNet과 달리 Column Mask는 삭제되고 표 감지를 위해 Table Mask만을 사용하였다. 이는 TableNet을 통해 본 연구에서 인식하고자하는 건축개요 표를 인식할 데이터로 주어진 경우, 표의 형상이 균일하지 않고 다소 복잡한 규격을 나타내어 표의 행과 열을 구분하는데 어려움을 나타냈기 때문이다. 따라서 본 연구에서는 자동적인 표만을 감지하는 ROI를 구현하기 위해 Table Mask만을 형성하였다. 감지된 건축개요 표의 행과 열은 OpenCV를 통해 가로와 세로선을 구분하여 계산하였다. 모델의 성능평가는 Precision, Recall 그리고 F1 Score를 통해 진행하였으며 각각의 수식은 식(1) ~ 식(3)과 같다.⁽²⁰⁾ 본 모델의 최종 Parameters와 Performance는 각각 Table 2와 같으며 최종 모델 선택은 데이터 Label이 불균형 구조일 때, 모델의 성능을 정확하게 평가할 수 있는 F1 Socre가 가장 높은 모델로 선정하였으며 이는 Table 3과 같다.

(1)

$Precision = TP /(TP + FP)$

(2)

$Recall = TP /(TP + FN)$

(3)

$F1 Scoure = 2 *((Precision * Recall)/(Precision + Recall))$

Fig. 5 Table detection model architecture.

Table 2 Parameters of table detection model

Patermeter	Value
Optimizer	Adam(LR: 0.0001)
Activation function	RelU
Loss	BCEWithLogitsLoss
Epoch	500
Metrics	F1 Score, Recall, Precision

Table 3 Metrics of table detection model

Metrics	Train	Test
Precision	0.71	0.68
Recall	0.71	0.70
F1 Score	0.71	0.69

3. 알고리즘 모델 성능 분석

3.1 표 감지 모델 성능 분석

Fig. 6은 본 연구에서 개발한 인공지능 기반 표 감지 모델의 결과를 나타낸다. 본 연구에서는 인공지능 모델을 통해 이미지로부터 표를 자동으로 감지하고 문자 추출을 통한 소방설비 요소 자동 추출 알고리즘을 개발하고자 하였다. 개발된 인공지능 모델은 이미지로부터 표를 감지하고 Bounding box를 형성함으로써 각각의 좌표 값을 계산하고 딥러닝 기반의 컴퓨터 비전인 OpenCV로 전달하여 ROI 기능을 통해 감지된 표를 분할 및 저장한다. 또한 저장된 이미지는 본 연구에서 OpenCV를 통해 구현한 함수를 통해 Cell 영역을 계산하고 문자를 추출한다. 개발된 인공지능 모델은 표 감지 과정 중 표의 셀을 하나의 표로 잘못 인식하여 좌표 값을 계산하는 오류가 종종 발생하였다. 이를 방지하고자 실무에서 사용되는 표의 평균 크기를 분석 후, 표 크기의 threshold를 정하였다. 이와 같은 오류는 많은 양의 표를 학습데이터로 사용하기 위해 실무에서 사용하는 표 이외 다양한 표를 추가적으로 학습시킴으로써 발생한 학습 오류로 사료된다. 따라서 추후에 학습데이터의 표 크기를 재분석하여 학습할 필요가 있을 것으로 판단되었다.

Fig. 6 Results of table detection and ROI.

3.2 수직선, 수평선 및 Cell 영역 계산

표 감지 인공지능 모델을 통해 감지된 표로부터 소방설비 설계에 필요한 요소를 추출하기 위해선 OCR을 통해 읽고자 하는 문자의 영역을 지정하였다. 본 연구에서는 딥러닝 기반의 컴퓨터 비전인 OpenCV를 활용하였다. cv2.getStructuringElement()는 영상이나 이미지를 형태학적 관점에서 접근하는 기법인 모폴로지 변환할 수 있는 함수로써, 수직선, 수평선의 Kernel을 생성하기 위해 사용하였다. 각각의 kernel을 통해 생성된 수직선, 수평선 이미지는 cv2.addWeighted 함수를 통해 합성되어 새로운 이미지로 저장되며, 이때 표의 수직선과 수평선을 제외한 모든 정보는 삭제하였다. 이는 한글의 형태가 수직선과 수평선으로 인식되어 오류를 범할 수 있기 때문이며 결과는 Fig. 7과 같다. 새로이 합성된 이미지는 Cell 영역 계산을 위해 Bounding box 형성 함수인 OpenCV의 cv2.boundingboxRect()를 활용하여 x, y, w, h 좌표 값을 산출하였다. 또한 Bounding box는 각각 모폴로지 기법인 이미지 크기조절, 침식연산, 팽창연산의 기능을 가진 OpenCV의 resize(), dilate(), erode()를 통해 이미지의 해상도를 조절하였으며 이를 통해 이미지에 불필요한 노이즈를 제거하고 EasyOCR이 문자를 인식할 수 있는 최적의 환경을 조성하였다. 생성된 Cell 영역의 결과는 Fig. 8과 같다.

Fig. 7 Extraction and synthesis of horizontal and vertical lines in tables.

Fig. 8 Calculated cell area by OpenCV.

3.3 문자 인식 및 표 행렬 정렬

앞서 설명한 Cell 영역 계산을 통해 형성된 Cell 영역은 EasyOCR을 통해 문자를 인식한다. EasyOCR의 Recognition 모델은 deep-text-recognition-benchmark를 기반으로 한다.⁽¹⁷⁾ 내장된 Loss 함수는 CTC Loss이며 CTC는 입력 음성 프레임 시퀀스와 타켓 단어/음소 시퀀스 간에 명시적인 Alignment 정보 없이도 음성 인식 모델을 학습할 수 있도록 고안되었다. 즉, 입력 프레임 각각에 레이블을 달아 놓지 않아도 음성 인식 모델을 학습 할 수 있으며 이는 문자 인식 모델에도 동일하게 적용된다.⁽²¹⁾ 문자 인식률은 이미지의 해상도에 따라 차이가 발생하였으나 평균 90% 이상의 인식률을 나타냈다. 또한, 인식된 문자는 Cell 영역의 Bounding box 좌표 중 x,y 값 비교를 통해 행렬 배치를 진행하였다. 본 연구에서 형성된 Bounding box는 문자를 기준이 아닌 Cell의 영역을 기준으로 하기 때문에 x 값이 동일한 경우, 같은 열로 구분할 수 있었고 y 값이 동일한 경우 같은 행으로 구분이 가능하다. 이는 Kernel을 통해 가로선과 수직선을 인식 및 저장하여 새로운 이미지를 합성함으로써 표 인식에 불필요한 노이즈를 제거함으로 얻을 수 있는 결과로 사료되며 이는 Fig. 10과 같다.

Fig. 9 Results of character recognition rate.

Fig. 10 Results showing the characters being sorted in the same way as the originally detected table.

3.4 소방설비 요소 자동 추출

추출된 문자는 Python의 엑셀 Library 인 Pandas를 통해 DataFrame으로 저장 후, 표와 동일하게 엑셀 파일로 저장되며 이는 Fig. 11과 같다. 건축개요 표로부터 소방설비 요소를 추출하기 위해선 인공지능을 통해 추출된 문자의 정확성이 상당히 중요하며 낮은 인식률은 소방설비 요소 추출의 어려움을 초래할 수 있다. 따라서 문자인식의 오차를 줄이고 추출된 문자로부터 정보를 불러오는 방법이 중요하다. 본 연구에서는 추출된 문자와 소방설비 설계를 위해 필요한 Head간의 유사도 비교를 통해 소방설비 요소를 추출하는 방법을 적용하였다. Levenshtein Edit Distance 알고리즘은 유사도를 1~6 정도의 값으로 나타낼 수 있으며 값이 작을수록 높은 유사도를 의미한다. 따라서 본 연구에서는 추출하고자 하는 소방설비 요소와 EasyOCR을 통해 인식된 문자의 Head 의 유사도를 비교하였을 때, 1 이하 값을 가진 경우를 동일한 문자열인 것으로 간주하였다. 또한 표의 행렬에 따라 Head의 방향이 변화하는데, 이를 구분하기 위해 유사도가 1이하 인 개수가 많은 방향을 Head의 방향으로 결정하였으며 결과는 Fig. 12와 같다.

Fig. 11 Saving the recognized characters in excel.

Fig. 12 Fire protection system design element extraction through similarity comparison between heads

4. 결 론

본 연구는 인공지능을 활용한 소방설비 설계 엔지니어링 솔루션 개발을 위해 딥러닝 기반의 TableNet, OpenCV, EasyOCR 등 여러 인공지능 알고리즘을 활용하여 건축개요 표 자동인식 및 소방설비 요소를 추출하는 알고리즘 개발을 진행하였다. 고안된 알고리즘은 소방설비 엔지니어의 작업능률을 개선함으로써 소방설비의 성능 효율성, 기능 적합성, 신뢰성 등 다양한 효과를 기대할 수 있을 것으로 사료되며, 본 연구를 통한 주요 결론을 요약하면 아래와 같다.

(1) 표 감지 인공지능 모델, ROI 기능을 구현을 위해 TCS Resarch에서 개발한 TableNet의 Table Mask을 참고하였다. 구현된 인공모델의 성능은 Precision, Recall, 그리고 F1 Socre를 통해 성능평가를 진행하였으며 이는 각각 0.68, 0.70, 0.69의 성능을 나타냈다. 또한 문자 인식 모델의 성능평가는 EasyOCR에 자체적으로 내장되어 있는 CTC Loss를 통해 진행되었으며 문자 인식률은 평균 90% 이상의 값을 보였으며 이미지 해상도에 따라 인식률의 차이가 발생하였다.

(2) 표 감지 인공지능 모델 및 문자 인식률을 개선을 위한 이미지 전처리 및 감지된 표로부터 행렬을 구분하기 위해 OpenCV를 활용하였다. Kernel 형성 및 Cell 영역 계산을 통해 감지된 표의 행렬을 구분하고 인식된 문자를 감지된 표와 동일하게 정렬하였다. 추출 및 정렬된 문자는 Pandas 라이브러리를 통해 Excel로 저장된다.

(3) 마지막으로, 자동 소방설비 요소 추출을 위해 Head 간의 유사성 비교 활용하였다. 유사성 비교는 Levenshtein Edit Distance 알고리즘을 활용였으며, 유사도 값이 1 이하가 많은 행렬의 방향을 Head의 방향으로 설정하여 추출하고자 하는 소방설비 요소를 자동 추출한다.

추후 연구에서는 개발된 알고리즘과 ‘H’ 사에서 개발한 Auto CAD와 연동된 화재 스프링쿨러 자동 배치 알고리즘의 결합을 통해 소방설비 자동설계 솔루션 개발을 진행하고자 한다.