1. 서 론

최근 건설현장 영상 자동 모니터링에 대한 관심이 높아지면서, 많은 건설기업들이 Closed Circuit Television (CCTV) 카메라를 이용하여 현장을 원격으로 관찰하고 있다. 하지만 소수의 인력이 대규모 현장에 설치된 다수의 CCTV에서 수집되는 영상을 일일이 관찰하다 보니 비용·시간적 문제가 발생할 뿐 아니라 시시각각 변하는 현장의 상황을 세밀하게 분석, 파악하는 데 어려움이 있다. 이와 같은 단점들을 보완하기 위해서 많은 연구자들이 작업자의 불안전한 행동 탐지(예. 개인보호구 미착용), 작업 생산성 분석(예. 시간당 콘크리트 타설량) 등 건설현장을 자동으로 모니터링하는 영상분석기술을 활발히 개발하고 있다(^{Gong and Caldas 2010}; ^{Li et al., 2015}).

성공적인 건설현장 자동 모니터링을 위해서는 고성능의 영상분석기술을 개발해야 하며, 이때 다량의 고품질 학습용 이미지 데이터베이스(Database, DB) 구축이 필수적이다. 하지만 현재 사람이 건설현장을 직접 방문하여 카메라를 설치하고 각각의 목적에 알맞은 학습용 이미지 DB를 구축하고 있기 때문에 많은 비용과 시간이 요구된다. 예를 들어, 물체인식(Object Detection)의 경우 분석 정확도 1 %를 향상하기 위해 약 10,000장 이상의 학습 이미지 데이터가 필요하며, 이에 평균 300시간 이상이 소모된다. 뿐만 아니라 이 같은 DB 구축 방법은 단일 현장에만 적용 가능하기 때문에 현장별 데이터를 일일이 구축해야 한다는 단점이 있다.

이러한 한계를 해결하기 위해서 본 연구는 웹 크롤링(Web Crawling) 기법을 활용하여 건설현장 영상 모니터링을 위한 학습 DB를 자동으로 구축하는 프레임워크를 제안함을 목표로 한다. 이를 통해 인터넷 웹사이트에 산재한 다량의 이미지 데이터를 자동으로 수집하고 학습 DB를 구축함으로써, DB 구축에 필요한 시간과 비용을 단축하고 다양한 건설현장에 적용 가능한 영상분석모델을 개발할 수 있다.

2. 문헌고찰

2.1 웹 크롤링(Web Crawling)

웹 크롤링이란 인터넷 웹 검색 엔진(Web Searching Engine)에서 이미지 데이터를 포함하여 사용자가 원하는 데이터를 자동으로 수집하는 기법이며(^{Ahuja et al., 2014}), 이는 Fig. 1과 같이 총 3단계로 진행된다. 먼저, (1) 웹 크롤러(Web Crawler)가 인터넷 웹사이트 Hypertext Markup Language (HTML) 페이지를 선별한 후, (2) 각 HTML, Cascading Style Sheets (CSS) 등에서 필요한 데이터를 추출하는 기술인 Web Scraping Technology를 통해 파싱(parsing, 문자열을 의미있는 어구로 분해한 후 이들을 구조화하는 작업)한 후, (3) 그 중 필요한 데이터를 자동으로 저장한다. 이를 통해 영상분석기술 개발을 위한 양질의 학습용 이미지 DB를 빠르게 구축할 수 있고 이에 필요한 비용과 시간을 최소화할 수 있다.

Fig. 1.

Web Crawling Process

2.2 건설현장 자동 모니터링 시스템

건설현장을 자동으로 모니터링하기 위해서 많은 연구들이 진행되었다. 예를 들어, ^{Rezazadeh Azar and McCabe(2011)}는 Histogram- Of-Gradients feature를 활용하여 Support Vector Machine 분류기를 학습하였으며 이를 토대로 건설현장 덤프트럭을 자동 인식하는 방법을 제안하였으며, ^{Chi et al.(2009)}는 3D 입체 모델링과 이미지 매칭 방법을 통해 건설현장 물체들을 인식하는 방법을 제안하였다. ^{Chi and Caldas(2011)}는 머신러닝을 기반으로 건설현장 이미지 데이터에서 작업자와 장비 유형을 분류하고 위치를 파악하는 방안을 제시하였다. ^{Arabi et al.(2019)}은 딥러닝 기법을 통해 이미지 데이터 내의 건설장비를 자동으로 파악하였다.

이 같은 건설자원의 인식 및 추적 방법은 건설 생산성과 작업자의 안전성 분석에도 활용되었다. ^{Yang et al.(2012)}의 연구에서는 현장의 레이아웃 정보를 활용하여 타워크레인의 콘크리트 타설 생산성을 분석하는 방법을 제안하였다. ^{Seo et al.(2015)}는 근로자들의 위치, 동선 및 행동을 파악하여 작업 수행시 안전상태를 평가하였으며, ^{Luo et al.(2018)}은 Convolutional Neural Network와 Bayesian Learning을 활용하여 근로자들의 행동과 자세 등을 파악해 작업유형을 자동으로 분석하는 연구를 진행하였다. ^{Golparvar-Fard et al.(2013)}은 굴삭기와 덤프트럭의 Spatio-temporal (시공간적 특성)을 분석하여 시간에 따른 장비의 행동을 자동 인식하였다. ^{Kim et al.(2018)}은 건설현장 영상 데이터에서 장비를 인식한 후 LSTM 모델을 활용해 장비 간의 상호작용을 분석하여 작업유형을 판단하는 프레임워크를 개발하였다. ^{Cai et al.(2019)} 또한 LSTM 모델을 활용하여 건설장비와 작업자의 자세, 운동방향, 위치 등을 학습해 건설요소 간 상호작용을 분석함으로써 작업유형을 판단하는 프레임워크를 개발하였다.

이처럼 많은 연구들이 진행되었으나 기존의 방법들은 여전히 학습 DB를 구축하기 위해서 많은 비용과 시간을 요구하고, 이로 인해 건설현장 자동 모니터링을 위한 영상분석기술을 개발하는 데 어려움이 있다. 따라서 본 연구는 웹 크롤링 기법을 활용하여 건설현장 자동 모니터링을 위한 학습용 이미지 DB를 자동으로 구축하는 프레임워크를 제안하여 학습 DB 구축에 드는 비용과 시간을 단축시키고자 한다.

3. 웹 크롤링 기반 학습 데이터베이스 자동 구축 프레임워크

본 연구에서 개발하는 웹 크롤링 기반 학습용 이미지 DB 자동 구축 프레임워크는 Fig. 2와 같이 총 3단계로 구성된다. 먼저, (1) 건설현장에서 사용되는 공종 및 장비들을 인터넷에서 효율적으로 검색하기 위해서 건설공사표준분류체계를 토대로 건설현장 맞춤형 검색 키워드 사전을 구축한다. 그 다음, 구축한 검색 키워드 사전을 바탕으로 (2) 웹 크롤링 기법을 이용하여 인터넷 웹사이트(Google, Bing 등)에 산재한 다량의 건설현장 이미지 데이터를 자동으로 검색하고 수집하여 학습용 이미지 DB를 구축한다. (3) 최종적으로 구축한 학습 DB를 통해 딥러닝 기반 영상분석모델을 개발한다. 각 단계별 자세한 내용은 다음과 같다.

Fig. 2.

Framework for Automated Training DB Development through Image Web Crawling

3.1 검색 키워드 사전 구축

인터넷 검색 시 원하는 데이터를 효과적으로 추출해내기 위해 MasterFormat, UniFormat 등 대표적인 건설공사표준분류체계를 토대로 이미지 데이터 검색에 최적화된 키워드 사전을 Tables 1 and 2와 같이 구축하였고, 건설공종 및 건설장비 검색 시 구축된 키워드를 사용하여 검색을 진행하였다. 예를 들면, 건설공종의 경우 토공사 검색 시 ‘earthwork’, ‘earthwork construction’, ‘earthmoving construction’등과 같은 키워드를 사용하였다. 건설장비의 경우 다양한 제조사의 모델에 대한 이미지 데이터를 수집하기 위해서 ‘Volvo excavator’,‘Kubota excavator’,‘Komatsu excavator’, ‘JCB excavator’,‘Caterpillar excavator’등과 같이 제조사명을 키워드에 포함하였다. 이를 통해 웹사이트에서 다량의 다양한 이미지 데이터를 검색할 수 있고, 최종적으로 양질의 학습용 이미지 DB 구축이 가능하다.

Table 1. Keyword Dictionary for Construction Work Type

Table 2. Keyword Dictionary for Construction Equipment

3.2 웹 크롤링 및 학습 DB 구축

웹 크롤링 및 학습 DB 구축 단계는 앞서 개발된 검색 키워드 사전을 토대로 컴퓨터가 인터넷 웹사이트에서 이미지 데이터를 자동으로 검색하고 저장하는 역할을 수행한다. 저장된 이미지 데이터는 검색 키워드에 따라 분류되며, 이를 통해 학습용 DB를 자동으로 구축할 수 있다. 본 방법은 기존의 사람 의존적인 학습 DB 구축 방법과 비교할 때 보다 빠른 속도로 양질의 DB를 자동으로 구축할 수 있으며, 이를 구현하기 위해서 Python 3.7 환경에서 request, urllib, BeautifulSoup, selenium 등의 패키지를 활용하였다.

3.3 영상분석모델 개발

본 단계의 목적은 앞서 구축된 학습용 이미지 DB를 이용하여 영상분석모델을 개발하는 것이다. 특히, 본 연구에서는 ImageNet DB의 1,000,000개 이상의 이미지 데이터로 학습된 48개의 계층을 가진 Convolutional Neural Network인 inception_v3 딥러닝 모델을 건설공종 및 장비 분류에 맞춤 개발하였다. 해당 모델을 학습하기 위해서 Stochastic Gradient Descent 최적화 알고리즘을 이용하였고 1회당 100번의 학습을 진행하였다. 해당 학습 모델의 Hyperparameter는 TensorFlow에서 제공하는 값들인 batch size는 32, learning rate은 초기값 0.01, 최종값은 0.0001을 활용하였다.

4. 실험 결과 및 분석

본 연구에서 제안한 프레임워크를 검증하기 위해서 두 가지 실험을 수행하였다. 첫 번째로 웹 크롤링을 통해 구축한 학습용 건설공종 DB를 이용하여 공종을 자동으로 분류하였고, 두 번째는 학습용 건설장비 DB를 통해 장비의 종류를 분류하였다.

4.1 실험 1: 건설공종 DB 구축 및 모델 개발

첫 번째 실험으로 건설공종을 분류하는 영상분석모델을 개발하였다. 건설공종은 대표적인 건축공종인 토공사, 골조공사, 마감공사 총 3가지를 분류 대상으로 선정하였고, 각 공종의 검색 키워드는 3개씩으로 Table 1과 같이 선별하였다. 웹 크롤링 기법을 활용한 검색 및 학습 DB 구축 결과, 구축된 이미지 데이터는 토공사 3,862장, 골조공사 3,726장, 마감공사 3,693장으로 총 11,281장이며 이 중 7,897장(70 %)은 학습 데이터, 3,384장(30 %)은 시험 데이터로 활용하였다. 개발한 영상분석모델을 적용한 공종분류 결과 예시는 Table 3과 같으며, 자동으로 구축된 DB를 활용하여서도 건설공종을 성공적으로 분류하는 것을 볼 수 있다. 평균 정확도는 80.3 %로 나타났고, 공종별 정확도는 Fig. 3과 같이 토공사 88 %, 골조공사 80 %, 마감공사 70 % 순으로 도출되었다. 토공사의 경우, 다른 공종과 비교하여 고품질의 이미지 데이터를 손쉽게 수집할 수 있었기 때문에 학습이 용이하였고 타 공종에 비해 정확도가 높아진 것으로 분석된다. 또한, 골조공사와 마감공사에는 구조물, 작업자 등 투입되는 건설자원이 비슷하여 그 시각적 특성이 유사하기 때문에 Table 4와 같이 영상분석모델이 두 가지 공종을 오분류하는 경우도 있었다.

Table 3. Example of Construction Work Type Classification

Example images of construction work type
Predicted Class & Confidence	Earthwork (94.23 %)	Framing (88.97 %)	Finishing (83.14 %)

Fig. 3.

Confusion Matrix of Construction Work Type Classification Result

Table 4. Example of Construction Work Type False Classification

Example images of construction work type
Actual Class	Framing	Finishing
Predicted Class	Finishing	Framing

4.2 실험 2: 건설장비 DB 구축 및 모델 개발

두 번째 실험으로 대표적인 건설장비인 크레인, 덤프트럭, 굴삭기, 레미콘, 롤러를 자동으로 분류하는 영상분석모델을 개발하였다. 이에 따라 웹 크롤링 기법을 활용하여 Table 2와 같이 장비 유형별 5개의 검색 키워드로 이미지 데이터를 자동 수집하였다. 검색 및 학습 DB 구축 결과, 구축된 이미지 데이터는 크레인 2,787장, 덤프트럭 3,274장, 굴삭기 3,273장, 레미콘 3,170장, 롤러 3,014장으로 총 15,518장이며 실험 1과 동일한 비율로 10,863장(70 %)은 학습 데이터, 4,655장(30 %)은 시험 데이터로 활용하였다. 개발한 영상분석모델을 적용한 결과 예시는 Table 5와 같다. 평균 정확도는 86.4 %로 나타났고, 장비별 정확도는 Fig. 4와 같이 크레인 87 %, 덤프트럭 87 %, 굴삭기 89 %, 레미콘 83 %, 롤러 86 % 순서로 도출되었다. 대체적으로 건설장비는 기하학적 형태 등 각각의 특성이 뚜렷하기에 건설공종 분류(실험 1) 대비 정확도가 높은 것으로 분석된다. 다만, 덤프트럭과 레미콘의 경우 시각적 특성이 유사하여 Table 6과 같은 혼동이 발생하는 것으로 파악된다.

Table 5. Example of Construction Equipment Classification

Example images of construction equipment
Predicted Class & Confidence	Crane (95.30 %)	Dump Truck (95.03 %)	Excavator (96.21 %)	Mixer Truck (95.67 %)	Roller (96.56 %)

Fig. 4.

Confusion Matrix of Construction Equipment Classification Result

Table 6. Example of Construction Equipment False Classification

Example images of construction equipment
Actual Class	Dump Truck	Mixer Truck
Predicted Class	Mixer Truck	Dump Truck

5. 결 론

본 연구는 건설현장 자동 모니터링 및 영상분석기술 개발에 필요한 학습용 DB를 웹 크롤링 기법을 활용하여 자동으로 구축하는 방법을 제안하였다. 이를 검증하기 위해서 실제 건설공종과 건설장비를 분류하는 두 가지 실험을 진행하였으며, 그 결과 10,000장의 학습용 이미지 DB를 구축하는 데 단 30분 가량의 시간만이 소요되었다(1개 이미지 데이터당 약 0.18초). 이는 사람이 일일이 인터넷에서 사진들을 검색하여 각 사진을 컴퓨터에 저장한 후 학습용 이미지 데이터를 Labeling하는 데 걸리는 시간(1개 이미지 데이터당 약 90초)과 비교할 때 약 500배 빠른 것으로 파악되었다. 또한, 영상분석모델의 성능을 살펴보면, 공종분류의 정확도는 80.3 %, 장비분류의 경우 정확도 86.4 %로, 신뢰할 수 있는 수준의 정확도를 보였다. 결과적으로 본 연구 결과를 활용하여 웹사이트에 산재한 다양한 이미지 데이터를 자동 수집함으로써, 학습 DB 구축 및 영상분석기술 개발을 위한 시간과 비용을 최소화할 수 있을 뿐만 아니라 건설현장을 자동으로 모니터링하는 데 기여할 수 있다.