2.1 데이터 수집 및 전처리

본 연구에서는 건설사고를 예측하기 위해 건설사고가 발생한 데이터와 모든 건설현장 데이터를 수집하였다. 먼저 건설사고 발생 데이터의 수집을 위해 2020년 7월부터 2021년 6월까지 발생한 1년간의 건설공사 안전관리 종합정보망 건설사고 데이터인 ‘사고사례정보’ 9,247건을 수집하였다. 수집된 데이터는 사고명, 일자, 공사명 등 23개의 변수로 구성되어 있다. 다음으로 모든 건설현장 데이터를 수집하기 위해 ‘2019년도 건설산업지식정보시스템 건설현장 데이터’ 123,841건과 ‘2020년도 건설산업지식정보시스템 건설현장 데이터’113,051건 총 236,892건을 수집하였다. 수집된 데이터는 공사명, 건설업체명, 일자, 공사비 등 건설공사의 정보를 파악할 수 있는 24개의 변수로 구성되어 있다. 마지막으로 건설업체의 특성을 파악할 수 있는 대한건설협회의 ‘2021년 종합건설사업자 시공능력평가 현황 데이터’72건을 수집하였다. 수집된 데이터는 건설업체명, 건설업체소재지, 시공능력평가액, 건설공사실적 등 16개의 변수로 구성되어 있다. 수집된 데이터를 먼저 건설공사 안전관리 종합정보망 데이터인 사고사례정보의 ‘사고명’과 건설산업지식정보시스템 데이터인 건설현장 데이터의 ‘공사명’을 기준으로 결합하였다. 결합한 데이터 중 사고사례정보를 가지고 있는 데이터는 1(사고발생), 사고사례정보가 없는 데이터는 0(사고미발생)의 값을 가지는 사고여부(0,1) 파생변수를 생성하였다. 이후 대한건설협회의 ‘2021년도 종합건설사업자 시공능력평가 현황 데이터’를 건설업체명을 기준으로 결합함으로써 모델구축에 활용할 수 있는 최종 데이터 연계를 완료하였다. 본 연구에서 최종적으로 고려한 변수는 23개의 입력변수와 1개의 출력변수로 구성되어 있고 구체적으로 Table 2와 같다.

수집 데이터를 분석 가능한 형태로 변환하기 위하여 우선 결측치 기준(빈값, 총공사일수 또는 공사비가 ‘0’인 값)을 정한 뒤 결측치가 존재하는 행을 모두 제거하였다. 결측치 처리 시, 변수의 결측치 비율이 60 % 이상인 경우, 변수 자체를 제거하는 것이 데이터 손실을 줄이는 일반적인 방법이지만, 결측치가 60 % 이상인 변수가 절반가량이 되며 애초에 분석에 활용한 최종 데이터셋은 약 23만개의 대용량 데이터이기 때문에 결측치를 가지는 데이터 행을 기준으로 제거하였다. 이상치 또한 모델의 과적합이나 성능 저하를 초래하기 때문에 표준화점수(Z-score) 기준 3 이상이거나 -3 이하인 데이터를 제거하였다. 데이터 결합 시 시스템마다 표준이 달라 키(Primary Key) 매핑 과정에서 결측치 발생으로 다수의 데이터가 제거되었다. 결측치와 이상치 제거로 최종 분석 데이터로는 3,442건을 사용하였다. 이상치 제거 전후의 데이터를 비교한 결과는 Fig. 3과 같다. 이상치 제거결과 높은 수치의 값들이 제거되었고 변수의 분포가 정규분포와 유사한 경향을 확인하였다.

명목변수의 경우, 데이터의 수치적 의미를 나타내는 것이 아니다. 따라서, 명목변수를 모델링에 포함시키기 위해 원-핫 인코딩(One-Hot Encoding)을 통해 ‘0’과 ‘1’로 변환하였다. 또한, 데이터셋의 변수들의 단위가 다르기 때문에 그대로 모델링을 하게 된다면 단위가 큰 변수의 영향을 많이 받을 수 있어 모든 변수의 단위를 통일시키기 위한 min-max 정규화를 실시하였다.

Fig. 4와 같이 최종적으로 구성된 데이터는 총 3,442건이며 종속변수인 사고여부가 1(사고발생 71건, 2.1 %), 0(사고미발생 3,371건, 97.9 %)으로 구성된 불균형데이터이다. Fig. 5와 같이 겨울철, 특히 1월과 12월에 건설사고가 많이 발생하며 지역별로는 충북에서 사고가 많이 발생하는 경향을 보인다.

Fig. 6과 같이 사고여부에 따라 50억 미만 소규모 현장 내에서 ‘공사비’가 많은 경우 사고가 많이 발생하는 경향을 보인다. 또한, ‘총공사일수’, ‘공사실적평가액’, ‘시공능력평가액(토목)’의 값이 클수록 사고발생이 늘었다.

Fig. 7은 주요 변수들의 백분위 구간별 사고비율을 그래프로 나타낸 것이다. ‘공사비’가 커질수록 사고율이 증가하는 것을 명확히 확인할 수 있고 ‘총공사일수’, ‘공사실적평가액’, ‘시공능력평가액(토목)’변수 또한 값이 커질수록 사고율이 증가하는 경향을 보인다.

Fig. 3. Distribution of Some Features Before (left) and After (right) Outlier Removal

Fig. 4. Ratio of Accident Data

Fig. 5. Categorical Features in Accident Data

Fig. 6. Distribution of Major Features according to Accident (1) or not (0)

Fig. 7. Accident Ratio of Major Features by Percentile Interval

2.2 AI 기반 건설현장 점검대상 분류 모델

점검대상 선정모델 개발을 위해 이중분류모델 중 다변량 데이터셋 분석에 효과적인 트리기반 알고리즘인 랜덤 포레스트, XGBoost, LightGBM, 의사결정나무 등 총 4개 알고리즘과 이중분류모델의 대표적인 알고리즘인 SVM, Logistic Regression, K-NN 등 총 3개의 알고리즘을 적용하였다. 이 중 모델 성능 평가를 통해 랜덤 포레스트, XGBoost, LightGBM을 성능이 우수한 모델로 선정 후 모델 최적화 결과를 비교하였다.

랜덤 포레스트는 트리 구조의 분류기법으로 사용되는 앙상블(Ensemble) 기법 중 하나로 예측 정확도를 높이기 위해 다수의 의사결정나무를 사용하여 각 트리가 분류한 결과를 가지고 투표해 가장 많이 득표한 결과를 최종 분류 결과로 선택하는 방식이며(Fig. 8), 대수의 법칙에 의해 과적합을 방지할 수 있다는 특징이 있다^{(Breiman, 2001)}. 또한, 고차원데이터와 다중공선성을 효과적으로 처리할 수 있다^{(Belgiu and Drăguţ, 2016)}. Adaboost와 비교를 해보면 거의 유사한 정확도를 얻을 수 있지만 학습시간이 더 빠르고 더 안정적이다^{(Chan and Paelinckx, 2008)}. XGBoost도 랜덤 포레스트와 유사하게 다수의 의사결정나무를 조합하여 사용하는 앙상블 기법 중 하나인 gradient boosting의 단점을 보완한 알고리즘으로 2015년 캐글 대회에서 우수한 성적을 거둔 대부분의 팀이 사용하여 널리 알려지게 되었으며, 소량의 데이터를 잘 표현하는데 장점이 있다고 알려진 부스팅 기법 중 하나이다^{(Chen and Guestrin, 2016)}. LightGBM은 트리 기반의 앙상블 기법 중 하나로 고차원 변수의 데이터가 많은 경우 효율성과 확장성이 떨어지는 XGBoost의 단점을 보완하기 위해 개발된 알고리즘으로 기존 XGBoost에 비해 계산 속도와 메모리 소비면에서 20배의 성능을 보여준다^{(Ke et al., 2017)}.

본 연구에서는 각 알고리즘의 최적의 하이퍼파라미터를 찾기 위해 그리드 서치(Grid-search) 방식을 사용하였다. 하이퍼파라미터를 찾는 기법으로는 랜덤 서치(Randomize-search) 방식과 그리드 서치(Grid-search) 방식이 존재한다. 다수의 랜덤조합을 시험하는 랜덤 서치 방식은 속도는 빠르지만 성능은 떨어진다^{(Feurer and Hutter, 2019)}. 따라서, 본 연구에서는 모든 조합을 적용하여보고 최적의 결과를 도출하는 조합을 선정하는 그리드 서치 방식을 사용하여 하이퍼파라미터를 최적화하였다.

Table 3과 같이 혼동행렬(Confusion Matrix)로 예측모델의 성능을 평가하여 재현율(Recall, Eq. (1)), AUC-ROC, F1-score (Eq. (2))를 검증기준으로 가장 우수한 성능을 보이는 모델을 선정하였다. 이때 재현율은 실제 사고발생 데이터를 사고가 발생한 것으로 올바르게 예측한 확률을 의미한다. AUC-ROC는 다양한 임계값에서 분류 모델의 성능을 측정할 수 있는 지표이며, ROC는 확률 곡선을 의미하고 AUC는 분류성의 척도를 나타낸다. 이는 모델이 분류를 얼마나 잘하는지 설명하며 AUC값이 높을수록 모델의 성능이 훌륭하다는 것을 의미한다^{(Narkhede, 2018)}. 본 연구에서 사용한 데이터는 사고미발생 데이터에 비해 사고발생 데이터의 양이 적은 불균형 데이터이다. 따라서, 일반적으로 분류 알고리즘 성능 판단에 사용되는 정확도(정분류율)를 사용하게 된다면 알고리즘이 사고발생 데이터가 아닌 사고미발생 데이터만 올바르게 분류하게 되더라도 높은 성능을 나타낼 수 있다. 그렇기 때문에 이를 보완할 수 있도록 실제 사고미발생 데이터를 올바르게 예측하였는지 확인할 수 있는 지표인 재현율을 사용했고, 재현율과 정밀도(Precision, Eq. (3))의 조화평균값인 F1-score를 사용해 사고발생 데이터를 정확하게 예측할 수 있는 성능 확인을 하였다. 마지막으로 중요한 변수를 선정하기 위해 가장 우수한 성능을 보이는 알고리즘에 대한 중요도 분석을 수행하였고, 우선점검 대상현장 10개소의 95 % 신뢰구간을 기준으로 대상 구간을 선정하였다.

Fig. 8. Random Forest Algorithm

3.1 건설사고 예측 데이터 구축

데이터는 훈련용 데이터(training set)와 테스트 데이터(test set) 2가지 세트로 구성되며, 일반적으로 7:3 혹은 8:2 비율로 구축한다. 본 연구에서는 구축한 모델을 검증하기 위해 7:3의 비율로 전체 데이터 3,442개를 훈련용 데이터 2,409개와 테스트 데이터 1,033개로 분리하였다. 훈련용 데이터로 모델을 훈련시키고 훈련시킨 모델을 테스트 데이터에 적용해 모델을 검증하였다. 일반적으로 훈련용 데이터 결과와 검정 데이터 결과에 대한 과적합 상태를 별도 검토하는데 본 논문에서 적용한 기법인 K-분할 교차검증의 특징인 훈련용 데이터의 과적합 상태를 검증하므로 이에 대한 별도 검토가 필요하지 않고 수행하였다. 사용된 데이터의 종속변수 3,442건 중 사고발생 데이터는 71건으로 전체 데이터 중 2.1 %에 불과한 불균형 데이터이다. 따라서 훈련용 데이터와 테스트 데이터의 사고여부 비율을 전체 데이터와 동일한 비율로 분리하였다.

3.2 선정 모델의 성능 분석

K-분할 교차검증(k=5)을 통해 데이터를 분할하여 모델을 학습하고 과적합을 방지하였다. 도출되는 확률값 중 AUC를 최대로 하는 모델을 선정하였다. 총 7개의 알고리즘(LightGBM, XGBoost, 랜덤 포레스트, 의사결정나무, SVM, Logistic Regression, K-NN) 중 AUC를 기준으로 가장 높은 분류성능을 보이는 모델인 LightGBM, XGBoost, 랜덤 포레스트를 선택(Table 4)하였다.

예측 모델의 성능 분석 결과에 따라 선정된 LightGBM 알고리즘과 XGBoost 알고리즘 그리고 랜덤 포레스트 알고리즘을 하이퍼파라미터 수정을 통해 성능을 증대시켰다. LightGBM에서 하이퍼파라미터 최적화 결과 알고리즘의 성능은 88.68 %로 기존 성능 85.09 % 대비 3.59 %p 증가하였다. XGBoost에서는 하이퍼파라미터 최적화 결과 알고리즘의 성능은 85.74 %로 기존 성능 83.79 % 대비 1.95 %p 증가하였으며, 랜덤 포레스트에서는 하이퍼파라미터 최적화 결과 알고리즘의 성능은 88.32 %로 기존 성능 83.19 % 대비 5.13 %p 증가하였다.

3.3 서비스 모델의 성능 평가

Table 5과 같이 테스트 데이터를 활용하여 세 가지 알고리즘의 분류성능을 평가하였다. 재현율과 AUC-ROC, 그리고 F1-score 값을 비교한 결과, 랜덤 포레스트가 각각 80.95 %, 90.48 %, 89.47 %로 모든 지표에서 다른 알고리즘에 비해 우수한 분류성능을 보였다. 알고리즘별 혼동행렬(Confusion matrix)은 Tables 6~8과 같다. 따라서, 본 연구에서는 랜덤 포레스트 알고리즘을 최종 모델로 선정하였다.

3.4 건설사고 주요인 도출

선정된 최종 모델인 랜덤 포레스트를 활용하여 건설사고를 유발하는 중요한 요인을 도출하기 위해 알고리즘 내 ‘feature importance’를 사용하였다. Table 9과 같이 중요도(importance)가 큰 것을 기준으로 상위 10개의 주요인을 도출하였다. 그 결과 건설사고에 가장 큰 영향을 주는 변수는 공사비였으며, 뒤이어 총공사일수, 공사실적평가액, 건설공사실적 등이 중요한 요인으로 도출되었다.

랜덤 포레스트보다는 낮은 성능을 가진 LightGBM과 랜덤 포레스트의 건설사고 주요인을 비교해보면 마찬가지로 가장 중요한 요소는 ‘공사비’였다. 또한, 상위 10개의 주요인 중 두 알고리즘에 공통적으로 중요하다고 나온 변수는 ‘총공사일수’, ‘공사실적평가액’, ‘건설공사실적(토건)’, ‘기술능력평가액’, ‘신인도평가액’, ‘건설공사실적(건축)’, ‘시공능력평가액(토목)’이었다. ‘총공사일수’변수의 경우 두 알고리즘에서 각각 2순위, 3순위로 높은 중요도를 보였다. ‘시공능력평가액(토목)’의 경우 LightGBM 알고리즘에서는 2순위로 높은 중요도를 보였지만, 랜덤 포레스트 알고리즘에서는 10순위로 낮은 중요도를 보였다. 두 알고리즘에 공통적으로 상위 5순위 내의 중요도를 보인 변수는 ‘공사비’,‘총공사일수’,‘공사실적평가액’이었다. 두 알고리즘 모두 상위 3개 변수를 제외한 나머지 변수들은 중요도의 차이가 크지 않았다.

3.5 우선점검 대상현장 선정

테스트 데이터셋 1,033건에 적용했을 때 가장 우수한 분류 성능을 보인 랜덤 포레스트 알고리즘으로 사고확률이 높은 건설현장 21개를 Table 10과 같이 정렬하였을 때, 실제 사고가 발생한 21개 건설현장 중 17개 현장을 예측하여 본 모델을 활용한 사고발생 예측율이 81 %로 확인되었다. 향후에 데이터 변수 추가 및 보완에 따른 모델 업데이팅이 이루어지고 최적화하여 90 %이상의 사고발생 예측을 하게 되면 개발된 모델을 통해 데이터에 기반하여 현장 점검 인력을 효율적으로 투입하여 건설사고를 저감할 수 있을 것이다. 본 개발 모델에서 실제로 사고가 발생한 17개 건설현장의 주요인을 활용한다면 실무에서 우선적으로 현장점검 대상 선정기준으로 즉시 활용 가능하여 의사결정자가 선정하는데 기초자료로 사용될 수 있을 것으로 사료된다.