2.1 BIM to AR 시각화

본 연구에서는 BIM 모델을 AR 환경에 구현함을 통해 검측 감독자의 의사결정을 지원하기 위함이다. 시설물의 안전 및 유지관리 메뉴얼을 기반으로 현장에서 점검 감독자의 검측 업무지원이 가능한 데이터로 구조물이 가지고 있는 균열, 균열이 가지고 있는 과거 손상 이력 및 보수 이력 등을 대상으로 진행한다. 매뉴얼 분석으로 분류된 데이터를 C# 코딩을 통해 XLSX 데이터 전처리 및 시각화 구현 테스트를 진행하고, AR기기 BIM 렌더링 테스트, 사용자 인터페이스 모듈의 데이터 시각화 테스트는 Unity 3D Engine을 활용하여 Fig. 1과 같이 진행한다.

Fig. 1. Research Model

2.2 건설 현장 감독자의 안전검검 검측요소 정의

안전점검등의 목적은 현장조사 및 각종 시험에 의해 시설물의 물리적, 기능적 결함과 내재되어 있는 위험요인을 발견하고, 이에 대한 신속하고 적절한 보수, 보강 방법 및 조치방안 등을 제시함으로써 시설물의 안전을 확보하고자 함에 있다. 국토교통부와 국토안전관리원은 시설물의 안전 및 유지관리에 관한 특별법 제 21조 및 같은 법 시행령 제 17조에 따라 ‘시설물의 안전 및 유지관리 실시 세부지침(안전점검ㆍ진단 편)’을 제공하여 법 제 7조에 따른 제1종시설물, 제2종시설물 및 제3종시설물의 정기안전점검, 정밀안전점검, 긴급안전점검, 정밀안전진단에 적용하였다. 관리주체는 소관 시설물로 안전 및 유지관리계획을 수립하여 체계적이고 일관성 있는 안전점검 실시를 명시하였기 때문에, 검측 감독자의 안전점검 업무지원을 위해 공식적인 세부지침을 기반으로 현장 점검 시 검토해야 할 부분에 대한 체크리스트를 작성해야 한다. 안전점검 업무의 경우 Fig. 2와 같이 정기안전점검, 정밀안전점검, 정밀안전진단, 정밀안전점검ㆍ긴급안전점검 및 정밀안전진단 실시결과 검토, 보수ㆍ보강 실시, 보수ㆍ보강 확인의 6단계로 이루어져 있으며 구조물의 안전 정도나 현장 환경에 따라 긴급안전점검, 안전조치 이행의 과정이 진행된다.

본 연구에서는 현장에서 감독자의 의사결정 지원을 위한 방법으로, 기존 점검 및 진단과정에서 BIM 활용이 가능한 부분을 선택해야 한다. 정기안전점검의 경우 콘크리트 구조물 및 강재 구조물의 현장조사의 경우 상태변화, 외관조사(결함 및 위험요인 발견 시 사진 촬영)를 실시하며 현재와 이전의 상태 비교검토를 진행하고, 이러한 경우, AR을 활용하여 과거 점검 사례와 현장검측 시 필요한 데이터를 시각화 한다면, 감독자의 의사결정 지원에 큰 점으로 작용할 수 있다. 따라서 본 연구에서는 정기 안전점검의 부분에 대해 AR을 적용하고, 선별된 데이터로는 구조물이 가지고 있는 균열, 균열이 가지고 있는 과거 이력(손상 이력, 손상 원인, 유사한 손상 보수ㆍ보강 사례 등)이며, 이 데이터들을 증강현실을 활용해 현장에서 시각화를 진행하였다.

Fig. 2. Work Flow Chart of Safety Management

2.3 3D 엔진 기반 AR 어플리케이션

AR 환경 구성을 위해 대중적으로 많이 사용되고 있는 Unity 3D Engine을 사용하였다. Unity는 3D 환경과 상호작용 컨텐츠를 제작하기 위한 도구로, 개발자의 편리한 작업 환경을 지원하며, 스크립트 빌딩을 통해 결과물의 테스트까지 가능한 통합개발환경(Integrated Development Enviroment, IDE)를 제공한다^{(Kim et al., 2017)}. 또한, BIM 모델의 출력 확장자인 FBX를 Unity 개발 환경 업로드 지원과, AR 환경 구성에 필요한 UI(User Interface)의 디자인 Tool을 지원한다. 완성된 감독자 의사결정지원 어플리케이션은 사용자의 모바일 디바이스 기종에 따라 안드로이드, IOS 등으로 출력할 수 있다.

본 연구에서는 BIM 모델을 AR 환경으로 구현하고, BIM 모델이 가지고 있는 정보는 검측환경에서 의사결정을 위해 세부 지침에 따라 시각화 할 데이터를 선별하였고, 개발 프로세스는 Fig. 3와 같아 진행되며, 세부 지침을 기반으로 현장에서 사용할 시각화 내용이 구성되면, 적합한 시각화 방안으로 선택한다. 감독자가 현장에서 진행하는 점검업무, 주요점검부위 확인 등과 같은 업무는 체크리스트로 표출해 진행될 업무에 대한 파악 및 진행이 가능하다. 서면과 비교하여 검토가 요구되는 항목은 문서 자체를 시각화 하여 표출하거나, 현장 점검 과거 이력, 보수ㆍ보강 이력의 경우 객체 선택 시 표출되는 이벤트 형식을 선택한다. AR로 시각화한 BIM 모델은 외관조사망도에 의해 균열이 모델에 입력된 형태이며, 기록된 균열의 경우 Unity 상에서 객체로 변환하여 클릭시 발생되는 이벤트 형식과 연동하여 검토가 가능하다. 이러한 과정 이후 Unity 3D Engine을 활용하여 AR 사용자 인터페이스 적용 및 데이터 시각화를 진행하게 된다.

Fig. 3. AR Environment Development Process

2.4 AR 어플리케이션과 데이터 레이크 연동

Unity로 구현된 AR 환경 UI 객체과 데이터를 연동시키는 작업이 요구되며, 데이터 연동은 Fig. 4와 같이 진행된다. 점검 대상 교량에 대한 전체 데이터는 데이터 레이크에 저장되어 있고, 네트워크 환경 원활 여부에 따라 2가지 방향으로 나뉜다.

네트워크 환경이 원활한 경우 데이터 레이크에서 감독자가 원하는 데이터를 실시간으로 선별하여 AR 환경에 시각화할 객체와 연동해 사용자가 소지하고 있는 모바일 디바이스를 통하여 출력하게 된다. 네트워크 환경이 원활하지 않은 경우, 감독자가 원하는 데이터의 실시간 연동이 불가능하므로 Unity의 로컬 에셋 번들을 활용한다. 로컬 에셋 번들이란, 사용자가 네트워크 환경이 원활하지 않은 경우, 로컬 디바이스에 저장된 데이터를 출력할 수 있는 기능이다. 로컬 에셋 번들에는 부재정보, 머터리얼, 손상이력 등 사용자가 당일 진행하야 할 검측업무 지원 데이터 중 선별된 데이터들이 저장되어 있으며, 다른 교량에 대한 검측업무 진행시 네트워크가 연결된 환경에서 데이터 업데이트가 가능하다. 이를 통해 타 교량에 대한 원활한 검측 업무 진행이 가능하다.

최종적으로 감독자가 모바일 디바이스를 통한 AR 환경 구동을 위해선 데이터 매칭 과정이 필요하다. 데이터 매칭은 구현된 AR 환경에 어플리케이션 아이콘 터치 시 나타난 객체와 표출할 데이터를 매칭하는 과정이다. 데이터 레이크에 저장된 교량 정보 데이터는 Data.xlsx와 같은 엑셀 형식으로 저장되어 있지만, Unity Engine에서는 자체적으로 엑셀 데이터를 불러오는 형식은 지원하고 있지 않으며, 엑셀 데이터 또한 기계가 처리할 수 있는 측면에서 xlsx 형식은 특정 소프트웨어에 의존적이기 때문에 csv 형식을 권장한다^{(Kim, 2013)}. 데이터 매칭 과정은 AR 환경 데이터 연계를 위한 데이터 전 처리, Unity 환경에 데이터 적용을 위한 오브젝트 매칭, 적용된 데이터의 시각화 구현 테스트로 총 3단계로 진행되며 Table 1은 정제되지 않은 Raw Data이다.

Fig. 4. Data Integration Flow Using Unity

교량 점검의 경우 관리를 위해 XLSX 형식으로 저장되어 있으며, 이러한 형식의 확장자는 Unity 상에서는 불러올 수 없고, 모바일 디바이스를 통해 많은 데이터를 시각화하는 데 어려움이 있다. 1단계에선 이를 해결하기 위해 Raw Data인 .xlsx 확장자를 Unity 상에서 데이터를 읽어올 수 있게 한다. 2단계는 사용자가 원하는 오브젝트에 원하는 데이터를 표출할 수 있게 오브젝트와 데이터를 연결시키는 과정이며, 앞선 2단계의 과정을 포함해 사용자가 보는 AR 화면을 휴대폰이나 태블릿 PC로 확인하는 과정까지 C# Scrips를 통해 한 단계로 Fig. 5와 같이 구현한다.

Fig. 5. AR Environment Data Linkage Flow

3.1 BIM to AR 어플리케이션 구현

본 연구에서는 BIM 모델과 현실 구조물을 비교ㆍ대조를 통해 검측 업무의 의사결정을 지원하기 위해 AR 환경을 활용한 검측 어플리케이션을 개발하였고, 다음의 성과를 확인할 수 있었다.

개발된 어플리케이션의 작동 확인은 Unity시뮬레이션과 휴대폰에 어플리케이션 설치를 통해 확인하였다. 시뮬레이션은 Unity 환경에서 사용자 UI 컨트롤, 데이터 베이스, C# 소스 코딩을 확인할 수 있게 하였고, 이때 사용되는 BIM 모델 특성상 많은 데이터를 포함하기 때문에 BIM 모델 경량화가 필요하다. 경량화 되지 않은 BIM 모델을 AR 환경에 구현한다면, 데이터를 로딩하는 과정에 많은 시간이 소요되며, 이 과정에서 BIM이 사진 형상 부분의 데이터와 모델이 가진 정보들을 분리하고, BIM 모델의 Mesh 감소 및 사용자가 필요한 데이터만 로드하는 형식을 통해 AR 환경에 구현하였다.

그 결과 Fig. 6와 같이 BIM 모델을 경량화하지 않은 경우, 평균 FPS는 약 61, 경량화를 진행한 경우 약 285로 나타났고, 경량화를 진행하여 빠른 속도록 BIM 모델을 AR 환경에서 확인 가능하였다. 데이터 표출을 위한 시각화 오브젝트는 이미지, 표, 문서, 스크롤 등의 정보를 확인하는데 있어 정확하게 시각화를 나타낼 수 있었고, 최종적인 시뮬레이션 결과, Fig. 7과 같이 BIM 모델은 빠른 속도로 AR 환경에 나타났으며, 사용자가 원하는 시각화 오브젝트는 명령에 알맞은 오브젝트 표기도 오류 없이 정상적으로 작동하였다.

Fig. 6. BIM Model FPS Comparison: (a) Before Optimization, (b) After Optimization

Fig. 7. UI and Database Linkage Testing Through C# Source Coding

3.2 데이터 연동 결과

AR 환경에서 BIM 모델 구현 및 시각와 오브젝트의 구성 이후 데이터베이스에 존재하는 데이터를 각 오브젝트에 사용자가 원하는 형식의 데이터 확인 여부와, 데이터 변동이 발생하는 경우 AR 환경에서 업데이트를 Unity 시뮬레이션을 통해 확인하였다.

데이터베이스에 저장된 데이터의 경우 Raw Data인 XlSX 형식으로 저장되어 있다. 기존의 Unity에서 데이터 로드를 위해 csv 형식으로 변환하고, 이를 표 형식의 경우 각 셀에 어떤 데이터가 어떤 형식으로 들어갈지 정하고, 각 오브젝트는 그 형식의 데이터만 표한할 수 있는 속성을 가지게 만들었다. 즉, 1행 1열의 셀에는 사용자가 선택한 날짜에 균열 정보만 표출 가능한 속성을 부여한다면, 날짜를 선택할 경우 그에 부합한 균열 정보를 표 형태의 정보로 확인이 가능한 것이다. 시뮬레이션을 통해 데이터베이스는 XLSX 형식의 데이터로 저장되어 있고, AR 환경까지 문서 및 표 형식, 이미지 형식인지 구분하여 데이터를 한 번에 시각화가 가능하였다. Fig. 8과 같이 BIM 모델의 균열을 터치했을 때 균열에 대한 정보를 이미지와 표 형식으로 나누어 시각화 되었으며, 유사손상 이력을 보기위해 화살표를 터치하였을 때 그림과 같이 각 균열에 대한 이미지, 균열 이력의 조회, 그리고 다수의 데이터의 경우 스크롤 형식으로 구동됨을 확인하였다. 데이터 변동의 경우, 데이터베이스에 저장된 XLSX 데이터를 열고, 저장된 string 속성을 가진 데이터의 항목을 변경하였을 때 시뮬레이션의 AR 환경에서 데이터도 변경되어 지정된 셀에 변경이 반영됨을 확인하였고, Int 및 number 등과 같은 데이터 형식 모두 정상적으로 변동이 반영되는 것도 확인 가능하였다. 이 모든 과정을 통합하여 C# 스크립트 형식 코딩을 통해 제작하였으며, 그 결과 여러 단계를 거치지 않고 한 단계로 구현이 가능하였다.

Fig. 8. Application Simulation In Unity: (a) BIM Data, (b) Data Linking

BIM-AR 어플리케이션을 실제 휴대폰에 설치 후 Fig. 9과 같이 BIM 모델에 존재하는 균열을 터치하였을 때 터치한 부분은 하이라이트로 변하고, 균열에 대한 데이터(검수 일자, 결함요소, 균열 깊이 등)이 정상적으로 UI를 통해 시각화 되었다. 또한, 유사 손상 이력 조회를 통해 유사한 손상을 가진 정보를 표출하여 보수ㆍ보강 업무 지원을 위한 정보도 표출됨을 확인하였다. XLSX 형식의 검측 업무지원 데이터가 UI를 통해 정상적으로 구동되는 것을 확인하였고, 시각화 방법에 따라 표와 이미지 등을 정상적으로 표출하였다. 데이터 변동의 경우, 데이터베이스 상에서 XLSX 형태의 검측 업무지원 데이터의 변동이 발생하여, 데이터 변동이 발생하면 AR 환경에서 데이터도 정상적으로 적용되었다. AR 기기 호환성 확인을 위하여 안드로이드 운영 체제 기반 모바일 디바이스인 휴대폰으로 설치 및 구동 테스트를 진행하였고, BIM 모델과 연동된 데이터 시각화도 AR 환경에서 정상적으로 구동하였다.

Fig. 9. BIM - AR Application: (a) App, (b) Mobile Phone Installation and Actual Test

위 결과를 통해 XLSX 데이터의 C# 스크립트 코딩을 통한 데이터연동, AR 환경에서 UI를 통해 사용자가 원하는 형식의 데이터 표출(표, 이미지, 문서 등), BIM 모델의 AR 환경 렌더링, BIM 모델의 균열 정보 표출을 AR 기기의 호환성 검증을 통해 작동함을 확인하였다.

3.3 현장 작업자 인터뷰를 통한 어플리케이션 사용성 검증

본 연구를 통해 개발된 AR 어플리케이션의 현장 감독자 사용성 검증을 위해 현재 현장에서 근무하고 있는 감독자 55명을 대상으로 설문 조사를 실시하였다. 현장 감독자는 최소 6년 이상의 현장 근무 경험이 있는 감독자를 대상으로 선정하였으며, 설문 조사 진행 전 개발된 어플리케이션 체험을 통해 감독자의 업무 의사결정 지원에 이점이 작용하는지에 대한 질의 응답 및 객관식 등으로 구성되었다. 감독자의 체험 및 설문 조사 결과는 Table 2와 같이 나타났다.

문항은 총 16개로 구성되어 있으며, 문항에 따라 공통 항목을 5가지로 분류하여 나타냈다. 본 연구를 통해 개발된 AR 어플리케이션의 필요성은 5점 중 4.5점, 필요성에 의한 사용 의향은 89.8%였다. 작업 시간 단축이나 업무 효율 향상에 관한 항목에서 4.4점으로 나타났으며, 사용의향은 88.7%였다. 휴대하거나 어떤 상황에서 사용 가능한 문항의 편의성은 4.3점과 사용의향 86.2%. 처음 사용하는 사용자의 접근성에 대한 항목은 4.4점, 사용의향 87.6%이며, 감독자들이 직접 사용해 보고 전체적인 사용성에 대한 점수는 4.9점에 사용의향 98.5%로 높은 점수를 달성하였다. 평균적으로 감독자들은 AR 어플리케이션에 대한 사용의향은 90.16%로 나타났으며, 도입된다면 작업 효율 또한 향상 가능하다는 의견을 나타냈다.

주관식 문항에 대한 답변으로는 AR을 활용한 검측 업무지원(BIM 모델의 AR 구현을 통한 균열 확인, 손상 이력 조회, 유사 손상 이력 검토 등) 어플리케이션을 사용해 봤을 때, ‘AR을 기반으로 3D 모델을 통해 현장에서 검토한다면 효율적일 것’, ‘외관조사망도를 대신할 3D 모델을 현장에서 비교할 수 있다면, 추가적인 조사 불필요’, ‘검측 데이터를 AR을 통해 시각 데이터를 통해 보면, 검측 효율 향상에 도움’, ‘데이터 시각화가 구현되어 육안으로 쉽게 확인 가능, 현장에 도입한다면 필요성이 높을 것으로 판단’으로 나타났다.