이명훈
(Myung-Hun Lee)
1
우욱용
(Ukyong Woo)
2
최하진
(Hajin Choi)
3†
강수민
(Su-min Kang)
4
최경규
(Kyoung-Kyu Choi)
5
-
정회원,숭실대학교 학사과정
-
정회원,숭실대학교 박사과정
-
정회원,숭실대학교 건축학부 조교수
-
정회원,숭실대학교 건축학부 부교수
-
정회원,숭실대학교 건축학부 정교수
Copyright © The Korea Institute for Structural Maintenance and Inspection
키워드
원격구조감리, 철근 배근 간격, 3D 포인트 클라우드, 360°카메라
Key words
Remote construction supervision, Rebar spacing, 3D point cloud, 360°camera
1. 서 론
최근 시설물의 고층화, 장스팬화, 복잡화 및 지진, 태풍, 화재 등과 같은 재난으로 인한 사고를 방지하기 위하여 건설현장의 구조감리가 필수적으로 검토되고
있다. 구조감리를 포함한 감리제도는 1986년 독립기념관 화재 사고를 계기로 부실공사 방지 및 품질확보를 위하여 도입되었으며, 이후 감리자의 업무범위와
권한 및 책임한계를 강화한 전면책임감리제도를 도입한 결과, 대규모 안전사고의 발생률은 감소하였다(Park, 2021). 이처럼 건설사고 예방을 위한 제도적 노력과 이에 따른 긍정적 효과는 감리제도의 필요성을 확인시켜준다.
지난 몇 년간 건축 구조 기술사는 건축법 시행령 91조의 3에 따라 6층 이상 건축물, 특수구조 건축물, 다중이용 건축물, 준다중이용 건축물에 대한
구조감리 업무를 수행하였다. 하지만 2017년, 포항 지진 당시 대다수의 건축물에서 건축물 붕괴사고가 잇따라 발생함에 따라 3층 이상 필로티 구조
건축물이 구조감리 대상에 추가되었다(Kim et al., 2019). 이와 같이 구조감리 대상 건축물의 범위는 지속적으로 확대되고 있으며, 구조 기술사의 건설 용역 참여에 대한 수요 또한 증가하고 있다.
하지만 시공현장의 모든 구조체에 대하여 지속적으로 구조감리를 수행하는 것은 현실적으로 불가능에 가깝다. 이에 건축법에서는 구조감리의 시기와 대상을
특정하고 있다. 건축법 시행령 19조에 따르면, 공사 감리자는 철근 콘크리트구조의 건축물에 대하여 기초 공사 시 철근 배치를 완료한 경우, 지붕 슬래브
배근을 완료한 경우, 상부 슬래브 배근을 완료한 경우에 대하여 감리를 진행하도록 규정하고 있으며. 연속된 5개층 이상 및 바닥면적의 합계가 3천 제곱미터
이상인 건축물에 대하여 현장 상주 감리를 규정하고 있다. 또한 지상 5개층 마다 구조감리를 수행하도록 명시되어 있어 구조감리 부실에 대한 현실적인
타협의 여지를 제공하고 있다. 구조감리를 수행할 수 있는 건축구조 기술사의 인원 또한 시행령의 한계점이다. 2018년 8월 기준 국내 건축구조 기술사는
402명이다. 구조감리 대상 범위가 확대됨에 따라 기술사 1인당 협력대상 건축물은 73건으로, 기존보다 약 60건의 추가 업무가 발생한다. 건축구조
기술사의 인원이 현저히 적은 지방의 경우 기술사의 1인 처리 건수는 평균 약 295건으로 상당히 열악한 환경이다(ANCnews, 2018).
건설현장 구조감리 업무의 효율성을 개선하기 위한 원격 구조 감리의 필요성이 논의되고 있다. 특히 철근 콘크리트구조 대상으로 계측된 이미지를 분석하여
배근된 철근의 정보를 도출하는 연구가 활발히 진행 중이다. 딥러닝 기술을 이용해 철근 공장 및 건설 현장에서 철근 단면 이미지로부터 철근의 크기와
개수를 추출하는 연구가 진행되었다(Zhang et al., 2008; Ying et al., 2010; Fan et al., 2019; Yang et al., 2019; Zhu et al., 2020; Li et al., 2021; Shin et al., 2021). 이미지 데이터 기반 알고리즘 학습을 통해 철근의 개수 자동 추출이 가능하다는 것을 입증하여 건설 자동화를 위한 새로운 방법을 제시하였다. 이후
다양한 형태의 철근을 탐지하기 위한 연구가 진행되었다. 실제 댐 구조물을 대상으로 U-net을 이용하여 댐 콘크리트에서 노출된 철근을 탐지하였으며,
불규칙한 형태인 노출 철근에 대한 탐지가 가능함을 확인하였다(Zhang et al., 2020). 또한, 실제 건설현장에서 콘크리트 주입 전 철근의 위치와 상단 및 하단 철근 매트의 간격을 자동으로 검출하여 계측 시간을 단축하기 위한 연구도
진행되었다. 연구진들은 LiDAR 장비를 통해 3D 포인트 클라우드 데이터를 생성하여 얻은 3차원 데이터로부터 철근의 위치와 간격 정보를 자동으로
식별하는 딥러닝 알고리즘을 제안하였다(Yuan et al., 2021). 이처럼 철근의 수량, 간격, 지름 및 길이에 대한 정보의 자동 검출을 위해 stereo vision을 이용한 연구도 진행되었다(Kardovskyi et al., 2021). stereo vision과 MASK R-CNN을 통합하여 인공지능 품질 검사 모델(AI-QIM)을 제안하였다. 이와 같이 이전 연구들에서 철근
정보 자동 추출을 위한 여러 가지 방법들을 제안하였다. 하지만 알고리즘을 학습시키기 위한 데이터 수집 과정과 알고리즘 구현에 소요되는 시간이 매우
길다. 또한, 실제 건설 현장에 적용하기 위한 효율적 계측 관점에 있어 추가적인 연구가 필요하다.
본 연구는 현장 구조감리에서 가장 많이 계측하고 있는 배근된 철근의 간격 정보 도출을 목적으로 한다. 실제 건설현장에서 효율적 계측이 가능하도록 360°
카메라를 활용하여 계측을 수행하였으며, 계측된 RGB 데이터와 Depth데이터로부터 현장의 RGB 기반 3D 공간과 3D point cloud 모델을
각각 재구성하였다. 재구성된 3D 공간으로부터 배근된 철근의 간격을 도출하였다. 실측한 철근의 간격과 RGB 기반 3D 공간, 3D point cloud를
통해 계측된 값과 비교하는 실험적 검증 과정을 통해 오차율을 도출하여 현장 적용 가능성을 확인하였다. 이와 같은 원격기술개발은 장기적으로 구조감리의
효율성을 증진시킬 수 있을 뿐만 아니라 팬데믹과 같이 직접적인 접촉이 힘든 시기에 활용할 수 있는 언택트 기술로써 그 활용도를 고려할 수 있을 것이다.
2. 제안 방법
2.1 구조감리 대상 철근 정보 도출
철근 콘크리트 구조의 시공 단계에서 배근된 철근을 대상으로 수행할 구조감리 리스트를 Table 1에 나타내었다. 철근의 직경, 위치, 길이 등 여러
정보 요소들을 확인해야 하지만 현실적으로 철근 배근 간격의 정확도를 가장 많이 확인하고 있으며, 철근에 대한 구조감리는 「건축공사 감리세부기준」제3장
공사감리업무의 보고·기록에 따라 철근 배근을 완료한 때에 수행하도록 규정하고 있다.
본 연구에서 도출할 철근 정보는 길이 정보이며, 제작된 철근의 기초정보를 통하여 카메라 분해능의 최소 길이를 고려하였다. 철근의 직경은 공칭 지름($d$)을
기준으로 하여 D4부터 D57까지 다양하다(KD S 3504., 2021). 그 중, 건설현장에서 주로 사용하는 철근은 공칭 지름 10mm 이상이며, D10 이상 철근의 직경은 D13, D16과 같이 약 3mm 간격으로
생산되기 때문에 최소 3mm 단위의 정확한 계측이 가능해야 함을 확인할 수 있다. 추가적으로 철근의 순 간격은 KDS 14 20 50(콘크리트구조
철근 상세 설계기준)에 따라 철근과 콘크리트의 부착력 확보를 위해 25mm 이상 또는 철근의 공칭 지름($d$) 이상으로 배근 되어야 한다. 또한
철근의 이음길이는 KDS 14 20 52(콘크리트 구조 정착 및 이음 설계기준)에 의해 최소 150mm의 이음 길이를 준수하여야 한다. 본 연구에서
목표로 하는 철근의 배근 간격 측정은 철근의 축 방향 중심으로부터의 거리를 측정하기 때문에 철근 중심 지점의 좌표를 도출하여야 한다. 따라서, 3mm
간격으로 생산되는 D10 이상의 철근들을 고려하였을 때 최소 3mm 이하의 계측 분해능을 요구한다.
Table 1 Structural supervision list for reinforcement concrete construction
Reinforced concrete construction
|
Rebar type
|
Check lists
|
Main reinforcement
|
Number, Diameter, Length, Interspacing
|
Length, Bending fixation, Depth of anchoring
|
Position, Length of joint
|
Stirrup
|
Position, Interspacing, Tightening condition
|
Intersection of column to beam
|
Intersection of girder and beam
|
2.2 계측 장비
현장 이미지 계측에 있어서 360° 카메라는 단시간안에 효율적으로 주변의 정보를 확보할 수 있는 장점을 가지고 있어 3D 지도 제작 등 다양한 분야에
활용되고 있다(Pulcrano et al., 2019). Table 2는 시중에서 유통되고 있는 360° 카메라의 성능 비교이다. 본 연구에서 선택한 Matterport pro2는 RGB 및 적외선 센서로
인한 깊이 정보 수집이 동시에 가능해 point cloud 정보 도출에 효율적이며, 타 360° 카메라 장비에 비해 배터리 시간이 길어 실제 건설현장에서
사용이 적합하다. 해당 장비에서 계측하는 이미지는 360만 화소 픽셀을 제공하며 이는 초점 거리를 기준으로 2m의 거리에서 0.59~1.06mm의
최소 분해능을 갖는다. 또한, 카메라에 탑재된 적외선 센서인 구조형 광(Structured light)센서를 통해 3D point cloud 구현
시 RGB 데이터에 비해 더 높은 분해능을 가질 수 있을 것으로 판단된다.
Fig. 1에 나타낸 Matterport pro2의 전면에는 3개의 적외선 센서와 고해상도 카메라 렌즈 6개가 탑재되어 약 133.6°의 화각으로 60°씩
6번 회전하며 촬영 지점에서 360° 촬영을 진행한다. 적외선 센서는 센서로부터 약 5미터의 범위 내에서 깊이 데이터 계측이 가능하며, 각도당 10개
지점(적도에서 3600개 지점, 자오선에서 1800개 지점, 파노라마당 약 4백만개의 지점)의 깊이 해상도를 가진다. 수집된 좌우 360° 및 수직
300°의 시각적 데이터(RGB)와 깊이 데이터(Depth)는 등장방형도법을 적용하여 파노라마 이미지를 구성하며(Kang et al., 2017), 이미지의 총 파노라마 픽셀 개수는 134.2MP이다. 즉, 9개의 센서 및 렌즈는 수집한 3차원 데이터를 통해 포인트 클라우드를 구성할 수 있다.
스캔은 지점당 약 20초의 시간이 소요되며, 평균적으로 100$m^{2}$(30평)의 공간을 스캔하는데 현장 특성에 따라 약 20~30분 정도의 시간이
요구된다(Matterport, 2017). 이러한 과정을 통해 얻은 데이터는 RGB 기반 3D 공간과 3D point cloud 구축에 사용된다. 파노라마 촬영 기법으로 구성된 RGB 기반
3D 공간은 각 스캔 위치에서의 공간 탐색과 길이 측정 및 라벨 표시 등의 기능을 지원한다.
Table 2 Comparison of 360 degree camera
|
Number of Camera
|
Number of infrared Sensor
|
Total Number of Pixel
|
3D detection
|
Rechargeable battery
|
Resolution
|
Battery time or capacity
|
Weight
|
Matterport pro2
|
6
|
3
|
36MP
|
o
|
o
|
8092 × 4552
|
8h
|
3.4kg
|
Insta360 pro2
|
6
|
0
|
29.4MP
|
x
|
x
|
7680 × 3840
|
1h
|
1.6kg
|
Insta360 Titan
|
8
|
0
|
55.7MP
|
x
|
o
|
10560 × 5280
|
45m
|
5.5kg
|
Gopro omni
|
6
|
0
|
31.5MP
|
x
|
o
|
7940 × 3970
|
3h
|
1.1kg
|
Samsung 360 round
|
17
|
0
|
16.7MP
|
x
|
x
|
4096 × 4096
|
x
|
1.9kg
|
AW-360C10
|
4
|
0
|
8.2MP
|
x
|
x
|
3840 × 2160
|
x
|
0.6kg
|
Yi Halo
|
17
|
0
|
67.1MP
|
x
|
o
|
8192 × 8192
|
1h 40m
|
3.5kg
|
Panono
|
36
|
0
|
134MP
|
x
|
o
|
16384 × 8192
|
1350mAh
|
0.5kg
|
Fig. 1 The matterport pro2 360°camera
2.3 Simultaneous Localization and Mapping (SLAM) 알고리즘
본 연구에서는 SLAM 알고리즘을 통해 스캔 위치에 대한 3차원 가상모델을 구성하였다. 로봇 및 컴퓨터 비전 분야에서 활발히 연구되고 있는 Visual
SLAM은 계측 대상의 위치 정보를 기록할 수 있어 넓은 현장 계측에 효율적인 알고리즘이다. RGB-D 카메라인 Matterport pro2를 통하여
수집된 RGB 및 depth 정보는 Fig. 2와 같이 SLAM framework를 통해 3D point cloud와 RGB 기반 3D 공간을 제공한다.
SLAM 알고리즘은 Frontend, Loop Closing, Backend의 세 단계로 구성되어 있다. Frontend 단계는 여러 쌍의 이미지에서
카메라의 움직임을 추정하여 3D 모델을 구성한다(Grisetti et al., 2011). 해당 과정의 SIFT 알고리즘은 카메라 센서로부터 수집한 RGB 데이터를 통해 이미지의 크기와 회전에 관계없이 이미지 쌍의 특징점을 추출하며,
RANSAC 알고리즘은 데이터의 분포에서 현저하게 벗어나는 계측값에 대해 파라미터 최적화를 진행한다. 또한, Loop Closing 단계에서는 visual
loop detection 알고리즘을 통해 이미지 간의 유사도를 계산하여 전체 공간 궤적의 오류를 발견한다(Angeli et al., 2008). 마지막으로 Backend 단계는 Loop Closing단계에서 감지된 궤적 오류를 해결하기 위해 g2o framework를 통한 데이터의 궤적
최적화를 수행한다.
Fig. 2 Visual-SLAM framework
2.3.1 Scale Invariant Feature Transform(SIFT) 알고리즘
SIFT 알고리즘은 이미지 내 객체의 크기와 회전에 관계없이 인접한 이미지 간의 유사한 픽셀인 특징점을 추출하는 알고리즘이다. 인접한 이미지 쌍은
촬영 거리에 따라 이미지 내 객체의 스케일이 다르다. 스케일의 차이는 Fig. 3과 같이 띠철근 정착부의 철근이 큰 스케일의 이미지에선 명확히 곡선으로 인식되는 반면, 작은 스케일의 이미지에서는 완만한 곡선 또는 직선으로 인식되는
문제가 발생한다. 스케일에 관계없이 이미지쌍의 특징점을 매칭하기 위해 대상을 여러 스케일에 걸쳐 표현하고 분석하는 Scale space를 수행하였다.
Scale space는 식(1)과 같이 이미지에 Gaussian Filter를 적용하여 다양한 스케일로 이미지에 블러(blur)처리를 수행한다.
여기서 I는 이미지를 나타내고, $x$와 $y$는 이미지 픽셀의 좌표값을 의미한다. G는 Gaussian Filter로, 필터 마스크에 포함된 픽셀의
RGB값에 대해 거리에 따른 가중치를 두어 계산한 평균 픽셀값을 통해 블러처리를 수행하며, $\sigma$는 블러의 정도를 결정하는 파라미터로,
값이 클수록 이미지의 스케일이 커진다. L은 블러처리된 이미지를 나타낸다. Gaussian Filter를 통과한 n개의 이미지들은 Fig. 4와 같이 크기에 따라 각각의 그룹을 형성한다. 다양한 스케일 값으로 처리된 이미지는 Fig. 5와 같이 그룹 내 인접한 이미지 쌍에 대해 각 픽셀 위치에서의 차이를 계산하여 이미지 내 객체의 형상을 도출하는 Difference of Gaussian(DoG)
연산을 수행한다.
블러 처리된 총 n개의 이미지들은 DoG 연산을 통해 이미지내의 객체 형상을 도출한 n-1개의 이미지로 변환되며, Fig. 6과 같이 최대값과 최소값을 추정한다.
최대값, 최소값 추정은 동일 그룹내 세 장의 DoG 이미지를 통해 수행된다. 추정할 DoG 이미지에 대해 블러 정도($\sigma$)가 한 단계씩
크고 작은 DoG 이미지 두 장을 이용하여 추출하며, 이미지 내 하나의 픽셀에 대하여 인접한 픽셀 값 중 가장 작거나 가장 큰 값을 가지는 픽셀을
최종 특징점으로 추출하게 된다. 앞선 과정을 통해 스케일이 변화된 이미지에서의 특징점 추출이 가능하지만, 회전된 이미지에서의 특징 추출을 위해 특징점에
방향을 할당해주어야 한다. Fig. 7(a)에 나타낸 것과 같이 특징점을 포함하는 주변 픽셀에 대해 Gaussian Filter를 적용한 뒤 식(2)을 이용하여 Fig. 7(b)와 같이 해당 윈도우에 위치한 모든 픽셀들의 기울기 방향과 크기를 도출하여 가장 두드러지는 방향을 특징점의 방향으로 할당한다. 여기서 $m$은 기울기의
크기, $\theta$는 기울기의 방향을 의미한다.
앞선 과정을 통해 특징점들의 위치 정보를 도출할 수 있다. 최종적으로, 인접한 이미지 쌍의 특징점 매칭을 위해 특징점에 대해 128개의 특징 벡터를
부여하는 과정이 수행된다. Fig. 8과 같이 특징점의 위치정보를 기반으로 특징점 주변 16×16 픽셀에서의 기울기 크기와 방향 변화에 대해 360°를 8개로 나눈 벡터 값으로 계산하여
특징점을 포함하는 윈도우를 형성한다.
16개의 작은 윈도우마다 8개의 벡터 값이 있으므로, 각각의 특징점은 128개의 고유의 특징벡터를 갖는다. 특징 벡터가 부여된 특징점들은 인접한 이미지
쌍에 대해 특징벡터 값의 유사도가 가장 높은 특징점과 매칭 하는 과정을 연속적으로 수행하여 점들로 이루어진 3D 공간을 구성하게 된다. 3D 공간을
구성하는 점들은 3D point cloud model 과 RGB 기반 3D model의 Depth 정보를 표현한다.
Fig. 3 Images with different scales: large scale (left), and small scale (right)
Fig. 4 Example of image group based on image size
Fig. 5 Gaussian operations within SIFT
Fig. 6 Extraction of maximum and minimum from DoG images
Fig. 7 Assignment of key point direction
Fig. 8 The process of obtaining 128 numbers that represent the characteristics of one key point
2.3.2 RANdom SAmple Consensus(RANSAC) 알고리즘
SIFT를 통한 특징점 매칭은 잘못된 매칭까지 포함하는 오류가 존재한다. 따라서 계측 데이터로부터 정확한 모델을 구하기 위해 RANSAC 알고리즘을
사용한다(Shi et al., 2013). RANSAC 알고리즘은 특징벡터 매칭에서의 오차를 최소화하는 과정을 통해 최적화 작업을 수행한다. 특징점을 매칭하는 작업을 반복하여 수행한 후,
임의로 지정한 임계점(T)에 만족하는 특징점이 가장 많은 모델을 최종 결과로 반환하게 되며 식(3)과 같이 나타내었다.
여기서, $f(x)$는 무작위로 선정한 특징점 두 개를 잇는 함수를 의미하며, $y_{i}$는 매칭된 특징점의 특징 벡터를 의미한다. 결과적으로,
SIFT 알고리즘 단계에서의 특징점 매칭 오류를 개선하여 보다 정확한 3D 공간을 구성한다.
2.3.3 최적화 과정
카메라 장비를 통해 계측한 데이터는 센서 데이터의 노이즈로 인해 비선형적인 특성을 가진다. 이러한 비선형적인 특성으로 인해 구축된 3D 공간은 Mapping
과정에서 일관되지 않은 궤적을 형성한다. 이에 일관적인 궤적을 형성하기 위해선형화 작업을 통한 최적화 과정이 필요하다. 선형화 작업을 수행하기 위한
optimization solver로 오픈소스 기반인 g2o framework를 사용하여 그래프 형태인 비선형 함수들에 대해 최적화를 수행하였다(Kümmerle et al., 2011).
3. 현장 실증
3.1 현장 계측
본 연구에서 360° 카메라를 통해 계측을 진행한 현장은 서울시 도봉구에 위치하며, 건축 면적은 약 265m2의 철근콘크리트 구조이다. Fig. 9(a)와 같이 해당 현장의 시공 단계 중 지하 슬래브 배근이 완료 되었을 때 계측을 수행하였다. 실제 구조 감리의 경우, 배근된 철근 위를 걸어다니며 줄자로
배근 간격을 육안으로 확인하는 방법으로 수행된다. 현실적으로 모든 배근 정보를 검사할 수 없을 뿐만 아니라 검사자가 이동하는데 위험성 및 불편함도
무시할 수 없다. 전체 공간을 대상으로 360° 카메라의 계측은 Fig. 9(b)와 같이 수행되었다. 총 12개소에서 계측을 수행하였으며,전체 공간 대비 계측 포인트를 각각 Fig. 10에 나타내었다. 한 개소에서 360° 계측에 소요된 시간은 약 22초이며, 이동시간을 고려한 총 면적에 대한 계측 시간은 약 15분이다. 이는 구조감리를
위한 계측을 효율적으로 수행할 수 있음을 방증한다.
Fig. 11에 육안검사를 통하여 직접 계측한 배근 철근 간격의 예시를 나타내었다. 슬래브 상부 철근의 배근 간격이 달라지는 부분으로 집중적으로 검측이 필요한
구간이다. 상대적으로 철근 간격이 긴 부분(C1)은 387mm이며, 철근 간격이 짧은 부분(C2)은 183mm으로, 실제 도면상 수치인 400m 및
200mm와 약 5~10%의 오차율을 보였다.
Fig. 10 Reconstructed RGB-based 3D model and the location of measurements
Fig. 11 Example of visual inspection for structural supervision
3.2 철근 정보 도출
360° 카메라를 통해 계측한 RGB-D 데이터에 대해 SLAM을 적용하여 RGB 기반 3D 모델과 3D point cloud 모델을 생성하였다.
생성된 각각의 3D 모델에서 철근의 간격을 추출하고, 실측값과의 비교를 수행하였다. 각 모델에서의 철근 정보 도출 위치 및 데이터의 예시를 Fig. 12에 나타내었다. 3D point cloud 모델의 경우, RGB의 색깔 정보를 제외한 공간 정보 (x,y,z)로 구성되어 있음을 확인할 수 있으며,
RGB 기반의 3D 모델은 실제 현장 정보와 유사한 시각적 정보를 제공함을 확인할 수 있다.
Fig. 12 Example of Rebar spacing measurement
3.2.1 3D point cloud model에서의 철근 간격 계측
SLAM을 통해 생성한 건설 현장의 3D point cloud 모델 기반으로 철근의 배근 간격을 추출하였다. 배근 간격 추출 과정은 1) ROI(Region
of Interesting) 지정 2) 상부, 하부 철근의 분할 3) 개별 철근단위로의 분할 4) 철근 간격 추출의 네 단계로 구성되어 있다. 도출된
point cloud는 0.1mm의 최소 분해능을 가지고 있다.
실측 데이터와 비교하기 위해 생성된 전체 3D point cloud 데이터에서 검측하고자 하는 범위를 ROI로 지정하여 Fig. 13(a)와 같이 나타내었다. 대상 철근을 추출하기 위해 상부와 하부 철근의 분할을 포함한 각각의 철근의 분할이 필요하다. 상부와 하부 철근의 분할은 point
cloud의 높이 임계점을 기준으로 분할하였다. 3D point cloud의 높이 분포를 통해 0.792의 임계점(z-threshold)을 도출하였으며,
분할된 상부 철근과 하부 철근을 Fig. 13(b)에 나타냈다. 이후 상부 철근을 각각 개별적인 철근으로 분할하였다. 이 과정은 유클리드 거리를 기반으로 지정한 임계값(y-threshold : 0.08)
이하의 거리에 있는 3D point cloud를 같은 철근으로 인식하여 Fig. 13(c)와 같이 분류하였다. 이후 철근 길이에 대해 10등분한 뒤 y좌표 평균값의 차를 통해 철근의 간격을 도출하였다. Table 3에 계측결과를 나타내었으며,
AR1부터 AR10은 철근 길이에 대해 10등분한 구역을 의미한다.
Fig. 13 Measurement procedure in 3D point cloud model
Table 3 Rebar spacing results in 3D point cloud model and RGB-based 3D model (Unit : mm)
|
|
AR1
|
AR2
|
AR3
|
AR4
|
AR5
|
AR6
|
AR7
|
AR8
|
AR9
|
AR10
|
Average
|
Measured value
|
Standard
deviation
|
3D
point cloud
model
|
C1
|
386.3
|
388.3
|
390.0
|
388.0
|
389.1
|
385.8
|
386.6
|
388.8
|
389.8
|
389.7
|
388.2
|
387
|
1.5
|
C2
|
201.5
|
198.8
|
199.3
|
202.3
|
201.1
|
203.7
|
206.3
|
205.0
|
204.1
|
204.9
|
202.7
|
183
|
2.5
|
RGB
based
3D model
|
C1
|
370
|
370
|
370
|
370
|
380
|
360
|
370
|
400
|
380
|
380
|
375
|
387
|
10.1
|
C2
|
250
|
240
|
250
|
250
|
230
|
210
|
230
|
240
|
230
|
220
|
235
|
183
|
13.5
|
3.2.2 RGB-based 3D 모델에서의 철근 간격 계측
SLAM을 통해 생성한 RGB 기반 3D 모델을 통해 철근의 간격을 추출하였으며, 그 예시를 Fig. 14(a)와 같이 나타내었다. 연속된 이미지 사이의 카메라 움직임을 통해 위치 정보를 추정하여 동일한 ROI 내에 위치한 C1과 C2 모두 10곳에 대해
측정하였으며, 측정 결과를 Table 3에 나타내었다. RGB기반의 시각적 정보를 가지고 있기 때문에 육안검사와 유사하게 철근의 위치를 판단하여 계측하였으며,
계측은 Fig. 9에 따라 스캔 지점 (b) 위치에서 수행하였다. 평균 간격은 각각 375mm, 235mm이며, 10mm의 최소 분해능을 가지고 있음을 확인하였다.
하지만, 스캔 지점 (c) 위치에서 계측 지점을 확인 하였을 때 측정 포인트들의 위치가 왜곡된 것을 Fig. 14(b)에서 확인할 수 있다. 그 결과, 실측대비 3D point cloud로 측정한 철근 간격의 오차가 C1, C2 각각 0.32%, 10.8%인 것에
반하여, RGB 기반 3D model을 통해 측정한 철근 간격의 오차는 각각 3.1%, 28.4%로 대폭 증가하였다.
Fig. 14 Measurements in RGB-based 3D model
4. 토 의
육안검사로 진행되는 기존 구조감리 방식에서의 제한 사항을 개선하기 위한 방법으로 원격 구조감리에 대한 기초연구를 수행하였다. 특히 현장에 상주하는
감리가 아닌 중/소규모 현장을 대상으로 출장을 나가게 되면 몇 개소 샘플링에 근거한 육안검사로 구조감리가 수행되고 있어, 현장을 효율적으로 계측,
기록하고 분석도 즉각적으로 이루어질 수 있는 편리성있는 기술이 요구된다. 원격구조감리는 구조감리 수행자의 주관성을 극복하면서도 현실적인 시간 제약으로부터
벗어날 수 있는 장점이 있다.
본 연구에서 활용한 360° 카메라는 한 지점에서의 스캔 시간이 약 20초가 소요되며 계측 범위는 반경 4.5m이다. 이동 시간과 카메라 설치 시간을
포함한 총 스캐닝 시간을 고려하였을 때, 현장 면적 대비 효율적인 계측이 가능했다. 수집된 데이터로부터 SLAM 알고리즘을 통해 3D point cloud를
구축하였으며, 최종적으로 철근 간격 추출의 처리시간은 약 10분 26초 소요되었으며, 3D point cloud가 구성된 모든 지점에 대해 계측이
가능하기 때문에 특정 지점에 국한되어 측정하는 기존 방식의 한계를 극복할 수 있을 것으로 판단된다.
알고리즘을 통하여 도출된 3D point cloud의 최소 분해능은 0.1mm이었으며, 육안검사를 통해 기록한 철근 간격값을 기준으로 3D point
cloud를 통해 계측한 철근 간격의 정확도를 평가하였다. 그 결과, C1구간에서 최대 99.7%, C2구간에서 최소 89.2%로 나타나 분해능의
관점에서 구조감리를 수행하기에 적합하다고 사료된다. 다만 주의할 점으로 태양광 적외선은 광량이 매우 크기 때문에 360° 카메라에 탑재된 구조광
센서의 성능을 저하시킨다(Gupta et al., 2013). 계측을 진행한 현장은 Fig. 15와 같이 태양광이 직접 입사하는 부분과 구조물로 인해 태양광이 직접 입사하지 않는 지점으로 나뉜다. 정확도가 상대적으로 부족한 C2구간은 태양광
경계에 위치해 있어 구조광 센서를 통한 3D point cloud model 구성 과정에서 Localizaiton 및 Mapping 오류로 인한 결과로
사료된다.
KDS 14 20 50(콘크리트구조 철근상세 설계기준)에 따르면 부재에서의 유효깊이가 200mm를 초과하는 경우 철근 간격의 허용 오차는 ±13mm
이며, 200mm 이하의 경우 ±10mm로 규정되어있다. 3D point cloud model을 통해 계측한 C1구간 철근 간격의 오차는 허용오차를
만족시키지만, C2구간의 오차는 허용오차를 만족시키지 않는 다. 이는 두 가지 개선 방안을 통해 정확도 향상을 할 수 있다.
(1) 인접한 이미지의 특징점을 추출하는 알고리즘으로 SIFT, SURF, KAZE, ZKAZE, ORB, BRISK 등이 있으며, SLAM 알고리즘의
경우 SIFT알고리즘을 사용하고 있다. 위 알고리즘 중 ORB 알고리즘은 계산 효율성과 특징점에 대한 정확도가 가장 높은 것으로 사료된다(Tareen et al., 2018). 이에 특징점 추출 알고리즘을 ORB 알고리즘을 사용하여 3D point cloud model의 정확성과 효율성 향상이 필요하다.
(2) 태양광으로 인해 저하된 구조광 센서의 노이즈를 제거하기 위해 태양광이 직접 입사하는 부분에서의 스캔 데이터의 프레임 평균화가 필요하다.
본 연구에서 제시된 일련의 계측과정의 자동화와 기둥, 벽체, 보와 같은 부재로의 확장을 위해 딥러닝 기반 Semantic Segmentation 기술
개발이 후속연구로 필요하다. 또한 분해능은 부족하지만 시각적 정보를 제공하는 RGB 데이터와 연동하는 알고리즘을 개발이 필요하다.
Fig. 15 Example of sensing location difference due to sunlight
5. 결 론
본 연구에서는 건설현장에서 배근된 철근 간격을 비대면으로 검토하여 구조감리에 활용될 수 있는 기법을 개발 및 검증하였다. 360° 카메라와 SLAM
알고리즘을 통해 건설 현장의 3차원 가상 모델을 두가지 버전으로 각각 구성하였으며 배근 철근의 간격을 추출하였다. 육안검사로 기록한 철근 간격과의
비교 분석 결과, 다음의 결론을 확인할 수 있었다.
(1) 건설현장에서 360° 카메라를 활용한 스캔 시간은 약 15분이 소요되었으며, 철근 간격 추출 처리시간은 10분 26초로, 기존 구조감리 대비
짧은 시간 동안 넓은 공간의 정보를 효율적으로 수집 및 분석하였다.
(2) SLAM 알고리즘을 통해 RGB-based 3D model과 3D point cloud model을 구성하였으며, 각각의 길이 최소분해능은
10mm와 0.1mm로 나타났다.
(3) RGB-based 3D model에서 계측한 철근 간격 C1, C2는 각각 375mm, 235mm로, 96.9%, 61.6%의 정확도를 보였으며,
3D point cloud model에서 계측한 철근 간격 C1, C2는 각각 388.2mm, 202.7mm로, 99.7% 89.2%의 비교적 높은
정확도를 보였다. 상대적으로 낮은 정확도를 보이는 C2구간은 태양광의 경계에 위치해 있기 때문에 태양광에 포함된 적외선으로 인한 공간 구성 오류로
확인된다.
감사의 글
본 연구는 국토교통부 디지털 기반 건축시공 및 안전감리 기술개발 사업(1615012983)과 2021년도 한국연구재단에서 지원하는 기초연구실(No.
2021R1A4A3030117)의 연구비 지원 의해 수행되었습니다.
References
Park, H. S. (2021), Land and Transformation, Construction Transportation Journal,
Seoul.
Kim, J. C., Shin, S. H., and Oh, S. H. (2019), Damage Investigation of Pilotis Structures
and Analysis of Damage Causes by Pohang Earthquake, Journal of the Architectural Institute
of Korea Structure & Construction, AIK., 35(3), 3-10.
ANCnews. (2018), Available at: http://www.ancnews.kr/news/article View.html?idxno=6403
Zhang, D., Xie, Z., and Wang, C. (2008), Bar section image enhancement and positioning
method in on-line steel bar counting and automatic separating system, 2008 Congress
on Image and Signal Processing, IEEE, 2, 319-323.
Ying, X., Wei, X., Pei-xin, Y., Qing-da, H., and Chang-hai, C. (2010), Research on
an Automatic Counting Method for Steel Bars' Image, 2010 International Conference
on Electrical and Control Engineering, IEEE, 1644-1647.
Fan, Z., Lu, J., Qiu, B., Jiang, T., An, K., Josephraj, A. N., and Wei, C. (2019),
Automated steel bar counting and center localization with convolutional neural networks,
arXiv preprint arXiv, 1906.00891.
Yang, H., and Fu, C. (2019), Quantity Detection of Steel Bars Based on Deep Learning,
Open Access Library Journal, OALib, 6(10), 1-9.
Zhu, Y., Tang, C., Liu, H., and Huang, P. (2020), End-face localization and segmentation
of steel bar based on convolution neural network, Journal of IEEE Access, IEEE, 8,
74679-74690.
Li, Y., Lu, Y., and Chen, J. (2021), A deep learning approach for real-time rebar
counting on the construction site based on YOLOv3 detector, Automation in Construction,
Elsevier, 124, 103602.
Shin, Y., Heo, S., Han, S., Kim, J., and Na, S. (2021), An Image-Based Steel Rebar
Size Estimation and Counting Method Using a Convolutional Neural Network Combined
with Homography, Buildings, MDPI, 11(10), 463.
Zhang, J., Mo, J., Xu, H., and Liu, Z. (2020), A semantic segmentation method for
exposed rebar on dam concrete based on Unet, Journal of Physics, IOP, 1651, 012169
Yuan, X., Smith, A., Sarlo, R., Lippitt, C. D., and Moreu, F. (2021), Automatic evaluation
of rebar spacing using LiDAR data. Automation in Construction, Elsevier 131, 103890.
Kardovskyi, Y., and Moon, S. (2021). Artificial intelligence quality inspection of
steel bars installation by integrating mask R-CNN and stereo vision. Automation in
Construction, Elsevier, 130, 103850.
KD S 3504. (2021), Steel bars for concrete reinforcement.
Pulcrano, M., et al. (2019), 3D cameras acquisitions for the documentation of cultural
heritage, Remote Sensing and Spatial Information Sciences, ISPRS, 42, 639-646.
Kang, I, S., et al. (2017), Distortion in VR 360 degree panoramic image, Proceedings
of the Korean Society of Broadcast Engineers Conference, Seoul, 194-196.
Matterport. (2017), Available at: https://matterport.com/
Angeli, Adrien, et al. (2008), Real-time visual loop-closure detection, 2008 IEEE
international conference on robotics and automation, IEEE, 1842-1847.
Shi, G., Xu, X., and Dai, Y. (2013), SIFT feature point matching based on improved
RANSAC algorithm, In 2013 5th International Conference on Intelligent Human-Machine
Systems and Cybernetics, IEEE, 474-477.
Kümmerle, Rainer, et al. (2011), g2o: A general framework for graph optimization,
2011 IEEE International Conference on Robotics and Automation. IEEE, 3607-3613.
Grisetti, Giorgio, et al. (2010), A tutorial on graph-based SLAM, IEEE Intelligent
Transportation Systems Magazine, IEEE, 2(4) 31-43.
Gupta, M., Yin, Q., and Nayar, S. K. (2013), Structured light in sunlight, Proceedings
of the IEEE International Conference on Computer Vision, 545-552.
Tareen, S. A. K., and Saleem, Z. (2018), A comparative analysis of sift, surf, kaze,
akaze, orb, and brisk, International conference on computing, mathematics and engineering
technologies (iCoMET), IEEE, 1-10.