공준호
(Junho Gong)
1†
-
정회원,한국건설기술연구원 미래스마트건설연구본부 박사후연구원, 교신저자
Copyright © The Korea Institute for Structural Maintenance and Inspection
키워드
특징점 기반 변위 계측, 특징점 검출 알고리즘, 비전센서, 조도, 촬영거리
Key words
Feature-based displacement measurement, Feature detection algorithm, Vision sensor, Illuminance, Measurement distance
1. 서 론
구조물 유지관리 측면에서 변위는 주요한 인덱스이며 주요부재 변위 측정을 활용하여 구조물 serviceablilty의 판단과 잠재적 위험을 판별할 수
있다(Spencer et al., 2019; Celik, 2018; Kim et al., 2013; Cha et al., 2017; Feng and Feng, 2015; Poozesh et al., 2017). 정적 및 동적 변위는 구조물 건전성 판단에 주요한 정보를 주기 때문에, 정기적 변위 측정을 위해 LVDTs (Linear Variable Differential
Transformers), 가속도계, 레이저 변위계 등과 같은 접촉식 센서를 활용하여 계측한다.
이런 종류의 센서는 높은 수준의 분해능과 계측 정확도를 만족하고 있어 널리 활용되고 있다. 하지만, 계측을 위한 센서 설치는 노동집약적 업무이며 관심영역이
넓고 많아질수록 많은 수의 센서가 필요하다는 단점이 있다(Lee and Shinozuka, 2006; Feng et al., 2015; Yoon et al., 2016; Xu and Brownjohn, 2018). 언급된 단점을 보완하기 위해, GPS, 레이저 변위계, LiDAR, 레이더 등과 같은 비접촉 센서를 활용한 변위 측정 시스템 개발에 관한 연구가
진행되었다. 하지만 GPS의 낮은 계측 분해능, 작업자의 안전 문제 및 레이더 반사판의 추가 설치가 필요한 한계점을 보여준다(Kohut et al., 2013).
광학 기술 및 컴퓨터비전 분야 알고리즘 개발로 인해 비전센서를 활용하여 원격으로 구조물 변위를 계측하는 방안이 다양하게 제안되었다. 비전센서 기반
변위 계측은 이미지상 구조물의 픽셀 단위 변위량을 실 구조물의 물리 변화량으로 변환하는 단계로 이뤄진다(Kim et al., 2013; Feng and Feng, 2015; Yoon et al., 2016).
비전센서를 활용한 변위 계측 시스템의 장점으로 시스템 구성의 간편성으로 간편하게 설치할 수 있고, 원격으로 다측점 계측이 가능하여 기존 접촉식 센서의
문제점을 해결할 수 있다(Xu and Brownjohn, 2018). 하지만 비전센서의 가장 큰 단점으로 촬영 환경(촬영거리에 따른 해상력 저하, 조도변화, 대기외란 등)에 따른 계측 성능의 변화는 비전센서 분야의
극복해야 할 도전과제로 남아있다(Feng and Feng, 2015; Luo et al., 2020).
전통적인 비전센서 기반 변위 측정 알고리즘으로 템플릿 매칭(template matching) 기법과 특징점 기반 기법으로 변위 계측 시스템이 활용되고
있다. 템플릿 매칭 기법은 높은 변위 측정정확도를 확보하지만, 영상의 밝기 변화에 민감하며 고화소 이미지를 활용할 때 유사도 연산 시간이 증가하는
단점이 있다(Feng and Feng, 2015; Fukuda et al., 2010). 이런 단점을 개선하고자 특징점 기반 변위 계측 알고리즘이 제안되었고, 낮은 연산 속도로 인하여 고화소 이미지에 적용이 가능한 장점이 있어 다양하게
적용되고 있다. 특징점 기반의 알고리즘은 1) 초기 영상의 관심영역(ROI: Region of Interest)내 특징점을 추출하고, 2) 다음 영상에서
초기 추출된 특징점과 유사한 특징점 대상 KLT tracker 알고리즘(Lucas and Kanade, 1981; Tomasi and Kanade, 1991)을 활용하여 추적한다.
Shi-Tomasi corner (Shi and Tomasi, 1994), SIFT:Scale- Inveriant-Feature Transform (Lowe, 2004), SURF:Speeded Up Robust Feature (Bay et al., 2006), KAZE (Alcantarilla et al., 2012) 등 다양한 특징점 검출 및 기술자 알고리즘이 적용되어 변위 계측이 이루어지고 있으며, 선행연구(Choi et al., 2019; Hong and Shin, 2020; Lee et al., 2022) 와 같이 이미지 정합 및 LiDAR-영상 정합 연구 분야에서 특징점 검출 알고리즘에 따른 성능분석이 이루어지고 있다. 이미지 정합 및 멀티모달 데이터
정합 연구 분야에 특징점 검출 알고리즘에 따른 비교 연구가 진행됐지만 비전센서 기반 변위 계측 연구에서 관련 비교 연구가 충분히 이뤄지지 않고 있다.
따라서, 본 논문은 특징점 기반 변위 검측 알고리즘에서 촬영 환경 변화(촬영거리 증가로 인한 해상력 저하와 조도의 변화) 및 타겟의 종류에 따른 특징점
검출 성능을 비교 분석하였다. 추가로 검출 알고리즘에 따른 변위 측정정확도를 비교 분석하여 변위 측정을 위한 최적 특징점 검측 알고리즘을 도출하고자
한다.
2. 특징점 기반 변위 측정 기법
특징점 기반 변위 측정을 위해서 특징점 검출 후에 특징점의 이동 벡터와 scaling factor를 활용하여 실제 변위량으로 환산하며, 촬영 환경에
따라 특징점 검출 성능 비교가 필요하다. 더불어 검출 알고리즘에 따른 변위 측정정확도 분석이 요구된다.
2.1 특징점 검출 알고리즘
2.1.1 Shi-Tomasi corner
Shi and Tomasi(1994)는 Harris corner 기술자(Harris and Stephens, 1988)를 기본으로 정확도를 개선하기 위해 Shi- Tomasi corner 기술자를 개발하였다. Harris corner 기술자는 Moravec(1980)이 제안한 방법으로 영상의 밝기 변화량 (SSD: sum of the squared difference), $E(u,\: v)$을 식 (1)과 같이 영상, $I(x,\: y)$ 에서 윈도우, $w(x,\: y)$ 를 $u$, $v$ 만큼 이동시켜 계산할 수 있다.
이때, 식 (1)의 $\Sigma[I(x+u,\: y+u)-I(x,\: y)]^{2}$를 테일러전개(Taylor series)로 근사하여 행렬화 하면 식 (2)와 같이 정리할 수 있다. 여기서 Harris corner 기술자는 행렬 $M$의 고유값 (eigenvalue)를 $\lambda_{1}$, $\lambda_{2}$라
하면, 두 고유값이 모두 큰 값이면 코너점(corner point), 모두 작은 값은 flat한 지역, 하나는 크지만 나머지 값이 작으면 edge
영역으로 판단한다(Harris and Stephens, 1988).
여기서 Shi and Tomasi(1994)는 Harris corner 기술자 방식과 같이 $M$의 모든 고유값을 동시에 고려하는 것보다는 $\lambda_{1}$, $\lambda_{2}$
중 최소값이 미리 정의된 임계치(threshold)보다 크면 corner로 식별하는 방식이다. Shi-Tomasi corner 추출 방법은 기존 방법보다
추적 알고리즘에 최적화되었으며, affine 변화까지 고려한 특징점 추출 방식이다.
2.1.2 SURF: Speeded-Up Robust Features
SURF(Bay et al., 2008) 특징점 추출 알고리즘은 현재까지 강인한 특징점 검출 및 정합 기법인 SIFT(Scale-Invariant- Feature Transform)(Lowe, 2004) 의 높은 연산 비용의 단점을 개선하고자 개발되었다. SURF는 연산 속도를 향상하기 위하여 SIFT에서 적용된 가우시안 2차 미분 필터를 근사화한
고속 헤시안 검출기를 찾아 특징점의 위치와 크기를 추출한다.
특징점 매칭을 위해서는 검출기로 추출된 특징점으로부터 기술자를 추출하는 과정이 필요하다. 기술자 구성을 위한 첫 단계로 회전에 불변한 특성을 갖기
위하여 특징점의 주방향 (dominant orientation)을 가로 및 세로방향의 할-웨이블릿 (Harr-wavelet) 응답을 통해 계산한다.
검출된 특징점 중심에서 주방향성에 대한 각도를 추출하여 하위영역 내에서 기울기 정보를 표현 벡터로 사용한다.
2.1.3 BRISK: Binary Robust Invariant Scalable Keypoints
BRISK (Leutenegger and Siegwart, 2011) 알고리즘은 기존 FAST 알고리즘(Rosten and Drummond, 2006) 의 노이즈에 대한 높은 민감성과 스케일 변화를 고려하지 못하는 단점을 개선하고자 개발되었다. 특징점 추출 과정은 FAST 알고리즘을 활용하였으며,
영상의 한 점에서 반지름 3의 원주 주변의 16개 픽셀 중 중심보다 일정값 이상 밝거나 어두운 픽셀의 수가 연속되어 있으면 중심점을 코너점으로 판단하는
알고리즘이다.
FAST 알고리즘의 문제점으로 임의의 점이 코너점으로 인식되면 인접한 점들도 같이 코너점으로 검출되는 경우가 많다는 점이 있다. 이런 문제점을 해결하기
위해 NMS (Non-maximum suppression) 후처리 과정을 수행한다. 이 후처리 단계를 거치면 코너점이 인접하게 검출되었을 때 코너성이
극대인 점을 제외한 나머지를 제거하는 방식으로 문제점을 해결하였다.
특징점 기술 과정은 FAST 알고리즘으로 추출된 특징점 주위에 4개의 동심원 영역을 나누고 이를 가우시안 스무딩에 따른 임의의 60개 원형 샘플링
구역으로 나눈다. 모든 작은 원형 구역에서 영상 밝기에 따른 이진화 패턴을 통하여 구분자를 구성한다.
2.1.4 KAZE
KAZE 알고리즘은 Alcantarilla et al.(2012)에 의해 제안되었으며, 기존 SIFT 및 SURF 알고리즘 전처리 과정에서 가우시안 필터를 사용할 경우, 영상에서 특징이 되는 부분과 노이즈의 판단이
어려워 특징점 추출 정확도가 낮아지는 문제점을 해결하기 위해 개발되었다.
KAZE 알고리즘은 SIFT 알고리즘과 유사한 방법으로 특징점을 추출하지만, 전처리 과정에서 비선형 확산 필터(nonlinear diffusion
filter)를 적용하여 영상의 스케일 및 회전 변화, 블러링(blurring), 노이즈 영향에 강인한 특징점을 추출한다. 특징 기술자는 추출된 특징점을
중심으로 하는 원형 영역에서 주방향성을 계산함으로써 회전에 대한 불변성을 도입하였다.
2.2 특징점 기반 변위 측정 알고리즘
Fig. 1은 특징점 기반 변위 측정 알고리즘이다. 우선, 특징점 검출을 위한 초기 레퍼런스 영상의 관심영역(ROI: Region of Interest)을 설정한다.
기존 수행된 연구에서는 인공 마커 혹은 구조물 일부의 자연 타겟(리벳, 볼트, 등)을 ROI로 설정하였다. 관심영역 설정 후 영역 내부 영상 이미지를
앞서 언급한 검출 알고리즘을 활용하여 $n$개의 특징점, $Pn$을 검출한다. 다음 과정으로 일련의 영상에서 동일한 특징점을 검출하여 KLT tracker
알고리즘(Lucas and Kanade, 1981; Tomasi and Kanade, 1991)을 적용한 특징점 추적을 수행한다. 추적된 다수의 특징점과 초기 특징점 간의 주 이동 벡터를 MLESAC (Maximum Likelihood SAmple
Consensus)(Torr and Zisserman, 2000) 알고리즘을 사용하여 계산한다. 추적 과정에서 기록되는 이동 벡터와 scaling factor를 적용하여 구조물의 변위량을 측정한다.
Fig. 1 Flowchart of feature-based displacement measurement
Scaling factor는 실제 물리적인 크기와 이미지 평면상의 픽셀 단위의 상관관계로 표현할 수 있다(Badali et al., 2005). 피사체가 이미지센서에 투영되는 과정에서, scaling factor는 피사체와 이미지센서 평면이 광학축과 수직인 가정하에 식 (3)과같이 표현할 수 있다.
여기서, $S$는 scaling factor이고, $d_{object}$와 $d_{pixel}$는 각각 피사체의 크기 및 이미지센서의 픽셀사이즈(mm/pixel)이며,
$I$, $D$ 및 $f$는 각각 렌즈와 이미지센서의 거리, 피사체와 렌즈의 거리(촬영거리)와 렌즈의 초점거리이다. 촬영거리가 멀어짐에 따라 $I$와
$f$는 근사한 값을 가지기 때문에 렌즈의 초점거리로 치환하여 scaling factor를 계산할 수 있다(Badali et al., 2005; Hijazi et al., 2011).
3. 실험 검증
특징점 검출 알고리즘의 특징점 검출 성능과 변위 측정정확도를 촬영 환경 변화(촬영거리 및 조도)와 ROI에 따라 비교하기 위해 실험실 수준 실험을
수행했다. 3층 전단 구조물을 조화진동으로 가진하였으며, 촬영거리 및 조도를 변화하며 검증 실험을 진행하였다.
3.1 실험 개요
특징점 검출 알고리즘의 특징점 검출 성능과 변위 측정정확도 성능 검증을 위해 수행한 실험의 개요는 Fig. 2와 3과 같다. 알루미늄 재질 바닥판(300mm×200mm)과 스테인리스 재질 기둥(300mm×25mm)을 볼트 접합한 3층 전단 구조물을 디자인하였다.
전단 구조물의 바닥층을 서브모터 회전운동을 1축 좌우 반복운동으로 변환시켜 전단 구조물의 약축방향으로 180초 동안 가진시켰다. 이때 발생하는 바닥층
변위량은 ±14.5mm이며, 0.11s(9Hz) 주기로 조화진동을 가진하였으며, 이때 발생한 각층 횡변위는 LVDT로 계측하였다. 전단 구조물 변위
응답은 DAQ (data acquisition system)로 샘플링속도 120Hz로 수집하였다.
Fig. 2 Frame structure configuration
Fig. 3 Test set up configuration
비전센서 기반 변위 응답을 측정하기 위해 72mm의 초점거리 (35mm 이미지센서 환산 200mm)의 DSC-RX100M7 카메라를 사용하였으며,
FHD급(1920×1080) 화질로 120fps로 영상을 기록하였다. 선명한 영상 취득을 위해 수동 초점 기능을 활용하여 초점을 고정하였다. 변위
측정 실험 시 실내온도 18℃ 이었으며, 실내 조도는 각각 450lux 및 120lux로 고정하였다(Fig. 4).
타겟 종류에 따른 특징점 검출 성능 및 변위 측정정확도 분석을 위해 밝기의 대비가 강한 인공 타겟(105mm×70mm)을 전단 구조물 각 층 중앙지점에
부착하였다(Fig. 2의 빨간 면적). 자연 타겟으로 볼트 연결부(20mm×20mm Fig. 2의 초록 면적)와 밝기 대비가 가장 낮은 슬래브 단면적(105mm×10mm Fig. 2의 파란 면적) 을 선정하였다. ROI 영상에 따른 밝기 분포도는 Fig. 5에 나타났으며, 인공타겟, 볼트 연결부, 슬래브 단면적 순으로 밝기 대비가 강한 것으로 나타났다. 카메라의 최초 촬영거리를 10m로 설정하였으며,
토탈스테이션을 사용하여 촬영거리를 10m 단위로 멀어지면서 최대 40m에서 변위를 측정하였다. 이러한 조건에서 scaling factor는 0.95mm/pixel에서
1.91mm/pixel, 2.87mm/pixel, 최대 3.81mm/pixel로 변화하였다.
Fig. 4 Frame structure (a) in normal illuminance, (b) in low illuminance
Fig. 5 Intensity distribution of ROI (a) artificial target in normal illuminance, (b) bolt connection in normal illuminance, (c) Slab cross-section in normal illuminance, (d) artificial target in low illuminance, (e) bolt connection in low illuminance, (f) Slab cross-section in low illuminance
3.2 실험 결과
3.2.1 특징점 검출 결과 비교
본 연구에서 특징점 기반 변위 측정을 위하여 기존에 범용적으로 사용되는 Shi-Tomasi corner (STC), SURF (SUF), BRISK
(BKF), 및 KAZE (KZF) 특징점 검출 기법을 적용하였으며, 촬영 환경(촬영거리 및 조도 변화)과 ROI의 종류에 따라 특징점 검출 성능을
비교·분석 하였다. Table 1은 평균 특징점 검출 개수를 정량화한 표이며, Fig. 6과 촬영거리 10m(좌측 열)와 40m(우측 열)에서 추출된 바닥층 ROI 영상에 특징점 검출 기법을 적용한 결과이다. 인공 타겟, 볼트 연결부,
슬래브 단면적의 특징점 추출 분포를 각각 적색, 녹색, 청색으로 보여준다.
일반 실내조도(Fig. 6의 1행) 촬영거리 10m에서 밝기 대비가 강한 인공 타겟을 활용한 특징점 검출은 모든 알고리즘에서 잘 이루어지는 것을 확인할 수 있다. 촬영거리
증가에 따라 특징점 검출 개수는 감소하여 촬영거리 30m 이상부터 SURF 알고리즘을 제외한 나머지 알고리즘에서 특징점을 검출이 가능한 것으로 나타났다.
저조도 환경(Fig. 6의 3행)에서 촬영거리 증가에 따른 특징점 검출 개수의 경향성은 모든 검출 알고리즘에서 유사하게 관찰되지만, BRISK 알고리즘에서 일반조도 대비
평균 34.4% 감소한 특징점 개수가 검출되었다.
Fig. 6 Feature detection results (a) Shi-Tomasi corner, (b) SURF, (c) BRISK, (d) KAZE
볼트 연결부를 활용한 특징점 검출은 STC, BKF 및 KZF에서 가능하였으며, 인공 타겟과 유사하게 BKF는 조도 변화에 민감하게 반응하여 저조도
환경 촬영거리 10m에서 평균 6개의 특징점만 찾는 것을 확인할 수 있다. 촬영거리 40m에서 KAZE 알고리즘만 유일하게 특징점 검출이 가능하였으며,
조도 변화에 강건한 것을 확인할 수 있다.
Table 1 Quantitative comparison of feature detection
|
Illuminance
|
Algorithm
|
Target type
|
Avg. no. feature extracted [ea]
|
|
10
|
20
|
30
|
40
|
|
Normal
|
STC1
|
A5
|
91
|
84.8
|
36
|
30
|
|
B6
|
21.5
|
7.5
|
4.3
|
-
|
|
S7
|
49.5
|
12.3
|
-
|
-
|
|
SRF2
|
A
|
46.5
|
6.5
|
-
|
-
|
|
B
|
-
|
-
|
-
|
-
|
|
S
|
-
|
-
|
-
|
-
|
|
BKF3
|
A
|
314
|
117.3
|
63.8
|
35.5
|
|
B
|
13.25
|
2.5
|
1.5
|
-
|
|
S
|
-
|
-
|
-
|
-
|
|
KZF4
|
A
|
287.3
|
97.8
|
50
|
31
|
|
B
|
31.5
|
15.3
|
10.5
|
7.5
|
|
S
|
61
|
17
|
-
|
-
|
|
Low
|
STC
|
A
|
99.8
|
95.8
|
39.8
|
26.8
|
|
B
|
22.3
|
10
|
3.5
|
-
|
|
S
|
51.5
|
11
|
-
|
-
|
|
SRF
|
A
|
49.5
|
7
|
-
|
-
|
|
B
|
-
|
-
|
-
|
-
|
|
S
|
-
|
-
|
-
|
-
|
|
BKF
|
A
|
199.3
|
84.8
|
53
|
15.5
|
|
B
|
6
|
-
|
-
|
-
|
|
S
|
-
|
-
|
-
|
-
|
|
KZF
|
A
|
289
|
96.5
|
48.8
|
32
|
|
B
|
34.3
|
14
|
8.8
|
5.3
|
|
S
|
60.5
|
14.3
|
-
|
-
|
1Shi-Tomasi corner,
2SURF feature,
3BRISK feature,
4KAZE featuret,
5Artificial target,
6Bolt connection,
6Slab cross-section
ROI 중 제일 밝기 대비가 가장 약한 슬래브 단면적을 활용하여 특징점을 검출하였을 때, STC와 KZF만 검출이 가능한 것으로 나타났다. BRISK
알고리즘은 볼트 연결부에서 적용이 가능한 것을 확인했지만, 슬래브 단면적에서 특징점 검출의 한계점을 드러냈다. SURF 알고리즘의 경우 자연 타겟
활용 시 특징점 검출에 제한이 있는 것을 확인할 수 있다.
3.2.2 특징점 알고리즘에 따른 변위 측정정확도 결과 비교
특징점 알고리즘별 변위 측정정확도를 촬영 환경과 타겟 종류에 따라 비교·분석 하였다. 대표로 일반 실내 조도 조건에서 인공 타겟, 볼트 연결부 및
슬래브 단면적을 활용한 변위 측정 결과를 LVDT 데이터와 비교한 그래프 결과를 Fig. 7, 8과 9에 나타냈다. 더불어, 알고리즘에 따라 변위 측정정확도를 정량적으로 분석하고자 RMSE (Root Mean Squared Error)를
계산하였으며, scaling factor의 증가에 따른 RMSE의 log 그래프를 Fig. 10에 정리하였다.
Fig. 7(a)는 일반 실내 조도 조건 촬영거리 10m에서 인공 타겟을 활용하여 전단 구조물의 시간-변위 응답 결과이다. ROI 영역에 밝기 대비가 강한 인공 타겟이
다수의 특징점 검출에 좋은 레퍼런스 영상을 제공하여 모든 특징점 검출 알고리즘에서 LVDT 계측 데이터의 경향성과 잘 일치하는 것을 보여준다. 가장
낮은 RMSE(0.61mm) 결과를 나타낸 특징점 알고리즘은 KAZE 이며 SURF 알고리즘은 가장 높은 0.65mm로 계산되었다. Fig. 7(b)에서 확인할 수 있듯이 촬영거리 40m에서 STC, BKF와 KZF가 변위 측정이 가능하였으며, LVDT 데이터와 잘 일치하는 것을 보여줬다. 각
알고리즘의 RMSE는 0.75mm (STC), 0.82mm (BKF) 및 0.74mm (KZF)로 평균 23.5% 증가하는 것을 확인하였다.
볼트 연결부를 활용한 변위 측정 결과는 Fig. 8에 정리하였다. SURF 알고리즘의 특징점 추출 한계로, STC, BKF 및 KZF 변위 측정 결과를 확인할 수 있었다. 촬영거리 10m에서 각 알고리즘의
RMSE는 0.65mm, 0.68mm와 0.63mm로 KZF가 가장 높은 정확도가 계산되었다. RMSE는 scaling factor 증가에 따라 증가하다가
촬영거리 40m에서 KZF의 RMSE 급격하게 증가하여 1.24mm로 계산되었다. Fig. 8(b)에서 확인할 수 있듯이, LVDT 계측 데이터와 비슷한 경향성이 보이지만, 최대 진폭에서 KZF가 평균 10.2% 작은 값으로 계측하였다.
Fig. 7 Disp. measurements using artificial target in normal illuminance. (a) Measurement dist. 10m, (b) Measurement dist. 40m
Fig. 8 Disp. measurements using bolt connection in normal illuminance. (a) Measurement dist. 10m, (b) Measurement dist. 40m
Fig. 9는 일반조도 조건 촬영거리 10m와 20m에서의 STC와 KZF 변위 계측 결과다. 두 알고리즘의 변위 측정 결과와 LVDT 계측 데이터의 경향성이
잘 일치하는 것을 확인할 수 있다. STC와 KZF의 RMSE 값이 서로 유사한 것으로 계산되었다.
Fig. 9 Disp. measurements using slab cross-section in normal illuminance. (a) Measurement dist. 10m, (b) Measurement dist. 20m
Fig. 10 Error quantification of displacement measurement (a) using artificial target in normal illuminance, (b) using bolt connection in normal illuminance, (c) using slab cross-section in normal illuminance, (d) using artificial target in low illuminance, (e) using bolt connection in low illuminance, (f) using slab cross-section in low illuminance
Fig. 10의 2행은 저조도 조건에서 특징점 검출 알고리즘의 scaling factor에 따른 RMSE를 비교한 것이다. 일반조도 조건과 비교하였을 때, 타겟의
종류에 상관 없이 조도가 낮아짐으로써 RMSE가 증가하는 것을 관찰할 수 있으며, 인공 타겟 기준 SURF 알고리즘을 제외한 나머지 알고리즘에서 평균
12% 증가한 RMSE가 계산되는 것을 확인할 수 있다.
4. 결 론
본 연구는 비전센서 기반 구조물의 동적 변위 응답 계측에 활용되는 알고리즘으로 특징점 기반 변위 측정 기법의 특징점 검출 성능 및 변위 측정정확도를
촬영 환경 변화와 ROI의 종류에 따라 분석하였다. 본 연구의 주요 결론은 다음과 같다.
ROI의 밝기 대비가 강한 인공 타겟은 특징점 기반 변위 측정 기법에서 특징점 검출에 좋은 레퍼런스 영상을 제공하여 높은 특징점 검출 성능을 보여준다.
일반 실내 조도 조건에서 SURF 알고리즘을 제외한 나머지 알고리즘에서 촬영거리 40m까지 특징점 검출이 가능하였으며, 촬영거리 증가에 따라 scaling
factor 증가로 검출된 특징점의 개수가 감소하는 것을 확인할 수 있다. 이런 검출 성능은 저조도 환경에서도 유지하는 것을 확인하였지만, BRISK
알고리즘은 저조도 환경에서 검출된 특징점 개수가 감소하는 것으로 나타났다.
일반조도 조건에서 볼트 연결부를 활용한 특징점 검출은 Shi-Tomasi corner, BRISK 및 KAZE 알고리즘에서 가능하였으며, 촬영거리
40m에서 특징점 검출이 가능한 알고리즘은 KAZE 알고리즘이 유일하였다. BRISK 알고리즘의 경우 저조도 환경에서 촬영거리 20m부터 특징점 검출이
불가하였다. ROI의 밝기 대비가 가장 약한 슬래브 단면적을 활용한 특징점 검출 결과에서 Shi-Tomasi corner와 KAZE 알고리즘이 촬영거리
20m까지 특징점 검출이 가능한 것으로 나타났다. 이는 촬영거리 30m부터 영상에서 단면적의 깊이가 3.48pixel로 표현되어 특징점 검출 알고리즘에
제약이 발생하였다. SURF 알고리즘은 ROI의 밝기 대비가 약하고 크기가 작은 자연 타겟을 활용한 특징점 검출에 한계점을 나타냈다.
일반 실내조도 조건에서 인공 타겟을 활용하여 특징점 기반 구조물의 변위 측정정확도를 비교한 결과, 낮은 RMSE를 기록한 알고리즘은 Shi-Tomasi
corner와 KAZE이며, scaling factor가 증가함에 따라 RMSE도 함께 증가하는 것을 확인하였다. 특징점 검출 결과와 마찬가지로,
밝기 대비가 강한 인공 타겟은 좋은 레퍼런스 영상을 제공하여 이를 활용한 변위를 측정하였을 때 낮은 RMSE 결과를 보여준다.
인공 타겟 활용 시 촬영거리 40m까지 변위 측정이 가능하였지만, 볼트 연결부를 적용한 STC와 KZF는 촬영거리 30m가 한계인 것으로 보여준다.
일반조도 조건에서 ROI 영상 밝기 대비가 가장 약한 슬래브 단면적의 경우 STC와 KZF의 촬영거리 한계는 20m로 나타났다. 인공 타겟 대비 자연
타겟 활용시 변위 측정정확도가 상대적으로 낮아졌으며, 조도가 낮아짐에 따라 RMSE도 함께 증가하는 것을 확인할 수 있다.
촬영 환경 변화 및 ROI의 종류에 따라 특징점 검출 성능을 비교한 결과, ROI의 밝기 대비, 조도 변화 및 촬영거리 증가에 강건한 특징점으로 Shi-Tomasi
corner와 KAZE 특징점 알고리즘을 사용하는 것이 적합한 것을 보여준다. 이를 활용한 변위 측정정확도는 유사한 것으로 나타났지만, 자연 타겟
활용 시 scaling factor의 증가로 인한 해상력 저하가 특징점 추출에 한계점을 보여줬다.
동일한 렌즈 초점거리 조건에서 이미지 센서의 높은 해상력은 높은 변위 계측 분해능으로 직결되므로, 하드웨어나 소프트웨어 관점에서 충분한 해상력 확보는
비전센서 기반 변위 측정에 필요한 조건이다. 추후 진행할 연구로 자연 타겟의 활용 한계점 극복을 목적으로, 초해상화(super-resolution)
기술을 적용하여, 자연 타겟의 해상력 증가에 따른 변위 측정 성능 평가를 수행할 예정이다.
감사의 글
본 연구는 과학기술정보통신부 한국건설기술연구원 연구운영비지원(주요사업)사업으로 수행되었습니다(20240143-001, 미래 건설산업견인 및
신시장 창출을 위한 스마트 건설기술 연구).
References
Spencer Jr, B. F., Hoskere, V., and Narazaki, Y. (2019), Advances in computer vision-based
civil infrastructure inspection and monitoring, Engineering, 5(2), 199-222.
Celik, O., Dong, C. Z., and Catbas, F. N. (2018), A computer vision approach for the
load time history estimation of lively individuals and crowds, Computers & Structures,
200, 32-52.
Kim, S. W., Jeon, B. G., Kim, N. S., and Park, J. C. (2013), Vision-based monitoring
system for evaluating cable tensile forces on a cable-stayed bridge, Structural Health
Monitoring, 12(5-6), 440-456.
Cha, Y. J., Chen, J. G., and Buyukozturk, O. (2017), Output-only computer vision based
damage detection using phase-based optical flow and unscented Kalman filters, Engineering
Structures, 132, 300-313.
Feng, D., and Feng, M. Q. (2015), Model updating of railway bridge using in situ dynamic
displacement measurement under trainloads, Journal of Bridge Engineering, 20(12),
04015019.
Poozesh, P., Sarrafi, A., Mao, Z., and Niezrecki, C. (2017), Modal parameter estimation
from optically-measured data using a hybrid output-only system identification method,
Measurement, 110, 134-145.
Lee, J. J., and Shinozuka, M. (2006), A vision-based system for remote sensing of
bridge displacement, Ndt & E International, 39(5), 425-431.
Feng, D., Feng, M. Q., Ozer, E., and Fukuda, Y. (2015), A vision-based sensor for
noncontact structural displacement measurement, Sensors, 15(7), 16557-16575.
Yoon, H., Elanwar, H., Choi, H., Golparvar‐Fard, M., and Spencer Jr, B. F. (2016),
Target‐free approach for vision‐based structural system identification using consumer‐grade
cameras, Structural Control and Health Monitoring, 23(12), 1405-1416.
Xu, Y., and Brownjohn, J. M. (2018). Review of machine-vision based methodologies
for displacement measurement in civil structures. Journal of Civil Structural Health
Monitoring, 8, 91-110.
Kohut, P., Holak, K., Uhl, T., Ortyl, Ł., Owerko, T., Kuras, P., and Kocierz, R. (2013),
Monitoring of a civil structure’s state based on noncontact measurements, Structural
Health Monitoring, 12(5-6), 411-429.
Luo, L., Feng, M. Q., and Wu, J. (2020), A comprehensive alleviation technique for
optical‐turbulence‐induced errors in vision‐based displacement measurement, Structural
Control and Health Monitoring, 27(3), e2496.
Fukuda, Y., Feng, M. Q., and Shinozuka, M. (2010), Cost‐effective vision‐based system
for monitoring dynamic response of civil engineering structures, Structural Control
and Health Monitoring, 17(8), 918-936.
Lucas, B. D., and Kanade, T. (1981, August), An iterative image registration technique
with an application to stereo vision, Proceeding of 7th international joint conference
on Artificial intelligence, Canadam Vol. 2, 674-679.
Tomasi, C., and Kanade, T. (1991), Detection and tracking of point, Int J Comput Vis,
9, 137-154.
Shi, J., and Tomasi, C. (1994, June), Good features to track, 1994 Proceedings of
IEEE conference on computer vision and pattern recognition, IEEE, Seattle WA USA,
593-600.
Lowe, D. G. (2004), Distinctive image features from scale- invariant keypoints, International
Journal of Computer Vision, 60, 91-110.
Bay, H., Tuytelaars, T., and Van Gool, L. (2006), Surf: Speeded up robust features,
Computer Vision–ECCV 2006: 9th European Conference on Computer Vision, Springer Berlin
Heidelberg, Graz, Austria, 404-417.
Alcantarilla, P. F., Bartoli, A., and Davison, A. J. (2012), KAZE features, Computer
Vision–ECCV 2012: 12th European Conference on Computer Vision, Springer Berlin Heidelberg,
214-227.
Choi, Y., Farkoushi, M. G., Hong, S., and Shon, H. G. (2019), Feature-based Matching
Algorithms for Registration between LiDAR Point Cloud Intensity Data Acquired from
MMS and Image Data from UAV, Journal of the Korean Society of Surveying, Geodesy,
Photogrammetry and Cartograph, 37(6), 453-464 (in Korean).
Hong, S. and Shin, H. S. (2020), Comparative Performance Analysis of Feature Detection
and Matching Methods for Lunar Terrain Images, Journal of the Korean Society of Civil
Engineers, 40(4), 437-444 (in Korean).
Lee, T. H., Park, J. T., Lee, S. H., and Park, S. Z. (2022), Performance of Feature-based
Stitching Algorithms for Multiple Images Captured by Tunnel Scanning System, Journal
of the Korea Institute for Structural Maintenance and Inspection, 26(5), 30-42 (in
Korean).
Harris, C., and Stephens, M. (1988, August), A combined corner and edge detector,
In Alvey Vision Conference, 15(50), 147-151.
Moravec, H. P. (1980), Obstacle avoidance and navigation in the real world by a seeing
robot rover. Stanford University.
Leutenegger, S., Chli, M., and Siegwart, R. Y. (2011, November), BRISK: Binary robust
invariant scalable keypoints, In 2011 International Conference on Computer Vision,
IEEE, 2548-2555.
Rosten, E., and Drummond, T. (2006), Machine learning for high-speed corner detection.
In Computer Vision–ECCV 2006: 9th European Conference on Computer Vision, Graz Austria,
Springer Berlin Heidelberg, 430-443.
Torr, P. H., and Zisserman, A. (2000), MLESAC: A new robust estimator with application
to estimating image geometry, Computer Vision and Image Understanding, 78(1), 138-156.
Badali, A. P., Zhang, Y., Carr, P., Thomas, P. J., and Hornsey, R. I. (2005, October),
Scale factor in digital cameras, In Photonic Applications in Biosensing and Imaging,
SPIE, 5969, 556-565.
Hijazi, A., Friedl, A., and Kahler, C. J. (2011), Influence of camera’s optical axis
non-perpendicularity on measurement accuracy of two-dimensional digital image correlation,
Jordan Journal of Mechanical and Industrial Engineering, 5(4), 1-10.