1. 서 론

변위는 구조물의 안정성 및 편리성을 평가할 시 구조물의 상태에 대한 유용한 정보를 제공한다. 변위는 구조물의 하중 에 대한 거동 특성을 나타내며, 이를 분석함으로써 구조물의 건전성 및 상태를 파악할 수 있다. 기준 대비 심각한 변위가 발생할 경우 이는 구조물에 초과하중이 가해지고 있거나, 구 조물이 현재 건전한 상태에 있지 않음을 나타내며, 따라서 현재 구조물의 유지관리에 있어 변위를 측정하는 경우가 많다.

구조물의 변위를 측정하기 위하여 LVDT (Linear Variable Differential Transducer), LDV (Laser Doppler Vibrometer), GPS (Global Positioning System) 등의 다양한 센서들이 개 발되었다. 현재 변위계측용으로 가장 많이 활용되는 센서는 실린더 형태의 자석 코어 (core)의 선형적 움직임에 비례하 는 전기적 신호를 통해 변위를 계측하는 LVDT이다. LVDT 는 구조물과 직접 접촉하여 변위를 계측하므로, 정확도가 높 고 작동방식이 직관적이어서 변위계측에 가장 많이 사용된 다 (^{Tariq et al., 2002}). 그러나 LVDT와 같은 접촉식 센서 들은 규모가 있는 구조물에서 사용할 시 센서를 구조물과 접 촉시키기 위한 추가설비 (지그나 비계 등)를 필요로 하며, 이 설비의 움직임으로 인하여 계측치의 교란이 발생할 수 있다 는 점이 가장 큰 단점으로 꼽힌다. LDV는 LVDT와 같은 접 촉식 센서의 단점을 극복하기 위하여 개발된 비접촉식 센서 로 레이저를 계측하고자 하는 위치에 반사시킨 뒤 도플러 쉬 프트 기술을 이용해 속도를 측정, 이를 환산하여 변위를 측 정한다. 피코미터 (pm)단위의 높은 정확도로 변위 계측이 가 능하지만 (^{Castellini et al., 2006}) 장비 가격이 매우 비싸고, 레이저의 방향이 계측하고자 하는 방향과 같아야 하는 등 대 형구조물의 변위계측에 활용하기에는 경제성 및 사용성이 아직 부족한 실정이다. GPS는 위성에서 보내는 신호의 시차 를 이용하여 변위를 계측하는 방식으로 위의 접촉식, 비접촉 식 센서와 달리 기준점이 지구상이 아닌 위성에 있어 계측을 자유롭게 수행할 수 있다. 그러나 밀리미터 (mm)단위의 낮 은 해상도와 비싼 가격으로 인하여, 특별한 경우를 제외하고 GPS를 변위계측용으로 이용하기는 어려운 것이 사실이다. 최근 ^{Jo et al. (2013)}은 수m의 해상도를 갖는 GPS 칩 여러 개를 이용하여 정확도를 개선하기 위한 노력을 수행하였으 나, 여전히 수 서브밀리미터 단위의 해상도를 필요로 하는 구조물의 변위 계측에는 아직 활용하기 어려운 상황이다. 그 외에도 좀 더 계측이 쉬운 가속도나 변형률의 변환을 통하여 변위를 추정하는 방법들도 많이 연구되었다 (^{Shin et al., 2009}; ^{Lee et al., 2010}; ^{Park et al., 2013}).

영상 기반 변위 계측은 카메라 등의 영상 장치를 이용하여 촬영된 영상 속 구조물의 움직임을 분석하여 구조물의 변위 를 측정하는 방법이다. 영상 기반 변위 계측은 구조물 자체 의 특징점 (feature)의 움직임을 분석하여 구조물의 변위를 얻을 수도 있으며, 필요에 따라 해석이 용이한 특징을 갖는 측정판 또는 마커 (marker)를 구조물에 부착하여 변위를 계 측할 수도 있다. 측정판 또는 마커를 이용하지 않는 경우 구 조물 자체의 특징점으로는 꼭지점 (corner)과 모서리 (edge)가 많이 이용되며 (^{Yilmaz et al., 2006}), 각 이미지의 Intensity Gradiation (^{Fukuda et al., 2013}), Digital Image Correlation (^{Kim et al., 2013}) 등 기타 특징점을 이용하기도 한다.

측정판을 활용하는 영상 기반 변위 계측은 측정판의 설치 가 어렵지 않은 경우 계측의 정확도를 높일 수 있어 많이 연 구되고 있다. Lee and Shinozuka는 Fig. 1과 같이 네 개의 원이 그려진 흑백의 측정판과 상용 카메라를 이용하여 토목 구조물의 변위를 계측하는 시스템을 제안하였으며 (^{Lee and Shinozuka, 2006}), 이를 이용하여 교량의 내하력 평가를 성 공적으로 수행하였다 (^{Lee et al., 2007}). Fig. 1에서 각각 가 로와 세로 방향으로 위치한 점들의 중심 (Centroid)을 이용하 여 이미지 좌표계 상에서 방향 벡터를 찾고 이를 기저 (basis) 로 하는 변환된 이미지 좌표계로 평면 이동 (basis transition) 을 한 뒤, 측정판의 실제 점들간의 거리를 이용하여 픽셀 단 위에서 실제 단위로의 크기 변환 (Scaling)을 수행한다. 이 두 가지 변환을 합하면 실제 측정판의 변위는 다음 식 (1)과 같이 얻을 수 있다.

Fig 1.

Process to Obtain Displacement from Images of Target Plate (^{Lee and Shinozuka, 2006})

여기에서 (x_w, y_w)^T는 실제 측정판의 변위, (u, u)^T는 영상에 서 측정판 점들의 픽셀 단위 이동 거리, SF x = L x / x 1 2 + y 1 2 , SF y = L y / x 2 2 + y 2 2 이며, L_x, L_y 는 각각 방향 벡터 x_w, y_w 의 mm단위 실제 길이다.

이러한 영상의 변환은 계산이 단순하여 실시간으로 변위 의 계측이 가능한 장점이 있으나, 카메라의 설치 위치에 제 한을 가지고 있다. 카메라의 시축 (optical axis)이 측정판의 두 방향벡터와 수직하지 않을 경우, 평면 이동된 변환 이미 지 좌표계에서의 방향 벡터가 직교하지 않게 되며, 당연히 스케일링된 이미지 좌표계 역시 직교하지 않아 변위의 오차 를 유발한다. 설치 위치의 제한은 영상 기반 변위 계측에서 크게 두 가지 문제점을 발생시킨다. 하나는 주변 진동원 (바 람 등)에 의하여 카메라의 진동을 유발하지 않는 안정적인 영상 장비의 설치 위치를 찾기 어렵다는 것이며, 다른 하나 는 카메라를 구조물에 가까이 위치하기 어려울 수 있다는 점 이다. 이러한 점은 특히 토목 및 건축 구조물과 같은 대형 구 조물에서 계측을 수행할 때 특히 크게 대두된다.

구조물은 기본적으로 3축으로 거동하며, 이러한 3축 변위 를 얻기 위해서는 두 대 이상의 카메라의 에피폴라 기하모델 (Epipolar Geometry)을 이용하여 변위를 획득하는 입체 촬 영기법 (Stereo Vision)을 활용하여야 한다 (^{Ji and Chang, 2008}; ^{Yang et al., 2013}) 그러나 두 개 이상의 카메라를 이 용한 입체 촬영기법의 경우, 두 카메라 촬영 시간의 비동기 화에 따른 측정오차 발생 우려가 있고, 그 후처리가 복잡하 므로, 교량의 처짐과 같은 1축 변위 측정에는 하나의 카메라 를 이용한 단 영상 촬영기법이 보다 더 효율적이라 판단된다.

따라서 본 연구에서는 하나의 카메라를 이용하여 카메라 의 위치에 상관없이 정확하게 1축 변위를 측정할 수 있는 영 상 기반 변위 계측 시스템을 제안하였다. 이를 위하여 Lee and Shinozuka가 제안한 식 (1) 대신에, 평면간의 1:1 대응 관계를 표현하는 평면 호모그래피 기법을 활용하였다. 평면 호모그래피는 영상에서 얻어진 측정판의 좌표를 단순한 변 환 행렬을 통하여 실제 측정판 자체의 좌표로 변환시키는 기 법이다 (^{Simon et al., 2000}; ^{Szeliski, 2011}). 성능 검증을 위 하여 소형 구조물을 이용한 실내실험을 수행하였다. 구조물 에 측정판을 부착하고 이를 가진한 뒤, 측정판의 변위를 다 양한 각도에 위치한 카메라로 촬영하여 변위를 얻어내었다. 얻어낸 변위는 레이저 변위계로 얻은 변위, 기존 방법으로 얻은 변위와 비교하여 성능을 평가하였다.

2. 평면 호모그래피

평면 호모그래피 (Planar Homography)는 실제 사물이 위 치하는 세계 좌표계의 한 평면과 영상으로 나타나는 이미지 좌표계 사이의 관계를 표현하는 기법이다. Fig. 2에 보이는 핀홀 카메라 모델 (pin-hole camera model, Fig. 2) 가정 하 에 세계 좌표계에서의 한 평면은 이미지 좌표계로 원근 투영 (perspective projection)을 한다. 이 과정은 Fig. 3과 같이 세 계 좌표계에 위치한 한 평면이 3축 회전 (rotation), 3축 이동 (transition), 크기 조정 (scaling)을 통하여 이미지 좌표계로 원근 투영됨을 의미한다. 이 원근 투영 과정은 8 자유도 (3 축 회전의 3 자유도, 3축 이동의 3 자유도, x-y방향 크기 조 정의 2 자유도)의 변환 행렬 관계로 나타나며, 이 변환 행렬 을 호모그래피 행렬이라 한다. 따라서 호모그래피 행렬을 통 해 이미지 좌표계와 세계 좌표계 사이의 관계를 표현할 수 있다. Fig 3

Fig 2.

Pin-hole Camera Model

Fig 3.

Process of Planar Homography

호모그래피 행렬은 이미지 좌표계와 세계 좌표계 사이에 공유되는 점이나 선을 이용하여 얻을 수 있다. 8자유도 호모 그래피 행렬을 얻기 위해서는 4개 이상의 점이나 선이 필요 하다. 이미지 좌표계와 세계 좌표계를 동차 좌표계로 나타내 면 각각 i = (u, v, 1)^T, w = (x_w, y_w, 1)^T 로 나타낼 수 있으 며, 이 두 좌표는 다음의 관계로 표현할 수 있다.

여기서 H 는 호모그래피 행렬이며, 오른쪽 식의 h_j 는 호모 그래피 행렬의 j번째 열로 h_j = (h_j1h_j2h_j3)^T 이다. 식 (2)의 양변을 외적하면,

이다. 이를 행렬의 곱으로 다시 정리하면,

이다. 식 (4)에서 좌곱 행렬 (premultiplied matrix)의 랭크 (rank)는 2이므로, 두 독립적인 식에 관해 다시 정리하면 다 음과 같다.

여기에서 2 × 9행렬 (A_i ^T) 는 이미지 좌표계와 세계 좌표계 가 공유하는 i 번째 점의 좌표들을 이용하여 얻을 수 있으며, 9 × 1행렬 h는 호모그래피 행렬의 요소들을 재배열한 행렬 이다. 4개 점의 좌표를 이용하여 행렬 A를 계산할 경우, 다 음과 같은 동차 선형 방정식 (homogeneous linear equation) 을 얻을 수 있다.

따라서 h는 위 식 (6)을 만족시키는 영공간 (null space)의 벡터가 된다.

현실 세계에서는 세계 좌표계에서 이미지 좌표계로의 변환은 여러 가지 오차에 의해 i = Hw 를 완벽하게 만족시키지 못하 며, 그에 따라서 실제 영공간 상의 h를 구하는 것이 불가능해 진다. 이러한 경우 L^Th의 놈 (norm)을 최소화하는 h를 구해 야 한다. LL^T의 특이치 분해 (singular value decomposition) 를 수행한 뒤 가장 작은 특이치 (singular value)에 해당하는 왼특이벡터 (left singular vector)가 바로 L^Th 의 놈을 최소 화하는 h이다. 얻어진 h 는 8개의 데이터를 이용하여 얻었기 때문에 8자유도를 가지며, 측정판 상에 위치한 네 점의 중심 (앞으로 이를 그냥 네 점이라 지칭한다)의 좌표를 이미지 좌 표계 및 세계 좌표계에서 얻어 식 (3)에 대입하면 H 의 나머 지 요소를 추정할 수 있다.

3. 개선된 영상 기반 변위 계측 시스템

3.1. 영상 기반 변위 계측 시스템 구성

본 연구에서 사용한 영상 기반 변위 계측 시스템은 Fig. 4 와 같이 카메라와 프레임 그래버 (frame grabber), PC (노트 북)와 측정판으로 구성된다. 구조물의 계측 위치에 네 점이 찍힌 측정판을 부착하고, 측정판의 동적 영상을 잘 고정된 카메라를 통하여 획득한다. 프레임 그래버를 이용해 노트북 으로 이 영상 데이터를 전송한 뒤, 이를 해석하여 변위를 얻 어낸다.

Fig 4.

Configuration of Vision-based System

3.2. 호모그래피를 통한 측정판 변위 해석

본 연구에서 쓰인 측정판은 Fig. 1에 보이는 4개의 점이 있는 측정판을 그대로 이용하였다. 측정판이 변형되지 않는 다고 가정할 경우, 측정판의 움직임은 실제 구조물의 움직임 으로 가정할 수 있다. 따라서 측정판 내부의 한 점 (예: 한 모서리나 중앙)을 원점으로 가정하고 좌표계를 설정하면 이 좌표계는 실제 측정하고자 하는 구조물의 움직임을 나타내 는 세계 좌표계가 된다. 측정판을 제작하는 과정에서 네 점 의 위치는 알 수 있으며, 이 값이 세계 좌표계의 좌표가 된 다 (Fig. 5의 왼쪽 그림 참조). 마찬가지로 이미지 좌표계 상 에서 네 점의 좌표는 측정판으로부터 얻은 이미지 한 프레임 을 이용하여 얻을 수 있다 (Fig. 5의 오른쪽 그림 참조). 세 계 좌표계와 이미지 좌표계 상에서 얻은 네 점의 좌표를 이 용하면 식 (1)~(6)을 이용하여 호모그래피 행렬을 계산할 수 있다.

Fig 5.

Target Plate in World and Image Coordinate Systems

첫 번째 프레임으로 구한 호모그래피 행렬은 세계 좌표계 의 좌표를 이미지 좌표계 상으로 변환하는 행렬이므로, 두 번째 프레임부터 이미지 좌표계상에서 네 점의 좌표를 얻고 나면 다음과 같이 호모그래피 행렬의 역행렬을 곱하여 측정 판 (세계 좌표계)의 변위를 얻을 수 있다.

(7)

w = H - 1 i = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 - 1 i

호모그래피를 이용하면 카메라의 위치에 상관없이 이미지 좌표계와 세계 좌표계 사이의 관계를 표현할 수 있다. 즉 카 메라가 측정판을 비스듬히 보는 상황에서도 영상과 측정판 사이에 정확한 변환이 가능하다. 따라서 본 연구에서 제안하 는 시스템은 카메라를 원하는 곳 어디든 설치를 할 수 있으 며, 이를 통해 얻은 변위의 정확도도 더욱 향상된다.

4. 검증을 위한 실내 실험

4.1. 실내 실험 개요

본 논문에서 제안한 평면 호모그래피를 이용한 영상기반 변위측정 기법의 성능 평가를 위해 실내 실험을 수행하였다. Fig. 6(a)는 본 실내 실험을 위한 셋업을 보여준다. 테이블 위에 수평방향으로 움직이는 2층 전단빌딩 모형을 위치시키고 이 모형의 상층에 측정판을 부착하였다. 측정판은 점 사이의 간격이 50mm가 되도록 설계하였다. 카메라 (CNB A1263NL) 는 측정판을 바라보는 수직 각도 (Fig. 6(b) 참조)와 수평 각 도 (Fig. 6(c) 참조)가 15도, 30도, 45도, 60도가 되도록 비스 듬히 설치하였다. 측정판과 카메라 사이의 거리는 약 3-4m 정도였다. 측정판 측면에는 40(μm)의 해상도로 변위의 정밀 한 측정이 가능한 레이저 변위계 (OPTEX FA CD4-350)를

Fig 6.

Experimental Setup and Horizontal and Vertical Angle of Camera

설치하여, 기준이 되는 변위를 측정하였다. 카메라와 레이저 변위계의 샘플링 주파수는 각각 29.97Hz와 1024Hz였다.

구조물의 상단에 수평방향으로 충격하중을 가하고 측정판 이 자유진동하는 영상을 카메라를 통해 습득한 뒤 평면 호모 그래피 기법을 이용하여 변위를 계산하였다. 각도에 따른 개 선을 검증하기 위해 동일한 영상에 기존의 영상 기반 변위기 법 (^{Lee and Shinozuka, 2006})을 적용하여 변위를 계산하였 다. 영상 기반으로 계산한 두 가지 변위와 레이저 변위계로 계측한 변위를 비교하였다.

4.2. 실험 결과 분석

Fig. 7은 영상를 통해 얻어진 두 종류의 변위와 레이저 변 위계로 얻은 기준 변위를 비교한 그래프이다. 영상 기반으로 얻은 변위 모두 각도가 작을 때는 기준 변위와 거의 유사한 값을 보이지만, 카메라의 각도가 점점 커짐에 기존 방법은 큰 오차를 보이는 것을 확인할 수 있다. 반면 제안한 시스템 은 각도가 무관하게 기준 변위와 거의 유사한 값을 보임을 쉽게 확인할 수 있다.

Fig 7.

Comparison of Displacements Obtained From Validation Test

Table 1은 카메라를 통해 얻은 두 변위에 대한 피크값들의 평균과 레이저 변위계의 피크값들의 평균 사이의 오차율을 계산한 것이다. Fig. 7(a)와 같이 약 15도의 미세한 수직, 수 평 각도에서는 기존 기법과 제안 기법 모두 1.83%, 2.31%로 매우 작은 오차를 보인다. 이는 각도가 크지 않을때는 영상 속에서 네 점을 잇는 방향 벡터가 거의 수직하여 큰 오차를 유발하지 않기 때문이다. 그러나 카메라의 수직, 수평 각도가 30도, 45도, 60도로 증가할수록 기존 기법은 오차가 3.40%, 39.1%, 128%로 확연히 증가하는 반면 호모그래피를 이용한 기법은 1.76%, 0.08%, 6.56%로 매우 작은 오차를 꾸준히 나타낸다. 이 결과는 본 연구에서 제안한 시스템이 카메라가 60도의 상당한 각도로 측정판을 응시하더라도 실제의 변위 값을 잘 측정할 수 있음을 보이는 것이다. 참고로 60도의 수 직, 수평각도에서 다른 경우와 비교하여 오차가 크게 나타난 것은 Fig. 5에서 보듯이 각도가 큰 경우 측정판의 흰 점의 형상이 크게 일그러져 그 중심점을 찾을 때 오차가 발생하였 기 때문으로 생각되며, 이는 사용처를 고려하여 흰 원의 크 기를 키움으로서 줄일 수 있다.

Table 1.

Average Error of Displacements Compared with Ones from Laser Displacement Meter

	Vertical and Horizontal Angles
	15°	30°	45°	60°
Lee and Shinozuka	1.83%	3.40%	39.1%	128%
Proposed	2.31%	1.76%	0.08%	6.56%

5. 결 론

본 연구에서는 카메라의 위치에 상관없이 정확하게 변위 를 측정할 수 있는 영상 기반 변위 계측 시스템을 개발하였 다. 개발된 시스템은 PC와 프레임그래버, 카메라, 그리고 네 개의 점이 찍힌 측정판으로 구성된다. 두 평면간의 1:1 대응 관계를 표현하는 평면 호모그래피 기법을 활용하여, 영상 속 측정판의 네 점과 실제 측정판 상의 네 점들의 대응관계를 표현하는 호모그래피 행렬을 계산하고, 영상 속에서 변화하 는 점들의 좌표에 그 역행렬을 곱함으로써 실제의 변위로 변 환하였다.

제안 시스템의 검증을 위하여 2층 전단빌딩 모형을 이용한 실내 실험을 수행하였다. 가진된 전단빌딩 모형에 측정판을 부착하고 카메라의 수평, 수직각도를 변화해가며 측정판의 움직임을 영상으로 획득, 평면 호모그래피 기법과 기존의 영 상기반 변위 추정 기법으로 분석하여 구조물의 변위를 얻었 다. 레이저 변위계로 계측한 기준 변위와 비교하였을 때, 카 메라와 측정판 사이의 수평, 수직 각도가 증가함에 따라 기 존 기법은 큰 오차를 유발하는 반면 제안 기법은 각도 60도 에서도 6.56% 미만의 오차로 정확하게 변위를 측정할 수 있 음을 확인하였다.

본 연구에서 개발한 시스템은 소형 구조물뿐만 아니라 대 형 구조물의 변위계측에 충분히 활용할 수 있을 것이다. 특 히 토목 및 건축 구조물과 같은 대형 구조물의 경우, 계측을 원하는 위치에 측정판을 부착한 뒤 장소의 제한이 없이 최적 의 위치에 카메라를 설치하고 저렴한 비용으로 정확하게 변 위를 측정할 수 있다. 본 시스템은 1축 변위의 측정이 가능 하므로, 교량 및 건축물의 슬라브의 처짐, 또는 건축물의 횡 방향 거동의 계측에 활용할 경우, 매우 효과적이라 판단된다.