2.1 레이저빔-비전기반 처짐 측정 시스템 구성

본 논문의 레이저빔-비전기반 교량 처짐 측정 시스템은 Fig. 1에서 보는 바와 같이, 송신부와 수신부로 구분된다. 송신부는 레이저빔이며, 수신부는 laser target과 카메라로 구성된다.

수신부를 거더 중앙에 그리고 송신부를 교대나 교각에 설치할 수도 있고, 송신부를 거더 중앙에 설치하고 수신부를 교대나 교각에 설치할 수도 있다. 송신부를 다수개의 거더 중앙에 설치한 경우에는 그림에서 나타낸 바와 같이 수신부에서 동시에 측정하여, 다수 거더의 처짐을 하나의 시스템으로 동시 측정이 가능한 특징을 가진다.

송신부에서 레이빔을 조사하고, 이는 수신부의 laser target에 상이 맺히게 된다. 이를 수신부 후면에 설치된 카메라로 좌표를 인식하고, 변동된 좌표를 계산하여 교량의 변위를 산출하는 원리이다(Fig. 2 참조).

본 연구에서 사용된 레이저빔은 5 mW출력과 650 nm 파장대역을 가지는 적색 레이저를 사용하였으며, 카메라는 2560× 1440 해상도와 30 fps 측정이 가능한 웹카메라를 사용하였다.

2.2 딥러닝 기반 왜곡 보정

수신부의 카메라와 결상판 사이의 거리는 항상 일정하기 때문에 재현성 있고 정밀한 결과를 획득하기 위하여 초기에 보정을 실시하여야 한다. Vision system의 왜곡은 크게 광학적 왜곡과 기학학적 왜곡으로 구분할 수 있다.

광학적 왜곡은 렌즈의 비이상적인 굴절 특성으로 인해, 실제 세계의 점이 이미지 평면에 비선형으로 매핑되는 현상으로, 이상적인 핀홀 카메라 모델에서는 모든 직선이 직선으로 투영되어야 하지만, 실제 렌즈는 다양한 비선형 왜곡을 유발할 수 있다. 대표적으로 방사형 왜곡(radial distortion)과 접속 왜곡(tangential distortion)이 존재한다. 방사형 왜곡은 렌즈 중심에서의 거리가 멀어질수록 왜곡이 커지는 현상으로 이미지의 가장자리에서 직선이 휘어지는 특징을 보인다. 접속왜곡은 렌즈의 광축이 이미지 센서와 완전히 수직하지 않을 때 발생하는 것으로 점이 경사 방향으로 비선형 이동하는 특징을 보인다(Fig. 3 참조).

기하학적 왜곡은 이미지 투영 또는 센서 구조, 이미지 처리 과정에서 발생하는 시스템 전반의 비선형적 왜곡이다. 이는 렌즈의 광학적 특성 외에도, 투영 모델의 한계, 센서 불완전성, 기하학적 구성이 잘못된 경우 등에서 기인한다(Fig. 4 참조).

Vision system의 왜곡보정을 위하여 수신기 내부에 카메라를 고정 설치하고 laser target에는 기지 거리의 체스 보정판을 설치하고 촬영한다. Fig. 5에서 보는 바와 같이 광학적 왜곡과 기하학적 왜곡이 복합적으로 작용되고 있다.

보정판의 좌표를 검출한 후, 상대적으로 왜곡의 영향이 작은 중앙 위치의 좌표점과 실제 보정판의 거리를 근거로 환산계수를 산정한다. 이 환산계수를 사용하면 픽셀로 촬영된 이미지 좌표들 사이의 픽셀거리를 실제 거리로 환산할 수 있다. 이렇게 계산된 환산계수를 보정판의 검출 좌표에 반영하여 실제 거리로 환산 후, 보정판의 실제 좌표와 비교하여 시각화하면 Fig. 6과 같다. X-좌표의 최대, 최소차는 0.0과 –4.943 mm이며, Y-좌표의 최대, 최소차는 3.895과 1.034 mm로 상당히 큰 오차가 발생됨을 알 수 있다.

따라서 본 연구에서는 vision system의 왜곡 보정을 위하여 렌즈 왜곡 보정, 투영 보정, 스케일 자동 보정과 딥러닝 기반 cross-correlation 좌표보정을 실시하였다. 왜곡보정을 위한 절차는 다음과 같다.

체스판 패턴은 컴퓨터가 쉽게 인식할 수 있어서 카메라 보정용으로 자주 사용된다. 본 보정에 사용된 체스보드에는 (43, 23)개의 사각형 모서리(코너)가 있으며, 각각의 간격은 5 mm이다. 이 정보는 실제 세계에서의 정확한 거리를 알려준다.

정밀한 평균 좌표 보정 위하여 30장의 이미지를 촬영하여 사용하였다. OpenCV의 calibrateCamera( ) 함수를 사용하여, mtx(카메라 렌즈 특성)와 dist(왜곡 정보)을 계산한다. 여러 장의 사진에서 같은 점이 약간씩 다르게 잡힐 수 있으므로, 여러 이미지에서의 평균 좌표를 계산해 좀 더 안정적인 기준점을 만든다. UndistortPoints( ) 함수로 휘어진 좌표를 원래대로 펴준다. 이 때 상기에서 계산한 mtx와 dist를 활용하여 렌즈의 휘어짐을 제거하고 영상의 왜곡을 보정한다.

원근 투영은 3D 세계의 평면 상의 물체가 카메라에 비스듬하게 보일 때, 직사각형이 사다리꼴로 보이는 왜곡현상을 설명하는 모델이다. 예들 들어 체스보드를 비스듬히 찍으면 네 모서리가 직사각형이 아닌 사다리꼴 형태로 나타난다. 이를 바로잡기 위해 이미지 상의 점들을 실제 평면 좌표로 맵핑해야 하는데, 이 때 사용하는 것이 호모그래피이다. 4개의 점 쌍을 기반으로 3x3 투시 변환 행렬(H)을 계산하고, cv2.getPers pectiveTransform 사용하여, 기하학적 보정과 스케일 보정을 실시하였다.

마지막으로 딥러닝 기반 cross-correlation 좌표 보정을 새롭게 제안하였다. 광원수신부에 복수개의 교차점을 가지도록 격자가 형성된 보정판을 설치하고 카메라로 촬영하여 보정영상을 취득한 후, 보정영상에서 2개의 보정영상 교차점을 추출한다. 보정영상 교차점의 픽셀좌표를 취득하고 보정영상 교차점 각각에 대응되는 보정판 교차점 간의 실거리를 파악하되, 상기 보정영상 교차점의 픽셀좌표 취득 작업 및 상기 보정판 교차점 간의 실거리 파악 작업을 보정영상의 모든 보정영상 교차점에 대해 수행한다. 예를 들어 5개의 좌표가 있다면, 1-1, 1-2, 1-3, 1-4, 1-5 그리고 2-2, 2-3, 2-4, 2-5, 3-3, 3-4, 3-5, 4-4, 4-5와 같이 모든 쌍에 대하여 관계를 분석하며, 본 연구에서는 cross-correlation(의미상, pairwise distance relationship analysis 또는 inter-point relationship analysis)이라고 정의하였다.

모든 보정영상 교차점의 쌍에 대한 픽셀좌표 및 보정영상 교차점 쌍에 대응되는 보정판 교차점 쌍 사이의 실거리를 취득하고, 취득된 모든 보정영상 교차점의 쌍에 대한 픽셀좌표와, 보정영상 교차점 쌍에 대응되는 보정판 교차점 쌍 사이의 실거리를 입력 데이터로 이용하여, 인공지능 모델을 학습한다. 인공지능 학습시 교차점의 쌍에 대한 픽셀좌표는 특성 데이터로, 교차점 쌍 사이의 실거리는 타겟 데이터로 사용된다.

촬영영상 속 2개의 점에 대한 픽셀좌표를 입력하면, 촬영영상 속 2개 점에 대응되는 원판 상의 2개 점 사이의 실거리를 출력하도록 학습된 인공지능 실거리 예측모델을 구축하였다.

결상영상에서 레이저 빔의 도트가 이동하기 전의 위치에 해당하는 레이저 빔 시작점의 픽셀좌표와, 레이저 빔의 도트가 이동한 후의 위치에 해당하는 레이저 빔 이동점의 픽셀좌표를 파악한다. 레이저 빔 시작점과 레이저 빔 이동점의 픽셀좌표를 인공지능 실거리 예측모델에 입력하여 레이저 빔 시작점과 레이저 빔 이동점 사이의 결상 플레이트 상의 실거리를 산출하도록 한다.

본 연구에서는 30장의 보정판 이미지를 사용하였으며, 5×5 mm 간격으로 격자를 형성(체스보드에는 (43, 23)개의 사각형 모서리)하여, 한장의 이미지에서는 총 989개의 좌표가 도출된다. 이를 cross-correlation하면, 한장의 이미지에는 총 989×989 = 978,121개의 좌표쌍과 실거리 데이터가 생성된다. 또한 30장의 이미지를 사용하므로, 총 데이터 set의 개수는 978,121×30 = 29,343,630개가 된다. 이 중 29개의 이미지 데이터인 978,121×30 = 28,365,509개는 학습 데이터로 사용하였으며, 1개의 이미지 데이터인 978,121개는 테스트 데이터로 사용하였다.

(x1, y1, x2, y2) 형태의 두 지점 간 픽셀 좌표를 입력받아 실제 거리 변화량 (dx, dy)를 예측하는 ANN 모델을 설계하였다. 각 층에는 ReLU 활성화 함수를 사용하였으며, 모델은 MSE Loss를 손실 함수로 사용하고 Adam 옵티마이저로 학습하였다. 최대 1,000 에포크 동안 학습하며, early stopping 기법을 적용하여 과적합 방지 및 최적 성능 확보를 도모하였다. 검증 손실이 개선되지 않는 경우 10번의 연속 에포크 이후 학습을 종료하도록 하였으며, 학습률은 0.001을 사용하였다.

학습된 PyTorch 모델은 추후 실시간 추론 및 경량화를 위해 ONNX(Open Neural Network Exchange) 포맷으로 변환하여 사용하였다. 예측 성능은 R²(결정 계수)로 평가하였으며, 테스트 데이터 평가결과 0.9999997615임을 확인할 수 있었다.

본 연구에서 제안된 딥러닝 기반 cross-correlation 좌표 보정을 실시한 결과, X-좌표의 최대, 최소차는 0.0484과 0.08545 mm, Y-좌표의 최대, 최소차는 0.06256과 0.05961 mm로 개선됨을 확인할 수 있었다.

2.3 Vision DAQ 및 post processing

Vision DAQ는 픽셀 기반 영상 처리 및 저장 GUI 프로그램으로, 고해상도 카메라로부터 실시간 영상을 수신하고, 영상 내 밝은 도트를 검출하여 이를 실시간으로 화면에 시각화하며, 사용자가 지정한 경우 감지된 좌표를 CSV 파일로 저장하는 기능을 제공한다.

⋅ OpenCV를 사용하여 고해상도 카메라 영상(2560x1440, 30 fps)을 수신

⋅ 실시간 fps 계산 및 표시

⋅ 이미지 전처리: 축소, 그레이스케일, CLAHE 대비 향상, 가우시안 블러

⋅ 밝기 임계값 기반 이진화 및 컨투어 분석

⋅ 타원 피팅 및 모멘트 기반 중심 추정으로 도트 좌표 추출

⋅사용자 조절 슬라이더로 임계값 조정

본 시스템은 영상 기반으로 밝은 도트를 실시간 검출하고 저장할 수 있는 GUI 기반 소프트웨어로, 교량 구조물 등에서 변위 검출 및 위치 추적과 같은 영상 계측 응용에 유용하게 사용될 수 있다. 고해상도, 고속 프레임 처리와 사용자 중심의 인터페이스를 통해 신뢰도 높은 도트 데이터 획득이 가능하다.

Vision post processing은 교량 처짐 측정 시스템에서 수집된 픽셀 단위 시계열 좌표 데이터에 대해 이동평균 필터링, 왜곡 보정, 투시 보정 및 ONNX 기반 딥러닝 보정을 수행하는 GUI 기반 후처리 프로그램이다. 본 시스템은 센서로부터 수집된 수십 개의 점 좌표 데이터를 일괄 처리하여 실측 기준의 mm 단위 변위를 추정하고 이를 시각화 및 저장하는 기능을 제공한다.

3.1 수집빈도

데이터 수집 빈도에 따른 실험은 두 가지 조건에서 수행되었다. 첫 번째 조건은 30 fps(2K 해상도), 두 번째 조건은 60 fps(1080P 해상도)의 수집 빈도를 가지며, 각각의 조건에 맞는 전용 프로그램을 사용하여 실험을 진행하였다. 레이저 조사 시, 수신부에 결상된 레이저 도트를 검출하는 방식으로 데이터를 수집하였다.

각 조건에서 30초간 데이터를 수집한 결과, 30 fps 환경에서는 총 900개(30초 × 30 fps), 60 fps 환경에서는 1,800개(30초 × 60 fps) 이상의 데이터가 저장되었음을 확인하였다. 이 결과는 Table 1에 정리되어 있으며, 수집 빈도에 따른 데이터의 충분한 확보 여부를 시각적으로 나타낸다. 실험 결과, 두 조건 모두에서 안정적으로 충분한 양의 데이터가 확보되었으며, 수집 빈도 또한 본 연구 목적에 적절한 수준임을 확인하였다. 수집된 데이터 수의 미세한 차이는 수동제어로 인한 미세한 차이로 판단된다.

3.2 분해능

영상 기반 거리 측정 시 분해능을 확인하기 위해, 레이저 조사시 결상이 이루어지는 수신부 전면에 실제 길이 220 mm가 인쇄된 기준 패널을 설치하고, 이를 전용 검출 프로그램을 통해 촬영하였다. 이후 영상 내에 표시된 그리드의 총 거리를 mm 단위로 측정하고, 해당 거리에 대응하는 총 픽셀 수를 총 5회 계측하였다.

계측된 데이터를 바탕으로 실측 거리(mm)를 총 픽셀 수(pixel)로 나누어 1픽셀당 대응하는 실거리(mm/pixel)를 산정하였다. 실험 결과는 Table 2 에 제시되어 있으며, 이때 측정된 그리드의 총 거리는 220 mm, 대응하는 영상의 x축 총 픽셀 수는 2560 pixel이었다. 따라서 1픽셀당 실거리는 약 0.0859 mm/pixel로 계산되었으며, 이는 본 시스템이 0.1 mm/pixel 이하의 공간 분해능을 확보하고 있음을 입증한다.

3.3 측정범위

레이저 조사 시 수신부 케이스에서의 도트 이동 범위폭이 200 mm 이상인지를 확인하기 위해, X 방향으로 그리드가 출력된 패널을 이용하였다. 해당 패널의 그리드 길이가 200 mm 이상임을 먼저 확인한 후, 영상 검출 프로그램을 통해 레이저 도트가 그리드 전 구간에 걸쳐 나타나는지를 분석하였다. 측정값의 신뢰도를 확보하고 오차 가능성을 최소화하기 위해 동일한 조건에서 총 5회에 걸쳐 반복 촬영을 수행하여, Table 3에 나타내었다. 반복 측정 결과, 모든 촬영에서 레이저 도트가 나타나는 범위는 일관되게 200 mm를 초과하는 것으로 확인되었다. 이는 본 실험 및 검사 과정에서의 측정값이 정확하고 재현 가능함을 의미하며, 본 시스템의 도트 이동 범위가 목표 기준을 충족함을 나타낸다.

3.4 측정거리

본 시스템의 1차적인 적용 대상은 교량 안전진단이며, 특수 교량을 제외한 일반적인 교량의 경간장은 50 m 미만이다. 따라서 본 시스템을 중앙부와 지점부에 설치한다고 하였을 때 최대 거리는 25 m 만족하는 것으로 설정하였다.

본 실험은 약 25 m 거리에서 레이저를 수신부 방향으로 조사하였을 때, 수신부 전면 패널에 형성되는 레이저 도트 결상이 전용 검출 프로그램을 통해 정확하게 인식될 수 있는지를 확인하는 것을 목적으로 수행되었다. 특히, 실시간 검출 성능을 평가하기 위해 해당 프로그램이 설정된 영상 수집 속도인 30 fps가 실험 조건하에서도 안정적으로 유지되는지를 중점적으로 관찰하였다.

실험은 Fig. 11과 같이 레이저 조사 장치와 수신부 간의 거리는 정확히 25 m로 이격시켰다. 레이저가 수신부 전면 패널에 조사되었을 때, 도트 형태의 결상이 형성되며, 이는 수신부에 부착된 이미지 센서에 의해 실시간으로 캡처된다. 해당 센서에서 획득된 영상 데이터는 전용 검출 프로그램을 통해 처리되며, 프로그램은 이 결상을 프레임 단위로 분석하여 도트 검출 여부를 판단하게 된다.

실험 결과는 Table 4에 나타난 바와 같이, 레이저 도트가 수신부 전면에 명확한 결상 형태로 안정적으로 형성되는 것을 확인할 수 있었다. 전용 검출 프로그램을 통한 실시간 영상 분석 과정에서도 도트는 정확하게 인식되었으며, 프레임 손실이나 지연 현상 없이 초당 30프레임의 수집 속도가 유지됨을 확인하였다. 수집된 데이터 양 또한 충분하여 실험 목적에 부합하는 수준으로 판단되었다.

이러한 결과를 종합적으로 분석한 결과, 본 시스템은 25 m 거리에서도 레이저 도트를 안정적으로 결상 및 검출할 수 있으며, 검출 프로그램은 요구된 실시간 처리 조건(30 fps)을 만족하는 것으로 나타났다.

3.5 선형응답 특성

본 실험은 UTM을 이용한 변위 측정값과 비전 시스템을 통해 측정한 변위값 간의 선형성을 비교하기 위해 진행되었다. 실험을 위해 수신부는 UTM에 설치되었으며, 약 3 m 떨어진 위치에서 레이저 빔을 수신부에 조사하였다. 또한, 수신부가 설치된 위치에는 변위를 정밀하게 측정할 수 있도록 200 mm 범위의 변위계를 함께 설치하였다. 설치된 검증용 변위계는 표준블럭을 사용하여 보정 후 적용하였다.

변위는 0 mm에서 시작하여 50 mm 간격으로 200 mm까지 증가시키며 측정을 진행하였고, 각 구간마다 총 5회씩 반복 실험을 수행하여 결과를 Table 5와 Table 6에 나타내었다. 측정된 데이터는 전용 프로그램을 통해 실질적인 변위값으로 환산되었으며, 이를 기반으로 비전 시스템과 UTM 간의 측정값을 비교하였다.

실험 결과, 비전 시스템의 최대 변위차는 0.23 mm 인 것으로 조사되었으며(Table 5), 검증용으로 부착한 2개소 LVDT의 최대 변위차는 각각 0.18 mm과 0.55 mm인 것으로 조사되었다(Table 6). 분석 결과 비전 시스템과 LVDT는 미세한 오차만 확인되었으며, 이러한 차이는 설치 및 실험에서 오는 오차라고 판단된다.

3.6 다중점 측정

본 연구에서는 하나의 수신기를 이용하여 복수의 측정 지점을 동시에 인식할 수 있는 가능성을 검증하기 위해 실험을 수행하였다.

실험 구성은 총 4개의 레이저 포인터를 일정한 위치에 고정 설치하고, 이들 레이저가 생성하는 빛의 점을 하나의 수신부에 동시에 조사하도록 하였다. 수신부에서는 비전 전용 프로그램을 활용하여 레이저 점의 검출 여부를 분석하여, 동시 검출된 점의 수를 Table 7에 나타내었다.

실험 결과 4개의 고정된 레이저 포인터에서 조사된 각 레이저 점이 수신부의 영상 처리 시스템에 의해 개별적으로 인식되었고, 모든 점이 시간 지연 없이 동시에 검출되는 것이 확인되었다. 향후에는 실교량 등에 적용하여 검증실험을 실시할 계획이다.