Mobile QR Code QR CODE

Journal of the Korea Concrete Institute

J Korea Inst. Struct. Maint. Insp.
  • Indexed by
  • Korea Citation Index (KCI)

  1. 학생회원, 국립부경대학교 석사과정
  2. 정회원, 국립부경대학교 토목공학과 조교수, 교신저자



Stereo vision, 3D displacement measurement, Uncertainty quantification, Error propagation, Covariance ellipsoid, Total station
스테레오 비전, 3차원 변위 계측, 불확실성 정량화, 오차 전파, 공분산 타원체, 토탈스테이션

1. 서 론

영상 기반 비접촉 변위계측은 대형 사회기반시설의 구조 응답을 원격으로 평가하기 위한 핵심 기술로 활용되고 있다. 변위는 교량, 철도교 등 대형 사회기반시설의 안전성을 평가하는 핵심 응답 지표이며(Feng and Feng, 2018), 영상 기반 비접촉 기법은 센서 부착이 어렵거나 접근이 제한된 위치에서도 계측을 수행할 수 있어 접촉식 계측의 설치성과 유지관리 한계를 보완한다(Dong and Catbas, 2021; Omidalizarandi et al., 2018). 특히 두 대의 카메라를 사용하는 스테레오 비전은 단안 영상에서 취약한 면외 변위를 포함하여 3차원 형상과 변위를 추정할 수 있다(Hartley and Zisserman, 2004). 따라서 스테레오 비전은 토목 구조물의 3차원 변위계측을 위한 유용한 비접촉 계측 수단으로 활용될 수 있다.

스테레오 비전 기반 변위계측에는 변위 크기와 함께 신뢰도 정보가 제시되어야 한다. 기존 결정론적 삼각측량은 좌우 대응 픽셀을 정확한 점으로 가정하여 3차원 위치를 단일값으로 산출하므로, 영상 오차가 최종 변위에 미치는 영향을 직접 보고하지 못한다. 그러나 실제 구조물 영상의 조명변화, 영상 잡음, 텍스처 부족, 보정 잔차, 서브픽셀 검출 오차는 대응점 위치와 복원 위치에 모두 전파된다. 또한 영상 계측값의 불확실성은 촬영 조건, 매칭 품질, 카메라 기하에 따라 달라지므로, 동일한 변위 크기라도 신뢰도에 따라 구조물 상태 해석의 의미가 달라질 수 있다. 따라서 영상 기반 계측값을 구조 거동, 경향 분석, 임계값 판단에 활용하려면 매칭 불확실성에서 변위 불확실성까지 이어지는 정량적 전파 절차가 필요하다.

선행연구는 계측 정확도 향상과 불확실성 정량화의 두 흐름을 형성하지만, 두 흐름은 개별 구조물 계측점 수준에서 충분히 연결되지 않았다. Dong and Catbas(2021), Omidalizarandi et al.(2018), Lee et al.(2025b), Lee et al.(2025a), Lee et al.(2026), Yin et al.(2025) 등은 영상 기반 structural health monitoring (SHM)의 현장 적용성과 정확도 향상에 기여하였고, Hartley and Sturm(1997)은 삼각측량의 기하학적 오차 특성을 분석하였다. 반면 Guide to the Expression of Uncertainty in Measurement (GUM) (JCGM, 2008), digital image correlation (DIC) (Sutton et al., 2009; Reu, 2013; Balcaen et al., 2017; Zhao and Pan, 2023), 번들 조정(Börlin et al., 2020) 기반 연구는 불확실성 전파의 수학적 틀을 제시하였으나, 주로 전역 변형장이나 점군을 대상으로 한다. 토목 구조물의 개별 계측점에서 매칭 불확실성을 3차원 변위 공분산까지 연결하는 절차는 여전히 제한적이다.

본 연구는 개별 계측점의 3차원 위치와 변위를 확률변수로 표현하는 스테레오 비전 프레임워크를 제안한다. zero-mean normalized cross-correlation (ZNCC) 상관 곡선의 곡률로 점별 픽셀 공분산을 설정하고, 최근접 광선 중간점 복원의 Jacobian으로 3차원 위치 공분산을 산출한 뒤, 두 시각 위치의 차를 통해 변위 공분산을 계산한다. 제안 프레임워크는 가상 스테레오 시뮬레이션과 보행용 현수교 현장 실험으로 검증된다.

2. 제안기술

본 장에서는 스테레오 비전 기반 변위계측에서 영상 매칭 불확실성을 3차원 위치 공분산과 변위 공분산으로 연결하는 계산 절차를 설명한다(Figure 1). 절차는 다섯 단계로 구성된다. 먼저 좌측 관심 픽셀에 대응하는 우측 이미지상의 점을 서브픽셀 ZNCC 에피폴라 탐색으로 찾고, 채택된 대응점의 ZNCC 피크 곡률로 픽셀 공분산 $\Sigma_z$를 설정한다. 다음으로 좌우 픽셀을 월드 좌표계의 광선으로 역투영하여 최근접 중간점 $X$를 복원하고, 복원함수의 Jacobian $J$로 3차원 위치 공분산 $\Sigma_X = J \Sigma_z J^\top$를 계산한다. 마지막으로 두 시각의 위치 확률변수 차이에서 변위 공분산 $\Sigma_d$를 산출한다. 이하의 2.1–2.5절은 이 다섯 절차를 Figure 1의 순서와 동일하게 설명한다.

Fig. 1 Pipeline for propagating ZNCC matching uncertainty to 3D position and displacement covariance

../../Resources/ksm/jksmi.2026.30.4.26/fig1.png

2.1 서브픽셀 ZNCC 대응점 탐색

좌측 이미지의 관심점에 대응하는 우측 이미지상의 점은 ZNCC 점수를 기준으로 결정한다. ZNCC는 좌우 영상 윈도우에서 평균 밝기를 제거한 뒤 두 밝기 벡터의 정규화 내적을 계산한 값으로, 평균 밝기 차이의 영향을 줄인 패턴 유사도 지표이다. 좌측 관심 픽셀을 $p_L = (u_L, v_L)^\top$, 우측 이미지의 에피폴라 라인 위 후보점을 $p_R = (u_R, v_R)^\top$라 한다. 두 점을 중심으로 한 좌우 영상 윈도우에서 공통으로 비교되는 상대 위치 집합을 $S$라 하고, 평균 제거 밝기값을 $\bar{I}_{L,i} = I_{L,i} - \bar{I}_L, \bar{I}_{R,i} = I_{R,i} - \bar{I}_R$로 두면, ZNCC 점수는

(1)
$ZNCC(p_L, p_R) = \dfrac{\sum_{i \in S} \bar{I}_{L,i} \bar{I}_{R,i}}{\sqrt{\sum_{i \in S} \bar{I}_{L,i}^2} \sqrt{\sum_{i \in S} \bar{I}_{R,i}^2}}$

로 둔다. 여기서 $\bar{I}_L$과 $\bar{I}_R$은 각 윈도우의 평균 밝기값이다. 식 (1)의 값이 클수록 두 윈도우의 패턴이 더 유사하므로, 이후 에피폴라 탐색에서 우측 이미지의 후보점 선택 기준으로 사용된다.

실제 ZNCC로 대응점을 찾을 때는 계산 효율성과 서브픽셀 정밀도를 동시에 확보하기 위해 coarse-to-fine search를 수행한다. 우측 이미지의 에피폴라 라인 위의 후보 위치를 1차원 탐색 매개변수 $r$로 나타내고, $r$에 대응하는 우측 이미지 좌표를 $p_R(r)$라 하면, 해당 후보 위치에서의 ZNCC 점수는

(2)
$\rho(r) = ZNCC(p_L, p_R(r))$

로 쓸 수 있다. 여기서 $r$은 ZNCC 값이 아니라, 우측 이미지의 에피폴라 라인을 따라 후보 대응점을 이동시키기 위한 탐색 위치 매개변수이다. 1단계 coarse search에서는 전체 탐색 구간에서 0.1 pixel 간격의 후보 매개변수값을 생성하고, ZNCC가 최대가 되는 초기 매개변수값을

(3)
$r_c^* = \arg\max_{r \in R_{0.1}} \rho(r), \quad R_{0.1} = \{r_{min}, r_{min} + 0.1, \dots, r_{max}\}$

로 결정한다. 이어지는 2단계 fine search에서는 $r_c^*$ 주변의 국소구간에서 0.01 pixel 간격의 정밀 탐색을 수행한다. 국소탐색 반경을 $\delta$라 하면, 최종 탐색 매개변수값은

(4)
$r_f^* = \arg\max_{r \in R_{0.01}(r_c^*)} \rho(r), \quad R_{0.01}(r_c^*) = \{r_c^* - \delta, r_c^* - \delta + 0.01, \dots, r_c^* + \delta\}$

로 구한다. 따라서 coarse-to-fine search는 전체 탐색 구간에서 ZNCC 피크의 대략적인 위치를 먼저 찾고, 그 주변에서 정밀 탐색을 수행하여 서브픽셀 수준의 최종 탐색 위치 $r_f^*$를 산출하는 절차이다. 최종 탐색 위치가 결정되면, 이에 대응하는 우측 이미지 좌표를 우측 이미지의 최종 대응점으로 사용한다.

(5)
$\bar{p}_R = p_R(r_f^*)$

우측 이미지의 최종 대응점이 결정된 후에는 최종 ZNCC 피크값을 이용하여 매칭 신뢰도를 판정한다. 본 연구에서는 매칭 강도의 하한값을 $\rho_{min}$으로 두고, 최종 피크값이

(6)
$\rho(r_f^*) \ge \rho_{min}$

을 만족하는 경우에만 해당 대응점을 신뢰 가능한 매칭점으로 채택한다.

2.2 ZNCC 곡률 기반 픽셀 공분산 산정

2.1절의 방법으로 최종 대응점이 채택되면 해당 대응점이 얼마나 명확하게 결정되었는지를 ZNCC 피크 곡률로 평가한다. 영상 정합 정확도의 이론적 한계가 영상의 국부 정보와 잡음에 의존한다는 점은 기존 연구에서도 분석되었다(Robinson and Milanfar, 2004). 우측 이미지의 에피폴라 라인에서 탐색 위치를 $r$이라 하면, $\rho(r)$는 그 위치에서의 ZNCC 점수이고 최종 대응점 $r_f^*$에서는 $\rho(r)$가 국소 최댓값을 갖는다. $r_f^*$에서의 ZNCC 곡률은 $r_f^* - \Delta r, r_f^*, r_f^* + \Delta r$에서의 ZNCC 값을 이용한 중앙차분으로 계산한다. 이때 탐색 간격은 2.1절의 coarse-to-fine search에서 활용한 정밀 탐색 간격과 동일하게 $\Delta r = 0.01$ pixel로 둔다. ZNCC 피크 주변의 두 번째 미분은 음수이므로, 부호를 바꾸어 양의 곡률 지표를 다음과 같이 정의한다.

(7)
$\kappa = -\dfrac{\rho(r_f^* + \Delta r) - 2\rho(r_f^*) + \rho(r_f^* - \Delta r)}{(\Delta r)^2}$

식 (7)의 $\kappa$는 $r_f^*$의 매칭 명확성을 나타내는 ZNCC 피크 곡률 지표이다. $\kappa$가 클수록 $r_f^*$ 주변의 ZNCC 피크 곡률이 커서 $r_f^*$의 위치가 명확하고, $\kappa$가 작을수록 피크 곡률이 작아 $r_f^*$의 위치 불확실성이 크다. 따라서 $\kappa$는 이후 $r_f^*$에 대한 픽셀 공분산 크기를 조정하는 데 사용된다.

식 (7)에서 정의된 곡률을 바탕으로 픽셀 공분산을 계산한다. 계산은 기준 픽셀 공분산 행렬 산정, 기준 곡률 산정, 현재 곡률에 따른 픽셀 공분산 계산의 순서로 수행된다. 기준 픽셀 공분산 $\Sigma_{img,ref}$는 정지 상태 영상에서 동일 표적점의 픽셀 좌표가 반복 관측될 때의 공분산이다. 기준 영상 좌표 오차를

(8)
$\Delta u = \begin{bmatrix} \Delta u \\ \Delta v \end{bmatrix}$

로 두면, 기준 픽셀 공분산 행렬은

(9)
$\Sigma_{img,ref} = \text{cov}(\Delta u) = \begin{bmatrix} \sigma_u^2 & \sigma_{uv} \\ \sigma_{uv} & \sigma_v^2 \end{bmatrix}$

로 산정된다. 기준 곡률 $\kappa_{ref}$는 같은 기준 조건에서 얻은 신뢰 가능한 ZNCC 피크 곡률의 대표값이다. 여기서 신뢰 가능한 표본은 식 (6)의 매칭 신뢰 조건을 만족하고, 최종 피크가 탐색 구간 내부에 있어 양쪽 중앙차분이 가능하며, 식 (7)로 계산한 곡률이 유한한 양수인 경우로 정의한다. 신뢰 표본 수 $N$은 이 조건을 모두 만족하여 기준 곡률 산정에 실제 사용되는 표본의 개수이다. 신뢰 가능한 $N$개 표본에 대해 식 (7)로 계산한 곡률을 $\kappa_n$이라 하면, 기준 곡률은

(10)
$\kappa_{ref} = \text{median}(\kappa_1, \kappa_2, \dots, \kappa_N)$

로 계산한다. 이를 바탕으로 현재 곡률 $\kappa$를 갖는 $r_f^*$의 픽셀 공분산은

(11)
$\Sigma_{img}(\kappa) = \left(\dfrac{\kappa_{ref}}{\kappa}\right)^2 \Sigma_{img,ref}$

로 설정한다. 즉 $\kappa$가 $\kappa_{ref}$보다 크면 공분산이 작아지고, 작으면 공분산이 커진다. 좌측 이미지와 우측 이미지의 픽셀 공분산을 각각 $\Sigma_{img,L}, \Sigma_{img,R}$라 하면, 3차원 복원에 사용되는 4차원 픽셀 공분산은

(12)
$\Sigma_z = \begin{bmatrix} \Sigma_{img,L} & 0 \\ 0 & \Sigma_{img,R} \end{bmatrix}$

로 구성한다. 이렇게 산정한 곡률 기반 픽셀 공분산은 이후 3차원 위치 공분산 전파의 입력 불확실성으로 사용된다.

2.3 최근접 광선 중간점 3차원 복원

세 번째 절차는 좌우 이미지의 동차 픽셀 좌표를 이용하여 3차원 위치 X를 복원하는 것이다. 좌측 이미지의 관심 픽셀 좌표를 $(u_L, v_L)$, 2.1절에서 산출한 우측 이미지의 서브픽셀 대응점 좌표를 $(u_R, v_R)$라 하면, 이에 대응하는 동차 픽셀 좌표는 $\bar{p}_L = (u_L, v_L, 1)^\top, \bar{p}_R = (u_R, v_R, 1)^\top$이다. 복원은 각 동차 픽셀 좌표를 카메라 중심에서 출발하는 월드 좌표계 광선으로 역투영한 뒤, 두 광선의 최근접 중간점을 취하는 방식으로 수행한다. 여기서 $K_L, K_R$는 좌우 카메라의 내부 파라미터 행렬이고, $R_L^\top, R_R^\top$는 카메라 좌표계의 방향벡터를 월드 좌표계로 변환하는 회전 행렬이다. 따라서 $M_L = R_L^\top K_L^{-1}, M_R = R_R^\top K_R^{-1}$는 픽셀 동차 좌표를 월드 좌표계의 광선 방향으로 변환하는 역투영 행렬이다. 이를 사용하면 좌우 픽셀 좌표에 대응하는 광선 방향은 다음과 같이 계산된다.

(13a)
$d_L = M_L \bar{p}_L$
(13b)
$d_R = M_R \bar{p}_R$

이 광선 방향을 이용하여 각 카메라 중심 $C_L, C_R$에서 출발하는 두 광선을 구성한다.

(14a)
$P_L(s) = C_L + s d_L$
(14b)
$P_R(t) = C_R + t d_R$

이 식으로 좌우 동차 픽셀 좌표에 대응하는 두 개의 3차원 관측 광선이 정의된다. 두 광선이 구성되면 실제 영상 오차로 인해 두 광선이 정확히 교차하지 않는 조건에서 최근접 중간점을 구한다. 최단선분의 양 끝점 $(Q_L, Q_R)$은 두 광선에 대한 수직 조건으로 결정된다. $w = C_L - C_R$로 두고, 최근접 매개변수 계산에 필요한 스칼라 계수는 다음과 같이 산정한다.

(15a)
$a = d_L^\top d_L$
(15b)
$b = d_L^\top d_R$
(15c)
$c = d_R^\top d_R$
(15d)
$d = d_L^\top w$
(15e)
$e = d_R^\top w$

수직 조건 $d_L^\top (Q_L - Q_R) = 0, d_R^\top (Q_L - Q_R) = 0$을 적용하면, $\Delta = a c - b^2 \neq 0$일 때 두 광선 위의 최근접점 매개변수는 다음과 같이 계산된다.

(16a)
$s^* = \dfrac{b e - c d}{\Delta}$
(16b)
$t^* = \dfrac{a e - b d}{\Delta}$

두 관측의 대칭적 절충점인 최근접 중간점은 다음과 같이 복원한다.

(17)
$X = \dfrac{1}{2} (C_L + s^* d_L + C_R + t^* d_R)$

결과적으로 식 (17)는 좌우 동차 픽셀 좌표에서 정의된 두 광선의 최근접 중간점을 3차원 위치 $X$로 산출하며, 다음 절의 위치 공분산 전파는 이 복원식을 기준으로 수행된다.

2.4 Jacobian 기반 3차원 위치 공분산 전파

네 번째 절차는 2.3절에서 복원한 3차원 위치 X의 공분산 $\Sigma_X$를 계산하는 것이다. 이를 위해 2.2절에서 산정한 좌우 픽셀 좌표의 불확실성을 입력 픽셀 공분산 $\Sigma_z$로 두고, 2.3절의 최근접 중간점 복원식(식 (17))을 입력 픽셀 벡터에 대한 함수로 나타낸다. 좌우 픽셀 좌표를 $z = [u_L, v_L, u_R, v_R]^\top$로 묶으면 복원점은 $X = g(z)$로 쓸 수 있다. 입력 픽셀 좌표에 작은 오차 $\delta z$가 생기면 복원점 변화는 1차 근사에서 $\delta X \approx J \delta z$로 나타내며, 여기서 $J = \dfrac{\partial g}{\partial z}$는 복원 함수의 Jacobian이다. 따라서 이 절의 위치 공분산 계산은 픽셀 공분산 $\Sigma_z$를 Jacobian J로 선형 전파하는 문제로 정리된다.

Jacobian은 네 개의 픽셀 성분이 각각 복원점에 미치는 영향을 열벡터로 모은 행렬이다.

(18)
$J = \dfrac{\partial g}{\partial z} = \begin{bmatrix} \dfrac{\partial X}{\partial u_L} & \dfrac{\partial X}{\partial v_L} & \dfrac{\partial X}{\partial u_R} & \dfrac{\partial X}{\partial v_R} \end{bmatrix} \in \mathbb{R}^{3 \times 4}$

본 논문에서는 식 (18)의 Jacobian을 유한차분과 같은 수치 미분으로 근사하지 않고, 최근접 중간점 복원식을 입력 픽셀 좌표에 대해 연쇄법칙으로 편미분하여 해석적으로 계산한다. 식 (17)를 픽셀 성분 $q \in \{u_L, v_L, u_R, v_R\}$에 대해 편미분하면 다음의 일반식이 얻어진다.

(19)
$\dfrac{\partial X}{\partial q} = \dfrac{1}{2} (C_{L,q} + s_q d_L + s^* d_{L,q} + C_{R,q} + t_q d_R + t^* d_{R,q}) = \dfrac{1}{2} (s_q d_L + s^* d_{L,q} + t_q d_R + t^* d_{R,q})$

여기서 아래첨자 $q$는 해당 픽셀 성분에 대한 편미분을 뜻하며, 예를 들어 $s_q = \dfrac{\partial s^*}{\partial q}, d_{L,q} = \dfrac{\partial d_L}{\partial q}$이다. 카메라 중심 $C_L, C_R$는 고정된 외부 파라미터이므로 $C_{L,q} = C_{R,q} = 0$이다. 또한 좌측 이미지 픽셀 성분에 대해서는 $d_{R,q} = 0$이고, 우측 이미지 픽셀 성분에 대해서는 $d_{L,q} = 0$이다. 따라서 식 (19)에 좌우 광선 방향의 픽셀 의존성을 대입하면 Jacobian의 네 열은 다음과 같이 세 항으로 정리된다.

(20a)
$\dfrac{\partial X}{\partial u_L} = \dfrac{1}{2} (s_{u_L} d_L + s^* m_{Lu} + t_{u_L} d_R)$
(20b)
$\dfrac{\partial X}{\partial v_L} = \dfrac{1}{2} (s_{v_L} d_L + s^* m_{Lv} + t_{v_L} d_R)$
(20c)
$\dfrac{\partial X}{\partial u_R} = \dfrac{1}{2} (s_{u_R} d_L + t_{u_R} d_R + t^* m_{Ru})$
(20d)
$\dfrac{\partial X}{\partial v_R} = \dfrac{1}{2} (s_{v_R} d_L + t_{v_R} d_R + t^* m_{Rv})$

식 (20)에 들어가는 광선 방향 미분항을 간결하게 쓰기 위해, 동차 픽셀 좌표의 첫 번째와 두 번째 표준기저벡터 $e_1 = (1, 0, 0)^\top, e_2 = (0, 1, 0)^\top$를 이용하여 네 벡터를 다음과 같이 정의한다.

(21)
$m_{Lu} = M_L e_1, \quad m_{Lv} = M_L e_2, \quad m_{Ru} = M_R e_1, \quad m_{Rv} = M_R e_2$

식 (13)의 광선 방향은 좌측 이미지 픽셀 좌표 또는 우측 이미지 픽셀 좌표에 각각 선형으로 의존하므로, 네 입력 성분에 대한 미분은 다음과 같다.

(22a)
$d_{L,u_L} = m_{Lu}, \quad d_{L,v_L} = m_{Lv}$
(22b)
$d_{L,u_R} = 0, \quad d_{L,v_R} = 0$
(22c)
$d_{R,u_L} = 0, \quad d_{R,v_L} = 0$
(22d)
$d_{R,u_R} = m_{Ru}, \quad d_{R,v_R} = m_{Rv}$

최근접 매개변수 미분항은 식 (15)의 스칼라 계수 $a, b, c, d, e$를 먼저 미분하여 계산한다. 네 입력 성분에 대해 필요한 스칼라 미분은 다음과 같다.

(23a)
$a_{u_L} = 2 d_L^\top m_{Lu}, \quad a_{v_L} = 2 d_L^\top m_{Lv}$
(23b)
$a_{u_R} = 0, \quad a_{v_R} = 0$
(23c)
$b_{u_L} = m_{Lu}^\top d_R, \quad b_{v_L} = m_{Lv}^\top d_R$
(23d)
$b_{u_R} = d_L^\top m_{Ru}, \quad b_{v_R} = d_L^\top m_{Rv}$
(23e)
$c_{u_L} = 0, \quad c_{v_L} = 0$
(23f)
$c_{u_R} = 2 d_R^\top m_{Ru}, \quad c_{v_R} = 2 d_R^\top m_{Rv}$
(23g)
$d_{u_L} = m_{Lu}^\top w, \quad d_{v_L} = m_{Lv}^\top w$
(23h)
$d_{u_R} = 0, \quad d_{v_R} = 0$
(23i)
$e_{u_L} = 0, \quad e_{v_L} = 0$
(23j)
$e_{u_R} = m_{Ru}^\top w, \quad e_{v_R} = m_{Rv}^\top w$

식 (23)식 (16)에 대입하고 몫 미분을 적용하면 네 입력 성분에 대한 $\Delta, s^*, t^*$의 미분을 계산할 수 있다. 식 (24)의 세 벡터는 입력 픽셀 벡터 $z = [u_L, v_L, u_R, v_R]^\top$와 같은 순서로 배열되며, 순서대로 분모 $\Delta$, 좌측 광선 매개변수 $s^*$, 우측 광선 매개변수 $t^*$의 미분 성분을 나타낸다.

(24a)
$\begin{bmatrix} \Delta_{u_L} \\ \Delta_{v_L} \\ \Delta_{u_R} \\ \Delta_{v_R} \end{bmatrix} = \begin{bmatrix} a_{u_L} c - 2 b b_{u_L} \\ a_{v_L} c - 2 b b_{v_L} \\ a c_{u_R} - 2 b b_{u_R} \\ a c_{v_R} - 2 b b_{v_R} \end{bmatrix}$
(24b)
$\begin{bmatrix} s_{u_L} \\ s_{v_L} \\ s_{u_R} \\ s_{v_R} \end{bmatrix} = \dfrac{1}{\Delta^2} \begin{bmatrix} (b_{u_L} e - c d_{u_L}) \Delta - (b e - c d) \Delta_{u_L} \\ (b_{v_L} e - c d_{v_L}) \Delta - (b e - c d) \Delta_{v_L} \\ (b_{u_R} e + b e_{u_R} - c_{u_R} d) \Delta - (b e - c d) \Delta_{u_R} \\ (b_{v_R} e + b e_{v_R} - c_{v_R} d) \Delta - (b e - c d) \Delta_{v_R} \end{bmatrix}$
(24c)
$\begin{bmatrix} t_{u_L} \\ t_{v_L} \\ t_{u_R} \\ t_{v_R} \end{bmatrix} = \dfrac{1}{\Delta^2} \begin{bmatrix} (a_{u_L} e - b_{u_L} d - b d_{u_L}) \Delta - (a e - b d) \Delta_{u_L} \\ (a_{v_L} e - b_{v_L} d - b d_{v_L}) \Delta - (a e - b d) \Delta_{v_L} \\ (a e_{u_R} - b_{u_R} d) \Delta - (a e - b d) \Delta_{u_R} \\ (a e_{v_R} - b_{v_R} d) \Delta - (a e - b d) \Delta_{v_R} \end{bmatrix}$

따라서 식 (21)(24)의 항을 식 (20)에 대입하면 식 (18)의 네 열이 모두 계산된다.

이상의 식들은 최근접 중간점 복원식의 해석적 편미분으로부터 얻어진다. 산출된 Jacobian을 선형화 행렬로 사용하면, 복원 위치 X의 공분산은 다음과 같이 계산된다.

(25)
$\Sigma_X = J \Sigma_z J^\top \in \mathbb{R}^{3 \times 3}, \quad X \sim \mathcal{N}(\mu_X, \Sigma_X)$

$\Sigma_X$는 매칭 품질에 따른 입력 불확실성 $\Sigma_z$와 카메라 배치에 따른 기하학적 민감도 J를 동시에 반영한다. 고유값 분해 $\Sigma_X = V \Lambda V^\top$에서 $\sqrt{\lambda_i}$를 반축 길이로 사용하면 $1\sigma$ 공분산 타원체를 나타낼 수 있다. 이로써 2.2절의 픽셀 공분산은 복원점 X의 3차원 위치 공분산으로 표현된다.

2.5 변위 공분산 산출

마지막 절차는 두 시각의 3차원 위치 차이로 변위 확률변수를 정의하는 것이다. 기준 시각 $t_0$의 위치를 $X_0 \sim \mathcal{N}(\mu_0, \Sigma_0)$, 현재 시각 $t$의 위치를 $X_t \sim \mathcal{N}(\mu_t, \Sigma_t)$라 하면, 기준 시각 대비 변위는 다음과 같이 산정한다.

(26)
$d_t = X_t - X_0$

변위 공분산은 식 (26)에 나타난 두 위치 확률변수의 차에 대한 공분산이다. 임의의 확률벡터 A, B에 대해 $\text{Cov}(A-B) = \text{Cov}(A) + \text{Cov}(B) - \text{Cov}(A,B) - \text{Cov}(B,A)$이므로, 두 시각 위치 추정 오차의 교차 공분산을 $\Sigma_{0t}$라 하면 변위 공분산의 일반식은 다음과 같다.

(27)
$\Sigma_d = \Sigma_0 + \Sigma_t - \Sigma_{0t} - \Sigma_{0t}^\top$

여기서 $\Sigma_{0t}$는 두 시각의 위치 오차가 함께 변하는 정도를 나타낸다. 본 연구에서는 두 시각의 위치 오차가 서로 독립이라고 가정하므로 $\Sigma_{0t} \approx 0$으로 두고, 다음의 단순화된 변위 공분산을 사용한다.

(28)
$\Sigma_d \approx \Sigma_0 + \Sigma_t, \quad d_t \sim \mathcal{N}(\mu_t - \mu_0, \Sigma_d)$

이 단순화는 두 시각 오차가 양의 상관을 가질 때 식 (27)의 상쇄항 $-\Sigma_{0t} - \Sigma_{0t}^\top$을 무시하므로 변위 공분산을 크게 평가한다. 따라서 양의 상관 성분에 대해서는 보수적인 근사이며, 음의 상관이나 시간별 보정 오차가 큰 경우에는 $\Sigma_{0t}$를 별도로 추정해야 한다. 이와 같이 변위는 평균 $\mu_t - \mu_0$와 공분산 $\Sigma_d$로 표현되며, $\Sigma_d$는 각 방향 변위 불확실성의 크기와 상관관계를 함께 나타낸다.

3. 시뮬레이션 검증

본 장에서는 영상점 매칭 오차가 스테레오 삼각측량을 거쳐 3차원 위치 및 변위 불확실성으로 전파되는 과정을 단계별 시뮬레이션으로 검토한다. 먼저 영상 내 특징점의 국부 matching peak 형상이 매칭 위치 불확실성에 미치는 영향을 정리한다. 이어 영상점 오차가 두 역투영 광선의 불일치와 3차원 위치 공분산으로 전파되는 과정을 Monte Carlo 결과와 비교한다. 그 다음 두 시점 위치 공분산이 변위 공분산으로 합산되는 과정을 확인하고, 마지막으로 기선 거리 B와 대상거리 D 조합에 따른 변위 공분산의 전체 추세를 분석한다.

3.1 영상 매칭 불확실성과 곡률 영향

첫 번째 단계는 2.2절의 ZNCC 곡률 기반 픽셀 불확실성 산정을 검토하는 것이다. 우측 이미지의 에피폴라 좌표 $r$에 대한 1차원 matching peak를 이차 곡선으로 근사하고, 중간 곡률 조건을 기준값 $\kappa_{ref} = 1.60, \sigma_{r,ref} = 0.05$ pixel로 고정하였다. 이후 고곡률(high-curvature), 중간곡률(mediumcurvature), 저곡률(low-curvature)의 세 조건을 각각 $\kappa_{epi} = 4.00, 1.60, 0.75$로 설정하고, $\sigma_r = (\kappa_{ref}/\kappa_{epi}) \sigma_{r,ref}$에 따라 예측 표준편차를 계산하였다. 여기서 $\kappa_{ref} = 1.60$과 $\sigma_{r,ref} = 0.05$ pixel은 문헌에서 제시된 일반 임계값이나 반복 경험으로 최적화한 값이 아니라, 기준 조건을 정의하기 위한 가정값이다. $\kappa_{epi} = 4.00, 1.60, 0.75$는 기준 곡률보다 큰 경우, 같은 경우, 작은 경우를 비교하기 위한 합성 시뮬레이션 사례이며, 실제 현장에 적용되는 최적값 또는 일반화된 경계값을 의미하지 않는다. 각 조건에서 $N = 200,000$회 Monte Carlo 표본을 생성하였으며, 난수 seed는 20260602, 계산 환경은 CUDA GPU이다.

Figure 2는 기준 픽셀 분산을 고정한 상태에서 에피폴라 방향의 국부 matching peak 곡률이 낮아질수록 대응점 위치 표준편차가 커짐을 보인다. $\kappa_{epi} = 4.00, 1.60, 0.75$에서 예측 표준편차 $\sigma_r$는 각각 0.0200, 0.0500, 0.10667 pixel이고, GPU Monte Carlo 표본 표준편차는 각각 0.02000, 0.05007, 0.10675 pixel로 거의 일치하였다. 따라서 기준 공분산 $\Sigma_{img,ref}$를 고정하고 현재 곡률에 따라 공분산을 $(\kappa_{ref}/\kappa)^2$로 조정하는 식 (11)의 스케일링이 이 합성 조건에서 타당함을 확인할 수 있다.

Table 1 Simulated stereo-system parameters

Parameter

Value

Focal length f (left = right)

815 px

Image resolution

1280 × 720

Principal point (cx, cy)

(640, 360) px

Baseline B

80 mm

Object distance D

5000 mm

Measurement point Xtrue

(0, 0, D)

Camera rotation RL, RR

I3 (parallel optical axes)

Fig. 2 GPU simulation of epipolar-curvature-driven pixel uncertainty. Monte Carlo samples of the epipolar coordinate error are compared with the Gaussian standard deviation predicted from the local ZNCC peak curvature for (a) high-curvature, (b) mediumcurvature, and (c) low-curvature peak conditions

../../Resources/ksm/jksmi.2026.30.4.26/fig2.png

3.2 역투영 광선 불일치와 위치 공분산

두 번째 단계는 2.3절의 최근접 광선 중간점 3차원 복원과 2.4절 Jacobian 기반 3차원 위치 공분산 전파를 검증하는 것이다. 2.2절에서 산정되는 입력 픽셀 공분산은 이 절에서 $\Sigma_z = (0.3\text{pixel})^2 I_4$로 고정하였다. Table 1의 카메라 쌍에 대해 $X_{true} = (0, 0, D)$를 좌우 영상으로 투영한 뒤, 좌우 영상점의 수직 좌표에 서로 반대 방향의 mismatch $\Delta v = 0, 1, 2$ pixel을 부가하여 두 역투영 광선의 최근접 거리 $g_{ray}$를 증가시켰다. 각 mismatch 조건에서 동일한 $\Sigma_z$를 사용하여 식 (25)의 해석적 위치 공분산을 계산하고, $N = 10,000$회 Monte Carlo 표본과 비교하였다.

Figure 3은 세 가지 mismatch 조건에서 Monte Carlo 위치 오차 표본과 식 (25)로 계산한 해석적 공분산 타원을 $X-Z$ 평면에 함께 나타낸 것이다. $\Delta v = 0$에서는 두 광선이 같은 3차원 점을 향하므로 표본 중심이 참값 주변에 놓인다. $\Delta v = 1, 2$ pixel에서는 좌우 영상점이 서로 다른 높이의 광선을 만들기 때문에 복원점의 중심이 깊이 방향으로 이동하지만, 각 조건에서 표본의 국부 산포는 해석적 $1-3\sigma$ 타원과 거의 일치한다. 따라서 Figure 3의 목적은 mismatch가 없는 이상 조건만 보이는 것이 아니라, mismatch가 존재할 때도 Jacobian 기반 공분산이 편향된 복원점 주변의 무작위 산포를 잘 설명하는지 확인하는 데 있다.

Table 2는 같은 결과를 광선 불일치량, bias, root mean square error (RMSE), 표준편차 관점에서 정량화한다. $\Delta v$가 0, 1, 2 pixel로 증가하면 최근접 광선거리 $g_{ray}$는 0.00, 6.12, 12.13 mm로 증가하고, 깊이 방향 $bias_z$는 0.00, -29.23, -114.92 mm로 커진다. 이에 따라 $RMSE_Z$도 161.62 mm에서 197.19 mm로 증가한다. 반면 $\sigma_Z$의 해석값/Monte Carlo 값은 각각 162.68/161.62, 161.73/162.00, 158.94/160.26 mm 로 유지되며 평균 상대오차는 약 0.5 % 수준이다. 즉 $\Sigma_Z$로부터 전파된 위치 공분산은 복원점 주변의 precision을 나타내고, $g_{ray}$, bias, RMSE는 잘못 대응된 두 광선이 만드는 accuracy 저하를 판단하는 별도 지표로 해석해야 한다.

Fig. 3 Fixed-Σz simulation of closest-ray mismatch. Monte Carlo samples in the X–Z position-error plane are compared with analytical 1–3σ covariance ellipses for differential vertical mismatches Δv = 0, 1, and 2 pixel

../../Resources/ksm/jksmi.2026.30.4.26/fig3.png

Table 2 Fixed-Σz ray-mismatch results (σpx = 0.3 pixel, N = 10,000). The σZ column lists analytical/Monte Carlo standard deviations

Δv [px]

gray [mm]

biasz [mm]

RMSEZ [mm]

σZ [mm]

Mean rel. error [%]

0.0

0.00

0.00

161.62

162.68 / 161.62

0.51

1.0

6.12

-29.23

163.99

161.73 / 162.00

0.54

2.0

12.13

-114.92

197.19

158.94 / 160.26

0.54

3.3 위치 공분산에서 변위 공분산으로의 전파

세 번째 단계는 단일 시점의 위치 공분산이 두 시점 차분을 통해 변위 공분산으로 변환되는 과정을 확인하는 것이다. 알려진 3차원 변위 $\Delta X_{true} = (0, s, 0)$를 $s = 0, 1, 2, 5, 10$ mm로 부여하고, 변형 전후 영상점을 각각 투영한 뒤 각 시점의 영상점에 독립적인 매칭 오차를 부가하였다. 변형 전 위치 공분산 $\Sigma_{X,t_0}$와 변형 후 위치 공분산 $\Sigma_{X,t_1}$를 각각 식 (25)로 계산하고, 두 시점의 영상점 오차가 서로 독립인 조건에서 식 (28)의 변위 공분산 $\Sigma_d = \Sigma_{X,t_1} + \Sigma_{X,t_0}$를 Monte Carlo 표본 공분산과 비교하였다.

Figure 4는 대표 변위 단계 $s = 10$ mm 에서 변형 전 위치, 변형 후 위치, 두 위치의 차로 얻은 변위 표준편차를 성분 별로 비교한 것이다. 변형 전 위치 표준편차는 $\sigma_X = \sigma_Y = 1.301$ mm, $\sigma_Z = 162.678$ mm이고, 변형 후 위치 표준편차도 거의 동일하다. 두 시점 공분산을 합산한 변위 표준편차는 $\sigma_{\Delta X} = 1.840$ mm, $\sigma_{\Delta Y} = 1.869$ mm, $\sigma_{\Delta Z} = 230.061$ mm로 증가하며, 해석식과 Monte Carlo 표본 표준편차가 잘 일치한다. 따라서 변형 전후 위치 공분산을 별도로 산정한 뒤 합산하는 방식이 변위 공분산 계산에 일관되게 적용됨을 확인할 수 있다.

Fig. 4 Component-wise covariance budget for the representative displacement step s = 10 mm. Bars denote analytical standard deviations, and open circles denote GPU Monte Carlo standard deviations for (a) X, (b) Y, and (c) Z components

../../Resources/ksm/jksmi.2026.30.4.26/fig4.png

3.4 기선-거리 조건에 따른 변위 공분산 추세

마지막 단계는 기선 거리 $B$와 대상 거리 $D$가 변위 공분산에 미치는 전역적인 추세를 분석하는 것이다. 식 (28)에 따라 두 시점 공분산의 합으로 변위 공분산을 산정하였다. 이 설정은 특정 현장 대상에 앞서 카메라 배치만으로 예상되는 변위 표준편차와 공분산의 설계 민감도를 확인하기 위한 것이며, 결과는 Figure 5에 제시하였다.

Figure 5는 면내 성분의 변위 표준편차가 $D$에 대략 비례하고, 깊이 성분의 변위 표준편차는 $D^2/(f B)$에 비례하여 증가함을 보인다. 여기서 대상 거리 $D$는 카메라 원점에서 3차원 점까지의 직선거리이다. 본 시뮬레이션에서는 대상점을 $X_{true} = (0, 0, D)$에 두어 카메라 광축 위에 배치하였으므로, 이 설정에서의 $D$는 전방거리 $Z$와 동일하다. 이러한 거리 의존성 때문에 원거리 계측에서는 충분한 기선 거리가 변위 공분산을 낮추는 핵심 설계 인자이며, 짧은 기선이나 큰 대상 거리에서는 깊이 방향 불확실성이 빠르게 지배적이 된다. 이 장의 네 단계는 영상점 matching peak 형상에서 시작한 불확실성이 위치 공분산과 변위 공분산을 거쳐 최종 $B-D$ 조건의 계측 가능 범위로 이어짐을 보여준다.

Fig. 5 Displacement standard deviation versus camera configuration under independent before/after observations: (a) baseline effect and (b) object-distance effect

../../Resources/ksm/jksmi.2026.30.4.26/fig5.png

4. 출렁다리 현장 실험 검증

본 장의 현장 실험은 부산 이기대 보행용 현수교를 대상으로 수행하였다. 먼저 실험 대상과 센서 배치를 설명하고, 도면과 현장 카메라 배치를 이용한 사전 수치분석으로 추적 후보 교점의 위치 및 변위 공분산을 계산한 뒤, 실제 영상 시퀀스에서 계측점별 위치 공분산과 변위 공분산을 산출한다. 계측 대상은 주 케이블과 보조(행어) 케이블의 교차점 20개이며, 이를 통해 제안 프레임워크의 점별 불확실성이 반복 계측에서 나타나는 경험적 산포와 대상 거리 증가에 따른 거리 의존성을 반영하는지 확인한다. 사전 분석과 현장 계측에 사용한 교량 및 센서 배치는 Figure 6에 제시하였다. 데크 중앙 프리즘의 토탈스테이션(TS) 계측은 스테레오 계측점의 직접 참값이 아니라 보행 가진을 확인하기 위한 독립 참조로 활용하였다(Vaidis et al., 2021).

4.1 실험 셋업

대상 구조물은 부산 이기대 해안 산책로에 설치된 보행용 구름다리(출렁다리)이다. 상세도상 구름다리 구간은 약 23–31 m 규모의 현수형 보도교로, Ø50 mm 주 케이블(와이어) 2본을 따라 Ø30 mm 보조(행어) 와이어가 배치되고 250×250 H형강, 150×120 H형강, 100×100 H형강 및 75×75 각관 등의 강재 부재가 보도부를 지지한다. 실험 대상 구간에서는 보행자하중에 의해 주 케이블과 보조 와이어의 교차부가 주로 연직 방향으로 거동하므로, 본 실험에서는 이 교차점 20개를 계측 대상으로 선정하였다. 선정된 계측점의 카메라 기준 전방거리 $Z$는 약 2–19 m 범위에 분포하므로, 동일 구조물과 동일 영상 시퀀스 안에서 전방거리 증가에 따른 계측 불확실성 변화를 비교할 수 있다. 대상 구조물과 계측점 조건은 Table 3에 정리하였다.

계측 시스템은 교량 측방의 고정 위치에서 케이블을 관측하는 스테레오 카메라(OAK-D PRO, 1280×720)와 교량 데크 중앙의 레트로리플렉터 프리즘을 추적하는 TS로 구성하였다. 본 현장실험에서는 교량의 전체 계측 구간을 한 영상 안에 포함하기 위해 OAK-D PRO의 두 렌즈를 수평 기선으로 배치하였다. TS 계측은 스테레오 계측점과 별개 위치의 연직 변위를 기록하므로 점대점 참값이 아니라 보행 가진의 독립 참조로 활용하였다. 계측은 2026년 5월 28일 동일 시간대에 수행되었으며, 실제 3차원 복원에는 제조사 nominal 파라미터가 아니라 MATLAB 스테레오 보정으로 산정한 카메라 intrinsic 및 extrinsic 파라미터를 사용하였다. 센서 배치, 계측일, 영상 해상도 및 보정 조건 등의 계측 사양은 Table 3에 함께 제시하였다.

Fig. 6 Field experiment at the Igidae footbridge: (a) plan view showing the total-station, stereo-camera, and reflector-prism positions; (b) side elevation showing their relative arrangement; and (c) field setup with the stereo camera in the foreground and the deck-centre total station. The total station and prism provide an independent record of the pedestrian excitation, not a point-wise stereo ground truth

../../Resources/ksm/jksmi.2026.30.4.26/fig6.png

Table 3 Footbridge experiment conditions

Item

Specification

Item

Specification

Bridge

Igidae footbridge

Type

Pedestrian suspension

Span

30 m

Cables

50 mm main; 30 mm auxiliary

Camera

OAK-D PRO; OV9282 mono

Image

1280×720; HFOV 80°; f = 2.35mm

Baseline

B = 79mm

Target range

Z = 2–19m

Calibration

MATLAB stereo intrinsic/extrinsic

Stereo data

≈20 fps; ≈180 s

Targets

20 cable-intersection points

Excitation

Pedestrian walking; ≈1.8 Hz

4.2 카메라 설치 위치 기반 교점별 공분산 분석

실외실험에서 계측할 이기대 구름다리-1에 대해 카메라 설치 위치 기반 공분산 시뮬레이션을 수행하였다. 이 시뮬레이션은 상세도면에서 정한 케이블 교점 위치별로 기준 시점 위치 공분산 $\Sigma_{X,0}$, 변형 후 위치 공분산 $\Sigma_{X,t}$, 그리고 두 위치의 차로 얻는 변위 공분산 $\Sigma_d$가 어떻게 달라지는지 확인하기 위한 절차이다. 먼저 상세도면에서 수직 보조케이블이 주케이블에 연결되는 내부 교점을 추적 후보점으로 정하고, 도면 교점 형상은 유지한 채 현장 카메라의 설치 위치와 주시 방향을 반영한 단일 카메라 좌표계로 변환한 뒤, 픽셀 오차가 세 공분산으로 전파되는 크기를 계산하였다.

분석점 J1–J23은 상세도면의 케이블 연결 위치와 Figure 6의 현장 카메라 배치를 함께 사용하여 정하였으며, 그 위치와 번호 증가 방향도 함께 표시하였다. 상세도면에서 추출되는 수직선 상단점은 총 25개이지만, 양 끝 2개는 주케이블 단부 연결점에 해당하므로 수직 보조케이블과 주케이블사이의 내부 교점에서 제외하였다. 따라서 본 연구에서는 내부 교점 23개를 영상 추적 후보점으로 보고 J1–J23으로 번호화하였다.

현장 영상에서 실제 추적된 P1–P20은 이중 J3–J22에 해당하므로, numerical simulation에서는 도면 교점 좌표를 현장점에 직접 정렬하지 않고 J1–J23 형상을 그대로 유지하였다.

카메라 위치의 초기값은 Figure 6의 평면도와 측면도에 표시한 카메라 마커에서 환산하였다. 평면도 기준 카메라는 종방향 station $s = 26.86$ m, 교량 중심선 기준 횡방향 $l = 1.56$ m 위치에 있으며, 측면도 기준으로는 데크보다 약 1.39 m 높은 위치에 있다. 실제 영상에서 보이는 추적 영역은 데크 중앙 프리즘보다 높은 주케이블 영역이므로, 시뮬레이션에서는 카메라 원점을 $(s, l, h) = (25.57, 2.26, 1.69)$ m, 주시점을 (18.55, -1.62, 2.78) m 로 두어 카메라 pitch를 포함한 단일 pose를 구성하였다. 이 pose에서 J1–J23의 카메라 전방거리 $Z$는 0.38–19.46 m이고, 실제 추적점에 대응하는 J3–J22의 $Z$는 2.03–18.55 m 범위에 놓인다.

각 교점에는 $U$방향 변위 $d_U = 10$ mm 를 부여하였고, 변형 전후 영상점에는 서로 독립인 등방 Gaussian 픽셀 오차 $\sigma_{px} = 0.1$ pixel 을 부가하였다. 카메라 모델은 실제 보정값에 대응하여 좌측 카메라 $f_L = 815$ pixel, $(c_{x,L}, c_{y,L}) = (627, 355)$ pixel, 우측 카메라 $f_R = 812$ pixel, $(c_{x,R}, c_{y,R}) = (620, 350)$ pixel, $B = 79$ mm를 사용하였다. 기준 시점과 변형 후 시점의 위치 공분산은 각각 식 (25)로 계산하였고, 변위 공분산은 두 시점 영상점 오차가 독립이라는 가정 아래 식 (28)의 $\Sigma_d = \Sigma_{X,t_0} + \Sigma_{X,t_1}$로 산정하였다. 동일한 조건에서 Monte Carlo 표본을 생성하여 각 교점의 $\sigma_{U,0}, \sigma_{U,t}, \sigma_{\Delta U}$와 비교하였다.

Fig. 7 Camera-pose-based Igidae-geometry covariance simulation for J1–J23. Analytical first-order results and Monte Carlo estimates are compared for vertical standard deviations from (a) ΣX,0, (b) ΣX,t, and (c) Σd

../../Resources/ksm/jksmi.2026.30.4.26/fig7.png

Figure 7에서 해석적 공분산 전파 결과와 Monte Carlo 표준편차는 모든 교점에서 잘 일치한다. 여기서 표시한 값은 전체 거리 방향 불확실성이 아니라 전역 $U$축 성분의 표준 편차이므로, 교점 번호에 대해 단조적으로 변하지 않는다. 카메라 pose를 반영한 도면 좌표계에서는 J4가 주시선에 가장 가까워 $\sigma_{\Delta U} = 0.44$ mm 로 가장 작고, 이후 대상 거리와 $U$축 오프셋이 함께 증가하면서 J19에서 $\sigma_{\Delta U} = 99.80$ mm 로 가장 커진다. 반면 J20–J23은 전방거리가 계속 증가하지만 $U$축 오프셋이 감소하므로 $\sigma_{\Delta U}$가 99.42, 96.60, 91.01, 82.30 mm로 낮아진다. 이는 3.3절에서 보인 두 위치 공분산의 합산 관계가 실제 교점 위치별 공분산 산정에도 그대로 적용되며, 대상 거리와 시선 기하가 교점별 변위 공분산의 크기를 함께 지배함을 보여준다.

4.3 계측 결과 및 계산 결과 분석

현장 계측 결과는 Figure 8(a),(c)에 나타내었다. Figure 8(a)는 좌측 스테레오 영상에서 추적한 주 케이블과 보조(행어) 케이블의 교차점 20개(P1–P20)를 보여준다. 스테레오 영상 시퀀스에서는 각 계측점의 3차원 위치와 연직 변위 시계열을 산출하였고, Figure 8(c)에는 대표적으로 근거리 점 P1과 중거리 점 P10의 연직 변위 시계열을 표시하였다. P1과 P10은 TS 프리즘과 같은 위치의 변위를 직접 비교하기 위해 선정한 점이 아니라, 서로 다른 대상 거리에서 스테레오 계측 불확실성을 제시하기 위한 대표 계측점이다. 특히 P10은 주 케이블과 보조(행어) 케이블의 교차점이고 TS 프리즘은 데크 중앙 계측점이므로, 두 시계열은 서로 다른 위치와 구조 부재의 응답을 나타내며 직접 비교 관계로 해석되지 않는다. 동일한 약 180 s 구간에서 TS는 보행 통행에 따른 데크 중앙 프리즘의 연직 변위(표준편차 약 2.4 mm, 피크 약 10–14 mm)를 기록하였다. TS는 스테레오 계측점과 동일 위치의 참값은 아니지만, 현장 계측 구간에서 보행 가진의 발생과 시점을 확인하는 독립 참조로 사용된다(Vaidis et al., 2021).

계산 결과는 Figure 8(b),(c)에 함께 제시하였다. 제안 프레임워크는 각 계측점의 매칭 결과로부터 픽셀 공분산을 설정하고, 최근접 광선 중간점 복원의 Jacobian을 이용하여 위치 공분산 $\Sigma_X$와 연직 변위 표준편차 $\sigma_v$를 계산한다. Figure 8(b)는 P1-P20의 위치 공분산 $\Sigma_X$를 Range $Z-U$ 측면도에 공분산 타원체로 투영한 결과이다. 실제 타원체는 시선방향 주축이 횡방향 반축보다 매우 긴 형태이므로, 그림에서는 시선방향 주축의 방향을 유지하되 표시용 횡방향 반축을 주축반축의 1/2.2로 설정하고 모든 반축길이에 표시 배율 2.4 × 3.4 = 8.16을 곱하였다. 따라서 Figure 8(b)는 실제 축척의 직접 비교가 아니라, 점별 예측 공분산의 방향성과 상대적 크기를 비교하기 위한 시각화이다.

3차원 공분산의 축별 표준편차는 계측점의 전체 복원 불확실성이 어느 방향으로 커지는지를 보여준다. 예를 들어 대표 계측점 P1에서는 $(\sigma_X, \sigma_Y, \sigma_Z)$가 대략 (1.7, 1.8, 5.4) mm 인 반면, P10에서는 약 (61.0, 39.2, 187.6) mm로 증가하여 깊이 방향 $Z$ 불확실성이 가장 크게 나타난다. 그러나 구조물 응답 해석에서는 전체 3차원 불확실성보다 계측하고자 하는 방향의 불확실성이 직접적인 판단 기준이 된다. 따라서 관심방향 단위벡터를 $e_q$라 하면 해당 방향의 표준편차는 $\sigma_q = \sqrt{e_q^\top \Sigma_d e_q}$로 계산된다. 이 표준편차는 보정된 좌우 카메라 기하에서 계산한 변위 공분산을 관심방향으로 투영한 값이므로, 별도의 보정항을 추가하지 않아도 OAK-D PRO의 수평기선 배치에 따른 복원 기하의 영향이 $\sigma_v$ 산정에 포함된다. 이에 따라 $e_q = e_v = (0, -1, 0)^\top$로 두어 연직방향 표준편차 $\sigma_v$를 산출하였고, Figure 8(c)의 불확실성 밴드에 이를 적용하였다.

계측 결과와 계산 결과의 비교분석은 Figure 8(c)의 P1과 P10에서 확인할 수 있다. P1과 P10은 사전분석점 J1–J23 좌표군과 3차원 정합되지 않았으므로, 번호상 대응되더라도 J점의 위치 및 전방거리와 다를 수 있다. 깊이 불확실성 및 거리 의존성 논의에는 카메라 광축 방향 성분인 전방거리 $Z$가 직접 관련되므로, 이하에서는 P1과 P10의 거리를 전방거리 $Z$로 표시한다. 근거리 점 P1($Z = 1.78$ m)의 $1\sigma_v$는 1.8 mm로 TS 표준편차의 약 0.74배이고, TS 피크 변위(10–14 mm)의 약 13–18 % 수준이다. 따라서 P1에서는 보행 가진에 따른 mm급 연직 응답이 계산된 불확실성 밴드와 함께 해석 가능한 범위에 있다. 반면 중거리 점 P10($Z = 9.72$ m)의 $1\sigma_v$는 39.2 mm로 TS 표준편차의 약 16배이며, TS 피크 변위의 약 2.8–3.9배에 해당한다. 두 점 사이에서 전방거리는 약 5.5배 증가하지만 $1\sigma_v$는 약 22배 증가하므로, 현장 스테레오 계측 결과는 거리 증가에 따라 변위 분해 가능성이 크게 달라진다. P10에서는 계산된 불확실성이 TS에서 관측된 10–14 mm 수준의 가진 응답보다 크므로, 해당 점의 변위 시계열을 유효한 정량 변위로 해석하기 어렵다. 따라서 현장 계측값은 변위 시계열만으로 판단하기보다, 계산된 점별 불확실성 밴드와 함께 비교하여 해석해야 한다.

Fig. 8 Igidae footbridge field result: (a) a left stereo-video frame with the 20 tracked main/auxiliary-cable intersection points (P1–P20); (b) side-view projection of the per-point covariance ellipsoids (framework position covariance ΣX, including the range component) onto the Range Z–U plane, with colour identifying each point and display-scaled ellipses preserving the line-of-sight major-axis direction; and (c) total-station reference displacement (TS) and stereo-vision vertical-displacement traces at P1 and P10 with shaded ± 1σv bands over the same ≈180-s window on a shared time axis

../../Resources/ksm/jksmi.2026.30.4.26/fig8.png

카메라 분해능 관점에서도 P10의 한계는 같은 방향으로 해석된다. 보정 초점거리 $f \approx 815$ pixel 을 사용하면 광축에 수직인 방향의 1-pixel 물체길이는 10 m에서 대략 $Z/f \approx 12.3$ mm/pixel이며, 카메라 자세와 대상점 위치를 포함하면 수십 mm/pixel 규모가 될 수 있다. 0.01-pixel 간격의 서브픽셀 탐색은 정수 픽셀보다 작은 위치 변화를 추정하기 위한 계산 간격일 뿐이며, 그 자체가 0.01-pixel 정확도를 보장하지 않는다. 실제 정확도는 영상 텍스처, 잡음, 보정오차 및 카메라 기하에 의해 제한되므로, P10의 큰 공분산은 원거리 점의 물리적 분해능 한계와 일관된다.

본 현장실험은 단일 교량에서 한 차례 수행한 사례이며, 스테레오 변위 계측 결과를 다른 계측기법과 비교하지 않았다. 따라서 본 결과는 모든 거리 조건에서 변위 정확도를 검증한 결과가 아니라, 같은 영상 시퀀스 안에서 계측점 거리에 따라 변위 추정의 변동성과 분해 가능성이 달라짐을 보인 사례로 해석해야 한다. 또한 본 실험에 사용한 OAK-D PRO의 해상도와 화각 조건에서는 원거리 점의 변위 분해능이 제한되므로, 이러한 장비 조건도 현장실험 결과 해석의 한계로 고려해야 한다.

원거리 점의 변위 분해능 제한을 완화하려면 고해상도 및 협화각 카메라를 이용한 구간별 관측과 축소모형 실험을 통한 다양한 현장 조건에서의 반복 검증이 필요하다. 또한 동일 위치 독립 참값이 없는 현장실험 조건을 보완하려면 장시간 모니터링 자료와 독립 변위 참값 기반 절대 정확도 검증이 필요하다. DIC 및 다중 시점 체계와의 결합은 개별 계측점 단위의 확률적 변위 계측을 장기 구조물 모니터링으로 확장하기 위한 후속 과제가 된다.

5. 결 론

본 연구는 스테레오 비전 기반 토목 구조물 계측점의 위치와 변위를 확률변수로 표현하는 불확실성 전파 프레임워크를 제안하였다. ZNCC 곡률 기반 픽셀 공분산은 매칭 모호성이 큰 점에 큰 불확실성을 부여하고, Jacobian 오차 전파는 이를 3차원 위치 공분산과 변위 공분산으로 전달한다. 따라서 복원점은 $X \sim \mathcal{N}(\mu, \Sigma)$, 변위는 $d \sim \mathcal{N}(\mu_d, \Sigma_d)$로 표현된다.

시뮬레이션과 현장 실험은 제안 프레임워크의 예측 공분산이 해석적으로 일관되고 현장 자료에 적용 가능함을 보였다. 서브픽셀 잡음 조건에서 해석적 공분산은 Monte Carlo 결과와 일치하였고, 깊이 불확실성은 $D^2/(f B)$에 비례하는 스테레오 기하 특성을 따랐다. 이기대 출렁다리 현장 실험에서는 20개 케이블 교차점의 위치와 대표 시계열에 공분산 타원체 및 $\pm 1\sigma_v$ 밴드를 함께 표시하여, 같은 영상 시퀀스 안에서도 계측점별 분해 가능성이 달라짐을 확인하였다. 따라서 제안 프레임워크는 계측점별로 변위의 분해 가능 여부를 정량적으로 보고하고, 구조물 유지관리에서 변위 점추정값의 신뢰도를 함께 평가하는 도구로 활용될 수 있다.

감사의 글

본 연구는 정부 (과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. RS-2024-00352879). 또한 본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호RS-2026-25529751).

References

1 
Balcaen, R., Reu, P.L., Lava, P., Debruyne, D. (2017), Stereo-DIC uncertainty quantification based on simulated images, Experimental Mechanics, 57(6), 939-951.DOI
2 
Börlin, N., Murtiyoso, A., Grussenmeyer, P. (2020), Efficient computation of posterior covariance in bundle adjustment in DBAT for projects with large number of object points, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B2-2020, 737-744.DOI
3 
Dong, C.-Z., Catbas, F.N. (2021), A review of computer vision-based structural health monitoring at local and global levels, Structural Health Monitoring, 20(2), 692-743.DOI
4 
Feng, D., Feng, M.Q. (2018), Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection—A review, Engineering Structures, 156, 105-117.DOI
5 
Hartley, R.I., Sturm, P. (1997), Triangulation, Computer Vision and Image Understanding, 68(2), 146-157.DOI
6 
Hartley, R., Zisserman, A. (2004), Multiple View Geometry in Computer Vision, 2nd ed., Cambridge, UK: Cambridge University PressDOI
7 
Joint Committee for Guides in Metrology (JCGM) (2008), Evaluation of Measurement Data—Guide to the Expression of Uncertainty in Measurement, JCGM 100:2008(E), Sèvres, France: Bureau International des Poids et MesuresDOI
8 
Lee, K.-W., Kim, D.-K., Park, Y.-S. (2025), Experimental validation of a deep learning distortion-corrected laservision system for bridge deflection measurement, Journal of the Korea Institute for Structural Maintenance and Inspection, 29(4), 10-17. (in Korean)DOI
9 
Lee, S.-J., Choi, K.-K., Park, S.-H., Kim, S.-H. (2025), Stereo vision-based 3D displacement measurement and modal analysis of a shaking table-excited frame structure, Journal of the Korea Institute for Structural Maintenance and Inspection, 29(5), 1-11. (in Korean)DOI
10 
Lee, K.-W., Kim, D.-K., Park, Y.-S. (2026), Development of a bridge deflection measurement system based on action cameras, laser beams, and deep learning-based distortion correction, Journal of the Korea Institute for Structural Maintenance and Inspection, 30(1), 9-17. (in Korean)DOI
11 
Omidalizarandi, M., Kargoll, B., Paffenholz, J.-A., Neumann, I. (2018), Accurate vision-based displacement and vibration analysis of bridge structures by means of an imageassisted total station, Advances in Mechanical Engineering, 10(6), 1-19.DOI
12 
Reu, P.L. (2013), A study of the influence of calibration uncertainty on the global uncertainty for digital image correlation using a Monte Carlo approach, Experimental Mechanics, 53(9), 1661-1680.DOI
13 
Robinson, D., Milanfar, P. (2004), Fundamental performance limits in image registration, IEEE Transactions on Image Processing, 13(9), 1185-1199.DOI
14 
Sutton, M.A., Orteu, J.-J., Schreier, H.W. (2009), Image Correlation for Shape, Motion and Deformation Measurements: Basic Concepts, Theory and Applications, New York: SpringerDOI
15 
Vaidis, M., Giguère, P., Pomerleau, F., Kubelka, V. (2021), Accurate outdoor ground truth based on total stations, Proceedings of the 2021 18th Conference on Robots and Vision (CRV), 1-8., Burnaby, CanadaDOI
16 
Yin, Y., Liu, X., Hu, B., Chen, W., Guo, X., Ma, D., Ding, X., Han, L., Yu, Q. (2025), A displacement measurement methodology for deformation monitoring of long-span arch bridges during construction based on scalable multi-camera system, Computer-Aided Civil and Infrastructure Engineering, 40(13), 1871-1885.DOI
17 
Zhao, J., Pan, B. (2023), Uncertainty quantification for 3D digital image correlation displacement measurements using Monte Carlo method, Optics and Lasers in Engineering, 170, 107777DOI