2.1 서브픽셀 ZNCC 대응점 탐색
좌측 이미지의 관심점에 대응하는 우측 이미지상의 점은 ZNCC 점수를 기준으로 결정한다. ZNCC는 좌우 영상 윈도우에서 평균 밝기를 제거한 뒤 두
밝기 벡터의 정규화 내적을 계산한 값으로, 평균 밝기 차이의 영향을 줄인 패턴 유사도 지표이다. 좌측 관심 픽셀을 $p_L = (u_L, v_L)^\top$,
우측 이미지의 에피폴라 라인 위 후보점을 $p_R = (u_R, v_R)^\top$라 한다. 두 점을 중심으로 한 좌우 영상 윈도우에서 공통으로 비교되는
상대 위치 집합을 $S$라 하고, 평균 제거 밝기값을 $\bar{I}_{L,i} = I_{L,i} - \bar{I}_L, \bar{I}_{R,i}
= I_{R,i} - \bar{I}_R$로 두면, ZNCC 점수는
로 둔다. 여기서 $\bar{I}_L$과 $\bar{I}_R$은 각 윈도우의 평균 밝기값이다. 식 (1)의 값이 클수록 두 윈도우의 패턴이 더 유사하므로, 이후 에피폴라 탐색에서 우측 이미지의 후보점 선택 기준으로 사용된다.
실제 ZNCC로 대응점을 찾을 때는 계산 효율성과 서브픽셀 정밀도를 동시에 확보하기 위해 coarse-to-fine search를 수행한다. 우측
이미지의 에피폴라 라인 위의 후보 위치를 1차원 탐색 매개변수 $r$로 나타내고, $r$에 대응하는 우측 이미지 좌표를 $p_R(r)$라 하면, 해당
후보 위치에서의 ZNCC 점수는
로 쓸 수 있다. 여기서 $r$은 ZNCC 값이 아니라, 우측 이미지의 에피폴라 라인을 따라 후보 대응점을 이동시키기 위한 탐색 위치 매개변수이다.
1단계 coarse search에서는 전체 탐색 구간에서 0.1 pixel 간격의 후보 매개변수값을 생성하고, ZNCC가 최대가 되는 초기 매개변수값을
로 결정한다. 이어지는 2단계 fine search에서는 $r_c^*$ 주변의 국소구간에서 0.01 pixel 간격의 정밀 탐색을 수행한다. 국소탐색
반경을 $\delta$라 하면, 최종 탐색 매개변수값은
로 구한다. 따라서 coarse-to-fine search는 전체 탐색 구간에서 ZNCC 피크의 대략적인 위치를 먼저 찾고, 그 주변에서 정밀 탐색을
수행하여 서브픽셀 수준의 최종 탐색 위치 $r_f^*$를 산출하는 절차이다. 최종 탐색 위치가 결정되면, 이에 대응하는 우측 이미지 좌표를 우측 이미지의
최종 대응점으로 사용한다.
우측 이미지의 최종 대응점이 결정된 후에는 최종 ZNCC 피크값을 이용하여 매칭 신뢰도를 판정한다. 본 연구에서는 매칭 강도의 하한값을 $\rho_{min}$으로
두고, 최종 피크값이
을 만족하는 경우에만 해당 대응점을 신뢰 가능한 매칭점으로 채택한다.
2.2 ZNCC 곡률 기반 픽셀 공분산 산정
2.1절의 방법으로 최종 대응점이 채택되면 해당 대응점이 얼마나 명확하게 결정되었는지를 ZNCC 피크 곡률로 평가한다. 영상 정합 정확도의 이론적
한계가 영상의 국부 정보와 잡음에 의존한다는 점은 기존 연구에서도 분석되었다(Robinson and Milanfar, 2004). 우측 이미지의 에피폴라 라인에서 탐색 위치를 $r$이라 하면, $\rho(r)$는 그 위치에서의 ZNCC 점수이고 최종 대응점 $r_f^*$에서는
$\rho(r)$가 국소 최댓값을 갖는다. $r_f^*$에서의 ZNCC 곡률은 $r_f^* - \Delta r, r_f^*, r_f^* + \Delta
r$에서의 ZNCC 값을 이용한 중앙차분으로 계산한다. 이때 탐색 간격은 2.1절의 coarse-to-fine search에서 활용한 정밀 탐색 간격과
동일하게 $\Delta r = 0.01$ pixel로 둔다. ZNCC 피크 주변의 두 번째 미분은 음수이므로, 부호를 바꾸어 양의 곡률 지표를 다음과
같이 정의한다.
식 (7)의 $\kappa$는 $r_f^*$의 매칭 명확성을 나타내는 ZNCC 피크 곡률 지표이다. $\kappa$가 클수록 $r_f^*$ 주변의 ZNCC
피크 곡률이 커서 $r_f^*$의 위치가 명확하고, $\kappa$가 작을수록 피크 곡률이 작아 $r_f^*$의 위치 불확실성이 크다. 따라서 $\kappa$는
이후 $r_f^*$에 대한 픽셀 공분산 크기를 조정하는 데 사용된다.
식 (7)에서 정의된 곡률을 바탕으로 픽셀 공분산을 계산한다. 계산은 기준 픽셀 공분산 행렬 산정, 기준 곡률 산정, 현재 곡률에 따른 픽셀 공분산 계산의
순서로 수행된다. 기준 픽셀 공분산 $\Sigma_{img,ref}$는 정지 상태 영상에서 동일 표적점의 픽셀 좌표가 반복 관측될 때의 공분산이다.
기준 영상 좌표 오차를
로 두면, 기준 픽셀 공분산 행렬은
로 산정된다. 기준 곡률 $\kappa_{ref}$는 같은 기준 조건에서 얻은 신뢰 가능한 ZNCC 피크 곡률의 대표값이다. 여기서 신뢰 가능한 표본은
식 (6)의 매칭 신뢰 조건을 만족하고, 최종 피크가 탐색 구간 내부에 있어 양쪽 중앙차분이 가능하며, 식 (7)로 계산한 곡률이 유한한 양수인 경우로 정의한다. 신뢰 표본 수 $N$은 이 조건을 모두 만족하여 기준 곡률 산정에 실제 사용되는 표본의 개수이다.
신뢰 가능한 $N$개 표본에 대해 식 (7)로 계산한 곡률을 $\kappa_n$이라 하면, 기준 곡률은
로 계산한다. 이를 바탕으로 현재 곡률 $\kappa$를 갖는 $r_f^*$의 픽셀 공분산은
로 설정한다. 즉 $\kappa$가 $\kappa_{ref}$보다 크면 공분산이 작아지고, 작으면 공분산이 커진다. 좌측 이미지와 우측 이미지의 픽셀
공분산을 각각 $\Sigma_{img,L}, \Sigma_{img,R}$라 하면, 3차원 복원에 사용되는 4차원 픽셀 공분산은
로 구성한다. 이렇게 산정한 곡률 기반 픽셀 공분산은 이후 3차원 위치 공분산 전파의 입력 불확실성으로 사용된다.
2.3 최근접 광선 중간점 3차원 복원
세 번째 절차는 좌우 이미지의 동차 픽셀 좌표를 이용하여 3차원 위치 X를 복원하는 것이다. 좌측 이미지의 관심 픽셀 좌표를 $(u_L, v_L)$,
2.1절에서 산출한 우측 이미지의 서브픽셀 대응점 좌표를 $(u_R, v_R)$라 하면, 이에 대응하는 동차 픽셀 좌표는 $\bar{p}_L = (u_L,
v_L, 1)^\top, \bar{p}_R = (u_R, v_R, 1)^\top$이다. 복원은 각 동차 픽셀 좌표를 카메라 중심에서 출발하는 월드
좌표계 광선으로 역투영한 뒤, 두 광선의 최근접 중간점을 취하는 방식으로 수행한다. 여기서 $K_L, K_R$는 좌우 카메라의 내부 파라미터 행렬이고,
$R_L^\top, R_R^\top$는 카메라 좌표계의 방향벡터를 월드 좌표계로 변환하는 회전 행렬이다. 따라서 $M_L = R_L^\top K_L^{-1},
M_R = R_R^\top K_R^{-1}$는 픽셀 동차 좌표를 월드 좌표계의 광선 방향으로 변환하는 역투영 행렬이다. 이를 사용하면 좌우 픽셀 좌표에
대응하는 광선 방향은 다음과 같이 계산된다.
이 광선 방향을 이용하여 각 카메라 중심 $C_L, C_R$에서 출발하는 두 광선을 구성한다.
이 식으로 좌우 동차 픽셀 좌표에 대응하는 두 개의 3차원 관측 광선이 정의된다. 두 광선이 구성되면 실제 영상 오차로 인해 두 광선이 정확히 교차하지
않는 조건에서 최근접 중간점을 구한다. 최단선분의 양 끝점 $(Q_L, Q_R)$은 두 광선에 대한 수직 조건으로 결정된다. $w = C_L - C_R$로
두고, 최근접 매개변수 계산에 필요한 스칼라 계수는 다음과 같이 산정한다.
수직 조건 $d_L^\top (Q_L - Q_R) = 0, d_R^\top (Q_L - Q_R) = 0$을 적용하면, $\Delta = a c -
b^2 \neq 0$일 때 두 광선 위의 최근접점 매개변수는 다음과 같이 계산된다.
두 관측의 대칭적 절충점인 최근접 중간점은 다음과 같이 복원한다.
결과적으로 식 (17)는 좌우 동차 픽셀 좌표에서 정의된 두 광선의 최근접 중간점을 3차원 위치 $X$로 산출하며, 다음 절의 위치 공분산 전파는 이 복원식을 기준으로
수행된다.
2.4 Jacobian 기반 3차원 위치 공분산 전파
네 번째 절차는 2.3절에서 복원한 3차원 위치 X의 공분산 $\Sigma_X$를 계산하는 것이다. 이를 위해 2.2절에서 산정한 좌우 픽셀 좌표의
불확실성을 입력 픽셀 공분산 $\Sigma_z$로 두고, 2.3절의 최근접 중간점 복원식(식 (17))을 입력 픽셀 벡터에 대한 함수로 나타낸다. 좌우 픽셀 좌표를 $z = [u_L, v_L, u_R, v_R]^\top$로 묶으면 복원점은 $X =
g(z)$로 쓸 수 있다. 입력 픽셀 좌표에 작은 오차 $\delta z$가 생기면 복원점 변화는 1차 근사에서 $\delta X \approx J
\delta z$로 나타내며, 여기서 $J = \dfrac{\partial g}{\partial z}$는 복원 함수의 Jacobian이다. 따라서
이 절의 위치 공분산 계산은 픽셀 공분산 $\Sigma_z$를 Jacobian J로 선형 전파하는 문제로 정리된다.
Jacobian은 네 개의 픽셀 성분이 각각 복원점에 미치는 영향을 열벡터로 모은 행렬이다.
본 논문에서는 식 (18)의 Jacobian을 유한차분과 같은 수치 미분으로 근사하지 않고, 최근접 중간점 복원식을 입력 픽셀 좌표에 대해 연쇄법칙으로 편미분하여 해석적으로
계산한다. 식 (17)를 픽셀 성분 $q \in \{u_L, v_L, u_R, v_R\}$에 대해 편미분하면 다음의 일반식이 얻어진다.
여기서 아래첨자 $q$는 해당 픽셀 성분에 대한 편미분을 뜻하며, 예를 들어 $s_q = \dfrac{\partial s^*}{\partial q},
d_{L,q} = \dfrac{\partial d_L}{\partial q}$이다. 카메라 중심 $C_L, C_R$는 고정된 외부 파라미터이므로 $C_{L,q}
= C_{R,q} = 0$이다. 또한 좌측 이미지 픽셀 성분에 대해서는 $d_{R,q} = 0$이고, 우측 이미지 픽셀 성분에 대해서는 $d_{L,q}
= 0$이다. 따라서 식 (19)에 좌우 광선 방향의 픽셀 의존성을 대입하면 Jacobian의 네 열은 다음과 같이 세 항으로 정리된다.
식 (20)에 들어가는 광선 방향 미분항을 간결하게 쓰기 위해, 동차 픽셀 좌표의 첫 번째와 두 번째 표준기저벡터 $e_1 = (1, 0, 0)^\top, e_2
= (0, 1, 0)^\top$를 이용하여 네 벡터를 다음과 같이 정의한다.
식 (13)의 광선 방향은 좌측 이미지 픽셀 좌표 또는 우측 이미지 픽셀 좌표에 각각 선형으로 의존하므로, 네 입력 성분에 대한 미분은 다음과 같다.
최근접 매개변수 미분항은 식 (15)의 스칼라 계수 $a, b, c, d, e$를 먼저 미분하여 계산한다. 네 입력 성분에 대해 필요한 스칼라 미분은 다음과 같다.
식 (23)를 식 (16)에 대입하고 몫 미분을 적용하면 네 입력 성분에 대한 $\Delta, s^*, t^*$의 미분을 계산할 수 있다. 식 (24)의 세 벡터는 입력 픽셀 벡터 $z = [u_L, v_L, u_R, v_R]^\top$와 같은 순서로 배열되며, 순서대로 분모 $\Delta$, 좌측
광선 매개변수 $s^*$, 우측 광선 매개변수 $t^*$의 미분 성분을 나타낸다.
따라서 식 (21)–(24)의 항을 식 (20)에 대입하면 식 (18)의 네 열이 모두 계산된다.
이상의 식들은 최근접 중간점 복원식의 해석적 편미분으로부터 얻어진다. 산출된 Jacobian을 선형화 행렬로 사용하면, 복원 위치 X의 공분산은 다음과
같이 계산된다.
$\Sigma_X$는 매칭 품질에 따른 입력 불확실성 $\Sigma_z$와 카메라 배치에 따른 기하학적 민감도 J를 동시에 반영한다. 고유값 분해
$\Sigma_X = V \Lambda V^\top$에서 $\sqrt{\lambda_i}$를 반축 길이로 사용하면 $1\sigma$ 공분산 타원체를
나타낼 수 있다. 이로써 2.2절의 픽셀 공분산은 복원점 X의 3차원 위치 공분산으로 표현된다.
2.5 변위 공분산 산출
마지막 절차는 두 시각의 3차원 위치 차이로 변위 확률변수를 정의하는 것이다. 기준 시각 $t_0$의 위치를 $X_0 \sim \mathcal{N}(\mu_0,
\Sigma_0)$, 현재 시각 $t$의 위치를 $X_t \sim \mathcal{N}(\mu_t, \Sigma_t)$라 하면, 기준 시각 대비 변위는
다음과 같이 산정한다.
변위 공분산은 식 (26)에 나타난 두 위치 확률변수의 차에 대한 공분산이다. 임의의 확률벡터 A, B에 대해 $\text{Cov}(A-B) = \text{Cov}(A) +
\text{Cov}(B) - \text{Cov}(A,B) - \text{Cov}(B,A)$이므로, 두 시각 위치 추정 오차의 교차 공분산을 $\Sigma_{0t}$라
하면 변위 공분산의 일반식은 다음과 같다.
여기서 $\Sigma_{0t}$는 두 시각의 위치 오차가 함께 변하는 정도를 나타낸다. 본 연구에서는 두 시각의 위치 오차가 서로 독립이라고 가정하므로
$\Sigma_{0t} \approx 0$으로 두고, 다음의 단순화된 변위 공분산을 사용한다.
이 단순화는 두 시각 오차가 양의 상관을 가질 때 식 (27)의 상쇄항 $-\Sigma_{0t} - \Sigma_{0t}^\top$을 무시하므로 변위 공분산을 크게 평가한다. 따라서 양의 상관 성분에 대해서는
보수적인 근사이며, 음의 상관이나 시간별 보정 오차가 큰 경우에는 $\Sigma_{0t}$를 별도로 추정해야 한다. 이와 같이 변위는 평균 $\mu_t
- \mu_0$와 공분산 $\Sigma_d$로 표현되며, $\Sigma_d$는 각 방향 변위 불확실성의 크기와 상관관계를 함께 나타낸다.