3.1 전체 개념도

그림. 1. 전체적인 모델 구성도

Fig. 1. Overall configuration of the proposed model

그림 1에서와 같이 제안된 모델은 크게 3개의 가지로 나눌 수 있다. 첫 번째는 가려짐에 대한 학습 향상을 위해서 입력으로 원본 이미지와 키포인트 영역의 삭제가 포함된 이미지가 쌍으로 트랜스포머에 들어간다 (그림 1좌측). 이로써, 사람 영역에 대한 효율적인 삭제가 포함된 이미지의 증강이 가능하다. 두 번째는 사람 영역이 표현된 패치들과 사람 외의 영역 배경, 물체 등이 표현된 패치들의 적절한 조합으로 특징의 다양성을 유지한다 (그림 1중앙). 세 번째는 전역-지역 일치화 손실함수를 (Global-Local consistency loss) 통해 가려진 상황에 대한 동일인물에 대해서 강인하게 표현 하도록 학습한다 (그림 1우측). 다시 말해, 동일인에 대해서 가려진 부분과 가려지지 않은 부분에 대한 특징을 유사하게 인식시킴으로써 모델의 재식별 능력을 향상시킨다.

3.2 트랜스포머

본 논문에서는 ViT⁽¹⁵⁾ 트랜스포머를 기본 네트워크로 사용한다. 이것은 표준 트랜스포머 ⁽¹⁶⁾가 1D 순열의 토큰을 임베딘을 통해 벡터로 변환하는데 비해, ViT는 2D 이미지를 벡터로 변환하여 사용한다. 입력 이미지 $x$ ∈ $R^{H\times W\times C}$ 는 패치화 과정을 통해 $\hat x$ ∈ $R^{N_{p}\times(P^{2}\times C)}$ 로 재배열 된다. 여기서 $H$, $W$, C 는 각각 이미지의 높이, 폭, 채널수를 나타내며, $P$ 는 패치 크기, $N_{p}$ = $\dfrac{HW}{P^{2}}$ 는 패치의 수이다. 패치화된 입력은 선형 투영을 통해 벡터로 변환되고, 분류를 위해서 클래스 토큰이 추가된다. 따라서 전체 입력 순열은 다음과 같다

$z$ ∈ $R^{(N_{p}+cls)\times E_{d}}$는 트랜스포머 인코더의 입력으로서, 여기서, $E_{d}$, $cls$는 각각 트랜스포머의 임베딩 차원과 클래스 토큰을 나타낸다. 또한, $l$은 선형 투영 연산, 우측 끝의 $p$는 각 패치에 공간 정보를 주입하기 위해 더해지는 학습가능 위치 임베딩 값이다.

인코더는 다층 구조이며, 하나의 층은 Multi-head Self-Attention 과 MLP로 구성된다. 이를 다음과 같다

$\bar{x}$는 층의 정규화, MLP는 GELU 활성화 함수를 포함한 두 개의 완전 연결 모듈이다. $\bar{z}$는 정규화된 인코더 입력, $W_{1}^{f}$, $W_{2}^{f}$는 MLP의 첫 번째와 두 번째 층의 가중치, $b_{1}^{f}$, $b_{2}^{f}$는 첫 번째와 두 번째 층의 편향을 나타낸다. $L(x)$는 인코더 층을 의미한다.

3.3 키포인트 특징 부분 삭제에 의한 데이터 증강

현재 사용되는 ReID 데이터 셋에서 가려진(Occluded) 데이터가 부족하기 때문에, 가려진 상황에 대한 강인한 학습을 위해 입력 이미지를 변형하여 구성한 가려짐 이미지를 쌍으로 입력한다. 이를 위해서 기존에는 임의삭제 방식⁽⁹⁾을 사용해 이미지에서 지울 영역의 위치와 크기를 랜덤으로 정하였지만, 사람 영역 외에 배경이나 다른 물체가 삭제되는 경우가 발생해 효과적인 데이터 증식이 수행되지 못할 수 있다.

본 논문에서는 Gilroy et al ⁽¹⁷⁾의 키포인트 그룹핑 방법을 사용해 얼굴은 하나의 그룹, 나머지 관절들은 인접한 두 개의 키포인트를 하나의 그룹으로 묶어 의미 있는 영역으로 확장한다. 이렇게 총 11개의 그룹 중 랜덤하게 하나를 선택하고 해당 그룹을 중심으로 삭제를 진행한다. 삭제 영역의 최대 크기는 기존 임의삭제 방식⁽⁹⁾을 그대로 사용하되, 최소크기는 적어도 두 키포인트를 포함하는 사각형으로 정한다. 따라서 사람 영역에 대한 효율적인 적정한 삭제가 포함된 이미지의 증강이 가능하다.

그림 2는 기존의 임의 삭제와 제안된 키포인트 삭제 방법을 4개의 이미지에 대해 나타낸 것이다. 동일 이미지에서 좌측은 임의 삭제, 우측은 키포인트 삭제 방식을 보여준다. 제안된 키포인트 삭제 방식이 인체의 내부 영역을 삭제함으로써 가려짐(occlusion) 상황을 더 유사하게 표현한다고 볼 수 있다. 즉, 원본 이미지와 쌍으로 들어가는 데이터 증식용 이미지가 인체에 대한 가려짐 상황을 항상 포함함으로써, 제안된 모델의 재식별 능력을 향상시킬 수 있다.

그림. 2. 임의 영역 삭제와 키포인트 영역 삭제 예시

Fig. 2. Illustration of random erasing vs keypoint erasing

3.4 전역특징과 지역 특징의 일관성 인식

사람의 전체 외형에서 얻은 전역 특징과 신체의 일부분에서 얻은 지역 특징을 동일하게 인식할 수 있으면, 즉 동일인으로, 재식별 성능을 향상시킬 수 있다고 가정한다. 즉 다양한 부위의 부분(지역) 특징들을 전역 특징과 임베딩된 벡터를 통해 비교하여 이의 차이를 최소화하는 전역-지역 일치화 손실함수를 제안한다.

즉, 가려진 사람과 그렇지 않은 사람 간의 강인한 표현을 위해, 본 논문은 트랜스포머 마지막 레이어 $L_{N}$을 2가지 독립적인 $L_{N}^{1},\: L_{N}^{2}$으로 복사하여 각기 다른 역할을 수행하고 일치화 손실함수를 도입하여 동일인의 특징들 간의 일관된 학습이 가능하도록 한다. 첫 번째 가지 $L_{N}^{1}$는 전역 가지로써 전역적인 정보가 담긴 전역 특징 $f_{g}$를 표현한다. 두 번째 가지는 지역 가지로써 $L_{N}^{2}$는 TrasnReID⁽⁹⁾의 Jigsaw Patch Module(JPM)에 영감을 받아 class token를 제외한 $N_{p}$ 패치들을 $m$그룹으로 나누어 부분적인 정보들로 지역 특징 {$f_{l}^{j}vert j = 1,\:2,\: ... ,\:m$ }을 표현하는데, 기존의 고정된 위치의 패치들로 구성된 것과는 다르게 동적인 패치의 조합을 사용한다. 왜냐하면 가려진 상황을 발생시키는 주체는 크기와 모양이 다양하기 때문이다.

이렇게 앞에서 구한 전역적인 정보를 담고 있는 $f_{g}$와 부분적인 정보를 담고 잇는 $f_{l}^{j}$ 간의 Kullback-Leibler (KL) divergence ⁽¹⁸⁾ 손실함수를 다음과 같이 수행한다.

KL-divergence는 두 분포를 유사하게 만드는 손실함수이므로, 전역 특징을 선생으로 지역 특징을 학생으로 간주하여, 두 분포간의 손실(여기서는 consistency loss로 정의)을 줄이도록 학습다. 즉, 동일인물의 재식별에서 사람의 전체적인 정보를 담고 있는 가려지지 않은 사람에 대한 표현과 사람의 부분적인 정보를 담고 있는 가려진 사람에 대한 표현이 유사해지는 효과를 갖도록 한다.

3.5 학습 손실함수

전역 특징 $f_{g}$, 지역 특징 {$f_{l}^{j}vert j = 1,\:2,\: ... ,\:m$}에 대해서 재식별 분야에서 일반적으로 사용하는 교차-엔트로피 손실함수 $L_{ID}$와 3쌍(triplet) 손실함수 $L_{T}$를 다음과 같이 구성하여 학습에 적용한다.

여기서, $P$는 확률 예측을 위한 분류기이다. 그리고 3.4절에서 전역-지역 일치화 손실함수 $L_{global-local}$를 $L_{supervision}$와 결합하여 최종 손실함수를 다음과 같이 구성한다. $\lambda$는 일치화 일치화 손실함수 계수이고, 다음은 최종 손실함수이다.

4.1 실험 준비

제안된 기법을 Occluded-Duke⁽¹⁹⁾ 데이터 셋에 대해서 mAP 와 Rank-1 성능을 평가하고 기존의 최신 기법과 비교한다. mAP는 상위 예측에 참값이 얼마나 근접하는지를 나타내는 확률이고 Rank-1은 최상위 예측이 참값과 일치하는 확률이다. 

Occluded-Duke는 현재 존재하는 가려진 데이터 셋들 중에서 가장 어려운 데이터로 아래 표 1과 같다. train, query, gallery로 구성되며 ids는 동일인물의 카테고리 수이고, cam은 다른 각도에서 사용된 캠의 개수를 의미한다. query는 재식별 문제의 제시 데이터로, 모두 가려진 사람 이미지로 구성되어 있고, train 데이터와 gallery는 query에서 제시된 사람을 재식별하기 위한 데이터 집합으로, 가려진 사람의 이미지와 가려지지 않은 이미지가 섞여 있다. train 데이터로 모델을 학습하고, 모델 검증은 query 이미지를 gallery 이미지와 매칭하여 동일인물을 얼마나 잘 찾는지 mAP와 Rank-1으로 평가한다.

본 논문은 이미지를 256x128로 재조정하고, 데이터 증강을 위해서 random flipping, padding 10 pixel, random cropping을 수행한 후, 제안된 키포인트 삭제 방식을 통해 이미지 쌍을 구성한다. 이를 통해, 트랜스포머의 입력에 배치 크기의 2배가 들어간다. 트랜스포머 초기 가중치는 ImageNet-21K에서 사전 훈련된 후, ImageNet1K에서 미세조정이 수행된다. 포즈 추정 모델은 COCO 데이터셋으로 사전에 학습된 HRNet⁽³⁾을 사용한다. Optimizer는 momentum 값이 0.9인 SGD, learning rate믐 0.008 및 cosin learning rate decay를 사용한다. $E_{d}$는 768, $m$는 4, $\lambda$는 0.5, batch size는 32로 설정한다. 모든 실험은 pytorch 환경에서 수행했다.

4.2 실험 결과

표 2를 보면 제안된 기법의 성능이 mAP/Rank-1 58.4%/66.3%으로 기존 기법들 보다 우수함을 나타낸다. 가려진 상황에 대한 데이터 증강 기법을 제안한 ⁽⁷⁾에 비해 mAP/Rank-1이 각각 12.3%p/3.7%p 증가하였다. 기존 기법은 데이터의 수를 5배 증가하고, 임의 영역 삭제 위치가 상, 하, 좌, 우로 고정되 있는 반면, 본 논문은 데이터 수를 2배 증가하고, 위치가 고정되지 않으며 사람 영역 중심으로 삭제 되기 때문에 연산량이 더 적으면서 성능이 우수하다. 포즈 추정 모델을 보조로 사용하여 기포인트 히트맵을 학습에 직접 사용한 ⁽¹⁴⁾와 비교하면, mAP/Rank-1이 각각 12.1%p/4.1%p 증가하였다. 트랜스포머 기반인 PAT, TrasnReID보다도 좋은 성능을 보여주었는데, 특히 영감을 받았던 TrasnReID 보다도 mAP는 2.7%p, Rank-1은 2.1%p 더 우수하다. 이것은 제안된 기법이 임의의 가려진 상황에서도 사람 특징을 강인하게 표현할 수 있도로 학습되었기 때문으로 생각된다.

그림. 3. 동일인물 재식별 결과 예시

Fig. 3. Person Re-Identification retrival results

제안된 기법의 mAP가 Rank-1 성능보다 타기법에 비해 개선 폭이 큰 것은 갤러리 이미지들의 평균적인 성능이 더 향상된 것을 의미한다. 즉, 첫 번째 순위를 맞추는 Rank-1 은 타 기법과의 차이가 한 자리 수로 적지만, 더 일반적인 성능을 나타내는 10개에 대한 평균 성능은 두 자리수의 우위를 보임으로써, 실제적인 응용에 더 적합하다고 사료된다.

그림 3은 Occluded-Duke 데이터 셋의 query와 gallery 간의 동일인물에 대한 재식별 결과를 Rank 1부터 10까지 순서적으로 보여준다. 초록색 박스는 정답, 빨간색 박스는 오답이다. 첫 번째와 두 번째 결과는 물체에 의해 사람의 신체가 반 정도 가려진 경우이다. 사람 영역의 표현이 제한적이므로, 정보 양의 차이로 인해 전신이 나오는 gallery 이미지의 사람과의 매칭이 어려울 수 있는데 대부분 잘 식별하는 것을 볼 수 있다. 첫 번째에서는 2개의 이미지가 오답이지만 해당 이미지의 사람도 query와 외형적으로 비슷한 것을 알 수 있다.

세 번째 결과는 사람에 의한 가려짐 현상(inter-occlusion)의 경우인데, query 이미지에서 target person이 누구인지를 판단하기 어려운 문제이지만, 제안된 모델에서는 잘 식별하는 것을 볼 수 있다. 네 번째 결과는 나무가지에 의해 사람의 신체의 2/3 이상이 가려진 경우이다. 대단히 어려운 문제지만, 제안된 모델은 가려지지 않은 사람의 신체와 가방을 통해 동일인물을 잘 찾고 있다. 이 것은 동일인물에서 부분적인 특징을 가지고 있는 지역 특징과 전역 특징을 결부시키는 일치화 효과가 있음을 의미한다.