3.1 제안 기법의 개요

본 논문에서 제안하는 파싱 안내 프롬프트 설계(Parsing-guided Prompt Design)는 복장 변화 상황에서 강건한 사람 재식별을 수행하기 위해, 시각적 파싱 정보와 명시적인 텍스트 프롬프트를 결합하는 프레임워크다. 기존 CLIP 모델의 단순 전역 특징 매칭 방식에서 벗어나, 입력 이미지에 인체 파싱을 적용하여 배경 노이즈를 배제한 신체 부위별 시각 특징을 추출한다. 추출된 각 시각 특징은 해당 신체 부위를 명시적으로 지칭하는 텍스트 프롬프트와 텍스트 공간에서 독립적으로 매칭됨으로써 복장에 의존하지 않는 세밀한 식별력을 확보한다.

그림 2 접근 기법의 구조도

Fig 2 Conceptual diagram of the proposed approach

3.2 전체 구조

제안 기법의 전체 구조는 그림 2에 나와 있으며, 전경 마스크를 생성하는 마스크 생성 모듈(Mask Generation Module), 배경이 억제된 시각 특징을 추출하는 동결된 이미지 인코더(Image Encoder) 및 명시적 공간 마스킹(Explicit Spatial Masking, ESM) 모듈, 그리고 이에 상응하는 텍스트 임베딩을 생성하는 동결된 텍스트 인코더(Text Encoder)로 구성된다.

입력 이미지는 마스크 생성 모듈 ^[8]을 통해 추출된 마스크와 결합하여 배경 노이즈가 제거된 후, 이미지 인코더에 입력된다. 마스크 생성 모듈은 인체 파싱 결과에서 머리(head), 팔(arms), 다리(legs)에 해당하는 영역을 각각 선택하여 세 개의 부위 마스크를 생성하고, 머리, 팔, 다리 영역을 동시에 선택한 전체 마스크를 추가로 생성한다. 따라서 $X_{1}$, $X_{2}$, $X_{3}$은 각각 머리, 팔, 다리 영역으로부터 추출된 특징이고, $X_{4}$는 머리, 팔, 다리 영역을 함께 포함하는 하나의 파싱 마스크로부터 추출된 특징이다. 인코더를 통과한 특징 맵은 ESM 모듈을 거쳐 주요 신체 부위($X_{1}$, $X_{2}$, $X_{3}$, $X_{4}$)에 대응하는 지역적 시각 특징 벡터로 추출된다. 동시에, 텍스트 인코더는 파싱 안내 프롬프트를 입력받아 텍스트 벡터를 생성하며, 최종적으로 추출된 시각-텍스트 벡터 및 전역(CLS) 토큰 간의 양방향 대조 학습($L_{I2T}+L_{T2I}$)을 계산하여 시각-언어 공간에서의 정렬을 수행한다.

3.3 명시적 공간 마스킹 및 MRAP

비전 트랜스포머(ViT) 기반의 이미지 인코더를 통과한 출력은 1차원 형태의 패치 토큰 시퀀스이므로, 명시적 공간 마스킹을 적용하기에 앞서 이를 2차원 공간 특징맵(Spatial Feature Map)으로 재배열하는 과정이 선행된다. 이후, 불필요한 배경 정보를 제거하고 신체 부위별 특징만을 추출하기 위해, 패치 크기로 다운샘플링된 소프트 마스크를 공간 특징맵에 픽셀 단위로 직접 곱하는 명시적 마스킹 연산을 그림 3과 같이 수행한다. ESM에는 머리, 팔, 다리 및 whole 영역에 대응하는 총 4개의 파싱 마스크가 사용된다. 각 파싱 마스크는 패치 단위 평균 풀링을 통해 해당 패치에서 목표 신체 영역이 차지하는 비율을 나타내는 patch-level soft mask로 변환된다.

그런데 마스킹 연산 직후 일반적인 전역 평균 풀링(GAP)을 적용할 경우, 값이 0으로 소거된 배경 영역까지 전체 공간의 분모에 포함되어 계산되므로, 최종 추출되는 지역 특징 벡터의 크기가 비정상적으로 축소되고 정보가 왜곡되는 문제가 발생한다. 이러한 크기 왜곡 현상을 방지하고 특징을 보정하기 위해 마스크 영역 평균 풀링(Masked Region Average Pooling, MRAP)을 적용한다. MRAP은 각 패치 특징에 해당 영역의 soft mask 값을 곱하여 합산한 후, 이를 soft mask 값의 총합으로 정규화하여 부위별 지역 특징을 산출한다. 이를 통해 공간 내에서 0으로 지워진 배경 픽셀의 영향을 배제하며, 오직 신체 부위 본연의 형태학적 시각 정보만을 유효한 스케일로 보존하는 지역 특징 벡터를 추출할 수 있다.

그림 3 ESM 모듈의 상세 구조도

Fig. 3 Detailed Architecture of ESM Module

3.4 파싱 유도 학습형 프롬프트 설계

추출된 부위별 시각 특징을 VLM의 텍스트 공간과 정렬하기 위해, 각 신체 부위의 특징을 명시적으로 학습하는 텍스트 프롬프트를 설계한다. 본 논문에서는 "A photo of a [$X_{1}$] [$X_{2}$] [$X_{3}$] [$X_{4}$] person." 형태의 프롬프트 템플릿을 구성한다. 여기서 4개의 학습 가능한 토큰인 [$X_{1}$] [$X_{2}$] [$X_{3}$] [$X_{4}$] 는 각각 인체의 'head', 'arms', 'legs', 'whole' 부위에 일대일로 대응되도록 설정된다 (그림 3의 중앙부터 우측).

이 기법은 비전 인코더 출력에 명시적 공간 마스킹과 MRAP를 적용하여 추출된 신체 부위별 지역 시각 특징을 해당 텍스트 토큰에 학습하는 것을 목적으로 한다. 즉, 학습 과정에서 각각의 학습 가능한 텍스트 토큰은 자신과 대응하는 부위별 지역 시각 특징 벡터와 매칭되며, 이 대조 학습 과정을 통해 대상 인물(ID)이 가지는 고유한 부위별 시각 특징이 텍스트 임베딩 공간으로 전이되어 압축된다. 이를 통해, 모델은 수동으로 설정된 단어의 한계를 극복하고, 복장 변화와 무관하게 인물 고유의 부위별 특징을 명시적으로 포함하는 효율적인 텍스트 임베딩을 학습하여 강력한 식별력을 확보한다.

3.5 손실 함수

최종적인 파싱 유도 텍스트 프롬프트 최적화 및 모델 학습을 위해 이미지 특징과 텍스트 특징 간의 양방향 교차 양식 매칭 손실을 계산한다. 그림 2의 우측에서 전체 신체 특징에 대한 CLS간의 전역 손실과 CLS 바로 좌측의 각 부위별 지역 특징에 대한 손실을 합산하여 최종 손실 함수를 구성한다.

전체 신체 시각 특징과 이에 대응하는 텍스트 특징 간의 전역 양방향 매칭 손실은 식 (1)과 같다.

각 신체 부위별 지역 시각 특징과 이에 대응하는 학습 가능한 텍스트 토큰 간의 매칭 손실은 전체 부위 수($K=4$)에 대한 양방향 손실의 총합으로 식 (2)와 같이 산출된다.

텍스트 프롬프트 최적화를 위한 총 손실 함수는 식 (3)과 같이 전역 손실과 부위별 손실의 합으로 정의된다.

여기서 $f_{g}$와 $t_{g}$는 각각 비전 인코더와 텍스트 인코더에서 추출된 전체 신체 시각 특징 및 텍스트 특징을 의미하며, $f_{p,k}$와 $t_{k}$는 명시적 공간 마스킹과 MRAP를 통해 추출된 $K$번째 부위의 지역 시각 특징 및 텍스트 토큰 임베딩을 나타낸다. $L_{i2t}$와 $L_{t2i}$는 주어진 정답 레이블을 기반으로 두 특징 간의 일치도를 평가하는 교차 엔트로피(Cross-Entropy) 기반의 이미지-텍스트 및 텍스트-이미지 양방향 대조 손실(Contrastive Loss)이다.

3.6 학습 과정

모델 학습은 두 단계(Two-stage)로 진행된다. 첫 번째 단계에서는 비전 인코더를 고정한 상태로, 식 (3)의 목적 함수를 통해 텍스트 인코더의 부위 유도 학습형 프롬프트 토큰을 집중적으로 최적화한다. 두 번째 단계에서는 첫 단계에서 학습된 텍스트 프롬프트를 고정하고, 비전 인코더를 포함한 전체 네트워크의 미세 조정을 수행하며, 기존 CLIP 기반 사람 재식별 연구 ^[12]의 표준 손실 함수를 동일하게 적용한다.

4.1 실험 준비

대표적인 복장 변경 데이터 셋인 PRCC ^[9]를 학습 및 평가 데이터로 사용한다. PRCC는 221명의 사람과 33,698장의 이미지로 구성되며, 서로 다른 3대의 캠으로 촬영된 복장 변경 이미지가 포함되어 있다. 구체적으로 실내 캠 1대와 실외 캠 2대로 구성되었고, 학습 데이터는 150 identity, 300 clothes, 22,898장의 이미지 (1인당 2가지의 복장)를 가지며, 테스트 데이터는 71 identity, 쿼리(Query)는 3,873장의 동일 복장 이미지, 3,543장의 복장 변경 이미지를, 갤러리(Gallery) 는 3,384장의 이미지를 포함한다.

4.2 실험 결과

표 1은 복장 변경 데이터셋인 PRCC에 대해 제안하는 기법과 최신 주요 사람 재식별 기법들의 성능을 비교한 실험 결과이다. 성능 평가 지표로는 Rank-1 (R-1)과 평균 정밀도(mAP)를 사용하였다. 실험 결과, 최근에 제안된 모델인 CSCI ^[11] 및 Tex-CG ^[12]를 포함한 다양한 최신 연구들과 비교했을 때, 제안 기법이 가장 우수한 성능을 달성하였다.

본 논문에서 설정한 베이스라인 모델은 CLIP-ReID ^[10] 구조를 기반으로 하며 R-1 64.2%, mAP 60.3%의 성능을 보인다. 제안하는 파싱 안내 프롬프트 설계(Parsing-guided Prompt Design) 프레임워크를 모두 결합한 최종 모델(Ours)은 R-1 68.3%, mAP 63.3%를 기록하였다. 이는 비교 기법 중 가장 높은 성능을 보인 Tex-CG의 R-1 66.9% 및 mAP 63.1%와 비교하여 각각 1.4%, 0.2% 향상된 수치로, 제안 기법의 유의미한 성능 개선을 보여준다.

제안된 핵심 모듈인 ESM과 MRAP의 기여도를 검증하기 위해 절제 연구(Ablation Study)를 수행한 결과가 표 2에 나와있다. 같은 PRCC 데이터셋 환경에서 기존 베이스라인 모델은 Rank-1 64.2%, mAP 60.3%의 성능을 보이는데, 여기에 ESM을 적용했을 때 Rank-1 67.1%, mAP 63.2%로 큰 폭의 성능 향상(각 +2.9%)을 나타내었다. 이는 해당 모듈이 복장 변화에 대한 강건성을 효과적으로 제공함을 입증한다. ESM과 MRAP를 모두 결합한 전체 제안 모델은 식별력을 더욱 향상시켜 Rank-1 68.3%, mAP 63.3%의 높은 성능을 달성하였다.

그림 4 검색 결과의 시각화 비교 예시

Fig 4 Examples of Retrieval Result Visualization Comparison

4.3 시각화 결과 분석

안된 기법의 구체적인 효과를 입증하기 위해 그림 4와 같이 검색 결과에 대한 시각화 분석을 수행하였다. 그림에서 질의(Query)는 찾고자 하는 사람의 이미지를 의미하며, R-n은 모델이 n번째로 동일하다고 예측한 이미지를 나타낸다(n이 작을수록 성능면에서 더 중요하다). 예측 결과 중 초록색 박스는 동일 인물(정답 예측)을, 빨간색 박스는 다른 인물(오답 예측)을 의미한다. 해당 결과를 살펴보면, 베이스라인 모델은 의상의 색상이나 패턴 등 표면적인 시각적 특징에 강하게 의존하여 완전히 다른 사람을 상위 순위에 오인식(빨간색 박스)하는 한계를 보였다. 반면, 제안 모델(Ours)은 의상 변화 환경(Clothes-changing)에 방해받지 않고 정확하게 동일인을 최상위에 랭크(초록색 박스)시키는 데 성공하여, 표면적 의상 변화를 넘어선 일관된 사람의 고유 정체성을 성공적으로 학습하고 있음을 보여준다.

그림 5 Grad-CAM을 이용한 특징 맵 시각화 비교 예시

Fig. 5 Examples of Grad-CAM Feature Map Visualization Comparison

또한, 모델이 식별 과정에서 주의(Attention)를 기울이는 영역을 확인하기 위해 그림 5와 같이 Grad-CAM을 이용한 특징 맵 시각화를 진행하였다. 그림에서 붉은색에 가까운 영역일수록 모델이 인물 식별에 중요한 특징으로 판단하여 강하게 집중하고 있음을 의미하며, 푸른색에 가까울수록 시각적 활성화 정도가 낮음을 나타낸다. 시각화 결과, 제안 모델은 옷차림 등 변경되기 쉬운 영역에 대한 집중을 최소화하고 얼굴, 팔, 다리와 같이 의상과 무관한 핵심 신체 정체성 단서에 붉은색 활성화가 집중되는 것을 확인하였다. 이는 제안 기법이 의상에 의한 시각적 노이즈를 효과적으로 억제하고 신체 고유의 특징을 올바르게 추출하도록 유도하고 있음을 직관적으로 증명한다.