2.1 비전 트랜스포머

ViT^[7]의 도입 이후, 다양한 구조적 확장을 통해 트랜스포머 기반 모델은 컴퓨터 비전 분야의 주요 백본 중 하나로 자리 잡았다. 초기 ViT는 단일 스케일 구조와 높은 데이터 요구량, 지역 정보 부족 등의 한계를 지녔으며, 이를 극복하기 위해 다양한 파생 모델들이 제안되었다. DeiT^[13]는 학습 효율성을 높이기 위해 distillation 기반 학습 메커니즘을 도입했고, T2T-ViT^[14]와 TNT^[15]는 토큰 간 계층 구조 또는 패치 내부 구조까지 학습할 수 있도록 설계되어 지역 표현력 강화를 시도하였다. 이 과정에서 CNN의 지역적 inductive bias를 활용하기 위한 시도로, ViT 구조에 컨볼루션을 결합한 다양한 하이브리드 모듈들도 등장하였다. 대표적으로 CvT^[16], CMT^[17] 등이 있으며, 이는 트랜스포머 구조에 컨볼루션 계열 연산을 결합해 지역 표현력을 확보하고자 하였다.

하지만 결국 비전 트랜스포머의 전역 어텐션 구조는 연산량이 매우 크고 메모리 소비가 많아 고해상도 이미지나 실시간 처리 환경에서의 적용에 어려움이 따른다. 이를 해결하고자 Swin Transformer^[8]는 윈도우 기반 지역-어텐션과 SW-MSA 기법을 도입하여 효율성과 정보 흐름을 동시에 확보하였다. 이후 CSWin^[18], Pale Transformer^[19]도 마찬가지로 어텐션 영역을 고정된 형태로 제한하여 어텐션 연산 과정의 효율성을 확보하였다.

그러나 이러한 구조는 어텐션 범위가 물리적 윈도우 내부에 국한되기 때문에, 멀리 떨어진 토큰 간의 상호작용을 직접적으로 반영하기에는 한계가 존재한다. 이에 따라 VSA^[20]와 같이 어텐션 영역의 공간적 형태를 다양화하거나 유연성을 강화하여 효율성과 표현력을 높이고자 하는 방법들과 Feature Space 상에서 유사한 표현을 지닌 토큰을 그룹화하여 어텐션을 수행하는 방식이 제안되었다.

BOAT^[21], Refined Transformer^[9] 등은 그림 1(c)과 같이 특징 공간에서의 유사성 기반 토큰 그룹화와 어텐션 연산을 통해 전역 표현력을 향상하고자 하였으나, grouping 방식에 대한 과도한 의존성과 정보 집중 현상 등의 구조적 문제가 존재한다. 본 논문은 기존 윈도우 기반 어텐션 구조의 효율성과 특징 공간 기반 의미적 관계 학습을 결합하여 윈도우 내부의 정밀한 표현은 물론, 윈도우 간 전역적 상호작용을 계층적으로 학습할 수 있도록 하였다.

그림 2. (a) 제안하는 WINter-ViT의 전체 구조 (b) 패치 병합 동작 원리 (c) WINter-ViT 블록의 구조

Fig. 2. (a) The overall architecture of WINter-ViT (b) The patch merging mechanism (c) Structure of the WINter-ViT block

2.2 컴퓨터 비전에서의 어텐션 기법

딥러닝 모델이 점점 깊어짐에 따라, 모든 입력 정보가 학습에 동일하게 기여하지 않는다는 점이 명확해졌다. 이에 따라 모델이 중요한 정보에 더 집중할 수 있도록 유도하는 메커니즘, 즉 어텐션이 시각 인식 분야에서도 적극적으로 활용되기 시작했다. 어텐션은 대상이 갖는 의미적인 특징에 따라 강조하는 채널 중심 접근과, 위치 기반의 공간 정보에 집중하는 공간 중심 접근으로 나뉜다. 채널 어텐션은 각 채널이 고유한 의미를 가지는 점에 기반하며, 어떤 특징이 현재 상황에서 더 중요한지를 동적으로 판단한다. 이는 주로 전역 정보를 압축해 학습하며, 단순한 구조임에도 모델의 표현력을 크게 높이는 것으로 알려져 있다.

대표적으로 Squeeze-and-Excitation networks(SE-Net)^[22]은 채널 간의 상호작용 과정을 거쳐 이를 바탕으로 특징 정보를 재조정하며, 이후 ECA-Net^[23]은 차원 축소 없이 1D 컨볼루션을 통해 경량화와 효율성을 동시에 달성하였다. 반면, 공간 어텐션은 이미지 내에서 중요한 영역을 찾아내어, 객체의 위치나 형태와 관련된 정보에 선택적으로 반응하도록 한다. 이는 복잡한 장면 속에서 배경과 객체를 구분하거나, 시각적 중심을 자동으로 포착하는 데 효과적이다. ELA^[24]는 채널별 공간 정보를 각각 수직과 수평 방향으로 요약하고, 이를 곱셈 방식으로 결합하여 위치 정보를 강조한다. 이 방식은 공간 정보의 명확한 강조뿐 아니라 계산 효율성도 고려된 설계로 평가된다. 최근에는 채널과 공간 정보를 통합하는 어텐션 구조가 제안되며 더욱 발전하고 있다.

대표적으로 CBAM^[10]은 채널 어텐션과 공간 어텐션을 순차적으로 수행하여, 두 기법의 장점을 효과적으로 통합하였다. 이와 같이 복합 어텐션 모듈은 다양한 비전 네트워크에 삽입 되어 성능 향상을 유도하고 있다. 이후에는 단순 통합을 넘어서, 공간 및 채널 간의 시너지를 다중 크기의 수용 영역을 통해 학습하는 구조들이 등장하였다.

SCSA^[11]는 채널 간 Self-Attention 기반의 상호작용과, 공간 방향별 그룹 어텐션을 동시에 계산하는 계층적 구조로, 공간과 채널 간의 상호작용을 극대화하였다. 이러한 어텐션 모듈은 공통적으로, 불필요한 정보를 억제하고 핵심적인 특징을 강조함으로써, 연산 효율성을 유지하면서도 정보 표현의 정밀도를 높이는 데 초점을 둔다. 특히, 최신 연구에서는 이러한 채널 및 공간 어텐션 기법을 트랜스포머 아키텍처와 결합하여 국소성과 전역성을 동시에 강화하는 방향으로 확장하고 있다.

본 논문에서는 이러한 기존 구조들의 특징을 기반으로 윈도우 기반 어텐션 구조 내에서 헤드, 공간 그리고 채널 간 상호작용을 통합적으로 학습할 수 있는 모듈을 설계하였다.

3.1 전체 아키텍처

그림 2는 본 논문에서 제안하는 모델의 전체 아키텍처를 나타낸다. 전체 네트워크는 크게 패치 병합 층과 순차적으로 연결된 W-MSA, SW-MSA 블록 그리고 우리가 제안한 HLSA 블록으로 구성되며, 각 블록 내부의 윈도우 어텐션 메커니즘에는 EHSA 모듈이 함께 동작한다.

네트워크는 총 4단계로 구성되어 있으며, 단계가 깊어질수록 입력 정보는 점진적으로 축소되고, 이를 통해 계층적 특징 학습과 지역-전역 특징 간의 상호작용을 효과적으로 조정하도록 설계되었다. 또한, 깊은 네트워크에서 Gradient 안정성을 유지하기 위해 단계 간 Skip Connection이 적용된다.

먼저, 모델의 첫 부분에는 트랜스포머 입력에 적합한 형태로 이미지를 변환하는 패치 임베딩 계층이 배치된다. 입력 RGB 이미지는 $H\times W\times 3$ 형태로 주어지며, 이를 $4\times 4$ 크기의 겹치지 않는 작은 패치들로 분할 하여, 총 $\dfrac{H}{4}\times\dfrac{W}{4}$개의 패치를 생성한다. 각 패치는 고유한 $4\times 4\times 3$ 차원을 가지며, 이후 선형 임베딩 레이어를 통해 고정된 임베딩 차원으로 투영된다. 이렇게 생성된 토큰 시퀀스는 총 4단계의 계층 구조를 따라 각 단계의 입력에서 패치 병합 과정을 거치면서 $2\times 2$ 크기의 인접한 패치들의 정보를 통합하고, 해상도를 점진적으로 축소한다. 이에 따라 레이어가 깊어질수록 보다 고차원적인 특징 표현을 학습할 수 있게 되며, 이는 다양한 크기의 객체나 복잡한 장면에서도 효과적인 정보 학습이 가능해진다. 이와 같이 구성된 토큰 시퀀스는 각 단계의 트랜스포머 블록에 입력되며, Swin Transformer에서 제안한 W-MSA와 SW-MSA의 멀티 헤드 어텐션 연산에 우리의 EHSA 모듈을 적용하였다. 또한, Swin Transformer 블록에서 사용된 SW-MSA 이후에 HLSA가 추가로 적용된다.

W-MSA는 그림 1(a)와 같이 패치로 나눠진 이미지를 고정된 크기의 윈도우로 묶은 후, 각 윈도우 내에서 어텐션 연산을 진행한다. SW-MSA는 윈도우 사이의 정보 연결을 위해 그림 2(b)와 같이 패치를 이동시켜 교차하는 서로 다른 윈도우 정보 간 어텐션 연산을 진행한다. W-MSA 블록과 SW-MSA 블록은 그림 2(b)처럼 일반적인 트랜스포머 블록 동작 방식인 레이어 정규화(Layer Normalization)와 다층 퍼셉트론(multi-layer perception, MLP)이 함께 동작한다. 이후 W-MSA와 SW-MSA를 순차적으로 거친 특징은 HLSA에 입력으로 들어간다. 제안된 HLSA와 EHSA은 다음 섹션에서 다룬다.

3.2 효율적인 헤드 어텐션 (EHSA)

본 절에서는 윈도우 내에서 어텐션 헤드 간의 상대적인 중요도를 동적으로 조절하는 EHSA 모듈에 관해 설명한다. 기존 Swin Transformer의 멀티 헤드 어텐션 구조는 각 헤드를 동일한 중요도로 병렬적인 정보 처리를 진행한다. 하지만 이미지의 특징에 따라 각 헤드가 가지는 정보 기여도는 다르게 나타날 수 있으며, 이는 모델의 표현 능력을 떨어트릴 수 있다. 이를 해결하기 위해서 본 논문에서 EHSA 모듈을 제안한다.

EHSA는 그림 3에서처럼 쿼리와 벨류의 행렬 곱 결과인 어텐션 행렬을 입력으로 받아, 각 어텐션 헤드의 통계적 정보를 기반으로 어텐션의 출력을 재조정하는 경량화된 모듈이다. 먼저, 입력 어텐션 맵은 평균 풀링을 통해 각 헤드에 해당하는 평균값으로 요약된다. 이후 헤드의 개수를 그룹으로 가지는 Depth -Wise Convolution을 적용하여 헤드 각각 독립적인 파라미터 학습이 가능하게 하였다. 이 과정을 통해 헤드별 스케일링 계수를 산출한다. 이를 수식으로 정리하면 다음과 같다.

그림 3. 제안된 EHSA 모듈의 전체 구조

Fig. 3. Architecture of the proposed EHSA moudle

여기서 $A\in\vec{R^{B\times H\times N\times N}}$는 쿼리와 키의 행렬 곱 연산으로 얻어진 어텐션 스코어 텐서이며, B는 배치 크기, H는 헤드 수, N은 윈도우 내 토큰 수를 의미한다. 어텐션 점수에 대한 평균 풀링은 $N\times N$ 차원을 따라 수행된다. 이후 적용되는 DWConv는 각 헤드마다 독립적으로 학습할 수 있는 필터를 적용함으로써, 입력 토큰의 특징 기반으로 헤드의 개별적 중요도를 반영하도록 구성된다.

마지막으로 시그모이드 함수를 통해 [0, 1] 범위로 정규화된 특징 A’을 산출한다. 이러한 구조는 평균 풀링과 커널 크기 1의 DWConv를 결합함으로써 파라미터 수와 연산량을 크게 줄이면서도 각 헤드의 중요도를 효과적으로 학습할 수 있도록 하였다. 특히, 일반적인 $3\times 3$ 컨볼루션 대신 $1\times 1$ 커널을 활용해 연산 효율을 높였으며, 공간 정보를 요약하여 메모리 부담 또한 감소하였다.

산출된 벡터는 입력 어텐션 점수 A에 헤드 단위의 곱 연산을 수행하여 다음과 같은 헤드 중요도 기반 동적 재조정 역할을 한다.

그림 4. HLSA의 전체 구조

Fig. 4. Overview of HLSA

위 구조는 학습이 진행됨에 따라 어떠한 헤드의 특징을 모델이 집중적으로 파악을 해야 할지 가르쳐 주는 역할을 한다. 하지만 값이 큰 가중치가 곱해진 특정 헤드는 과도하게 영향력을 행사하는 아웃라이어 역할을 할 수 있다. 따라서 우리는 이를 방지하고, 각 헤드 특징 분포의 균형을 유지하기 위해서 1개의 그룹으로 설정된 그룹 정규화(Group Normalization)로 전체 헤드 채널을 하나의 그룹으로 묶어 정규화하였다. 이는 전체 헤드의 전역적인 특성 분포를 반영하기 때문에 특징 일관성을 유지하고 모델의 훈련 안정성을 높이는 역할을 한다.

이렇게 정규화된 특징 벡터는 Softmax 함수를 거쳐 확률 분포 형태의 어텐션 스코어로 변환되며, 해당 스코어는 식 (3)과 같이 벨류와 곱 연산을 거쳐 어텐션 결과물을 산출하게 게 된다.

최종적으로 산출된 어텐션 결과는 각 헤드가 입력 토큰의 특징에 따라 동적으로 조정된 중요도를 반영한 표현으로, 기존 Multi-Head Self-Attention의 고정된 방식에서 벗어난 표현력을 가진다. 결과적으로 의미 있는 헤드의 정보를 강조하는 효과적인 어텐션 결과물을 생성한다.

3.3 지역-전역 계층 공간 어텐션 (HLSA)

윈도우 기반 어텐션 기법은 연산 효율성을 가진다. 하지만 윈도우 사이의 관계성을 포착하지 못하는 한계점이 존재하여, 우리는 각 윈도우의 지역적인 특징을 전역 공간 문맥과 통합적으로 반영하기 위한 계층적 지역-전역 어텐션 모듈을 설계하였다. 해당 구조는 그림 4에 나타나 있다.

4.1 ImageNet-1K 기반 성능 비교

ImageNet-1k는 1,000개의 객체 카테고리로 구성된 대규모 이미지 분류 데이터셋으로, 총 128만 개의 학습 이미지와 5만 개의 검증 이미지를 포함하고 있다. 학습은 배치 사이즈 256으로 총 300 에폭 동안 수행되었고, 초기 학습률은 0.001로 설정되었다. 학습 초기 20 에폭 동안은 warmup이 적용되었으며, 옵티마이저로는 AdamW가 사용되었다. 다양한 모델의 성능을 균등한 조건에서 평가할 수 있도록 이미지 크기는 $224\times 224$로 설정하였다. ImageNet-1k에서 학습한 결과는 Table 1에 제시하였다. Top-1 accuracy 기준으로 여러 네트워크와 비교하였을 때 우수한 성능을 달성함을 확인할 수 있다. 또한, 백본인 Swin-T 보다 우리의 모델이 0.8\% 성능 개선을 이루었으며, Refined-T 보다는 0.5% 성능이 개선되었다.

4.2 ImageNet100 기반 Ablation 실험

제안한 모듈별 성능 기여도를 분석하기 위해, 전체 네트워크 구조를 ImageNet100 데이터셋에서 Ablation 실험을 수행하였다. ImageNet100은 ImageNet-1k에서 100개의 클래스를 선정하여 구성한 서브셋으로, 빠른 실험과 구조 비교에 적합하다. 이미지는 각 클래스 당 약 1,300장의 학습 이미지와 50장의 검증 이미지로 이루어져 있고, 총 데이터 수는 약 130,000장의 학습 이미지와 5,000장의 검증 이미지를 포함하고 있다.

Ablation 실험은 ImageNet-1K와 동일한 실험 설정 하에 수행되었고 Swin-T 백본을 기반으로, 다음 네 가지 조건을 비교하였다: (1) Skip connection 단독 적용, (2) EHSA 단독 적용, (3) HLSA 단독 적용, (4) 제안한 모든 모듈을 결합한 WINter-ViT. 실험 결과는 Table 2에 제시되어 있으며, 각 모듈이 모두 기존 백본 대비 성능 향상을 달성함을 확인할 수 있었다. 이는 제안한 구조가 기존 윈도우 기반 트랜스포머의 한계를 효과적으로 보완함을 증명한다.

4.3 윈도우 기반 비전 트랜스포머 모델들과 성능 비교

제안한 모델은 윈도우 기반 비전 트랜스포머의 지역적 정보 집중 한계를 극복하기 위해 설계되었으며, 이에 따라 기존 윈도우 기반 구조들과의 성능 비교를 통해 그 효과를 검증하고자 하였다. 비교 대상은 Focal Transformer^[29], Swin Transformer^[8], Slide Transformer^[30], MSG Transformer^[31]로 구성하였으며, 모든 모델은 정확한 비교를 위해 동일한 학습 설정 하에서 실험하였다.

Table 3은 ImageNet100 벤치마크에서의 Top-1 정확도를 정량적으로 비교한 결과를 나타낸다. 제안한 WINter-ViT가 기존 윈도우 기반 모델들을 상회 하는 성능을 보였다. 이는 WINter-ViT가 윈도우 내 지역적 패턴을 보다 정교하게 포착함과 동시에 윈도우 간 전역 문맥 정보를 효과적으로 통합했기 때문으로 분석된다.