3.1 비교 대상 모델

본 연구에서는 CLIP^[11] 모델에서 제안된 멀티모달 임베딩 기반 제로샷 분류 방식을 적용하여 제주 지역 식생 이미지 분류를 수행하였다. 이를 위한 멀티모델 임베딩 모델로는 파라미터 수가 상대적으로 적어 효율적이면서도 성능이 우수한 CLIP, SigLIP, SigLIP2를 비교하였으며, 다양한 patch 수와 해상도를 비교하였다.

CLIP은 OpenAI에서 2021년 발표한 멀티모달 모델로, 비전 인코더와 텍스트 인코더를 공동으로 학습시키되 소프트맥스 기반의 InfoNCE를 활용하여 일치하는 이미지-텍스트 쌍은 임베딩 공간에서 가깝게, 불일치하는 쌍은 멀어지도록 최적화한다. 학습에는 WebImageText(WIT)라 불리는 약 4억 개의 이미지-텍스트 쌍이 활용되었으며, 별도 라벨링 없이도 ImageNet을 비롯한 다양한 데이터셋에서 제로샷 성능을 크게 향상시켰다^[11]. SigLIP은 CLIP의 소프트맥스 정규화를 배제하고 이미지-텍스트 쌍별 이진 시그모이드 손실 함수를 도입한 모델로, 전역 유사도 참조 없이 메모리 효율을 높여 배치 크기를 대폭 확장할 수 있으며, 작은 배치에서도 소프트맥스 대비 더 나은 성능을 보인다. WebLI 영어 데이터셋에서 B/16 비전 트랜스포머와 Base 크기의 텍스트 트랜스포머를 사용해 실험했으며, 32k 배치 크기에서 ImageNet zero-shot 73.2%를 달성함으로써 같은 조건의 CLIP보다 효율과 성능면에서 유리함을 입증했다^[12]. SigLIP SO400M은 ViT 기반의 4억 파라미터 규모의 비전 인코더를 적용한 버전으로, 보다 효율적인 모델 구조를 통해 복잡한 시각 패턴인식과 계산 집약적인 작업을 지원한다^[13]. SigLIP Multilingual은 WebLI 데이터셋의 100개 언어 이미지-텍스트 쌍을 활용하여 다국어 사전 학습을 수행하는 SigLIP 모델의 확장 버전이다. 대규모 다국어 학습을 위해 32K 및 250K 어휘 크기의 Multilingual 토크나이저를 실험했으며, 병목 구조의 임베딩을 도입해 메모리 부담을 줄이면서도 약 1% 이상의 성능을 개선하였다. XM3600 크로스모달 검색 과제에서 기존 LiT 대비 6% 이상 높은 SOTA 결과(34.9%)를 기록했다. SigLIP2는 SigLIP의 시그모이드 기반 손실 외에 캡셔닝 기반 사전학습, 자기 지도 손실 함수(self-distillation 및 마스킹 예측), 온라인 데이터 큐레이션, 디버깅 및 공정성 향상 기법을 통합한 학습 레시피가 적용된 모델이다^[14].

멀티모달 임베딩을 이용한 제로샷 이미지 분류는 CLIP^[11]에서 사용된 방식과 최대한 유사하게 수행하였다. 보다 구체적으로, 각 클래스들의 이름을 텍스트 인코더의 입력으로 하여 클래스 임베딩을 얻고 제주 식생 이미지를 이미지 인코더의 입력으로 하여 이미지 임베딩을 얻은 후, 이미지 임베딩과 코사인 유사도가 가장 높은 클래스 임베딩을 해당 이미지의 클래스로 정의하는 방식이다.

3.2 프롬프트 구성

분류 성능은 입력 프롬프트의 구성 방식에 따라서도 달라질 수 있다. 따라서 본 연구에서는 다섯 가지 프롬프트 형태를 설계하여 그 영향력을 비교 분석하였다. 모든 제주 식생의 클래스명은 한글 학명(e.g., “나도고사리삼”)과 영어 학명(e.g., “Ophioglossum vulgatum L.”)으로 제공되며, 이를 활용한 프롬프트 예시는 표 1에 제시하였다.

3.3 데이터

제주 식생 이미지 분류 성능 평가는 제주대학교 이삭플랫폼(ESAC:Platform of Jeju National University)의 식물 이미지 데이터를 활용하여 수행하였다^[15]. 이 데이터셋에는 제주도 내 4개 지역에서 수집된 식생 이미지가 포함되어 있다. 지역별 데이터셋 통계는 표 2에 제시하였다.

4.1 모델에 따른 성능 비교

각 모델의 실험 결과는 표 3에 제시되어 있다. 덩개해안 식물 분류에서는 SigLIP SO400M 모델이 Macro Accuracy 0.7460, Micro Accuracy 0.7612로 제일 높은 성능을 나타냈다. SigLIP 모델에 multilingual을 적용한 경우 동일 해상도인 256 모델(SigLIP base patch16 256) 보다 성능이 향상되었으나 해상도 384 모델의 성능에는 미치지 못하였다. 반면 민오름 및 자배봉 식물 데이터셋에서는 multilingual 모델의 성능이 오히려 낮게 나타났다. 최신 모델인 SigLIP2는 다양한 기법들이 통합되어 있음에도 불구하고 제주 자생 식물 이미지 분류에서는 기대에 미치지 못하는 성능을 보였다. 이는 모델의 최신성과 성능 간의 관계가 도메인 특성에 따라 달라질 수 있음을 시사한다. 또한 대부분의 모델에서는 patch 크기를 줄이고 해상도를 높일수록 성능이 향상되는 경향이 확인되었다.

4.2 프롬프트 적용에 따른 성능 비교

표 4에는 SigLIP SO400M patch14 224 모델을 기준으로 프롬프트 형태에 따른 네 개 데이터셋 전체의 Macro Accuracy 평균이 제시되어 있다. 가장 높은 평균 성능은 ‘en’ 프롬프트에서 나타났고, 그 다음으로 ‘en ko’, ‘en prompt’, ‘en ko prompt’, ‘ko’ 순으로 확인되었다.

‘en’입력과 ‘en ko’입력을 비교한 결과, Macro Accuracy가 2.4% 감소하였으며, ‘en prompt’와 ‘en ko prompt’를 비교했을 때도 3.1% 성능 저하가 관찰되었다. 이는 한글 텍스트가 본 모델의 분류 성능을 저해할 수 있음을 시사한다. 또한 프롬프트 적용 유무에 따른 변화를 살펴보면, 프롬프트를 추가했을 때, ‘en’대비 ‘en prompt’에서 6.5%, ‘en ko’대비 ‘en ko prompt’에서 7.3%의 성능 하락이 발생하였다. 이는 CLIP^[11]에서 보고된 것과 달리, SigLIP SO400M patch14 224 모델에서는 오히려 프롬프트 삽입이 성능 저하로 이어짐을 의미한다. 따라서 데이터의 언어적 특성과 프롬프트 포함 여부에 따라 모델 성능이 크게 달라지므로, 최적의 분류 결과를 얻기 위해서는 입력 구성과 모델 설정을 데이터 특성에 맞춰 반드시 개별 검증해 보아야 한다.

4.3 오류 분석

SigLIP SO400M 모델의 예측 결과를 각 데이터셋별로 Confusion Matrix를 통해 분석하였다. 분석은 프롬프트를 사용하지 않고 영어 학명만 입력하는 ‘en’ 프롬프트 설정을 기준으로 수행하였다. 해당 클래스 명칭과 덩개해안 및 제주 도심 잡초의 confusion matrix는 GitHub 저장소에서 확인할 수 있다.

4.3.1 민오름 식물

민오름 식물 데이터셋은 클래스 수가 가장 많으며, 클래스별 이미지 수는 1개에서 8개까지 분포하였다. 그림 2에 따르면 59번 클래스인 풀솜대는 5개 이미지 모두 정확하게 분류되었다. 그러나 1번 클래스인 개감수의 경우 6개 이미지 중 4개가 32번 클래스인 사위질빵으로, 나머지 2개는 45번 클래스인 으름덩굴로 오분류되었다. 그림 3은 개감수와 사위질빵의 이미지이다.

그림 2. 민오름 식물 confusion matrix

Fig. 2. Min-oleum plants confusion matrix

그림 3. 민오름의 개감수(좌)와 사위질빵(우)

Fig. 3. Two example images from the Min-oleum dataset (Left) Euphorbia sieboldiana Morren & Decne (Right) Clematis apiifolia DC

4.3.2 자배봉 식물

자배봉 식물 데이터셋은 클래스당 평균 이미지 개수가 가장 많았으며, 그림 4는 자배봉 식물 confusion matrix이다. 26번 클래스인 칡은 20개 이미지 모두 정확하게 분류되었으나, 14번 클래스인 산초나무는 23개 이미지 중 21개가 25번 클래스인 초피로 오분류되었다. 그림 5에는 해당 모델이 이 두 클래스를 혼동한 대표 이미지가 제시되어 있다.

그림 4. 자배봉 식물 confusion matrix

Fig. 4. Jabaebong plants confusion matrix

그림 5. 자배봉의 산초나무(좌)와 초피(우)

Fig. 5. Two example images from the Jabaebong dataset (Left) Zanthoxylum schinifolium Siebold & Zucc (Right) Zanthoxylum piperitum (L.) DC