Mobile QR Code QR CODE : The Transactions of the Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Main Menu

Journal Search

[

Research article

]

The Transactions of the Korean Institute of Electrical Engineers

KIEE Vol. 74, No. 09, p.1575-1580

ISSN (print) :

1975-8359

ISSN (online) :

2287-4364

Received : 11 Apr. 2025Revised : 02 Jul. 2025Accepted : 31 Jul. 2025

DOI :

https://doi.org/10.5370/KIEE.2025.74.9.1575

단일 모델 기반 지식증류를 사용한 세그멘테이션 성능 향상

Performance Enhancement of Segmentation Using Single-Model-Based Knowledge Distillation

김민규 (Mingyu Kim) ¹iD 김경수 (Gyeongsu Kim) ¹iD 서기성 (Kisung Seo) ^†iD

(Department of Electronics and Computer Engineering, Seokyeong University, Republic of Korea.)

^†Corresponding Author : Department of Electronics Engineering, Seokyeong University, Republic of Korea. E-mail : ksseo@skuniv.ac.kr

License :

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0)which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Translated Abstract

Image segmentation aims to classify each pixel into a specific category, separating object regions from the background, and is widely used in applications such as autonomous driving and medical imaging. Popular models include PSPNet and DeepLab V3, with many studies focusing on performance enhancement. Knowledge distillation (KD), where a student model learns from a teacher model’s output distribution, has been applied to reduce model size or improve performance. However, most KD methods rely on large, complex teacher models and are difficult to apply when the teacher and student architectures differ. Moreover, in segmentation tasks, KD is more challenging due to the lack of standardized methods and the need to consider task-specific characteristics. To address these issues, we propose applying two single-model-based KD methods to segmentation: Self-Knowledge Distillation (Self-KD), which enables distillation within a single model, and Mutual-Knowledge Distillation (Mutual-KD), where two identical models exchange knowledge. We integrate both methods into the PSPNet architecture and validate their effectiveness on the Pascal VOC 2012 dataset, achieving mIoU improvements of 0.56 percentage points with Self-KD and 1.06 percentage points with Mutual-KD compared to the baseline.

Key words

Deep learning, Segmentation, Knowledge Distillation, Single-Model-Based KD, Self-KD, Mutual-KD

1. 서 론

세그멘테이션은 단순히 객체를 분류하는 것이 아닌 이미지에서 카테고리별로 해당하는 객체의 위치와 형태를 검출하는 기법이다. 이미지의 픽셀단위로 카테고리별 분류를 수행하는 과정을 포함한다^[1]. 세그멘테이션의 대표적 활용 예로서, 자율주행에서 사람, 차량, 및 노선 및 주위 환경의 탐지를 들 수 있고 의료 분야에서는 환자의 장기나 조직의 이상 부위를 검출하는데 사용된다^[1].

주요 연구는 다음과 같다. 초기 모델인 Deeplab ^[2]은 Atrous 컨볼루션과 CRF(Conditional Random Field)를 활용해 멀티스케일 문맥 정보를 효과적으로 포착하며, 세밀한 객체 경계 정보를 보존한다. U-Net ^[3]은 인코더-디코더 구조와 스킵 연결을 통해 의료 영상 등에서 세밀한 지역 정보를 복원하여 높은 정확도를 제공한다. SegNet ^[4]은 인코더의 pooling 인덱스를 디코더에 전달하는 구조로 공간 해상도를 효과적으로 복원하여 효율적인 세그멘테이션을 수행한다. PSPNet ^[5]은 Pyramid Scene Parsing 모듈을 도입해 전역 및 지역 문맥 정보를 동시에 활용함으로써 복잡한 장면의 세그멘테이션 성능을 크게 향상시켰다. DeepLabV3 ^[6]는 Atrous Spatial Pyramid Pooling을 사용하여 다양한 스케일의 특징을 효과적으로 추출하고, 객체 경계와 세부 정보를 정밀하게 분할한다.

지식증류(Knowledge Distillation, KD) ^[4] 기법은 규모가 크고 학습된 Teacher(선생) 네트워크에서 규모가 작고 학습되지 않은 Student(학생) 네트워크로 출력 벡터에 대한 분포의 차이를 줄여나감으로써 지식을 전달한다. 전형적인 응용은 큰 네트워크의 능력을 작은 네트워크로 전달하여 성능은 최대한 유지하면서 네크워크 규모를 축소하는 것이다. 또한 동일한 규모를 유지하면서 성능을 향상시키는 경우에도 지식증류가 사용된다. KD에는 Teacher-Student(이하 T-S)^[7] 구성이 널리 쓰이고, 자기 자신 모델만을 사용한 Self-KD 방식 ^[9], 동등한 두 네트워크로 구성된 상호협력 모델인 Deep Mutual Learning(DML) ^[8]도 제시되고 있다.

본 논문은 대표적인 세그멘테이션 모델인 PSPNet에 대해서 PASCAL-VOC 2012 데이터를 사용하여 두 가지 단일 모델 기반 지식 증류인 Self-KD와 Mutual-KD 방식을 적용하여 성능의 향상을 꾀하고, 다양한 특성 지표를 분석한다.

2. 세그멘테이션

세그멘테이션은 모든 픽셀에 대해 분류문제를 해결하는 것으로, 해당 픽셀이 어떤 카테고리에 속해있는지를 판단하는 문제이다. 다양한 객체에 대해서 정확한 형태의 이미지 정보를 제공해야 하기 때문에 연산적인 측면에서 일반적인 분류 문제에 비해 어렵고, 연산량의 규모가 더 크다.

세그멘테이션은 크게 시멘틱 세그멘테이션과 인스턴스 세그멘테이션으로 나뉜다. 시멘틱 세그멘테이션은 이미지의 카테고리 만으로 분류하는 기법인 반면 인스턴스 세그멘테이션은 카테고리뿐만 아니라 같은 카테고리 내에서도 객체들을 분류하는 기법이다. 본 논문에서는 시멘틱 세그멘테이션을 대상으로 하며, 그림 1에 예시가 나와있다.

그림 1. 시멘틱 세그멘테이션의 예 (a) 이미지, (b) 세그멘테이션 카테고리

Fig. 1. Semantic segmentation example (a) Image, (b) Segmentation categories

본 논문에서 대상으로 하는 PspNet은 ResNet50을 사용하여 특징을 추출하고 총 4번의 평균 풀링(Adaptive Average Pooling)을 수행하여 가로(또는 세로)의 크기가 각 1, 2, 3, 6인 서로 다른 크기의 출력을 얻는다. 각각의 출력은 ResNet50의 최종 특징과 결합되어 추가적인 합성곱 연산을 통해 세그멘테이션 수행된 결과가 나온다. 각 출력을 합하는 과정에서 서로 다른 크기로 인한 문제를 해결하기 위해서 가장 큰 크기에 맞추어 확대(Up Sampling)를 수행한다. 그림 2에 PspNet의 구조도가 나와 있다.

그림 2. PspNet의 구조도

Fig. 2. PSPNet architecture

3. 지식 증류

3.1 전통적 지식 증류

지식 증류(Knowledge Distillation)는 대규모로 사전 학습된 선행(teacher) 네트워크로부터, 비교적 작은 학생(student) 네트워크가 출력 분포를 모방함으로써 지식을 전달받는 기법이다. 이러한 과정을 통해 학생 네트워크는 다양한 정보를 학습할 수 있으며, 성능 향상을 얻을 수 있다. 지식 증류를 위한 손실 함수는 식 (1)에 제시되어 있다.

(1)

$L = -\dfrac{1}{m}\sum_{i=1}p(z_{i},\: \theta)\log\dfrac{p(z_{i},\: \theta)}{p(\hat{z_{i}},\: \theta)}$

(2)

$p(z_{i},\: \theta)= soft\max(z_{i}/\tau)$

여기서, m은 미니-배치 사이즈, $z_{i}$는 선생의 출력값, $\hat{z_{i}}$는 학생의 출력값, $\theta$는 모델의 파라미터, $\tau$는 네트워크의 출력 분포를 조정해주는 상수이다.

3.2 Self-KD

Self-KD는 하나의 모델 내에서 스스로 생성한 소프트 레이블이나 중간 표현을 활용해 지식을 재전이하는 기법이다. 모델은 자신의 예측 결과를 참고하여 보다 정교하고 안정된 표현을 학습한다. 이 과정은 모델 복잡도를 낮추면서 성능을 개선하고 오버피팅을 완화하는 데 도움을 준다. 그림 3-(a)에 구조도가 나와 있다.

3.3 Mutual-KD

전통적인 Mutual-KD는 여러 모델이 서로의 예측 결과나 중간 표현을 공유하여 지식을 상호 전이하는 방법이다. 각 모델은 상대 모델의 강점을 학습하면서 개별 한계를 보완할 수 있다. 이를 통해 모델 간 협업 효과를 극대화하여 전체 성능과 일반화 능력을 향상시킨다. 그림 3-(b)에 구조도가 나와 있다.

그림 3. 단일 모델 기반 두 지식증류 (a) self-KD, (b) mutual-KD

Fig. 3. Single-model-based knowledge distillation (a) Self-KD, (b) Mutual-KD

4. PspNet 모델의 단일 모델 기반 지식 증류

4.1 세그멘테이션 모델의 지식 증류

전통적인 지식증류는 분류를 목적으로 사용되었기 때문에 각 분류 카테고리에 대한 벡터를 출력하고 이의 차이를 학습하는 방식이다. 시멘틱 세그멘테이션은 이러한 과정을 이미지의 가모든 픽셀들에 대해서 수행한다. 이때 픽셀들의 채널은 각 분류 카테고리 역할을 하며, 픽셀별로 가장 큰 값을 갖는 채널이 카테고리로 선택된다. 각 채널에 해당하는 값의 분포의 차이를 계산하여 학습에 사용한다. 그림 4에 예시가 나와 있다. 세그멘테이션의 최종 출력의 채널은 분류하고자 하는 카테고리의 수에 배경을 추가한 형태로 구성된다.

그림 4. (a) 전통적인 지식증류, (b) 세그멘테이션의 지식증류

Fig. 4. (a) Traditional knowledge distillation, (b) Knowledge distillation for segmentation

4.2 PspNet 기반 Self-KD

PspNet에 Self-KD를 적용하기 위해서, 기존의 FPN (Fully Feature Pyramid Networks) ^[10]을 변형하고 FPN을 결합하여 그림 5와 같이 구성한다. FPN은 ResNet의 각 Stage에서 출력된 특징들의 중요도를 판단하는 역할을 수행한다. 그림 5의 좌측에서 ResNet과 FPN의 출력은 각각의 Psp Module을 통해 최종 예측을 수행한다.

그림 5. Self-KD 기법을 적용한 PspNet 구조도

Fig. 5. PspNet structure diagram using the Self-KD technique

구체적으로, 각 Stage에서 나온 특징맵을 Stage 4에서 Stage 1 방향으로 합성곱과 요소합 과정을 수행한다. 이후 이전 과정에서 나온 특징맵을 사용하여 이전과 반대 방향으로 한번 더 수행한다. FPN의 연산량의 감소를 위해 일반 합성곱 대신 Depth-Wise 합성곱 ^[11]을 사용한다. 학습과정에서는 ResNet에 영향을 주지 않도록 역전파를 차단한다.

ResNet과 FPN의 출력은 평균 제곱 오차로 학습되어 서로의 특징 추출을 향상시킨다. 평균 제곱 오차는 식 (3)과 같다.

(3)

$L_{2}=\dfrac{1}{H\times W}\sum_{h=1}^{H}\sum_{w=1}^{W}(F_{h,\: w}^{Res Net}- F_{h,\: w}^{FPN})^{2}$

ResNet과 FPN을 거쳐 나온 출력은 Pyramid Pooling 구조를 사용하여 입력 이미지에 대한 예측을 생성한다. 생성된 예측은 정답과의 교차 엔트로피(CE)로 학습된다. 예측과 정답의 차이에 대한 손실함수는 식 (4)와 같다. H와 W는 이미지의 가로와 세로 크기를, Z는 예측값, y는 목표값을 나타낸다.

(4)

$L_{c e}=\dfrac{1}{H\times W}\sum_{h=1}^{H}\sum_{w=1}^{W}CE(\sigma(Z_{h,\: w}),\: y_{h,\: w})$

그림 5의 우측과 같이 PsP 네트워크와 FPN에서 생성된 2개의 최종출력의 차이를 사용하여 식 (5)에 의해 지식 증류를 수행한다. 여기서, KL은 Kullback-Leibler divergence, $Z_{h,\: w}^{Psp}$는 Psp에서 생성된 예측, 그리고 $Z_{h,\: w}^{FPN}$는 FPN구조에서 생성된 예측을 의미한다. T는 지식증류에서 사용되는 하이퍼 파라미터로 본 논문에서는 1을 사용한다.

(5)

$D_{K L}=\dfrac{1}{H\times W}\sum_{h=1}^{H}\sum_{w=1}^{W}KL(\sigma(\dfrac{Z_{h,\: w}^{Psp}}{T})||\sigma(\dfrac{Z_{h,\: w}^{FPN}}{T}))$

최종 손실함수는 식 (6)에 나와 있다. 비중 계수인 $\alpha$는 10을 사용하고 $\beta$, $\gamma$의 값은 1를 사용한다.

(6)

$L_{loss}=\alpha\cdot L_{2}+\beta\cdot D_{KL}+\gamma\cdot L_{CE}$

4.3 PspNet 기반 Mutual-KD

PspNet에 Mutual KD를 적용하기 위해 두 개의 모델을 분기 구조로 설계하였으며, 그림 6과 같이 구성된다.

그림 6. Mutual-KD 기법을 적용한 PspNet 구조도

Fig. 6. PspNet structure diagram using the Mutual-KD technique

그러나 두 모델이 동등한 구조를 가지면 예측값이 지나치게 유사해질 수 있기 때문에, Psp Module에 변형을 가하여 차이를 두었다. 각각의 ResNet에서 추출된 특징이 Psp Module 내부의 Pyramid Pooling (PP)을 통해 처리되어 최종 예측을 생성한다. Mutual KD는 일반적으로 서로 동등한 모델을 사용하지만, 본 논문에서는 평균 풀링(Adaptive Average Pooling) 크기를 각각 1, 2, 3, 6과 1, 3, 5, 7로 다르게 구성하여 두 출력의 차이를 두었다. 이렇게 생성된 2개의 최종출력은 식 (7)에 따라 서로의 차이를 학습한다. 4.2절에서 사용한 식 (5)의 손실함수와 동일하며, $Z_{h,\: w}^{Psp1}$는 첫 번째 PP에서 생성된 예측이고, $Z_{h,\: w}^{Psp2}$는 두 번째 PP에서 생성된 예측을 의미한다.

(7)

$D_{K L}=\dfrac{1}{H\times W}\sum_{h=1}^{H}\sum_{w=1}^{W}KL(\sigma(\dfrac{Z_{h,\: w}^{Psp1}}{T})｜｜\sigma(\dfrac{Z_{h,\: w}^{Psp2}}{T}))$

생성된 예측은 4.2 절의 식 (4)를 통해 정답과의 교차 엔트로피(Cross Entropy)로 학습된다. 최종 손실함수는 식 (8)에 나와있다. $\alpha$, $\gamma$의 값은 1를 사용한다.

(8)

$L_{loss}=\alpha\cdot D_{KL}+\gamma\cdot L_{CE}$

5. 실험 및 결과 분석

5.1 실험 환경

PASCAL-VOC 2012 데이터셋은 객체 검출과 세그멘테이션을 위해 구성된 데이터로, 20개의 카테고리로 이루어져 있으며, 학습용 이미지 1,464장과 테스트용 이미지 1,449장으로 구성된다. 본 연구는 PyTorch 1.7.1 환경에서 구현되었으며, NVIDIA RTX 2080 GPU를 사용하여 수행되었다.

시멘틱 세그멘테이션 신경망의 평가를 위해, 식 (10)에서 정의된 mIoU (mean Intersection over Union) 성능 지표를 측정하였으며, 여기서 C는 데이터셋의 카테고리 수를 의미한다.

(9)

$I o U =\dfrac{TP}{TP+FP+FN}$

(10)

$m I o U =\dfrac{1}{C}\sum_{c=1}^{C}I o U_{c}$

5.2 정량적 실험 결과

PASCAL-VOC 2012 데이터셋의 20개 클래스에 대한 평균 성능인 mIoU 수치 결과가 표 1에 나왔있다. PSPNet와 제안된 두 가지 지식증류 기법의 성능이 비교되었다. 먼저, Self KD를 적용한 경우 PSPNet 성능에 비해 0.56%, Mutual KD에서는 0.82%의 성능향상이 있었다. 이를 통해, PSPNet 자신만을 가지고 지식증류한 Self KD 방식에 비해서 두 개의 PSPNet을 가지고 상호적으로 지식증류한 Mutual KD 방식의 성능이 우수함을 알수 있다. 단일 모델 만으로 성능향상을 얻기가 어려운 상황에서 단일 모델 기반 지식증류의 제안 및 이의 적용 타당성을 확인할 수 있었다.

표 1의 평균 성능 수치 외에 20개 카테고리에 대한 세부 수치 결과가 표 2에 나와 있다. 각 카테고리별 성능은 종류에 따라 최고 92%의 BG(Back Ground)부터 최저 26%의 Chair까지 큰 편차가 존재함을 알 수 있다. Mutual-KD 성능을 기준하여 내림차순으로 정리하였고, 카테고리별 가장 높은 성능은 굵게 표시하였다.

표 1 지식증류 기법별 성능 비교

Table 1 Performance comparison of knowledge distillation methods

Method	mIoU
PSPNet	68.29
Self KD	68.85
Mutual KD	69.35

표 2 지식증류 기법별 카테고리 성능 비교 (mutual KD 성능 기준으로 내림차순)

Table 2 Category performance comparison by knowledge distillation methos (in descending order by mutual KD performance)

Method	BG	Bus	Plane	Cat	Bird	Cow	Car	Train	Person	Sheep	MTB	Dog	Horse	Boat	Bottle	TV	Table	Plant	Bike	Sofa	Chair
PSPNet	91.91	84.54	81.24	81.76	79.20	78.45	78.20	77.96	75.49	69.98	73.75	72.86	71.00	68.13	66.87	65.16	55.97	54.42	45.08	35.22	26.77
Self KD	92.15	85.45	82.54	82.83	78.62	77.04	80.00	78.91	76.08	72.08	74.49	74.42	70.59	67.64	67.94	64.81	56.26	50.52	46.78	39.09	27.55
Mutual KD	92.27	86.04	83.64	81.73	79.97	77.43	81.12	78.46	76.43	74.57	74.90	72.43	69.18	69.42	70.91	65.24	59.29	51.81	45.85	37.00	28.61

5.3 세그멘테이션 결과 예시

mIoU 평가지표는 정량적 수치 결과로서, 이미지 내의 카테고리별 픽셀 수에 의존하기 때문에 ^[12], 각 물체와 배경의 크기에 영향을 받는다. 또한 수치만으로는 세그멘테이션 결과에 대한 정성적인 분석이 어렵다. 따라서, 그림 7에 주요 결과 이미지를 예시하였다. (a)는 입력으로 사용되는 이미지, (b)는 정답, 그리고 (c), (d), (e)는 순서대로 PspNet, Self-KD, Mutual-KD 기법의 결과를 나타낸다.

그림 7. 세그멘테이션 결과 이미지의 예시

Fig. 7. Example of segmentation result images

위로부터 Bus, Bird, Car, Cow, Horse, Person 순으로 정렬되어 있고, 각 객체에 대한 세그멘테애션 부위를 해당 컬러로 표시하였다. 빨간 점선 원으로 정답과의 주요 차이 부분을 표시 하였으며, 이 부분에서 기법별 정답과의 차이가 뚜렷하게 구분된다. 대표적으로, Bus 카테고리에서 PspNet(c)은 도로 영역을 Bus로 예측한 반면 Self-KD(d) 와 Mutual-KD(e)의 경우 경계를 명확히 구분해 실제 차량 영역만을 인식하였고, Cow 카테고리에서는 PspNet(c)이 소의 얼룩무늬를 Horse로 잘못 예측한 반면 Self-KD(d)와 Mutual-KD(e)는 Cow 카테고리로 알맞게 예측되었다. 이러한 결과는 지식증류를 적용한 경우가 정성적인 측면에서 향상된 것을 보여준다. 또한, Bird에서 Self-KD(d)의 결과가 PspNet(c)과 유사하게 상단의 새를 거의 구별하지 못한 데 비해 Mutual-KD(e)에서는 상당한 비율로 이를 인식했음을 보여준다.

추가적으로, 최종 예측에 주요 영향을 주는 부분을 확인하는데 쓰이는 Grad-CAM ^[13]을 사용하여 예측에 대한 보조적인 평가도 수행하였다. 그림 8에 Grad-CAM을 사용한 주요 결과 이미지를 예시하였다. (a)는 입력으로 사용되는 이미지, (b)는 정답, 그리고 (c), (d), (e)는 순서대로 PspNet, Self-KD, Mutual-KD 기법의 Grad-CAM의 히트맵 결과를 나타낸다.

대표적으로, TV/Monitor 카테고리의 PspNet(c)의 Grad-CAM 히트맵은 이미지 전반에 활성화 된 반면 Self-KD(d)와 Mutual-KD(e)의 Grad-CAM 히트맵은 해당 객체에 집중되었다. 이 경우에도 Mutual-KD(e)가 Self-KD(d)에 비해 좀 더 객체 영역에 집중되는 것을 확인할 수 있다. 이러한 결과는 지식증류를 적용한 경우가 PspNet(c)에 비해 이미지의 유의미한 정보를 사용하여 예측하였음을 보여준다.

그림 8. 세그멘테이션에 대한 Grad-CAM 결과

Fig. 8. Grad-CAM results for segmentation

6. 결 론

본 논문에서는 시멘틱 세그멘테이션 분야에서 두가지의 지식증류 기법 1) FPN의 출력을 이용한 Self KD 2) 동일한 모델을 사용한 Mutual KD 의 성능을 PASCAL-VOC 2012 데이터 셋에 대해서 mIoU를 사용한 정량 평가, 세그멘테이션 예시와 Grad-CAM 히트맵을 통해서 정성 평가를 수행하였다. 정량 평가를 통해 제안된 단일 모델 기반 Self-KD와 Mutual-KD의 성능이 PspNet보다 우수함을 확인하였고, 정성 평가에서 세그멘테이션 태스크에 대한 단일 모델만을 사용한 지식증류 적용의 타당성을 확인하였다. 향후 지식증류 구조의 개선 및 더 높은 성능 향상을 목표로 삼고 있다.

References

T. Zhou, W. Xia, F. Zhang, B. Chang, W. Wang, Y. Yuan, E. Konukoglu and D. Cremers, “Image Segmentation in Foundation Model Era: A Survey,” arXiv preprint arXiv:2408.12957, 2024.

L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy and A. L. Yuille, “DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 40, no. 4, pp. 834-848, 2018. DOI:10.1109/TPAMI.2017.2699184

O. Ronneberger, P. Fischer and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” Proc. Int. Conf. Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp. 234-241, 2015. DOI:10.1107/978-3-319-24574-4_28

V. Badrinarayanan, A. Kendall and R. Cipolla, “SegNet: A deep convolutional encoder-decoder architecture for image segmentation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 12, pp. 2481-2495, 2017. DOI:10.1109/TPAMI.2016.2644615

H. Zhao, J. Shi, X. Qi, X. Wang and J. Jia, “Pyramid scene parsing network,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), pp. 2881-2890, 2017. DOI:10.1109/CVPR.2017.660

S. C. Yurtkulu, Y. H. Şahin and G. Unal, “Semantic Segmentation with Extended DeepLabv3 Architecture,” 2019 27th Signal Processing and Communications Applications Conference (SIU), Sivas, Turkey, pp. 1-4, Apr. 2019. DOI:10.1109/SIU.2019.8806244

G. Hinton, O. Vinyals and J. Dean, “Distilling the knowledge in a neural network,” Neural Information Processing Systems (NIPS) Workshop, 2014.

Y. Zhang, T. Xiang, T. Hospedales and H. Lu, “Deep mutual learning,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), pp. 4320-4328, 2018. DOI:10.1109/CVPR.2018.00454

S. H. Lee, D. H. Kim and B. C. Song, “Self-supervised knowledge distillation using singular value decomposition,” in Proc. European Conf. Computer Vision (ECCV), pp. 335-350, 2018. DOI: 10.1007/978-3-030-01246-5_21

B. Cheng, A. Schwing and A. Kirillov, “Per-pixel classification is not all you need for semantic segmentation,” Advances in Neural Information Processing Systems (NeurIPS), 2021.

F. Chollet, “Xception: Deep learning with depthwise separable convolutions,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), pp. 1251-1258, 2017. DOI:10.1109/CVPR.2017.195

Z. Wang, M. Berman, A. Rannen-Triki, P. Torr, D. Tuia, T. Tuytelaars, et al., “Revisiting evaluation metrics for semantic segmentation: Optimization and evaluation of fine-grained intersection over union,” Neural Information Processing Systems (NeurIPS), 2023.

R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh and D. Batra, “Grad-CAM: Visual explanations from deep networks via gradient-based localization,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR), pp. 618-626, 2017. DOI: 10.1109/CVPR.2017.74

저자소개

김민규(Mingyu Kim)

He is currently pursuing his BS degree in Electronics and Computer Engineering at Seokyeong University, His research interests include deep learning, computer vision.

김경수(Gyeongsu Kim)

He is currently pursuing his BS degree in Electronics and Computer Engineering at Seokyeong University, His research interests include deep learning, computer vision.

서기성(Kisung Seo)

He received the BS, MS, and Ph.D degrees in Electrical Engineering from Yonsei University, Seoul, Korea, in 1986, 1988, and 1993 respectively. He joined Genetic Algorithms Research and Applications Group (GARAGe), Michigan State University from 1999 to 2002 as a Research Associate. He was also appointed Visiting Assistant Professor in Electrical & Computer Engineering, Michigan State University from 2002 to 2003. He was a Visiting Scholar at BEACON (Bio/computational Evolution in Action CONsortium) Center, Michigan State University from 2011 to 2012. He is currently Professor of Electronics Engineering, Seokyeong University. His research interests include deep learning, evolutionary computation, computer vision, and intelligent robotics.

KIEEThe Transactions ofthe Korean Institute of Electrical Engineers

The Transactions of the Korean Institute of Electrical Engineers

ISO Journal TitleTrans. Korean. Inst. Elect. Eng.

Journal Search

Journal XML

Journal Information

Performance Enhancement of Segmentation Using Single-Model-Based Knowledge Distillation

Translated Abstract

Key words

1. 서 론

2. 세그멘테이션

3. 지식 증류

3.1 전통적 지식 증류

(1)

(2)

3.2 Self-KD

3.3 Mutual-KD

4. PspNet 모델의 단일 모델 기반 지식 증류

4.1 세그멘테이션 모델의 지식 증류

4.2 PspNet 기반 Self-KD

(3)

(4)

(5)

(6)

4.3 PspNet 기반 Mutual-KD

(7)

(8)

5. 실험 및 결과 분석

5.1 실험 환경

(9)

(10)

5.2 정량적 실험 결과

5.3 세그멘테이션 결과 예시

6. 결 론

References

저자소개

김민규(Mingyu Kim)

김경수(Gyeongsu Kim)

서기성(Kisung Seo)

Article Information (continued)

Key words

KIEEThe Transactions of
the Korean Institute of Electrical Engineers