๋ฐ์ํ(Park, Younghoon)1โ
-
์ ํ์ ยท ๊ต์ ์ ์ ยท ๋ถ์ฒ๋ํ๊ต ํ ๋ชฉ๊ณตํ๊ณผ ๊ต์
(Bucheon University)
Copyright 2026 by the Korean Society of Civil Engineers
ํต์ฌ์ฉ์ด
์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ, ๋ณตํฉ ์์ ๋ถํ , Three-Multihead, ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ, ๋ฐ๋ฝ
Keywords
Reinforced concrete structures, Multi-damage segmentation, Three-Multihead, Crack, Rebar exposure, Spalling
1. Introduction
์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์ ๊ฑด์ถ๋ฌผ, ๊ต๋, ํฐ๋ ๋ฐ ์น๋ฒฝ ๋ฑ ๋ค์ํ ์ฌํ๊ธฐ๋ฐ์์ค์ ๋๋ฆฌ ์ฌ์ฉ๋๊ณ ์๋ค. ๊ทธ๋ฌ๋ ์ฅ๊ธฐ๊ฐ ์ฌ์ฉ ๊ณผ์ ์์ ํ๊ฒฝ์ ์ดํ, ๋ฐ๋ณตํ์ค,
์ฒ ๊ทผ ๋ถ์ ๋ฐ ๋
ธํํ ๋ฑ์ ์ํฅ์ผ๋ก ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ๊ณผ ๊ฐ์ ๋ค์ํ ์์์ด ๋ฐ์ํ๋ค. ์ด๋ฌํ ์์์ ๊ตฌ์กฐ๋ฌผ์ ๋ด๊ตฌ์ฑ ๋ฐ ์ฌ์ฉ์ฑ์ ์ ํ์ํฌ ๋ฟ๋ง
์๋๋ผ ์ฅ๊ธฐ์ ์ผ๋ก ๊ตฌ์กฐ ์์ ์ฑ์๋ ์ํฅ์ ๋ฏธ์น ์ ์์ผ๋ฏ๋ก ์ ํํ ์์ ์ง๋จ๊ณผ ์ ์ง๊ด๋ฆฌ๊ฐ ์ค์ํ๋ค(Cha et al., 2017;
Dorafshan et al., 2018).
์ต๊ทผ์๋ ๋ฌด์ธํญ๊ณต๊ธฐ(UAV), ๋ก๋ด ํ๋ซํผ ๋ฐ ๊ณ ํด์๋ ์์์ฅ๋น์ ๋ฐ์ ๊ณผ ํจ๊ป ์์ ๊ธฐ๋ฐ ์๋ ์์์ง๋จ ๊ธฐ์ ์ด ํ๋ฐํ ์ฐ๊ตฌ๋๊ณ ์๋ค. ํนํ ๋ฅ๋ฌ๋
๊ธฐ๋ฐ ์์๋ถ์ ๊ธฐ์ ์ ๊ตฌ์กฐ๋ฌผ ํ๋ฉด ์์์ ์๋์ผ๋ก ํ์งํ๊ณ ์ ๋ํํ ์ ์๋ ํจ๊ณผ์ ์ธ ๋ฐฉ๋ฒ์ผ๋ก ์ฃผ๋ชฉ๋ฐ๊ณ ์๋ค(Cha et al., 2017;
Dorafshan et al., 2018;
Zhang et al., 2016;
Zou et al., 2019). ์ด๊ธฐ ์ฐ๊ตฌ๋ค์ ์์์ ์กด์ฌ ์ฌ๋ถ๋ฅผ ํ๋จํ๋ ์์ ๋ถ๋ฅ ๋๋ ๊ฐ์ฒด ๊ฒ์ถ์ ์ด์ ์ ๋์์ผ๋, ์ต๊ทผ์๋ ํฝ์
๋จ์์ ์์ ์์ญ์ ์ถ์ ํ ์ ์๋ ์๋ฏธ๋ก ์
๋ถํ ๊ธฐ๋ฒ์ด ๋๋ฆฌ ํ์ฉ๋๊ณ ์๋ค(Chen et al., 2018;
Ronneberger et al., 2015;
Yang et al., 2018). ์๋ฏธ๋ก ์ ๋ถํ ์ ์์์ ์์น์ ํ์์ ์ ๋ฐํ๊ฒ ํํํ ์ ์์ด ๊ตฌ์กฐ๋ฌผ ์ํํ๊ฐ ๋ฐ ์ ์ง๊ด๋ฆฌ ๋ถ์ผ์์ ๋์ ํ์ฉ ๊ฐ๋ฅ์ฑ์ ๊ฐ์ง๋ค.
ํํธ ๊ธฐ์กด ์ฐ๊ตฌ์ ๋๋ถ๋ถ์ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋๋ ๋ฐ๋ฝ๊ณผ ๊ฐ์ ๋จ์ผ ์์ ์ ํ์ ๋ํ ๋ถํ ์ฑ๋ฅ ํฅ์์ ์ง์ค๋์ด ์๋ค. ์ค์ ๊ตฌ์กฐ๋ฌผ์์๋ ์ฌ๋ฌ ์์์ด
๋ณตํฉ์ ์ผ๋ก ๊ณต์กดํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ผ๋ฉฐ, ์ฒ ๊ทผ ๋ถ์์ ์ํด ๊ท ์ด์ด ๋ฐ์ํ๊ณ , ์ดํ ๋ฐ๋ฝ ๋ฐ ์ฒ ๊ทผ๋
ธ์ถ๋ก ์งํ๋๋ ์ดํ ๊ณผ์ ์ด ๋ํ์ ์ธ ์์ด๋ค. ๋ฐ๋ผ์ ์ค์
์ ๊ฒ ํ๊ฒฝ์์๋ ์ฌ๋ฌ ์์ ์ ํ์ ๋์์ ๊ณ ๋ คํ ์ ์๋ ๋ค์ค ์์ ๋ถํ ๊ธฐ์ ์ด ์๊ตฌ๋๋ค.
๋ค์ค ์์ ๋ถํ ์ ์ค์ ๊ตฌ์กฐ๋ฌผ ์ ๊ฒ ํ๊ฒฝ์ ์ ์ฉํ๊ธฐ ์ํด์๋ ๋ช ๊ฐ์ง ๊ธฐ์ ์ ๊ณผ์ ๋ฅผ ํด๊ฒฐํ ํ์๊ฐ ์๋ค. ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ํ์์ ํน์ฑ์ด
ํฌ๊ฒ ์์ดํ์ฌ ๋จ์ผ ์ถ๋ ฅ ๊ตฌ์กฐ๋ง์ผ๋ก๋ ๊ฐ ์์์ ํน์ง์ ํจ๊ณผ์ ์ผ๋ก ํ์ตํ๊ธฐ ์ด๋ ต๋ค. ๋ํ ์๋ก ๋ค๋ฅธ ์์ ํด๋์ค๋ ๋์ผ ์์ญ ๋๋ ์ธ์ ์์ญ์ ํจ๊ป
์กด์ฌํ ์ ์์ผ๋ฏ๋ก, ์ค์ ์์๊ณผ ๋ฌด๊ดํ ํด๋์ค๊ฐ ๋์์ ํ์ฑํ๋๊ฑฐ๋ ์ค๋ณต ์์ธก์ด ๋ฐ์ํ ์ ์๋ค.
๋ณธ ์ฐ๊ตฌ์์๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ๋์์ ๋ถํ ํ๊ธฐ ์ํ Three-Multihead ๊ธฐ๋ฐ ์๋ฏธ๋ก ์ ๋ถํ ๋ชจ๋ธ์ ์ ์ํ๋ค. ์ ์ ๋ชจ๋ธ์ ๊ณต์
์ธ์ฝ๋์ ์์๋ณ ์ ์ฉ ํค๋๋ก ๊ตฌ์ฑ๋์ด ์์๋ณ ํน์ง์ ๋
๋ฆฝ์ ์ผ๋ก ํ์ตํ๋ฉด์๋ ํ๋์ ์์์์ ์ฌ๋ฌ ์์์ ๋์์ ์์ธกํ ์ ์๋๋ก ์ค๊ณ๋์๋ค. ๋ํ
์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํ์ต ๊ณผ์ ์ ๋ฐ์ํ๊ธฐ ์ํ์ฌ Pairwise Prior๋ฅผ ๋์
ํ๊ณ , ํด๋์ค ๊ฐ ์ค๋ณต ํ์ฑํ๋ฅผ ์ต์ ํ๊ธฐ ์ํ์ฌ
Extra Loss๋ฅผ ์ ์ฉํจ์ผ๋ก์จ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ฐ์ํ๋ ํด๋์ค ๊ฐ ๊ฐ์ญ ๋ฌธ์ ๋ฅผ ์ํํ๊ณ ์ ํ์๋ค. ์ ์ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ๊ฒ์ฆํ๊ธฐ ์ํ์ฌ ๊ธฐ์ค
๋ชจ๋ธ ๋ฐ Multi-Damage Representation ๋ชจ๋ธ๊ณผ์ ๋น๊ต ์คํ๊ณผ Ablation Study๋ฅผ ์ํํ์๋ค. ๋ํ ์ค์ ๊ตฌ์กฐ๋ฌผ์์ ์์งํ
44์ฅ์ ๋ณตํฉ ์์ ์ด๋ฏธ์ง๋ฅผ ๋ณ๋๋ก ๊ตฌ์ถํ์ฌ ์ฑ๋ฅ์ ํ๊ฐํ์์ผ๋ฉฐ, Fine-Tuning๊ณผ Threshold Optimization์ ์ํํ์ฌ ์ค์
๋ณตํฉ ์์ ํ๊ฒฝ์ ๋ํ ์ ์ ์ฑ๋ฅ ํฅ์ ๊ฐ๋ฅ์ฑ์ ์ถ๊ฐ์ ์ผ๋ก ๋ถ์ํ์๋ค.
2. Related Work
2.1 RC Damage Segmentation Studies
์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์ ์์ ์๋ ์ธ์์ ์ต๊ทผ ๋ฅ๋ฌ๋ ๊ธฐ์ ์ ๋ฐ์ ๊ณผ ํจ๊ป ํ๋ฐํ ์ฐ๊ตฌ๋๊ณ ์๋ค. ์ด๊ธฐ ์ฐ๊ตฌ๋ค์ ์์์ ์กด์ฌ ์ฌ๋ถ๋ฅผ ํ๋จํ๋ ์์ ๋ถ๋ฅ
๋๋ ๊ฐ์ฒด ๊ฒ์ถ์ ์ด์ ์ ๋์์ผ๋, ์ต๊ทผ์๋ ํฝ์
๋จ์์ ์์ ์์ญ์ ์ถ์ ํ ์ ์๋ ์๋ฏธ๋ก ์ ๋ถํ ๊ธฐ๋ฒ์ด ๋๋ฆฌ ํ์ฉ๋๊ณ ์๋ค. ๊ท ์ด ๊ฒ์ถ ๋ถ์ผ์์๋
U-Net, FCN ๋ฐ DeepLab ๊ณ์ด ๋ชจ๋ธ์ ํ์ฉํ ์ฐ๊ตฌ๊ฐ ์ํ๋์์ผ๋ฉฐ, Zou et al.(2019)์ DeepCrack์ ์ ์ํ์ฌ ๊ณ์ธต์ ํน์ง ์ถ์ถ ๊ธฐ๋ฐ์ ๊ท ์ด ๊ฒ์ถ ์ฑ๋ฅ ํฅ์์ ๋ณด๊ณ ํ์๋ค. ๋ํ Yang et al.(2018)์ FCN์ ์ด์ฉํ ํฝ์
๋จ์ ๊ท ์ด ๊ฒ์ถ์ ๊ฐ๋ฅ์ฑ์ ์ ์ํ์์ผ๋ฉฐ, Dorafshan et al.(2018)์ CNN ๊ธฐ๋ฐ ์ ๊ทผ๋ฒ์ ์ ์ฉ ๊ฐ๋ฅ์ฑ์ ํ์ธํ์๋ค. ๊ทธ๋ฌ๋ ๋๋ถ๋ถ์ ์ฐ๊ตฌ๋ ํน์ ์์ ์ ํ, ํนํ ๊ท ์ด ๊ฒ์ถ์ ์ง์ค๋์ด ์์ผ๋ฉฐ, ๊ท ์ดยท์ฒ ๊ทผ๋
ธ์ถยท๋ฐ๋ฝ์
๋์์ ๊ณ ๋ คํ๋ ์ฐ๊ตฌ๋ ์๋์ ์ผ๋ก ๋ถ์กฑํ๋ค. ์ค์ ๊ตฌ์กฐ๋ฌผ์์๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ด ๋ณตํฉ์ ์ผ๋ก ๋ฐ์ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ผ๋ฏ๋ก, ๋ค์ค ์์์ ๋์์
๊ณ ๋ คํ ์ ์๋ ๋ถํ ํ๋ ์์ํฌ๊ฐ ์๊ตฌ๋๋ค.
2.2 Multi-Damage Segmentation
๋ค์ค ์์ ๋ถํ ์ ํ๋์ ๋คํธ์ํฌ๋ฅผ ์ด์ฉํ์ฌ ์ฌ๋ฌ ์์ ์ ํ์ ๋์์ ์ธ์ํ๋ ๋ฐฉ๋ฒ์ผ๋ก, ์ต๊ทผ ๊ตฌ์กฐ๋ฌผ ์ ์ง๊ด๋ฆฌ ๋ถ์ผ์์ ๊ด์ฌ์ด ์ฆ๊ฐํ๊ณ ์๋ค(Bai et al., 2021;
Kim and Cho, 2020). ๋จ์ผ ์์ ๋ชจ๋ธ์ ๊ฐ๊ฐ ๋
๋ฆฝ์ ์ผ๋ก ์ด์ํ ๊ฒฝ์ฐ ์์ ์ ํ๋ณ๋ก ๋ณ๋์ ์ถ๋ก ๊ณผ์ ์ด ํ์ํ์ง๋ง, ๋ค์ค ์์ ๋ถํ ์ ํ๋์ ์ถ๋ก ๊ณผ์ ์์ ๋ณต์์ ์์
์ ๋ณด๋ฅผ ๋์์ ํ๋ํ ์ ์๋ค๋ ์ฅ์ ์ ๊ฐ์ง๋ค. ๊ทธ๋ฌ๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ๊ณผ ๊ฐ์ด ํ์ ํน์ฑ์ด ํฌ๊ฒ ๋ค๋ฅธ ์์๋ค์ ๋์ผํ ํน์ง ๊ณต๊ฐ์์ ํ์ต๋
๊ฒฝ์ฐ ํด๋์ค ๊ฐ ๊ฒฝ์๊ณผ ๊ฒฝ๊ณ ๊ฐ์ญ์ด ๋ฐ์ํ ์ ์๋ค. ์ด๋ฌํ ํ์์ ๋ค์ค ๊ณผ์ ํ์ต์์ ๋ณด๊ณ ๋๋ task interference ๋๋ negative
transfer ๋ฌธ์ ์ ๊ด๋ จ๋๋ค(Ding et al., 2023;
Vandenhende et al., 2020). ๋ํ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ๊ณ ๋ คํ์ง ์๋ ๊ฒฝ์ฐ ์ค์ ์์๊ณผ ๋ฌด๊ดํ ํด๋์ค๊ฐ ํจ๊ป ํ์ฑํ๋๊ฑฐ๋ ์ค๋ณต ์์ธก์ด ๋ฐ์ํ ์ ์๋ค. ๋ฐ๋ผ์
๋ค์ค ์์ ํ๊ฒฝ์์๋ ์์๋ณ ํน์ฑ์ ์ ์งํ๋ฉด์๋ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํจ๊ป ๊ณ ๋ คํ ์ ์๋ ๋ถํ ๊ตฌ์กฐ๊ฐ ์๊ตฌ๋๋ค.
2.3 Multi-Task Learning and Multi-Head Architecture
Multi-Task Learning(MTL)์ ํ๋์ ๋ชจ๋ธ์ด ์ฌ๋ฌ ๊ฐ์ ๊ด๋ จ ๊ณผ์ ๋ฅผ ๋์์ ํ์ตํ๋๋ก ์ค๊ณํ๋ ๋ฐฉ๋ฒ์ผ๋ก, ์ผ๋ฐ์ ์ผ๋ก ๊ณตํต ํน์ง ์ถ์ถ๊ธฐ์
๊ณผ์ ๋ณ ์ถ๋ ฅ ํค๋๋ก ๊ตฌ์ฑ๋๋ค(Caruana, 1997;
Crawshaw, 2020;
Kendall et al., 2018). ์ต๊ทผ ์ปดํจํฐ ๋น์ ๋ถ์ผ์์๋ ๊ฐ์ฒด ๊ฒ์ถ, ์๋ฏธ๋ก ์ ๋ถํ , ๊น์ด ์ถ์ ๋ฑ ๋ค์ํ ๋ฌธ์ ์ MTL์ด ์ ์ฉ๋๊ณ ์์ผ๋ฉฐ, ๊ด๋ จ ๊ณผ์ ๊ฐ ํน์ง ์ ๋ณด๋ฅผ ๊ณต์ ํจ์ผ๋ก์จ
์ฑ๋ฅ ํฅ์์ ๋ฌ์ฑํ๊ณ ์๋ค(Crawshaw, 2020;
Kendall et al., 2018). ๊ตฌ์กฐ๋ฌผ ์์ ๋ถํ ๊ด์ ์์ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ๋ชจ๋ ์ฝํฌ๋ฆฌํธ ์ดํ์ ๊ด๋ จ๋ ์์์ด์ง๋ง ํ์์ ํน์ฑ์ ์๋ก ๋ค๋ฅด๋ค. ๋ฐ๋ผ์ ๊ณต์ ํน์ง ๊ณต๊ฐ์
ํ์ฉํ๋ฉด์๋ ์์๋ณ ํน์ง์ ๋
๋ฆฝ์ ์ผ๋ก ํ์ตํ ์ ์๋ Multi-Head ๊ตฌ์กฐ๊ฐ ํจ๊ณผ์ ์ธ ๋์์ด ๋ ์ ์๋ค. ํนํ ๊ท ์ด์ ์ ํ ๊ตฌ์กฐ, ์ฒ ๊ทผ๋
ธ์ถ์
๋ฐฉํฅ์ฑ๊ณผ ์ง๊ฐ ํน์ฑ, ๋ฐ๋ฝ์ ๋ฉด์ ๊ธฐ๋ฐ ํน์ฑ์ ๊ฐ์ง๋ฏ๋ก ๋จ์ผ ์ถ๋ ฅ ๊ตฌ์กฐ๋ณด๋ค ์์๋ณ ์ ์ฉ ํค๋๋ฅผ ์ฌ์ฉํ๋ Multi-Head ๊ตฌ์กฐ๊ฐ ๋ณด๋ค ํจ๊ณผ์ ์ผ ์
์๋ค. ์ด๋ฌํ ํน์ฑ์ ๊ณ ๋ คํ์ฌ ๋ณธ ์ฐ๊ตฌ์์๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ์ํ Three-Multihead ๊ตฌ์กฐ๋ฅผ ์ฑํํ์๋ค.
2.4 Knowledge Distillation and Damage-Aware Learning
Knowledge Distillation(KD)์ ์ฑ๋ฅ์ด ์ฐ์ํ Teacher ๋ชจ๋ธ์ ์ง์์ Student ๋ชจ๋ธ๋ก ์ ๋ฌํ์ฌ ๋ณด๋ค ํจ์จ์ ์ธ ํ์ต์ ์ํํ๋
๋ฐฉ๋ฒ์ด๋ค(Hinton et al., 2015;
Romero et al., 2015). ์ผ๋ฐ์ ์ผ๋ก Teacher ๋ชจ๋ธ์ ์์ธก ๊ฒฐ๊ณผ ๋๋ ํน์ง ์ ๋ณด๋ฅผ Student ๋ชจ๋ธ์ด ํ์ตํจ์ผ๋ก์จ ์ฑ๋ฅ ํฅ์์ ์ ๋ํ๋ค. ํํธ ์ค์ ๊ตฌ์กฐ๋ฌผ์ ์์์
์๋ก ๋
๋ฆฝ์ ์ด์ง ์์ผ๋ฉฐ ์ดํ ๊ณผ์ ์ ๋ฐ๋ผ ์ผ์ ํ ๊ด๊ณ๋ฅผ ๊ฐ์ง๋ค. ์๋ฅผ ๋ค์ด ์ฒ ๊ทผ ๋ถ์์ ๊ท ์ด์ ์ ๋ฐํ ์ ์์ผ๋ฉฐ, ๊ท ์ด์ ์งํ์ ๋ฐ๋ฝ๊ณผ ์ฒ ๊ทผ๋
ธ์ถ๋ก
์ด์ด์ง ์ ์๋ค. ์ด๋ฌํ ํน์ฑ์ ๊ณ ๋ คํ์ฌ ์์๋ณ ํน์ง ์ ๋ณด๋ฅผ ํจ๊ณผ์ ์ผ๋ก ํ์ฉํ๋ฉด์๋ ์์ ๊ฐ ๊ด๊ณ๋ฅผ ๋ฐ์ํ ์ ์๋ ํ์ต ์ ๋ต์ด ํ์ํ๋ค. ๋ณธ ์ฐ๊ตฌ์์๋
๋จ์ผ ์์ Teacher ๋ชจ๋ธ์ ์ ๋ณด๋ฅผ ํ์ฉํ๊ธฐ ์ํ์ฌ Knowledge Distillation์ ์ ์ฉํ์์ผ๋ฉฐ, ์์ ๊ฐ ๊ด๊ณ๋ฅผ ๋ฐ์ํ๊ธฐ ์ํ Pairwise
Prior์ ์์ ํด๋์ค ๊ฐ ์ค๋ณต ํ์ฑํ๋ฅผ ์ต์ ํ๊ธฐ ์ํ Extra Loss๋ฅผ ํจ๊ป ์ ์ฉํ์๋ค. ์ด๋ฅผ ํตํด ๋ณตํฉ ์์ ํ๊ฒฝ์ ๋ํ ์ ์ ์ฑ๋ฅ ํฅ์์
๋๋ชจํ๊ณ ์ ํ์๋ค.
3. Proposed Three-Multihead Framework
3.1 Overview of the Proposed Framework
๋ณธ ์ฐ๊ตฌ๋ ์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์์ ๋ฐ์ํ๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ๋์์ ๋ถํ ํ๊ธฐ ์ํ Three Multihead ๊ธฐ๋ฐ ์๋ฏธ๋ก ์ ๋ถํ ํ๋ ์์ํฌ๋ฅผ
์ ์ํ๋ค. ์ ์ ๋ชจ๋ธ์ ํ๋์ ๊ณต์ ์ธ์ฝ๋์ ์ธ ๊ฐ์ ์์ ์ ์ฉ ํค๋๋ก ๊ตฌ์ฑ๋๋ค. ๊ณต์ ์ธ์ฝ๋๋ ์
๋ ฅ ์์์ผ๋ก๋ถํฐ ๊ณตํต ํน์ง์ ์ถ์ถํ๋ฉฐ, ๊ฐ ์์
์ ์ฉ ํค๋๋ ์์ ์ ํ๋ณ ํน์ง์ ๋
๋ฆฝ์ ์ผ๋ก ํ์ตํ๋ค. ์ด๋ฅผ ํตํด ํ๋์ ๋คํธ์ํฌ์์ ๋ค์ค ์์์ ๋์์ ์์ธกํ๋ฉด์๋ ์์๋ณ ํน์ฑ์ ํจ๊ณผ์ ์ผ๋ก ๋ฐ์ํ
์ ์๋๋ก ํ์๋ค. ๋ํ ๋จ์ผ ์์ ๋ชจ๋ธ๋ก๋ถํฐ ํ์ต๋ ์์๋ณ ํน์ง ์ ๋ณด๋ฅผ ํ์ฉํ๊ธฐ ์ํ์ฌ Knowledge Distillation(KD)์ ์ ์ฉํ์๋ค.
์์ธ๋ฌ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ฐ์ํ ์ ์๋ ํด๋์ค ๊ฐ ๊ฐ์ญ๊ณผ ์ค๋ณต ํ์ฑํ ๋ฌธ์ ๋ฅผ ์ํํ๊ธฐ ์ํ์ฌ Pairwise Prior์ Extra Loss๋ฅผ
๋์
ํ์๋ค. Pairwise Prior๋ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํ์ต ๊ณผ์ ์ ๋ฐ์ํ๋ฉฐ, Extra Loss๋ ์๋ก ๋ค๋ฅธ ์์ ํด๋์ค์
์ค๋ณต ํ์ฑํ๋ฅผ ์ต์ ํ๋ ์ญํ ์ ์ํํ๋ค. Fig. 1์ ์ ์๋ Three-Multihead ํ๋ ์์ํฌ์ ์ ์ฒด ๊ตฌ์กฐ๋ฅผ ๋ํ๋ธ๋ค. ์ ์ ๋ชจ๋ธ์ Knowledge Distillation, Pairwise
Prior ๋ฐ Extra Loss๋ฅผ ํตํฉ์ ์ผ๋ก ํ์ฉํ์ฌ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ณด๋ค ์์ ์ ์ธ ๋ค์ค ์์ ๋ถํ ์ฑ๋ฅ์ ํ๋ณดํ๋๋ก ์ค๊ณ๋์๋ค.
Fig. 1. Overall Architecture of the Proposed Three-Multihead Framework Incorporating
Knowledge Distillation, Pairwise Prior, and Extra Loss for Composite Damage Segmentation
3.2 Construction of Single-Damage Teacher Models
๋ค์ค ์์ ๋ถํ ๋ชจ๋ธ์ ๊ตฌ์ถํ๊ธฐ์ ์์ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ๋ํ ๋จ์ผ ์์ ๋ถํ ๋ชจ๋ธ์ ๊ฐ๊ฐ ๋
๋ฆฝ์ ์ผ๋ก ํ์ตํ์๋ค. ๊ฐ ๋ชจ๋ธ์ AI Hub
์ฌํ๊ธฐ๋ฐ์์ค ์์ ์์ ๋ฐ์ดํฐ์
(AI-Hub, 2024)์ ํ์ฉํ์ฌ ๊ตฌ์ถํ์์ผ๋ฉฐ, ํด๋น ์์ ์ ํ๋ง์ ๋์์ผ๋ก ํ์ต์ ์ํํ์๋ค. ๋ฐ์ดํฐ ๊ตฌ์ฑ ๋ฐ ํ์ต ์กฐ๊ฑด์ Table 1๊ณผ ๊ฐ๋ค.
Table 1. Training Dataset and Experimental Settings
|
Total number of images
|
Data split ratio
|
Input image size
|
Data augmentation
|
Model architecture
|
Loss function
|
Optimizer
|
Number of epochs
|
ยทTotal 10,500 ยท3,500 for Crack ยท3,500 for Spalling ยท3,500 for Rebar Exposure
|
ยท70 % for training ยท15 % for validation ยท15 % for testing
|
512 ร 512 pixel
|
ยทHorizontal flip ยทVertical flip ยทRotation ยทShift, scale, color jitter
|
DeepLabV3+ ResNet50
|
Cross Entropy Loss
|
AdamW
|
150
|
๊ฐ ์์ ์ ํ๋ณ๋ก 3,500์ฅ์ ์์์ ์ฌ์ฉํ์์ผ๋ฉฐ, ๋ฐ์ดํฐ์
์ ์ด๋ฏธ์ง ๋จ์๋ก ๋ฌด์์ ๋ถํ ํ์ฌ ํ์ต(70 %), ๊ฒ์ฆ(15 %), ํ
์คํธ(15 %)
๋ฐ์ดํฐ๋ก ๊ตฌ์ฑํ์๋ค. ์
๋ ฅ ์์ ํฌ๊ธฐ๋ 512 ร 512 pixel๋ก ์ค์ ํ์์ผ๋ฉฐ, ๋ชจ๋ธ์ ์ผ๋ฐํ ์ฑ๋ฅ ํฅ์์ ์ํ์ฌ horizontal flip,
vertical flip, rotation, shift, scale ๋ฐ color jitter ๋ฑ์ ๋ฐ์ดํฐ ์ฆ๊ฐ ๊ธฐ๋ฒ์ ์ ์ฉํ์๋ค. ๋ชจ๋ธ์ DeepLabV3+
๊ตฌ์กฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ฉฐ ๋ฐฑ๋ณธ์ผ๋ก ResNet50์ ์ฌ์ฉํ์๋ค(Chen et al., 2018;
He et al., 2016). ์์ค ํจ์๋ Cross Entropy Loss๋ฅผ ์ฌ์ฉํ์๊ณ , learning rate=$2.4 \times 10^{-4}$, weight decay=$1
\times 10^{-4}$, batch size=2 ๋ฐ AdamW optimizer๋ฅผ ์ ์ฉํ์ฌ ์ด 150 epoch ๋์ ํ์ต์ ์ํํ์๋ค. ์ฑ๋ฅ
ํ๊ฐ๋ IoU, Dice coefficient, Precision, Recall ๋ฐ F1 score๋ฅผ ์ด์ฉํ์์ผ๋ฉฐ, ๊ฐ ํ๊ฐ์งํ๋ Eqs. (1)~(5)์ ๊ฐ์ด ์ ์๋๋ค.
Eqs. (1)~(5)์์ TP, FP ๋ฐ FN์ ๊ฐ๊ฐ ์์ธก ๊ฒฐ๊ณผ์ ์ ๋ต ๊ฐ์ ์ผ์น ๋ฐ ์ค์ฐจ๋ฅผ ์๋ฏธํ๋ค. ๋ํ ๊ฒฝ๊ณ ๊ฒ์ถ ์ฑ๋ฅ์ ํ๊ฐํ๊ธฐ ์ํ์ฌ Boundary F1์
์ถ๊ฐ์ ์ผ๋ก ์ฌ์ฉํ์๋ค. Boundary F1์ ์์ธก ๊ฒฝ๊ณ์ ์ค์ ๊ฒฝ๊ณ ๊ฐ์ ์ผ์น๋๋ฅผ ํ๊ฐํ๋ ์งํ๋ก, ๊ฒฝ๊ณ ํฝ์
๊ธฐ๋ฐ์ precision๊ณผ recall์
์ด์ฉํ์ฌ ๊ณ์ฐ๋๋ค.
๊ฐ ์์๋ณ Optimal Threshold๋ ๊ฒ์ฆ ๋ฐ์ดํฐ์
์ ๋ํด ์ํํ threshold sweep ๊ฒฐ๊ณผ ์ค Dice score๊ฐ ์ต๋๊ฐ ๋๋ ๊ฐ์
์ฌ์ฉํ์๋ค. Table 2์ ๋ฐ๋ฅด๋ฉด ์ฒ ๊ทผ๋
ธ์ถ์ Dice 0.82, mIoU 0.70์ผ๋ก ๊ฐ์ฅ ๋์ ์ฑ๋ฅ์ ๋ํ๋์ผ๋ฉฐ, ๋ฐ๋ฝ์ Dice 0.80, ๊ท ์ด์ Dice 0.70์
๊ธฐ๋กํ์๋ค. ํนํ ๊ท ์ด์ Boundary F1์ด 0.55๋ก ๊ฐ์ฅ ๋๊ฒ ๋ํ๋ ์ ํ ๊ตฌ์กฐ์ ์ฐ๊ฒฐ์ฑ๊ณผ ๊ฒฝ๊ณ ๋ณด์กด ํน์ฑ์ด ๋น๊ต์ ์ ์ ์ง๋จ์ ํ์ธํ ์
์์๋ค. ๋ฐ๋ฉด ๋ฐ๋ฝ์ Dice 0.80์ ๊ธฐ๋กํ์์ผ๋ Boundary F1์ 0.28๋ก ๋ํ๋ ๊ฒฝ๊ณ ์ ๋ฐ๋ ์ธก๋ฉด์์ ์๋์ ์ผ๋ก ์ด๋ ค์์ด ์์์ ํ์ธํ์๋ค.
์ด๋ฌํ ๊ฒฐ๊ณผ๋ ์์ ์ ํ์ ๋ฐ๋ผ ํ์์ ํน์ฑ๊ณผ ๊ฒ์ถ ๋์ด๋๊ฐ ์์ดํจ์ ๋ณด์ฌ์ค๋ค. ๋ณธ ์ฐ๊ตฌ์์๋ ๊ฐ ๋จ์ผ ์์ ๋ชจ๋ธ์ Teacher ๋ชจ๋ธ๋ก ํ์ฉํ์ฌ
Knowledge Distillation์ ์ํํ๊ณ , ์ด๋ฅผ ํตํด ํ์ต๋ ์์๋ณ ํน์ง ์ ๋ณด๋ฅผ Three Multihead Student ๋ชจ๋ธ์ ์ ๋ฌํ๊ณ ์
ํ์๋ค.
Table 2. Performance Comparison of Single-Damage Segmentation Models
|
Damage Type
|
Optimal Epoch
|
Total number of images
|
Optimal Threshold
|
mIoU
|
Dice
|
Precision
|
Recall
|
F1
|
Boundary F1
|
|
Crack
|
95
|
3,500
|
0.59
|
0.55
|
0.70
|
0.64
|
0.78
|
0.70
|
0.55
|
|
Rebar Exposure
|
111
|
3,500
|
0.86
|
0.70
|
0.82
|
0.76
|
0.90
|
0.82
|
0.48
|
|
Spalling
|
104
|
3,500
|
0.70
|
0.68
|
0.80
|
0.72
|
0.91
|
0.80
|
0.28
|
3.3 Proposed Three-Multihead Student Model
3.3.1 Multihead Architecture
๋ณธ ์ฐ๊ตฌ์์๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ํ๋์ ๋คํธ์ํฌ์์ ๋์์ ๋ถํ ํ๊ธฐ ์ํ์ฌ Three Multihead ๊ธฐ๋ฐ Student ๋ชจ๋ธ์ ์ ์ํ๋ค.
์ ์ ๋ชจ๋ธ์ ํ๋์ ๊ณต์ ์ธ์ฝ๋์ ์ธ ๊ฐ์ ์์ ์ ์ฉ ํค๋๋ก ๊ตฌ์ฑ๋๋ค. ๊ณต์ ์ธ์ฝ๋๋ ์
๋ ฅ ์์์ผ๋ก๋ถํฐ ๊ณตํต ํน์ง์ ์ถ์ถํ๋ฉฐ, ๊ฐ ์์ ์ ์ฉ ํค๋๋
ํด๋น ์์์ ํ์์ ํน์ฑ์ ๋
๋ฆฝ์ ์ผ๋ก ํ์ตํ๋ค.
๊ท ์ด์ ์๊ณ ์ฐ์์ ์ธ ์ ํ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๋ฉฐ, ์ฒ ๊ทผ๋
ธ์ถ์ ๋ฐฉํฅ์ฑ๊ณผ ์ง๊ฐ ํน์ง์ด ๋๋๋ฌ์ง๋ค. ๋ฐ๋ฉด ๋ฐ๋ฝ์ ๋น๊ต์ ๋์ ๋ฉด์ ๊ธฐ๋ฐ์ ๋ถ๊ท์น ํ์์ ๋ํ๋ธ๋ค.
๋ฐ๋ผ์ ๋จ์ผ ์ถ๋ ฅ ๊ตฌ์กฐ์์๋ ์๋ก ๋ค๋ฅธ ์์์ ํน์ง์ด ๋์ผํ ํน์ง ๊ณต๊ฐ์์ ๊ฒฝ์ํ๊ฒ ๋์ง๋ง, Multihead ๊ตฌ์กฐ๋ ์์๋ณ ํน์ง ํํ์ ๋
๋ฆฝ์ ์ผ๋ก
ํ์ตํ ์ ์์ด ์ด๋ฌํ ๋ฌธ์ ๋ฅผ ์ํํ ์ ์๋ค. ๋ํ Knowledge Distillation์ ์ ์ฉํ์ฌ ๋จ์ผ ์์ Teacher ๋ชจ๋ธ์ ์ ๋ณด๋ฅผ Student
๋ชจ๋ธ์ ์ ๋ฌํจ์ผ๋ก์จ ์์๋ณ ํน์ง ํํ์ ์ ์งํ๋ฉด์ ๋ณตํฉ ์์์ ๋์์ ์์ธกํ ์ ์๋๋ก ํ์๋ค.
3.3.2 Knowledge Distillation
๋จ์ผ ์์ Teacher ๋ชจ๋ธ์ด ํ์ตํ ์์๋ณ ํน์ง ํํ ์ ๋ณด๋ฅผ Multihead Student ๋ชจ๋ธ์ ์ ๋ฌํ๊ธฐ ์ํ์ฌ Knowledge Distillation์
์ ์ฉํ์๋ค. Teacher ๋ชจ๋ธ์ ๊ฐ๊ฐ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ๋ํด ๋
๋ฆฝ์ ์ผ๋ก ํ์ต๋ ๋จ์ผ ์์ ๋ถํ ๋ชจ๋ธ์ด๋ฉฐ, Student ๋ชจ๋ธ์ ์ธ ์์์
๋์์ ์์ธกํ๋ Three Multihead ๊ตฌ์กฐ๋ก ๊ตฌ์ฑ๋๋ค. Knowledge Distillation์ Teacher ๋ชจ๋ธ์ ์์ธก ํน์ฑ์ Student
๋ชจ๋ธ์ด ํ์ตํ๋๋ก ํจ์ผ๋ก์จ ๊ฐ ์์์ ๋ํ ํน์ง ํํ ๋ฅ๋ ฅ์ ํจ๊ณผ์ ์ผ๋ก ์ ์งํ๋ฉด์๋ ํ๋์ ํตํฉ ๋ชจ๋ธ ๋ด์์ ๋ณตํฉ ์์์ ๋์์ ํ์ตํ ์ ์๋๋ก
ํ๋ค. ์ด๋ฅผ ์ํด Teacher์ Student์ ์์ธก ํ๋ฅ ๋ถํฌ ์ฐจ์ด๋ฅผ ์ต์ํํ๋ Distillation Loss๋ฅผ ์ ์ฉํ์๋ค. Knowledge
Distillation Loss๋ ๋ค์๊ณผ ๊ฐ์ด ์ ์๋๋ค.
์ฌ๊ธฐ์ $z_c^S$์ $z_c^T$๋ ๊ฐ๊ฐ Student ๋ชจ๋ธ๊ณผ Teacher ๋ชจ๋ธ์ ํด๋์ค c์ ๋ํ ์ถ๋ ฅ logit์ ๋ํ๋ด๋ฉฐ, T๋ distillation
temperature๋ฅผ ์๋ฏธํ๋ค. ๋ํ $\sigma(\cdot)$๋ sigmoid ํจ์์ด๋ฉฐ, $\|\cdot\|_2^2$๋ Mean Squared
Error(MSE) ๊ธฐ๋ฐ ๊ฑฐ๋ฆฌ ์ฒ๋๋ฅผ ๋ํ๋ธ๋ค. ๋ณธ ์ฐ๊ตฌ์์๋ Teacher์ Student์ temperature-scaled sigmoid ํ๋ฅ ๋งต
๊ฐ ์ฐจ์ด๋ฅผ ์ต์ํํจ์ผ๋ก์จ ๋จ์ผ ์์ Teacher ๋ชจ๋ธ์ด ํ์ตํ ์์๋ณ ํน์ง ํํ ์ ๋ณด๋ฅผ Student ๋ชจ๋ธ์ ์ ๋ฌํ๊ณ ์ ํ์๋ค. ์ด๋ฅผ ํตํด ์์๋ณ
ํน์ง ํํ์ ์ ์งํ๋ฉด์ ๋ณตํฉ ์์ ํ๊ฒฝ์ ๋ํ ์ ์ ์ฑ๋ฅ ํฅ์์ ์ ๋ํ์๋ค.
3.3.3 Pairwise Prior
์ค์ ์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์์๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ด ๋์ผ ์์ ๋ด์์ ํจ๊ป ๋ํ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค. ์ด๋ฌํ ๋ณตํฉ ์์ ํ๊ฒฝ์์๋ ์๋ก ๋ค๋ฅธ ์์
ํด๋์ค๊ฐ ๋์ผ ์์ญ ๋๋ ์ธ์ ์์ญ์์ ๋์์ ํ์ฑํ๋๋ฉด์ ํด๋์ค ๊ฐ ๊ฐ์ญ๊ณผ ๊ณผ๊ฒ์ถ์ด ๋ฐ์ํ ์ ์๋ค. ๊ทธ๋ฌ๋ ์ผ๋ฐ์ ์ธ ๋ค์ค ํด๋์ค ๋ถํ ๋ชจ๋ธ์ ๊ฐ
์์ ํด๋์ค๋ฅผ ๋
๋ฆฝ์ ์ผ๋ก ํ์ตํ๊ธฐ ๋๋ฌธ์ ์์ ๊ฐ ๊ณต๊ฐ์ ๊ด๊ณ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ์ถฉ๋ถํ ๋ฐ์ํ๊ธฐ ์ด๋ ต๋ค. ๋ณธ ์ฐ๊ตฌ์์๋ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ฐ์ํ๋
ํด๋์ค ๊ฐ ๊ฐ์ญ์ ์ํํ๊ณ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํ์ต ๊ณผ์ ์ ๋ฐ์ํ๊ธฐ ์ํ์ฌ Pairwise Prior๋ฅผ ๋์
ํ์๋ค. Pairwise
Prior Loss๋ ๋ค์๊ณผ ๊ฐ์ด ์ ์๋๋ค.
์ฌ๊ธฐ์ $P_i$์ $P_j$๋ ๊ฐ๊ฐ ์์ ํด๋์ค i์ j์ ์์ธก ํ๋ฅ ๋งต์ ๋ํ๋ด๋ฉฐ, $R_{ij}$๋ ์์ ํด๋์ค ์(i, j)์ ๋ํ Pairwise
Prior Loss์ ์๋์ ๊ธฐ์ฌ๋๋ฅผ ์กฐ์ ํ๋ ๊ด๊ณ ๊ฐ์ค์น์ด๋ค. ๋ํ $\odot$๋ ์์๋ณ ๊ณฑ์ ์๋ฏธํ๋ฉฐ, $\|\cdot\|_1$๋ L1 norm์
๋ํ๋ธ๋ค. ๋ณธ ์ฐ๊ตฌ์์๋ ํน์ ์์ ์กฐํฉ์ ๊ณต์กด ๊ฐ๋ฅ์ฑ์ ์ฐจ๋ฑ์ ์ผ๋ก ๊ฐ์ ํ๊ธฐ๋ณด๋ค๋ Pairwise Prior์ ๊ธฐ๋ณธ ํจ๊ณผ๋ฅผ ๋์ผํ ์กฐ๊ฑด์์ ๊ฒ์ฆํ๊ธฐ
์ํ์ฌ ๋ชจ๋ ์์ ํด๋์ค ์กฐํฉ์ ๋์ผํ ๊ฐ์ค์น $R_{ij} = 1$์ ์ ์ฉํ์๋ค. ํด๋น ๊ฐ์ ํ์ต ๊ณผ์ ์์ ๊ณ ์ ํ์์ผ๋ฉฐ, ๋ชจ๋ ๋น๊ต ์คํ๊ณผ Ablation
Study์ ๋์ผํ๊ฒ ์ฌ์ฉํ์๋ค. ๋ฐ๋ผ์ $R_{ij}$๋ ์์ ์กฐํฉ๋ณ ๊ณต์กด ํ๋ฅ ์ ์ง์ ์๋ฏธํ๋ ๊ฐ์ด ์๋๋ผ, ํด๋์ค ์๋ณ ์ ๊ทํ ํญ์ ์๋์ ํฌ๊ธฐ๋ฅผ
์กฐ์ ํ๋ ๊ณ์๋ก ํด์๋๋ค.
๋ณธ ์ฐ๊ตฌ์ Pairwise Prior๋ Eq. (7)๊ณผ ๊ฐ์ด ์์ ํด๋์ค ๊ฐ ์์ธก ํ๋ฅ ๋งต์ ์ํธ์์ฉ์ ๋ฐ์ํ๋ ์ ๊ทํ ํญ์ผ๋ก ๊ตฌ์ฑํ์๋ค. ์ค์ ๊ตฌํ์์๋ ์ฒ ๊ทผ๋
ธ์ถ์ด ๋ฐ๋ฝ ์์ญ๋ณด๋ค ๊ณผ๋ํ๊ฒ ํ์ฅ๋๋ ๊ฒฝ์ฐ๋ฅผ
์ต์ ํ๊ณ , ์ฒ ๊ทผ๋
ธ์ถ ์ฃผ๋ณ์์ ๋ฐ๋ฝ ๋ฐ ๊ท ์ด์ด ๋ํ๋ ์ ์๋ ๊ณต๊ฐ์ ๊ด๊ณ๋ฅผ ๊ณ ๋ คํ๋๋ก ์ค๊ณํ์๋ค. ๋ํ ๊ท ์ด์ด ์ฒ ๊ทผ๋
ธ์ถ ๋๋ ๋ฐ๋ฝ๊ณผ ๋ฌด๊ดํ๊ฒ ๊ณผ๋ํ๊ฒ
ํ์ฑํ๋๋ ๊ฒฝ์ฐ๋ฅผ ์ํํจ์ผ๋ก์จ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ฐ์ํ ์ ์๋ ํด๋์ค ๊ฐ ๊ฐ์ญ์ ์ค์ด๊ณ ์ ํ์๋ค.
๋ฐ๋ผ์ Pairwise Prior๋ ํน์ ์์ ์กฐํฉ์ ๊ณต์กด์ ์ผ๋ฅ ์ ์ผ๋ก ๊ฐ์ ํ๋ ํญ์ด ์๋๋ผ, ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํ์ต ๊ณผ์ ์
๋ฐ์ํ์ฌ ์์ธก ๊ฒฐ๊ณผ์ ๊ตฌ์กฐ์ ์ ํฉ์ฑ์ ํฅ์์ํค๊ธฐ ์ํ ์ ๊ทํ ํญ์ผ๋ก ์ฌ์ฉ๋์๋ค. ์ด๋ฅผ ํตํด ์์๋ณ ํน์ง ํํ์ ์ผ๊ด์ฑ์ ์ ์งํ๋ฉด์ ํด๋์ค ๊ฐ ๊ฐ์ญ์
์ํํ๊ณ , ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ณด๋ค ์์ ์ ์ธ ๋ถํ ์ฑ๋ฅ์ ์ ๋ํ ์ ์๋ค. ํนํ ์ด๋ฌํ ๊ณต๊ฐ์ ๊ด๊ณ๋ ์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์์ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ด
๋
๋ฆฝ์ ์ผ๋ก ๋ฐ์ํ๊ธฐ๋ณด๋ค๋ ๊ณต๊ฐ์ ์ผ๋ก ์ธ์ ํ์ฌ ๋ํ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค๋ ๊ตฌ์กฐ์ ํน์ฑ์ ๋ฐ์ํ ๊ฒ์ผ๋ก, ์์ ๊ฐ ๊ณต๊ฐ์ ์ฐ๊ด์ฑ์ ๊ณ ๋ คํ ๋ณด๋ค ํ์ค์ ์ธ ๋ณตํฉ
์์ ์์ธก์ ๊ฐ๋ฅํ๊ฒ ํ๋ค.
3.3.4 Extra Loss
Pairwise Prior๊ฐ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํ์ต ๊ณผ์ ์ ๋ฐ์ํ๋ ์ ๊ทํ ํญ์ด๋ผ๋ฉด, Extra Loss๋ ๋์ผ ํฝ์
์์น์์
๋ฐ์ํ๋ ์๋ก ๋ค๋ฅธ ์์ ํด๋์ค์ ์ค๋ณต ํ์ฑํ๋ฅผ ์ง์ ์ต์ ํ๊ธฐ ์ํ ์์ค ํญ์ด๋ค. ๋ณตํฉ ์์ ๋ถํ ์์๋ ์๋ก ๋ค๋ฅธ ์์ ํด๋์ค๊ฐ ๋์ผ ํฝ์
์์น์์
๋์์ ๋์ ํ๋ฅ ๋ก ์์ธก๋๋ ๊ฒฝ์ฐ๊ฐ ๋ฐ์ํ ์ ์๋ค. ์๋ฅผ ๋ค์ด ํ๋์ ํฝ์
์ด ๊ท ์ด๊ณผ ์ฒ ๊ทผ๋
ธ์ถ ๋๋ ๋ฐ๋ฝ์ผ๋ก ๋์์ ํ์ฑํ๋ ๊ฒฝ์ฐ ์ค์ ์์ ๊ตฌ์กฐ์
์ผ์นํ์ง ์๋ ์ค๋ณต ์์ธก์ด ๋ฐ์ํ ์ ์์ผ๋ฉฐ, ์ด๋ ์์ ํด๋์ค ๊ฐ ํ๋ณ๋ ฅ์ ์ ํ์ํค๊ณ ๊ฒฐ๊ณผ ํด์์ ์ ๋ขฐ๋๋ฅผ ๊ฐ์์ํฌ ์ ์๋ค. ๋ณธ ์ฐ๊ตฌ์์๋ ์ด๋ฌํ
๋ฌธ์ ๋ฅผ ์ํํ๊ธฐ ์ํ์ฌ Extra Loss๋ฅผ ๋์
ํ์๋ค. Extra Loss๋ ๋ค์๊ณผ ๊ฐ์ด ์ ์๋๋ค.
์ฌ๊ธฐ์ $P_i$์ $P_j$๋ ๊ฐ๊ฐ ์์ ํด๋์ค i์ j์ ์์ธก ํ๋ฅ ๋งต์ ์๋ฏธํ๋ค. Eq. (8)์ ์๋ก ๋ค๋ฅธ ์์ ํด๋์ค๊ฐ ๋์ผ ํฝ์
์์น์์ ๋์์ ๋์ ํ๋ฅ ์ ๊ฐ์ง๋ ๊ฒฝ์ฐ ํจ๋ํฐ๋ฅผ ๋ถ์ฌํจ์ผ๋ก์จ ํด๋์ค ๊ฐ ์ค๋ณต ์์ธก์ ๊ฐ์์ํค๋๋ก ์ค๊ณ๋์๋ค.
๋ฐ๋ผ์ Pairwise Prior์ Extra Loss๋ ์๋ก ๋ค๋ฅธ ๋ชฉ์ ์ ๊ฐ์ง๋ฉฐ ์ํธ ๋ณด์์ ์ผ๋ก ์์ฉํ๋ค. Pairwise Prior๋ ์์ ํด๋์ค
๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ํ์ต ๊ณผ์ ์ ๋ฐ์ํ๋ ์ ๊ทํ ํญ์ผ๋ก ์์ฉํ๋ฉฐ, Extra Loss๋ ๋ชจ๋ ์์ ํด๋์ค ์์ ๋ํด ๋์ผ ํฝ์
์์น์์ ๋ฐ์ํ๋
์ค๋ณต ํ์ฑํ๋ฅผ ์ง์ ์ต์ ํ๋ ์ญํ ์ ์ํํ๋ค. ๋ ์์ค ํจ์๋ ์ํธ ๋ณด์์ ์ผ๋ก ์์ฉํ์ฌ ํด๋์ค ๊ฐ ๊ฐ์ญ๊ณผ ์ค๋ณต ์์ธก์ ๊ฐ์์ํค๊ณ ๋ณด๋ค ์์ ์ ์ธ ๋ณตํฉ
์์ ๋ถํ ๊ฒฐ๊ณผ๋ฅผ ์ ๋ํ๋ค.
3.3.5 Final Loss Function
์ ์๋ Three-Multihead Student ๋ชจ๋ธ์ ๊ธฐ๋ณธ ๋ถํ ์์ค, Knowledge Distillation Loss, Pairwise Prior
Loss ๋ฐ Extra Loss๋ฅผ ํตํฉํ์ฌ ํ์ต๋๋ค. ์ต์ข
์์ค ํจ์๋ ๋ค์๊ณผ ๊ฐ์ด ์ ์๋๋ค.
์ฌ๊ธฐ์ $L_{seg}$๋ ๊ธฐ๋ณธ ๋ถํ ์์ค ํจ์์ด๋ฉฐ, $L_{KD}$, $L_{pair}$, $L_{extra}$๋ ๊ฐ๊ฐ Knowledge Distillation,
Pairwise Prior ๋ฐ Extra Loss๋ฅผ ์๋ฏธํ๋ค. ๋ํ $\lambda_{KD}$, $\lambda_{pair}$, $\lambda_{extra}$๋
๊ฐ ์์ค ํญ์ ์๋์ ์ค์๋๋ฅผ ์กฐ์ ํ๋ ๊ฐ์ค์น์ด๋ค. ๋ณธ ์ฐ๊ตฌ์์๋ KD temperature์ ์์๋ณ KD ๊ฐ์ค์น๋ฅผ ์ ํ์ฐ๊ตฌ ๋ฐ ์๋น ์คํ ๊ฒฐ๊ณผ๋ฅผ
๋ฐํ์ผ๋ก ์ค์ ํ์๋ค. ํนํ KD temperature๋ ์ ํ์ฐ๊ตฌ์์ ์ผ๋ฐ์ ์ผ๋ก ์ฌ์ฉ๋๋ ๋ฒ์๋ฅผ ์ฐธ๊ณ ํ์ฌ 2.0์ผ๋ก ์ค์ ํ์์ผ๋ฉฐ, ์์๋ณ KD ๊ฐ์ค์น๋
์๋น ์คํ์ ํตํด ๊ฒฐ์ ํ์๋ค. ์ต์ข
์์ค ํจ์๋ ๊ธฐ๋ณธ ๋ถํ ์ฑ๋ฅ์ ์ ์งํ๋ฉด์ ๋จ์ผ ์์ Teacher ๋ชจ๋ธ์ ์ง์์ ํ์ฉํ๊ณ , ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์
์ํธ์์ฉ ์ ๋ณด์ ์ค๋ณต ํ์ฑํ ์ ์ฝ์ ๋์์ ๋ฐ์ํ๋๋ก ๊ตฌ์ฑ๋์๋ค. ์ด๋ฅผ ํตํด ์ ์ ๋ชจ๋ธ์ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ฐ์ํ ์ ์๋ ํด๋์ค ๊ฐ ๊ฐ์ญ๊ณผ ์ค๋ณต
์์ธก์ ์ํํ๊ณ ๋ณด๋ค ์์ ์ ์ธ ๋ค์ค ์์ ๋ถํ ์ฑ๋ฅ์ ํ๋ณดํ๋๋ก ์ค๊ณ๋์๋ค.
4. Experimental Results and Analysis
4.1 Baseline Model and Proposed Full Model Comparison
Table 3๊ณผ ๊ฐ์ด ๊ธฐ์ค ๋ชจ๋ธ์ ์ ์ ๋ชจ๋ธ๊ณผ ๋์ผํ ๊ณต์ ์ธ์ฝ๋ ๋ฐ Multihead ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๋, Knowledge Distillation, Pairwise
Prior ๋ฐ Extra Loss๋ฅผ ์ ์ฉํ์ง ์์ ๋ชจ๋ธ๋ก ์ ์ํ์๋ค. ์ด๋ฅผ ํตํด ๋คํธ์ํฌ ๊ตฌ์กฐ์ ์ฐจ์ด๊ฐ ์๋ ํ์ต ์ ๋ต๊ณผ ์์ค ํจ์ ์ค๊ณ๊ฐ ๋ณตํฉ ์์
๋ถํ ์ฑ๋ฅ์ ๋ฏธ์น๋ ์ํฅ์ ์ ๋์ ์ผ๋ก ํ๊ฐํ๊ณ ์ ํ์๋ค.
๋ณตํฉ ์์ ๋ถํ ์์๋ ๋คํธ์ํฌ ๊ตฌ์กฐ๋ฟ๋ง ์๋๋ผ ํ์ต ๋ฐฉ์๊ณผ ์์ค ํจ์ ๊ตฌ์ฑ์ ๋ฐ๋ผ์๋ ์ฑ๋ฅ ์ฐจ์ด๊ฐ ๋ฐ์ํ ์ ์๋ค. ๋ฐ๋ผ์ ๊ณต์ ํ ๋น๊ต๋ฅผ ์ํ์ฌ ๊ธฐ์ค
๋ชจ๋ธ๊ณผ ์ ์ ๋ชจ๋ธ์ ๋์ผํ ๋คํธ์ํฌ ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ์์ผ๋ฉฐ, ๋ ๋ชจ๋ธ ๊ฐ ์ฐจ์ด๋ Knowledge Distillation, Pairwise Prior
๋ฐ Extra Loss์ ์ ์ฉ ์ฌ๋ถ๋ก ์ ํํ์๋ค.
Table 3. Quantitative Comparison between Baseline and Proposed Full Model
|
Component
|
Shared Encoder
|
Multihead Outputs
|
Knowledge Distillation
|
Pairwise prior
|
Extra Loss
|
|
Baseline Model
|
โ
|
โ
|
โ
|
โ
|
โ
|
|
Proposed Full Model
|
โ
|
โ
|
โ
|
โ
|
โ
|
์คํ ๊ฒฐ๊ณผ(Table 4), ์ ์ ๋ชจ๋ธ์ ๋ชจ๋ ์์ ์ ํ์์ ๊ธฐ์ค ๋ชจ๋ธ๋ณด๋ค ํฅ์๋ ์ฑ๋ฅ์ ๋ํ๋๋ค. ๊ท ์ด์ Dice score๋ 0.26์์ 0.32๋ก ์ฆ๊ฐํ์ฌ ์ฝ 23.0
%์ ์๋์ ์ฑ๋ฅ ํฅ์์ ๋ณด์์ผ๋ฉฐ, ์ฒ ๊ทผ๋
ธ์ถ์ 0.39์์ 0.45๋ก ์ฆ๊ฐํ์ฌ ์ฝ 15.3 %, ๋ฐ๋ฝ์ 0.46์์ 0.49๋ก ์ฆ๊ฐํ์ฌ ์ฝ 6.5
% ํฅ์๋์๋ค. ์ธ ์์์ ํ๊ท Dice๋ 0.37์์ 0.42๋ก ํฅ์๋์ด ์ฝ 13.5 %์ ์๋์ ์ฑ๋ฅ ํฅ์์ ๋ํ๋๋ค. ํนํ ๊ท ์ด ํด๋์ค์์ ๊ฐ์ฅ
ํฐ ์ฑ๋ฅ ํฅ์์ด ๊ด์ฐฐ๋์๋ค. ์ด๋ Knowledge Distillation์ ํตํ ์์๋ณ ํน์ง ์ ๋ณด ํ์ฉ๊ณผ Pairwise Prior ๋ฐ Extra
Loss์ ์ํ ํด๋์ค ๊ฐ ๊ฐ์ญ ์ํ ํจ๊ณผ๊ฐ ๋ณตํฉ์ ์ผ๋ก ์์ฉํ ๊ฒฐ๊ณผ๋ก ํ๋จ๋๋ค. ์ด๋ฌํ ๊ฒฐ๊ณผ๋ ์ ์๋ Three-Multihead ๊ตฌ์กฐ๊ฐ ์๋ก ๋ค๋ฅธ
ํ์์ ํน์ฑ์ ๊ฐ์ง๋ ์์๋ค์ ํจ๊ณผ์ ์ผ๋ก ๋ถ๋ฆฌํ๊ณ ํํํ ์ ์์์ ๋ณด์ฌ์ค๋ค.
ํํธ Table 2์ ๋จ์ผ ์์ ๋ถํ ๊ฒฐ๊ณผ์ ๋น๊ตํ๋ฉด Table 4์ Dice ๊ฐ์ ์ ๋ฐ์ ์ผ๋ก ๋ฎ๊ฒ ๋ํ๋ฌ๋ค. ์ด๋ ๋ณตํฉ ์์ ๋ถํ ์ด ์ฌ๋ฌ ์์์ ๋์์ ๊ตฌ๋ถํด์ผ ํ๋ ๋ณด๋ค ์ด๋ ค์ด ๋ฌธ์ ์ด๊ธฐ ๋๋ฌธ์ด๋ค. ๋ฐ๋ผ์ ๋ณธ ๊ฒฐ๊ณผ๋
์ ๋์ ์ธ ์ฑ๋ฅ ์์น๋ณด๋ค๋ ๋ณตํฉ ์์ ํ๊ฒฝ์์์ ์๋์ ์ฑ๋ฅ ํฅ์ ๊ด์ ์์ ํด์ํ๋ ๊ฒ์ด ํ๋นํ๋ค.
๊ธฐ์ค ๋ชจ๋ธ์ ์ฌ๋ฌ ์์์ ๋์์ ์์ธกํ ์ ์์ผ๋ ์์ ๊ฐ ๊ด๊ณ๋ฅผ ๊ณ ๋ คํ์ง ์๊ธฐ ๋๋ฌธ์ ๋ฐฐ๊ฒฝ ์์ญ์ด๋ ์์ ๊ฒฝ๊ณ ๋ถ๊ทผ์์ ๋ถํ์ํ ํด๋์ค ํ์ฑํ๊ฐ
๋ฐ์ํ๋ ๊ฒฝํฅ์ ๋ณด์๋ค. ๋ฐ๋ฉด ์ ์ ๋ชจ๋ธ์ Knowledge Distillation์ ํตํด ์์๋ณ ํน์ง ํํ์ ์ ์งํ๊ณ Pairwise Prior์
Extra Loss๋ฅผ ํตํด ํด๋์ค ๊ฐ ๊ฐ์ญ ๋ฐ ์ค๋ณต ํ์ฑํ๋ฅผ ์ํํจ์ผ๋ก์จ ๋ณด๋ค ์์ ์ ์ด๊ณ ์ง์ค๋ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ์๋ค. ์ด๋ฌํ ๊ฒฐ๊ณผ๋ ์ ์๋ ํ์ต
์ ๋ต์ด ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ค์ค ์์ ๋ถํ ์ฑ๋ฅ ํฅ์์ ํจ๊ณผ์ ์ผ๋ก ๊ธฐ์ฌํจ์ ๋ณด์ฌ์ค๋ค.
Table 4. Class-wise Performance Comparison
|
Damage Type
|
Baseline Model Dice
|
Proposed Full Model Dice
|
Improvement
|
Relative Gain (%)
|
|
Crack
|
0.26
|
0.32
|
+0.06
|
+23.0 %
|
|
Rebar
|
0.39
|
0.45
|
+0.06
|
+15.3 %
|
|
Spalling
|
0.46
|
0.49
|
+0.03
|
+6.5 %
|
|
Mean
|
0.37
|
0.42
|
+0.05
|
+13.5 %
|
Fig. 2์ ์ ์ฑ์ ๋น๊ต ๊ฒฐ๊ณผ์์๋ ์ ์ ๋ชจ๋ธ์ ์ฑ๋ฅ ํฅ์ ๊ฒฝํฅ์ ํ์ธํ ์ ์๋ค. Fig. 2(a)์ ์ฒ ๊ทผ๋
ธ์ถ ์ฌ๋ก์์ ๊ธฐ์ค ๋ชจ๋ธ์ ์ค์ ์ฒ ๊ทผ๋
ธ์ถ ์์ญ ์ธ์๋ ์ฃผ๋ณ ๋ฐฐ๊ฒฝ ์์ญ์์ ๊ท ์ด ํด๋์ค๊ฐ ํจ๊ป ํ์ฑํ๋๋ ์ค๊ฒ์ถ ํ์์ ๋ณด์๋ค. ๋ฐ๋ฉด ์ ์ ๋ชจ๋ธ์
์ฒ ๊ทผ๋
ธ์ถ ์์ญ์ ๋ณด๋ค ์ง์ค๋ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ์ฌ ๋ถํ์ํ ํด๋์ค ํ์ฑํ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ๊ฐ์์์ผฐ๋ค.
Fig. 2. Qualitative Comparison of Structural Damage Segmentation Results between the
Baseline Model and the Proposed Full Model. (a) Rebar Exposure, (b) Spalling, (c)
Crack
Fig. 2(b)์ ๋ฐ๋ฝ ์ฌ๋ก์์๋ ๊ธฐ์ค ๋ชจ๋ธ์ด ์ค์ ๋ฐ๋ฝ ์์ญ์ ์ผ๋ถ๋ง ๊ฒ์ถํ ๋ฐ๋ฉด, ์ ์ ๋ชจ๋ธ์ GT์ ์ ์ฌํ ํ์๊ณผ ๋ฒ์๋ฅผ ๋ณด๋ค ์์ ์ ์ผ๋ก ๋ณต์ํ์๋ค. ์ด๋
์ ์ ๋ชจ๋ธ์ด ๋ฐ๋ฝ ์์ญ์ ๊ณต๊ฐ์ ํน์ฑ์ ๋ณด๋ค ํจ๊ณผ์ ์ผ๋ก ํ์ตํ์์์ ์์ฌํ๋ค. ๋ํ Fig. 2(c)์ ๊ท ์ด ์ฌ๋ก์์๋ ๊ธฐ์ค ๋ชจ๋ธ์์ ๋ค์์ ์ฐ๋ฐ์ ์ธ ์ค๊ฒ์ถ์ด ๊ด์ฐฐ๋์์ผ๋, ์ ์ ๋ชจ๋ธ์ ๋ฐฐ๊ฒฝ ์์ญ์ ๋ถํ์ํ ํ์ฑํ๋ฅผ ๊ฐ์์ํค๋ฉด์ ๊ท ์ด์ ์ฐ์์ฑ๊ณผ ์ฐ๊ฒฐ์ฑ์
๋ณด๋ค ์์ ์ ์ผ๋ก ์ ์งํ๋ ๊ฒฝํฅ์ ๋ํ๋๋ค.
์ด๋ฌํ ๊ฒฐ๊ณผ๋ ์ ์ ๋ชจ๋ธ์ด ๋จ์ํ ์ฌ๋ฌ ์์ ํด๋์ค๋ฅผ ๋์์ ์์ธกํ๋ ๊ฒ์ ๋์ด, Knowledge Distillation์ ํตํ ์์๋ณ ํน์ง ์ ๋ณด
ํ์ฉ๊ณผ Pairwise Prior ๋ฐ Extra Loss๋ฅผ ํตํ ํด๋์ค ๊ฐ ๊ฐ์ญ ์ํ ํจ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ๋ณด๋ค ์์ ์ ์ธ ๋ณตํฉ ์์ ๋ถํ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ
์ ์์์ ๋ณด์ฌ์ค๋ค.
4.2 Comparison between Proposed Full Model and Multi-Damage Representation Model
๋ณธ ์ ์์๋ ์ ์ ๋ชจ๋ธ๊ณผ Multi-Damage Representation ๋ชจ๋ธ์ ๋น๊ตํ์ฌ ๋ณตํฉ ์์ ํ๊ฒฝ์์์ ๋ถํ ์ฑ๋ฅ ์ฐจ์ด๋ฅผ ๋ถ์ํ์๋ค. Multi-Damage
Representation ๋ชจ๋ธ์ ์ฌ๋ฌ ์์ ํด๋์ค๋ฅผ ๋์์ ํ์ฑํํ ์ ์์ผ๋, ์์ ๊ฐ ๊ด๊ณ๋ฅผ ๋ช
์์ ์ผ๋ก ๊ณ ๋ คํ์ง ์์ ํด๋์ค ๊ฐ ๊ฐ์ญ๊ณผ ์ค๋ณต
ํ์ฑํ๊ฐ ๋ฐ์ํ ์ ์๋ค. ๋ฐ๋ฉด ์ ์ ๋ชจ๋ธ์ Pairwise Prior์ Extra Loss๋ฅผ ์ ์ฉํ์ฌ ์์ ๊ฐ ๊ด๊ณ๋ฅผ ๋ฐ์ํ๊ณ ์ค๋ณต ํ์ฑํ๋ฅผ ์ต์ ํ๋๋ก
์ค๊ณ๋์๋ค.
์คํ ๊ฒฐ๊ณผ Multi-Damage Representation ๋ชจ๋ธ์ Dice score ํ๊ท ์ 0.35๋ฅผ ๊ธฐ๋กํ ๋ฐ๋ฉด, ์ ์ ๋ชจ๋ธ์ 0.42์ ๊ธฐ๋กํ์ฌ
์ฝ 20.0 %์ ์๋์ ์ฑ๋ฅ ํฅ์์ ๋ํ๋๋ค. ํนํ ๊ท ์ด์ 0.27์์ 0.32๋ก ํฅ์๋์์ผ๋ฉฐ, ๋ฐ๋ฝ์ 0.35์์ 0.49๋ก ์ฆ๊ฐํ์ฌ ๊ฐ์ฅ ํฐ
์ฑ๋ฅ ํฅ์์ ๋ณด์๋ค. ๋ฐ๋ฉด ์ฒ ๊ทผ๋
ธ์ถ์ ๋ ๋ชจ๋ธ ๋ชจ๋ ์ ์ฌํ ์ฑ๋ฅ์ ๋ํ๋๋ค.
Table 5. Class-wise Performance Comparison between the Proposed Full Model and the
Multi-Damage Representation Model
|
Model
|
Dice
|
Total Improvement
|
Relative Gain (%)
|
|
Crack
|
Rebar Exposure
|
Spalling
|
Mean
|
|
Multi-damage Representation
|
0.27
|
0.45
|
0.35
|
0.35
|
-
|
-
|
|
Proposed Full
|
0.32
|
0.45
|
0.49
|
0.42
|
+0.07
|
20.0
|
Fig. 3์์ Multi-Damage Representation ๋ชจ๋ธ์ ์ค์ ์ฒ ๊ทผ๋
ธ์ถ ์์ญ์ ๊ฒ์ถํ์์ผ๋, Ground Truth(GT)์ ์กด์ฌํ์ง ์๋ ๋ฐ๋ฝ
๋ฐ ๊ท ์ด ํด๋์ค๊ฐ ํจ๊ป ํ์ฑํ๋๋ ํ์์ด ๊ด์ฐฐ๋์๋ค. ํนํ ์ฒ ๊ทผ๋
ธ์ถ ์ฃผ๋ณ ์์ญ์ด ๋์ ๋ฐ๋ฝ ์์ญ์ผ๋ก ์์ธก๋๋ฉด์ ํด๋์ค ๊ฐ ์ค๋ณต ํ์ฑํ๊ฐ ๋ฐ์ํ์๋ค.
์ด๋ฌํ ๊ฒฐ๊ณผ๋ ์์ ๊ฐ ๊ด๊ณ๋ฅผ ๋ช
์์ ์ผ๋ก ๊ณ ๋ คํ์ง ์์ ๊ฒฝ์ฐ ์ค์ ์์๊ณผ ๋ฌด๊ดํ ํด๋์ค๊ฐ ๋์์ ํ์ฑํ๋ ์ ์์์ ๋ณด์ฌ์ค๋ค. ๋ฐ๋ฉด ์ ์ ๋ชจ๋ธ์ ์ฒ ๊ทผ๋
ธ์ถ
์์ญ์ ์ง์ค๋ ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์์ฑํ์์ผ๋ฉฐ, GT์ ์กด์ฌํ์ง ์๋ ๋ฐ๋ฝ ๋ฐ ๊ท ์ด ํด๋์ค์ ํ์ฑํ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ์ต์ ํ์๋ค. ์ด๋ Pairwise Prior์
Extra Loss๊ฐ ํด๋์ค ๊ฐ ๊ฐ์ญ์ ๊ฐ์์ํค๊ณ ์ค๋ณต ์์ธก์ ์ํํ๋ ๋ฐ ๊ธฐ์ฌํ์์์ ๋ณด์ฌ์ค๋ค.
Fig. 3. Qualitative Comparison of Composite-Damage Segmentation Results among Ground
Truth, the Proposed Full Model, and the Multi-Damage Representation Model
4.3 Ablation Study
์ ์ ๋ชจ๋ธ์ ๊ตฌ์ฑํ๋ ํต์ฌ ์์์ธ Pairwise Prior์ Extra Loss์ ํจ๊ณผ๋ฅผ ๋ถ์ํ๊ธฐ ์ํ์ฌ Ablation Study๋ฅผ ์ํํ์๋ค.
Table 6์ ๊ฐ ๊ตฌ์ฑ ์์๋ฅผ ์ ๊ฑฐํ ๊ฒฝ์ฐ์ ์ฑ๋ฅ ๋ณํ๋ฅผ ๋ํ๋ธ๋ค.
Table 6. Ablation Study of the Proposed Full Model
|
Model
|
Crack
|
Rebar Exposure
|
Spalling
|
Mean
|
|
Baseline Model
|
0.26
|
0.39
|
0.46
|
0.37
|
|
Without Extra Loss
|
0.29
|
0.44
|
0.39
|
0.37
|
|
Without Pairwise prior
|
0.30
|
0.43
|
0.39
|
0.37
|
|
Proposed Full Model
|
0.32
|
0.45
|
0.49
|
0.42
|
Table 6์ ๋ฐ๋ฅด๋ฉด ์ ์ ๋ชจ๋ธ์ ํ๊ท Dice 0.42๋ก ๊ฐ์ฅ ๋์ ์ฑ๋ฅ์ ๋ํ๋๋ค. ๋ฐ๋ฉด Pairwise Prior ๋๋ Extra Loss๋ฅผ ์ ๊ฑฐํ ๊ฒฝ์ฐ
ํ๊ท Dice๋ ๋ชจ๋ 0.37๋ก ๊ฐ์ํ์๋ค. ํ๊ท Dice๋ง์ผ๋ก๋ ๊ธฐ์ค ๋ชจ๋ธ๊ณผ ์ ์ฌํ ์์ค์ผ๋ก ๋ณด์ผ ์ ์์ผ๋, ํด๋์ค๋ณ ์ฑ๋ฅ ๋ถ์ ๊ฒฐ๊ณผ ๋ฐ๋ฝ ํด๋์ค์์
ํ์ ํ ์ฑ๋ฅ ์ ํ๊ฐ ํ์ธ๋์๋ค. ํนํ ๋ ๊ฒฝ์ฐ ๋ชจ๋ ๋ฐ๋ฝ์ Dice๊ฐ 0.49์์ 0.39๋ก ํฌ๊ฒ ๊ฐ์ํ์ฌ ๊ฐ์ฅ ํฐ ์ฑ๋ฅ ์ ํ๋ฅผ ๋ณด์๋ค. ์ด๋ Pairwise
Prior๊ฐ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ๋ฐ์ํ์ฌ ํด๋์ค ๊ฐ ๊ฐ์ญ์ ์ํํ๊ณ , Extra Loss๊ฐ ๋์ผ ์์น์์ ๋ฐ์ํ๋ ์ค๋ณต ํ์ฑํ๋ฅผ
์ต์ ํจ์ผ๋ก์จ ํด๋์ค ๊ฐ ๊ตฌ๋ถ์ฑ์ ํฅ์์ํค๊ธฐ ๋๋ฌธ์ผ๋ก ํด์๋๋ค. ๋ฐ๋ผ์ ๋ ์์ค ํญ์ ์ํธ ๋ณด์์ ์ผ๋ก ์์ฉํ๋ฉฐ, ๋ณตํฉ ์์ ํ๊ฒฝ์์ ์์ ์ ์ธ ๋ค์ค ์์
๋ถํ ์ฑ๋ฅ ํ๋ณด์ ์ค์ํ ์ญํ ์ ์ํํ๋ ๊ฒ์ผ๋ก ํ์ธ๋์๋ค.
4.4 Initial Evaluation on Real Composite-Damage Images
๊ธฐ์กด ์คํ์ ๋จ์ผ ์์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ํ๋์๋ค. ๊ทธ๋ฌ๋ ์ค์ ์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์์๋ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ด ๋์์ ์กด์ฌํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ผ๋ฏ๋ก
์ค์ ๋ณตํฉ ์์ ํ๊ฒฝ์์์ ์ผ๋ฐํ ์ฑ๋ฅ ๊ฒ์ฆ์ด ํ์ํ๋ค. ์ด๋ฅผ ์ํ์ฌ ์ค์ ๊ตฌ์กฐ๋ฌผ ์์์ ๋์์ผ๋ก ๋ณตํฉ ์์ ๋ฐ์ดํฐ์
์ ๊ตฌ์ถํ์๋ค. ๋ฐ์ดํฐ์
์ ๊ท ์ด
+ ์ฒ ๊ทผ๋
ธ์ถ, ๊ท ์ด + ๋ฐ๋ฝ, ์ฒ ๊ทผ๋
ธ์ถ + ๋ฐ๋ฝ ๋ฐ ๊ท ์ด + ์ฒ ๊ทผ๋
ธ์ถ + ๋ฐ๋ฝ์ ๋ค ๊ฐ์ง ๋ณตํฉ ์์ ์กฐํฉ์ผ๋ก ๊ตฌ์ฑํ์์ผ๋ฉฐ, ์ด 44์ฅ์ ์ด๋ฏธ์ง์ ๊ท ์ด
81๊ฐ, ์ฒ ๊ทผ๋
ธ์ถ 49๊ฐ, ๋ฐ๋ฝ 65๊ฐ์ ์์ ๋ผ๋ฒจ์ ํฌํจํ๋ค. Fig. 4๋ ๊ตฌ์ถ๋ ๋ณตํฉ ์์ ๋ฐ์ดํฐ์
์ ๋ํ ์ฌ๋ก๋ฅผ ๋ํ๋ธ๋ค.
Fig. 4. Examples of Composite Damage Images and Corresponding Ground-truth Masks.
(a) Rebar Exposure + Spalling, (b) Rebar Exposure + Spalling + Crack
์ ์๋ Three-Multihead ๋ชจ๋ธ์ ์ถ๊ฐ ํ์ต ์์ด ์ค์ ๋ณตํฉ ์์ ๋ฐ์ดํฐ์
์ ์ ์ฉํ์ฌ ์ผ๋ฐํ ์ฑ๋ฅ์ ํ๊ฐํ์๋ค. ํ๊ฐ ๊ฒฐ๊ณผ๋ Table 7 ๋ฐ Table 8๊ณผ ๊ฐ๋ค.
Table 7. Generalization Performance on Real Composite-Damage Images
|
Damage Combination
|
Dice
|
Damage Combination
|
Dice
|
|
Crack + Rebar
|
0.27
|
Crack + Rebar + Spalling
|
0.32
|
|
Crack + Spalling
|
0.31
|
Rebar + Spalling
|
0.53
|
Table 8. Class-wise Evaluation Results on the Composite-Damage Dataset
|
Damage Type
|
Dice
|
IoU
|
Precision
|
Recall
|
|
Crack
|
0.02
|
0.01
|
0.01
|
0.07
|
|
Rebar Exposure
|
0.47
|
0.33
|
0.52
|
0.47
|
|
Spalling
|
0.58
|
0.43
|
0.48
|
0.76
|
์คํ ๊ฒฐ๊ณผ(Table 8), ์์ ์ ํ๋ณ๋ก๋ ๋ฐ๋ฝ(0.58)๊ณผ ์ฒ ๊ทผ๋
ธ์ถ(0.47)์ด ๋น๊ต์ ์์ ์ ์ธ ์ฑ๋ฅ์ ๋ณด์ธ ๋ฐ๋ฉด, ๊ท ์ด์ Dice 0.02๋ก ๋งค์ฐ ๋ฎ์ ์ฑ๋ฅ์ ๋ํ๋๋ค.
์ด๋ ๋จ์ผ ์์ ๋ฐ์ดํฐ๋ก ํ์ต๋ ๋ชจ๋ธ์ด ์ค์ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ค์ํ ์์ ์กฐํฉ์ ์ถฉ๋ถํ ๋ฐ์ํ์ง ๋ชปํ๊ธฐ ๋๋ฌธ์ผ๋ก ํ๋จ๋๋ค. ํนํ ๊ท ์ด์ ์ธ์ ์์
๋ฐ ๋ฐฐ๊ฒฝ ํจํด์ ์ํฅ์ ํฌ๊ฒ ๋ฐ์ ์ผ๋ฐํ ์ฑ๋ฅ์ด ํ์ ํ ์ ํ๋๋ ๊ฒ์ผ๋ก ๋ํ๋ฌ๋ค.
4.5 Fine-Tuning and Threshold Optimization
์ ์ ์ ๊ฒฐ๊ณผ์์ ํ์ธํ ๋ฐ์ ๊ฐ์ด, ์ ์๋ Three-Multihead ๋ชจ๋ธ์ ์ถ๊ฐ ํ์ต ์์ด ์ค์ ๋ณตํฉ ์์ ๋ฐ์ดํฐ์
์ ์ ์ฉํ์์ ๋ ์ฒ ๊ทผ๋
ธ์ถ
๋ฐ ๋ฐ๋ฝ์ ๋ํด์๋ ์ผ์ ์์ค์ ์ผ๋ฐํ ์ฑ๋ฅ์ ์ ์งํ์์ผ๋, ๊ท ์ด์ ๊ฒฝ์ฐ ๋งค์ฐ ๋ฎ์ ๊ฒ์ถ ์ฑ๋ฅ์ ๋ํ๋๋ค. ์ด๋ ๋จ์ผ ์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ์ผ๋ก ํ์ต๋
ํน์ง ํํ์ด ์ค์ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ๋ํ๋๋ ๋ค์ํ ์์ ์กฐํฉ๊ณผ ์๊ฐ์ ๊ฐ์ญ์ ์ถฉ๋ถํ ๋ฐ์ํ์ง ๋ชปํ๊ธฐ ๋๋ฌธ์ผ๋ก ํ๋จ๋๋ค. ์ด์ ๋ณธ ์ฐ๊ตฌ์์๋ ๊ตฌ์ถํ
๋ณตํฉ ์์ ๋ฐ์ดํฐ์
์ ์ด์ฉํ์ฌ ์ ์ ๋ชจ๋ธ์ ๋ํ ์ถ๊ฐ Fine-Tuning์ ์ํํ์๋ค. Fine-Tuning์ ์ ์๋ Full Model์ ํ์ต
๊ฐ์ค์น๋ฅผ ์ด๊ธฐ๊ฐ์ผ๋ก ์ฌ์ฉํ์์ผ๋ฉฐ, ๋ณตํฉ ์์ ํ๊ฒฝ์ ๋ํ ์ ์ ๋ฅ๋ ฅ ํฅ์์ ๋ชฉ์ ์ผ๋ก ์ํ๋์๋ค. Table 9๋ Fine-Tuning ์ ํ์ ์ ์ฒด ์ฑ๋ฅ ๋ณํ๋ฅผ ๋ํ๋ธ๋ค.
Table 9. Comparison of Mean Dice before and after Fine-Tuning
|
Metric
|
Before Fine-Tuning
|
After Fine-Tuning
|
Improvement
|
|
Mean Dice
|
0.35
|
0.57
|
+0.22
|
Fine-Tuning ๊ฒฐ๊ณผ ์ ์ฒด ํ๊ท Dice๋ 0.35์์ 0.57๋ก ํฅ์๋์์ผ๋ฉฐ, ์ฝ 62.8 %์ ์๋์ ์ฑ๋ฅ ํฅ์์ ๋ํ๋๋ค. ์ด๋ ์ ํ๋
์์ ๋ณตํฉ ์์ ๋ฐ์ดํฐ๋ง์ผ๋ก๋ ์ค์ ํ๊ฒฝ์ ๋ํ ์ ์ ์ฑ๋ฅ์ด ํฌ๊ฒ ํฅ์๋ ์ ์์์ ๋ณด์ฌ์ค๋ค. ์ถ๊ฐ์ ์ผ๋ก Fine-Tuned ๋ชจ๋ธ์ ์ถ๋ ฅ ํ๋ฅ ๋งต์
๋ํด ํด๋์ค๋ณ Threshold Optimization์ ์ํํ์๋ค. ๊ฐ ์์ ํด๋์ค๋ณ๋ก threshold sweep์ ์ํํ ํ ๊ฒ์ฆ ๋ฐ์ดํฐ์
์์
Dice score๊ฐ ์ต๋๊ฐ ๋๋ ๊ฐ์ ์ต์ threshold๋ก ์ ์ ํ์๋ค.
Threshold Optimization ์ดํ ์ ์ฒด ํ๊ท Dice๋ 0.58๋ก ๋ํ๋ Fine-Tuning ์งํ์ 0.57๊ณผ ์ ์ฌํ ์์ค์ ์ ์งํ์๋ค.
๋ฐ๋ผ์ ํด๋์ค๋ณ ์๊ณ๊ฐ ์กฐ์ ์ ๋ฐ๋ฅธ ์ ์ฒด ํ๊ท ์ฑ๋ฅ์ ์ถ๊ฐ ํฅ์ ํญ์ ์ ํ์ ์ด์๋ค. ๋ค๋ง ๊ท ์ด๊ณผ ์ฒ ๊ทผ๋
ธ์ถ์ฒ๋ผ ์ถ๋ ฅ ํ๋ฅ ๋ถํฌ์ ๊ธฐ๋ณธ ์๊ณ๊ฐ์ ๋ฏผ๊ฐํ
ํด๋์ค์์๋ Precision๊ณผ Recall์ ๊ท ํ์ ์กฐ์ ํ๋ ๋ณด์ ํจ๊ณผ๊ฐ ํ์ธ๋์๋ค. ์ด์ ๋ณธ ์ฐ๊ตฌ์์๋ Threshold Optimization์
์ ์ฒด ์ฑ๋ฅ์ ํฌ๊ฒ ํฅ์์ํค๋ ๋
๋ฆฝ์ ํ์ต ๊ธฐ๋ฒ์ด๋ผ๊ธฐ๋ณด๋ค, Fine-Tuned ๋ชจ๋ธ์ ํด๋์ค๋ณ ์ถ๋ ฅ ํน์ฑ์ ์กฐ์ ํ๋ ํ์ฒ๋ฆฌ ๊ธฐ๋ฐ calibration
๋จ๊ณ๋ก ํด์ํ์๋ค.
Table 10. Best Threshold and Class-Wise Performance after Threshold Sweep
|
Class
|
Optimal Threshold
|
Dice
|
IoU
|
Precision
|
Recall
|
|
Crack
|
0.40
|
0.36 (0.02)
|
0.23
|
0.30
|
0.50
|
|
Rebar Exposure
|
0.25
|
0.60 (0.47)
|
0.46
|
0.61
|
0.77
|
|
Spalling
|
0.55
|
0.79 (0.58)
|
0.67
|
0.77
|
0.83
|
|
Mean
|
0.40
|
0.58
|
0.45
|
0.56
|
0.70
|
Fig. 5๋ Fine-Tuning ๋ฐ ํด๋์ค๋ณ Threshold Optimization ์ดํ์ ๋ํ์ ์ธ ์ ์ฑ์ ๊ฒฐ๊ณผ๋ฅผ ๋ํ๋ธ๋ค. ์ฒ ๊ทผ๋
ธ์ถ๊ณผ ๋ฐ๋ฝ์ด ๋์์ ์กด์ฌํ๋
๊ฒฝ์ฐ ๋ ์์ ์์ญ์ด ๋น๊ต์ ๋ช
ํํ๊ฒ ๋ถ๋ฆฌ๋์์ผ๋ฉฐ, ๊ท ์ด์ด ํฌํจ๋ ๋ณตํฉ ์์ ์ฌ๋ก์์๋ ์ค์ ์์ ๊ตฌ์กฐ์์ ์ ํฉ์ฑ์ด ๊ฐ์ ๋๋ ๊ฒฝํฅ์ ํ์ธํ์๋ค. ๋ค๋ง
Threshold Optimization์ ๋ฐ๋ฅธ ์ ์ฒด ํ๊ท ์ฑ๋ฅ ํฅ์ ํญ์ ์ ํ์ ์ด๋ฏ๋ก, ๋ณธ ๊ฒฐ๊ณผ๋ ํด๋์ค๋ณ ์์ธก ๊ท ํ์ ์กฐ์ ํ ๋ณด์ ํจ๊ณผ์ ๊ด์ ์์
ํด์ํ์๋ค. ๋ง์ง๋ง์ผ๋ก Table 11์ ๋ณตํฉ ์์ ์กฐํฉ๋ณ ์ฑ๋ฅ ํ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ๋ํ๋ธ๋ค.
Fig. 5. Representative Segmentation Results after Fine-tuning and Class-specific Threshold
Optimization on the Composite-damage Dataset. (a) Rebar Exposure + Spalling (Composite-Damage
Dice = 0.80), (b) Rebar Exposure + Spalling (Composite-Damage Dice = 0.72), (c) Crack
+ Rebar Exposure + Spalling (Composite-Damage Dice = 0.65)
Table 11. Case-wise Performance after Applying Class-Specific Thresholds
|
Damage Combination
|
Mean Dice
|
Mean IoU
|
|
Crack + Rebar
|
0.43
|
0.31
|
|
Crack + Rebar + Spalling
|
0.64
|
0.50
|
|
Crack + Spalling
|
0.67
|
0.55
|
|
Rebar + Spalling
|
0.62
|
0.50
|
|
Overall Mean
|
0.58
|
0.45
|
Table 11์ ๋ฐ๋ฅด๋ฉด ๋ณตํฉ ์์ ์กฐํฉ๋ณ ์ฑ๋ฅ์ ํ๊ท Dice 0.43~0.67 ๋ฒ์๋ก ๋ํ๋ฌ์ผ๋ฉฐ, Crack + Spalling ์กฐํฉ์์ ๊ฐ์ฅ ๋์ ์ฑ๋ฅ(0.67)์
๊ธฐ๋กํ์๋ค. ๋ฐ๋ฉด Crack + Rebar ์กฐํฉ์ 0.43์ผ๋ก ๊ฐ์ฅ ๋ฎ์ ์ฑ๋ฅ์ ๋ํ๋๋ค. ์ด๋ ๊ท ์ด๊ณผ ์ฒ ๊ทผ๋
ธ์ถ์ด ํจ๊ป ์กด์ฌํ ๊ฒฝ์ฐ ๋ ์์์ ์ ํ์
ํน์ง๊ณผ ์ฃผ๋ณ ์์์ด ์๋ก ๊ฐ์ญํ์ฌ ์์ธก ๋์ด๋๊ฐ ์ฆ๊ฐํ๊ธฐ ๋๋ฌธ์ผ๋ก ํ๋จ๋๋ค.
๋ํ Ablation Study ๊ฒฐ๊ณผ Pairwise Prior์ Extra Loss๊ฐ ์ฑ๋ฅ ํฅ์์ ๊ฐ์ฅ ํฌ๊ฒ ๊ธฐ์ฌํ๋ ๊ฒ์ผ๋ก ํ์ธ๋์์ผ๋ฉฐ, ์ด๋
๋ณตํฉ ์์ ํ๊ฒฝ์์ ์์ ํด๋์ค ๊ฐ ์ํธ์์ฉ ์ ๋ณด์ ์ค๋ณต ํ์ฑํ ์ต์ ๊ฐ ์ค์ํ ์ญํ ์ ์ํํจ์ ๋ณด์ฌ์ค๋ค. ์ถ๊ฐ์ ์ผ๋ก, ์ ์ ๋ชจ๋ธ์ ๋ณตํฉ ์์ ๋ฐ์ดํฐ
๊ธฐ๋ฐ Fine-Tuning์ ํตํด ํ๊ท Dice๋ฅผ 0.35์์ 0.58๊น์ง ํฅ์์์ผฐ๋ค. ์ด๋ฌํ ๊ฒฐ๊ณผ๋ ๋ณตํฉ ์์ ๋ฐ์ดํฐ์ ๊ท๋ชจ์ ๋ค์์ฑ์ด ํ๋๋ ๊ฒฝ์ฐ
์ถ๊ฐ์ ์ธ ์ฑ๋ฅ ํฅ์์ด ๊ฐ๋ฅํจ์ ์์ฌํ๋ค. ๋ฐ๋ผ์ ์ค์ ๊ตฌ์กฐ๋ฌผ ์ ๊ฒ ํ๊ฒฝ์ ์ ์ฉํ๊ธฐ ์ํด์๋ ๋ค์ํ ๋ณตํฉ ์์ ์ฌ๋ก๋ฅผ ํฌํจํ ๋ฐ์ดํฐ์
๊ตฌ์ถ์ด ์ค์ํ๋ฉฐ,
ํฅํ ๋๊ท๋ชจ ๋ณตํฉ ์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ํ์ต์ ํตํด ๋ณด๋ค ๋์ ๋ณตํฉ ์์ ๋ถํ ์ฑ๋ฅ ํ๋ณด๊ฐ ๊ฐ๋ฅํ ๊ฒ์ผ๋ก ๊ธฐ๋๋๋ค.
4.6 Comparison between Single-Damage and Composite-Damage Performance
Table 12์ ๋ฐ๋ฅด๋ฉด ๋ณตํฉ ์์ ํ๊ฒฝ์์๋ ๋ชจ๋ ์์ ์ ํ์์ ๋จ์ผ ์์ ํ๊ฒฝ ๋๋น ์ฑ๋ฅ ์ ํ๊ฐ ๊ด์ฐฐ๋์๋ค. ํนํ ๊ท ์ด์ Dice๊ฐ 0.70์์ 0.36์ผ๋ก
ํฌ๊ฒ ๊ฐ์ํ์ฌ ๊ฐ์ฅ ํฐ ์ฑ๋ฅ ์ ํ๋ฅผ ๋ํ๋๋ค. ์ด๋ ๊ท ์ด์ด ๊ฐ๋๊ณ ์ ํ์ ์ธ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๋ฉฐ, ์ค์ ๋ณตํฉ ์์ ํ๊ฒฝ์์๋ ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ๊ณผ ์ธ์ ํ์ฌ
๋ํ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ ํด๋์ค ๊ฐ ๊ฐ์ญ๊ณผ ์๊ฐ์ ํผ๋์ ์ํฅ์ ํฌ๊ฒ ๋ฐ๊ธฐ ๋๋ฌธ์ผ๋ก ํ๋จ๋๋ค. ๋ฐ๋ฉด ๋ฐ๋ฝ์ Dice๊ฐ 0.80์์ 0.79๋ก ๊ฑฐ์ ๋์ผํ
์์ค์ ์ ์งํ์ฌ ๋ณตํฉ ์์ ํ๊ฒฝ์์๋ ๋น๊ต์ ์์ ์ ์ธ ๋ถํ ์ฑ๋ฅ์ ๋ํ๋๋ค. ์ด๋ฌํ ๊ฒฐ๊ณผ๋ ๋ณตํฉ ์์ ๋ถํ ์ด ๋จ์ผ ์์ ๊ฒ์ถ๋ณด๋ค ๋์ ๋์ด๋๋ฅผ ๊ฐ์ง๋
๋ฌธ์ ์์ ๋ณด์ฌ์ค๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ์ ์ ๋ชจ๋ธ์ ๋ณตํฉ ์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ Fine-Tuning๊ณผ ํด๋์ค๋ณ Threshold Optimization์
ํตํด ์ค์ ๋ณตํฉ ์์ ํ๊ฒฝ์ ๋ํ ์ ์ ๋ฅ๋ ฅ์ ํฅ์์์ผฐ์ผ๋ฉฐ, ํนํ ๋ฐ๋ฝ๊ณผ ์ฒ ๊ทผ๋
ธ์ถ์์๋ ๋น๊ต์ ์์ ์ ์ธ ์ฑ๋ฅ์ ์ ์งํ ์ ์์์ ํ์ธํ์๋ค.
Table 12. Comparison between Single-Damage and Composite-Damage Performance
|
Damage Type
|
Single-Damage Dice
|
Composite-Damage Dice (Fine-tuning + Threshold)
|
Difference (%)
|
|
Crack
|
0.70
|
0.36
|
-48.6
|
|
Rebar Exposure
|
0.82
|
0.60
|
-26.8
|
|
Spalling
|
0.80
|
0.79
|
-1.30
|
5. Conclusion
๋ณธ ์ฐ๊ตฌ์์๋ ์ฒ ๊ทผ์ฝํฌ๋ฆฌํธ ๊ตฌ์กฐ๋ฌผ์ ๋ํ์ ์ธ ํ๋ฉด ์์์ธ ๊ท ์ด, ์ฒ ๊ทผ๋
ธ์ถ ๋ฐ ๋ฐ๋ฝ์ ๋์์ ๋ถํ ํ๊ธฐ ์ํ Three-Multihead ๊ธฐ๋ฐ ์๋ฏธ๋ก ์
๋ถํ ํ๋ ์์ํฌ๋ฅผ ์ ์ํ์๋ค. ์ ์ ๋ชจ๋ธ์ ๊ณต์ ์ธ์ฝ๋์ ์์๋ณ ์ ์ฉ ํค๋๋ก ๊ตฌ์ฑ๋๋ฉฐ, ๋จ์ผ ์์ Teacher ๋ชจ๋ธ์ ์ง์์ ํ์ฉํ๊ธฐ ์ํ Knowledge
Distillation, ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด๋ฅผ ๋ฐ์ํ๊ธฐ ์ํ Pairwise Prior, ๊ทธ๋ฆฌ๊ณ ์ค๋ณต ํ์ฑํ๋ฅผ ์ต์ ํ๊ธฐ ์ํ Extra
Loss๋ฅผ ํตํฉ์ ์ผ๋ก ์ ์ฉํ์๋ค.
์คํ ๊ฒฐ๊ณผ, ์ ์ ๋ชจ๋ธ์ Baseline ๋ชจ๋ธ ๋๋น ํ๊ท Dice score๋ฅผ 0.37์์ 0.42๋ก ํฅ์์์ผ ์ฝ 13.5 %์ ์๋์ ์ฑ๋ฅ ํฅ์์
๋ํ๋๋ค. ๋ํ Multi-Damage Representation ๋ชจ๋ธ๊ณผ ๋น๊ตํ์ฌ ํ๊ท Dice ๊ธฐ์ค ์ฝ 20.0 %์ ์๋์ ์ฑ๋ฅ ํฅ์์ ๊ธฐ๋กํ์์ผ๋ฉฐ,
์ ์ฑ์ ๋น๊ต ๊ฒฐ๊ณผ์์๋ ์ค์ ์์๊ณผ ๋ฌด๊ดํ ํด๋์ค ํ์ฑํ๊ฐ ๊ฐ์ํ๊ณ ๋ณด๋ค ์์ ์ ์ธ ๋ถํ ๊ฒฐ๊ณผ๋ฅผ ์์ฑํจ์ ํ์ธํ์๋ค.
Ablation Study ๊ฒฐ๊ณผ Pairwise Prior์ Extra Loss๋ฅผ ์ ๊ฑฐํ ๊ฒฝ์ฐ ํ๊ท Dice๊ฐ ๋ชจ๋ 0.37 ์์ค์ผ๋ก ๊ฐ์ํ์์ผ๋ฉฐ,
ํนํ ๋ฐ๋ฝ ํด๋์ค์์ ๊ฐ์ฅ ํฐ ์ฑ๋ฅ ์ ํ๊ฐ ๋ํ๋ฌ๋ค. ์ด๋ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด์ ๋ฐ์๊ณผ ์ค๋ณต ํ์ฑํ ์ต์ ๊ฐ ๋ณตํฉ ์์ ๋ถํ ์ฑ๋ฅ
ํฅ์์ ์ค์ํ ์ญํ ์ ์ํํจ์ ๋ณด์ฌ์ค๋ค.
๋ํ ์ค์ ๊ตฌ์กฐ๋ฌผ์์ ์์งํ 44์ฅ์ ๋ณตํฉ ์์ ์ด๋ฏธ์ง๋ฅผ ์ด์ฉํ์ฌ ์ค์ ๋ณตํฉ ์์ ํ๊ฒฝ์์์ ์ฑ๋ฅ์ ํ๊ฐํ์๋ค. ์ถ๊ฐ ํ์ต ์์ด ์ ์ฉํ ๊ฒฝ์ฐ ํ๊ท
Dice๋ 0.35๋ฅผ ๊ธฐ๋กํ์์ผ๋ฉฐ, ๋ณตํฉ ์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ Fine-Tuning ์ดํ 0.57๋ก ํฅ์๋์๋ค. ์ดํ ํด๋์ค๋ณ Threshold Optimization์
์ ์ฉํ ๊ฒฐ๊ณผ ํ๊ท Dice๋ 0.58์ ๊ธฐ๋กํ์๋ค. Threshold Optimization์ ๋ฐ๋ฅธ ์ ์ฒด ํ๊ท ์ฑ๋ฅ์ ์ถ๊ฐ ํฅ์ ํญ์ ์ ํ์ ์ด์์ผ๋,
ํด๋์ค๋ณ ์ถ๋ ฅ ํ๋ฅ ์ ์ฐจ์ด๋ฅผ ๋ณด์ ํ๊ณ Precision๊ณผ Recall์ ๊ท ํ์ ์กฐ์ ํ๋ ํจ๊ณผ๊ฐ ํ์ธ๋์๋ค. ํนํ ๊ท ์ด ํด๋์ค์์๋ Fine-Tuning์
ํตํด ๊ฐ์ฅ ํฐ ์ฑ๋ฅ ๊ฐ์ ์ด ๋ํ๋ ๋ณตํฉ ์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ํ์ต์ ํจ๊ณผ๋ฅผ ํ์ธํ ์ ์์๋ค.
๋จ์ผ ์์ ํ๊ฒฝ๊ณผ ๋ณตํฉ ์์ ํ๊ฒฝ์ ๋น๊ตํ ๊ฒฐ๊ณผ, ๋ณตํฉ ์์ ๋ถํ ์ ์์ ๊ฐ ์๊ฐ์ ๊ฐ์ญ๊ณผ ๊ณต๊ฐ์ ์ธ์ ์ฑ์ผ๋ก ์ธํด ์ฌ์ ํ ๋์ ๋์ด๋๋ฅผ ๊ฐ์ง๋ ๊ฒ์ผ๋ก
๋ํ๋ฌ๋ค. ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ์ ์ ๋ชจ๋ธ์ ์ค์ ๋ณตํฉ ์์ ๋ฐ์ดํฐ์
์ ์ด์ฉํ Fine-Tuning์ ํตํด ์ฑ๋ฅ ํฅ์ ๊ฐ๋ฅ์ฑ์ ํ์ธํ ์ ์์์ผ๋ฉฐ, ๋ณตํฉ
์์ ๋ฐ์ดํฐ ๊ธฐ๋ฐ ํ์ต์ ์ค์์ฑ์ ํ์ธํ์๋ค.
ํฅํ ์ฐ๊ตฌ์์๋ ๋ณด๋ค ๋ค์ํ ๋ณตํฉ ์์ ์ฌ๋ก๋ฅผ ํฌํจํ๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ ๊ตฌ์ถํ๊ณ , ๋ณตํฉ ์์ ํ๊ฒฝ์ ํนํ๋ ํ์ต ์ ๋ต์ ์ ์ฉํจ์ผ๋ก์จ ์ค์ ๋ณตํฉ ์์
ํ๊ฒฝ์ ๋ํ ์ ์ ์ฑ๋ฅ์ ๋์ฑ ํฅ์์ํฌ ํ์๊ฐ ์๋ค. ๋ํ ๋ณตํฉ ์์ ๋ฐ์ดํฐ๊ฐ ์ถฉ๋ถํ ํ๋ณด๋ ๊ฒฝ์ฐ ๋ณตํฉ ์์ ๋ถํ ์ฑ๋ฅ๊ณผ ๋จ์ผ ์์ ๋ถํ ์ฑ๋ฅ ๊ฐ์
๊ฒฉ์ฐจ๋ฅผ ์ค์ผ ์ ์์ ๊ฒ์ผ๋ก ๊ธฐ๋๋๋ค. ๋ณธ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ ๋ณตํฉ ์์ ํ๊ฒฝ์์ ์์ ํด๋์ค ๊ฐ ๊ณต๊ฐ์ ์ํธ์์ฉ ์ ๋ณด์ ๋ฐ์๊ณผ ์ค๋ณต ํ์ฑํ ์ต์ ๊ฐ ์ค์ํ
์ค๊ณ ์์์์ ์์ฌํ๋ค.