2.1 Line-Arts Automatic Colorization Service

기존 선화 자동채색 서비스로는 Petalica Paint ^[2] 및 Clip Studio가 있다. Petalica Paint는 온라인 서비스를 통해 512 x 512 pixel 해상도 규격으로 채색을 지원하며 채색 특징에 따라 “Tanpopo”, “Satsuki”, “Canna” 3가지의 모델을 지원한다. Clip Studio는 Photoshop 과 같은 레이어를 지원하는 상업용 도구이며 선 레이어와 별도의 힌트 레이어를 만들어 채색 이미지가 생성된 레이어를 만들어 낸다. Clip Studio는 레이어를 지원하기 때문에 선 영역 외부로 번진 색상 이미지를 마스킹하는 방식을 통해 고품질의 결과물을 생성할 수 있는 장점이 있다.

2.2 Fully Automatic Colorization

완전자동방식의 채색 기법^[3,4]은 다른 형태의 입력 없이 선화만을 사용한다. Isola et al. ^[3] (Pix2Pix)는 연구 ^[9] 의 조건입력을 사용한 cGAN(Conditional Generative Adversarial Networks) 구조 로 이미지 대 이미지 변환의 솔루션을 제공했다. 연구 ^[3]은 사실 적인 이미지를 생성하기 위해 L1 손실 및 적대적 손실을 결합해 L1 손실만 사용한 결과에 비해 선명하고 사실적인(photorealistic) 이미지를 생성했다. Kang et al. ^[4] 에서는 채색작업을 위한 3가지 모델을 사용한다. 각각의 모델은 실질적인 채색을 담당하는 “Low-resolution Colorizer”, 전경과 배경을 분류하는 “Background Detector”, 그리고 채색된 저해상도 이미지와 배경 Segment를 받아 배경을 구분하여 해상도를 복원하는 “Polishing Network”를 사용한다. 이 연구 ^[4] 은 말풍선과 같은 만화의 특징을 잘 활용하였고 선화를 일괄적으로 채색할 수 있는 장점이 있다. 하지만, 완전 자동으로 채색을 진행하기 때문에 원하는 부위를 특정한 색으로 채색하기는 불가능하고 출력 이미지의 크기가 256 x 256 pixel 해상도로 한정되는 단점이 있다.

2.3 Style Transfer based Colorization

일러스트 자동채색을 위한 또 다른 방법으로 사용되는 스타일 변환 기반의 연구가 있다 ^[5,6,7]. 스타일 변환의 경우 선화 이미지와 참고할 스타일이 되는 컬러 이미지 2개의 입력을 기본으로 사용한다. Furusawa et al. ^[5]은 참조 이미지와 대화식 색상 힌트(색 팔레트) 인터페이스를 사용해 반자동으로 사용자가 원하는 색을 조정할 수 있도록 하였으며 선화가 아닌 만화 콤마 이미지를 사용하여 채색을 진행하였다. 채색 과정에서 색 정보를 생성하고 원본 만화 이미지에서 윤곽선을 추출하여 합성하는 구조로 효율적으로 채색하였다. 하지만, 사용자의 색상 정보가 직관적으로 원하는 위치에 들어가지 않으며 색 정보와 텍스트와 같은 윤곽선을 위에서 덮어쓰는 구조로 인해 이미지 질감에 손상이 심하다는 단점이 있다. Zhang et al. ^[7] 은 VGG16/19 구조 ^[16]의 모델을 통해 스타일 이미지를 추가해 채색을 진행했다. 모델 중간의 두 개의 “Guide Decoder” 사용함으로 학습에서의 기울기가 사라지는 문제 (Vanishing Gradient)를 방지 하고 효과적인 채색을 했다. 하지만, VGG16/19 네트워크를 사용하기 때문에 네트워크모델 용량이 크고, 자동으로 채색하기 때문에 원하는 부위에 원하는 색으로 채색하기 힘들며, 출력 이미지의 크기가 256x256 pixel 해상도로 한정된다는 단점이 있다.

2.4 Colorization with Color Point Hinting

마지막으로 선화 이미지에 사용자 컬러 힌트를 추가로 입력하여 컬러 힌트를 기반으로 채색하는 연구가 있다 ^{[8, 9, 10, 11, 12, 13]}. 컬러 선을 힌트로 사용하는 연구 중 대표적으로 Ci et al. ^[11] 이 있다. 이 연구 ^[11]에서는 모델의 인공선화(원본 컬러 이미지에서 알고리즘으로 만들어낸 선화)의 과적합(overfitting)을 막기 위해 LFN(Local Feature Net)을 사용한다. LFN을 통해 입력 선화 특징을 추출해 생성자와 분류자의 추가 입력으로 사용해 과적합 문제를 해결했다고 한다. 하지만, Loss 계산 시 VGG16 네트워크를 사용하므로 모델 용량이 크다는 단점이 있다. Sangkloy et al. ^[8]은 인공 선화의 과적합을 방지하기 위해 4가지의 다른 필터를 적용해 선화를 추출하여 얼굴 채색을 진행하였다. Frans et al. ^[10]은 입력 선화에서 채색 및 채색 결과물의 음영을 생성하는 생성자를 별도로 학습하여 2중 생성자를 사용해 효과적인 채색기법을 보였다. 컬러 점을 사용한 연구로는 Liu et al. ^[9]이 있으며 생성자 학습을 위한 Loss를 나누어 각각의 Loss 계수 항을 조절하여 학습을 진행하였다. 학습 결과, 색 번짐을 효과적으로 방지하면서 Pix2pix ^[3] 모델 보다 좋은 이미지를 보여주었다. 이중 생성자를 이용한 다른 연구 인 HATI et al. ^[13]은 Ci et al. ^[11]의 모델의 기반으로 이중 생성자를 사용하였다. 이중 생성자는 생성된 초안 이미지로부터 합성 선 화를 추출한다. 그리고, 생성된 합성 선화와 초안 생성 시 사용한 인공 선화의 재구성 손실(reconstruction loss)을 반영해 1단계 생성자의 성능을 높였다. Zhang et al. ^[12]은 이중 생성자 구조에서 후처리 모델의 초안 의존도를 줄이기 위해 생성된 초안 이미지에 색 번짐 등과 같은 시뮬레이션을 적용해 후 처리 모델의 초안 의존도를 줄이는 방식으로 채색 성능을 높였다.

3.1 선화 데이터 증식

선화 자동채색에 있어 가장 큰 문제는 다양한 선화 구조에서 안정적인 채색이 불가능한 것이다. 선화 자동채색 모델 학습을 위해서는 선화와 컬러 쌍으로 구성된 이미지 데이터 셋이 필요하다. 이러한 데이터 쌍을 대량으로 수집하는 것은 어렵기 때문에 대부분 의 연구에서는 컬러 이미지에서 선화 이미지를 추출하여 자가 학습(Self-learning) 방식으로 학습을 진행한다. 이러한 방식은 추출 알고리즘에 따라 특정한 분포를 가지므로 학습 과정에서 과적합 (overfitting)이 발생할 수 있다. 본 연구는 Lee et al. ^[14]에서 사용한 데이터 증식을 이용하였다. 히스토그램 평활화를 사용한 방식은 추출된 선화 데이터의 분포를 조정하여 학습 후 실제 선화에 서 안정적인 채색이 가능하게 하였다. 학습 과정에서 선화 추출방식을 XDoG (Extended Difference of Gaussians) ^[17] 뿐만 아니라 Dilate abs sub ^[14]을 같이 사용해 학습 데이터에 대한 과적합 문제를 해결하였다.

3.2 이중 생성자

Lee et al. ^[14]에서 사용한 이중 생성자 방식은 채색의 전체 과정을 두 단계로 나누어 먼저 초안을 생성하고, 두 번째 단계에서 생성된 초안을 사용해 더 큰 선화를 채색한다. 이중 생성자 방식은 저 해상도에서 고해상도로 점진적인 학습을 사용하기 때문에 안정적 인 학습을 가능하게 하며 각 단계에 적합한 기법을 사용할 수 있다. 풍부한 색상을 생성할 필요가 있으므로 초안(Draft) 모델은 GAN을 사용해 원본 컬러 이미지와 유사한 분포의 데이터를 생성하도록 학습한다. 초안 단계에서는 고품질의 이미지 생성이 필요하지 않기 때문에 다양한 컬러를 가지는 저해상도(128 x 128 pixel) 이미지를 생성하여 학습 복잡도를 줄였다. 채색(Colorization) 모델 단계에서는 초안 모델에서 만들어진 이미지를 사용해 고해상도(512 x 512 pixel)의 선화를 채색하는 작업을 진행한다. 초안 이미지에서 발생할 수 있는 색 번짐, 왜곡과 같은 인공물을 제거하기 위해 채색 단계의 학습 과정에서 인공물을 합성하는 과정을 포함해 학습한다. 초안 및 채색 모델 모두 이미지 대 이미지 변환에 주로 사용되는 U-Net ^[18] 구조를 기반으로 구성하였다 ^[14,18].

3.3 선화 손실 함수

선화에 대한 과적합을 해결하기 위한 추가적인 방법으로 선화 탐지 모델(LDM, Line Detection Model)을 사용한 선화 손실 Lline 이 있다. LDM은 오토인코더 구조로 컬러 이미지에서 선화 이미지로 변환하는 작업을 진행한다. 사전 학습된 LDM을 초안 모델 학습 단계에 사용해 생성된 초안 이미지에서 선화를 추출한다. 이후 추출된 선화와 초안 모델에 입력되는 선화의 L1 차이를 계산한다. 선화 손실은 LDM에 의해 생성된 두 선화의 차이를 줄임으로 초안 모델에서 선화 일반화 능력을 높인다. 선화 손실 Lline 은 수식 1 나타내며 수식에서 G는 초안 생성자, ldm은 선화 탐지 모델, l ,h ,c는 각각 선화(128 x 128 pixel), 힌트, 컬러 이미지를 나타낸다.

3.4 주파수 분할

서비스에서 출력 해상도를 높이기 위해 Lee et al. ^[19]에서 제안한 주파수 분할을 사용했다. 입력 선화에서 고해상도에 필요한 고주파 성분을 생성하였고, 채색 모델에서 생성된 채색 이미지에서 저주파 성분을 추출해 합성하는 방식을 사용한다. 합성 과정에서는 Linear light 혼합 모드를 사용하였다. 혼합 시 밝기 값 127 (50\% 회색)을 기준으로, 기준 이상의 값은 밝게 기준 이하의 값은 어둡게 합성해 자연스러운 합성 결과물을 만들었다. 좀 더 상세한 주파수 분할의 알고리즘에 대한 설명은 연구 ^[19]에 소개되었다.

4.1 데이터 전처리 모듈

채색 모델은 선화뿐만 아니라 다양한 입력을 사용할 수 있으므로 전처리를 위한 시스템으로 파이썬의 클래스 호출 메소드를 사용해 고차함수의 조합으로 구성한다. 제안하는 시스템은 정규화, 크기조정, 텐서 변환, Lambda 함수 구현을 위한 고차함수를 만들어 사용한다. 입력을 위한 선화 데이터로 클라이언트에서 받은 선화 이미지를 초안 모델 및 채색 모델에 따라 크기를 조정하여 사용하였다. 힌트는 클라이언트가 입력받은 투명도 데이터가 보존된 PNG 데이터에서 힌트를 생성하기 위해 RGB와 alpha 채널을 분리해 따로 전 처리하였다.

4.2 추론 모델 관리자

채색 모델은 특성에 따라 다른 전후 처리를 사용할 수 있어야 한다. 따라서 모든 채색 모델은 추상 클래스를 상속받아 싱글톤 패턴으로 모델을 관리한다. 각 모델을 위해 전/후 처리 및 추론 메소드를 구현하였다. 추론 모델 관리자는 서버가 시작하기 전 인스턴스화하여 사용한다. Pytorch로 학습된 모델은 ONNX 모델로 변환하며 추론 과정에서는 ONNX 프레임워크를 사용해 CPU에서 추론을 진행한다. ONNX는 추론을 위한 런타임이 가볍고 다양한 플랫폼에서 가속을 지원한다는 장점이 있다. 서빙은 마이크로서비스 아키텍처 프레임워크인 Flask를 사용해 서버를 구성한다. 개발된 서비스는 웹을 통해 “omnissiah.ys2lee.com”에서 사용할 수 있다.

4.3 서비스 프런트 엔드

서비스 프런트 엔드의 구조는 그림 3과 같고 개발된 서비스 형상은 그림 1로 확인할 수 있다. 자동채색 서비스를 위한 UI는 React 라이브러리를 사용해 웹 서비스로 제작한다. 서비스는 선화를 불러오고 힌트 정보를 컨트롤 하며 선화 및 힌트 그리고 서버를 통해 채색된 채색 이미지를 시각화한다. 서비스 프런트 엔드는 “PaintsTools”, “PaintsCanvas”, “PaintsViewer”의 세 개의 주요 컴포넌트로 구성된다. “PaintsTools”는 힌트 색 변경, 힌트 사이즈 변경, 힌트 상태 컨트롤 및 채색 진행 그리고 저장과 같은 컨트롤 기능 을 담당한다. “PaintsCanvas”는 선화 및 힌트를 시각화하고 레이어 구조로 선화에 힌트를 입력하는 기능을 담당한다. “PaintsViewer”는 서버에서 채색된 이미지를 시각화하는 기능을 담당한다.

그림 3. 서비스 프런트 엔드 컴포넌트 트리

Fig. 3. Service Frontend Component Tree

5.1 실험 환경

제안한 신경망 모델 구현 및 학습을 위해 PyTorch 프레임워크 ^[20]를 사용했다. 학습을 위한 데이터 셋은 shuushuu-imageboard ^[21]에서 수집하였다. 데이터는 학습에 부정적인 영향을 줄 수 있는 데이터를 필터링하여 약 70만 장으로 구성했다. 필터링 된 데이터는 흑백, 하이/로우 키 이미지, 512 pixel 이하의 작은 이미지, 전반적인 톤 혹은 색감이 한쪽으로 편향된 이미지 등이다. 모델 학습 을 위해서 한 장의 NVIDIA RTX 3090을 사용 했으며 Arch Linux 환경에서 학습을 진행했다. 서비스를 구동하는 실험 환경은 Intel i9-9980HZ, 32GB RAM의 MacOS에서 테스트를 진행했다. 상세 구성은 표 1에 나타내었다.

그림 4. 시각적 비교 (a): Tanpopo w/o hint ^[2], (b): Satsuki w/o hint ^[2], (c): Canna w/o hint ^[2], (d): Ours w/o hint ^[14], (e): Tanpopo ^[2], (f): Satsuki ^[2], (g): Canna ^[2], (h): Ours ^[14]

Fig. 4. Visual Comparison (a): Tanpopo w/o hint ^[2], (b): Satsuki w/o hint ^[2], (c): Canna w/o hint ^[2], (d): Ours w/o hint ^[14], (e): Tanpopo ^[2], (f): Satsuki ^[2], (g): Canna ^[2], (h): Ours ^[14]

5.2 추론 환경 성능 비교

제안한 서비스는 CPU에서 모델 추론을 사용한다. 실험은 CPU 에서 Pytorch의 TorchScript 모델과 onnxruntime을 사용해 512 x 512 pixel 해상도 이미지의 추론 시간을 비교했다. 실험은 각각 100회의 추론을 진행해 평균 시간을 비교하였다. 실험에 사용한 입력은 두 모델 모두 선화 1x1x512x512, 1x1x128x128 그리고 힌트 1x4x128x128 사이즈의 0으로 이루어진 벡터를 사용해 진행한다. 환경에 따른 추론 속도 비교 결과를 표 2에 나타내었다. ONNX를 사용하여 개발한 시스템의 실행 평균값이 0.4040 초로 Torchscript와 비교해 5배 이상의 속도를 보이며 효율적인 추론을 하는 것을 확인할 수 있다.

5.3 채색 성능 시각적 비교

제안한 기법을 사용한 서비스와 Petalica Paint ^[2]의 “Tanpopo”, “Satsuki”, “Canna” 각각의 모델을 사용해 실제 선화의 채색성능을 시각적으로 비교하였다. 상용 서비스의 경우 소스 코드가 공개되지 않아 같은 힌트를 사용한 비교가 불가능하므로 힌트를 사용하지 않은 채색 결과를 비교한다. 채색 결과는 그림 4에 나타내었다. 그림 4(a-d) 이미지를 확인하면 선화 특성에 따라 힌트가 없을 때 채색이 어떤 식으로 진행되는지 확인할 수 있다.

실험 결과 그림 4(a, e)는 checkerboard artifacts 현상을 확인할 수 있고, 그림 4(c, g)의 “Canna” 모델은 색상의 왜곡을 확인할 수 있다. 그림 4(d)의 2번째 이미지를 보면 제안하는 모델에서도 특정 선화에 따라 채색이 불안정한 것을 확인할 수 있지만 힌트를 사용 한 4(h)는 안정적으로 채색한 것을 확인했다.