深層学習による背景自動着色

C0114091

薄田和泉

2018/2/8 柴田研究室

背景 深層学習を含む人工知能技術の発展

ディープネットワークを用いた白黒写真の自動色付け

線画着色にGANを使用する➢自動着色サービス「PaintsChainer」

2018/2/8 柴田研究室 1

Generative Adversarial Networks(GAN)

訓練データを学習し、似たような新しいデータを作成

Generatorは画像生成を行う

Discriminatorは生成データの判別を行う

2018/2/8 柴田研究室 2

PaintsChainer PaintsChainerは線画から自動着色を行うサービス

60万件のペア画像データを学習➢学習データには主に人物画像を使用

Adversarial Networksを使用

Pix2pixを使用➢元画像に加工を行った画像を出力➢ ConditionalGANを使用➢ GeneratorにU-Netを使用

2018/2/8 柴田研究室 3

現状課題 PaintsChainerは基本的に人物しか塗ることができない

PaintsChainerは背景の着色に向かない

2018/2/8 柴田研究室 4

目的 線画をもとに自動で着色する

装飾や背景など細かい着色を実現させる

2018/2/8 柴田研究室 5

提案手法 Datasetの作成（前期）➢ Pixivの背景タグから画像を収集

➢学習の前処理として線画抽出等を行う

GANを用いて線画の背景を着色する➢ CycleGANを使用した着色

➢ StackGANを使用した着色

➢U-Net StackGANを使用した着色

2018/2/8 柴田研究室 6

CycleGAN 元画像を変換し、更に逆変換を行う

逆変換画像が元画像と見分けられるか判断

2018/2/8 柴田研究室 7

StackGAN GANを2段階にした構造

STAGE1で色やレイアウト等大まかに判断

STAGE2でSTAGE1を元に高解像度画像を生成

2018/2/8 柴田研究室 8

U-Net StackGAN Pix2pixをStackGANと同じように2段階に実装したGANである

局所的かつ高解像度生成を行う

2018/2/8 柴田研究室 9

手法の全体図

2018/2/8 柴田研究室 10

CycleGANの結果

2018/2/8 柴田研究室 11

CycleGANの結果

2018/2/8 柴田研究室 12

StackGANの結果

2018/2/8 柴田研究室 13

StackGANの結果

2018/2/8 柴田研究室 14

U-Net StackGANの結果

2018/2/8 柴田研究室 15

U-Net StackGANの結果

2018/2/8 柴田研究室 16

比較・考察 CycleGAN −色付けの学習・色の偏り

U-Net StackGAN –色付け未完・局所的な着色

⇓

CycleGANのGeneratorとDiscriminatorのloss減少・データセットの偏り

Lossの低下途中・U-Netと２段階構造

2018/2/8 柴田研究室 17

結論 色付けの学習ができた➢自然な着色にはならなかった

U-Net StackGANはepoch数を増やすことにより色付けの学習が進むことも考えられる

色付けの学習が出来たCycleGANが最も着色に成功

2018/2/8 柴田研究室 18