深層学習による背景自動着色
C0114091
薄田和泉
2018/2/8 柴田研究室
背景 深層学習を含む人工知能技術の発展
ディープネットワークを用いた白黒写真の自動色付け
線画着色にGANを使用する➢自動着色サービス「PaintsChainer」
2018/2/8 柴田研究室 1
Generative Adversarial Networks(GAN)
訓練データを学習し、似たような新しいデータを作成
Generatorは画像生成を行う
Discriminatorは生成データの判別を行う
2018/2/8 柴田研究室 2
PaintsChainer PaintsChainerは線画から自動着色を行うサービス
60万件のペア画像データを学習➢学習データには主に人物画像を使用
Adversarial Networksを使用
Pix2pixを使用➢元画像に加工を行った画像を出力➢ ConditionalGANを使用➢ GeneratorにU-Netを使用
2018/2/8 柴田研究室 3
現状課題 PaintsChainerは基本的に人物しか塗ることができない
PaintsChainerは背景の着色に向かない
2018/2/8 柴田研究室 4
目的 線画をもとに自動で着色する
装飾や背景など細かい着色を実現させる
2018/2/8 柴田研究室 5
提案手法 Datasetの作成(前期)➢ Pixivの背景タグから画像を収集
➢学習の前処理として線画抽出等を行う
GANを用いて線画の背景を着色する➢ CycleGANを使用した着色
➢ StackGANを使用した着色
➢U-Net StackGANを使用した着色
2018/2/8 柴田研究室 6
CycleGAN 元画像を変換し、更に逆変換を行う
逆変換画像が元画像と見分けられるか判断
2018/2/8 柴田研究室 7
StackGAN GANを2段階にした構造
STAGE1で色やレイアウト等大まかに判断
STAGE2でSTAGE1を元に高解像度画像を生成
2018/2/8 柴田研究室 8
U-Net StackGAN Pix2pixをStackGANと同じように2段階に実装したGANである
局所的かつ高解像度生成を行う
2018/2/8 柴田研究室 9
手法の全体図
2018/2/8 柴田研究室 10
CycleGANの結果
2018/2/8 柴田研究室 11
CycleGANの結果
2018/2/8 柴田研究室 12
StackGANの結果
2018/2/8 柴田研究室 13
StackGANの結果
2018/2/8 柴田研究室 14
U-Net StackGANの結果
2018/2/8 柴田研究室 15
U-Net StackGANの結果
2018/2/8 柴田研究室 16
比較・考察 CycleGAN −色付けの学習・色の偏り
U-Net StackGAN –色付け未完・局所的な着色
⇓
CycleGANのGeneratorとDiscriminatorのloss減少・データセットの偏り
Lossの低下途中・U-Netと2段階構造
2018/2/8 柴田研究室 17
結論 色付けの学習ができた➢自然な着色にはならなかった
U-Net StackGANはepoch数を増やすことにより色付けの学習が進むことも考えられる
色付けの学習が出来たCycleGANが最も着色に成功
2018/2/8 柴田研究室 18
Recommended