7
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. 漫画を対象としたインタラクティブセグメンテーション 荒巻祐治 松井勇佑 †† 山崎俊彦 †† 相澤清晴 ,†† 東京大学大学院学際情報学府学際情報学専攻 †† 東京大学大学院情報理工学系研究科電子情報学専攻 113–8656 東京都文京区本郷 7-3-1 E-mail: †{aramaki,matsui,yamasaki,aizawa}@hal.t.u-tokyo.ac.jp あらまし 本研究では,漫画に対する検索などの応用処理の基盤として,漫画のコマにおいて,ユーザの入力に基づ いたセグメンテーションを行うことを目的とする.そのために,ラスタ画像とベクタ画像の変換を可能にする可逆細 線化と,Smart Scribbles の計算コストを抑えて遅延のない選択を実現する二段階のラベリングを提案する.ユーザに よる評価から,従来漫画処理で用いられることの多い Adobe Photoshop のクイック選択ツールと比較して,F 値が平 0.12 向上することを確認した. キーワード 漫画,セグメンテーション,インタラクション Interactive Manga Segmentation Yuji ARAMAKI , Yusuke MATSUI †† , Toshihiko YAMASAKI †† , and Kiyoharu AIZAWA ,†† Interfaculty Initiative in Information Studies †† Dept. of Information and Communication Engineering, Graduate School of Information Science and Technology The University of Tokyo 7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japan E-mail: †{aramaki,matsui,yamasaki,aizawa}@hal.t.u-tokyo.ac.jp Abstract We propose a method for segmenting manga images interactively. We use our lossless thinning, which enables raster–vector conversion, and two-step labeling, which drastically reduces the computational cost of Smart Scribbles and enables accurate segmentation in real time. A usability testing shows that our method produces much more accurate results than does the Quick Selection Tool in Adobe Photoshop R . Key words Manga, Segmentation, Interaction 1. はじめに 日本の漫画は,絵と文字の組み合わせで表現されたモノク ロのコンテンツであり,一例として図 1(a) に示した「らぶひ な」 [1] などがある.漫画は雑誌や単行本などの紙媒体で発達し てきたが,近年の電子書籍の普及に伴い,電子化されて Kindle などの電子端末上で閲覧されることも一般的になりつつある. また,アメリカやヨーロッパなどにとは異なる形で発展してき た日本の漫画も,近年では海外で高い評価を受けるものも増え, Manga ”という単語が世界の人々に認知されるに至っている. このように漫画の電子化や国際化が進む中で,漫画に対する 研究が盛んになされ,印刷された漫画の電子化過程における再 加工や画像による検索など,新たな応用処理が生まれている. しかし,このような処理を行うためには,まず漫画のコマ画 像をセグメンテーションし,オブジェクトを抜き出したりその データベースを構築したりする必要がある.この作業は現在, Adobe Photoshop [2] などの汎用的な画像編集ソフトウェアを 使って行われており,人手と時間をかけて行わざるを得ない状 況にある.漫画画像において,より効率的にセグメンテーショ ンを行うことが可能になれば,より応用的な処理の基盤として 用いることができる. そこで本研究では,漫画のコマの画像を効率的にセグメン テーションすることを目的とする.例として,図 1(a) の画像か ら,図 1(b) に示した結果を得ることを目指す.この時,ユー ザがインタラクティブに補助線を入力し,その情報と元の画像 の構造を利用することで,ユーザの意図するセグメンテーショ ンを行う.また,このセグメンテーションは遅延なく行われ, ユーザによる補助線の入力とそれに対する結果の表示が繰り返 —1—

Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

社団法人 電子情報通信学会THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報TECHNICAL REPORT OF IEICE.

漫画を対象としたインタラクティブセグメンテーション

荒巻祐治† 松井勇佑†† 山崎俊彦†† 相澤清晴†,††

† 東京大学大学院学際情報学府学際情報学専攻†† 東京大学大学院情報理工学系研究科電子情報学専攻

〒 113–8656 東京都文京区本郷 7-3-1

E-mail: †{aramaki,matsui,yamasaki,aizawa}@hal.t.u-tokyo.ac.jp

あらまし 本研究では,漫画に対する検索などの応用処理の基盤として,漫画のコマにおいて,ユーザの入力に基づ

いたセグメンテーションを行うことを目的とする.そのために,ラスタ画像とベクタ画像の変換を可能にする可逆細

線化と,Smart Scribblesの計算コストを抑えて遅延のない選択を実現する二段階のラベリングを提案する.ユーザに

よる評価から,従来漫画処理で用いられることの多い Adobe Photoshopのクイック選択ツールと比較して,F値が平

均 0.12向上することを確認した.

キーワード 漫画,セグメンテーション,インタラクション

Interactive Manga Segmentation

Yuji ARAMAKI†, Yusuke MATSUI††, Toshihiko YAMASAKI††, and Kiyoharu AIZAWA†,††

† Interfaculty Initiative in Information Studies

†† Dept. of Information and Communication Engineering, Graduate School of Information Science and

Technology

The University of Tokyo

7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japan

E-mail: †{aramaki,matsui,yamasaki,aizawa}@hal.t.u-tokyo.ac.jp

Abstract We propose a method for segmenting manga images interactively. We use our lossless thinning, which

enables raster–vector conversion, and two-step labeling, which drastically reduces the computational cost of Smart

Scribbles and enables accurate segmentation in real time. A usability testing shows that our method produces much

more accurate results than does the Quick Selection Tool in Adobe Photoshop R⃝.

Key words Manga, Segmentation, Interaction

1. は じ め に

日本の漫画は,絵と文字の組み合わせで表現されたモノク

ロのコンテンツであり,一例として図 1(a) に示した「らぶひ

な」[1]などがある.漫画は雑誌や単行本などの紙媒体で発達し

てきたが,近年の電子書籍の普及に伴い,電子化されて Kindle

などの電子端末上で閲覧されることも一般的になりつつある.

また,アメリカやヨーロッパなどにとは異なる形で発展してき

た日本の漫画も,近年では海外で高い評価を受けるものも増え,

“Manga”という単語が世界の人々に認知されるに至っている.

このように漫画の電子化や国際化が進む中で,漫画に対する

研究が盛んになされ,印刷された漫画の電子化過程における再

加工や画像による検索など,新たな応用処理が生まれている.

しかし,このような処理を行うためには,まず漫画のコマ画

像をセグメンテーションし,オブジェクトを抜き出したりその

データベースを構築したりする必要がある.この作業は現在,

Adobe Photoshop [2]などの汎用的な画像編集ソフトウェアを

使って行われており,人手と時間をかけて行わざるを得ない状

況にある.漫画画像において,より効率的にセグメンテーショ

ンを行うことが可能になれば,より応用的な処理の基盤として

用いることができる.

そこで本研究では,漫画のコマの画像を効率的にセグメン

テーションすることを目的とする.例として,図 1(a)の画像か

ら,図 1(b) に示した結果を得ることを目指す.この時,ユー

ザがインタラクティブに補助線を入力し,その情報と元の画像

の構造を利用することで,ユーザの意図するセグメンテーショ

ンを行う.また,このセグメンテーションは遅延なく行われ,

ユーザによる補助線の入力とそれに対する結果の表示が繰り返

— 1 —

Page 2: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

(a) 漫画のコマ画像入力の例

(b) セグメンテーションの出力結果の例

図 1 入力と出力の例

されることで,高速かつ正確に作業を行える枠組みを実現する.

2. 関 連 研 究

2. 1 漫画に関連する研究

漫画やコミックに関する画像処理の研究は,近年活発化して

きた.Kopfと Lischinski [3]は,紙に印刷されたコミックをベ

クタ化する手法を提案し,様々な視点から見た画像を生成す

る手法を示した.松井らのリターゲティング [4] では,漫画の

キャラクターなどの重要な部分を残したまま不要な部分を削

ることで,解像度の異なる画面での表示を実現した.漫画の

彩色では,白黒の漫画をスクリーントーンなどを利用して効

率的に色を付ける方法が提案された [5].Cao らは,漫画の画

像データベースを作り,それぞれの作品の内容を基にして漫画

のアウトラインに対して確率モデルを構築することで,魅力

的なレイアウトを生成する方法 [6]や,漫画の要素を自然に配

置するための方法 [7]を提案した.商業的なサービスとしては,

MANGAPOLO [8]があり,漫画のコマをフレームとみなすこ

とで,ビデオの形態で漫画を提供している.

しかし,これらの漫画に対する応用処理の前提として,事

前に漫画をセグメンテーションすることが必要となる.例え

ば,リターゲティングや彩色などの再加工には,最初にコマや

キャラクターなどを分割しなければならない.現在は,Adobe

Photoshopのような汎用的な画像処理ソフトウェアがこの目的

のために使われているが,人手に頼る部分が大きいために効率

的とはいえない状況にある.

2. 2 ユーザ入力を利用したセグメンテーション

GrabCut [9]のようにインタラクティブなセグメンテーショ

ン手法は既に多く存在するが,漫画の画像は白黒の線画であり

色の分布や勾配の情報を利用できないため,自然画像を対象と

することの多い従来の手法は有効ではないことが多い.

また,漫画画像のリターゲティング [4] では重要度マップの

作成手法として連結成分ラベリング [10]を応用したものが採用

されているが,多様な描かれ方をする漫画画像に対応するには

単純すぎるため,有効な画像は極めて限定される.

竹内ら [11]は,漫画からの動画の生成のために半自動で漫画

をセグメンテーションする手法を提案したが,画素とユーザの

入力との間の距離の情報しか用いていないため,多様な漫画画

像には十分に有効とは言えない.

その他の線画を対象とするセグメンテーションの手法は多く

はないが,その最新の手法の一つとして Smart Scribbles [12]

がある.この手法では,セグメンテーションの対象となる画像

とユーザによる入力がベクタ形式であることを前提とし,選択

単位として線を細かく分けたセグメントを考える.そして,そ

れぞれのセグメントの位置と方向,曲率,描かれた時間の情報

を用いて,2つのセグメントに異なるラベルを付与するエネル

ギー V と,あるセグメントに補助線と同じラベルを付与する

エネルギー D を定義する.これらを基に,元画像内に含まれ

るすべてのセグメントの集合 S に対するエネルギー関数∑i,j∈S

Vi,j(ϕi, ϕj) + λ∑i∈S

Di(ϕi) (1)

を定義する.ここで,ϕi はセグメント iに振るラベルを表して

いる.ユーザによる入力と元の画像に対し,セグメンテーショ

ンの問題はこのエネルギー関数を最小化する問題として定式化

される.さらにこのエネルギー最小化問題は,グラフカット問

題に帰着することができる [13].

ただし,この手法は比較的単純な線画を対象とするものであ

り,漫画の画像に対して適用するには問題が存在する.まず,

ベクタ画像でないと扱えないことが挙げられ,通常ラスタ画像

である既存の漫画画像に対しては適用できず,特に塗りつぶさ

れた領域は想定されていない.また,セグメントが比較的少な

いことが必要とされていて,漫画のコマでは典型的な程度に複

雑な画像を扱うことができない.実際,横 800画素,縦 400画

素の漫画画像は,ベクタ化した後に時間情報を削除した Smart

Scribbles を適用した場合,処理時間は 8.6 秒にも及ぶ.さら

に,各セグメントがいつ描かれたかという時間情報を利用して

いるが,この情報は漫画の画像には含まれていない.これらの

問題が存在するため,この手法を漫画に直接適用することは困

難である.

本稿は筆者らが [14]で提案した手法に基づき,詳細な実験を

加えて提案手法の有効性を検証したものである.

— 2 —

Page 3: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

補助線の入力

ベクタ化 ラベリング ラスタ化結果表示

元画像の入力

十分に分割できたか?

終了

NO

YES

(a) (b) (c) (d) (e)

図 2 提案手法のフローチャート

図 3 提案手法のユーザインターフェース

3. 提 案 手 法

3. 1 手法の概要

漫画画像に対する遅延のないセグメンテーションを実現する

ため,次の二つの手法を提案する.

一つ目は,ラスタとベクタの変換を可能にする可逆細線化で

ある.ラスタ画像である漫画のコマ画像からは選択単位間の距

離や方向などの情報を抽出するのが難しいため,元となるラス

タ画像を細線化してベクタ化する.しかし,この段階で失われ

てしまう領域があるため,ラベリングを終えた後にラベルの対

応を保ちつつ,元と同じラスタ形式に復元することも必要とな

る.例えば,図 1(a) の少年の頭にあるようなベタ塗りはベク

タ化の過程では失われてしまう.そこで,細線化 [15]を基礎と

しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆

細線化を提案する.詳細は 3. 2と 3. 4で述べる.

二つ目は,二段階のラベリングである.Smart Scribblesの

計算量は,ベクタ画像に含まれるセグメントの数を nとすると,

O(n3)である.これは,各セグメントをノードとして持つよう

な完全グラフを解くためである.そのため,Smart Scribbles

は漫画画像のような多くのセグメントを含む画像に対して直接

適用することができない.そこで,Smart Scribblesを適用す

る前に,予め付与されるラベルが自明なセグメントにラベルを

付与しておく粗いラベリングを提案する.この方法の計算量は

O(n) であり,Smart Scribbles と比較して極めて小さいため,

ラベリングの高速化が期待できる.詳細は 3. 3で述べる.

提案手法のフローチャートを図 2に示す.ユーザは最初に元

となるラスタ画像を入力する.この画像は自動的にベクタ化さ

れる.次に,ユーザは色パレットからラベルを表す色を選択し

た上で,表示されている画像の上から補助線を入力する.補助

線を描く度にセグメンテーションが行われ,さらにその結果が

ラスタ化されて,一時的な結果画像が表示される.ユーザはこ

の結果を見て次の入力を行うかどうかを判断し,新たな入力を

加えた場合は再び計算が行われる.補助線は任意の本数加える

ことができ,セグメンテーションは各時点までに与えられたす

べての補助線をもとにして実行される.新たな補助線を加えな

い場合は,その時点でのセグメンテーション結果が最終的な出

力となる.

ユーザインターフェースは図 3に示した通りである.色を選

択して分けたい部分に線を引くという簡便さからユーザの事前

知識を必要とせず,また色の違いに基づいて入力と結果表示を

行うことによって,視覚的にも理解しやすい表示となっている.

入力は,漫画のコマ画像と,ユーザによって入力された補助

線の画像である.漫画の画像は,コマのラスタ画像として与え

られ,適切に二値化されているものとする.また,補助線はベ

クタ形式で与えられ,すべての線に対してそれぞれ対応するラ

ベルが付与されているものとする.さらに,補助線とベクタ画

像を構成する単位をセグメントと呼ぶこととし,セグメントは

始点と終点をもつ線分であるものとする.

3. 2 ベ ク タ 化

漫画のラスタ画像は,その単位である画素が非常に多く,画

素間の関係を記述するのが難しい.そこで,ベクタ画像に変換

することで,選択単位をセグメントに圧縮し,その距離や方向

の違いをセグメント間の相違尺度として用いる.

まず,入力された漫画画像に対し,可逆細線化を適用する.

細線化の手法を適用することで,すべての線の幅が 1画素であ

るような細線化画像を得ることができる.ここでは,図 4のフィ

ルタを用いて画像を走査する手法 [15]を用いる.このフィルタ

を画像のすべての画素に対して照合し,各フィルタに一致する

ときに,中心に位置する画素を白画素に置き換える.この操作

をフィルタ aから順にフィルタ hまで行うサイクルを,フィル

タに合致する画素が存在しなくなるまで反復的に適用する.

このとき同時に,失われた画素の情報を保存するため「収縮

方向行列」を計算する.すなわち,細線化を線の収縮として捉

え,消去される画素のすべてに対し,その収縮方向を保存して

おく.これによって,最終的にラスタ画像に再変換する際に,

ベクタ画像のセグメントに対するラベリングの結果をラスタ画

像の各画素に対応付けることを可能になる.具体的には,図 4

— 3 —

Page 4: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

0 0 *

0 0 1

* 1 *

0 0 0

* 1 *

1 1 *

0 * *

0 1 1

0 * 1

* 1 *

1 1 0

* 0 0

* 1 1

* 1 *

0 0 0

* 0 0

1 1 0

* 1 *

* 0 0

1 1 0

* 1 *

a * 0

1 1 0

* * 0

(a) (b) (c) (d)

(e) (f) (g) (h)

図 4 細線化フィルタ

表 1 収縮方向行列の値の定義

細線化フィルタ a b c d e f g h

収縮方向行列の値 1,3 4,3 1,7 1,2 7,5 8,7 5,3 6,5

に示す細線化のフィルタに対し,対応する収縮方向行列の値を

それぞれ表 1に示す通りとする.ここで,収縮方向行列の値は,

図 5(a) に示す隣接画素の方向を表す値である.各フィルタに

合致する画素を消去するとき,同時に収縮方向行列の対応する

座標にこの収縮方向を保存する.各フィルタには収縮方向が複

数存在するが,一定の方向に収縮することでラベルが不自然に

伝搬することを防ぐため,各フィルタに合致する度に収縮方向

を切り替える.これにより,細線化の過程で失われるすべての

画素に対して,収縮した方向が収縮方向行列に定義される.

図 5に可逆細線化の例を示した.ここでは,収縮方向行列を

色で可視化している.入力画像を細線化したときに失われる画

素のすべてに対し,収縮方向行列に収縮方向が保存されている

ことがわかる.さらに,細線化した画像において,直線的に連

結している黒画素をセグメントとして抽出することで,ベクタ

画像を得る.

3. 3 ラベリング

ベクタ化が完了した後,ユーザによってラベルの付いた補助

線が入力される.このときユーザには最初に入力したラスタ画

像のみが提示されているが,ベクタ化後の画像は内部的に保持

されていて,ラベリングは元の画像に対して実行される.

3. 3. 1 粗いラベリング

具体的には,補助線のすべてのセグメントとの距離が伝搬距

離よりも小さい範囲内のすべてのセグメントに対して,補助線

と同じラベルを振る.すなわち,任意のラベル l∗ に対し,l∗ が

付与されたすべての補助線に十分に近接しているベクタ画像内

の任意のセグメント iを考え,

ϕi = l∗ (2)

と表されるラベリングを施す.ここで,ϕi はセグメント iに対

するラベリングを表す.

ここで,各セグメントが補助線へどの程度近接している場合

にラベルを振るかを決定する必要がある.そこで,この距離の

閾値を段階的に大きくしていくことで,ラベルを振る対象とな

るセグメントの範囲を広げ,ラベルが振られていないセグメン

トを十分に減らすことができた段階でこのラベリングを終了す

(a) (b)

(c) (d)

図 5 (a) 細線化行列で用いる方向番号の定義.各画素は細線化の過程

で収縮した方向に対応する番号が格納される.ここでは可視化

のために方向を色でも示している.(b) 元画像.(c) 図 (b) に対

する細線化画像.(d)図 (a)の色を用いて可視化した細線化方向

行列.

る.ただし,補助線はインタラクティブに入力されるため,そ

の本数の増加に応じて補助線の周辺にあるセグメントも増加す

るため,距離の閾値の初期値もこれに合わせて小さくする必要

がある.そこで,Smart Scribblesで処理するセグメント数の

上限をM,伝搬距離の初期値を Di,本数の増加に応じた伝搬

距離の減少値を Ds,セグメントを減らすための伝搬距離の増

加量を Dt として与え,ラベルの振られていないセグメントの

数をm,ユーザ入力の本数を nとしたとき,mがM よりも大

きい間 k を増加させるとき,

threshold = Di − n ·Ds + k ·Dt (k = 0, 1, 2, ...) (3)

を閾値として採用する.M を大きくした場合,精度は向上する

可能性が高いが,この後の Smart Scribblesによるラベリング

に必要な時間が増大する.

図 6(b)と (c)はこの処理の例であり,Smart Scribblesを適

用せずにこの段階でのラベリングを適用した後すぐに,ラスタ

化を行うことで可視化したものである.これを見ると,補助線

の近傍にあるセグメントのみにラベルが振られ,その範囲が

徐々に拡大していることがわかる.

3. 3. 2 Smart Scribbles

次に,まだラベルが振られていないセグメントに対し,Smart

Scribblesを適用する.Smart Scribblesは,画像を構成するセ

グメントと補助線を構成するセグメントに対し,ラベリングの

エネルギー関数を定義し,それを最小化する問題として定式化

— 4 —

Page 5: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

(a) (b)

(c) (d)

図 6 ラベリングの途中結果.(a) 元画像.(b) k = 1の段階での結果.

(c) k = 5 の段階での結果.(d) 最終結果

するものである.ただし,この手法で利用されているセグメン

ト間の特徴量である距離,方向,曲率,描かれた時間の内,「曲

率」は各セグメントを線分であると仮定したために,「描かれた

時間」はラスタ画像から変換してベクタ画像を得ているために,

それぞれ存在しない.そこで本研究では,これらの特徴量を利

用せず,「距離」と「方向」のみを特徴量として採用する.「距

離」はセグメントの重心座標間のユークリッド距離を用い,「方

向」は始点と終点を結ぶ単位ベクトルにより定義する.この結

果,この問題は,エネルギー関数∑i,j∈S\T

Vi,j(ϕi, ϕj) + λ∑

i∈S\T

Di(ϕi), (4)

を最小化する問題として定式化される.ここで,T は前節の段

階でラベルが振られたセグメントの集合,V はセグメント同士

に異なるラベルを付与するために必要なエネルギー,Dはセグ

メントにユーザ入力と同じラベルを付与するために必要なエネ

ルギーである.

このエネルギー最小化問題は,Smart Scribblesのものと同

じく,多重カット問題と等価であり [13],これは最大フロー/最

少カット問題に帰着できる.そして,端点の数が 3以上の場合

でも,この問題を近似的に高速に解く手法 [16]を適用する.

3. 4 ラ ス タ 化

ここまでですべてのセグメントに対してラベルが振られてい

るため,まずはセグメントを単純に描画することでラベルの付

いたラスタ画像を得る.すなわち,すべてのセグメントについ

て,始点と終点を結ぶ線分上の画素にそのセグメントと同じラ

ベルを振ることで,ラスタ画像に投影する.しかし,この段階

では,細線化後に残っている黒画素のみに対してラベルが振ら

れた状態に過ぎない.そこで,可逆細線化の過程で作成した収

縮方向行列に保存されている,細線化の収縮方向を逆方向に

辿っていくことで,まだラベルの振られていない画素のすべて

に対し,ラベルを伝搬させる.

(a) (b)

図 7 提案手法の適用例.(a)入力画像と補助線.(b)セグメンテーショ

ン結果. c⃝石岡ショウエイ「ベルモンド」

(a) (b)

図 8 提案手法の適用例.(a)入力画像と補助線.(b)セグメンテーショ

ン結果. c⃝みやうち沙矢「ネイキッド ~NAKED~」

(a) (b)

図 9 提案手法の適用例.(a)入力画像と補助線.(b)セグメンテーショ

ン結果. c⃝梅川和実「そら・みよ」

4. 実 験

図 7 から図 9 には入力とそれに対応する提案手法の適用例

を示した.集中線や黒く塗りつぶされた領域の数,分割するオ

ブジェクトの数などの表現が異なる画像でも,正確にセグメン

テーションができていることがわかる.

5. ユーザ評価

5. 1 概 要

本研究で提案した手法が,スクリーントーンの使用頻度など

が異なる多様な漫画に対して有効であるか,またユーザによる

補助線の入力や終了の判定の仕方などの個人差に対応できるか

を検証するため,実際の漫画のコマ画像においてセグメンテー

ションを行わせる実験を行った.Adobe Photoshop のクイッ

ク選択ツールを比較の対象とした.

5. 2 方 法

まず,作者の異なる漫画 5作品から,6コマを手動で切り出

した.コマ画像は,線の太さや連続性,黒塗りやスクリーン

トーンの有無,オブジェクトの数や背景の表現の点において多

— 5 —

Page 6: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

図 10 クイック選択ツールのインターフェース

様性に富むように選定した.これをもとに,画像内を構成する

オブジェクト毎に色分けした正解画像を作成した.被験者は 4

人であり,いずれの被験者も両方のシステムを使用した経験は

なく,実験画像以外の画像で十分に操作に慣れさせてから実際

の課題を処理させた.また,二つの手法のどちらを先に使うか

は,被験者によりランダムに変更した.ハードウェアとしては,

1.8 GHz Intel Core i7 CPU と 8GB の RAM を搭載した PC

を使用した.

提案手法は,図 3 のようなインタフェースで実装した上で,

最後に描いた補助線を消去する操作,その操作を取り消す操作

を加えた.ハードウェアのインタフェースはペンタブレット [17]

を用いた.被験者には,元の画像と正解画像を提示し,元画像

に補助線を加えてセグメンテーション結果を可能な限り正解画

像に近づけるように指示した.また,各パラメータは表 2(a)の

通りに設定した.

Adobe Photoshopは,図 10のようなユーザインターフェー

スを持つ画像編集ソフトであり,今回利用したクイック選択

ツールはクリックまたはドラッグした部分から選択領域を伝搬

させる選択ツールである.本実験ではマウスを用いて選択を行

う操作・作成したレイヤーを確認する操作,キーボードを用い

て選択を解除する操作・入力を一つ戻す操作・レイヤーを作成

する操作を事前に理解させた.被験者には,提案手法の場合と

同じく元の画像と正解画像を提示し,正解画像の各色のオブ

ジェクトを,元画像に入力を加えて別レイヤーに分けるように

指示した.なお,本研究では明瞭な境界が求められることを考

慮し,パラメータは表 2(b)の通りに設定した.

評価にあたっては,結果画像での正解ラベルが振られた画素

の割合と,適合率(precision)と再現率(recall)に基づく F

値(F-measure)を算出した.各ラベルごとに結果画像と正解

画像で画素の数を比較し,それによって求まる評価値の平均を

画像全体の評価値として採用した.すなわち,ラベルの集合を

L,結果画像でラベル l が振られた画素の集合を Sl,正解画像

でラベル lが振られた画素の集合を Tl とするとき,

F −measure =1

n(L)

∑l∈L

n(Sl ∩ Tl)

n(Sl) + n(Tl)(5)

と表される尺度を用いた.ただし,n(A)は集合 Aの要素数で

ある.

表 2 実験で用いたパラメータ

(a) 提案手法

パラメータ 値 単位

λ 4

σprox smooth 10 px

σdir smooth 0.1

σprox data 90 px

σdir data 0.3

B 0.0001

M 2000

Di 60 px

Ds 5 px

Dt 5 px

(b) クイック選択ツール

パラメータ 値 単位

半径 0 px

コントラスト 100 %

滑らかに 0

ぼかし 0.0 px

縮小/膨張 +100 %

5. 3 結 果

画像ごとの F値を図 11に示した.作業時間については,ユー

ザによる個人差が大きく,明確な差は見られなかった.提案手

法では,すべての画像でクイック選択ツールと比較してより正

確なセグメンテーションができていることがわかる.すべての

画像で平均した F値についても,クイック選択ツールでは 0.82

であったが,提案手法では 0.94であった.

図 12は,提案手法での振られたラベルが正解である画素の

割合の時間変化を,データの取れたユーザ 3人について示した

ものである.画像 3では 120秒以内にすべてのユーザで正解画

素の割合は 0.9に達していて,その後はいずれのユーザでも大

きく変化していない.このことから,ある程度大まかな選択を

目的とする場合,提案手法は短時間でセグメンテーションを達

成できるといえる.ただし画像 5では,画像 3と比較して個人

による差が大きく,短時間でのセグメンテーションが行えてい

ないユーザもいたことがわかる.

6. 結 論

本研究では,漫画の応用処理の基盤として,コマの画像と

ユーザが入力したラベル付き補助線に基づいたセグメンテー

ションを提案した.ベクタ化と再ラスタ化を可能にする可逆細

線化と,ベクタ画像内での高速なラベリングのための二段階の

ラベリングを用いることで,これを実現した.これによりイン

タラクティブなセグメンテーションを実現し,実際の漫画画像

を対象とするユーザ実験でもクイック選択ツールを上回る正確

さが示された.

謝 辞

本研究の一部は,戦略的情報通信研究開発推進事業(SCOPE)

— 6 —

Page 7: Interactive Manga Segmentationaramaki/data/ieice_prmu_2014_09.pdf · しつつも,ベクタ画像とラスタ画像の可逆変換を実現する可逆 細線化を提案する.詳細は3.2

0

100

200

300

400

500

600

700

800

1 2 3 4 5 6

作業時間[秒]

画像

クイック選択ツール 提案手法

(a) 作業時間

0.65

0.70

0.75

0.80

0.85

0.90

0.95

1.00

1 2 3 4 5 6

平均F値

画像

クイック選択ツール 提案手法

(b) F 値

図 11 実験における作業時間と F 値

の支援を受けて行われた (課題番号: 141203018).漫画の使用

を許諾して頂いた赤松健氏,石岡ショウエイ氏,みやうち沙矢

氏,梅川和実氏に感謝する.

文 献[1] 赤松健,ラブひな,第 1 巻,講談社,1998.[2] Adobe Systems, “Adobe Photoshop CS4,” http://

www.adobe.com/jp/products/photoshop.html.

[3] J. Kopf and D. Lischinski, “Digital reconstruction of

halftoned color comics,” ACM Transactions on Graphics,

vol.31ACM, pp.140:1–140:10 2012.

[4] Y. Matsui, T. Yamasaki, and K. Aizawa, “Interactive

manga retargeting,” ACM SIGGRAPH 2011 PostersACM,

p.35 2011.

[5] Y. Qu, T.-T. Wong, and P.-A. Heng, “Manga colorization,”

ACM Transactions on Graphics, vol.25ACM, pp.1214–1220

2006.

[6] Y. Cao, A.B. Chan, and R.W.H. Lau, “Automatic

stylistic manga layout,” ACM Transactions on Graphics,

vol.31ACM, pp.140:1–140:10 2012.

[7] Y. Cao, R.W.H. Lau, and A.B. Chan, “Look over here:

Attention-directing composition of manga elements,” ACM

Transactions on Graphics, vol.33ACM, p.94 2014.

[8] 電通,“Mangapolo,” https://www.youtube.com/user/MANG

APOLO.

[9] C. Rother, V. Kolmogorov, and A. Blake, “Grabcut: In-

teractive foreground extraction using iterated graph cuts,”

ACM Transactions on Graphics, vol.23ACM, pp.309–314

2004.

[10] K. Suzuki, I. Horiba, and N. Sugie, “Linear-time connected-

component labeling based on sequential local operations,”

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 50 100 150 200 250 300 350 400 450

正解画素の割合

経過時間 [秒]

ユーザ1 ユーザ2 ユーザ3

(a) 実験画像 3

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 100 200 300 400 500 600 700 800 900

正解画素の割合

経過時間 [秒]

ユーザ1 ユーザ2 ユーザ3

(b) 実験画像 5

図 12 提案手法による正解画素の割合の時間変化

Computer Vision and Image Understanding, vol.89, no.1,

pp.1–23, 2003.

[11] 竹内誠太,中尾駿太,佐山裕一,堀田政二,“コマ分割と半自動領域分割に基づく漫画の動画化,” 第 17回画像の認識・理解シンポジウム,2014.

[12] G. Noris, D. Sykora, A. Shamir, S. Coros, B. Whited, M.

Simmons, A. Hornung, M. Gross, and R. Sumner, “Smart

scribbles for sketch segmentation,” Computer Graphics Fo-

rum, vol.31, pp.2516–2527, 2012.

[13] Y. Boykov, O. Veksler, and R. Zabih, “Markov random

fields with efficient approximations,” Computer vision and

pattern recognitionIEEE, pp.648–655 1998.

[14] Y. Aramaki, Y. Matsui, T. Yamasaki, and K. Aizawa, “In-

teractive segmentation for manga,” ACM SIGGRAPH 2014

PostersACM, p.58 2014.

[15] T. Zhang and C.Y. Suen, “A fast parallel algorithm for thin-

ning digital patterns,” Communications of the ACM, vol.27,

no.3, pp.236–239, 1984.

[16] D. Sykora, J. Dingliana, and S. Collins, “Lazybrush: Flex-

ible painting tool for hand-drawn cartoons,” Computer

Graphics Forum, vol.28, pp.599–608, 2009.

[17] Wacom, “Dtz-2100,” http://tablet.wacom.co.jp/products/

cintiq/dtz2100/.

— 7 —