Multimedia分野

1

早稲田大学基幹理工学部

情報通信学科甲藤研究室

Multimedia分野とは• 画像処理の研究を中心に扱っています• 主な研究分野▫ 動画像圧縮符号化▫ 画像認識▫ 生体情報処理▫ 4K, 8K, HDR

• 画像信号処理からコンピュータビジョンまで、動画像に関する研究を幅広く扱っています

▫ 動画像に関係するものであれば、何でも研究できる！

2

動画像圧縮符号化• 符号化とは▫ 情報をデジタル化し、データの圧縮を行う技術のこと▫ 現行の方式として、MPEG-2（地上デジタル放送）や、

H.264/AVC（インターネット動画共有サービス、ブルーレイディスク）等がある

3

746Mbps⇒ 20Mbps約1/40に圧縮！

746Mbps⇒ 10Mbps約1/80に圧縮！

ブルーレイディスクレコーダ

H.264/AVC方式

MPEG-2方式

東京スカイツリー

動画像圧縮符号化

• 最新の動画圧縮符号化方式 →H.265/HEVC▫ 2013年1月に国際規格として承認された▫ H.264/AVCの約2倍の圧縮効率を実現している▫ 4Kや8K（2020年本放送）等の、高解像度動画像の圧縮に対応

【 H.264/AVC】 【H.265/HEVC】引用：https://www.ntt-at.co.jp/product/rfs_hevc_sdk/detail.html

地上デジタル放送の16倍の解像度

動画像圧縮符号化• 甲藤研の研究内容▫ H.265/HEVCの性能をさらに改善する手法の提案▫ H.265/HEVCに対し、最新の8K動画像をテスト動画として使用しながら研究しています！

• 甲藤研における研究例▫ H.265/HEVC符号化の画質改善

原画像 符号化ブロック分割画像 フレーム間・内予測画像 動きベクトル画像

5

動画像圧縮符号化

6映像の動きベクトルの可視化結果

• H.265/HEVC符号化の画質改善▫ 符号化時の動き推定に用いるCUサイズは、高解像度映像を符号化する場合において、大きい値をとる必要がある

▫ 事前に映像が持つ動きベクトルを測定しておき、それによってCUサイズや予測モードの切り替えを行う

CUサイズ：大フレーム間予測：有り

フレーム間予測：無し

動きベクトルの多くがほぼ同一

動きベクトルの多くがランダム

画像圧縮符号化

7

• Neural Networkを用いた画像圧縮符号化▫ GAN(Generative Adversarial Network)を用いて画像を圧縮▫ レート歪みグラフで比較すると、JPEGよりも良く、

JPEG-2000と同程度の圧縮効果

圧縮に使用するGAN

画像品質評価

8

• Neural Networkを用いた画像品質評価▫ CNNによりパッチレベルで品質評価スコアを計算▫ パッチレベルの品質評価スコアとPre-Saliency Mapを組み合わせて 終的な品質評価スコアを導出

画像認識• 画像認識（ コ ンピュータビジョン） と は▫ 人間が当たり前に行っている視覚の機能を、なんとかコンピュータに持たせようという研究分野

• 甲藤研における研究例▫ 温度情報を用いた、画像内の人物検出の精度改善▫ 監視映像からの不審行動検出

人間 コンピュータ

？？？女の人だ！

9

画像認識• 姿勢推定技術を用いた人物動作の検知

10

監視カメラが普及しているがリアルタイム監視において警備員による監視では限界

行動検知

踊っている 走っている

座っている

姿勢を推定

間接の動きから行動を検知

画像引用元：https://arxiv.org/pdf/1611.08050.pdf

• 脈波測定による感情推定▫ 監視システムのほとんどは、有事後に不審者へ注目する

→事件が起きる前に不審者を自動特定する

▫ 脈波からストレス量を検知し、感情推定をする

→ 終的に事前の不審者検出へ

11

脈波変換

ストレス量の測定

画像認識

画像認識• 監視映像からの不審行動検出▫ 監視映像に写る人物を追跡し、心拍を計測して特徴量を得ることにより、情動を検出して不審行動の検出を目指す

監視映像人物追跡

顔表面の輝度変化を利用した心拍計測

特徴量取得

心拍数 ピーク間隔変化量

不審行動検出

画像鮮明化• 画像鮮明化とは▫ 夜間映像などの、視認性が低い映像において、一部の信号を増幅する等して、視認性を上げる技術

• 甲藤研における研究例▫ 鮮明化処理を考慮した高品質かつ低通信量な２４時間の監視映像システム

▫ 画風変換を用いた画像鮮明化

輝度線形変換法 ヒストグラム平均化法

画像鮮明化▫ 夜間映像などの、視認性が低い映像における、鮮明化処理を

考慮した高品質かつ低通信量な２４時間の監視映像システム

14

画像鮮明化• 画風変換を用いた画像鮮明化

15

Content Image Style Image

Style-transferred Image

原画像画風変換手法

画像引用元：https://research.preferred.jp/2015/09/chainer-gogh//

画風変換

16

Content Image Style Image

Style-transferred Image画像引用元：https://research.preferred.jp/2015/09/chainer-gogh//

▫ 2枚の入力画像の特徴を併せ持つ画像を生成

両者の特徴に近づくように徐々に更新

4K, 8K, HDR• 4K, 8K▫ 地上波デジタル放送の4倍、16倍の解像度を持つ、次世代の超高精細映像

▫ 4K放送、配信は一部で既に開始▫ 2020年に8K本放送開始予定

17画像引用元：http://www.apab.or.jp/4k-8k/appeal/

4K, 8K, HDR• HDR(High Dynamic Range)▫ 超高精細化に加え、表現可能な”色”、ダイナミックレンジも拡大

▫ より実世界に近い映像表現が可能に

18画像引用元：http://www.apab.or.jp/4k-8k/appeal/

4K, 8K, HDR• 甲藤研での研究内容▫ 数多く存在する現行のSDR(Standard Dynamic Range)画像をHDR画像相当にする手法を検討

• 甲藤研での研究例1▫ 既存のテクスチャ修復を伴った画像のHDR化手法を改良、精度を向上させる手法を提案

19

4K, 8K, HDR• 甲藤研での研究例2▫ Deep Neural Networksを用いて単一SDR画像から

HDR画像を生成する手法について検討

対応するSDR,HDR画像の学習

表現できる明るさを拡大

21

• この分野で学べること▫ 画像処理プログラミング：M a t l a b、C、C + +▫ 画像処理・機械学習等の知識� 技術研究所や学会で、最先端の画像処理を学べる

• 外部機関との連携▫ 日本放送協会（NHK）� 符号化に関するインターンシップ

▫ サムスン電子� 画質推定に関する共同研究

▫ グローバル・サーベイ株式会社� 自動車車載画像処理に関するデータ提供

▫ 情報通信研究機構（NICT）� 鉄道車載画像処理に関する共同プロジェクト

• 主な就職先▫ 日本放送協会（NHK）▫ T B Sテレビ▫ N T T コ ミュニケーションズ▫ N T T研究所▫ KDDI株式会社▫ パ ナソニック

• 画像処理は、今後も大きな需要がある分野▫ 解析のためのツールやデータも充実しており、実験結果が可視化できるため、取り組みやすい

22

画像処理の最先端を、一緒に研究しよう！