Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
2
動画像
動画像の情報量(例) 500 x 500 x 8 x 30 = 60 Mbps
縦横画素:5001画素あたりのビット数: 81秒当たりの表示画像枚数: 30
カラーテレビ信号の場合は約100Mbps
画像圧縮技術
差分符号化,フレーム間予測符号化
動き補償予測
周波数成分への変換と近似・省略
3
差分符号化(DPCM) (1/2)
画像を差分で表現
画像の画素値は分散
差分値は出現頻度に偏りが大
(エントロピー符号化の効果大)
827161504130746555443625696051413020665645342515615041292110
1110119113091011811259910111020
101111910151191281110
画像 左画素との差分
4
差分符号化(DPCM) (2/2)
予測値による符号化
近傍の画措置から符号化する画素(注目画素)の画素値を予測
予測値と実際の画素値との予測誤差を符号化
xxxxaaaa
ccccbbbb
予測誤差E = x-(a+c-b)
2001030011-3125
-1-2-12020-12-11-1 15615041292110
※(c-b)は(x-a)に近い
5
フレーム間予測符号化
連続するフレームは同じような内容
静止領域が多い画像に対して効率的
フレームメモリ
1フレーム前の画像を記憶するメモリ
505556555050505556555050505556555050505556555050505055505050505050505050
505050505050
505556555050555655505055565550505556555050505550505050505050
051-1-50051-1-50051-1-50051-1-50005-500000000
現フレームの画像 前フレームの画像 予測誤差
6
動き補償予測(1/2)被写体の動きが大きい場合
動いた方向と距離を表す位置情報(動きベクトル)を予測値
505556555050
505556555050
505556555050
505556555050
505055505050
505050505050
50
50
50
50
50
50
5055565550
5055565550
5055565550
5055565550
5050555050
5050505050
051-1-50
051-1-50
051-1-50
051-1-50
005-500
000000
505556555550
505556555550
505556555550
55
50
50
5056555550
5055555050
5050505050
現フレームの画像 前フレームの画像
被写体が「右に1画素」シフトした画像 動き補償予測誤差
7
動き補償予測(2/2)
動き位置情報の検出
現フレームの画像を重なりのない16X16画素のブロックに分割
上下左右15画素以内の領域を動き補償範囲とする
予測誤差が 小のブロックを 適予測ブロックとして選択
現ブロック
動きを調べる前フレーム内の範囲
同一位置のブロック
現フレーム画像 前フレーム画像
8
離散コサイン変換
離散コサイン変換(DCT: Discrete Cosine Transform)
画像データを周波数成分に変換する直交変換
周波数成分の数は画素数と等しい
DCT係数値を符号化
DCT
逆DCT
9
基本パターン群周波数大 →
周波数大→
DCTの基本パターン群
DCT係数の意味
周波数成分が水平と垂直の2方向
基本パターンのを含む度合い
100100100100105105105105110110110110100100100100
120120120120115115115115125125125125130130130130
130130130130135135135135165165165165175175175175
140140140140160160160160180180180180200200200200
44444444----7777----2222
6666----777700000000
3333444436363636102102102102
----6666000046464646548548548548DCT
逆DCT
DCT係数値画素値
直流成分
10
DCT係数の近似・省略
100105110100
120115125130
130135165175
140160180200
44-7-2
6-700
3436102
-6046548
00000000----101010100000
10101010----1010101000000000
0000000040404040100100100100
----10101010000050505050500500500500
0000000000000000
0000000000000000
0000000040404040100100100100
0000000050505050550550550550
0000000000000000
0000000000000000
0000000000000000
000000000000550550550550
44444444----7777----2222
6666----777700000000
3333444436363636102102102102
----66660000464646460000
101107108103
124113130129
129131167178
136160186199
106105105104
115120128133
128141161174
137156184204
138138138138
138138138138
138138138138
138138138138
-37-32-27-37
-16-22-12-7
-7-22938
3234363
DCT
概略値で近似
高周波成分省略
直流成分のみ
直流成分省略
DCT係数
原画像
逆DCT
逆DCT
逆DCT
逆DCT
11
MPEG(Motion Picture Experts Group)
デジタル動画と音声の圧縮・伸長に関する規格ITU-TS(国際電気通信連合:旧CCITT)とISO(国際標準化機構)で制定
MPEG1
データ転送レート1.5Mbpsまでの動画と音響を対象
MPEG2
データ転送レート数M~数十Mで、放送メディアが対象
MPEG4
画像を物体毎に符号化できるオブジェクトベース符号化
や誤り耐性符号化を含む
MPEG7
映像コンテンツの標準記述手法
12
MPEG2(1/2)
放送メディアのための符号化方式1994年仕様確定
通信,放送,蓄積用,標準テレビ,および高品質テレビ用
プロファイルとレベルMP@ML(Main Profile at Main Level) :CSデジタル放送
MP@HL(Main Profile at High Level) :BSデジタル放送の一部
ハイブリッドDCT
動き補償+DCT [MP@ML]
圧縮率
1/10~1/40程度( 大15Mbps) [MP@ML]
13
MPEG2(2/2)ピクチャタイプ
Iピクチャ(intra-coded picture)そのピクチャ内でフレーム内符号化されたピクチャ
Pピクチャ(predictive-coded picture)前方のピクチャからフレーム間予測符合化されたピクチャ
Bピクチャ(bidirectionally predictive-coded picture)前後のピクチャから双方向予測符号化されたピクチャ
I1 B6 P4 B8 B9 P7 B12 B14B11 P10 B15 I13B2 B3 B5
GOP(N=15, M=3)
GOP(Group of Pictures)I, P, Bピクチャが組み合わさった一組
GOPの中には必ず1つのIピクチャを含む
14
デジタル放送MEPG-2 Systems:
映像・音声・データの同期技術
MPEG-2 TS(トランスポートストリーム)
ES(Elementary Stream)パケットエンコードされた映像,音声,データコンテンツなど
PES(Packetized Elementary Stream)パケットパケット化され分割されたES
セクション番組選択,送受信間の同期,各種サービス
PSI (Program Specific Information):伝送制御信号
SI (Service Information):番組配列情報(EPGなど)
DSM-CC (Digital Storage Medeia-Command and Control):データコンテンツ送信
15
信号多重化各種データのパケット化,信号の多重化
映像符号化
音声符号化
マルチメディアデータ
符号化
パケット化
パケット化TS化 スクランブル
伝送路符号化
セクションセクションセクションセクション
PES
PES
多重多重多重多重((((MPEG-2 System)
TS
ヘッダ
PID=k PID=m PID=k PID=k
....
....PESパケット
トランスポートストリーム
16
放送サービスと伝送プロトコル
マルチメディアサービス
トランスポートストリーム
セクション PESパケット PESパケット セクション
PSI/SI 映像・音声
データストリーム データカルーセル
EPG テレビ 字幕・文字スーパー データ放送
マルチメディア符号化
17
データ放送方式の種類データコンテンツ
時間依存コンテンツ
時間非依存コンテンツ
ダウンロード型コンテンツ
データ放送方式
独立PES (MPEG2 private PES)時刻情報を合わせて伝送(字幕,文字スーパー)
データカルーセル (MPEG2 DSM-CC)DSM-CCセクション形式.ある周期で同じデータを繰り返し送信.
イベントメッセージ伝送方式 (セクションフォーマット)受信機上のアプリケーションに対する同期・非同期メッセージ
(画面切り替えなど)
18
ディジタル放送コンテンツ記述言語BML: Broadcast Markup Language
映像,静止画,音声,文字の配置,表示,サイズを制御
基本記述: XHTML1.0
動作記述: ECMAScript (Javaスクリプトベース)
DOM (文書へのアクセスAPI)
表示制御: CSS1(Cascading Style Sheets), CSS2
放送用拡張機能: ARIBで規定
<script>function changePic(){
document.getElemtnyld(“pic”).data = “picture2.jpg”}
…..<object onclick = “changePic()”
id =“pic”data = “picture.jpg” type =“image/jpeg” style =“…”>
</object>
onclick属性:
選択されたときに呼び出す関数
scriptタグ:
呼び出す関数を定義
19
放送とメタデータ番組インデックス
放送番組の選択や検索を補助するメタデータ
MEPG-2 Systems セクション形式
マルチシナリオ,階層化番組,ダイジェスト視聴,検索
2種類のセクション形式ERT(Event Relation Table)ツリー構造により番組構造を定義
LIT (Local-event Information Table)番組中のシーン(時間的断片)を指定
0 1
2
3
4
5
1234567
シーン
20
データ放送方式の例
放送センター 受信端末
多多多多重重重重装装装装置置置置
衛星放送
受信機受信機受信機受信機
映像&音声
選手選手
再生再生再生再生ソフトウエアソフトウエアソフトウエアソフトウエア再生再生再生再生ソフトウエアソフトウエアソフトウエアソフトウエア
インタラクティブデータ
リモコンリモコンリモコンリモコン
送出送出送出送出送出送出送出送出システムシステムシステムシステムシステムシステムシステムシステム
選手情報
試合状況
選手情報
映像映像映像映像&&&&音声音声音声音声
番組番組番組番組オーサオーサオーサオーサ番組番組番組番組オーサオーサオーサオーサリングシスリングシスリングシスリングシスリングシスリングシスリングシスリングシステムテムテムテムテムテムテムテム
データカルーセルデータカルーセルデータカルーセルデータカルーセル
カルーセル型送出方式
21
データ放送方式の例- コンテンツの制御 -
Video
Audio
V4
A1Audio A2Audio A3
Video V3
Video V2
Video V1
A1
A2
V3
V2
V1
ナビゲーション情報
複数コンテンツと制御情報動画,音声
ナビゲーション情報
VideoとAudioを制御(時間経過,ボタン押下など)
({V1, V2, V3, V4,}, {A1, A2, A3}) (V1, A1)
(V3, A1)
(V2, A1)
(V2, A2)
if (buttonPress)GotoPage #Page 2
elseGotoPage 5
endif......
if (buttonPress)GotoPage #Page 2
......
YES NO
22
データ放送方式の例- 送出フォーマット -
MPEG 準拠の付加データ表現フォーマット
MPEG 静止画静止画静止画静止画
if (buttonPress)GotoPage #Page 2
......
MPEG 動画動画動画動画・・・・音声音声音声音声
①①①① 画面上表示画面上表示画面上表示画面上表示データデータデータデータ
②②②② スクリプトスクリプトスクリプトスクリプト
③③③③ 同期情報同期情報同期情報同期情報t
購入
次へ
YES
NO
MPEG
ストリーム
ナビゲーションナビゲーションナビゲーションナビゲーション情報情報情報情報
23
データ放送方式の例- コンテンツの再生 -
…
次へ
受信機受信機受信機受信機ののののメモリメモリメモリメモリ受信機受信機受信機受信機ののののメモリメモリメモリメモリ
へへへへへへへへ一場面一場面一場面一場面一場面一場面一場面一場面分格納分格納分格納分格納分格納分格納分格納分格納
②②②②画面画面画面画面はははは組組組組みみみみ立立立立てててて②②②②画面画面画面画面はははは組組組組みみみみ立立立立てててて
if (buttonPress)GotoPage #Page
2else
GotoPage 5endif......
if (buttonPress)GotoPage #Page 2
......
YES NO
if (buttonPress)
GotoPage #Page 2......
if (buttonPress)
GotoPage #Page 2......
次へ
if (buttonPress)GotoPage #Page 2......if (buttonPress)
GotoPage #Page 2......
if (buttonPress)
GotoPage #Page 2......
画面組立画面組立画面組立画面組立てててて画面組立画面組立画面組立画面組立てててて
次へ
①①①①番組番組番組番組をををを場面単位場面単位場面単位場面単位にににに分割分割分割分割してしてしてして構成構成構成構成①①①①番組番組番組番組をををを場面単位場面単位場面単位場面単位にににに分割分割分割分割してしてしてして構成構成構成構成
…
次へ
次へ
④④④④④④④④ MPEGMPEG静止画静止画静止画静止画のののの活用活用活用活用静止画静止画静止画静止画のののの活用活用活用活用
画面上データとスクリプト
“ボタンボタンボタンボタンがががが押押押押されたらされたらされたらされたら次次次次のののの画面画面画面画面へへへへGO“
手順手順手順手順にににに従従従従いいいい手順手順手順手順にににに従従従従いいいいリモコンリモコンリモコンリモコン処理処理処理処理リモコンリモコンリモコンリモコン処理処理処理処理
③③③③カルーセルカルーセルカルーセルカルーセルでででで送出送出送出送出③③③③カルーセルカルーセルカルーセルカルーセルでででで送出送出送出送出
24
データ放送方式の例- 動画コンテンツとデータ -
動画動画動画動画
ナビゲーションナビゲーションナビゲーションナビゲーション情報情報情報情報((((NI)NI)NI)NI)画面上画面上画面上画面上のののの静止画静止画静止画静止画ボタンボタンボタンボタン
ボタンボタンボタンボタンのののの動作動作動作動作をををを記述記述記述記述したしたしたしたスクリプトスクリプトスクリプトスクリプト
選択選択選択選択してしてしてして受信受信受信受信
選手情報
スコア
G 1-2 T
リモコン
…
受信機
論理的表現論理的表現論理的表現論理的表現 (Authoring View) 物理的表現物理的表現物理的表現物理的表現 (Transport Format)
NI N1 N2 N3
t1 t2
Video ElementaryStream 1
Audio ElementaryStream 1
Video
Audio
t1 t2 t3
V1A1
N1 N1 N1 N2 N2 N2 N2N1NI
N3 N3
t3
V1
A1