IBM blue-and-white template - xmlconsortium.orgxmlconsortium.org/seminar/m21/data/20030924-03.pdf · Tokyo Research Laboratory 2003/09/18 © 2002 IBM Corporation MPEG-7の生成とその利用

Tokyo Research Laboratory

2003/09/18 © 2002 IBM Corporation

MPEG-7の生成とその利用

日本アイ・ビー・エム株式会社東京基礎研究所益満健 ([email protected])


Presentation Title | Presentation Subtitle | Confidential © 2002 IBM Corporation2

目次

背景MPEG-7について

メタデータの生成とその利用Video付箋紙SemanticQoSモバイルワイヤレス・マルチメディアQoS配信制御



背景

ブロードバンド時代の到来

⇒ インターネットによる、映像配信

世界中に散在する映像コンテンツ

⇒ 検索、その他の応用のためにメタデータが必要

映像コンテンツの性質 → 時間軸があるため一覧して中身の把握ができない利用形態の多様化 → PC, PDA, 携帯電話などなど

⇒ 利用者の嗜好・用途に合わせたダイジェスト生成



MPEGの変遷

MPEG-1 (ISO/IEC 11172)1993年，蓄積メディア用圧縮技術，～1.5Mbps

MPEG-2 (ISO/IEC 13818) 1996年，汎用（蓄積/通信/放送）メディアの圧縮技術，～15Mbps

MPEG-4 (ISO/IEC 14496) ver.22000年，オブジェクト毎のデータ圧縮，エラー回復，低ビットレート画像圧縮

MPEG-7 (ISO/IEC 15938)2003年，マルチメディア・コンテンツのメタデータ記述

MPEG-21 (ISO/IEC 21000) 一部ＦＤＩＳ

ネットワークにおけるコンテンツサービスで，サービス・コンテンツ・機器間の相互運用性を高めること



MPEG-7について

メタデータ記述フォーマットの標準化

MPEG-7標準化対象

標準表記方法特徴記述データ

（メタデータ）の生成特徴記述データ

（メタデータ）の利用

どのように生成するか、どのように使うかは標準外



MPEG-7 Multimedia Indexing and Searching

User

Network

MPEG-7Processing

MPEG-7Search

PervasiveUsage

Environment

Sounds like ...Looks like ...

Digital Media Respository

Sema nticsQuery

MPEG-7SemanticsMPEG-7

DescriptorsMPEG-7Model

Model SimilarityQuery

Descriptio ns Descriptions

Search

MPEG-7 Search Engi ne(XML Metadata)

MPEG-7SCHEMA

MPEG-7MetadataStorage

IBM Content Manager(Library Server &Object Server)

• MPEG-7 Indexing & Searching:– Semantics-based (people, places,

events, objects, scenes)– Content-based (color, texture,

motion, melody, timbre)– Metadata (title, author, dates)

• MPEG-7 Access & Delivery:– Media personalization– Adaptation & summarization– Usage environment (user

preferences, devices, context)



MPEG-7構成

メタデータ記述フォーマットの標準化

記述子（Descriptors)

記述スキーマ (Description Scheme)

記述定義語 (Description Definition Language)⇒ XML Schemaベース

MPEG-7構成文書

ISO/IEC 15938-1 “Part-1 － Systems”

ISO/IEC 15938-2 “Part-2 － Description Definition Language”

ISO/IEC 15938-3 “Part-3 － Visual”

ISO/IEC 15938-4 “Part-4 － Audio”

ISO/IEC 15938-5 “Part-5 － Multimedia Description Schemes”



MPGE-7 MDS: Free Text Annotation Example

The following example gives an MPEG-7 description of a car that is depicted in an image:<Mpeg7>

<Description xsi:type="SemanticDescriptionType"><Semantics>

<Label><Name> Car </Name>

</Label><Definition>

<FreeTextAnnotation>Four wheel motorized vehicle

</FreeTextAnnotation></Definition><MediaOccurrence>

<MediaLocator><MediaUri> image.jpg </MediaUri>

</MediaLocator></MediaOccurrence>

</Semantics></Description>

</Mpeg7>



MPEG-7 MDS: Event DS ExampleThe following example gives an MPEG-7 description of the event of handshake between people:<Mpeg7>

<Description xsi:type="SemanticDescriptionType">

<Semantics>

<Label>

<Name> Shake hands </Name>

</Label>

<SemanticBase xsi:type="AgentObjectType" id="A">

<Label href="urn:example:acs">

<Name> Person A </Name>

</Label>

</SemanticBase>

<SemanticBase xsi:type="AgentObjectType" id="B">

<Label href="urn:example:acs">

<Name> Person B </Name>

</Label>

</SemanticBase>

<SemanticBase xsi:type="EventType">

<Label><Name> Handshake </Name></Label>

<Definition>

<FreeTextAnnotation> Clasping of right hands by two people </FreeTextAnnotation>

</Definition>

<Relation type="urn:mpeg:mpeg7:cs:SemanticRelationCS:2001:agent" target="#A"/>

<Relation type="urn:mpeg:mpeg7:cs:SemanticRelationCS:2001:accompanier“ target="#B"/>

</SemanticBase>

</Semantics>

</Description>

</Mpeg7>



MPEG-7メタデータ生成とその利用



映像コンテンツの種類による特殊性

ドラマ/映画（完全なシナリオ）

ニュース（アナウンサー、中継、フリップから構成）スポーツ（ルール、出場選手、イベント等の事前定義が可能）セミナー映像（ビデオ、映像だけでなく、スライドも重要）

コンテンツの種類に応じたメタデータ生成手法



ＭＰＥＧ－７オーサリングツール

MPEG-4 VideoReal Video

Windows Media

MPEG-7Contents

Descriptions

Segment DSPointOfView DSemantic DSRelation DS

XML

BasicInformation

Event-based IndexingTime

PassFoul

Goal

Indexing by Extrinsic DataTime

Video

Slide

0.80

0.50

0.60Introduction

Background

Approach

Changing Slides

Video+Slides

Extrinsic Data

Morphological Analysis

Timecode of changing slidesTexts extracted from slides

Scene-based IndexingTime

Information Technology

Dr. Kuse

0.80 0.30 0.40

0.80

0.80

0.50

Video

Video Extender

Video

Device

H: PassY: FoulG: Goal

G H

シーンに基づくインデックスシーンに基づくインデックス

（ドラマ，映画，ニュース）

ビデオセグメントの自動分割シーンの統合，分割GUI各シーンのインデックス入力

イベントに基づくインデックスイベントに基づくインデックス（（スポーツ［野球，サッカー］）スポーツ［野球，サッカー］）

イベント重要度分布の事前定義イベントをキーに対応

外部入力によるインデックス外部入力によるインデックス（セミナー映像）映像よりスライドが重要スライド交替イベントを意味の切れ目とするスライド文章を形態素解析によって名詞句をインデックスとする



シーンに基づくインデキシングードラマ，映画，ニュースー

・・・

シーンシーンシーン

ビデオセグメントの自動分割シーンの統合，分割GUI各シーンのインデックス

タイトル

代表画像

文字映像の存在確率

音の存在確率

フリーキーワードとその重み



イベントに基づくインデキシングースポーツー

スポーツにおけるイベント（ゴール、パス等）をインデックスとするオペレータがキーを入力することにより、そのキーに割り当てられたイベントが入力イベントの開始・終了時刻も重要

⇒ イベントの開始・終了時刻は確定的に決定せず、

事前に決定しておいたイベント発生確率分布関数により確率的に決定

イベント発生確率分布関数

Time

σｒσｌ

入力時刻

イベント終了時刻オペレータが入力した時刻

イベント開始時刻



イベントに基づくインデキシング多様なインデックスの生成

イベントの継承関係の導入複合イベントの導入

Pass

Through-Pass

Centering

Time

Corner kick

Goal

Corner goal

t1 t2

単一イベント

複合イベント



イベントに基づくインデキシングインデックス入力実験

サッカー映像約５０分

約４０種類の単一イベント、約２０種類の複合イベント（イギリスのOPTAシステムのイベントを参考）

結果イベント入力に要した時間

実時間の約１．６倍

入力したイベント数

単一イベント：約９００個、全生成イベント：約１１００個

音声入力による入力

手入力よりも時間がかかる。細かい発生の連続、認識時間などの影響。



外部入力に基づくインデキシングーセミナー映像ー

セミナー映像では，映像よりスライド内容が重要スライドの交替が内容の交替に一致

ページ送りをイベントとして獲得スライド内容をテキスト化

形態素解析で名詞句を自動抽出

タイトル，サブタイトル，説明文のレベルに応じた重要度付け



Digital Media Portal

チャート1

チャート2

チャート3

チャート4

Chart Image 1

Chart Image 2

Chart Image 3

Chart Image 4

Ｔｅｘｔ情報Ｔｅｘｔ情報Ｔｅｘｔ情報Ｔｅｘｔ情報

プレゼンテーション･チャートを活用

時間

キーワード&重み




MPEG

WebSpherePortal

Content Manager

VideoChargerサーバー

Metadata, JPG, XML MPEG

ＥＩＰ

Portletテキスト抽出処理

テキスト・マイニング処理（形態素解析)

ブラウザー画面

Video要約サーバー

ビデオ収録

Sametimeを使ってプレ

ゼンテーションを記録

Sametimeのログおよびプレゼンテーション･チャートを自動処理

Ｔ０Ｔ１Ｔ２

メタデータ(MPEG7)

セミナー会場

簡単(自動)にWebコンテンツ化!

メタデータから自動生成

メタデータから自動生成

Annotation Server

ビデオプレイヤー

ビデオプレイヤー

プレゼンテーションチャート

プレゼンテーションチャート

ビデオ要約再生機能ビデオ要約再生機能

セミナー･ビデオ等の自動コンテンツ化/Web発行ソリューション。

ビデオとプレゼンテーション・チャートを同期再生。チャートの中の任意のページを検索/再生可能。

自動抽出されたキーワードから長い講演も短く要約再生可能。

セミナー･ビデオ等の自動コンテンツ化/Web発行ソリューション。

ビデオとプレゼンテーション・チャートを同期再生。チャートの中の任意のページを検索/再生可能。

自動抽出されたキーワードから長い講演も短く要約再生可能。



MPEG-7 Descriptions

Title: Panel

Key image: http://server/scene1.jpg

Keyword: Information Technology Value: 0.80Keyword: Dr. Kuse Value: 0.50

Start time: T00:01:13:14F30Time duration: PT27S2N30F

<AudioVisualSegment id=”Scene1”><CreationInformation>

<Creation>

<Title type=”original”>Panel</Title><TitleMedia>

<TitleImage><MediaUri>http://server/scene1.jpg</MediaUri>

</TitleImage></TitleMedia>

</Creation></CreationInformation><PointOfView viewpoint=”Information Technology”>

<Importance><Value>0.80</Value>

</Importance></PointOfView><PointOfView viewpoint=” Dr. Kuse”>

<Importance><Value>0.50</Value>

</Importance></PointOfView><MediaTime>

<MediaTimePoint>T00:01:13:14F30</MediaTimePoint><MediaDuration>PT27S2N30F</MediaDuration>

</MediaTime></AudioVisualSegment><AudioVisualSegment>……</AudioVisualSegment>

Meta data of a video segment



ダイジェスト生成1ユーザ要求のダイジェスト長に柔軟に対応

Threshold

Threshold

シーンに基づくインデックス ⇒ 離散時間のダイジェスト映像

イベントに基づくインデックス ⇒ 連続時間のダイジェスト映像



ダイジェスト生成2

２種類のプロファイルを利用してダイジェストを生成

ユーザプロファイル

個人の嗜好をモデル化

プロバイダ推奨プロファイル

典型的な視聴者の嗜好をモデル化（例）チームＡのファン用プロファイル、チームＢのファンプロファイル

両プロファイルを適当な重みで混ぜ合わせて利用

ユーザプロファイル

推奨プロファイル

パーソナルダイジェスト

推奨ダイジェスト



映像配信システムシステム構成例１

Summary Push and Smart Push (NTT DoCoMo)を用いてシステム構

築コンテンツへのインターフェイス等の応用はJAVAプログラム現状は端末シミュレータで実現

MPEG-4/7AuthoringSystem

MPEG-1MPEG-2

AVI

Video

MPEG-4

Contentsdescription

MPEG-7

VideoDeliveryServer

Jar fileJava programKey imageContents descriptionRecommended profile

UserProfile

MobileTerminal

RecommendedProfile

DigestGeneration

System

Contentsdescription

PUSH(HTTP etc)

PULL(URI, RTSP etc)

Streaming/Download

Thre-shold

ImportanceValue

t0 t1 t2 t3 t4

Thre-shold

ImportanceValue

t0 t1 t2 t3 t4

IBM IBMDoCoMo



映像配信システムシステム構成例２ユーザ認証，ポートレット構築等に既存製品を用いてシステム構築コンテンツへのインターフェイス，表示応用等はサーバアプリケーションユーザは，汎用Webブラウザ，ストリーミングプレーヤ（Real Player/WMP)汎用PCで実現可能

Content SelectionProfile Setting

Streaming Server

MPEG-4 Video ServerRealServerWindows Media Server

Video Digest Generation

WES WPSProfile SelectionVideo Portlets

HTTP

MPEG-4 VideoReal VideoWindows Media

MPEG-7 Contents descriptions

User ProfilesRecommended Profiles

(MPEG-1/2/AVI Video Contents Library)

Send Notification of Available Contents for Digest Service

Digest Video Stream(Japan,Goal :30 Sec.)

User Authentication&

Notification

Request for Digest Delivery

MPEG-7 Authoring Tool

xxxxx********

xxxxx++++++++

xxxxx**********

SMIL/ASX File

Portlet Framework

Select Content (World Cup Games)Select Recommended Profiles (Japan, Korea)Set My Profile (Goal, Shoot, Time duration)

RTSP

SMIL/ASX Player


Streaming Server




HTTP








Notification



xxxxx********

xxxxx++++++++

xxxxx**********

SMIL/ASX File

Portlet Framework


RTSP

SMIL/ASX Player


Streaming Server




HTTP








Notification



xxxxx********

xxxxx++++++++

xxxxx**********

SMIL/ASX File

Portlet Framework


RTSP

SMIL/ASX Player



Video付箋紙

唯一のアノテータが万人の満足するインデックスを生成することは不可能誰もが簡単に映像にメモを記述 → 誰でもインデキシング

他の人とシーンを共有し、ディスカッション

ｘｘｘってどういう意味？

ここをみたらわかるよ

・・・・・・・・・



Video付箋紙－e-learningへの活用－

受講者にとってのメリットインストラクターにとってのメリット

インストラクターが指定した開始点から何度でも再生できる受講者のメモ書きを追加できる他の受講者とメモを共有できるどこが分かり難いかをインストラクターに簡単に質問できる

インストラクターがビデオで重要な開始点にメモを記述できる重要な映像区間だけを指定し，受講者に提供できる他のコンテンツへのジャンプ，一部分の割込み挿入を指定できる

VideoPointerhttp://VPServer?url=rtsp://vserv/video&start=01:23

観光客の推移

ビデオプレーヤ

先頭からの時間=01:23

メモ書き + VideoPointer

受講者

VPserverWAS

HTTP server

メモ書き + VideoPointer

Videoプレーヤを管理するHTMLページ

特徴• ビデオ符号化方式に依存しない• 受講者は既存ブラウザ，既存プレーヤから再生できる

ビデオ格納場所=rtsp://vserv/video

ウェブブラウザー＋

ビデオプレーヤ(Video Charger/Real Player/Windows Media Player)



SemanticQoS－意味的重要度に基づく配信制御－

QoS= Quality Of Service ネットワークの通信品質インターネットはベストエフォート ⇒ 最善はつくすが、保証はしないストリーミング配信においては、パケットのLoss、Delayは致命的

映像配信におけるQoS制御の重要性



優先度割り当て従来法：映像データの信号特性を考慮して、優先度を決定

Ｉフレーム（フレーム内圧縮）Pフレーム（片方向予測）Bフレーム（双方向圧縮）

I B PB B PB I B PB B PBB B B B

しかし・・・、全てのシーンを一様に制御

SemanticQoS：シーンの意味的内容をも考慮して、優先度を決定

重要なシーン

優先度＞＞



DiffServの動作

ＩＰパケットに優先度を付加して配信ネットワーク輻輳時に，優先度に従ってパケット廃棄映像の意味構造を反映した優先度をヒントトラックに記述することで，優先度伝送が可能

MP4file

Diffserv router Diffserv router

優先度に応じたQoS制御

優先度に応じたQoS制御

ClientServer

メディアの重要度に応じて優先度付け

パケット廃棄

優先度＞＞



受信映像例1 ー重要なシーン（Ｉフレーム）ー

original semantic

no qossignal



受信映像例2 ー重要なシーン（Ｐフレーム）ー

semanticoriginal

signal no qos



モバイルワイヤレス・マルチメディアQoS制御配信

通信速度が飛躍的に向上する第三世代以降の移動通信サービスにおいて、モバイル通信環境やユーザ要求に適応したマルチメディア・コンテンツ配信のためのQoS制御技術を実現



モバイル・ワイヤレス通信の構成

Core Network

基地局

サーバ

クライアント



モバイルワイヤレス通信の特徴

時刻

帯域小（利用者多、電波状態悪）

「圏外」在圏

帯域大（利用者少、電波状態良）

無線回線の利用可能帯域

在圏

中断再開

＊マルチメディアストリーミング配信では，問題が顕著に現れる．



拡張モバイル・セッション管理

再生中断

サーバ

圏外検出による配送休止

在圏通知による配送再開

状態を保存

続きから再生

基地局

Core Network

在圏・圏外に対してセッションを自動的に中断/再開

クライアント

連続再生



動的適応エンド・エンドQoSストリーム配信

時刻

無線回線の帯域

・ネットワークの状況に適応したマルチメディアデータ転送ビデオストリームの状況

QoS制御有

QoS制御無

ＸＸＸＸ紛失



スポーツモード・ニュースモードの切り替え

Server

Client

通信状態好条件（帯域大）

悪条件下（帯域小）

動き重視指定


画質重視指定

通信条件悪化時の処理方法指定

ビデオファイル

ビデオストリーム

Client

通信状態好条件（帯域大）


動き重視指定


画質重視指定

通信条件悪化時の処理方法指定

ビデオファイル

ビデオストリーム



ＢＡＣＫＵＰ



モバイルワイヤレス端末への効果的なマルチメディア配信技術

移動通信の特徴

パケット損失率・遅延・バンド幅が常に変動している

ユーザにベストエフォート方式として用意される

IBM VideoCharger Serverとクライアントでの拡張機能

1. 拡張モバイルセッション管理

2. 動的適応エンド・エンドQoSストリーム配信

3. ユーザの要求に応じたエンド・エンドQoSポリシー



デモンストレーションの構成

サーバ

クライアント

IMT-2000シミュレータ

サーバ

クライアント


サーバ

クライアント


サーバ

クライアント


2., 3.の構成1.の構成

クライアント

サーバ

アクセスポイント

サーバ

アクセスポイント



エンド・エンドQoSフレームワーク

Video Server

Mobile Network(e.g. 3G network)

Storage

Video Delivery (QoS)

Video Request

Wireless Link

Mobile

Station

Application

Network

User/Service

Transport

Data Link

Application

Network

User/Service

Transport

Data Link

QoS control informationMiddlewareMiddleware

Application

Network

User/Service

Transport

Data Link

Application

Network

User/Service

Transport

Data Link

QoS control informationMiddlewareMiddleware

Documents

IBM blue-and-white template - xmlconsortium.orgxmlconsortium.org/seminar/m21/data/20030924-03.pdf · Tokyo Research Laboratory 2003/09/18 © 2002 IBM Corporation MPEG-7の生成とその利用