MPEG-7 MDSチュートリアル - metafrontier.jp

オーディオビジュアル複合情報処理シンポジウム2001 ～MPEG-7最新動向と将来展望～(2001.9.14)

MPEG-7 MDSチュートリアル

MPEG-7MDSチュートリアル

柴田賀昭 ([email protected])

ソニー(株)インターネット研究所



あらまし

MDSとはMDSの概要

MPEG-7メタデータMPEG-7に基づくマルチメディア・コンテンツの記述例

まとめ



MDS: Multimedia Description Scheme映像・音声両方の特徴記述に関わるツール映像・音声の範疇には直接入らないツール

各種基本ツール

MPEG-7スキーマ・アーキテクチャ定義ツールその他

正式名称: ISO/IEC 15938-5700ページ以上!!

MDSとは

～MPEG-7の根幹をなすツールセット～



MDSの概要



MDS概観図

Navigation &Navigation &AccessAccess

Summaries

Variations

Content descriptionContent description

Content managementContent management

Creation &production

Media Usage

Semanticaspects

Structuralaspects

ModelContent organizationContent organization CollectionsUserUser

InteractionInteraction

User preferences

SchemaTools

Link & medialocalization

BasicTools

Basic elementsBasic elements

Basicdatatypes

Views

User History



基本要素(Basic elements)

SchemaTools


BasicTools


Basicdatatypes

- <Mpeg7>ルート要素- 上位要素- Package　DS

- <Mpeg7>ルート要素- 上位要素- Package　DS

- 整数データ型- ベクトル型、行列型- MIME type- 国、地域、貨幣データ型

- 整数データ型- ベクトル型、行列型- MIME type- 国、地域、貨幣データ型

- 識別子(ID)- Time/MediaTime- ロケータ

- 識別子(ID)- Time/MediaTime- ロケータ

- テキスト注釈記述(自由書式、構造化文書)- 制限語彙記述- 人、グループ、組織記述- 場所記述- グラフ、要素間の関連、順序記述- 視聴者の感性記述

- テキスト注釈記述(自由書式、構造化文書)- 制限語彙記述- 人、グループ、組織記述- 場所記述- グラフ、要素間の関連、順序記述- 視聴者の感性記述



コンテンツ管理ツール(Content Management)



Media Usage

SchemaTools


BasicTools


Basicdatatypes

- メディア形式記述- メディア変換記述- メディアの“質”記述

- メディア形式記述- メディア変換記述- メディアの“質”記述

- 制作関連情報記述- コンテンツの分類記述- 関連コンテンツ記述

- 制作関連情報記述- コンテンツの分類記述- 関連コンテンツ記述

- 権利情報参照- コンテンツ使用条件記述- コンテンツ使用記録記述

- 権利情報参照- コンテンツ使用条件記述- コンテンツ使用記録記述






Media Usage

Semanticaspects

Structuralaspects

SchemaTools


BasicTools


Basicdatatypes

- コンテンツの構造記述- 視覚特長記述- 聴覚特徴記述- 手書き文字特徴記述- ビデオ編集工程記述

- コンテンツの構造記述- 視覚特長記述- 聴覚特徴記述- 手書き文字特徴記述- ビデオ編集工程記述

- オブジェクト記述- イベント記述- 概念記述

- オブジェクト記述- イベント記述- 概念記述

コンテンツ記述ツール(Content Description)



セグメント記述スキーム(Segment DS)

VIdeoSegment DS StillRegion DS

MovingRegion DS Audio segments

• 色• カメラ動作• 活動度• モザイク• その他

• 色• 形• 位置• テクスチャ• その他

• 色• 動作• 軌跡• その他

• パワー• スペクトラム• 音色• メロディ• 音声要素• その他



参考: ビデオの階層構造

プログラムプログラム

シーン1シーン1 シーン3シーン3 シーンnシーンnシーン2シーン2

シーン分割シーン分割

ショットショット

ショット分割ショット分割



事例: イメージの階層構造及び特徴記述

　StillRegion(1)　- 制作情報　- 記録書式　- 注釈

　StillRegion(1)　- 制作情報　- 記録書式　- 注釈　StillRegion(2)

　- 支配色　- テクスチャ　- 注釈

　StillRegion(2)　- 支配色　- テクスチャ　- 注釈　StillRegion(3)

　- 形　- 注釈

　StillRegion(3)　- 形　- 注釈

　StillRegion(4)　- 形　- 支配色　- テクスチャ　- 注釈

　StillRegion(4)　- 形　- 支配色　- テクスチャ　- 注釈

　StillRegion(5)　- 形　- 支配色　- 注釈






セグメント分割関連図

space/timespaceTime/media

space

time/media time/media

time/media

AudioVisualSegment

AudioSegment VideoSegmentMovingRegion

StillRegionAudioVisualRegion

mediamedia

space/time/spaceTime

space/timespaceTime/media

media media

spacespaceTime

space

StillRegion3Dspace

time/spaceTimetime/spaceTime

media

space: 空間分割time: 時間分割spaceTime: 時空間分割media: メディア分割



コンテンツ・ナビゲーションおよびアクセスツール(Navigation & Access)


Summaries

Variations




Media Usage

Semanticaspects

Structuralaspects

SchemaTools


BasicTools


Basicdatatypes

Views

- 要約コンテンツの階層化記述- 要約コンテンツの表現方法記述- 要約コンテンツの階層化記述- 要約コンテンツの表現方法記述

- 信号処理後の“見え方”記述- 信号処理後の“見え方”記述

- 派生コンテンツ記述- 派生コンテンツ記述



オリジナルプログラムオリジナルプログラム

事例: 要約コンテンツの階層化記述

HierarchicalSummary HighlightLevel(1) HighlightLevel(2)

HighlightSegment

HighlightSegment

HighlightSegment

HighlightSegment

HighlightSegment

HighlightSegment

HighlightSegment



コンテンツ組織化ツール(Content organization)


Summaries

Variations




Media Usage

Semanticaspects

Structuralaspects

ModelContent organizationContent organization Collections

SchemaTools


BasicTools


Basicdatatypes

Views

- コンテンツの集合体の記述- コンテンツ構造記述の集合体の記述- 単一特徴記述の集合体の記述- 概念の集合体の記述

- コンテンツの集合体の記述- コンテンツ構造記述の集合体の記述- 単一特徴記述の集合体の記述- 概念の集合体の記述

- 確率統計モデルに基づく特徴記述- 有限状態モデルに基づく特徴記述- モデルと意味内容との関連付けの記述

- 確率統計モデルに基づく特徴記述- 有限状態モデルに基づく特徴記述- モデルと意味内容との関連付けの記述



ユーザ関連ツール(User interaction)


Summaries

Variations




Media Usage

Semanticaspects

Structuralaspects

ModelContent organizationContent organization CollectionsUserUser

InteractionInteraction

User preferences

SchemaTools


BasicTools


Basicdatatypes

Views

User History

- 制作情報関連の嗜好記述- 分類情報関連の嗜好記述- 供給元情報関連の嗜好記述- ブラウジング関連の嗜好記述

- 制作情報関連の嗜好記述- 分類情報関連の嗜好記述- 供給元情報関連の嗜好記述- ブラウジング関連の嗜好記述

- ユーザの視聴履歴の記述- ユーザの動作履歴の記述- ユーザの視聴履歴の記述- ユーザの動作履歴の記述



MPEG-7メタデータ



MPEG-7に基づく“場所”の記述例

<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="PlaceType">

<Name>Sony Corporation</Name><GeographicPosition><Point longitude="139" latitude="36"/>

</GeographicPosition><Country>jp</Country><AdministrativeUnit>tokyo</AdministrativeUnit><PostalAddress><AddressLine>

6-7-35 KitaShinagawa, Shinagawa-ku</AddressLine><PostingIdentifier>140-0001</PostingIdentifier>

</PostalAddress></DescriptionUnit>

</Mpeg7>









</Mpeg7>

開始・終了タグは<Mpeg7>










</Mpeg7>

場所記述ツール(Place DS)

場所記述ツール(Place DS)









</Mpeg7>

場所の名称および位置(緯度、経度)

場所の名称および位置(緯度、経度)









</Mpeg7>

国、地域、住所など国、地域、住所など



MPEG-7メタデータの２つの形態

完全記述版メタデータ自己完結した記述データ

イメージ、ビデオ、オーディオ、要約、派生、モデル、ユーザ嗜好、etc.

記述単位版メタデータ記述子(D)、記述スキーム(DS)単位での生成

“場所”記述の例 (Place DS)

部品単位での情報交換

“場所”の記述è何の“場所”??



MPEG-7に基づくマルチメディアコンテンツの記述例



典型的なニュース番組の論理構造

News Structure

Introduction(0 -1 min)

TimeAxis

News item 1(1 -6 min)


News item 3(10 - 14 min)

News item 4(14 – 17 min)


…

…

…

…

…

…

Anchor shot Reporting shots

- ひとつのニュース番組は複数のニュース項目から構成される- 各ニュース項目はアナウンサーショットから開始される



ニュース番組の構造記述例

<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">

<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">

<MediaLocator> ... </MediaLocator><MediaTime>

<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>

</MediaTime><TemporalDecomposition>

:</TemporalDecomposition>

</AudioVisual></MultimediaContent>

</ContentDescription></Mpeg7>

























映像音声コンテンツ記述の完全記述版メタデータである

ことの宣言

映像音声コンテンツ記述の完全記述版メタデータである

ことの宣言











</ContentDescription></Mpeg7> ニュース番組の

トップレベル記述ニュース番組のトップレベル記述












対象ニュース番組の存在場所

対象ニュース番組の存在場所

ニュース番組のトップレベル記述ニュース番組のトップレベル記述












対象ニュース番組の所要時間 (20min)

対象ニュース番組の所要時間 (20min)













対象ニュース番組のニュース項目分割記述対象ニュース番組の

ニュース項目分割記述





:<TemporalDecomposition><AudioVisualSegment id="introduction">

<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="newsItem1">

<MediaTime> ... </MediaTime><TemporalDecomposition>:

</TemporalDecomposition></AudioVisualSegment><AudioVisualSegment id="newsItem2">

:</AudioVisualSegment>

:</TemporalDecomposition>:










導入部導入部










導入部導入部

ニュース項目1ニュース項目1










導入部導入部












導入部導入部



対象ニュース項目のショット分割記述

対象ニュース項目のショット分割記述




:<TemporalDecomposition><AudioVisualSegment id="anchor1">

<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-1">


<MediaTime> ... </MediaTime></AudioVisualSegment>










アナウンサーショット












レポータショット(1)レポータショット(1)















ニュース・ダイジェストの自動生成

News Structure


TimeAxis






…

…

…

…

…

…

Anchor shot Reporting shots

- 各ニュース項目のアナウンサーショットでは、その項目の概要が示される。- id=“anchor?”なる値を持つセグメントのみを抽出




Simple News Digest


TimeAxis






Anchor shot

- 各ニュース項目のアナウンサーショットでは、その項目の概要が示される。- id=“anchor?”なる値を持つセグメントのみを抽出



ニュース番組ニュース番組

ニュース番組の構造記述データ


id=“anchor?”なるセグメント記述の抽出

フィルタリング・ツール

ニュース・ダイジェストの記述データ

ダイジェストブラウジング

ビューア

- アプリケーション例



ニュース・ダイジェスト記述例

<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="SummarizationType">

<Summary xsi:type="HierarchicalSummaryType" ... >:

<HighlightSummary><HighlightSegment>

<Name>anchor1</Name><KeyAVClip>

<MediaTime> ... </MediaTime></KeyAVClip>

</HighlightSegment><HighlightSegment>



</HighlightSegment>:

</HighlightSummary></Summary>

</DescriptionUnit></Mpeg7>















要約コンテンツ階層化記述の記述単位版メタデータである

ことの宣言

要約コンテンツ階層化記述の記述単位版メタデータである

ことの宣言















アナウンサーショット1アナウンサーショット1



















まとめ

MDS (ISO/IEC 15938-5: Multimedia Description Scheme)基本要素コンテンツ管理ツールコンテンツ記述ツールコンテンツ・ナビゲーション及びアクセスツールコンテンツ組織化ツールユーザ関連ツール

MPEG-7メタデータ単位記述版MPEG-7メタデータ完全記述版MPEG-7メタデータ

記述例(デモ)ニュース番組の構造化記述に基づく、ニュース・ダイジェスト(記述)の自動生成

Documents

MPEG-7 MDSチュートリアル - metafrontier.jp