8
01 MPEG-DASHを用いた マルチスクリーン端末における 放送通信同期手法 大西正芳  広中悠樹  大亦寿之  松村欣司  真島恵吾 A Synchronization Method Between Broadcast and MPEG-DASH Streaming on Multi-screen Devices Masayoshi ONISHI, Yuki HIRONAKA, Hisayuki OHMATA, Kinji MATSUMURA and Keigo MAJIMA 要 約 当所では,ハイブリッドキャストの高度化に向けた研究の一環 として,テレビとモバイル端末の間で,放送と通信ストリーム を同期提示する技術の研究を進めている。この同期提示技 術により,例えば,テレビ視聴と同時に,別アングルの映像 を利用者の手元の端末で視聴するマルチビューサービスが実 現可能となる。本稿では,通信側の配信にMPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)を用いる手法を提案する。この手 法では,放送の進行に合わせて配信するMPEG-DASHコン テンツのMPD(Media Presentation Description)ファイ ルの情報を更新するとともに,受信側で,放送と通信映像の 時刻情報の差分を用いて映像をバッファリングすることにより, 放送と通信ストリームを同期させる。 本稿では,同期手法の 詳細を説明するとともに,受信機エミュレーターとタブレットを 用いたシステムの試作,およびその動作結果について述べる。 試作したシステムを用いて動作実験を行い,放送とMPEG- DASH映像の同期の確立と,提案手法の有効性を確認した。 ABSTRACT We are studying a method to synchronize video playback between broadcast and broadband on multi-screens for an advancement of Hybridcast services. For example, using this technology, a multi-view service can be provided that lets a viewer to simultaneously watch broadcast content as a main view and broadband content as an alternative view. In this paper we propose a method that uses MPEG-DASH for delivering an IP stream that is to be displayed in synchronization with broadcasting. In the method an MPD file for the IP stream is periodically updated to adjust the playback starting position to the progressing broadcasting program. Then the IP stream is buffered in a receiver for precise synchronization according to the difference of time stamps between both streams. This paper also describes an experiment using a prototype system. The prototype system performed synchronization between broadcast and MPEG-DASH and confirmed the validity of the proposed method. 40 NHK技研 R&D/No.156/2016.3

MPEG-DASHを用いた マルチスクリーン端末における 放送通信同 … · mpeg-dashは,インターネットを使った動画配信 ... は,配信プロトコルとしてインターネットにおけるファ

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

01

MPEG-DASHを用いたマルチスクリーン端末における放送通信同期手法大西正芳  広中悠樹  大亦寿之  松村欣司  真島恵吾

A Synchronization Method Between Broadcast and MPEG-DASH Streaming on Multi-screen Devices

Masayoshi ONISHI, Yuki HIRONAKA, Hisayuki OHMATA, Kinji MATSUMURA and Keigo MAJIMA

要 約

当所では,ハイブリッドキャストの高度化に向けた研究の一環として,テレビとモバイル端末の間で,放送と通信ストリームを同期提示する技術の研究を進めている。この同期提示技術により,例えば,テレビ視聴と同時に,別アングルの映像を利用者の手元の端末で視聴するマルチビューサービスが実現可能となる。本稿では,通信側の配信にMPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)を用いる手法を提案する。この手法では,放送の進行に合わせて配信するMPEG-DASHコンテンツのMPD(Media Presentation Description)ファイルの情報を更新するとともに,受信側で,放送と通信映像の時刻情報の差分を用いて映像をバッファリングすることにより,放送と通信ストリームを同期させる。本稿では,同期手法の詳細を説明するとともに,受信機エミュレーターとタブレットを用いたシステムの試作,およびその動作結果について述べる。試作したシステムを用いて動作実験を行い,放送とMPEG-DASH映像の同期の確立と,提案手法の有効性を確認した。

ABSTRACT

We are studying a method to synchronize video playback

between broadcast and broadband on multi-screens for

an advancement of Hybridcast services. For example,

using this technology, a multi-view service can be

provided that lets a viewer to simultaneously watch

broadcast content as a main view and broadband content

as an alternative view. In this paper we propose a method

that uses MPEG-DASH for delivering an IP stream that is

to be displayed in synchronization with broadcasting. In

the method an MPD fi le for the IP stream is periodically

updated to adjust the playback starting position to the

progressing broadcasting program. Then the IP stream

is buffered in a receiver for precise synchronization

according to the difference of time stamps between both

streams. This paper also describes an experiment using

a prototype system. The prototype system performed

synchronization between broadcast and MPEG-DASH

and confi rmed the validity of the proposed method.

40 NHK技研 R&D/No.156/2016.3

*1 テレビとモバイル端末など,同時に複数の画面で番組を視聴することを,本稿ではマルチスクリーンと呼ぶ。

*2 インターネットサービスにおいて,サービスを提供するサーバーに対して受ける側をクライアントと言う。動画クライアントサービスとは,動画データを受信する端末の動画再生機能を言う。

*3 対象とする配信規模に応じて,ハードウェア資源を増減できること。

*4 個々の映像や音声のデータに対して,それらをまとめたり,付加的な情報を格納したりするファイルフォーマット。

*5 ISO/IEC14496-12で規定されるメディアファイルフォーマット。格納できる符号化方式としてMPEG2-Video,H.264,H.265などがある。

*6 本特集号の解説「MPEG-DASHとハイブリッドキャスト」の2章を参照。

1.はじめに

当所では,放送通信連携サービス「ハイブリッドキャスト」1)のさらなる高度化に向けた研究の一環として,放送映像に加えて別アングルのカメラ映像を同時に視聴できるマルチビューサービスなどの実現を目的に,放送と通信ストリームを高精度に同期提示する技術の開発を行っている2)3)。本稿では,マルチスクリーン*1間で,放送と通信で配信される映像の同期提示を実現する手法の提案,およびその試作検証について述べる。提案手法では,通信映像の配信方式としてMPEG-DASH4)を用いる。本稿では,MPEG-DASHの概要について述べた後,

提案する同期手法を示し,それに基づく検証システムの試作とその動作結果について報告する。

2.MPEG-DASHの概要

2.1 MPEG-DASHの特徴MPEG-DASHは,インターネットを使った動画配信

方式であり,近年,その利用が広まっている。この方式は,ネットワークの帯域に応じて最適な伝送レートでの配信とシームレスな切り替え再生を行うアダプティブストリーミングを採用している。同様の配信方式としてHLS(HTTP Live Streaming)5)などが存在するが,MPEG-DASHは国際標準化された仕様であるため,さまざまなプラットフォームでの利用が期待され,すでに商用展開も行われている。ウェブのアプリケーションを記述する言語の標準仕様であるHTML5(HyperText Markup Language 5)においても,MPEG-DASHに関連する拡張仕様としてストリーミング再生を制御するMSE(Media Source Extensions)6)や,コンテンツ保護をサポートするEME(Encrypted Media Extensions)7)

が規定され,ブラウザーの機能だけでMPEG-DASHの動画クライアントサービス*2を実現できるようになった。MPEG-DASHを用いる利点は,スケーラブル*3な

配信を容易に実現できることである。MPEG-DASHでは,配信プロトコルとしてインターネットにおけるファ

イル配信の基本プロトコルであるHTTP(Hypertext Transfer Protocol)を利用しているため,インターネット上に分散するキャッシュサーバーに,配信ファイルの複製を容易に増やすことができる。したがって,一般的なウェブサービス向けのクラウドサーバーを利用し,配信ユーザー数に応じて動的かつ低コストにサーバーを増強することが可能であるため,VOD(Video on Demand)サービスなどの大規模な動画配信サービスに適している。

2.2 MPEG-DASHによる配信・再生の仕組みMPEG-DASHでは,ベースのコンテナフォーマット*4としてMP48)*5を利用する。MPEG-DASHのコンテンツは,1表に示す3種類のファイルによって構成される。MPEG-DASHの動作概要,および配信サーバー上に配置するファイルの構成を1図に示す。配信サーバー上には,1つのコンテンツに対して,MPDファイルを1つ,イニシャライゼーションファイルをコンポーネント(映像,音声)や伝送レートごとに1つずつ,数秒単位に分割されたセグメントファイルをコンポーネントごとに複数配置する。MPEG-DASHのコンテンツは,映像,音声などの複数のコンポーネントが伝送レートごとに存在し*6,さらにそれぞれのコンポーネントが数秒ごとのセグメントファイルに分割されている。この構成に関する情報が1つのMPDファイルに記述される。MPEG-DASHの再生時の動作としては,まず始めに,端末がウェブサーバーからMPDファイルを取得して,コンテンツの構成を把握する(1図の①)。そして,MPDファイルの記述に従っ

名称 役割

※1 Media Presentation Description※2 Extensible Markup Language

MPD※1ファイル コンテンツ全体の構成や開始セグメントの指定を記述したXML※2ファイル

イニシャライゼーションファイル セグメントファイル(MP4)のヘッダー情報

セグメントファイル 数秒単位に分割したsegmented MP4ファイル

1表 MPEG-DASHで配信するファイルと役割

41NHK技研 R&D/No.156/2016.3

01

MPEG-DASHを用いたマルチスクリーン端末における放送通信同期手法大西正芳  広中悠樹  大亦寿之  松村欣司  真島恵吾

A Synchronization Method Between Broadcast and MPEG-DASH Streaming on Multi-screen Devices

Masayoshi ONISHI, Yuki HIRONAKA, Hisayuki OHMATA, Kinji MATSUMURA and Keigo MAJIMA

要 約

当所では,ハイブリッドキャストの高度化に向けた研究の一環として,テレビとモバイル端末の間で,放送と通信ストリームを同期提示する技術の研究を進めている。この同期提示技術により,例えば,テレビ視聴と同時に,別アングルの映像を利用者の手元の端末で視聴するマルチビューサービスが実現可能となる。本稿では,通信側の配信にMPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)を用いる手法を提案する。この手法では,放送の進行に合わせて配信するMPEG-DASHコンテンツのMPD(Media Presentation Description)ファイルの情報を更新するとともに,受信側で,放送と通信映像の時刻情報の差分を用いて映像をバッファリングすることにより,放送と通信ストリームを同期させる。本稿では,同期手法の詳細を説明するとともに,受信機エミュレーターとタブレットを用いたシステムの試作,およびその動作結果について述べる。試作したシステムを用いて動作実験を行い,放送とMPEG-DASH映像の同期の確立と,提案手法の有効性を確認した。

ABSTRACT

We are studying a method to synchronize video playback

between broadcast and broadband on multi-screens for

an advancement of Hybridcast services. For example,

using this technology, a multi-view service can be

provided that lets a viewer to simultaneously watch

broadcast content as a main view and broadband content

as an alternative view. In this paper we propose a method

that uses MPEG-DASH for delivering an IP stream that is

to be displayed in synchronization with broadcasting. In

the method an MPD fi le for the IP stream is periodically

updated to adjust the playback starting position to the

progressing broadcasting program. Then the IP stream

is buffered in a receiver for precise synchronization

according to the difference of time stamps between both

streams. This paper also describes an experiment using

a prototype system. The prototype system performed

synchronization between broadcast and MPEG-DASH

and confi rmed the validity of the proposed method.

40 NHK技研 R&D/No.156/2016.3

て,HTTPでセグメントファイルを取得しながら,映像・音声を再生する(1図の②)。

3.放送と通信ストリームの同期手法

3.1 マルチスクリーン間の同期提示手法放送と通信の同期技術を使ったサービスとしては,放

送本線の映像と別視点の映像を同時に再生するマルチビューサービスを想定している。例えば,スポーツ番組で,選手の映像と俯

瞰かん

映像を同時に視聴するサービスなどが考えられる。このようなサービスを実現するには,放送と通信という異なる配信経路で配信される映像を同時に受信し,先行して届く方の映像を適切な時間だけ

バッファリングすることで,提示のタイミングを同期させることが必要となる。現行のデジタル放送では,放送局の基準時刻であるSTC(System Time Clock)がPCR(Program Clock Ref-erence)として放送波に多重され,映像信号や音声信号の各フレームにはSTCに基づく提示時刻情報が付加されている。受信機では,受信したPCRに合致するように,受信機のSTCを校正する。そして,提示時刻情報が付加された映像・音声をそのSTCに合わせて提示することで,安定して放送局と同期した再生を実現している。提案するマルチスクリーン間の同期提示手法は,上記の放送システムをベースに,通信ストリームを放送に同期させる。本手法の同期モデルを2図に示す。送出側に

MP4

1本の番組

①MPDを取得し,構成を把握 ②MPDに従ってセグメントファイルをHTTPで取得しながら再生

イニシャライゼーション

イニシャライゼーション

セグメント1

セグメント1

セグメント2

セグメント2

イニシャライゼーション

イニシャライゼーション

セグメント1

セグメント1

セグメント2

セグメント2

HTTPHTTP

映像

音声MPD

映像

音声MPD

21

リクエスト

イニシャライゼーションイニシャライゼーションイニシャライゼーションイニシャライゼーション

イニシャライゼーションイニシャライゼーションイニシャライゼーションイニシャライゼーション

イニシャライゼーションイニシャライゼーションイニシャライゼーションイニシャライゼーション

イニシャライゼーションイニシャライゼーションイニシャライゼーションイニシャライゼーション

HTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTPHTTP

配信サーバー配信サーバー

クライアントクライアント

※1 Program Clock Reference  ※2 System Time Clock

現行のデジタル放送

追加部分(提案手法)

放送送出

多重

STC

配信サーバー 通信I/F バッファー デコーダー 提示

チューナー/DeMux

デコーダー 提示

放送局 受信機

携帯端末

映像/音声

映像/音声

放送

インターネット

PCR

映像/音声

STC

携帯端末にSTCを配信

STCに基づいて提示時刻情報を付加 放送のSTCと通信ストリームの提示時刻情報から差分を計算し,バッファリングして提示

PCR※1として放送局のSTC※2を多重し,STCに基づいて提示時刻情報を付加

1図 MPEG-DASHの動作概要

2図 放送と通信ストリームの同期モデル

42 NHK技研 R&D/No.156/2016.3

報告 01

おいては,配信する通信ストリームにフレーム単位で,放送局のSTCに基づく提示時刻情報を付加する。そして受信側では,受信機のSTC(これは受信機で提示中の映像フレームの提示時刻情報と等しい)を携帯端末に配信し,携帯端末で再生中の映像フレームの提示時刻情報と受信機のSTCを比較して,時間差分に相当するバッファリングを行うことにより,放送と通信ストリームを同期させる。なお,次節で述べるように,通信ストリームで送られ

る映像が常に放送の映像よりも先に届くようにシステムを構成する。

3.2 MPEG-DASHを用いた同期2章で述べたように,MPEG-DASHではコンテンツ

の取得にHTTPを用いる。1図に示すようにクライアントは,再生すべき時刻に対応するセグメントファイルを配信サーバーにリクエストして取得する必要がある。取得すべきセグメントファイルはMPDファイルによって指定される。すなわち,クライアントから見ると,まずMPDを解析し,それからセグメントファイルを取得して,再生するというステップが必要になる。このため今回,以下の2段階に分けて同期を図る方法を設計した。(1) MPDファイル上に記述する開始セグメント情報

を使った粗い調整(2)提示時刻情報を用いた精緻な調整この方法の動作を3図に示す。まず粗い調整(1)について説明する。MPDファイ

ルには,その属性の1つとして,セグメントファイルの再生開始番号を指定するstartNumberが含まれている。この属性を用いることで,セグメント長単位で,コンテンツの途中から再生開始位置を指定することができる。放送と同期させるために,このstartNumberの値を,放送の進行に連動して増加させる。次に,(2)の精緻な同期を行うために,放送より進んだ提示時刻情報の映像フレームを取得するように調整する。具体的には,指定するセグメントファイルの先頭の映像が放送の映像よりも先になるように調整する必要がある。したがって,startNumberが次式を満たすようにシステムを構成する。

tair-pass≦T seg×(startNumber-1)

∴ startNumber=Roundup (tair-pass +1 )Tseg ──(ⅰ)

ただし,tair-pass:放送番組の送出開始時刻からの経過時間(s)Tseg:セグメント時間長(s)Roundup( ):( )内の小数点以下を切り上げる関数ここで,startNumberは1から開始する整数であるため,1を減算している。

なお,(ⅰ)式は配信遅延を考慮していない最少のstartNumberであり,インターネットを使って配信する場合には,配信遅延を考慮に入れて,加算した値を用い

配信サーバー 携帯端末 受信機

(1)粗い同期放送の進行に合わせてMPDのstartNumberを更新

(2)精緻な同期放送と通信の提示時刻情報を比較し,バッファリング

MPDstartNumber="1"

セグメント100:10

MPDstartNumber="2"

セグメント200:20

MPDstartNumber="3"

セグメント300:30 00:30

00:30

バッファリング

差分値計算時間進行

同期

00:25

00:30

3図 提案手法における同期の動作

43NHK技研 R&D/No.156/2016.3

て,HTTPでセグメントファイルを取得しながら,映像・音声を再生する(1図の②)。

3.放送と通信ストリームの同期手法

3.1 マルチスクリーン間の同期提示手法放送と通信の同期技術を使ったサービスとしては,放送本線の映像と別視点の映像を同時に再生するマルチビューサービスを想定している。例えば,スポーツ番組で,選手の映像と俯

瞰かん

映像を同時に視聴するサービスなどが考えられる。このようなサービスを実現するには,放送と通信という異なる配信経路で配信される映像を同時に受信し,先行して届く方の映像を適切な時間だけ

バッファリングすることで,提示のタイミングを同期させることが必要となる。現行のデジタル放送では,放送局の基準時刻であるSTC(System Time Clock)がPCR(Program Clock Ref-erence)として放送波に多重され,映像信号や音声信号の各フレームにはSTCに基づく提示時刻情報が付加されている。受信機では,受信したPCRに合致するように,受信機のSTCを校正する。そして,提示時刻情報が付加された映像・音声をそのSTCに合わせて提示することで,安定して放送局と同期した再生を実現している。提案するマルチスクリーン間の同期提示手法は,上記の放送システムをベースに,通信ストリームを放送に同期させる。本手法の同期モデルを2図に示す。送出側に

MP4

1本の番組

①MPDを取得し,構成を把握 ②MPDに従ってセグメントファイルをHTTPで取得しながら再生

イニシャライゼーション

イニシャライゼーション

セグメント1

セグメント1

セグメント2

セグメント2

イニシャライゼーション

イニシャライゼーション

セグメント1

セグメント1

セグメント2

セグメント2

HTTPHTTP

映像

音声MPD

映像

音声MPD

21

リクエスト

配信サーバー配信サーバー

クライアントクライアント

※1 Program Clock Reference  ※2 System Time Clock

現行のデジタル放送

追加部分(提案手法)

放送送出

多重

STC

配信サーバー 通信I/F バッファー デコーダー 提示

チューナー/DeMux

デコーダー 提示

放送局 受信機

携帯端末

映像/音声

映像/音声

放送

インターネット

PCR

映像/音声

STC

携帯端末にSTCを配信

STCに基づいて提示時刻情報を付加 放送のSTCと通信ストリームの提示時刻情報から差分を計算し,バッファリングして提示

PCR※1として放送局のSTC※2を多重し,STCに基づいて提示時刻情報を付加

1図 MPEG-DASHの動作概要

2図 放送と通信ストリームの同期モデル

42 NHK技研 R&D/No.156/2016.3

る必要がある。続いて精緻な調整(2)を行う。ここでは,より精緻

な同期を行うために,フレームごとに付加される提示時刻情報を用いる。同期処理の詳細を4図に示す。3.1節で述べたように,受信機はSTCを携帯端末に定期的に配信する。携帯端末は受信機から受け取ったSTCを基にバッファリング時間を算出する。バッファリング時間の算出式は,以下の通りである。

tbuffer= tIP-(tAir+ tNetwork-delay) ──(ⅱ)ただし,tbuffer:バッファリング時間(s)tIP:通信の提示時刻情報(s)tAir:放送のSTC(s)tNetwork-delay:端末間遅延(s)

ここで端末間遅延とは受信機と携帯端末間の通信に要する時間であり,RTT(Round Trip Time:往復遅延時間)の平均値などから算出する。携帯端末は,(ⅱ)式の計算後,通信ストリームの映

像をtbuffer(s)バッファリングして再生する。以上の動作により,放送と,携帯端末上の通信ストリームの同期提示を行うことができる。

3.3 MPEG-DASHを利用する同期の課題映像配信方式にはMPEG-DASH以外にも,RTP(Real-time Transport Protocol)のように映像パケットを常時送出するリアルタイム性の高い方式もある。通信側の配信プロトコルにMPEG-DASHを用いて放送と同期させる際の課題は,RTPが放送とほぼ同時に配信が可能なことに対して,MPEG-DASHではセグメントファイルを生成してから配信するため,より大きな遅延が生じることである。具体的には,少なくともセグメントファイルの時間分経過しないと配信できない。また,HTTPではリクエストしてからデータを取得するため,RTPよりデータ取得ステップが多いことや,ヘッダー情報が大きいことも遅延の要因となる。収録番組の場合には,あらかじめセグメントファイルをすべてそろえた状態を作ることができるため,3.2節で述べたstartNumberを取得する方法で,放送より先行した通信映像の取得が可能である。一方,生放送番組の場合は,セグメント取得までに要する時間だけ放送信号を受信機でバッファリングして提示を遅らせることで同期が可能であるが,放送の即時性が失われるという問題がある。一方で,放送を遅延させない場合はセグメントファイルの生成と配信を非常に短時間で行う必要があり,セグメント長の短縮や配信ネットワークに関する詳

放送局 受信機

携帯端末

放送コンテンツ

通信コンテンツ

復号分離

分離

ネットワーク遅延計測

フレーム描画

STC取得

STC配信

STC取得

バッファリング時間算出

同期用バッファー

復号

バッファリング制御

放送信号 映像

PCR

通信ストリーム

提示時刻情報

LAN

映像

4図 精緻な同期処理の詳細

44 NHK技研 R&D/No.156/2016.3

報告 01

細な検討が必要である。このため,今回の試作では,遅延を考慮する必要が無い収録番組における同期機能の検証を行うこととし,生放送への対応については今後の検討課題とした。

4.提案手法の試作

4.1 試作した検証システムの構成3.2節で述べた提案手法に基づいて検証システムを

試作した。5図に今回試作した検証システムの構成を示す。環境はLAN(Local Area Network)による室内実験である。検証システムは,放送・通信映像同期送出機,受信

機エミュレーター,同期用DASHプレーヤーを実装し

たAndroidタブレット端末の3つの機器で構成されている。放送・通信映像同期送出機は,送出する擬似放送信号のPCRを監視しつつ3.2節で示したタイミングでMPEG-DASHコンテンツのMPDを更新する機能を有する。受信機のSTCは,UDP(User Datagram Protocol)プロトコルを用いてタブレットに配信される。今回の試作では,収録番組における同期を想定しているため,あらかじめ番組全体の分のセグメントファイル群をウェブサーバー上に配置し,(ⅰ)式に従ってMPDのstartNumberを更新する。コンテンツのセグメント長は1秒,伝送レートは2Mbpsとした。

4.2 実験結果検証システムを用いた同期実験の様子を6図に示す。奥のディスプレーがテレビに相当する。今回の試作では,

放送局 受信側

擬似放送信号(TS)

放送・通信映像同期送出機 受信機エミュレーター

Androidタブレット端末

放送

DASH

Wi-fiルーター

LAN

基準時刻情報MPEG-DASH配信

5図 検証システムの構成

6図 検証システムを用いた同期実験の様子

45NHK技研 R&D/No.156/2016.3

る必要がある。続いて精緻な調整(2)を行う。ここでは,より精緻な同期を行うために,フレームごとに付加される提示時刻情報を用いる。同期処理の詳細を4図に示す。3.1節で述べたように,受信機はSTCを携帯端末に定期的に配信する。携帯端末は受信機から受け取ったSTCを基にバッファリング時間を算出する。バッファリング時間の算出式は,以下の通りである。

tbuffer= tIP-(tAir+ tNetwork-delay) ──(ⅱ)ただし,tbuffer:バッファリング時間(s)tIP:通信の提示時刻情報(s)tAir:放送のSTC(s)tNetwork-delay:端末間遅延(s)

ここで端末間遅延とは受信機と携帯端末間の通信に要する時間であり,RTT(Round Trip Time:往復遅延時間)の平均値などから算出する。携帯端末は,(ⅱ)式の計算後,通信ストリームの映像をtbuffer(s)バッファリングして再生する。以上の動作により,放送と,携帯端末上の通信ストリームの同期提示を行うことができる。

3.3 MPEG-DASHを利用する同期の課題映像配信方式にはMPEG-DASH以外にも,RTP(Real-time Transport Protocol)のように映像パケットを常時送出するリアルタイム性の高い方式もある。通信側の配信プロトコルにMPEG-DASHを用いて放送と同期させる際の課題は,RTPが放送とほぼ同時に配信が可能なことに対して,MPEG-DASHではセグメントファイルを生成してから配信するため,より大きな遅延が生じることである。具体的には,少なくともセグメントファイルの時間分経過しないと配信できない。また,HTTPではリクエストしてからデータを取得するため,RTPよりデータ取得ステップが多いことや,ヘッダー情報が大きいことも遅延の要因となる。収録番組の場合には,あらかじめセグメントファイルをすべてそろえた状態を作ることができるため,3.2節で述べたstartNumberを取得する方法で,放送より先行した通信映像の取得が可能である。一方,生放送番組の場合は,セグメント取得までに要する時間だけ放送信号を受信機でバッファリングして提示を遅らせることで同期が可能であるが,放送の即時性が失われるという問題がある。一方で,放送を遅延させない場合はセグメントファイルの生成と配信を非常に短時間で行う必要があり,セグメント長の短縮や配信ネットワークに関する詳

放送局 受信機

携帯端末

放送コンテンツ

通信コンテンツ

復号分離

分離

ネットワーク遅延計測

フレーム描画

STC取得

STC配信

STC取得

バッファリング時間算出

同期用バッファー

復号

バッファリング制御

放送信号 映像

PCR

通信ストリーム

提示時刻情報

LAN

映像

4図 精緻な同期処理の詳細

44 NHK技研 R&D/No.156/2016.3

同期を目視で確認するために,放送とMPEG-DASHのコンテンツとして同じ映像を用意した。動作テストを行ったところ,タブレット上でMPEG-DASHのコンテンツがバッファリングされ,放送と同じタイミングで再生を開始し,目視によりテレビとタブレット間における放送とMPEG-DASHコンテンツの同期再生を確認した。これにより,提案手法の有効性を確認できた。

5.おわりに

今回,MPEG-DASHを用いたマルチスクリーン間の放送通信同期手法を提案し,試作により動作を確認した。インターネットを使った配信の場合,今回実験した

LAN環境とは異なり,ネットワークの混雑の状況により遅延量が変化する。 また,今回は受信機エミュレー

ターを用いてシステムを試作したが,市販の受信機とは受信から映像再生までの時間や内部処理の負荷が異なるため,同期精度への影響について検証が必要である。さらに本手法の実用化に向けては,ハイブリッドキャストの規格に準拠した同期システムを設計する必要がある。今後はこれらの課題に対して,実サービスを想定したインターネット環境での検証,市販受信機を用いた検証,HTML5で制御可能な同期プレーヤーの試作検証などを行う予定である。

本稿は,映像情報メディア学会技術報告に掲載された以下の論文

を元に加筆・修正したものである。

大西,広中,大亦,松村,真島:“MPEG-DASHを用いたマルチスクリー

ン端末における放送通信同期手法,”映情学技報,Vol.39,No.13,

BCT2015-38,pp.17-20(2015)

46 NHK技研 R&D/No.156/2016.3

報告 01

大おお

西にし

正まさ

芳よし

2005年入局。長崎放送局,技術局を経て,2013年から放送技術研究所において,放送通信連携システム,インターネットサービスの研究開発に従事。現在,放送技術研究所ハイブリッド放送システム研究部に所属。

1) NHK:“NHK Hybridcast,”http://www.nhk.or.jp/hybridcast/online/

2) 松村,鹿喰,Evans:“インターネット配信情報との連動による放送番組パーソナライズシステムの検討,”映情学年次大,3-8(2009)

3) 大西,大亦,松村:“Wi-Fi接続マルチスクリーン端末における放送通信同期手法の検証-放送基準時刻配信による高精度同期提示-,”映情学年次大,24-7(2014)

4) ISO/IEC23009-1,“Information Technology - Dynamic Adaptive Streaming over HTTP (DASH) -”(2014)

5) IETF:“HTTP Live Streaming,”https://tools.ietf.org/html/draft-pantos-http-live-streaming-14

6) W3C:“W3C Media Source Extensions,”http://www.w3.org/TR/media-source/

7) W3C:“W3C Encrypted Media Extensions,”http://www.w3.org/TR/encrypted-media/

8) ISO/IEC14496-12,“Information Technology - Coding of Audio-visual Objects -”(2012)

参考文献

広ひろ

中なか

悠ゆう

樹き

松まつ

村むら

欣きん

司じ

2006年入局。山口放送局を経て,2011年から放送技術研究所において,セキュリティー技術,放送通信連携システム,ネットワークサービスの研究開発に従事。現在,放送技術研究所ハイブリッド放送システム研究部に所属。

1996年入局。放送技術局を経て,1998年から放送技術研究所において,データ放送符号化,放送通信連携サービスなどの研究開発に従事。現在,放送技術研究所ハイブリッド放送システム研究部上級研究員。

大おお

亦また

寿ひさ

之ゆき

真ま

島じま

恵けい

吾ご

2003年入局。甲府放送局を経て,2007年から放送技術研究所において,コンテンツ流通技術,放送通信連携システム,インターネットサービスの研究開発に従事。現在,放送技術研究所ハイブリッド放送システム研究部に所属。

1984年入局。新潟放送局を経て,1988年から放送技術研究所,技術局において,特許出願管理,技術移転業務に従事。1992年から放送技術研究所において,高密度デジタル記録技術,サーバー型放送システム,電子透かし等のコンテンツ権利保護技術,放送通信連携システム,セキュリティー技術の研究開発に従事。2015年からメディア企画室において,新CAS方式の開発に従事。現在,(一社)新CAS協議会に出向中。

47NHK技研 R&D/No.156/2016.3

同期を目視で確認するために,放送とMPEG-DASHのコンテンツとして同じ映像を用意した。動作テストを行ったところ,タブレット上でMPEG-DASHのコンテンツがバッファリングされ,放送と同じタイミングで再生を開始し,目視によりテレビとタブレット間における放送とMPEG-DASHコンテンツの同期再生を確認した。これにより,提案手法の有効性を確認できた。

5.おわりに

今回,MPEG-DASHを用いたマルチスクリーン間の放送通信同期手法を提案し,試作により動作を確認した。インターネットを使った配信の場合,今回実験したLAN環境とは異なり,ネットワークの混雑の状況により遅延量が変化する。 また,今回は受信機エミュレー

ターを用いてシステムを試作したが,市販の受信機とは受信から映像再生までの時間や内部処理の負荷が異なるため,同期精度への影響について検証が必要である。さらに本手法の実用化に向けては,ハイブリッドキャストの規格に準拠した同期システムを設計する必要がある。今後はこれらの課題に対して,実サービスを想定したインターネット環境での検証,市販受信機を用いた検証,HTML5で制御可能な同期プレーヤーの試作検証などを行う予定である。

本稿は,映像情報メディア学会技術報告に掲載された以下の論文

を元に加筆・修正したものである。

大西,広中,大亦,松村,真島:“MPEG-DASHを用いたマルチスクリー

ン端末における放送通信同期手法,”映情学技報,Vol.39,No.13,

BCT2015-38,pp.17-20(2015)

46 NHK技研 R&D/No.156/2016.3