個人適応型サッカー映像の 自動生成技術

個人適応型サッカー映像の

自動生成技術

神戸大学　有木研究室　　窪田進太郎

放送の多様化• 現代の映像放送は、従来の地上波・数チャンネルではなく、 BS、 CS、地上波デジタルなども加わり膨大な数に増大しているEx.）スカイパーフェク TV：数百チャンネル

• 現在の配信型放送ではなく、放送局から配信された映像を各家庭に保存してそれを視聴するサーバ型放送移行するためのインフラの整備が整ってきているEx.） DVD・ HDDレコーダーの普及

放送の多様化による問題点• 撮影チャンネルの増大につれ撮影の人員、機材、コストなど放送局の負担の増大

• 多チャンネル化による映像資源の不足↓

自動処理でコストを削減でき人間とは違った処理による質の高い映像を生成をできるデジタルカメラワークの提案

デジタルカメラワークとは高解像度固定映像から、映像処理により映像を切り出し、その位置を連続的に変化させることによって新たな映像を生成する手法

従来手法と提案手法テレビ映像用にプロカメラマンが撮影した映像を、パン処理とズーム処理を用いて

模倣↓

誰にでも最適な映像ではなく、個人に対して最適な映像の生成

処理の流れ

ボール認識

領域ラベリング

孤立点除去

膨張･縮小処理

背景差分

画像処理 状況認識

ルール適応

イベント認識

カメラワーク

個人適応

フレームサイズ

内枠位置

入力映像 出力映像

フレーム座標

デジタルカメラワークの概要 1

ミドルショット

ズームアウト

ズームイン

ズームイン、ミドルショット、ズームインの 3種類のフレームサイズを用いる。以下の図が示すようにミドルショットとズームアウトは相互に連続的に変化し、ズームインのシーンを合間に断続的に挿入することによってカメラワークを実現する。

デジタルカメラワークの概要 1

タイトショット ミドルショット

ルーズショット

デジタルカメラワークの概要 2

• 画面内に内枠を設け、その中にボールが収まるようにクリッピング座標を移動させていく。これによりボールの微小な動きには反応しない視聴しやすい映像を生成する。

• 内枠の位置は基本的には中心に設置するが、状況によって移動させることによってボール以外の注目部も映像に収めることができる。

個人適応技術• カメラワーク変化パラメータの内、 4種類を変化させる→ズーム速度、ズーム処理、画面サイズ、イベント評価

例）それぞれのプレイを見るのではなく、高解像度映像に近い映像がみたい

　　→ズーム速度： DOWN、ズーム処理：高解像度の頻度を UP画面サイズ： UPイベント評価：なし

状況認識フレームサイズの変化のタイミングのルールを設け、それに当てはまるときにフレームサイズを変化させる。

• ズームアウト→ミドルショット– ゴール前– 選手が密集している時

• ミドルショット→ズームアウト– ロングパスなどでボールが高速に長距離動く時– 選手が散開している時

• ズームイン– ボールの取り合いなどでボールがほとんど動かない状況

イベント認識• ボール座標が一定時間変化しないようなイベント、すなわち、– フリーキック– コーナーキック– スローイン– ゴールキック– ペナルティキックを検出する。ボール座標の継続時間と、ボール座標、オブジェクトとの位置関係によって検出する。– Ex) ボール座標・コーナースポット、選手の集団が比較的近くに存在　→　コーナーキック

• イベントごとにフレームサイズ、内枠の位置を定めておき、それを適応する。– Ex)コーナーキックであればカメラがミドルショットでゴール前を押さえ、ゴールが入るように内枠を上下に移動

提案手法映像

AHP法を用いた映像の評価

評価項目– ズーム処理– パン処理– ショットサイズ– ショット持続時間– 画質– 試合の流れ

評価対象– 提案手法映像– 従来手法映像– 高解像度固定映像– TV映像

AHP法（ Analytic Hierarchy Process) 　　　不確定な状況や多様な評価基準における　　　意思決定手法であり、評価基準に　　　個人の嗜好を反映させることができる。

実験結果・考察

0.00 0.10 0.20 0.30 0.40 0.50

TV映像

固定映像

従来手法映像

提案手法映像ズーム処理パン処理ショットサイズショット持続時間画質試合の流れ

• フリースロー以外は認識率 90%以上• 試合の流れを把握することが最重要• ズーム処理の付与→映像の基本構成を備え、 TV映像と各嗜好の評価の割合が類似

• ズーム処理の低評価→ズーム処理の他基準への影響

課題• 画質の大幅な劣化に対して、質の下がりにくいデジタルズーム

• 状況に左右されないイベント認識• 主観的な評価だけではなく、 TV映像との

比較にカメラワークをどれだけ再現できているかという客観的な評価

• 全景映像を用いての映像生成• より詳細なルールの設定

参考文献 (1)

1. 大野義典 , 三浦純 ,　白井良明 , “サッカーゲームにおける選手とボールの追跡 ,” CVIM 114-7, 1999.

2. 宮森恒 , 越後富夫 , 飯作俊一 , “ 短時間動作記述によるスポーツ映像の表現と検索方式の検討 ,” 知能情報メディアシンポジウム , S-9, 1999.

3. 新田直子 , 馬場口登 , 北橋忠宏 , “放送型スポーツ映像の構造を考慮した重要シーンへの自動アノテーション付け ,” 信学論 (D-II), vol.J84-D-II, no.8, pp.1838-1847, Aug.2001.

4. 新田直子 , 馬場口登 , “放送型スポーツ映像の意味内容獲得のためのストーリー分割法 ,” 信学論 (D-II), vol.J86-D-II, no.8, pp.1222-1233, Aug.2003.

5. 瀧剛志 , 長谷川純一 , “チームスポーツにおける集団行動解析のための特徴量とその応用 ,” 信学論 (D-II), vol.J81-D-II, no.8, pp.1802-1811, Aug.1998.

6. 高橋正樹 , 三須俊彦 , 合志清一 , “ オブジェクト抽出技術のスポーツ番組への応用 ,” SLDM 111-1, 2003.

7. 藤村光 , 杉原厚吉 , “ 優勢領域に基づいたスポーツチームワークの定量的評価 ,” 信学論 (D-II), vol.J87-D-II, no.3, pp.818-828, Mar.2004.

8. 大西正 , 輝泉正夫 , 福永邦雄 , “デジタルカメラワークを用いた自動映像生成 ,” 画像の認識・理解シンポジウム (MIRU2000), pp.I-331-I-336, Jul.2000.

9. 前田英作 , 高橋裕子 , 石井健一郎 , “ 環境変動にロバストな物体有無判定法 ,” 信学会 (D-II), vol.J74-D-II, no.12, pp.1731-1740, Dec.1991.

10. 田中健二 , 鈴木健治 , 佐藤正人 , 荒川佳樹 , “高精細度映像 (WHD : Wide/Double HD) 伝送システム ,” 信学会 (D-II), vol.J84-D-II, no.6, pp.1094-1101, Jun.2001.

参考文献 (2)

11. 坂木和則 , 横田健一郎 , 大野啓司 , 鈴木康平 , 有澤博 , “多視点テレビ放送を用いた映像内のオブジェクト位置の認識と追跡 ,” 信学会 (D-I), vol.J87-D-I, no.2, pp.175-187, Feb.2004.

12. 宮内進吾 , 馬場口登 , 北橋忠宏 , “テキスト・音声・画像の協調的処理による放送型スポーツ映像におけるハイライト検出とインデクシング ,” 信学会 (D-II), vol.J85-D-II, no.11, pp.1692-1700, Nob.2002.

13. 三須俊彦 , 苗村昌秀 , 境田慎一 , 鄭文涛 , 金次保明 , “ 複数情報の融合によるサッカー選手のロバストな追跡法 ,” 信学技報 , PRMU2001-67, 2001.

14. 越後富夫 , 宮森恒 , 飯作俊一 , “GMRFとオプティカルフローを利用したサッカー映像のオブジェクト抽出 ,” 画像の認識・理解シンポジウム (MIRU’98), TP3-05, 1998.

15. 瀧剛志 , 松本貴之 , 長谷川純一 , 福村晃夫 , “サッカー映像からのチームワーク評価方法の検討 ,” 信学技報 , PRMU96-10, May.1996.

16. 松本貴之 , 瀧剛志 , 長谷川純一 , “ 団体球技のゲーム分析のための集団働き特徴量とその応用 ,” 情処学研報 , CVIM106-17, pp.123-130, July.1997.

17. 吉田貴男 , 小沢慎治 , “サッカー中継のシーン解析 ,” 第 2 回画像センシングシンポジウム , pp.183-188, 1996.