トップページ > 開放特許 > MPEG2スポーツ番組のハイライトシーン検出

開放特許

MPEG2スポーツ番組のハイライトシーン検出

資料

MPEG2スポーツ番組のハイライトシーン検出

組織名 国立大学法人 電気通信大学 大学院情報システム学研究科 森田 啓義 教授
技術分野 IT
概要

スポーツ番組のハイライトシーンを、録画した動画の中から自動的に抽出し、ユーザが見たいハイライトシーンをいつでも素早く簡単に選択して見ることができる技術です。既存技術と比較し、処理速度が非常に高速な点と高精度検出が特徴であり、スマートフォンやタブレット端末へ実装可能です。サッカーや野球には既に実験済みですが、バスケットボール・ラグビー・相撲など、様々なスポーツ番組へ適用可能性があります。本技術の実用化に意欲的な企業を歓迎します。

お問い合わせ

この技術・ノウハウに関するお問い合わせ

詳細

【簡略図】
MPEG2スポーツ映像のハイライトシーン検出.jpg【背景】
 地上デジタルテレビ放送の普及に伴ってテレビ番組の録画作業が容易となり、視聴スタイルが急激に変化しています。特にスポーツ番組については、視聴者から様々なニーズが出てきています。例えば下記が挙げられます。
1)スポーツ番組を自動録画しておき、帰宅後ハイライトシーンだけを見る。
2)平日に録画したスポーツ番組のダイジェスト版を週末にゆっくり楽しむ。
3)撮り溜めている番組から特定の選手のプレーだけを全部閲覧する。
4)前日見た番組の面白かったシーンのタグ情報を友達同士で交換する、など。

 本テーマでは、これらのニーズに対し、録画したスポーツ番組の中から、ハイライトシーンを自動的に検出する技術をご提案します。処理速度が非常に高速なことから、スマートフォン・タブレット端末に実装可能な点が強みです。
 ※関連特許出願済み。

【技術内容】
 本技術の原理は以下の通りです。地上デジタル波で送られている映像データがMPEG2で圧縮されていることを利用し、「MPEG符号化パラメータ」と呼ばれる動画像技術を用いて実現しています。

1)HDDレコーダーで動画データ(MPEG2)を録画します。
2)動画データに含まれている特徴量(色情報、動きベクトル、MBT)を基に、シーン検出プログラムによってハイライトシーンを検出します。
3)ハイライトシーンの検出結果と時間情報タグを基に、ビデオクリップ・タイムスタンプ・サムネイル情報を生成します。
シーン検出.JPG【技術・ノウハウの強み(新規性、優位性、有用性)】
 動画中からのハイライトシーン検出では、様々な研究事例がありますが、多くは処理速度、検出精度に課題がありました。本技術には2つの特徴があります。

(MPEG2の特徴量を生かしたハイライトシーンの高速検出)
 「MPEG2の圧縮形態を保ったまま、MPEG2/4の特徴量(色情報、動きベクトル、MBT)を基に画像検索を行う」ことにより、ハイライトシーンを「高速に」検出しビデオクリップ化することが可能です。その優れた特徴から、番組を録画しながらハイライトシーンを検出し、録画後すぐに結果を表示することができる、ユーザにストレスを与えない実時間処理を実現しています。

(同色領域の抽出技術による高精度検出)
 画像内の領域を細かく分割(マクロブロック化)し、隣り合うマクロブロック同士を比較して同色である領域を検出することで、天候や芝の模様のように動画データによって条件が変化するグラウンド領域を正確に抽出することができます。
検出精度.JPGまた、検出精度を高めるため、番組中の各シーン(ショット)に応じた様々な技術的工夫をこらしています。

例えばサッカーの場合、各ショットをおおよそ下記4通りに分類できます。

Up Shot        :選手をアップして写したシーン。
Center Long Shot :フィールド全体でのプレーを遠くから写したシーン。
Goal Long Shot   :ゴール付近でのプレーを遠くから写したシーン。
Nontelop Shot     :得点シーンのリプレイなど、テロップが無いシーン。

ゴールシーンは、「Goal Long Shot」→「Nontelop Shot」→「Up Shotが複数枚続く」など特定の遷移パターンがあるため、識別することが可能です。

ショット分類.JPGUp Shot」の判定は、動き補償サイズが16×8ピクセルのマクロブロック(16×8MB)と呼ばれる手法をうまく活用しています。マクロブロック法では、動画中における動きの方向の変化や動きの激しさをみています。「Center Long Shot」では動きがゆるやかであり方向にも規則性がありますが、「Up Shot」では激しく動く上に方向が分散するため、判別が可能です。

up shot.JPG
Goal Long Shot」では、「Center Long Shot」と比較してフィールド全体の角度が斜めになります。その傾き情報をハフ変換と呼ばれる手法によって求めることにより、「Goal Long Shot」を識別することが可能です。

ハフ変換.JPGNontelop Shot」は、試合中断時(リプレイなど)のシーンを判別するための手法です。試合中断時はテロップが無い状態ですが、テロップ部分は動きベクトルが0であり、かつ周波数成分(AC)からエッジで囲まれている特徴があるため、その特徴量から有無を判別することが可能です。

ノンテロップ.JPG

このような工夫のもと、検出精度としても、野球では95%以上、サッカーでは80%以上を達成しており、実用に耐えうる精度の目処を立てています。

【連携企業のイメージ】
 本技術の実用化を希望する企業を歓迎します。例えば、以下に該当する企業へご提案可能です。

1)一般ユーザ向けのソフトウェアを開発・販売している企業。
2)スマートフォン・タブレット端末用ソフトウェアを開発・販売している企業。
3)動画像処理製品の開発・販売をしている企業。
4)録画装置・再生機器を開発・販売している企業。
5)他、本技術の活用、実用化に意欲がある企業。

【技術・ノウハウの活用シーン(イメージ)】
 様々なスポーツ番組からのハイライトシーン検出へ適用可能です。例えば、下記の用途が考えられます。

1)サッカー番組中のハイライトシーン閲覧
 フィールド全体を映しているロングショット、個人を映しているクローズアップショット、ゴール付近での映像、ゴールシーンなどの情報を区別してハイライト化することが可能です。詳しくは「技術・ノウハウの強み(新規性、優位性、有用性)」をご参照ください。

2)野球番組中のハイライトシーン閲覧
 ホームランシーンや投球シーン、得点表示画面など、ハイライト化することが可能です。プレーの頭出しが簡単に行えます。

 ほか、バスケットボール・ラグビー・相撲など、様々なスポーツ番組へ適用できる可能性があります。

 なお、抽出したハイライトシーンを組み合わせてオリジナルの動画集を編集することもできます。このとき、映像データをサーバ上に置いておき、見たい場面、興味のあるシーンがデータ上のどこにあるかという情報、及びその編集情報をインデックスタグとすれば、大容量の映像データをそのまま伝送せずとも、ユーザ間で動画集の情報共有が可能です。

 また、スマートフォン、タブレット端末へ本ソフトウェアをダウンロードすれば、電車の中や移動中でも好みのハイライトシーンを閲覧することが可能です。
処理が非常に高速である点を生かした新しい視聴スタイルと言えます。

【技術・ノウハウの活用の流れ】
 基本的なソフトウェアは既に確立しています。お問い合わせ後、デモンストレーションや技術の詳細説明などさせていただきます。また、森田 教授は、動画像処理の専門家であり、MPEG2/4・画像符号化・データ圧縮などに関して豊富なノウハウがあります。これらの技術分野に関わる技術相談・共同研究へ対応可能です。
森田研究室ホームページ.JPG ※森田研究室の研究分野

【専門用語の解説】
(動画像処理)
 動画像を静止画像の連続として扱い、その時間変化を見ることで、移動物体を見つけたり、カメラの動きを推定することができる技術です。MPEG2/4やH.264などで圧縮された動画が主な対象となります。

この技術・ノウハウに関するお問い合わせ

メールフォームのご利用は、以下の項目にご記入のうえ「送信する」ボタンを押してください。
担当者より折り返しご連絡いたします。
個人情報の取り扱いについては、こちらをご覧ください。


    お名前(漢字表記) 姓 名 
    お名前(ふりがな) 姓 名 
    学校・会社・団体名 (例)株式会社キャンパスクリエイト
    部署名 (例)営業部
    郵便番号
    都道府県
    市区町村番地 (例)調布市調布ヶ丘1-5-1
    建物名 (例)調布ビルディング1階
    お電話番号 (例)042-490-5728
    メールアドレス (例)sample@campuscreate.com
    お問い合わせ内容

    技術・ノウハウを検索する

    掲載記事のお問い合わせ、技術相談など、お気軽にご相談ください。

    メールでのお問い合わせ

    株式会社キャンパスクリエイト
    調布オフィス 担当:須藤 慎

    〒182-8585
    東京都調布市調布ヶ丘1-5-1
    国立大学法人 電気通信大学
    産学官連携センター内[地図