トップページ > 大学の技術・ノウハウ > 光学シースルー方式HMDとマーカレス画像認識による 高可搬性実世界志向インタフェース

大学の技術・ノウハウ

光学シースルー方式HMDとマーカレス画像認識による 高可搬性実世界志向インタフェース

資料

光学シースルー方式HMDとマーカレス画像認識による 高可搬性実世界志向インタフェース

組織名 国立大学法人 電気通信大学 大学院情報システム学研究科 入江 英嗣 准教授
技術分野 IT
概要

 光学シースルー方式HMDと小型カメラを利用し、利用者の指先をポインティングデバイスとして、現実世界の物体と仮想空間を繋げる新しいバーチャルリアリティ・AR技術を確立しました。HMDから見た現実の物体を指先で切り出してデジタル写真として保存する、保存した写真を基にしてその場で関連情報をWeb検索するなど、新しい携帯型コンテンツ、エンタテイメントコンテンツとして活用可能性があります。本技術の実用化、共同研究へ意欲的な企業を歓迎します。

お問い合わせ

この技術・ノウハウに関するお問い合わせ

詳細

【簡略図】
irie_aritarget.jpg【背景】
 近年のバーチャルリアリティ・AR(拡張現実感)技術の発展は目覚ましく、スマートフォンなどと連携して、様々な場面でアプリケーションが実用化されています。日常空間において、現実物体に仮想空間の情報を重ねて表示しリアリティの高い表現手法を実現したり、あるいは現実物体の関連情報をその場で検索・表示するなどのアプリケーションが利用されています。

 しかしながら、個人向けコンピューティングの多くは対話型のサービスであり、その利用中は端末の操作に注力する必要があります。例えば、スマートフォンなどの携帯端末へのタッチ入力では、視界を端末の画面へ向け、片手で端末を保持し、もう一方の手でポイント操作を行う必要があります。

 本テーマでは、HMD(ヘッドマウントディスプレイ)、小型Webカメラ、スマートフォン等を利用することにより、視界や操作が携帯端末に縛られることなく、いつでも容易に現実空間と仮想空間を繋げることができる、新しいバーチャルリアリティ・AR技術”Air Target”をご提案します。協調とモバイル(DICOMO2012)シンポジウムの優秀論文賞を受賞したテーマです。

【技術内容】
本システム”Air Target”は、HMD端末、小型Webカメラ、小型携帯端末から成り立っています。

1)HMD端末
 光学式シースルー方式HMDを利用しています。光学式シースルー方式(レンズが透明)であるため、現実オブジェクトが視界そのものであり、視界が広く、表示遅延がありません。そのため、レンズを通して現実世界を見ながら、仮想オブジェクトを重ね合わせることが可能です。

2)小型Webカメラ
 HMD端末に取り付けます。指先のジェスチャーを撮影するために使用します。

3)小型計算端末
 小型Webカメラから撮影した画像(指先のジェスチャー情報)を取り込み、ジェスチャー動作を基に、HMDへクリック、切り出し、キャリブレーションなどのコマンド情報、指先のカーソル情報を伝えます。計算量が軽いため、スマートフォンやタブレット端末へ実装可能です。

指先のジェスチャーによって、光学式シースルー方式HMDから見た現実の物体(オブジェクト)と、仮想空間のオブジェクトを繋げることが可能です。

1)指先を小さく左回りすることによって仮想オブジェクトをクリックします。
※仮想デスクトップを重ねて表示し、例えば、切り出した現実オブジェクトの写真保存、編集などをクリックによって行うことが可能です。
2)指先を小さく右回りすることによって現実オブジェクトを切り出します。
3)指先を左右に大きく振ることによって、キャリブレーションを行います。
※キャリブレーションとは、視線とカメラの座標のずれを補正する処理です。指先は目やカメラに近く、このずれの影響は本来無視できませんが、本技術では、高精度のキャリブレーションを達成しています。そのため、自然な操作感を実現しています。

airtargetジェスチャー.png【技術・ノウハウの強み(新規性、優位性、有用性)】
 AR環境における多くの直感型入力インタフェースでは、操作正確性や高速性の観点から、マーカデバイスが用いられています。例えば、ユーザが先の尖った筆記具(スタイラス)を持ち、その筆記具をポインティングデバイスとして、現実物体と仮想空間を繋げています。マーカデバイスを持ち歩かなければ利用できないため、不便です。

 本技術では、ユーザの指先をポインティングデバイスとしており、マーカレスです。なおかつ、以下2点の機能により、マーカデバイスを用いた場合と同等の操作高速性と正確性を達成しています。
1)独自のアルゴリズムにより情報処理量が非常に軽量であること。(モバイル環境上で30フレーム以上のリアルタイム動作を実現)
2)高精度のキャリブレーションを達成していること。

 マーカレスであるため利便性が高く、高可搬性のインタフェースと言えます。操作性が高く、習熟の必要なく利用が可能です。また、Web検索システムと同期するアプリケーションまで昇華させている点も特徴の一つです。

【連携企業のイメージ】
 本技術の実用化を希望する企業を歓迎します。例えば、以下に該当する企業へご提案可能です。
1)バーチャルリアリティ・ARの研究開発を行っている企業。
2)HMDの研究開発を行っている企業。
3)スマートフォン等携帯端末用アプリケーションの研究開発を行っている企業。
4)その他、本技術の実用化に意欲的な企業。

【技術・ノウハウの活用シーン(イメージ)】
 新しい携帯型コンテンツ、エンタテイメントコンテンツとして、様々な応用が可能です。例えば、その場で見た物体のWeb検索用途が考えられます。

1)身近にある物体を「Air Target」を用いて指先で切り取ります。

airtarget切り出し結果.png ※会誌、椅子、人物の切り取り画像です。

2)切り取った画像情報を基に、Web検索を行うことにより、参考情報・関連情報をその場で確認することができます。

airtarget画像検索.png※会誌の画像情報を基にした検索処理。

【技術・ノウハウの活用の流れ】
 基本的なソフトウェアは既に確立しています。お問い合わせ後、デモンストレーションや技術の詳細説明などさせていただきます。また、入江 准教授は、マイクロプロセッサの設計を専門としつつ、様々なインタフェース機器に関する研究へ取り組んでいます。これらの技術分野に関わる技術相談・共同研究へ対応可能です。

【専門用語の解説】
(光学シースルー方式HMD)
 ヘッドアップディスプレイの一種です。ディスプレイ装置はハーフミラーでできており外の様子が見えます。また近年ではホログラフィック素子を用いたディスプレイも開発されており、まさに眼鏡のレンズのような近距離に配置された導光板に映像を投影し、SFで描かれるような「映像が映る眼鏡」を実現化することも可能となっています。

この技術・ノウハウに関するお問い合わせ

メールフォームのご利用は、以下の項目にご記入のうえ「送信する」ボタンを押してください。
担当者より折り返しご連絡いたします。
個人情報の取り扱いについては、こちらをご覧ください。


    お名前(漢字表記) 姓 名 
    お名前(ふりがな) 姓 名 
    学校・会社・団体名 (例)株式会社キャンパスクリエイト
    部署名 (例)営業部
    郵便番号
    都道府県
    市区町村番地 (例)調布市調布ヶ丘1-5-1
    建物名 (例)調布ビルディング1階
    お電話番号 (例)042-490-5728
    メールアドレス (例)sample@campuscreate.com
    お問い合わせ内容

    技術・ノウハウを検索する

    掲載記事のお問い合わせ、技術相談など、お気軽にご相談ください。

    メールでのお問い合わせ

    株式会社キャンパスクリエイト
    調布オフィス 担当:須藤 慎

    〒182-8585
    東京都調布市調布ヶ丘1-5-1
    国立大学法人 電気通信大学
    産学官連携センター内[地図