多重化映像と非装着センシングによる対話支援型知能化映像システム

研究者名：情報メディア学科　氏名　　白井 暁彦

１． 研究の目的

本研究は，ステレオ立体映像と互換性を持ち，今後，多くの利用価値が見込まれる「多重化映像」に，高度なインタラクティブ技術を付加することを目的とする．
本年度は3カ年計画の1年目として，基盤ソフトウェア開発を目標とした．

２． 研究の必要性及び従来の研究

本研究は，我が国が世界的に先進性を維持している「インタラクティブ技術」の研究について，ステレオ立体映像と互換性を持ち，対象物を公共空間や，言語や技術／文化の理解によって制限しない「より幅広い人々・利用シーン」に拡大した、「新しい世代の教育体験空間」を生み出すための「対話支援型知能化映像システム」の基盤となる技術を横断した研究者において探求する研究提案である．ここでのインタラクティブ技術とは，「人間－コンピュータ」および「人間－システム－人間」を対象とした，ヒューマンインタフェース，ディスプレイ，センシングなどの技術および，これらの基盤技術に支えられたコンテンツ技術を対象としている．
従来研究においては，インタラクティブ技術，例えば拡張現実感（AR）のほとんどは，コンピュータディスプレイ中で起きる現象を前提としていた．

３． 期待される効果

本研究は多重化映像技術および多重化隠蔽映像技術を利用し，次世代のディスプレイ，例えば光線空間ディスプレイや，パブリック空間におけるデジタルサイネージといった公共ディスプレイをインタラクティブに拡張し，従来の研究の価値を大幅に高めることを視野に入れている．エンタテイメントシステムにおける基盤技術はもとより，教育，医療，公共施設といった場面での情報表示基盤技術としての可能性が期待できる．

４． 研究の経過及び結果

平成23年度は，白井暁彦，谷中一寿，大塚真吾，鈴木孝幸（敬称略・順不同）という体制で，以下の項目を中心に推進した．
1. 非装着空間センシングによる大規模データに特化したデータ圧縮格納・イベント抽出
2. 分散型センシングシステムにおける知能的な意味抽出手法
3.多重化映像システムによる対話型教育体験空間の創出
具体的な成果と位置づけとして，白井らは「測域センサを用いた体験教育環境の物理的評価」において，赤外線レーザーセンサからのセンシングデータの可視化手法，教育環境への応用を報告している．また非接触型赤外線レーザーを用いた奥行センサであるマイクロソフト社製のゲーム用インタフェース「KINECT」に注目し，安価で安定して入手できるデバイスによるセンシングからの高速な認識技術として「GAMIC（Game Action Motion Interaction Controller）」を開発した．この研究は世界的なコンピュータグラフィックス・インタラクション技術の国際会議であるACM　SIGGRAPH 2011 Postersにて「GAMIC: Exaggerated Real-Time Character Animation Control Method for Full-Body Gesture Interaction System」として発表した．このGAMICアルゴリズムは併せて国内特許「特願2011-171482：姿勢判定方法、プログラム、装置、システム」として出願しており，他の国際会議においても関連研究・コンテンツ開発と併せて「Development of serious game which use full body interaction and accumulated motion」，「CartooNect: Sensory motor playing system using cartoon actions」として発表およびデモ展示を行い，高い評価を得た．
また大規模なセンサデータから多様なイベントの抽出を提供するAPIの開発として，白井らは「抽象的なアニメーション作品視聴に対する加速度センサを用いた自然なユーザ解析手法の提案」，「スマートフォンの高精細加速度センサを用いた抽象的動画作品視聴時のユーザ動作分析と作品のクオリティ向上手法の提案」，「加速度センサを用いたエンタテインメントシステムの非言語評価手法の提案」において，スマートフォンの加速度センサを用いた人間の無意識イベント抽出を報告した．また「感圧センサを使った感覚運動インタラクションのための自然なプレイヤ分析アルゴリズムと評価」においては感圧センサをつかったインタラクションにおけるイベント抽出のアルゴリズムについての検討と評価手法の提案を行なっている．
また大塚らは「PoLyInfo: Polymer Database for polymeric materials design」において、高分子データベースの構築と、公開したサイトのアクセスログ解析からの計算機科学的アプローチを報告した．またフリーマガジンや材料検索を行うWebサイトのアクセスログ解析を行い，その結果，利用者の特徴的な行動を抽出することに成功した．
眼鏡なし立体ディスプレイについては谷中らが「Extended Fractional View Integral Imaging Using Slanted Fly’s Eye Lens」，および「Generation of Image Perceived as Floating Using Concave Fresnel Mirror」を発表し，フライアイレンズとフレネルミラーを用いた新しい情報ディスプレイ方法を提案した．多重化映像システムについては，発展技術である隠蔽画像システム「Scritter H」を国際特許「PCT/JP2011/005179：情報表示装置」として国際出願を行った．また新しい高画質化手法である「

ScritterHDR: Multiplex-Hidden Imaging on High Dynamic Range Projection」がACM SIGGRAPH ASIA2011に採択された．

５．今後の計画

平成24年度から新たに，白井暁彦，谷中一寿，坂内祐一，大塚真吾，服部哲，小坂崇之（敬称略・順不同）という体制で，以下のマイルストーンに従って推進する．
〔H24A〕オートステレオディスプレイ向け多重化映像レンダリングエンジンの開発
〔H24B〕フィジカルコンピューティングを用いたハイブリッドセンシング
〔H24C〕多重化隠蔽映像システムの高度化およびコンテンツ制作手法の確立
〔H24D〕ヘッドマウントディスプレイを用いた基本システムの開発とハイブリッドシステムセンシングとの融合
〔H24E〕オープンキャンパスを用いた複数空間を移動するユーザトラッキング手法
〔H25A〕コミュニケーションモデルを獲得する知能化エンジンの開発
〔H25B〕パブリックスペースでの実証実験
〔H25C〕学内外での展示における実践的評価

比較評価のために新たなメディアを追加し，多重化隠蔽技術とインタラクティブ技術の融合の高度化，コンテンツ制作手法の確立，評価の実施を行う．
またデータベース研究では，アクセスログやセンサデータの解析を高速に行うために，Hadoo技術を用いた手法の検討，および実験を行う予定である．またアクセスログからの行動抽出についても引き続き研究を行う予定である．

６．研究成果の発表

1. 小出雄空明，小熊 遼，坂井拓也，白井暁彦, “多重化・隠蔽サイネージを用いた次世代カラオケ・エンタテイメントシステムの提案”, 芸術科学フォーラム2012, 芸術科学会, 2012.3.16
2. Takuya SAKAI, Wataru FUJIMURA, Songer ROBERT, Takayuki KOSAKA, Akihiko SHIRAI, “AccuMotion: intuitive recognition algorithm for new
3. interactions and experiences for the post-PC era”, VRIC 2012 proceedings , Laval Virtual 2012 France, 2012 March.
4. 小出雄空明，小熊 遼，坂井拓也，白井暁彦, “多重化･隠蔽画像を用いたデジタルサイネージの開発”, ITを活用した教育シンポジウム2011,pp., 2012.3.10
5. Koki Nagano, Takeru Utsugi, Kazuhisa Yanaka, Akihiko Shirai, Masayuki Nakajima, ScritterHDR: Multiplex-Hidden Imaging on High Dynamic Range Projection，SIGGRAPH ASIA 2011 Technical Sketches & Posters (poster)
6. 岩楯翔仁, 藤村航, 三角甫, 小坂崇之, 白井暁彦，奥行き画像センサを用いた展示空間の物理評価，第16回日本バーチャルリアリティ学会大会論文集，2011年9月
7. Hajime Misumi, Wataru Fujimura, Takayuki Kosaka, Motofumi Hattori, Akihiko Shirai, GAMIC: Exaggerated Real-Time Character Animation Control Method for Full-Body Gesture Interaction System, ACM SIGGRAPH 2011, Vancouver, Canada, (2011.8.7)
8. 藤村航，三角甫, 小坂崇之, 白井暁彦，”全身運動を中心とした震災復興を伝えるシリアスゲームの開発”, 第16回日本バーチャルリアリティ学会大会論文集, 2011年9月
9. FUJIMURA Wataru,MISUMI Hajime, KOSAKA Takayuki, HATTORI Motofumi, SHIRAI AKIHIKO, Development of serious game which use full body interaction and accumulated motion, NICOGRAPH International 2011, 10-11 June 2011, Kanagawa,Japan
10. 岩楯翔仁, 白井暁彦,測域センサを用いた体験教育環境の物理的評価,Physical evaluation methods for experience learning environments using laser range scanner, ITを活用した教育シンポジウム講演論文集 ITを活用した教育シンポジウム講演論文集 5, 49-52, 2011-03, (2011.7.2), 神奈川工科大学
11. 荒原一成，白井暁彦，「e-sports 映像のネット配信を考慮した速度変化演出の効果と特性」，NICOGRAPH2011春季大会 (2011/6/11)
12. 加藤 匠 , 白井 暁彦 , 田中 健司, 早川貴泰, 服部元史, 「スマートフォンの高精細加速度センサを用いた抽象的動画作品視聴時のユーザ動作分析と作品のクオリティ向上手法の提案」 第10回NICOGRAPH2011春季大会, (2011/6/10)
13. FUJIMURA Wataru, IWDATE Shoto, SHIRAI Akihiko, CartooNect: Sensory motor playing system using cartoon actions, Proceedings of Virtual Reality International Conference (VRIC 2011), 6-8 April 2011, Laval, France.
14. 岩楯翔仁,荒原一成,周立,白井暁彦, ResBe:エンタテイメントシステム周囲のコミュニケーション場に対する遠隔評価手法の提案, 第15回日本バーチャルリアリティ学会大会論文集(2010.9.15)
15. 宇津木健,長野光希,谷中一寿,白井暁彦,山口雅浩,「多重化映像表示における隠蔽映像生成アルゴリズム」(Image Hiding Algorithm for Multiplex Projection), 第15回日本バーチャルリアリティ学会大会論文集(2010.9.15)
16. Kazuhisa Yanaka, Kazutake Uehira: Extended Fractional View Integral Imaging Using Slanted Fly’s Eye Lens, SID Symposium Digest of Technical Papers, Volume 42, Issue 1, pp. 1124-1127, June 2011.
17. Kazuhisa Yanaka, Masahiko Yoda: Generation of Image Perceived as Floating Using Concave Fresnel Mirror, Proceedings of ICIPT (International Conference on Imaging and Printing Technologies), August 17-20, 2011, Bangkok, Thailand 2011, pp.96-100, Aug.2011.

以上