研究課題名

多重化映像と非装着センシングによる対話支援型知能化映像システム
（③多重化隠蔽映像の高機能化と教育向けプラットフォームの開発）

目的基礎研究，全体計画：3カ年計画／本年度：3年目

研究者名

研究代表者
情報メディア学科　白井 暁彦
研究分担者
情報メディア学科　 谷中一寿，佐藤 尚，坂内祐一，服部 哲，中村隆之，小坂崇之
情報工学科 大塚 真吾
工学部 機械工学科 佐藤 智明

１． 研究の目的

本研究「多重化映像と非装着センシングによる対話支援型知能化映像システム」の大目的は、多重化隠蔽映像を単なる新奇な映像情報メディアにとどまらせず、幅広い応用の分野を開拓し、研究分野や社会との接点を強固とすることである。

＜本年度の目的・目標＞
平成23年度「①基盤ソフトウェアの研究」，平成24年度「②可視化と情報表現基盤技術」を集中して推進した最終年度となる本年度は，特に「③多重化隠蔽映像の高機能化と教育向けプラットフォームの開発」として，次の研究成果を「高機能化」と広い意味での「教育向け」と明確に設定し，新しい体制を加えながら，担当する各分野において総合的な成果をアウトプットしていくことを目標とした．

研究の必要性及び従来の研究

平成24年度の研究提案から，従来の3つの研究課題に加え，以下のような研究課題と体制としている．
非装着空間センシングによる大規模データに特化したデータ圧縮格納・イベント抽出方法（白井・大塚・小坂）
分散型センシングシステムにおける知能的な意味抽出手法（白井・大塚・小坂）
眼鏡なし立体ディスプレイを応用した多重化映像システムによる対話型教育体験空間の創出（白井・谷中）
HMD（ヘッドマウントディスプレイ）を用いたウェアラブルメディアとその評価方法（坂内）
分散型センシングデータを用いた仮想空間と実空間の効果的な実験・演出手法（服部哲）
各体制は中心となる研究者であり，学生・研究員と協働しながら相互にシナジーをとって活動している．また定期的に研究会を開催することで，横断的な成果の共有を行なっている．
研究の目標は個々の年度において以下のようなマイルストーンを設定して推進している．
〔H23A〕分散化された赤外線レーザセンサからのセンシングデータの効率の良い格納方式の開発
〔H23B〕大規模なセンサデータから多様なイベントの抽出を提供するAPIの開発
〔H24A〕オートステレオディスプレイ向け多重化映像レンダリングエンジンの開発
〔H24B〕フィジカルコンピューティングを用いたハイブリッドセンシング
〔H24C〕多重化隠蔽映像システムの高度化およびコンテンツ制作手法の確立
〔H24D〕ヘッドマウントディスプレイを用いた基本システムの開発とハイブリッドシステムセンシングとの融合
〔H24E〕オープンキャンパスを用いた複数空間を移動するユーザトラッキング手法
〔H25A〕コミュニケーションモデルを獲得する知能化エンジンの開発
〔H25B〕パブリックスペースでの実証実験
〔H25C〕学内外での展示における実践的評価

上記の研究のロードマップに対し，以下のような研究計画と方法を特色としている．
＜研究期間全体の技術的成果＞
平成23年度　多重化映像(第1世代)から多重化隠蔽映像(第2世代)へ
平成24年度　多重化隠蔽映像の動画化による応用性・インタラクティビティ向上
平成25年度　より「高機能化」(第3世代)，「教育向け応用」の開発へ
＜研究手法の開拓および成果の評価方法＞
ア・ACMなど国際評価の高い会議・ジャーナルでの採択
イ・メディアプレゼンスの高いイベント，雑誌，TV等でのデモンストレーション
ウ・研究成果の一般，企業へのアウトリーチ活動
エ・プレスリリースの発信によるプレゼンスの向上
オ・大学院生，学部生の積極的な参加による研究基盤形成

期待される効果

新体制として加わった中村，佐藤（尚）らの協力により，教育を通し成果技術の普及をはかり，学生の自由な発想を活用したゲームシステムへの応用が促進される．佐藤（智）の参加により，CADデータ可視化の利用分野を開拓できる．

研究の経過及び結果

本年度は最終年度ということもあり，基盤技術の研究に加えて，研究成果の一般への周知普及および産学連携への展開に特に力を入れた．Laval Virtual 2014において「ZZZoo Pillows」および「Manga Generator」の2件の発表を行った（予算支出は前年度）．Manga GeneratorがAwardで受賞．国内最大の動画共有サービス『ニコニコ動画』を運営する株式会社ドワンゴから招待され「ニコニコ超会議２」（参加者10万人）にて多重化隠蔽映像を『ニコニコメガネ』として展示し，幅広い層に反響を得た．ACM SIGGRAPH 2013において「KinEmotion」を発表，ゲーム開発者会議「CEDEC2013」において，「Manga Generator」を発表．経産省「Innovative Technologies 2013」において我が国の優れたコンテンツ技術であることが認められ，DCEXPO2013（日本科学未来館）において展示を行った．佐藤（智）によりエンジン3Dモデルを「2x3D」において展示，エンタテイメント以外の教育的コンテンツを示した．
多重化隠蔽映像は谷中・白井により，第3世代である液晶プロジェクタの知見を活用し，フラットパネルによる多重化隠蔽映像の実験上の成功を確認した．

５．　今後の計画

多重化隠蔽映像はフラットパネルでの実現を確実にし，第4世代として継続する．なお，名称は「多重化不可視映像」として普及展開を図る．
本重点研究の研究成果は一般財団法人高度技術社会推進協会（TEPIA）に認められ，平成26年度より「Manga Generator」および「スクリッター」として常設展示されることが決定した．モーション認識アルゴリズム，多重化不可視映像およびレーザーセンシングのフィールドテストを実施して新たな知見を得たい．

６．　研究成果の発表

21件の学術外部発表，うち3件の海外発表．
＜受賞＞
・「Manga Generator」フランスLaval Virtual Award 2014（リアルタイムキャラクター＆バーチャルワールド賞）
・「2x3D」，経済産業省「Innovative Technologies 2013」
・「マンガ没入型エンタテイメントシステムの可能性」，電子情報通信学会HCGシンポジウム2013「最優秀インタラクティブセッション賞」，「オーガナイズドセッション賞」
・「WebSocketを用いたスマートフォン上でのエンタテイメントコンテンツ閲覧時のリアルタイム行動分析」，エンタテインメントコンピューティング2013（芸術科学会オーガナイズドセッション ベストプレゼンテーション賞）

＜取材＞ （主要なもの）
◆DigInfoTV（英語）
・「2x3D lets viewers watch 2D or 3D movies on the same screen simultaneously」，November 22, 2013， 27,488 views，http://www.diginfo.tv/v/13-0093-r-en.php
・「Manga Generator lets you step inside a Japanese manga comic」，August 26, 2013, 82,425 views，http://www.diginfo.tv/v/13-0062-r-en.php
◆DigInfoTV（日本語）
・「2D+3D互換の多重化ディスプレイシステム」，2013年11月13日， 34,581 再生，http://jp.diginfo.tv/v/13-0093-r-jp.php
・「漫画の世界に入り込む『Manga Generator』」，2013年08月23日， 29,192 再生，http://jp.diginfo.tv/v/13-0062-r-jp.php

＜学術発表リスト＞
[K1] Shunsuke Yanaka, Motoki Ishida, Takayuki Kosaka, Motofumi Hattori, and Hisashi Sato. 2013. Resolution of sleep deprivation problems using ZZZoo Pillows. In Proceedings of the Virtual Reality International Conference: Laval Virtual (VRIC ’13),ACM, New York, NY, USA, Article 25 , 2 pages.
[K2]谷中俊介, 小坂崇之, 服部元史：抱き枕「ZZZoo Pillows」を用いた安心感の提供，研究報告デジタルコンテンツクリエーション（DCC）， 2013-DCC-4,vol.6,pp.1-4, 2013-06-20.
[K3] Shunsuke Yanaka, Takayuki Kosaka, and Motofumi Hattori, ZZZoo pillows: sense of sleeping alongside somebody, In SIGGRAPH Asia 2013 Emerging Technologies (SA ’13). ACM, New York, NY, USA, Article 17, 1 pages, 2013.
[K4]谷中俊介, 小坂崇之, 服部元史：ZZZoo Pillows：呼吸感と体温といびきの提示による安心感を与えるための抱き枕の研究，エンターテインメントコンピューティングシンポジウム（EC2013），pp.178 – 181 2013.9.17
[N1] 中村隆之, 川井高浩, 堀雄武, 田口裕起, 白井暁彦, 佐藤尚: “自作アーケードゲーム「アオモリズム」開発を通じた エンタテインメントシステム開発教育の実践”, 日本デジタルゲーム学会 デジタルゲーム学研究, 9pages, 2014/03/09.
[O1] 佐藤　充・白井暁彦・大塚真吾，「測域センサデータの可視化」，電子情報通信学会ヒューマンコミュニケーショングループ,HCGシンポジウム2013, pp.476-478, 2013.12.18
[S1] Yuto NARA, Wataru FUJIMURA, Yukua KOIDE, Genki KUNITOMI, Akihiko SHIRAI, “KinEmotion: Context controllable emotional motion analysis method for interactive cartoon generator”, ACM SIGGRAPH 2013 Posters,pp.75, 2013/7/21.
[S2] 白井 暁彦, 小出 雄空明, 奈良 優斗, 藤村 航, “姿勢評価によるリアルタイム感情推定を特徴とする動的マンガ生成システム「Manga Generator」”, CEDEC2013, 2013年8月21日.
[S3] 北田大樹,白井暁彦:スマートフォンの加速度センサを用いた微小不随意運動検出による動画視聴時の笑い評価手法, 第18回 日本バーチャルリアリティ学会大会論文集, pp. 162-165, 2013年9月18日.
[S4] 藤村航,小出雄空明,奈良優斗,白井暁彦, “VR エンタテイメントシステムのためのリアルタイムマンガ風画像生成シェーダーの開発”, 第18回日本バーチャルリアリティ学会大会,pp. 216-219, 2013年9月18日.
[S5] 小出雄空明,國富彦岐, 藤村航, 奈良優斗, 白井暁彦: “マンガ没入型 VR エンタテイメントシステムにおけるコンテンツ制作手法”, 第18回日本バーチャルリアリティ学会大会, pp.552-555, 2013年9月20日.
[S6] 北田大樹,白井暁彦: “WebSocket を用いたスマートフォン上での エンタテイメントコンテンツ閲覧時のリアルタイム行動分析”, エンタテインメントコンピューティングシンポジウム2013論文集, pp.117 – 122 , vol.2013, 2013年10月4日
★芸術科学会オーガナイズドセッション ベストプレゼンテーション賞
[S7] 國富彦岐,石川 晃,田所 康隆,白井 暁彦: “年齢層とゲーミングデバイスの違いによる面白さの比較調査”, エンタテインメントコンピューティングシンポジウム2013論文集, pp.111 – 116, vol.2013, 2013年10月4日.
[S8] 田所康隆,藤村 航,北田大樹,白井暁彦, “エンタテイメントシステム展示を対象とした質的評価ツールの提案”, エンタテイメントコンピューティング2013, vol.2013, pp.107 – 110, 2013年10月4日.
[S9] 石川晃,小西瑞輝,國富彦岐,田所康隆,白井暁彦: “スマートフォンを用いた実世界指向パーティゲームの提案”, エンタテインメントコンピューティングシンポジウム2013論文集, pp.103 – 106, vol.2013, 2013年10月4日.
[S10] 小出 雄空明, 國富 彦岐, 藤村 航, 奈良 優斗, 白井 暁彦: “マンガ没入型エンタテイメントシステムの可能性”, 電子情報通信学会ヒューマンコミュニケーショングループ HCGシンポジウム2013, pp.208-211, 2013年12月18日.
★電子情報通信学会ヒューマンコミュニケーショングループ HCGシンポジウム「最優秀インタラクティブ発表賞」受賞
[S11]小出 雄空明, 國富 彦岐, 藤村 航, 奈良 優斗, 白井 暁彦, “学生VRコンテストを起点としたVRエンタテイメントシステム開発とその報告”, 第5回横幹連合コンファレンス, 2pages, 2013年12月21日.
[S12] 白井 暁彦，“3Dディスプレイに付加価値を与える多重化隠蔽映像技術”，応用物理学会・日本光学会・微小光学研究グループ，第131回微小光学研究会招待講演，6pages, 2014年3月5日.
[S13] 藤村航, 小出雄空明, 國富彦岐, 田口裕起, 鈴木久貴, 白井暁彦: “直線偏光による多重化隠蔽型ハイブリッド3Dディスプレイにおける画質評価”,映像情報メディア学会技術報告 立体映像における人間工学的研究，及び立体映像技術一般（ヒューマンインフォメーション研究会共催） , pp.35-38, vol.ITE-38, no.11, 2014.2.27
[S14] 小出雄空明，藤村航，國富彦岐，田口裕起，鈴木久貴，白井暁彦: “液晶フラットパネルにおける多重化隠蔽映像の試行と実現”, 映像情報メディア学会技術報告 – 立体映像における人間工学的研究,及び立体映像技術一般, pp.39-40, vol.38, no.11, 2014-02-27.
[S15] 田口裕起，鈴木久貴，小川耕作，白井暁彦: “HMD装着時における首によるジェスチャ認識　～ 首可動域の特性 ～”, 映像情報メディア学会技術報告 ヒューマンインフォメーション研究会「視聴覚技術，ヒューマンインタフェースおよび一般」, pp. 9-11, vol.38, no.10, 2014年3月4日.

（以上）