【追記】発表スライドを追加いたしました。
【セッションの内容】
本発表「次世代VR/ARエンタテイメントのための多重化映像生成ミドルウェア」では、既存の3D立体視技術を応用した多重化映像技術Scritterシリーズ、ExPixel、ExFieldについて紹介します。
多重化映像技術によって、1つのディスプレイ装置で複数の映像を、同時且つ排他的に視聴することが可能になります。
本発表では3つのパートに分け、(1)多重化映像技術の研究的立ち位置、(2)ゲーム応用に向けた多重化映像生成ミドルウェアの開発、(3)多重化映像のコンテンツ応用についてお話します。
詳細情報: http://cedec.cesa.or.jp/2017/session/AC/s58e0479a139a7/
卒業生,現・(株)ソニー・インタラクティブエンタテインメントの鈴木久貴さんとのコラボで発表する予定です.
Google Slides 公開版はこちらです
http://bit.ly/CEDEC2017MDM
Facebookグループもつくりました。ご質問はこちらへ。
http://bit.ly/MDMediaFB
このスライドはSlideShare公開版です。個人・社内等での再利用等は可能ですが、スクリーンショットを取得したりして再編使用する場合はお問合せいただければ幸いです。
デモ展示をインタラクティブセッション(1Fの6番)では期間中を通して、Real Baby最新版を展示いたします。
【セッションの内容】
本体験は、自分の赤ちゃんをVR空間上で育児することのできる体験である。
体験者の顔画像から目、鼻、眉、口、輪郭の特徴を抽出し、体験者の赤ちゃんの顔を推定し、生成する。また、生成した赤ちゃんの顔画像を事前に用意した赤ちゃんモデルに投影することで、VR空間上で使用できる赤ちゃんエージェントとする。
体験者はヘッドマウントディスプレイを装着することで、自分の赤ちゃんを「あやす」、「ミルクをあげる」、「げっぷをさせる」、「寝かしつける」といった育児を体験することができる。
赤ちゃんの表情はプレイヤーの2D画像からディープラーニングによる「若年化モーフィング技術」を用いて生成され、VR体験においてもLive2Dを用いて動的に変化させることが可能である。
赤ちゃんの泣き声やミルクを飲む音、げっぷをする音に同期した触覚を体験者に提示することで、よりリアルな赤ちゃんらしさを表現している。
http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/
聴講もいろいろ予習しています.興味があるタイトルだけでも列挙しておきます.
公式ガイドブックのPDFはこちらからダウンロードできます。
なお,展示についてもセッションの間の時間帯は大変込み合いますので事前のご連絡もしくは会場でのご予約を推奨します.
]]>神奈川工科大学 3年生による “VR赤ちゃん”「Real Baby – Real Family」が国際賞を連続受賞
こちらの記事でも紹介させていただきましたが,フランスLaval Virtual 2017でのACM SIGGRAPH Award受賞により(実際には一般投稿もしていましたが),ACM SIGGRAPHという44年続く世界最大のCG・インタラクティブ技術の国際会議に招聘されました.しかもその展示先は「Emerging Technologies」(通称「E-Tech」)という先端技術のデモを行う世界最高の場所です.
http://s2017.siggraph.org/content/emerging-technologies
“Real Baby – Real Family: Age-Controllable VR Avatar From 2D Face Images”
Real Baby – Real Family is an entertainment VR baby-avatar-generation system that includes visual, audio, and haptic feedback; a physical baby form; and a virtual baby whose face is generated by combining two photos of the players. I project simulates a complete baby-nursery experience.
Rex Hsieh, Yuya Mochizuki, Takaya Asano, Marika Higashida, Akihiko Shirai
Kanagawa Institute of Technology
論文はこちら
“Real baby – real family”: VR entertainment baby interaction system
SIGGRAPH4日目終了までで、215人の方に体験中して頂きました。
明日も Hall G 131ブースにて展示しております。#RealBaby pic.twitter.com/KFaR8PLvPT
— Yuya Mochizuki (@Mochi_0317) August 3, 2017
#RealBaby – Real Family in #SIGGRAPH 2017 pic.twitter.com/Q2BP0HmkPV
— Akihiko SHIRAI, Ph.D (@o_ob) July 31, 2017
一般参加が多いLaval VirtualやAnime Expoにくらべ,子供や家族連れは少ないのですがそれでも幅広い人々に人気でした.
もちろんMasQueRadeによるデータも取得しています.
またいつもの国際版展示に加えて,いくつかの新機能も展示いたしました.中でも日本のスタートアップの雄・Xenoma社のセンサスーツ「e-Skin」のベイビー版(特注品・プロトタイプ)とのコラボ展示も行いました.
白井研と共同研究をしているXenomaさんも洗えるセンサ服「eSkin」をエキシビションで展示しており大人気です。#RealBaby ブースではeSkinの"特製ベビー服バージョン"が展示されています。 #SIGGRAPH2017 pic.twitter.com/DSO94ud94f
— Akihiko SHIRAI, Ph.D (@o_ob) August 3, 2017
また初日にはIVRC(国際学生対抗バーチャルリアリティコンテスト)の主催でBirds of a Feather(BoF)というシンポジウム形式の会議も開催されました.実行委員長の舘先生をはじめとする,フランスLaval Virtualの代表者,またLaval Virtualで本作に賞を授与したSIGGRAPH Emerging Technologiesのチェアによるスピーチ,そして過去のIVRC参加学生による発表が行われました.
講演資料と写真、動画リンクはこちらで共有されています.
なお後日談ですが,VRSCoutという世界のVRメディアに2017/8/12付で紹介されました.2日後の8/14時点で13万再生されています。
Virtual babies have arrived.
VRScoutさんの投稿 2017年8月11日金曜日
コメントには誤解が多いようですが…インパクトはあったようです.
後日報告はACM東京のこちらのイベント
主催 TOKYO ACM SIGGRAPH (シーグラフ東京)
開催日 2017年8月24日(木曜日)
開場 18:00 報告会 18:30-21:00
場所 女子美術大学 杉並キャンパス 女子美術大学杉並校舎 7号館2階7201教室
杉並区和田 1-49-8(最寄駅:東京メトロ丸の内線 東高円寺駅徒歩10分)
詳細はこちら http://www.sig-tokyo.org/
2017年08月24日(木) 12:55~16:00 JST(科学技術振興機構)、タマティーエルオー株式会社主催 「ライフイノベーション 新技術説明会」にて講演します ご興味ありましたら個別相談申し込みをどうぞよろしくお願いします.
https://shingi.jst.go.jp/kobetsu/tama-tlo/2017_tama-tlo.html
ゲーム開発者会議CEDECでの展示です.登録必要・有料です.
家族愛をテーマにした子育てVRエンタテイメント ”Real Baby – Real Family”
http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/
以下,ロサンゼルス現地での様子などなどTwitterでお送りします.
今週は(今週も?)ロサンゼルス・コンベンション・センターにて開催のSIGGRAPH2017にて「Real Baby」と「MasQueRade」の展示を行います。コンピュータグラフィックスとインタラクティブ技術における世界最大の国際会議にフランス経由で招待展示となりました。 pic.twitter.com/O0kvBysN8u
— VREAK (@VR_EAK) July 28, 2017
Real Babyは今日も大人気です
先端技術が集まるSIGGRAPH Emerging Technologies において、女子ウケが良いのが特徴かもしれないですね。 pic.twitter.com/u09t3ow6i0— VREAK (@VR_EAK) July 31, 2017
She said "yes" for having baby
#RealBaby pic.twitter.com/YRL9Q9dKry
— Akihiko SHIRAI, Ph.D (@o_ob) July 31, 2017
https://twitter.com/o_ob/status/892942816883621889/
もう10年以上の連載になる映像情報メディア学会のSIGGRAPH探訪記執筆陣と今年のETechチェア Jeremy Keniskyと。
明日は大きいテレビ取材がReal Babyに入ったっぽいです。
チェアの評価も良くて一安心。 pic.twitter.com/6F2VpPnUt0— Akihiko SHIRAI, Ph.D (@o_ob) August 2, 2017
落合くんとオフラインでじゃないと話しづらい事を話すのも大事な活動。 pic.twitter.com/JKDzBWBHbE
— Akihiko SHIRAI, Ph.D (@o_ob) August 2, 2017
Real Time Live! も大変気になるが、学生たちを重要なパイオニアたちに引きあわせるのも先生しかできない大事な仕事。 pic.twitter.com/CZP2AFaS66
— Akihiko SHIRAI, Ph.D (@o_ob) August 2, 2017
キリンがいた…
デッサン?のモデルっぽい pic.twitter.com/0qzMhcOCge— あさの (@a8tky9n) August 1, 2017
会場ではサプライズ的に飲み物やアイスやお菓子を配ったのですが、ブラウニーだと思って食べたらチョコレートとキャラメルを煮詰めてクリームをぶん投げたような甘さで「オ゛?!」って声出してフリーズした。 水がなかったら多分死んでた。 pic.twitter.com/tMfyoaEmei
— sk (@sekiei_) August 5, 2017
暇なので日記がわりに書いたHootersのアレ
ドギーバッグで通じると、中学のALTに教えられたけどそうでもなかったのかも pic.twitter.com/y37D6L08y4— sk (@sekiei_) August 4, 2017
リトルトーキョーは韓国に占領されそうになっていたよ。 pic.twitter.com/kd3vVF8gW0
— Akihiko SHIRAI, Ph.D (@o_ob) August 4, 2017
全くインスタ映えしないリトルトーキョーのラーメンを試食する #今日の東田さん pic.twitter.com/5SHsQI7qQ4
— Akihiko SHIRAI, Ph.D (@o_ob) August 4, 2017
リトルトーキョーの奇妙さは行かないとわからない。
千と千尋のような、時間が止まったような、どこか違和感のあるテーマパーク。日本人のアイデンティティを再発見できる街。 pic.twitter.com/C9kYrSzltJ
— Akihiko SHIRAI, Ph.D (@o_ob) August 4, 2017
]]>2017年08月24日(木) 12:55~16:00
JST(科学技術振興機構)、タマティーエルオー株式会社主催
「ライフイノベーション 新技術説明会」にて講演します
ご興味ありましたら個別相談申し込みをどうぞよろしくお願いします.https://t.co/3iEIzqKl0Q— Akihiko SHIRAI, Ph.D (@o_ob) August 7, 2017
http://jcs.shueisha.co.jp/jvr/matsuri/
白井研究室からは子育てVRエンタテイメント「Real Baby – Real」と、今回完全なリブート新作となる「Manga Generator JUMP VR」で”初代Manga Generatorからの長年の夢”であった「Naruto」と「ONE PIECE」とのコラボを実現しました。
集英社公式サイトに掲載されました!しかも隣。
Real Baby – Real Family
[ 神奈川工科大学 白井研究室 ]マンガジェネレータJUMP VR
[ 神奈川工科大学 白井研究室+Progmind Inc. ]https://t.co/IYOB1jYIyU pic.twitter.com/eMHlqYLqMt— 白井博士 (@o_ob) June 29, 2017
そして会場ではVR体験イベントにおける効果測定システムを使った国際公開実験を行います(倫理審査申請中)。
Anime Expoとは、1992年から開催されている北米最大のアニメ・コンベンション。AX2017は7月1日からロサンゼルスで開催となり、作品上映会、コスプレ、グッズ販売など様々なイベントが行われ、日本人クリエイターもゲストで多数参加。期間中の会場は24時間開いており、決して眠ることはない大々的なイベントです。
「日本キャラVR祭」とは、日本のコンテンツメーカー各社が日本で生まれたキャラクターや作品を、最新のVR技術を通じて全世界のファンへと届け、その魅力を広める活動です。AX2017内では特設ブースを出展します。今回は集英社と大日本印刷が中心となり、日本のVR開発者たち(10団体以上)を引き連れAX 2017に乗り込むことになりました。
◆開催日時:2017年7月1日~7月4日
◆開催場所: ロサンゼルス・コンベンションセンター
Webサイト:http://www.anime-expo.org
・株式会社集英社 ワンピースキューブ/ジャンプキューブ/ジャンプ美術館/『DEATH NOTE』VR脱出ゲーム
・株式会社講談社 Hop Step Sing!
・株式会社桜花一門 ChainMan
・神奈川工科大学 白井研究室+Progmind Inc. Manga Generator JUMP VR
・他7企業。
皆様のお越しをお待ちしております。
会場の写真、動画等もこちらに追加予定です。
数日前の弊研究室です。
集英社・大日本印刷さんと協働で「すごいVRマスク」を作っているところです。
そもそもすごい量。 pic.twitter.com/5tt9WblZsg— 白井博士 (@o_ob) June 28, 2017
NarutoになれるVRマスク、試着!
You can get this HMD mask at Entertainment Zone in Anime Expo 2017.
\\\٩( 'ω' )و //// Ittadaki ma-su!#AX2017 pic.twitter.com/7QqTVz6x7t— 白井博士 (@o_ob) June 28, 2017
【新連載】集英社 ジャンプVRが行く! 特攻野郎 VRチーム
︎ https://t.co/p53tMERiyQ #panora
週刊少年ジャンプ@jump_henshubuなど自社IPをPRする集英社の特攻部隊「#ジャンプVR」が、活動内容や人間関係を色々バラしちゃいます。 pic.twitter.com/mb9RcWKy1w— PANORA VR (@panoravr) May 26, 2017
さすが集英社の編集さん、ほんと厳しいですが大変勉強になりました。
<集英社による報告>
<以下関連Twitter>
Manga Editor, producer, creators and researchers bring their best of best to "Japan Character VR" festival in Anime Expo 2017. #AX2017 pic.twitter.com/EsQGhffk02
— 白井博士 (@o_ob) June 26, 2017
アニメエキスポ最終打ち合わせ中です。ベイビーフェイス pic.twitter.com/WV2r98ts0G
— ChainMan VR 8/15 (@ChainmanVR) June 26, 2017
アニメエキスポ最終打ち合わせ中です。マンガジェネレーター pic.twitter.com/pQirYaNSK1
— ChainMan VR 8/15 (@ChainmanVR) June 26, 2017
Manga Generator "JUMP VR" version is ready to show! You can immerse you in Naruto & ONE PIECE world! https://t.co/te7pBvTLht#AX2017 #VR pic.twitter.com/WLJ5BkheAc
— 白井博士 (@o_ob) June 26, 2017
無事LAX着きました。飛行機は8時間弱でついてびっくりなんだけど、入国審査が厳しくてまたびっくり。
ESTAは7名に1人しか一発通過できないし、人間の入国審査官に「アニメエキスポで出展者で大学でマンガジェネレーターでコンピュータグラフィックスの技術が…」と理解するまで解説必要。 pic.twitter.com/6tSdiyPfZl— 白井博士 (@o_ob) June 29, 2017
さてロサンゼルス合宿初日。
近所のスーパーで惣菜など買い込んでオープンキッチンで食しますよ pic.twitter.com/WROxTTwDAs— 白井博士 (@o_ob) June 29, 2017
夜が明けてきた。
都市の美しさ一望できてアガる。 pic.twitter.com/roM2sDlux4— 白井博士 (@o_ob) June 29, 2017
ロサンゼルス・コンベンションセンターの天守閣が「ドラゴンボール超」になっております。#AX2017 pic.twitter.com/wSsvSxbfgg
— 白井博士 (@o_ob) June 29, 2017
アニメエキスポ会場着です。
このエリアは再開発が一気に進んでいるようで2018年ごろには景色が変わっってるはず、AirBnBも増えそう。そしてすでにAX徹夜組が!まだ2日も前なのにマジで気合入ってますね!
日本人が知らない日本愛を感じる…「エモい」教えたい。#AX2017 pic.twitter.com/6N8u6ThFfm
— 白井博士 (@o_ob) June 29, 2017
コンベンションセンター、South Hall天守閣下はセーラームーンとHuluで放映開始のボルト、そして集英社のポスターでジャックされております。#AX2017 pic.twitter.com/TV8JYuuBAl
— 白井博士 (@o_ob) June 29, 2017
SIGGRAPHでいちばん広い講演会場が全開放。ここにEntertainment Hallがきてコスプレエリアと我々の展示がきます。
だだっ広い!
アメリカサイズ!そしてさすがロジスティックに強い白井研学生、動きが機敏です。#AX2017 pic.twitter.com/iE7CrTKhdN
— 白井博士 (@o_ob) June 29, 2017
Anime Expoの何がすごいって、有料来場者10万人以上(ちなみに"全米最大"のサンディエゴのComiConは50万人、台湾漫画博覧会も50万人)、トータル30万人動員するイベントで、さらに$425-115という高めのプライス。https://t.co/5OUbgBXjSR
— 白井博士 (@o_ob) June 29, 2017
]]>集英社公式サイトに掲載されました!しかも隣。
Real Baby – Real Family
[ 神奈川工科大学 白井研究室 ]マンガジェネレータJUMP VR
[ 神奈川工科大学 白井研究室+Progmind Inc. ]https://t.co/IYOB1jYIyU pic.twitter.com/eMHlqYLqMt— 白井博士 (@o_ob) June 29, 2017
神奈川工科大学の学部3年生によるチーム「明るい家族計画」(代表・情報メディア学科 3年 望月宥冶)が開発したVR赤ちゃんプロジェクト「Real Baby – Real Family」は、2016年10月に行われた第24回国際学生対抗VRコンテスト(IVRC2016)にて100作品中唯一となる国際賞「Laval Virtual Award」を受賞しました。
その後、プロジェクトの多くのメンバーが白井研究室へ配属希望し仮配属となった事から、2016年12月より正式にラボプロジェクトとなり、白井准教授が及び看護学科で新生児看護学を担当する青木助教が監修に参加しました。
その後、2017年3月22-26日に、受賞によって招待された欧州最大規模のVRフェスティバル「Laval Virtual 2017」(フランス・ラヴァル市)において展示発表及び口頭発表、パネルトーク参加を行いました。
さらに、Laval Virtual Awardsにおいて、世界最大かつ最も歴史あるCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」(アメリカ・ロサンゼルス)で展示を行事になりました。本プロジェクトは、最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において、本年度、世界で最も早く採択が決定したプロジェクトとなりました。
チーム「明るい家族計画」によるプレスリリース
プレスリリース形式のPDF・画像のダウンロードはこちら
Laval Virtual 2017授賞式における「ACM SIGGRAPH Award」受賞の様子
没入感高く映像空間を体験できるバーチャルリアリティ技術(VR)は、近年エンタテイメント分野を中心に世界的に注目されています。VR赤ちゃんシミュレータ「Real Baby – Real Family」は、世界で最も歴史あるVR作品コンテスト「第24回国際学生対抗VRコンテスト(IVRC2016)」においてファイナリストとなった、神奈川工科大学の情報学部 情報メディア学科および創造工学部 ロボット・メカトロニクス学科3年生によるチーム「明るい家族計画」によって開発された学生中心のプロジェクトです。2016年10月29~30日に日本科学未来館において行われたIVRC2016決勝大会にて、応募100作品中で唯一となる国際賞「Laval Virtual Award」を受賞しました。本受賞によって招待された欧州最大規模のVRフェスティバル・第19回「Laval Virtual 2017」(2017年3月22~26日/フランス・ラヴァル市)において、17,700人の専門家向けおよび一般参加者向けの展示を行いました。さらに、240社の出展者から唯一となる賞として、世界最大かつ44年の歴史を持つCG/インタラクティブ技術の国際会議である「ACM SIGGRAPH」より「ACM SIGGRAPH Award」を受賞し、2017年7月に開催される「SIGGRAPH 2017」(アメリカ・ロサンゼルス)で展示を行うことが決定しました。本プロジェクトは、最先端技術が集まるセッションである「SIGGRAPH Emerging Technologies 2017」において、本年度、世界で最も早く採択が決定したプロジェクトとなりました。
「Real Baby – Real Family」代表写真
本プロジェクトは、学生コンテストが終了したのち、現在神奈川工科大学 情報学部 情報メディア学科 白井暁彦准教授の指導の下、VRエンタテイメントの新しい市場を拡張する研究として基礎研究及び開発が続けられています。
ディープラーニングを使った顔画像処理により体験者自身の顔画像を元に3D空間で自身の顔の特徴を持った赤ちゃんに出会うことが可能です。この赤ちゃんはシンプルな人工知能により、泣く、笑う、見つめるなどの体験者に対する反応を示し、体験者は視覚・聴覚・触覚をフルに使い、赤ちゃんが人々に与える影響をVR空間上で短時間に体験することが可能になっています。このVRならではの体験を通して、出産や育児について前向きに考える機会を与える設計が評価されています。
国内および国際展示において得られた経験として、「VR赤ちゃん」はただの人形や映像と異なり「感情に訴える」という映像中心の既存VRから、「感情の設計」という新たな可能性を探求しており、幅広い体験者に影響を及ぼす可能性が評価されています。また日本の少子高齢化問題は世界から注目されており、出産経験のない若い情報メディア分野の学生が先端技術を使い、自らVR作品を開発して社会にアプローチしている点も評価されています。様々な国や文化圏の体験者より入手したフィードバックから、子供を産むことについてシリアスに考えづらい若者に向けた「おもしろい体験を通したシミュレーション」,「育児エンタテイメント」といったカジュアルなゲーミフィケーション効果が確認されており、近い将来、商業化が期待されています。ショッピングモールやデートスポットなどにおけるプリントシール機感覚の若者向けエンタテイメントVR体験を提供し、少子高齢化問題へアプローチするための新規サービスや商品提案・市場開拓の手がかりとなるマーケットリサーチ及び啓蒙を行うツールとして、様々な企業とコラボレーションを行い、生きたフィールドデータを取得しています。
2017年4月29日にはニコニコ超会議での展示もあります。
ニコニコ超会議2017「JapanVR Fest.」ゾーン(Hall 9)において公開実験を行います。
IVRC2016決勝大会授賞式における「Laval Virtual Award」受賞
「Real Baby – Real Family」ポスター(英語版)
「Real Baby – Real Family」体験中、哺乳瓶からミルクをあげています。赤ちゃんが笑い、手には振動が伝わります。
「Real Baby – Real Family」ポスター(日本語版)
Laval Virtual 2017における展示の様子(縦)
Laval Virtual 2017における展示の様子(横)