Real Baby - Real Family

神奈川工科大学　白井研究室

望月宥冶

浅野 隆弥　我妻大樹　東田茉莉花　Rex Hsieh　

チーム紹介

Leader and Founder: 望月 宥冶Unity Programmer: 浅野 隆弥Hardware/ Audio Design: 我妻大樹2D and 3D Design: 東田茉莉花English Translation: Rex Hsieh Supervisor / Professor : 白井暁彦

Real Baby - Real Family 第1期～第2期報告

はじめに（望月）

技術紹介（我妻）

これまでのロードマップ（浅野）

Laval Virtualでの展示を通してのフィードバック（Rex・白井）

今後の利用可能性（東田）

おわりに・今後に向けて（望月・白井）

はじめに

Real Baby-Real Family望月 宥冶

コンセプトビデオ

Laval Virtual Award in IVRC2016

100+ projects submitted in IVRC2016

Motivation

• IVRC2016 「Real Baby - Real Family」• “Real Baby” can teach the players how to handle a baby.

• it can also simulate the level of family ties through an entertainment experience.

視聴覚交換マシン(1993,八谷和彦)

(Im)possible Baby(2016,長谷川愛)

先行研究

▶ YOTARO　(IVRC2008)▶ VRシステムを利用した赤ちゃんシミュレータ

▶ 赤ちゃんの顔がディスプレイになっている

▶ 統計情報を用いた年齢変化，顔画像の生成(2004)▶ 幼少期の平均顔と実年齢顔を合成することにより皺やシミの除去ができる

▶ 平滑化処理を掛けることで減齢画像の生成を行うことが出来る

▶ 赤ちゃんの平均顔と体験者の顔を用いると体験者の赤ちゃんの顔を生成できる

技術的な３要素

• HMDを装着したまま、違和感なく赤ちゃんを抱擁できる技術

• 体験者の顔から体験者の赤ちゃんを生成する技術

• 赤ちゃんの存在感の演出として、触覚を使ったフィードバック技術

技術紹介

Real Baby-Real Family我妻 大樹

要素１:HMD装着時に赤ちゃんを違和感なく抱擁できる技術

▶ HMDを装着したまま、違和感なく赤ちゃんを抱擁できる技術として、高精度なポジショントラッキングを必要としている

▶ コンシューマHMDであるHTC VIVEを使用して実現

要素2 : 赤ちゃん顔生成

1. 赤ちゃんの平均顔を作る

2. 特定の顔の特徴点を取得する

3. 特徴点を使って若年化モーフィング

赤ちゃん平均顔の生成

Google画像検索により16枚の乳幼児画像を取得し合成

Laval Virtual Version

▶ 3つの異なる肌の色を選択できる

特定の顔の特徴点を取得

▶ 顔の特徴点である目、鼻、口、眉、輪郭の座標を取得し、

▶ 赤ちゃんの平均顔と合成する.

▶ スペクトラム解析をし、音声出力を触覚フィードバックとして提示する

▶ 高速フーリエ変換を使用し、振動データをHTCVIVEにリアルタイムに送信する

要素3 : 音声出力と同期した触覚提示

バイブロトランスデューサー「VP2」を使用した触覚提示

▶ HTCVIVEに内蔵されている振動子の提示位置を、 外部振動子を取り付けることで、赤ちゃんモックアップに最適化した。

これまでのロードマップ

Real Baby-Real Family浅野 隆弥

ロードマップ

6 7 8 9 10 11 12 1 2 3 4 5 6 7

イベント

開発

▲IVRC 企画書提出

▲IVRC予選大会

▲IVRC決勝大会

▲HEAT5th 展示

▲JVRFest展示

▲Interaction2017展示

▲VR CENTER 展示

▲Laval Virtual

▲ニコニコ超会議

▲SIGGRAPH

日本展示版 海外展示版初期開発

NextGeneration

Coming Soon…

2016 2017

© Unity Technologies Japan/UCL

IVRC2016

Japan VR Fest

JVRFestでの展示を通して得られた気づき

JVRFest直後のTweetsよりhttps://twitter.com/tanji_y/status/835397251400814592https://twitter.com/tanji_y/status/835399695358799872https://twitter.com/tanji_y/status/835581751627952128https://twitter.com/tanji_y/status/835585405680406528https://twitter.com/tanji_y/status/835592354316742658

VR Center

イオンレイクタウン

Laval Virtual 2017

展示を通して得られた結果

▶ 赤ちゃん顔生成の評価▶ 生成した赤ちゃんの似ているかどうかの評価は5段階中3.5だった。

▶ VRを用いたナーシングシミュレータ

▶ 現実に寄せて作ることによって, 主体的な育児シミュレーターを短い時間で体験さ

せることができる。

▶ エンターテイメントシステムとしての評価▶ このシステムは赤ちゃんの顔画像を同性のカップルから生成するだけでなく、写真

や2次元の絵とも子供を作ることが出来る。

Laval Virtual展示を通してのフィードバック

Real Baby-Real FamilyRex Hsieh

2017 Laval Virtual Positive Feedbacks● ４００人以上が Real Baby - Real Familyを体験

● 多くの意見がポジティブなもので、その内容は

○ Fun and interesting experience○ Very educational○ Good concept○ Has potential

2017 Laval Improvement Suggestions● ネガティブな意見やアドバイスとして、

○ Need to improve graphic○ More interaction and animation from the baby○ A bit confusing in the beginning○ Transition between different interactions can be a bit abrupt

2017 Laval Virtual Direct Feedbacks● 以下はユーザーが書いた実際のフィードバックの画像である

今後の利用可能性

Real Baby-Real Family東田 茉莉花

VRCenterについて

・曖昧な状態のカップルが，相手の願望を確認できる瞬間を提供できた

・本コンテンツを通じ，『母性や父性の感情が湧いた』という感想（下記：回答106名）

・VRウェディングや本コンテンツを通じてパートナーと話をしようと考えた方は7割超え

・『日本でのVRコンテンツの楽しみ方を整える，普及する』という視点を考える必要がある

�����体験者59人中，「子供が居ない」と答えた41人について

�����体験者59人中，「子供が居ない」と答えた41人について

アンケート

体験後6(人) 6(人)

LavalVirtualにて

・概ね「良い体験だった」と肯定的な感想が多かった

・言語が違う中，指示が通じず途方にくれる体験者も

・家族としての愛情を表現する，というよりも，

　将来的に父母になる人のための，

　『練習目的のアプリケーション』としての見方に好意的な印象

可能性

研究として

育児ストレスの軽減を目的とした VRコンテンツ

成長する育児シミュレーター

言語や教本に頼らない育児方法伝達システム

二次元との子供を作るエンターテイメントシステム

商業利用

婚活イベントでの利用

結婚式場等のPRイベントでの利用

→結婚・育児が一体となった

　ビジネスモデルの発展に寄与できるのでは？

ご清聴ありがとうございました．