複合現実感システムによる複合現実感システムによる仮想オリ ピ ク タジ ム仮想オリ ピ ク タジ ム仮想オリンピックスタジアム仮想オリンピックスタジアム

東京大学東京大学

生産技術研究所

池内克史 大石岳史 角田哲也

目次目次目次目次

複合現実感システムとは

今回のシステム

IOC委員現地視察でのデモ

オリンピック以外の活動

複合現実感システム複合現実感システム

複合現実感複合現実感

仮想物体

複合現実感画像複合現実感画像

実シーン

複合現実感展示の技術課題複合現実感展示の技術課題複合現実感展示の技術課題複合現実感展示の技術課題

位置がきっちりあっている

－ 幾何学的整合性－ 幾何学的整合性

色合いや影があっている色合いや影があっている

－ 光学的整合性

位置がきっちりあっている位置がきっちりあっている位置がきっちりあっている位置がきっちりあっている－－ 幾何学的整合性幾何学的整合性

位置関係が位置関係が位置関係が位置関係があっているあっている

位置合わせ処理の流れ位置合わせ処理の流れ位置合わせ処理の流れ位置合わせ処理の流れ

位置あわせ位置あわせ位置あわせ位置あわせ

MR Platform(キヤノン社)を使用

光学的整合性光学的整合性

並列・実時間・光学的整合性

今回のシステム今回のシステム

並列 実時間 光学的整合性

今回のシステムの特徴今回のシステムの特徴今回のシステムの特徴今回のシステムの特徴

実環境測定による現実シーンの再現

影付け平面による視点変更

グラフィックス演算装置による実時間処理

並列分散による複数処理

①① 周辺の明るさの測定周辺の明るさの測定①① 周辺の明るさの測定周辺の明るさの測定

影の計算方法影の計算方法影の計算方法影の計算方法

仮想物体なし: 仮想物体あり:

∑N

iL θなし ネルギ iN

∑あり ネ ギ∑=

=i

iiL

0

cosθなしエネルギー ii

ii LS θcos

0∑=

=ありエネルギー

ありエネルギー影比率

なしエネルギー

あり ネルギ影比率 =

影付け結果影付け結果影付け結果影付け結果

ありＥ影比率 で実画像の明るさを下げるで実画像の明るさを下げるなし影比率

Ｅ= で実画像の明るさを下げるで実画像の明るさを下げる

どうやって影をつけるか

どうやって実時間処理にするか

どうやって視点をかえられるようにするかどうやって視点をかえられるようにするか

②② 画像の足し算画像の足し算②② 画像の足し算画像の足し算

光源A 光源 B 光源 C

+

光源 A, B, C のもとでも画像

基礎影画像基礎影画像基礎影画像基礎影画像

合成影の生成法合成影の生成法合成影の生成法合成影の生成法

問題点問題点問題点問題点画像ベース画像ベース視点が変えられない視点が変えられない視点が変えられない視点が変えられない

③③ 影付け平面影付け平面③③ 影付け平面影付け平面

影付け影付け平面平面

任意の視点任意の視点

影付け平面影付け平面影付け平面影付け平面

視点変化が可能

地面だけでなく壁にも影

グラフィクスボ ドにインプリしやすいグラフィクスボードにインプリしやすい

④④ 並列分散並列分散HMDHMD制御制御④④ 並列分散並列分散HMDHMD制御制御

System ASystem A

PositionPosition

Server Server SSAAFastrak controllerFastrak controller

ClientClient

PositionPositionTransmitterTransmitter

ClientClient

Network (LAN)Network (LAN)

ClientClientAA44

……ReceiverReceiver

ClientClientAA33

HMD controllerHMD controllerHMD controllerHMD controller……Camera & DisplayCamera & Display

ネ トワ ク接続ネ トワ ク接続ネットワーク接続ネットワーク接続

Control Server Control Server Extendable up to 4 systemsExtendable up to 4 systemsEvent signalEvent signal

System ASystem A System BSystem B System CSystem C

SyncSyncServer Server SSAA

SyncSync

PositionPosition Network (LAN)Network (LAN)

Server Server SSBB

ClientClient ClientClientClientClient ClientClient ClientClient ……Network (LAN)Network (LAN)

AA11 BB11AA22 AA33 AA44

システム構成システム構成システム構成システム構成

位置姿勢取得サーバ ｘ 3台F k制御– Fastrak制御クライアント ｘ 12台– HMD制御（画像取得、CG描画）全体統括サ バ 1台全体統括サーバ ｘ 1台– イベント信号

晴海のオリンピック予定地でのデモ晴海のオリンピック予定地でのデモ

オリンピ ク誘致オリンピ ク誘致オリンピック誘致オリンピック誘致

晴海実画像晴海実画像

建設建設予定スタジアム予定スタジアムCGCG

会場外観会場外観会場外観会場外観

会場内の機器会場内の機器会場内の機器会場内の機器

体験の様子体験の様子体験の様子体験の様子

電通＋電通テック＋電通＋電通テック＋CADCADセンターセンターNEPNEP＋東大＋アスカラボ＋東大＋アスカラボ+CANON+CANON

オリンピック以外の応用オリンピック以外の応用

バ チ ル明日香バ チ ル明日香バーチャル明日香バーチャル明日香

甘樫の丘甘樫の丘甘樫の丘甘樫の丘

甘樫の丘からの展望甘樫の丘からの展望甘樫の丘からの展望甘樫の丘からの展望

出発点出発点出発点出発点

古代の復元図面– 橿原考古学研究所– 奈良文化財研究所

復元復元CGCGモデルの製作モデルの製作復元復元CGCGモデルの製作モデルの製作3dsmax(Autodesk社)を用いてモデリング

復元復元CGCGモデルの製作モデルの製作復元復元CGCGモデルの製作モデルの製作

3dsmax(Autodesk社)を用いてモデリング

復元図面 CGモデル作成

形状モデル形状モデル

色 模様色 模様色・模様色・模様

朱雀門の写真から抽出

瓦

壁

連子

平城宮跡復元朱雀門基壇

丹土

立体モデル立体モデル立体モデル立体モデル

浄御原正殿浄御原正殿浄御原正殿浄御原正殿

エビノ 殿エビノ 殿エビノコ殿エビノコ殿

ローマでのデモローマでのデモ

アウグストス神殿アウグストス神殿（フォロロマーノ）（フォロロマーノ）

ローマ（イタリア）ローマ（イタリア） 20082008年年1212月月

ロ マ市要人来訪ロ マ市要人来訪ローマ市要人来訪ローマ市要人来訪

助役助役 文化局長文化局長

バ チ ルバ チ ル 実物実物バーチャルバーチャル ｖｓｖｓ 実物実物

時代により建物配置が変化

学者により建物配置が変化

遺跡に手を加えない遺跡に手を加えない

今後の展望今後の展望今後の展望今後の展望

池内研からのスピンアウト会社

アスカラボによる実用化をめざす

自転車型自転車型自転車型自転車型

レンタサイクルと合体

カゴにPC搭載バッテリー駆動バッテリ 駆動

電動カ ト型電動カ ト型電動カート型電動カート型

複数人で利用可能

雨天時も使用可能

電磁誘導自動走行電磁誘導自動走行

まとめまとめまとめまとめ

複合現実感システム

今回のシステム

晴海・オリンピック予定でのデモ晴海・オリンピック予定でのデモ

オリンピック以外での応用