Oculus Riftとペンタブレットを利用した作品作りについて

フォージビジョン株式会社長谷川晴久

@waffle_maker

会社紹介 社　名

フォージビジョン株式会社 (ForgeVision, inc) 設　立

2006 年 4 月 社員数

33 名 事業内容

コンピュータシステムの技術コンサルティング コンピュータシステムの開発 情報提供 / 情報処理サービス セールスプロモーションの企画 / 立案

会社紹介 社　名

フォージビジョン株式会社 (ForgeVision, inc) 設　立

2006 年 4 月 社員数

33 名 事業内容

コンピュータシステムの技術コンサルティング コンピュータシステムの開発 情報提供 / 情報処理サービス セールスプロモーションの企画 / 立案 バーチャルリアリティシステムの開発！！

（ VR を一緒に極める）

仲間を募集しています！

自己紹介 VR 事業部 部長 Team Hashilus メインプログラマ また個人的にも VR コンテンツを開発し

て OcuFes などの体験イベントに出展しています。

作品紹介 Skydive Pendulus Cruise Rift Hashilus

カイクイライド / 鳥獣ライド STREET DERBY 360°

DJ-Noridus スカイバンジー 如月病院 ペンタ VR Virtual Tricity Ride

意外とあった・・・

作品紹介「 Hashilus （ハシラス）」

作品紹介「 Hashilus （ハシラス）」

作品紹介「 Hashilus （ハシラス）」

作品紹介「 Hashilus （ハシラス）」

作品紹介「 Hashilus （ハシラス）」

作品紹介「 Virtual Tricity Ride 」

作品紹介「 Cruise Rift 」

本題に入る前に・・・

（作品作りに）使えそうなデバイス

その１　「反力」 長所

3 次元の入力と反力、触覚が得られる。 短所

可動部が多いため、持ち運びにくい。 用途が限られる。 製品も限られる。

Novint Falcon など

その２　「光学」 赤外線カメラ、ステレオカメラなど 長所

位置が得られる。 赤外線 LED で精度を高められる。 比較的安価で、比較的普及している。

短所 カメラの範囲内しか検知できない。 確実な入力ができない

Kinect 、 RealSense 、 Leap Motion など

その３　「慣性（ IMU ）」 加速度、ジャイロ、地磁気センサなど 長所

傾きが得られる。 短所

キャリブレーションが必要。 Razer Hydra 、 Perception Neuron な

ど

その４　「光学＆慣性」 光学方式と慣性方式のいいとこ取り。 PlayStation

Camera/Move 、 WiiRemote 、 Oculus Touch など

次世代 VRHMD は光学＆慣性

次世代 VRHMD は光学＆慣性

＋独自デバイス

朗報

VR 弓とか作れるの！？

以上を踏まえて、

なにか忘れちゃいませんか？

ペンタブレットがあるじゃないか！

ペンタブレットの良いところ 絵を描く人の間では既に普及している！ Wintab API を利用可能！

Windows メッセージ

ペンタブレットの良いところ得られる値は？1. タブレット上のペンの位置2. 筆圧3. ボタン入力

ペンタブレットの良いところ得られる値は？1. タブレット上のペンの位置2. 筆圧3. ボタン入力4. タブレットとペンの距離！

ペンタブレットの良いところ得られる値は？1. タブレット上のペンの位置2. 筆圧3. ボタン入力4. タブレットとペンの距離！5. タブレットに対するペンの傾き！

ペンタブレットの良いところ得られる値は？1. タブレット上のペンの位置2. 筆圧3. ボタン入力4. タブレットとペンの距離！5. タブレットに対するペンの傾き！6. マルチタッチ！

ペンタブレットの良いところ得られる値は？1. タブレット上のペンの位置2. 筆圧3. ボタン入力4. タブレットとペンの距離！5. タブレットに対するペンの傾き！6. マルチタッチ！

※ただし傾きとマルチタッチは使用できる機種が限られます。

さて本題の・・・

# ペンタ VR とは？

# ペンタ VR とは？

# ペンタ VR とは？

# ペンタ VR とは？

# ペンタ VR とは？

# ペンタ VR とは？

# ペンタ VR まとめ

# ペンタ VR の構成

# ペンタ VR の構成

# ペンタ VR の構成

# ペンタ VR の構成

# ペンタ VR のアプローチ

# ペンタ VR のアプローチ

# ペンタ VR のアプローチ

# ペンタ VR のアプローチ テスクトップをキャプチャ

現状では遅延があり、 FPS も低い アプリ外からテクスチャを直接更新すれば？

アプリの中で完結 ペイントツールを自作するに等しい VR ならではの表現が可能？

# ペンタ VR の仕様 (1) IR カメラをタブレット上部に固定

IR カメラと HMD の位置関係を、VR 内とキャンバスと頭の位置関係に反映する。

# ペンタ VR の仕様 (2) テクスチャサイズの制限を回避

テクスチャ分割

# ペンタ VR の仕様 (3) リアルタイムにテクスチャを更新する工夫 部分更新 OpenCV NativePlugin Compute Shader RenderTexture new!!

環境依存が強かったり、CPU-GPU のメモリ転送が発生→不採用

# ペンタ VR の仕様 (4)

仮想カメラ

ブラシ

仮想キャンバス

よー清水さんに見て貰った！

Palmer さんに見て貰った！まずい！

FPS出てない・・・

課題は山積み液晶タブレット

マルチモニタの制御液晶に表示する内容

マルチプラットフォームAndroid タブレットWindows タブレットMac 対応

やりたいこと（いっぱいある）

応用例「彫刻 」 凹凸を表現する技術の応用

Tessellation, Displacement mapping Parallax Mapping

応用例「壁画」 VR では物理的な制約が無い

応用例「ライブペインティング」

ネットワーク同期の応用

応用例「痛車？」複雑な形状に模様を投影する

Decal

応用例「エフェクト」ゲームエンジンの得意領域パーティクルやシェーダの活用

応用例「全天球」球面へのテクスチャマッピングの応用

応用例「全天球」

その他の応用例魔法の石版 SF インターフェイス 結露したガラスを拭く

独自のインターフェイス Leap Motion などを使わずにジェスス

チャ可能。 キャンバスの手前にガラスパレット浮遊するウィジェット ペンと手が透ける

別の可能性「ネイルアート」

別の可能性「ろくろ」 立体物なら 3D プリントも可能

別の可能性「空間お絵描き」

別の可能性「映像系」 VR映画撮影のツール演技指導、絵コンテなど

普及するためには・・・独自のインターフェイス液晶タブレットが不要にソーシャル要素VR でしか作れない表現

以上ご清聴有り難うございました。