Embed Size (px)
Citation preview
両眼の高さを補正したTWISTERのための両眼立体映像提示手法東京大学新居英明 小藤健太郎 長井智英川上直樹 舘暲
発表内容背景（ツイスターについて）頭部位置補正の必要性頭部位置計測センサについて頭部計測装置による実験考察
ツイスター概要・裸眼両眼立体視・ 360度全周表示・動画像表示
ツイスター投影に関する従来研究特定の位置，方向を向いていると仮定し，全周囲描画．
特定の方向以外を見ると歪み発生
頭部位置と方向固定同心モザイク手法により描画，頭部を回転しても，正面は正確．頭を水平に保つ必要あり他の方向からの映像は近似
頭部位置固定，方向自由頭部位置と方向自由頭部位置，姿勢共に動いても，正確な映像を提示したい．現在の頭部位置，方向をセンサで取得し，リアルタイムに描画
ツイスター投影に関する問題点立体視可能な頭部位置の範囲が狭い．頭部を動かしながら立体視可能な位置を探し当てるのが難しい．
頭部位置を計測し，ユーザにフィードバックする必要性がある．
頭部計測の必要性現在の頭部位置，方向をセンサで取得し，リアルタイムに描画．
すべての方向の映像を正確に提示できる．
頭部位置と方向自由ユーザへ提示開始前に，正しい頭部位置への方向を表示．
頭部位置を素早く正しい位置へ．
頭部位置のフィードバック
研究目標頭部位置を計測し，両眼の位置補正を掛けた映像を投影する．
ツイスターのフレームレート 60Hzより十分速い数百 Hz
リアルタイム性頭部位置：100mm立方頭部方向： 3自由度
測定自由度 小型軽量裸眼による立体視に干渉しない大きさ精度は数ミリ
そのため，以下の条件を満足する頭部位置測定装置を必要とする．以下の条件を満足する頭部位置計測装置を設計，試作をおこなう．
計測手法小型化可能な光学式
・受信部は 2素子型フォト Di （浜松フォトニクス S6560） を利用し，送信光源の 入射角を測定．
・送信部は 3個の LEDに より，送信物体の位置， 姿勢 6自由度を伝える．
頭部位置計測装置の概要
I r T r a n s m i t t e r
L E Dc o n t r o l
L E D x 3
PIC12F683
送信部： IrLED＊３正 3角形状に配置
LEDの制御：1mSずつ順次点灯
A n g l e R e c e i v e r
A n a l o g t o D i g i t a l
PIC18F2320
P D x 3
T o P C
受信部：光源入射角計測＊３組
方位角を計測し，合計 9方位を出力
X2
Y
X
試作したセンサユニットについて 受信部
送信部
頭部位置計測装置の位置計測手法３ LEDまでの奥行き距離を 3角測量法を用いて算出する．
各 LEDまでの距離が算出された後，LEDから 2次元の入射角情報を利用して，空間位置を算出．
3LEDの空間位置より重心を求め， LED位置と重心位置との差から，姿勢角を算出する．
頭部位置計測装置のスペック値 備考
動作範囲 (X,Y) ±100mm
動作範囲（ Z) 150～ 300mm 奥行き方向位置精度 平均 5mm
取得自由度 現在 4自由度 X,Y,Z,Yaw軸
更新レート １００ Hｚ 最大 300Hzまで時間遅れ ３ｍ S USB接続にて
試作実装による動作の様子
考察頭部位置， Yaw回転の 4自由度については，必要な精度で位置情報を取得できた．残り 2自由度については，本手法では十分な精度で取得できなかった．原因としては， 3角測量の誤差が傾きに影響している．そこで，首の位置を推定し，頭部の位置と傾きの関係から現在の頭部姿勢を推定したい．
頭部位置計測装置の取り付け位置静止部 回転部
センサ取付部
透明ガード
まとめツイスターにおける両眼高さを含む頭部位置補正の提案頭部位置補正のための計測装置の設計，実装今後の予定頭部位置計測装置の改良頭部位置を用いた補正画像を実際のツイスターに投影し，動作を検証．両眼立体視に入りやすいアプリケーションの考案．
センサ受信回路
1． TWISTER-4仕様（その１）提示系
画面サイズ： 3168 x 600 ドット表示階調： 10bit(ガンマ値 2.2)フレームレート：６０ Hz入力コネクタ ： DVI（ 1600x1200） 2本カゴ回転速度： 100rpmLED表示器： 36系統
1-1.提示系全体ブロック図
1-2.提示系基板仕様中央制御基板 A 1枚
FPGA（チップ単価 10万円）＊ 2個分配基板 B 12枚
LED基板 9枚をコントロールするボードＬＥＤ基板 108枚
フルカラーＬＥＤ 各 400個，総合計 43200個ＬＥＤドライバＩＣ 各 100個，総合計 10800個
2-1-1. A基板詳細一辺 320mmの８角形遠心力を避けるため，カゴの中央に設置．
2-1-2. A基板機能概要1600dot× 1200dot横 縦 の画面
3200dot× 600dot横 縦 画面
画素ブロック移動
DVI入力画像
LED出力画像
DVI入力水平同期方向
LED出力水平同期方向
入力： DVIデジタル出力：３６系統シリアルデータ出力クロック周波数133MHz使用 FPGA： 約 120万ゲート相当
2-1-3. A基板ブロック図DVI IN
DVIreceiver
FPGA-LV2P20-6-FG676C
DDRSDRAM16Mx32
BootupCPU(SH2)
FlashROM
LVDS 12出力 組 RS232C
DVI IN
DVIreceiver
FPGA-RV2P20-6-FG676C
DDRSDRAM16Mx32
LVDS 12出力 組
ENCODER INAUX IN
FPGA-L
LVDS12組
2-2-1. B基板詳細カゴ外周に設置．振動の問題を避けるため，全ての部品をチップ部品とし，コネクタ等最小限の部品のみ大型部品を使用．基板サイズ約300mm*110mm
2-2-2. B基板機能ブロック図
FPGA
VideoIn
ConfigROM
VideoOut 1U
VideoOut 1M
VideoOut 1L
VideoOut 2U
VideoOut 2M
VideoOut 2L
VideoOut 3U
VideoOut 3M
VideoOut3L
TRG TRG TRGDigital Output
Bus-Buffer
基本的に， A基板からの信号を分配しているだけで，特別な機能は無い．
2-3-1. LED表示基板詳細外形寸法： 400mm＊ 70mmなるべく大型にしたかったが，これ以上のサイズでは精密に LEDを並べることができなかった．そのため，一列 1200mmに 3枚の LED基板が搭載されている．
2-3-2. LED機能ブロック図
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
LEDドライバ10＊ 個
LED40個
左目用信号分配右目用信号分配
入力コネクタ
LED 400合計 個
・入力信号から，各LEDの輝度情報を取り出し， LEDドライバに転送する．・ LEDの PWM駆動・ LEDドライバの初期化
2-4-1.提示系の課題 LED消費電力
全点灯時 5V30mA*43200 6kW≒ 必要スリップリングの容量
電源系１００ A 2本，信号系 6本光コネクタ 12組
振動による故障防止１０ G時に動作する基板の開発
2-4-2.提示系の実装 LED消費電力
常に光ることは無いと仮定し，最大必要量の 2/3である 4.8kW確保スリップリングの容量
電源系はなるべく高電圧で伝送（４８ V100A）光コネクタ： DVI*2=8本， IEEE1394*2=4本
振動による故障防止高背部品を不使用．信号線は冗長配線
3.TWISTER-4仕様（その２）カメラ系
カメラ数：３６台カメラ解像度：６４０ｘ４８０ ドットカメラフレームレート：３０ Hz IEEE1394ポート数：２2系列のカメラ群から，合計で一秒間に 30枚の両眼立体映像を取得可能
3-1.カメラのトリガタイミング カメラが特定の位置に来たときに撮影できるようになっている． つまり，現状ではカゴの外にカメラが２つあるのと同一状態．
カメラは円周36上 台
4.TWISTER-5
当初仕様はまったく変わらず実際には細かい改良を行っている．
表示位置安定化ソフトの追加回転が安定したときの表示位置がしっかりし，画質が向上したように見える．高輝度時のディマー高輝度が続くと LED基板にリセットがかかり，表示が消えてしまう．それを避けるために，自動的に輝度を落とすソフトを追加した．
TWISTERの今後表示系の実験
動画像における，「切り身」現象の評価撮像系を安定に動かす．
撮像系担当者が自分でソフトを組めること．通信について
通信に必要なプロトコル，やり取りすべき画像を決定する．ボクセルデータを送る必要があるか？ 2枚の 2次元データを６０ｆｐｓ送れば良いか？
