Embed Size (px)
DESCRIPTION
Visual marker based augmented reality presented at WISS (workshop on interactive systems and software) in 1996. This eventually became PlayStation 3 "The Eye of Judgment"
Citation preview
２次元マトリックスコードを利用した２次元マトリックスコードを利用した拡張現実感の構成手法拡張現実感の構成手法
暦本純一暦本純一ソニーコンピュータサイエンス研究所ソニーコンピュータサイエンス研究所
w i s s ‘ 9 6w i s s ‘ 9 6
Copyright (C) 1996 Jun Rekimoto
Dec. 6, 1996, Ikeda-cho, HokkaidoDec. 6, 1996, Ikeda-cho, Hokkaido
w i s s
9 6
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
背景背景 拡張現実感拡張現実感 (Augmented Reality)(Augmented Reality)における表示情報決定：における表示情報決定： 何を何を どこからどこから
見ているかに 見ているかに応じて、応じて、表示情報が表示情報が決まる。決まる。
KARMA [Feiner et al.]KARMA [Feiner et al.]
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
現実と仮想の位置整合現実と仮想の位置整合
世界座標系世界座標系
Origin-to-ObjectOrigin-to-Object
Origin-to-Origin-to-CameraCamera
オブジェクトオブジェクト座標系座標系
カメラカメラ座標系座標系 VRVR よりはるかに高よりはるかに高
精度な位置計測が精度な位置計測が要求される要求される
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
現実と仮想の位置整合現実と仮想の位置整合
世界座標系
Origin-to-Object
Origin-to-Camera
Object-to-Object-to-CameraCamera
オブジェクトオブジェクト座標系座標系
カメラカメラ座標系座標系
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
マーカー方式マーカー方式 原理：原理：
実映像中の既知の点（列）の画面上での位置か実映像中の既知の点（列）の画面上での位置から、カメラの位置と姿勢を計算ら、カメラの位置と姿勢を計算
射影幾何学・コンピュータビジョンの基本問題射影幾何学・コンピュータビジョンの基本問題のひとつのひとつ
利点：利点： closed-loopclosed-loop （見かけ上の精度が高い）（見かけ上の精度が高い） 機器構成が単純（ビデオカメラだけ）機器構成が単純（ビデオカメラだけ） video-see-throughvideo-see-through に適しているに適している
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
関連研究関連研究 どこから：どこから：
LEDLED によるマーキングによるマーキング [Bajura&Neuman 94][Bajura&Neuman 94] 磁気センサ磁気センサ ++ カラーマーカ カラーマーカ [State et al. 95][State et al. 95] テンプレートマッチング テンプレートマッチング [Uenohara&Kanade 95][Uenohara&Kanade 95]
何を：何を： カラーコードによるオブジェクト識別 カラーコードによるオブジェクト識別 [[ 暦本暦本 94]94]
オブジェクト識別と位置認識を同時に行う手オブジェクト識別と位置認識を同時に行う手法は提案されていない法は提案されていない
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
本研究の手法本研究の手法 マーカー マーカー (2D Matrix Code) (2D Matrix Code) をを
オブジェクト識別オブジェクト識別 カメラ位置推定カメラ位置推定
のふたつの目的で利用する。のふたつの目的で利用する。
オブジェクト種別オブジェクト種別 外枠から外枠から位置情報を位置情報を推定推定2 2 種類 種類1616
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
提案方式の概要提案方式の概要
座標系推定座標系推定
オブジェクト認識オブジェクト認識
画像合成画像合成
CGCG 画像画像
合成画像合成画像
マトリックスマトリックスコードコード
実世界オブジェクト実世界オブジェクト
ビデオカメラビデオカメラ
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
結果結果
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
２値化２値化２値化２値化
連結領域選別連結領域選別連結領域選別連結領域選別
コード枠当てはめコード枠当てはめコード枠当てはめコード枠当てはめ
コード認識コード認識コード認識コード認識
座標系認識座標系認識座標系認識座標系認識
認識アルゴリズム認識アルゴリズム
オブジェクトオブジェクト IDID
カメラ位置・姿勢カメラ位置・姿勢
入力画像入力画像
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
原画像原画像 ２値化２値化
連結成分抽出連結成分抽出連結成分抽出連結成分抽出
連結成分の連結成分のサイズ、縦横比サイズ、縦横比
による選別による選別
連結成分の連結成分のサイズ、縦横比サイズ、縦横比
による選別による選別
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
コード枠当てはめ、コード認識コード枠当てはめ、コード認識
逆射影変換逆射影変換
1 0 1 1 11 0 1 1 11 1 1 1 01 1 1 1 01 1 1 0 11 1 1 0 11 0 0 0 01 0 0 0 00 0 0 0 00 0 0 0 0
エラー検出エラー検出エラー検出エラー検出
オブジェクトオブジェクト IDID
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
カメラ位置・姿勢推定カメラ位置・姿勢推定
XXYYZZ
== RRxxyyzz
TT++
実世界座標実世界座標カメラ座標カメラ座標nn
v1 .. v4 v1 .. v4 が正方形のが正方形の幾何条件を満たすように幾何条件を満たすように放線ベクトル 放線ベクトル nn を最適化を最適化
vv11vv22
vv33
vv44
((RR を正規直行行列として求めるを正規直行行列として求める ))
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
結果結果
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
オーバーレイ情報の定義オーバーレイ情報の定義 現実物のもつ座標系上で、付加情報を現実物のもつ座標系上で、付加情報を登録していく：登録していく： e.g., e.g., プリント基板上の部品の情報プリント基板上の部品の情報
実世界の実世界の 33 次元位置計測次元位置計測 特殊な計測装置（特殊な計測装置（ 33 次元デジタイザなど）次元デジタイザなど）を必要とする。を必要とする。
手間がかかる。手間がかかる。 複数の視点から撮影された画像を利用複数の視点から撮影された画像を利用
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
試作システム試作システム Silicon Graphics Indigo2 IMPACT (MIPSilicon Graphics Indigo2 IMPACT (MIPS R10000, 200MHz) + Indigo2 Video boS R10000, 200MHz) + Indigo2 Video boardard
毎秒 毎秒 66 ～～ 1010 フレームの画面更新フレームの画面更新 認識可能距離：認識可能距離： 22 次元コードの１辺長の次元コードの１辺長の約約 1010 倍程度倍程度
携帯ディスプレイ＋小型カメラ携帯ディスプレイ＋小型カメラ 頭部搭載形態も検討頭部搭載形態も検討
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
議論議論 マーカーが常に視野にないとだめマーカーが常に視野にないとだめ
他のセンサ（たとえばジャイロ）の併用他のセンサ（たとえばジャイロ）の併用 複数のマーカ複数のマーカ テンプレートマッチングとの併用テンプレートマッチングとの併用
マーカーを非可視にしたいマーカーを非可視にしたい 可視外領域色でマーキング可視外領域色でマーキング
Copyright (C) 1996 Jun Rekimotow i s sw i s s ' 9 6' 9 6
まとめまとめ 二次元コードをマーカーとして利用する拡張二次元コードをマーカーとして利用する拡張現実感の構成手法を提案現実感の構成手法を提案 オブジェクト識別と位置認識を同時に達成オブジェクト識別と位置認識を同時に達成 特殊な計測装置を必要としない特殊な計測装置を必要としない ワークステーション程度の計算資源で稼動ワークステーション程度の計算資源で稼動
今後：今後： 保守タスクなどへの適用保守タスクなどへの適用 簡易ヴァーチャルスタジオ簡易ヴァーチャルスタジオ とびだすとびだす WebWeb
