水平視域角を拡大したインテグラル立体像 - NHKIntegral Three−Dimensional Image...

報告

要約 インテグラル方式において，水平方向と垂直方向の視域角の比率を制御することができれば，より柔軟な立体テレビの設計が可能となる。本稿で提案する手法においては，視域角を広げる方向に要素レンズのピッチよりも大きい要素画像を配置する。このとき，要素画像同士が重なり合わないようにするために，レンズアレーを傾けて配置する。本手法を適用して水平視域角を拡大したインテグラル立体像の撮影・表示装置を構築し，本手法の妥当性を確認した。

ABSTRACT A method of controlling ratio of the horizontal to vertical viewing angle provides us with flexibilityin designing an integral three-dimensional（3-D）television. In our method, an elemental imagewith a size that is larger than a pitch of elemental lenses is arranged to enlarge a viewing anglealong a specific direction. Additionally, a lens array is rotated to prevent the specially shapedelemental images from overlapping. By using this method, we developed an integral 3-D captureand display component with an enlarged horizontal viewing angle and confirmed the validity of themethod.

水平視域角を拡大したインテグラル立体像

三浦雅人 洗井 淳 三科智之 岩舘祐一

Integral Three−Dimensional Image with EnhancedHorizontal Viewing Angle

Masato MIURA，Jun ARAI，Tomoyuki MISHINA and Yuichi IWADATE

NHK技研 R&D/No.144/2014.3 37

要素レンズ

照明

AA

BB

被写体光線 光線

レンズアレー レンズアレー

撮像素子

（a） 撮影時 （b） 表示時

表示素子

観察者

立体像

要素画像 要素レンズ 要素画像

１．はじめにインテグラル方式１）を適用したインテグラル立体テレビ＊１では，水平・垂直視差と連続的な運動視差＊２を有する立体像を自然光のもとで撮影することができ，表示された立体像を視聴するときには特殊なメガネを必要とせず，かつ頭が傾いた状態であっても立体像を見ることができる２）～４）。これらの特長により，インテグラル立体テレビは，将来の立体テレビの有望な候補であると考えられる。インテグラル方式を適用した立体像の撮影・表示装置においては，２次元映像装置の画素数が，立体像の画素数，視域角＊３および奥行き再現範囲に振り分けられる。そのため高品質な立体像を撮影・表示するには，膨大な画素数を有する２次元映像装置が必要となる。当所では，これまでに立体像の高品質化のために，多画素の２次元映像装置や画素ずらし技術＊４を適用したインテグラル立体テレビを試作してきており，最近ではフル解像度スーパーハイビジョン映像装置５）６）に画素ずらし技術を適用したインテグラル立体テレビを試作した７）８）。一方，立体像の高品質化に向けて，２次元映像装置の多画素化以外の方法として，２次元映像装置の有限の画素数を，立体像の画素数，視域角および奥行き再現範囲に効果的に振り分けるという方法が考えられる。従来方法のインテグラル立体テレビでは，水平視域角と垂直視域角が等しい立体像が表示されるが，通常のテレビの視聴形態を考慮すると，垂直視域角よりも水平視域角を優先的に広げた方が，同じ画素数の２次元映像装置を用いた場合においても，より多くの人が同時に視聴可能なインテグラル立体テレビを実現できると考えられる。我々は水平視域角と垂直視域角の比率を変えることにより，立体像の画素数や奥行き再現範囲を変えることなく，特定方向の視域角を広げる手法を提案している９）～11）。提

案手法では，要素画像＊５の画素数を一定として要素画像の幅と高さの比率を変えることにより，水平視域角と垂直視域角の比率を変える。視域角を広げる方向と要素画像の長手方向を一致させ，かつ要素画像の長手方向の長さを要素レンズ＊６のピッチ（間隔）よりも大きくする。このとき，要素画像同士が重なり合わないようにするために，レンズアレーを傾けて配置する。本稿では，水平・垂直視域角の比率の制御手法と，本手法を適用した撮影・表示装置，および実験結果について報告する。

２．水平・垂直視域角の比率の制御手法インテグラル方式における撮影と表示の原理を１図に示す。撮影時には，要素レンズが２次元的に配列されたレンズアレーを通して被写体を撮影する。被写体から射出される光線は，各要素レンズにより要素画像となり，撮像素子によって取得される。表示時には，表示素子の前に，撮影時と同じようにレンズアレーを配置する。１図に示すように，撮像系と表示系が同様の構成になっているため，表示素子に要素画像を表示すると撮影時の光線が再現され，被写体の光学像が形成される。ただし，このような方法で撮影・表示した立体像には，奥行きが反転するという現象が発生する（撮影時にはAが手前，Bが奥であるのに対して，表示時には観察者から見てAが奥，Bが手前と

＊１ 多数の微小なレンズからなるレンズアレーを，撮影・表示の双方に用いて立体像を撮影・表示するテレビ。

＊２ 視点の移動に伴う見え方の変化。＊３ テレビを見込む角度のうち，立体像を見ることができる範囲。＊４ ２次元映像装置の撮像素子２枚を水平・垂直方向にそれぞれ

１/２画素ずらすことにより，等価的に２次元映像装置の画素数を増やす技術。

＊５ 立体像の情報源となる微小な画像。＊６ レンズアレーを構成する微小なレンズ。

１図 インテグラル方式の原理

報告

NHK技研 R&D/No.144/2014.338

要素レンズ

光線

p

h

f

w

視域角要素画像

レンズアレー

なる。これを偽像と呼ぶ）。この現象を回避する方法として，各要素画像を180°回転させる方法12）や，撮影用レンズアレーとして屈折率分布レンズ＊７を適用する方法13）が提案されている（本特集号の解説「インテグラル方式の概要」を参照）。次に，水平・垂直視域角の比率の制御手法について説明する９）。要素画像の大きさとレンズアレー，および立体像の視域角の関係を２図に示す。ここで，wと hは要素画像の幅と高さ，pと fはレンズアレーを構成する要素レンズのピッチと焦点距離，Θ と Ψ は立体像の水平視域角と垂直視域角である。立体像の視域角は，２図に示すように，各要素レンズの中心とその要素レンズに対応した要素画像とから構成される角度によって決まり，

（１）

と表すことができる。従来手法では要素画像の形状は円形であり，水平視域角と垂直視域角は等しい。要素画像の直径を要素レンズのピッチと等しいとすると，水平・垂直視域角は，

（２）

と表すことができる。視域角を広げるには，（２）式より，要素レンズのピッチ pを大きくするか，焦点距離 fを短くする必要がある。しかしインテグラル方式では，要素レンズのレンズ数が立体像の画素数に対応するため，前者では立体像の画素数が少なくなる。また後者では，撮影・表示される立体像を構成する光線の密度が低下するため，奥

行き再現範囲が狭くなる14）。提案手法では，要素画像の画素数を一定として，要素画像の幅と高さの比率を変えることにより，水平・垂直視域角の比率を制御する。以降では説明を簡単にするために，デルタ配列（俵積み）＊８のレンズアレーを用いて長方形の要素画像を配置することにより，垂直視域角よりも水平視域角を優先的に広げる手法について説明する。提案手法による要素画像の配置方法を，３図を用いて説明する。ここで，x軸は近傍の要素レンズが隣接する方向であり，y軸は x軸と直交している。また，Pnは１行n列目の要素レンズの中心であり，その座標（ xn，yn）は

（３）

と表すことができる。ただし nは整数である。水平視域角を広げるには，（１）式より要素画像の幅を広げる必要がある。しかし従来手法では，x軸方向が水平方向と一致しているため要素画像同士に重なりが生じてしまい，そのような要素画像を配置することができない。この問題を回避するために，３図の Xn軸方向が水平方向となるようにレンズアレーを傾けて配置する。このような配置とすることにより，要素画像の幅は長さOPnまで広げることができる。このとき，レンズアレーの傾き角 φnと要素画像の幅wnは，

（４）

＊７ 屈折率の値が中心から周辺に行くにしたがって小さくなる特性を持った光ファイバーレンズ。

＊８ 隣接する３個のレンズの中心が，正三角形の頂点となる配列。

２図 要素画像の大きさとレンズアレーおよび視域角の関係

NHK技研 R&D/No.144/2014.3 39

要素レンズ

p

p P0 P1 Pn

x

y

w0

wn

Xn

hn

h0

要素画像

p2√3

O

要素画像の幅を表す関数：w( ) = h0 /sin

要素画像の高さを表す関数：h( ) = w0 sin

レンズアレーの傾き角 （度）

正規化された要素画像の大きさ

幅高さ

10

9

8

7

6

5

4

3

2

1

00 10 20 30 40 50 60

（５）

と表すことができる。要素画像を隙間なく配置するために，レンズアレーの傾き角に関係なく要素画像の画素数が一定とすると，

（６）

となる。ここで w０と h０は，要素画像の幅を要素レンズのピッチと等しくした場合に，隙間なく配置可能な長方形

の要素画像の幅と高さであり，それぞれ pと�3 p / 2である。レンズアレーの傾き角に対する，要素レンズのピッチで正規化した要素画像の幅と高さの変化を４図に示す。この結果より，レンズアレーの傾き角により要素画像の幅と高さの比率を制御可能であることが分かる。４図では，レンズアレーの傾き角が０°から60°の間のみを示したが，60°以降はデルタ配列の対称性により０°から60°の間の曲線の繰り返しとなる。要素画像の幅・高さと水平・垂直視域角は（１）式の関係にあるため，（５）式と（６）式を代入して，

３図 要素画像とレンズアレーの配置方法

４図 レンズアレーの傾き角に対する要素画像の大きさの変化

報告

NHK技研 R&D/No.144/2014.340

カメラ

レンズアレー

レンズ L2レンズ L1

拡散スクリーン

要素画像要素レンズ

被写体

F F F F f

p

An

Xn

wn

遮光板

n

（７）

を得る。（７）式より，レンズアレーの傾き角により水平・垂直視域角の比率を変えられることが分かる。

３．水平視域角を広げたインテグラル立体テレビの構成

本章では，２章で説明した手法を適用して水平視域角を広げたインテグラル立体テレビの構成について説明する。水平視域角を広げたインテグラル立体像の撮影装置10）

の水平断面図を５図に示す。本装置は２つのレンズ，遮光板，レンズアレー，拡散スクリーン＊９およびカメラから構成される。ここで，Fはレンズ L１と L２の焦点距離，An は遮光板の水平開口径を表す。この遮光板は，要素画像同士の重なりを除去するために挿入されている15）～18）。レンズ L１と L２により両側テレセントリック光学系＊10

が構成されており，レンズ L１の後焦点面＊11と L２の前焦点面は一致している。また， L２の後焦点面にレンズアレーを配置している。レンズ L１と L２からなるレンズ系により被写体の光学像をレンズアレー付近に結像させ，その光学像の要素画像がレンズアレーの後焦点面に配置された拡散スクリーン上に投影される。さらに，その要素画像をカメラにより撮影する。水平・垂直視域角がそれぞれ Θnと Ψnの立体像を撮影する場合について考える。被写体からの光線のうち，要素レンズに対する水平・垂直入射角がそれぞれ Θn/2 と Ψn

/2 より大きいものは，要素画像同士の重なりとなるために取り除く必要がある。幾何的な関係より，そのような光

線は遮光板の水平開口径 Anと垂直開口径 Bnを

（８）

とすることで除去することができる。（８）式に（７）式を代入して，

（９）

を得る。水平視域角を広げたインテグラル立体像の表示装置11）

は，撮影装置と同様にレンズアレーを傾けて配置し，かつ水平方向に長い要素画像を表示することで実現することができる。本表示装置の水平断面図を６図に示す。ここで，撮影装置には要素画像同士の重なりを除去するために遮光板を挿入したが，表示装置にはそのような遮光板は必ずしも必要ではない。これは，隣の要素レンズを通って観測される立体像は設計した視域角内では観測されず，視域角外からのみ観測されるためである。

４．水平視域角を広げたインテグラル立体像の撮影・表示実験

３章で説明した撮影・表示装置を構築し，確認実験を行った。構築した撮影装置の仕様を１表に示す。本実験では，レンズアレーのピッチ pを１mm，焦点距離 fを3.03mm，傾き角φnをφ１＝30°とした。このとき立体像の水平・垂直視域角Θ１とΨ１は，（７）式より31.9°と9.4°とな

＊９ 投影された光をさまざまな方向に散乱させるスクリーン。＊10 レンズの焦点面に遮光板を配置した光学系。＊11 レンズの焦点を通り，光軸に垂直な平面。

５図 撮影装置の水平断面図

NHK技研 R&D/No.144/2014.3 41

レンズアレー表示素子

要素画像

要素レンズ

視域角

立体像

f

pWn

Xn

観察者

n

る。ここで，要素画像の幅 w１と高さ h１は（５）式と（６）式より�3mmと1/2mmとし，遮光板の水平・垂直開口部の大きさ A１と B１は（９）式より85.7mmと24.8mmとした。また，レンズアレーの後焦点面に形成された要素画像を，ハイビジョンカメラを用いて撮影した。また比較実験として，従来手法による円形の要素画像の撮影・表示実験を行った。撮影装置の仕様を２表に示す。比較実験では提案手法の確認実験と同じレンズアレーを用い，傾き角をφ０＝０°とした。このとき，立体像の視域角Ωは（２）式より18.7°となる。ここで要素画像は円形であるため，その幅と高さはともに１mmとし，遮光板の開口は直径49.5mmの円形開口とした。従来方法と提案方法による撮影結果を７図に示す。被写体は２つのチェスの駒である。７図（a），７図（b）ともに要素画像間の境目がはっきりしており，要素画像同士が重なることなく撮影できていることが分かる。また７図（b）より，要素レンズのピッチよりも長い幅をもつ要素画像を，隙間なく配置できていることが分かる。

撮影した要素画像を用いて，計算機による再生計算，および表示装置による光学再生実験を行った。これらの再生計算および再生実験においては，撮影時と同じレンズアレーを同じ傾き角で配置した。ここで，このような構成とした場合には１章で説明した奥行き反転現象が生じるため，各要素画像を180°回転させて奥行きを元に戻した。計算機再生による水平・垂直観測方向に対する立体像の変化を，それぞれ８図と９図に示す。ここで θxと θy

は，それぞれ観察者の水平と垂直観察方向を表し，０°は真正面から観測した場合を表す。従来手法では視域角が全幅で18.7°であるため，そのおおよそ半値である９°で立体像が観測できなくなり，視域角を超えると繰り返しの立体像が観測されることが分かる。一方，提案手法では水平視域角を広げているため，９°を超えても立体像を観測できることが分かる。垂直視域角に関しては，提案手法では垂直視域角を狭くする代わりに水平視域角を広げているため，９図に示すように従来手法よりも狭くなっていることが分かる。

要素レンズのピッチ p（mm） 1

要素レンズの焦点距離 f（mm） 3.03

要素レンズの配列 デルタ配列

レンズ L1 と L2 の焦点距離 F（mm） 150

レンズアレーの傾き角 φ1（度） 30

開口の大きさ A1×B1（mm） 85.7×24.8

要素画像の大きさ w1×h1（mm） 31/2×1/2

立体像の水平・垂直視域角 θ1×Ψ1（度） 31.9×9.4

要素レンズのピッチ p（mm） 1

要素レンズの焦点距離 f（mm） 3.03

要素レンズの配列 デルタ配列

レンズ L1 と L2 の焦点距離 F（mm） 150

レンズアレーの傾き角 φ0（度） 0

開口の大きさ（mm） 49.5

要素画像の大きさ（mm） 1

立体像の水平・垂直視域角 Ω（度） 18.7

６図 表示装置の水平断面図

１表 水平視域角を広げた撮影装置の仕様 ２表 水平・垂直視域角の等しい撮影装置の仕様

報告

NHK技研 R&D/No.144/2014.342

要素画像要素画像レンズアレー レンズアレー

拡大 拡大

（a） 従来手法 （b） 提案手法

x

x

y Y1

X11

y

（a）従来手法

右視点左視点

θx ＝－13.5° θx ＝－9° θx ＝－4.5° θx ＝0° θx ＝4.5° θx ＝9° θx ＝13.5°

（b）提案手法

中央視点

右視点左視点

θx ＝－13.5° θx ＝－9° θx ＝－4.5° θx ＝0° θx ＝4.5° θx ＝9° θx ＝13.5°

中央視点

さらに，表示装置を構築し，撮影した要素画像の光学再生実験を行った。本実験では，２次元映像装置の代わりに高解像度フィルムを用いた。光学再生による水平・垂直観測方向に対する立体像の変化を，それぞれ10図と11図に示す。計算機による再生結果とほぼ同等の結果が得られており，提案手法とその手法を用いて水平視域角を広げたインテグラル立体像の撮影・表示装置の妥当性を確認することができた。

５．おわりにインテグラル方式において，水平・垂直視域角の比率を制御する手法について説明した。本手法では，視域角を広げる方向に要素レンズのピッチよりも大きい要素画像を配置した。このとき，要素画像同士が重なり合わないようにするために，レンズアレーを傾けて配置した。本手法を適用して，水平視域角を広げたインテグラル立体像の撮影装置を構築し，要素画像の撮影を行った。撮影した要素画像を用いて，計算機による再生計算と光学再生実験を行い，視域角の比率を制御可能であることを確認した。これらの

７図 要素画像の撮影結果

８図 計算機再生による水平観察方向に対する立体像の変化

NHK技研 R&D/No.144/2014.3 43

（a）従来手法

上視点下視点

θy ＝－7.5° θy ＝－5° θy ＝－2.5° θy ＝0° θy ＝2.5° θy ＝5° θy ＝7.5°

θy ＝－7.5° θy ＝－5° θy ＝－2.5° θy ＝0° θy ＝2.5° θy ＝5° θy ＝7.5°

（b）提案手法

中央視点

上視点下視点 中央視点

（a）従来手法

右視点左視点

（b）提案手法

中央視点

右視点左視点 中央視点

（a）従来手法

上視点下視点

（b）提案手法

中央視点

上視点下視点 中央視点

９図 計算機再生による垂直観察方向に対する立体像の変化

10図 光学再生による水平観察方向に対する立体像の変化

11図 光学再生による垂直観察方向に対する立体像の変化

報告

NHK技研 R&D/No.144/2014.344

結果により，本手法の妥当性を確認した。

本稿は，Proceedings of the International Society of Opti-cal Engineering（SPIE）に掲載された以下の論文を元に加筆・修正したものである。

M. Miura，J. Arai，T. Mishina，M. Okui and F. Okano：“ Integral Imaging System with Enlarged HorizontalViewing Angle，”Proc. SPIE，Vol.8384，pp.83840O.1-83840O.9（2012）

参考文献 1） M.G. Lippmann：“Epreuves Reversibles Donnant la Sensation du Relief，”J. de Phys.，Vol.4，No.1，pp.821-825（1908）

2） F. Okano，H. Hoshino，J. Arai and I. Yuyama：“Real-time Pickup Method for a Three-DimensionalImage Based on Integral Photography，”Appl. Opt.，Vol.36，No.7，pp.1598-1603（1997）

3） B. Javidi and F. Okano：Three-Dimensional Television，Video，and Display Technology，Springer-Verlog（2002）

4） B. Javidi，F. Okano and J. Son：Three-Dimensional Imaging，Visualization，and Display，Springer（2009）

5） T. Yamashita，S. Huang，R. Funatsu，B. Mansoorian，K. Mitani and Y. Nojiri：“Experimental ColorVideo Capturing Equipment with Three 33-Megapixel CMOS Image Sensor，”Proc. SPIE，Vol.7249，pp.72490H.1-72490H.10（2009）

6） T. Nagoya，T. Kozakai，T. Suzuki，M. Furuya and K. Iwasa：“The D-ILA Device for the World’sHighest Definition（8K4K）Projection System，”Proc. IDW，pp.203-206（2008）

7） 佐々木，洗井，三浦，日浦，三科，奥井，岡野，配野，古屋，佐藤：“フル解像度スーパーハイビジョンプロジェクタにフィールドオフセットを適用したインテグラル立体映像表示，”3次元画像コンファレンス，3-2（2011）

8） J. Arai，M. Kawakita，T. Yamashita，H. Sasaki，M. Miura，H. Hitoshi，M. Okui and F. Okano：“Integral Three-Dimensional Television with Video System using Pixel-Offset Method，”Opt.Express，Vol.21，No.3，pp.3474-3485（2013）

9） M. Miura，J. Arai，M. Okui and F. Okano：“Method of Enlarging Horizontal Viewing Zone in IntegralImaging，”Proc. SPIE，Vol.8043，pp.80430A.1-80430A.8（2011）

10）三浦，洗井，三科，奥井，岡野：“インテグラルイメージング方式における水平・垂直視域角の振り分け方法，”映情学技報，Vol.35，No.42，3DIT2011-84，pp.19-22（2011）

11）M. Miura，J. Arai，T. Mishina，M. Okui and F. Okano：“Integral Imaging System with EnlargedHorizontal Viewing Angle，”Proc. SPIE，Vol.8384，pp.83840O.1-83840O.9（2012）

12）H.E. Ives：“Optical Properties of a Lippmann Lenticulated Sheet，”J. Opt. Soc. Am.，Vol.21，No.3，pp.171-176（1931）

13）J. Arai，F. Okano，H. Hoshino and I. Yuyama：“Gradient-Index Lens-Array Method Based on Real-Time Integral Photography for Three-Dimensional Images，”Appl. Opt.，Vol.37，No.11（1998）

14）H. Hoshino，F. Okano，H. Isono and I. Yuyama：“Analysis of Resolution Limitation of IntegralImaging，”Opt. Soc. Am. A，Vol.15，No.8，pp.2059-2065（1998）

15）J. Arai，H. Kawai and F. Okano：“Integral Properties of Microlens Array for Integral Imaging System，”Proc. SPIE，Vol.6055，pp.605511.1-605511.12（2006）

16）J. Arai，H. Kawai and F. Okano：“Microlens Arrays for Integral Imaging System，”Appl. Opt.，Vol.45，No.36，pp.9066-9078（2006）

NHK技研 R&D/No.144/2014.3 45

17）J. Hahn，Y. Kim，E. Kim and B. Lee：“Undistorted Pickup Method of Both Virtual and Real Objects forIntegral Imaging，”Opt. Express，Vol.16，No.18，pp.13969-13978（2008）

18）K. Yamamoto，T. Mishina，R. Oi，T. Senoh and M. Okui：“Cross Talk Elimination using an Aperturefor Recording Elemental Images of Integral Photography，”J. Opt. Soc. Am. A，Vol.26，No.3，pp.680-690（2009）

みう ら ま さ と

三浦雅人あ ら い じゅん

洗井 淳

2008年入局。同年から放送技術研究所において，インテグラル立体テレビの研究に従事。現在，放送技術研究所立体映像研究部に所属。博士（工学）。

1995年入局。同年から放送技術研究所において，立体テレビシステムの研究に従事。現在，放送技術研究所立体映像研究部主任研究員。博士（工学）。

みし なともゆき

三科智之いわだてゆういち

岩舘祐一

1989年入局。営業総局を経て，1992年から放送技術研究所において，放送システム，立体映像の研究に従事。2006年から2010年まで（独）情報通信研究機構に出向。現在，放送技術研究所立体映像研究部主任研究員。博士（工学）。

1981年入局。旭川放送局を経て，1985年から放送技術研究所において，ハイビジョン伝送方式，デジタル伝送方式，3次元映像処理などの研究に従事。1998年から2000年まで，（株）ATR知能映像通信研究所研究室長。現在，放送技術研究所立体映像研究部部長。2002年から電気通信大学大学院情報システム学研究科客員教授兼任。博士（工学）。

報告

NHK技研 R&D/No.144/2014.346