01

4 5NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

１．まえがき立体テレビは，人間が現実の世界を見るのと同様に自然でリアルな３次元映像を表現

することができ，２次元映像を超える究極の映像メディアとして期待されている。３次元映像の研究開発の歴史は古く1），当所においても1959年から立体視の基礎検討，

立体テレビ方式の原理検証の研究を進めてきた。当時は次世代テレビとして「高品位テレビ」を検討するにあたり，現在のハイビジョンの前身となる「高精細度テレビ」と併せて「立体テレビ」の調査研究がスタートした2）。立体映像を提示する技術としては，左右の眼が異なった映像を受容し，視覚系でこれらを融合して見る両眼視差方式の１つとして，垂直方向の細いスリットを通して左右の眼に別々の映像を提示するパララックス・バリア方式のめがねなし表示装置などを試作し，原理検証を実施した3）。その後，高精細度テレビ（ハイビジョン）研究の本格的展開により，立体テレビ方式の研究は一時中断した。1985年ごろからはポストハイビジョンの研究課題の１つとして，ハイビジョン技術をベースにした２眼方式立体映像（立体ハイビジョン）に関し，立体映像の視覚や心理効果，カメラ，表示装置，番組制作手法など広範囲な研究が進められた4）。また同時期，レンチキュラー＊1 などを用いためがねなし多眼方式立体テレビなどの先駆的研究も行われた5）6）。

現在当所では，将来の放送サービスを見据えて，特別なめがねを用いずに自然な立体像を楽しむことができる立体テレビの実現に向けて，空間像再生方式に関する撮像・表示技術，符号化技術やシステムパラメーターの研究，表示デバイスの研究を総合的に進めている。本稿では，立体テレビの課題について説明した後，現在開発を進めている空間像再生方式について，研究の概要を紹介する。なお，空間像再生方式の基本原理および研究動向については，本特集号の解説「立体表示用高密度デバイスの研究動向」で詳細を述べる。

＊1かまぼこ状の縦長のレンズを多数ならべたレンズアレー。

立体テレビ研究の概要菊池　宏

当所では，将来の究極の映像メディアとして立体テレビの研究を進めている。理想的な

立体テレビは，あたかも物体が存在しているように３次元映像を空間に再現できるもの

であり，空間像再生型立体映像方式（以下，空間像再生方式）がその有力な候補である。

現在，この方式の立体テレビの実現に向けて，撮像・表示技術，符号化技術やシステム

パラメーターの研究，および表示デバイスの研究を総合的に進めている。本稿では，当

所での立体テレビ研究の歴史を振り返るとともに，立体テレビの課題を述べた後，現在

開発を進めている空間像再生方式について，研究の概要を解説する。

4 5NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

２．立体テレビの課題将来，立体テレビを家庭へ導入することを考えると，見る位置や姿勢に応じて自然な

立体像を見ることができ，また長時間にわたって視聴しても視覚疲労の問題がない方式が望まれる。これらの課題を解決する基本要件は，（１） めがねなしで両眼視差＊2 が得られること（２） 両眼の輻

ふく

輳そう

＊3 と焦点調節＊4 が一致すること（３） 水平・垂直方向に滑らかな運動視差＊5 が再現できること（４） 複数の人が同時に視聴しても上記（１）〜（３）を満足すること

であり，実物を見たときと同じ効果をもたらすことが求められる。立体映像方式の分類を１図に，主な立体映像方式と立体視の手がかり，つまり両眼視差，輻輳，焦点調節，運動視差との関係を１表に示す。

前章で紹介したように当所では，立体テレビ研究の創成期より，２眼方式あるいは多眼方式の両眼視差方式の研究を進めてきた。しかし，両眼視差と輻輳を利用した２眼方式では，めがねをかける煩わしさがあり，視点移動による運動視差は再現されない。また，輻輳点と焦点調節が一致しておらず，視覚疲労の一因となっている。現在普及している3D（Three Dimensions）映画の場合，視聴位置が固定されており運動視差を考慮

＊2観測される像の位置が，左右の眼でずれること。

＊3両方の眼で対象を見つめたときに，左右の眼の視線が対象の上で交差すること。交差する点を輻輳点と呼ぶ。

＊4眼球の水晶体が，対象物までの距離に応じてその厚みを変えること。

＊5観察者の視点または対象が移動することにより，対象の見え方が変わること。

立体めがね

ステレオ画像

水平視差画像

空間像

視点移動

視点移動

（a） ２眼方式 （b） 多眼方式 （c） 空間像再生方式

１図　立体映像方式の分類

１表　主な立体映像方式の立体視の手がかりと特徴

方　式立体視の手がかり

特　徴両眼視差 輻輳 焦点調節 運動視差

両眼視差方式

２眼方式 ○ ○ × ×左右（ステレオ）画像１組を撮影・表示する方式めがね式：3D映画で実用化めがね不要：レンチキュラー方式など

多眼方式 ○ ○ ×／○ △（水平視差のみ）

３つ以上の視差を撮影・表示する方式水平方向のみ運動視差効果ありめがね不要：レンチキュラー方式など視差数が少ない場合： 両眼視差方式視差数が多い場合（瞳孔に２本以上の光線が同時に入る場合）： 空間像再生方式

空間像再生方式

インテグラル方式 ○ ○ ○ ○

複眼レンズを用いて，多くの方向から画像を撮影・表示する方式水平・垂直すべての視差を再現被写体からの光線群を再現するため，自然な立体像が得られる

ホログラフィー方式 ○ ○ ○ ○

被写体からの光の波面を干渉縞として正確に記録・表示する方式水平・垂直すべての視差を再現被写体からの波面を正確に再現するため，理想的な立体像が得られる

6 7NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

する必要はない。この点が，家庭用立体テレビへの要求条件と大きく異なる。日常生活においては，家族団

だん

欒らん

での同時視聴，ながら視聴など，自由な姿勢で動いても立体像を観察できることが重要である。つまり，観察者の上下左右方向の移動に応じて立体像が変化して見えなければならない。

多眼方式は，一般的に１次元的に３眼以上の視点で撮像・表示するため，運動視差（水平方向のみ）を持つ。この方式では，視点数が少ない場合，観察者が移動すると画像の切り替え点で急激に画像が変わるクリッピングが発生するため滑らかな運動視差が再現されず，視聴位置が限定されるなどの課題がある。この対策として，視点数を増やすことにより，水平方向の物体に対してさまざまな角度からの光線群により光学像が生成され，滑らかな運動視差が再現される。この場合，眼の瞳孔に２本以上の光線が入るようになると輻輳と焦点調節が一致し，自然な立体像として観察されると報告されている7）。このように視点数が増えて間隔が狭くなると，後述のインテグラル方式を１次元に変換したものと等価となり，１次元（水平方向）に限定された空間像再生方式となる。最近ライトフィールドディスプレーとして開発されているもの8） は，主にこの方式である。

現在，当所では，立体テレビの基本要件である（１）〜（４）を満足する方式として，水平方向および垂直方向に立体像の再生が可能な空間像再生方式の研究に取り組んでいる。

３．空間像再生方式空間像再生方式は，２眼方式のように一定の視点から見た立体映像の再生ではなく，

実際に光学像を再生することで，視点を変えても自然な立体像の再生を可能にする方式である。立体テレビへの適用において重要な点は，特別なめがねが不要で長時間映像を見ても疲れず，見る位置や姿勢に応じた自然な立体像を見られることである。その意味から空間像再生方式は，将来の立体テレビの有力な候補と言える。

空間像再生方式には，「インテグラル方式」と「ホログラフィー方式」の２つの方式がある。インテグラル方式は，1908年にM. G. Lippmannによって提案されたインテグラル・フォトグラフィー（Integral Photography）9） に基づく技術であり，多数の微小レンズを配列したレンズアレーを撮影時および表示時に用いることで，被写体からの光線をほぼ忠実に再現でき，実際に光学像が形成される。一方，ホログラフィー

（Holography）は，1948年にD. Gaborが発案した，回折・干渉現象を利用して光を記録・再生する技術10） で，被写体からの光の波面を忠実に再現することが可能であり，理想的な空間像再生方式である。

なお，最近「ホログラム」あるいは「ホログラフィック」の用語を用いた映像表現技術を劇場やイベント等で見かける。この技術は，ペッパーズ・ゴースト＊6 の基本原理を応用しており，ステージ上に設置された大型ハーフミラーに高輝度のLED（Light Emitting Diode）ディスプレーあるいはプロジェクターで形成された２次元画像を投影する方式である。２次元画像がハーフミラーを通してステージ上の空間に浮かび上がって見えるため効果的な演出が可能となるが，見る方向で映像の見え方が変わるわけではなく，立体像は再現できない。本来のホログラフィーとは全く異なる技術である。

＊6光がガラスなどに映り込む現象を利用し，別の場所にある物体を，ガラスを通して映し出す手法。ディズニーランドの「ホーンテッドマンション」も同じ原理である。

6 7NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

解説　01

４．現在の取り組み当所では，1995年から空間像再生方式の研究に着手している11）12）。インテグラル方

式に関しては，これまでに，単体のカメラとディスプレーにレンズアレーを適用した装置として，4K，8K，および15K相当（画素ずらし）の試作機を開発し，全方向の運動視差を有する立体像のリアルタイム再生に成功している13）。２図に，高密度な8K直視型有機ディスプレー（664 ppi＊7，（株）半導体エネルギー研究所製）を用いた立体表示画像の一例を示す14）。今後，インテグラル立体テレビを実現するためには，立体像の高品質化が最重要課題となる。現在この問題を解決するために，従来の単体デバイスを用いたシステムでは限界があるため，複数のカメラや表示デバイスを組み合わせたシステムによる高品質化の要素技術の開発を進めている。同時に，将来の立体テレビを見据えて，符号化技術およびシステムパラメーターの検討も開始した。

一方，ホログラフィー方式に関しては，4K液晶空間光変調器（SLM：Spatial Light Modulator）を複数枚組み合わせて，両目でも同時に立体像の観察が可能な試作機を開発した15）。既存のSLMでは画素サイズが５μm程度と大きいため，回折現象を利用するホログラフィーでは，立体像を見ることができる範囲（視域）が６°程度と非常に小さくなり，両眼での立体像観察は困難である。この対策として，複数のSLMで発生する高次の回折光を利用して視域を拡大する手法を適用した。また入力データ技術として，インテグラル立体方式で撮影した映像データからホログラフィー用データに変換・生成する手法を開発した16）。しかし，ホログラフィー方式の本質的な問題は，SLMの狭画素ピッチ化による視域拡大である。現在，この大きな課題の解決に向けて狭画素ピッチ構造から成る新奇なSLMの開発に取り組んでいる。

現在，上記の研究課題に向けて，空間像再生方式の撮像・表示技術，符号化技術，システムパラメーターの研究，および表示デバイスの研究を総合的に進めている。３図に空間像再生方式の立体映像技術の研究概要を示す。本章では，各研究課題への取り組みの概要を述べる。

４．１　撮像技術立体撮像技術の研究では，高品質な立体像の生成に向け，複数のカメラやレンズア

レーを用いた空間情報取得技術の研究に取り組んでいる。立体像の高品質化は，単に撮

＊7pixels per inch。

下視点

上視点

左視点 右視点

（a） 正面からの観察画像 （b） 上下左右方向からの視差画像

２図　8K有機ディスプレーを用いたインテグラル立体表示の一例 14）

8 9NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

像素子の多画素化だけで実現することは困難であり，被写体を回り込んで３次元映像情報を取得する技術の開発が重要となる。これまでに，１次元上に配置された多視点映像から３次元モデルを生成し，インテグラル立体映像データへ変換する手法を確立している17）。この技術を発展させ，２次元空間上に配置された複数カメラによる情報取得技術18）などを開発中である。この手法を構築できれば，水平・垂直に視域を有する高品質な立体像の情報取得手段として利用でき，より多彩な被写体の撮影が期待できる。さらに，本技術を拡張すれば，ホログラフィー用入力データとしての活用も可能となろう。

４．２　表示技術立体表示技術の研究では，高品質の立体像を再生できる要素技術の開発に取り組んで

いる。これまでに，複数の高精細直視型ディスプレーやプロジェクターを組み合わせたインテグラル立体表示システムの開発により，解像度と視域角＊8 （水平・垂直方向）の性能改善を図った19）20）。現段階においては，高品質な立体表示を大画面で実機により実証できるのは，複数投射表示方式だけである。これまでのハイビジョンやスーパーハイビジョンの開発の歴史と同様に，まずは，投射表示方式による原理検証と表示画像の高品質化を先行して実施し，立体映像の持つ魅力を早期に示すことが最重要課題であると考える。一方で，最近の携帯用表示デバイスの技術的進展は著しく，4K高精細スマートフォンが気軽に手に入る時代となっている。このような外部状況を見据えながら，最先端の小型ディスプレーを活用したモバイル用途の新しい立体映像の応用技術を開拓していく必要もあろう。

４．３　符号化技術被写体からの光の情報をすべて記録する空間像再生方式では，情報量が膨大となる。

この情報量の問題は，インテグラル方式およびホログラフィー方式ともに初期の段階から指摘されている21）〜 23）。この大きな課題は，空間像再生方式の持つ特徴である冗長性が大きいことに起因する。例えばインテグラル方式の場合，隣同士の要素画像はほとん

＊8ディスプレーを見込む角度のうち，立体像を見ることができる範囲。

空間情報取得・生成技術 立体表示技術立体情報符号化技術

・符号化／復号化・圧縮・表示画像生成

システムパラメーター技術

奥 手前この範囲にシーンを圧縮

３図　空間像再生方式の研究概要

8 9NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

解説　01

ど同じであり，当然の結果として冗長性は大きくなる。この冗長性を逆に利用して必要最小限の情報まで圧縮する技術，あるいはメインの２次元画像に付加情報を加えることで立体像再生が可能となる技術などの開発が鍵になるかもしれない。将来，立体テレビを実現するためには，立体情報を現実的に伝送可能な情報量に圧縮する技術の開発が必須であり，現在はインテグラル方式の符号化技術の研究に着手した段階である24）。今後，立体映像に適した情報量低減技術の開発が一層重要となろう。

４．４　システムパラメーター技術立体テレビの実現には，人間の立体感に関する認知科学的アプローチの研究も重要で

ある。インテグラル立体システムのパラメーターに関する研究では，表示パラメーターと画質（奥行き再現範囲，解像度，視域角）の関係について，シミュレーターおよび主観評価による検討を進めている。これまでに，人間の奥行き知覚特性を利用して不自然さを感じさせずに奥行きを圧縮して表示する「奥行き圧縮表現技術」を開発した25）。本技術により，初期的な段階ではあるが100mを超える３次元空間を１mの奥行き範囲に収まるように圧縮しても不自然さが許容されるという基本データが得られている。奥行き知覚に関する本技術は，撮像，符号化，および表示技術のすべてに関わるものであり，今後の立体テレビ仕様策定に有効であろう。

４．５　表示デバイス技術空間像再生方式で用いる表示素子には，これまでにない微細な画素で超多画素となる

高密度構造の革新的デバイスの開発が求められる。この要求性能は，前述の撮像素子にはない大きな障壁となっている。

ホログラフィーでは，立体像を見ることができる角度範囲となる視域角は，干渉縞の間隔と光の波長によって決定される回折角で制限される。そのため，ホログラフィー用立体表示デバイスであるSLMで広い視域角を実現するには，光の波長程度に画素を微細化しなければならない。また，大きな立体像再生には，SLMの大型化，つまりは超多画素化が必要となる26）。

一方，微小レンズアレーを用いたインテグラル用立体表示デバイスには，水平および垂直のすべての視差方向に対応した光学像を形成するために，膨大な画素数が必要となる。同時に，奥行き再現範囲を広げるには，微小レンズ内に多数の画素を設置しなければならず，画素の微細化が求められる27）。これらの問題は立体像をレンズアレーにより空間結像していることに起因しており，この解決手段として，レンズアレー不要のインテグラル方式が考えられる。

上記の課題解決に向け，当所では，ホログラフィー用表示デバイスとして，スピン注入磁化反転と磁気光学効果を組み合わせた狭画素ピッチの新しいSLMの研究開発を進めている。一方，レンズアレー不要のインテグラル用表示デバイスとして，光ビームの形状と進行方向を高速かつ自在に制御できる光フェーズドアレーの研究に新たに着手している。このデバイスでは，時分割での立体像再生が可能となり，画素数の大幅な低減が期待される。

当所で取り組んでいる立体表示デバイス研究に関する詳細については，本特集号の解説２および報告１〜３で説明する。

10 11NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

５．今後の展望将来の立体映像のサービスイメージの一例を４図に示す。最終的な目標は，家庭で誰

もが自由に楽しめる大画面の立体テレビの実現である。また別のアプローチとして，モバイル用立体映像サービスが挙げられる。モバイル用途では，基本的には１人で楽しむことを想定すれば，技術的ハードルが緩和され，比較的早い段階で実現できる可能性がある。さまざまな伝送路を利用して，携帯端末での立体サービス，あるいはタブレットでのセカンドスクリーンサービスなどが考えられる。実在感のある立体映像を携帯端末により再現し，直接，手にモノを持っている感覚が引き起こされれば，今までにない新しいサービス展開が期待できるであろう。

本稿では，これまでの当所における立体テレビ研究の歴史を振り返るとともに，現在研究を進める空間像再生方式の研究概要を紹介した。インテグラル方式およびホログラフィー方式ともに，理想的な立体像再生が可能なことから，将来の立体テレビの有力な候補と考えられる。しかし，これらの方式を放送に用いるには，電子的手法による動画のリアルタイムでの撮像・伝送・再生が要求され，実現に向けて多岐にわたる課題に取り組む必要がある。将来の立体テレビサービスを思い描きながら，立体映像が新たな映像メディア創出の担い手となるように研究開発を進めていく。

立体テレビ（メインサービス）モバイル用立体映像サービス

セカンドスクリーン（モアサービス）

モバイル立体サービス（図はイメージ）

色々な角度から手元でじっくりと

４図　将来の立体映像のサービスイメージ

10 11NHK技研 R&D/No.166/2017.11 NHK技研 R&D/No.166/2017.11

解説　01

参考文献1） 大越：三次元画像工学，朝倉書店（1991）

2） 山口，福島：“立体テレビについて，”NHK技研月報，Vol.3，No.6，pp.129-133（1960）

3） 山口，福島：“メガネを用いない立体テレビ方式，”NHK技研月報，Vol.4，No.5，pp.132-135（1961）

4） 伊藤：“技研における立体テレビの研究成果，”NHK技研R&D，No.123，pp.48-55（2010）

5） 磯野，安田，竹森，金山，山田，千葉：“50インチ多眼式メガネなし３次元テレビジョン，”テレビ誌，Vol.45，No.11，pp.1472-1474（1991）

6） 磯野，安田，笹沢：“液晶パララックス・バリア方式３次元画像ディスプレイ，”信学論，Vol.J76C-II，No.1，pp.24-30（1993）

7） Y. Takaki：“Density Directional Display for Generating Natural Three-Dimensional Images，”Proc. IEEE，Vol.94，No.3，pp.654-663（2006）

8） http://www.j-display.com/news/2017/20170519.html

9） M. G. Lippmann：“Épreuves Réversibles Donnant la Sensation du Relief，”J. de Phys.，Vol.4，No.1，pp. 821-825（1908）

10） D. Gabor：“A New Microscopic Principle，”Nature，Vol.161，No.4098，pp.777-778（1948）

11） NHK技研R&D：立体映像の研究特集号，No.151（2015）

12） F. Okano, H. Hoshino, J. Arai and I. Yuyama：“Real-time Pickup Method for a Three-dimensional Image Based on Integral Photography，”Appl. Opt.，Vol.36，No.7，pp.1598-1603（1997）

13） 三浦：“インテグラル立体テレビの研究開発，”NHK技研R&D，No.158，pp.44-53（2016）

14） http://www.nhk.or.jp/strl/publica/nenpou-h28/2016-chap02.pdf

15） T. Mishina, M. Okui and F. Okano：“Viewing-zone Enlargement for Sampled Hologram that Uses High-order Diffraction，”Appl. Opt.，Vol.41，No. ８，pp.1489-1499（2002）

16） T. Mishina, M. Okui and F. Okano：“Calculation of Holograms from Elemental Images Captured by Integral Photography，”Appl. Opt.，Vol.45，No.17，pp.4026-4036（2006）

17） 池谷，久富，片山，岩館：“多視点映像からのインテグラル立体像生成手法〜スポーツシーンの３次元モデル生成と立体映像変換〜，”映情学誌，Vol.67，No.7，pp.J229-J240（2013）

18） 池谷，三科：“三次元復元のための多視点ロボットカメラの開発，”信学総大，D-11-3，p.3（2017）

19） N. Okaichi, M. Miura, J. Arai, M. Kawakita and T. Mishina：“Integral 3D Display Using Multiple LCD Panels and Multi-image Combining Optical System，”Opt. Express，Vol.25，No.3，pp.2805-2817（2017）

20） H. Watanabe, M. Kawakita, N. Okaichi, H. Sasaki, M. Kano, J. Arai and T. Mishina：“Wide Viewing Angle Projection-type Integral 3D Display System with Multiple UHD Projectors，”Proc. IS&T Int. Symp. Electron. Imaging，SD&A-358，pp.67-73（2017）

21） C. B. Burckhardt：“Optimum Parameters and Resolution Limitation of Integral Photography，”J. Opt. Soc. Am.，Vol.58，No.1，pp.71-76（1968）

22） E. N. Leith, J. Upatnieks, B. P. Hildebrand and K. Haines：“Requirements for a Wavefront Reconstruction Television Facsimile System，”J. SMPTE，74，893（1965）

23） 大越：“三次元映像表示と三次元テレビジョン，”信学誌，Vol.51，No.10，pp.1249-1257（1968）

24） 原，片山，大岡，高橋，藤井，河北：“インテグラル立体画像の情報量低減と符号化画質の評価，”映情学技報，Vol.41，No.26，pp.5-8（2017）

25） 澤畠：“空間認知特性に基づいた自然なインテグラル立体表示技術，”NHK技研R&D，No.164，pp.56-67（2017）

26） 菊池，町田，青島，加藤，金城，久我，清水：“スピン注入型空間光変調器，”O plus E誌，Vol.35，No.7，pp.742-750（2013）

27） H. Hoshino, F. Okano, H. Isono and I. Yuyama：“Analysis of Resolution Limitation of Integral Imaging，”Opt. Soc. Am. A，Vol.15，No.8，pp.2059-2065（1998）

菊き く

池ち

宏ひろし

1984年入局。神戸放送局を経て，1987年から放送技術研究所において，液晶材料およびスピントロニクス材料を用いた空間光変調器とその光応用技術などの研究に従事。2008年から2010年まで（独）情報通信研究機構に出向。現在，放送技術研究所立体映像研究部部長。博士（工学）。