Stereoscopic 기술

2010. 08. 22

정 재 훈

2

Outline

혼동되는 현업 용어들• 3D vs. Stereoscopic vs. 2D ?

• Augmented Reality , Augmented Virtuality, Mixed Reality, Virtual Reality 의 차이는 ?

• Haptic vs. Haptics , Tactile vs Haptics , Vibrotactile vs. tactile

Stereoscopic• Stereoscopy 원리

• Human factor of Stereoscopic

• 입체영상 디스플레이의 종류별 원리와 기술

2D vs 3D

일반적으로 사용하는 3D 의 유래 : 3D View, 3D Rendering 으로 부터 시작된 것으로 추정 .

똑같은 2D 사진을 보고 왜 어떤 것은 3D 라고 할까요 ?

• 경험적인 이유 . [ 3D Game , VRML ] 3D 렌더링된 오브젝트의 특징

• 위와 같은 3D 렌더링 오브젝트 가 있는 3D 게임에서는 시점이 변경될 수 있다 . 그래서 3D 라고 생각 .

카메라의 위치를 이동 할수 있는 것 그게 3D View 입니다 .

3D Rendering 에 대해서는 뒤에서 배우도록 하겠습니다 .

3

Which one is 3D ?

3D View 보기

3D 렌더링 된 2D 사진 카메라로 찍은 2D 사진

2D Graphics Pipeline

스케치북에 그려진 그림을 Orthogonal 하게 사진기로 찍는 형태 .

2 축 Scaling, Rotation , Translation , Skew , Shear 등의 2D Transformation 가능

4

3D Graphics Pipline , Transformation

5

2D Rendering pipeline

Viewing transformation

Projection transformation

Viewport Transformation

Normalized Device cordinate to image cordinate

Stereoscopic

Stereoscopy 의 정의 : Depth 를 사람이 느끼게 하는 영상정보를 생성 또는 저장하는 기술 3D 와 Stereoscopy 가 헷갈리는 이유는 ?

3D Display 를 3D 로 축약하여 Stereoscopy 와 혼동하여 사용 .

3D Displays, Stereoscopic images, Stereoscopic displays 등이 올바른 표현6

The Range of Mixed Reality

Augmented Reality :   a live direct or indirect view of a physical real-world environment whose elements areaugmented by virtual computer-generated imagery

Augmented Virtuality : Real world objects into virtual worlds

Virtual Reality : Computer-simulated environments that can simulate places in the real world as well as in imaginary worlds.

7

What is MR(Mixed Reality) ?

Haptic : ‘Touch’ 와 밀접한 관련이 있다 .Haptic : ‘Touch’ 와 밀접한 관련이 있다 .

그리스어 “ Haptesthai” 에서 유래되었음 . ‘Tactile’ 과 ‘ Kinesthetic” 감각 두 가지를 모두 일컬음 . (Tactile Sense + Kinesthetic Sense)

+Kinesthetic

sense ( 운동감 )

Tactile sense ( 촉감 )

Haptics – 학제적인 새로운 학문 .Haptics – 학제적인 새로운 학문 .

human haptic sensory 와 human motor characteristics 에 대한 이해관련 된 학문 가상 , 원거리 환경을 촉감을 통해 인터랙션할 수 있는 컴퓨터제어 햅틱 시스템을 개발하는 학문

Haptic vs. Haptics ?

Haptic vs. Tactile vs VibrotactileHaptic vs. Tactile vs Vibrotactile

Haptic Information : Tactile + Kinesthetic information Tactile Information : Spatial Tactile Information , Temporal Tactile Information Vibrotactile Information : Tactile ⊃ Vibrotactile , Tactile Information 중 진동에 관한 부분만을 의미

Tactile Rendering vs. Vibrotactile Rendering

Example of Interfaces

ElectricalConnectionPhase 1 (+)

E lectricalConnectionPhase 2 (+)

GN DPhase 1

GN DPhase 2

EPAM Film

OutputDisc

Frame

Z

DhON (Down)OFF (Up)

Haptic Interface Tactile Interface Vibrotactile interface

Electroactive Polymer Artificial Muscle

Haptics 연구 분야

Haptics Research

Human Haptics

Machine Haptics

Computer Haptics

Device Design Sensor CommunicationKinematics …

Kinesthetic Devices CyberForce ( Exoskeleton type) .. Haptic Glove ..

Tactile Devices (Texture , Temperature, Vibrotactile.. )

Immersion Vibetonz BMW iDrive, Haptic Mouse ..

Tactile and Kinesthetic Devices Surgery simulator 6Dof Phantom ..

NeurophysiologyHuman PerceptionPsychophysical Experiments Usability …

Computer GraphicsCollision DetectionHaptic Rendering Algorithm

Psychophysical Experiments Fechner’s 3 Methods Decision Model …

Applied Human Perception / Psychophysics Perceptual characterization Usability test Multimodal Integration , Haptic illusionUsability

Graphics , Collision Detection 3D Model (Voxel Rendering,PBR, IBR..) Physics Simulation ( Elastic , Deformation..)

Haptic Rendering Various Force Rendering Algorithm (Volume , Implicit, Texture, Friction..) Temperature, Vibrotactile Rendering Algorithm.

Objective Performance - Effectiveness - Few errors - Learnability …

Affective Satisfaction - Subjective Satisfaction - Preference …

Human Haptics - Psychophysics - Physiology - Applied Human Perception

Psychopysics - 정신물리학 .Psychopysics - 정신물리학 .

사람의 피부가 인지할 수 있는 가장 작은 단위의 자극은 ? 또 구분 가능한 자극간의 차이는 ? Physical Stimulus intensity 증가에 따라 Perceived stimulus magnitude 를 어떻게 받아들이느냐 ? ( 상관 관계를 측정하는 학문 [ex) Sound intensity ≠ loudness ] )

Neurophysiology – 신경 생리학Neurophysiology – 신경 생리학

tactile stimuli 를 받아 들이는 기관은 ? stimuli 에 대한 정보를 어떤 과정을 통해 뇌로 전달하는가 ? 뇌의 어떤 부분이 자극을 처리하는가 ?

∴ 두가지 학문이 모두 ‘ Haptic perception’ 을 연구하는데 사용 되어 진다 .

자극

뇌

감정

신경생리학 : 뇌의 어떤 부분이 자극을 처리하고 어떤 기관을 거쳐 전달되는가를 연구 .

정신물리학 : 자극의 크기를 측정하는데 방해되는 Bias 인 감정 ( 판단 ) 을 배제하고 사람이 인지하는 크기를 측정한다 . 따라서 , 사람간의 큰 차이가 발생하지 않는다 .

‘Psychophysics’ + ‘Neurophysiology’

Stereoscopy 원리

입체영상의 원리

• 단안요인

• Motion Parallax

• 관찰자가 대상을 보면서 움직이면 가까운 대상은 먼 대상보다 더 많이 눈의 망막 상에서 옮겨지는데 이를 운동 시차 (Motion Parallax) 라함

• 기차를 타고 가다 보면 먼 산은 자기를 따라오고 가까운 나무는 빠르게 뒤로 가는 것처럼 보이는 것 ( 먼곳의 물체는 느리게 , 가까운 곳은 빠르게 )

• Linear Perspective

• 도로 , 철로와 같은 평행선이 멀어질 수록 하나의 소실점 (Single vanishing point) 으로 수렴

• 3D Rendering 에서 Perspective Projection 을 이용 .

• 양안요인

• 양안 시차에 의한 입체감 ( 두눈의 평균 거리 6.5cm )(binocular Disparity)

• 폭주 거리의 차이 (Divergence Distance)

• 깊이감

• 나이가 들수록 깊이감 인지력 저하

• 전체인구의 4% 는 깊이감 인지 못함 . ( 유전 )

12

Human factor of Stereoscopic

13

심리학적 요인

생리학적 요인

색조 ( 진출색 - 후퇴색 )

적색은 가깝게 , 청색은 멀게 느껴짐 .

Human factor of Stereoscopic

폭주 (Convergence) – 어떤 대상을 바라볼 때 , 양쪽 눈의 시선이 대상을 향해 모이는 것

• 사람은 사물을 바라 볼때 거리에 따라 폭주각이 일정하도록 안구근육을 조절하여 자동 조절함으로서 입체감을 느낀다 . 폭주와 초점 조절은 함께 작용함 .

양안시차 (binocular disparity) – 양쪽 눈의 망막에 생기는 상의 차이

• 가장 입체감을 느끼는데 큰 요인이며 두상의 차이를 뇌에서 융합하여 깊이감을 인지 .

14

그림 1. Retinal disparity 그림 2. Convergence angles

- = ( 1 - 2 )

그림 3. Screen parallax

그림 3. Screen parallax

screen parallax p = | Pleft – Pright|

Human factor of Stereoscopic - 시각피로

Convergence

• 우리가 어떤 사물을 바라볼 때 두눈의 시선은 한점으로 수렴

• 피사체의 거리에 따라 폭주간은 변함 . 멀수록 각도는 작아짐 .

피로의 원인

• 실제환경 : 폭주거리와 초점거리가 동일

• 스테레오 영상 : 입체효과를 위해 초점거리와 폭주거리가 다름

• 특히 동영상의 경우 입체감 표현을 위해 폭주거리가 변하게 됨 .

15

실제 입체영상

Human factor of Stereoscopic - 시각피로

입체영상의 지각 기본개념

• Parallax 시차

• Convergence 폭주 , Divergence 발산

• Disparity , Breaking Frame

16

Accommodataion < Convergence

Accommodataion = Convergence

Accommodataion > Convergence

Seeing Stereo Picture without H/W

17

Parallel-viewing

• 눈에 힘을 풀고 먼산 바라 보듯이 흐리멍텅하게

• 상이 벌어지는 느낌

Cross-viewing

• 눈근육을 조여서 상을 좌우로 밀어내는 느낌

사람마다 수월한게 각각 다름 초점 맞추기 , 사시 개선등에 효과 있음 . ( Vision Therapy)

Wiggle Stereoscopy

Wiggle Stereoscopy , PikuPiKu

• No H/W required

• Gif Animation , Flash , Java Applet 등으로 쉽게 구현 가능

• 쉽다 . [Crossed – eyed / Parallel –viewing 같이 훈련이 필요없음 ]

• 한쪽 눈으로도 깊이감을 전달 할 수 있음 ( 장애인 )

• 떨림이 심해서 디테일한 감상이 힘듬 , 디스플레이기기에서만 볼 수 있음 18

PikuPiku - 여러장 Wiggle Stereoscopy – 2 장

Stereoscopic Display 종류

19

Anaglyph filter ( 색차 방식 )

20

장점 - 기존 장비 그대로 사용가능 ( 일반 TV 에서도 가능 ) - 해상도단점 - 타기술 대비 입체 효과 낮음 - 색감이 정확하지 않음 - 밝기 문제 어두움 . - 크로스 토크가 심함 .

Channel R : 0G : 0~255B : 0 ~ 255

Channel R : 0 ~ 255G : 0B : 0

Left Image Right Image

Polarized filter

21

장점 - 크로스토크 문제 거의 발생 없음 ., 깜빡임 없음 . 안정적 - 시야각 고정이 필요 .( 원형 필터의 경우 꽤 가동범위 있음 )

단점 - 해상도 절반 (TV 의 경우 ) - 편광필터로 인해 주사선 같은 라인이 가로로 보임 . - 스크린의 경우 두개의 프로젝터 , 특수 스크린 ( 실버스크린 ) 비쌈 ! - 편광 필터 밝기 떨어짐

※크로스토크 : LCD 의 잔상으로 인해 발생하지만 일반 잔상과는 구분된다 . 잔상 중에서도 반대쪽 눈의 프레임에 보이는 영상이 남아 있는 것 .

Time-split display ( 시분할 방식 )

22

장점 - 기존 LCD 나 프로젝터가 고성능이면 그대로 사용가능 - 해상도 저하 없음단점 - 플리커링 ( 깜박임 ), 동기화 문제 , 크로스토크 - 밝기 저하 - 셔터글래스 충전

최근 3DTV 는 크로스 토크를 줄이기 위해 블랙프레임을 좌우 전환할 때 집어 넣는다 . 이로 인해 120frame 을 구현해야 되므로 패널이 240hz.

국내 3D 영화관 비교

23

Dolby3D -색주파수 분할 방식 색 주파수의 높고 낮음으로 좌우 영상 구분 . - 편광방식의 업그레이드 버전 - 특수 컬러 필터렌즈 필요 . (셔터글래스 보다 고가 )- 입체효과는 우수 Master Image (Real D) 도 유사

Autosteroscopy - Parallax Barrier

24

1903년 미국의 F.E.Ives 가 제안

• Barrier mask 를 두어 적당한 위치에서 정확하게 분리해서 볼 수 있게 함 .

• 개구의 위치 , 슬릿의 폭 , 장벽의 깊이 등에 따라 화상의 폭이 변한다 .

• 또한 빛이 차단 됨으로 밝기에 문제가 생김 .

• 해상도 절반 ( 왼쪽 , 오른쪽 눈을 위해 픽셀을 나눠 씀 )

• 슬림화 문제 .

Autostereoscopy - Lenticular

25

Parallax barrier 방식과 유사

• 반원통의 투명한 플라스틱 원통형 렌즈를 배열한 렌티큘러 판을 이용 .

• 렌즈폭은 픽셀폭으로 결정 좌우 2 픽셀이 들어가도록 만듬

• 밝기 문제를 parallax barrier 에 비해 어느정도 해결

• 해상도 절반 .

Autostereoscopy – 3M Vikuiti 3d film

26

Sequential + Lenticular

• 해상도 떨어지지 않음

• 2D / 3D 변환이 쉬움

• 각도 맞추기 쉬움 .

• 밝기 문제 없음 .

Autostereoscopy – Integral Imaging

렌즈어레이를 이용하여 영상픽업 , 디스플레이 단계를 거친다 픽업과정 : 3D 물체를 여러방향에서 바라본 서로 다른 영상들을 렌즈 어레이를 이용 영상저장 디스플레이과정 : 기초영상을 렌즈어레이를 통하여 광파로서 재생하는 원리 1908년 제안 . CCD, 평면디스플레이 및 광학 기술 발달로 다시금 주목 .

27

Volumeteric Display

28

- 회전하는 반구형의 반투명한 screen- 회전하는 나선이 원통형의 덮개를 지나가면서 , laser pulse 가 display medium 에 display 된다 .- 회전속도가 1200RPM 정도로 매우 빠르기 때문에 screen 이 보이지 않게 된다 . - laser beam 이 회전하는 표면에 충돌하면서 voxel(volume pixel) 이라고 하는 가시광선 영역의 점을 발생시킨다 . - display내에서 발생한 voxel 의 공간적인 분포는 이 회전하는 나선과 laser beam 의 순간적인 교차점에 의해서 결정된다 .

볼륨메트릭 (Volumetric) : 2 차원 절단면의 화상을 빠르게 이동시켜 눈의 잔상현상을 이용하여 공간에 상을 재생하는 방식

Volumeteric Display

회전 거울 방식

29

Hologram

홀로그래피란 빛의 회절과 간섭 현상을 이용하여 빛의 진폭 정보뿐만 아니라 위상 정보까지 기록 및 재생을 하는 방식으로써 이를 이용한 디스플레이는 완전한 깊이 정보와 높은 해상도를 가지는 3D 디스플레이 방식이다 .

30

홀로그래피 원리 : 물체에서 오는 빔 [ 반사 ,회절 하는 빛( 물체파= 영상정보 )] 과 Reference 빔이 만드는 간섭무늬를 감광재료에 기록하고 다시 Reference 빔을 감광스크린에 투사하여 3D 영상을 실제로 만들게 된다 .

사진 : 빛의 세기 변화량을 감광 재료 ( 필름 ) 에 기록 .홀로그래피 : 빛의 세기 , 파동 ( 위상 ) 기록 . 3차원 상 재현

Stereoscopic Trend

31

Simulated 3D view from 2d photo 3D Converting iPhone Application

Youtube in 3D AR Toolkit in Stereoscopic

Stereoscopic Trend

32

3D Head tracking with Stereoscopic Stereo Camera Depth extraction

References

정재훈 , 이화정 - VC TDR 일잘법 노트 (Haptic 기술개발 )

Webpage Vision3D - http://www.vision3d.com

3M Autostereoscopic Display using 3M’s 3D Filem PPT

N. A. Dodgson, “Autostereoscopic 3D displays,”The IEEE Computer Society, Vol. 38, pp. 31-36, 2005.

S. Schkolne, H. Ishii, P. Schroder, “Immersive Design of DNA Molecules with a Tangible Interface,”California Technology,2005.

국내 AR 업체 : Zenitum

History of AR : Site Link

33