디지털엔터테인먼트 LECTURE 6 - cau.ac.krcau.ac.kr/~kjpark/courses/2010_1_de/Lec6.pdf · 증강현실 + = Real world Virtual object Augmented Reality Real environment A virtual

디지털 엔터테인먼트LECTURE 6

2010.04.08

첨단영상대학원 박경주 교수

http://graphics.cau.ac.kr/courses.htm

디지털 엔터테인먼트 Lec6 박경주 교수, [email protected]

Topics

퍼포먼스 캡쳐

렌더링

렌더링이란?

비사실적 렌더링

증강현실

가상현실과 증강현실

증강현실


퍼포먼스 캡쳐

퍼포먼스 캡쳐

모션캡쳐와 카메라로 얼굴 표정, 동작 등의 움직임을 캡쳐

컴퓨터 생성 캐릭터에 매핑

아바타

http://vfxsverige.wordpress.com/2009/12/17/av

atar-exclusive-behind-the-scenes-the-art-of-

performance-capture/

모션그래픽스연구실(http://graphics.cau.ac.kr/)

3

http://vfxsverige.wordpress.com/2009/12/17/avatar-exclusive-behind-the-scenes-the-art-of-performance-capture/





















The three big topics in CG

• Modeling

– How to represent objects

– How to build those representations

• Animation

– Representing/controlling the way things move

• Rendering

– How to create images


렌더링

- 대상물체와 그 특성, 카메라, 광원 위치/종류 등을 정의하여 최종 이미지를 결정하는 일

련의 과정

- 표면특성(색상, 질감, 반사율, 투명도 등)과 광원특성에 따라 컬러 값 계산 과정

- 카메라 위치, 방향, 시점, 관심 점, 초점길이, 심도 등의 설정에 따라 시야(field

of view) 피라미드가 정의됨.

카메라

설정

광원

설정

표면특성

정의

쉐이딩

기법렌더링

파일

저장/출력

모델

임포트

렌더링이란?


와이어 프레임 장면 깍인 면 쉐이딩 부드러운 면 쉐이딩

하이라이트 성분 표현 그림자 추가 텍스쳐 매핑


라이팅(lighting)

- 광원종류

: 점(point)/ 스포트(spot) / 지향(directional) / 영역 / 주변 광원

- 광원에 직접 노출된 물체 및 영역만 고려하는 지역(local) 모델(a)과

빛의 간접적 영향까지 고려하는 전역(global) 모델 (b)

- 전역 모델은 레이 트레이싱, 래디오시티 렌더링 기법 등을 결합하여 구현

렌더링이란?


래디오시티

빛의 산란고려, 실내 장면 렌더링에 주로 사용

렌더링이란?


렌더링 예제


9


쉐이딩(shading)

- 깍인(facted) / 부드러운(smooth) / specular 면 쉐이딩

쉐이딩

smooth specular


표면 텍스쳐 표현

환경맵

범프맵

이미지 3D 모델

이미지 이미지 3D 모델


Table Shading 예제 - 범프맵 이용한 표면 텍스쳐 표현


early 1990s

인상파 작품 같은 표현 렌더링

자동 펜-잉크 일러스트레이션 렌더링

유화 표현 렌더링

비사실적 렌더링(non-photorealistic rendering)


비사실적 렌더링(non-photorealistic rendering)

입력: 3D 모델 또는 이미지/비디오

목표: 인간친화적 디지털 영상 제작

방법: 추상화, 단순화


14

다각블록 색종이 타일 수묵화 일러스트 포스터 카툰

입력영상 추상화


실시간 인터랙티브 회화적 렌더링


15


동영상 기반 비사실적 애니메이션


16

Com

ic

Bub

ble

sSta

inedG

lass

Line d

raw

ing


17

가상현실/증강현실

가상현실(Virtual Reality)

리얼리티 (reality)를 완전히 대체하는 수단

증강현실(Augmented Reality)

리얼리티를 보충하는 수단

노트&리포트/AR_01_Definition%20of%20AR/movie/cb.avi


18

가상 현실과 증강 현실

VR AR

사용자를 가상으로 만들어진 3차원 공간 안으로 완전하게 몰입시키는 기술

사용자는 주변의 실제 환경을 전혀 볼 수 없음

가상의 물체가 실제 환경의 일부분에 합성됨

사용자는 가상의 물체뿐만 아니라 실제환경까지 동시에 볼 수 있다.


19

가상 환경과 실제 환경의 혼합

사용자가 바라보는 실제 환경과 컴퓨터로 생성된 가상의 환경을 합성하여 새로운 영상을 합성해 내는기술

증강 현실

+ =

Real world Virtual object Augmented Reality

Real environment

A virtual transparent teapot+

Collaborative Geophysical Visualization.movMagicBookExternalView.mov


20

증강현실 시스템의 구성

증강 현실 시스템의 블록도

Display-Out AR Processing

Image Capture

Camera Frame Grabber

영상 특징추출

추적

Monitor or HMD

합성 가상 3D 모델링

카메라 교정

Buffer


21

증강 현실 시스템 구현에 필요한 기술

3D 모델링 (3D Modeling)

삽입될 3차원 모델 생성

출력 장치 (Display Devices)

실제 현실과 컴퓨터 상에서 생성된 가상 현실을 혼합하여 사용자에게 효과적으로 출력하기 위한 장치

카메라 교정 (Camera Calibration)

영상 취득을 위해서 사용된 카메라의 정보를 획득

실제 세계와 가상의 세계 사이의 좌표 값 계산

추적 과정 (Tracking)

사용자의 위치와 이동 방향 등을 감지

사용자의 움직임 정보를 취득하여 사용자의 이동이나 행동을 추적하기 위한 기술


22

3D 모델링 (3D Modeling)

3D 모델 디자인 툴을 이용ex) MayaTM, SoftImageTM, …

3D reconstruction from image

Range Finder (Laser scanner)


23

출력 장치 (Display Devices)

HMD (Head-Mounted Display)

Optical see-through HMD

Video see-through HMD

Micro-optical HMD

http://www.virtualresearch.com/products.html


24

카메라 교정 (Camera calibration)

카메라 정보 계산

카메라와 피사체, 영상에 대한 상대적인 좌표값 계산 과정

사용자의 위치와 움직임 방향 추정

카메라 정보 (Camera parameters)

초점거리, 회전, 이동 등.

620_AgusantoK.mpg


25

카메라 교정 (Camera calibration)

기하학적 정보를 이용하는 방법

영상 내의 수직, 평행, 직각 등의 기하학적 정보를 이용

비교적 정보의 취득이 쉽고 카메라 교정에 필요한 충분한 정보를 제공함.

Geometric information

AR2withFiltering.avi


26

사용자 위치 추적 (Tracking)

사용자의 위치와 이동 방향에 대한 정보를 취득하는 과정

특정한 모양의 표식자(fiducial)를 사용자가 부착하고, 카메라가 해당 표식자의 패턴을 인식하는 방법.

모션 추적 장치(motion tracking device)와 같은 하드웨어 장비를 이용하는 방법.

GPS (Global Positioning System)를 이용하는 방법. 주로 실 외에서 사용되며 1m~100m

정도까지의 오차가 발생함.


27

현실/가상 세계의 융합기술 사용 예 (1)

Jellyfish Party

HMD를 착용한 사용자가 스트로우 건을 이용하여 가상의 비누 방울을 만들어 내며, 노즐의 종류에 따라다양한 물체를 만들어 낼 수 있다.


28


AR 게임

인터액티브 보드 게임 (Interactive Board Game): 실시간으로 삽입된 가상 캐릭터와 체스 게임을 할 수 있다


29

현실/가상 세계의 융합기술 사용 예 (2) AR 게임

The AR Quake Project (at the University of Southern Australia)

ARinQuake-01.aviARinQuake-02.avi


30


증강 현실을 이용한 외과 수술 의사는 실시간으로 구성된 3차원 증강영상을 제공 받는다.

수술에 필요한 영상 데이터는 CT 촬영 장치나 초음파 촬영 장치로부터 얻어진 데이터를 이용하여 재구성이 된다

ARinMedicine.mov


31


가상 의료 실습 시스템 (Virtual Reality Surgical Simulators)

가상으로 생성된 환자의 장기를 보며 의료 시술 실습을 수행함.


32


길안내/투어 가이드 가상체험


33


가상 이미징 (Virtual Imaging)

실제로 존재하지 않은 가상의 그래픽을 실제 환경에 있는 것처럼 합성하는 기술

ARinTV-01.asfARinTV-02.asf


34


가상 스튜디오 (Virtual Studio)

실제 세트 대신 컴퓨터가 생성한 그래픽 세트를 배경으로 프로그램을 제작하는 시스템


35


매직 북 (Magic Book)

실제 세계와 같이 입체적으로 이루어져 있는 세계를 실제로 구현하기 위한 책

HMD를 착용한 사용자는 책 속의 마커 (marker)의 위치에 합성된 살아 있는 듯한 3차원 영상을 볼수 있다.


가상환경(Virtual Environments) :

- Tactile(촉각) feedback + Force feedback ⇒ Haptics

- Haptic Interaction을 포함하는 Synthetic Environments


Multi-modal issues

• 시각정보는 햅틱 지각에 많은 영향을 미치며,

청각 정보에 의한 영향은 적다.

• 햅틱용 진동, 촉각 어레이(array), 온도 등을 사용해

존재감(현실감)을 증가하도록 함.

• 시각, 햅틱, 청각 등이 공간 및 시간적으로 함께

결합(registration) 되는 것이 중요함.


Exo-skeletal, CyberGrasp(Virtual Tech.)

PHANToM(Sensible Technologies)


Eye Surgery Simulation

Knee Surgery Simulation

../../DATA/가상현실발표/Plastic eye.wmv


몰입형 가상현실 게임 시스템

Documents

디지털엔터테인먼트 LECTURE 6 - cau.ac.krcau.ac.kr/~kjpark/courses/2010_1_de/Lec6.pdf · 증강현실 + = Real world Virtual object Augmented Reality Real environment A virtual