Real Virtuality & Second Body

신기헌 / 뉴미디어 아티스트, 프리랜서 디렉터

강의에 들어가며

아이덴티티

건축과 디자인의 언어가 ‘뉴미디어’와 만나며 새로운 결과물로 확장되는 과정을 경험

이 때의 ‘뉴미디어’는 테크놀로지만이 아닌 현실과 가상, 물질과 비물질을 연결하는 개념적 요소

(건축 + 디자인 + 사용자 경험 + 마케팅 + 교육 + 사회혁신) x 뉴미디어

스펙트럼의 경계

인식의 한계를 발견하기 위한 방법은 스펙트럼의 양쪽 끝의 경계를 경험해보는 것

양쪽 끝의 경계를 인식할 수 있다면 그 사이의 영역은 모두 자유로운 발상의 무대

현실의 일상의

아날로그의 물질의 고정된

가상의 일탈의 디지털의 정보의 변화하는

‘가상의’, ‘일탈의’, ‘디지털의’, ‘정보의’, ‘변화하는’

스펙트럼의 경계

최종이 아닌 중간의 목적지

스펙트럼의 경계

Emart Sunny Sale Campaign / 3D Shadow QR Code

http://goo.gl/n2rCa1

스펙트럼의 경계

Emart Sale Navigation - Lighting Coupon

http://goo.gl/O6Ox28

뉴미디어를 경험할 때 우리는 ‘가상’과 ‘현실’을 구분할 수 있는가?

가상과 현실의 경계

가상과 현실의 경계

뉴미디어를 경험할 때 우리는 가상과 현실을 구분할 수 있는가

Box by Bot & Dolly

http://goo.gl/lP15Ao

가상과 현실의 경계

뉴미디어를 경험할 때 우리는 가상과 현실을 구분할 수 있는가

현실과 가상의 혼재 속에서 사용자들의 인식으로부터 그 경계가 사라지는 지점을 발견

컨텐츠, 서비스, 사물, 시간, 공간 등이 뉴미디어를 통해 결합

뉴미디어를 통한 ‘가상’과 ‘현실’의 결합

뉴미디어를 통한 경험의 확장

뉴미디어를 통한 경험의 확장

가상의, 일탈의, 디지털의, 정보의, 변화하는...

앞서의 변화는 상수가 변수로 대체되는 현상으로 이야기 될 수 있음

고정적인 것(Fixed) 에서 유동적인 것(Flexible, Mobile) 으로 빈 자리를 남겨둠

상수 (Constant)

변수 (Variable)

뉴미디어가 가진 기본적인 속성

여기서의 f( )라는 것은 일종의 알고리즘

y를 결정하는 x가 무엇으로부터 채워지는지가 중요

상수 (Constant) 변수 (Variable)

y = 10 y = f(x)

: :

뉴미디어를 통한 경험의 확장

뉴미디어가 가진 기본적인 속성

채워진 공간을 비워냄으로써 가상 공간과의 경계면을 새롭게 정의

y=f(x)를 채우는 무언가를 통해 현실 공간의 물성을 가볍게, 투명하게, 유연하게 변형

고정된 시간과 주기를 자유자제로 변형하며 실시간으로 상호작용

뉴미디어를 통한 경험의 확장

상수 (Constant) 변수 (Variable)

y = 10 y = f(x)

: :

뉴미디어가 가진 기본적인 속성

뉴미디어를 통한 경험의 확장

현재 우리가 사용하고 있는 뉴미디어

테크놀로지의 발전 속도

+

앞으로 또 어떤 미디어와 테크놀로지가 결합될 수 있을 것인가

뉴미디어와 테크놀로지의 결합

우리의 신체와 항상 함께하는 웨어러블 디바이스

1인칭 시점에서의 일상의 관찰과 기록, 공유 Google Glass

http://goo.gl/PXmNV

뉴미디어와 테크놀로지의 결합

현실 공간을 기반으로 스마트폰을 통해 즐기는 증강현실 게임

추후 Google Glass와의 결합 가능성을 보여주는 사례 Google Ingress

http://goo.gl/BeW3M

뉴미디어와 테크놀로지의 결합

뉴미디어와 현실 공간 내에서의 가상적 경험을 네트워크를 통해 연결

자동적으로 기록되는 게임 속 경험 중 일부를 선택적으로 다시 재생하고 공유 가능 Sony Playstaion4

http://goo.gl/PnQyeh

프로젝션 맵핑

라이트 페인팅

홀로그램 디스플레이

스마트 더스트 / 스마트 픽셀

물리적인 디지털 . . .

뉴미디어를 통한 표현의 확장

뉴미디어를 통한 표현의 확장

건축적 요소 위에 덧입혀진 빛의 시각적 연출

3차원적 시각 경험. 시간의 흐름, 가상의 물리적 속성을 부여

프로젝션 맵핑

Omicron by Anti VJ

뉴미디어를 통한 표현의 확장 - 프로젝션 맵핑

건축적 요소 위에 덧입혀진 빛의 시각적 연출

3차원적 시각 경험. 시간의 흐름, 가상의 물리적 속성을 부여

http://goo.gl/Tzje4

Sagrada Familia Projection

뉴미디어를 통한 표현의 확장 - 프로젝션 맵핑

건축적 요소 위에 덧입혀진 빛의 시각적 연출

3차원적 시각 경험. 시간의 흐름, 가상의 물리적 속성을 부여

http://goo.gl/9Sh9v1

Urban Screen Searchlight

뉴미디어를 통한 표현의 확장 - 프로젝션 맵핑

건축적 요소 위에 덧입혀진 빛의 시각적 연출

3차원적 시각 경험. 시간의 흐름, 가상의 물리적 속성을 부여

http://goo.gl/XyFrwb

뉴미디어를 통한 표현의 확장

라이트 페인팅

시간의 압축을 통해 2차원 빛의 배열을 3차원 적인 빛의 배열로 시각화

McLaren P1 Launch

뉴미디어를 통한 표현의 확장 – 라이트 페인팅

시간의 압축을 통해 2차원 빛의 배열을 3차원 적인 빛의 배열로 시각화

http://goo.gl/sphPX

WiFi Light Painting

뉴미디어를 통한 표현의 확장 – 라이트 페인팅

시간의 압축을 통해 2차원 빛의 배열을 3차원 적인 빛의 배열로 시각화

http://goo.gl/ZAu7gJ

홀로그램 디스플레이

물리적 매개체가 없이 특정 위치에 머무를 수 있는 빛은 존재에 대한 답론

뉴미디어를 통한 표현의 확장

Leia Display System

뉴미디어를 통한 표현의 확장 – 홀로그램 디스플레이

물리적 매개체가 없이 특정 위치에 머무를 수 있는 빛은 존재에 대한 답론

http://goo.gl/U75OnN

스마트 더스트 / 스마트 픽셀

디지털 상에 정의되어 있는 빛의 정보에 상대적 위치의 속성을 부여

뉴미디어를 통한 표현의 확장

Flyfire by MIT SENSEable City Lab

뉴미디어를 통한 표현의 확장 – 스마트 더스트 / 스마트 픽셀

디지털 상에 정의되어 있는 빛의 정보에 상대적 위치의 속성을 부여

http://goo.gl/ChjUO

물리적인 디지털

디지털로 재정의된 현실 공간에 가상적 피드백이 더해짐으로써 두개의 3차원이 중첩되는 세계

실시간적이고 상호작용적이며 현실 공간과의 인지적 분리가 존재하지 않음

뉴미디어를 통한 표현의 확장

The Digital 3D

뉴미디어를 통한 표현의 확장 – 물리적인 디지털

디지털로 재정의된 현실 공간에 가상적 피드백이 더해짐으로써 두개의 3차원이 중첩되는 세계

실시간적이고 상호작용적이며 현실 공간과의 인지적 분리가 존재하지 않음

http://goo.gl/9SFhc

다음 단계의 아날로그와 디지털

다음 단계의 아날로그와 디지털

아날로그는 연속선 상에 있는 데이터. 디지털은 일정 단위로 분절되어 있는 데이터

아날로그와 디지털 사이에는 해상도라는 개념 안에서 근사치에 의해 교차되며 변환

해상도의 극대화는 아날로그를 넘어서는 디지털을 가능하게 함

아날로그와 디지털의 기본적 순환 구조

좌표 프린트 점

점 스캔 픽셀

오랜 시간에 걸쳐 정의된 공간의 구성 요소들이

디지털과 만나면서 어떻게 재정의 될 수 있는가

다음 단계의 아날로그와 디지털

아날로그와 디지털의 새로운 정의

다음 단계의 아날로그와 디지털

아날로그와 디지털의 새로운 정의

점 (Dot) 점 (Point, Coordinate) 점 (Pixel)

다음 단계의 아날로그와 디지털

현실 세계에서 우리의 눈에 보이는 점을 표시하기 위해서는 색, 지름, 두께 등의 속성이 필요

확대된 스케일에서 볼 때 점은 활용하는 매체와 도료에 의해 면을 가진 도형이나 높이를 가진 구조체

아날로그와 디지털의 새로운 정의

점 (Dot) 점 (Point, Coordinate) 점 (Pixel)

다음 단계의 아날로그와 디지털

3차원 공간 상에 약속되어진 가상적인 위치

절대적인 좌표, 상대적인 좌표

아날로그와 디지털의 새로운 정의

점 (Dot) 점 (Point, Coordinate) 점 (Pixel)

다음 단계의 아날로그와 디지털

RGB를 통해 표현되는 색상 정보가 더해진 가상적 좌표

현실 공간에서는 디스플레이 장치의 일정 영역을 차지하는 공간적 형태로 해상도의 개념이 더해짐

확대된 스케일에서 볼 때 디스플레이 장치는 R,G,B의 색상 소자의 조합으로 표현되어지는 구조적를 가짐

아날로그와 디지털의 새로운 정의

점 (Dot) 점 (Point, Coordinate) 점 (Pixel)

다음 단계의 아날로그와 디지털

3D 스캐닝을 통해 생성된 X,Y,Z / R,G, B 로 정의되어지는 점들의 집합

수많은 점의 집합을 하나의 매스로 인식하여 3D 객체화

각각의 점들에 다양한 속성을 정의하고 변형함으로써 새로운 객체를 형상화

아날로그와 디지털의 새로운 정의

Voxel (Volumetric Pixel)

Point Cloud

Unnamed Soundsculpture

다음 단계의 아날로그와 디지털

아날로그와 디지털의 새로운 정의 – Point Cloud http://goo.gl/hgln7

Google Project Tango

다음 단계의 아날로그와 디지털

아날로그와 디지털의 새로운 정의 – Point Cloud http://goo.gl/QdMjxH

다음 단계의 아날로그와 디지털

물리적인 공간과 부피를 가진 디지털적인 좌표

Dot가 가지는 물리적인 개념을 디지털의 개념과 결합

Point Cloud가 3D Printing과 만날 때 해상도로 정의될 수 있는 개념

아날로그와 디지털의 새로운 정의

Voxel (Volumetric Pixel)

Point Cloud

The Invisible Shape of Things Past by ART+COM

다음 단계의 아날로그와 디지털

아날로그와 디지털의 새로운 정의 - Voxel http://goo.gl/kc5edS

다음 단계의 아날로그와 디지털

현실의 사물을 3D Scan하여 얻은 포인트 클라우드 데이터

또는 3D 소프트웨어 상에서 모델링한 데이터를 포인트 클라우드로 변환하여 프린트

아날로그와 디지털의 새로운 정의

4D Printing 3D Printing

다음 단계의 아날로그와 디지털

3D Printing에 형상 기억 등의 다른 차원의 개념과 기능이 더해진 4D Priting의 개념

아날로그와 디지털의 새로운 정의

4D Printing 3D Printing

Self-Assembly Object by Skylar Tibbits

다음 단계의 아날로그와 디지털

아날로그와 디지털의 새로운 정의 – 4D Printing http://goo.gl/k3DE9d

Virtual World - Metaverse

Augmentation (증강)

Intimate (사적인)

Simulation (재현)

External (공적인)

Metaverse

Metaverse (Meta + Universe)는 3D 세계로서의 World Wide Web을 일컫는 용어

현실 세계와 가상 세계가 서로 유연하게 통합되어 그 경계가 모호해지는 세상

Augmentation(증강) - Simulation(재현), Intimate(사적인) - External(공적인)의 2축에 의해 4종류로 분류

Metaverse

Metaverse (Meta + Universe)는 3D 세계로서의 World Wide Web을 일컫는 용어

현실 세계와 가상 세계가 서로 유연하게 통합되어 그 경계가 모호해지는 세상

Augmentation(증강) - Simulation(재현), Intimate(사적인) - External(공적인)의 2축에 의해 4종류로 분류

Intimate (사적인)

External (공적인)

Augmentation (증강)

Simulation (재현)

Augmented Reality

Lifelogging

Mirror World Virtual World

Metaverse

현실 세계와 가상의 데이터가 혼합되어지는 현실로 스마트폰의 확산으로 이미 대중적으로 인지되는 단계

급진적인 상상의 영역이기 앞서 빅 데이터 중심의 서비스 영역으로 발전

Augmented Reality

(Augmentation + External)

Intimate External

Augmentation

Simulation

Augmented Reality

Lifelogging

Mirror World

Virtual World

Metaverse

실시간적으로 생성되는 개인의 데이터와 현실의 세계가 만나서 결합되는 지점

기능보다는 감성에 초점을 둔 서비스의 영역으로 발전

예. Google Glass, Nike Fuelband

Lifelogging

(Augmentation + Intimate)

Intimate External

Augmentation

Simulation

Augmented Reality

Lifelogging

Mirror World

Virtual World

Metaverse

데이터 측면에서의 실제 세계의 재현

예. Microsoft Virtual Earth, Google Street / Earth / Liquid Galaxy

Mirror World

(Simulation + External)

Intimate External

Augmentation

Simulation

Augmented Reality

Lifelogging

Mirror World

Virtual World

Metaverse

Mirror World (Simulation + External)

Google Liquid Galaxy

http://goo.gl/1fiJlD

Metaverse

현실 세계의 확장으로서의 가상적 경험

참고. Second Life, Minecraft, World of Warcraft, Oculus VR

Virtual World

(Simulation + Intimate)

Intimate External

Augmentation

Simulation

Augmented Reality

Lifelogging

Mirror World

Virtual World

Metaverse

Virtual World (Simulation + Intimate)

GTA 4 in VR - Cyberith Virtualizer + Oculus Rift + Wii Mote

http://goo.gl/1lxv4s

Virtual Reality에서 Real Virtuality로

Virtual Reality에서 Real Virtuality로

가상의 현실을 의미하는 Virtual Reality로부터 Real Virtuality로의 변화

현실을 닮아가는 가상 세계가 아닌 현실의 경계를 넘어서는 가상

Real Virtuality

Virtual Reality에서 Real Virtuality로

원하는 시간, 원하는 위치, 원하는 방향의 세상을 경험

시간의 흐름을 거슬러 과거와 미래가 현재와 공존

현실 세계에서는 불가능한 다양한 상호 작용이 가능

Real Virtuality에서의 시간과 공간 개념

현실을 넘어서는 가상의 세계

Google Street View Hyperlapse

Virtual Reality에서 Real Virtuality로

http://goo.gl/pgRYm

현실을 넘어서는 가상의 세계

Microsoft Street Slide View

Virtual Reality에서 Real Virtuality로

http://goo.gl/SCg8

현실을 넘어서는 가상의 세계

Microsoft Augmented Reality Maps

Virtual Reality에서 Real Virtuality로

http://goo.gl/XLca

현실을 넘어서는 가상의 세계

Virtual Reality에서 Real Virtuality로

웹을 통해 보고 있는 지도의 이미지가 오늘 아침에 촬영된 이미지라면?

실시간으로 세상 어느 곳의 모습이든 원하는 뷰에서 확인할 수 있다면?

현실을 넘어서는 가상의 세계

Virtual Reality에서 Real Virtuality로

현재가 아닌 과거 시점의 이미지를 원하는 대로 선택할 수 있다면?

완성되지 않은 건축물이 담겨진 미래 시점의 이미지를 선택할 수 있다면?

영화 '매트릭스'에서 그리던 세상이 우리를 찾아오는 순간

Virtual Reality에서 Real Virtuality로

Main Body에서 Second Body로

Main Body에서 Second Body로

디지털로 구성된 또 하나의 확장된 신체인 Second Body

디지털로 구성된 공간, 혹은 사물과 실시간으로 상호작용하며 신체와의 관계를 재정의

Main Body + Second Body

신체는 인식, 접속, 반응, 소통을 위한 기본적인 인터페이스

공간과의 상호작용은 철저하게 우리의 신체를 기반으로 함

Main Body

Main Body에서 Second Body로

나와 함께 움직이며 변화해가는 데이터(정체성, 관계성, 경험, 기호 등...)의 층위

단순히 신체를 벗어나는 대신 새로운 신체와 함께 중첩되는 것

Second Body

Main Body에서 Second Body로

Real Virtuality 세계 속의 Second Body

두개의 세상, 두개의 신체, 하나의 경험

Real Virtuality 세계 속의 Second Body

현실 이상의 시간적, 공간적, 맥락적 경험

일상과 일탈을 하나로 연결하는 서비스와 컨텐츠 경험

Ultimate Battlefield Simulator

Real Virtuality 세계 속의 Second Body

http://goo.gl/fGvi2

Oculus VR

Real Virtuality 세계 속의 Second Body

http://goo.gl/rxA9mm

Immersive Space

Real Virtuality 세계 속의 Second Body

우리가 익숙한 신체를 보다 효과적으로 활용하여 공간에 접속

공간은 사용자를 이해하고 적극적으로 상호 반응

극단적 몰입을 통해 신체가 가진 감각의 최대치를 경험

Digital Context

Real Virtuality 세계 속의 Second Body

문맥적으로 고려해야했던 제약 조건들이 인공 환경하에 언제든 통제 가능한 빈 영역으로 남겨짐

절차적으로 반영되었던 과거 중심의 역사적, 사회적 이슈들이 점점 실시간의 것들로 대체됨

Real Time

Real Virtuality 세계 속의 Second Body

원래부터 실시간이었던 세상 속에서 보다 극단적인 실시간성을 경험

다양한 기술이나 SNS등의 커뮤니티을 통해서 사람들과 실시간적으로 이루어지는 소통

Interactive Storytelling

Real Virtuality 세계 속의 Second Body

자신의 아이덴티티가 반영된 자신만의 스토리를 형성

현재의 자신과 무관한 이야기인가 그렇지 않은지 여부가 만들어내는 몰입의 차이

Second Body를 통해 우리는 무엇을 경험할 수 있을까

Real Virtuality 세계 속의 Second Body

Real Virtuality의 공간에서 우리의 경험은 앞으로 어떻게 변화해갈 것인가

마무리하며...

가상의, 일탈의, 디지털의, 정보의, 변화하는...

뉴미디어와 테크놀로지의 등장 가운데 형성되는 새로운 공간, 새로운 신체

이러한 공간과 신체를 통해 새롭게 정의되는 세상 속에서 우리는 무엇을 만들어갈 것인가

heavenlydesigner@gmail.com heavenlydesigner.com

신기헌

https://sites.google.com/site/heavenlydesigner/lecture/hanyangarchi