Ar 최신기술과 서비스 동향 및 전망

방송통신기술 이슈&전망 2013년 제 9 호

증강현실(AR) 최신기술과 서비스

동향 및 전망

Korea Communications Agency❙ 2013.12.10

2


개요

증강현실은 요즘 가장 핫(Hot)한 이슈중의 하나다. 기술로도 분류되고, 그 자체로

서비스 영역에 포함되기도 한다. 그리고 다른 응용기술과 융합되어 별도의 서비스

에 활용되기도 하는데, 이러한 증강현실 기술은 다가올 미래를 위해 놓치지 말아

야 할 선도기술임에 틀림이 없다. 이에 본고에서는 증강현실 기술의 정의와 응용

분야, 기술 동향을 살펴보기로 한다.

1. 증강현실 기술의 정의

증강현실이라는 용어는 보잉사의 연구원인 톰 코델(Tom Caudell)이 1990년부터

사용한 것으로 알려져 있다. 당시 비행기 케이블 연결작업을 위한 시스템 개발

과정에서 생긴 개념으로, 이후 산업 분야에 널리 응용되는 응용학문으로 자리

잡아가고 있다. 즉 광고, 산업, 내비게이션, 의학, 관광, 교육, 군사 등 그 응용분

야는 실로 무궁무진하고, 실제로 미래 또한 밝은 편이다.

위키피디아에서는 증강현실(AR, Augmented Reality)을 가상현실(VR, Virtual

Reality)의 한 분야로, 실제 환경에 가상사물이나 정보를 합성해 원래의 환경에

존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이라고 정의하고 있으며,

사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이라고 정의

하고 있다. 또, 현실세계와 컴퓨터 그래픽의 가상세계를 결합하여 영상을 보여

주므로 혼합현실(Mixed Reality, MR)이라고도 불린다.

Milgram은 1994년 그의 논문에서 실세계-가상 연속(Reality-Virtuality

Continuum)이라는 개념을 소개하였는데, 실제환경(Real Environment)과 가상환경

(Virtual Environment)이 존재하며 그 사이에 증강현실과 증강가상(Augmented

Virtuality)이 존재한다고 하였다. 증강현실은 주로 배경이 현실이고 증강된 객체

가 가상인 경우가 많으나 증강가상은 배경이 가상이고 현실 객체가 증강되는 경

우가 많다.

3

증강현실(AR) 최신 기술과 서비스 동향 및 전망

<그림 1> Milgram의 실세계-가상세계의 연속

※ 출처 : Reviewer’s Report: ISMAR 2009(2009. 11. 5)

2. 증강현실의 응용 분야

(1) 의료

증강현실은 의료의 여러 분야에 응용되고 있는데, 예를 들어 수술에 응용될 수

있다. 최근에는 수술시 최소로 환부를 만드는 최소침습수술(minimally invasive

surgery)이 선호되어 구멍을 뚫어 수술하는 경우가 점차 증가하고 있다. 이러한

수술에 적용될 수 있는 적절한 방식이 증강현실을 이용한 수술이다. 개복수술에

비해 환자의 내부를 육안으로 확인이 어려운 단점이 있지만, 이를 보완하기 위

해 MRI나 CT 영상을 현재 영상과 합성하여 보여주는 기술이 사용되고 있다.

또한 환자의 환부를 정합하여 보다 면밀한 진단을 할 수도 있다. <그림 2>와

같은 맥락적 해부 묘사(Contextual Anatomical Mimesis) 방법을 통해 환자의 내

부를 미리 살펴보는 방법이 뮌헨 대학교에서 연구되고 있는데 이 연구에서는 환

자의 얼굴에 IR 발광체를 붙이고 IR 카메라를 사용해서 정확한 얼굴의 자세를

추적한 뒤 기존의 MRI 데이터를 덧씌워 환자의 얼굴 내부를 보는 듯이 진료가

가능하다.

4


<그림 2> 의료용 증강현실 사례

※ 출처 : Research in Medical Augmented Reality

(Lehrstuhl für Computer Aided Medical Procedures & Augmented Reality)

http://campar.in.tum.de/Chair/ResearchIssueMedAR

(2) 산업

산업 분야에서는 가상 프로토타이핑(Virtual Prototyping)이나 가상 공정(Virtual

Manufacturing) 등의 분야에서 주로 사용된다. 비행기나 자동차와 같은 복잡한

구조물의 설계, 제작 시 수많은 정보를 직관적으로 표시하기 위해 증강현실 기

술을 이용해 왔다. <그림 3>은 보잉사의 비행기 설계 및 제작과정에 증강현실

기술을 사용하는 예이다. 사용자는 HMD(Head Mounted Display)를 착용하고 각

부분에 적합한 정보를 볼 수 있게 된다. 이러한 방식은 보다 직관적인 정보 제

공이 가능해 설계의 오류를 줄이고 보다 빠른 프로토타이핑이 가능하게 된다.

<그림 3> 증강현실을 이용한 비행기 설계 및 제작

※ 출처 : Boeing wire harness assembly. Adam Janin wearing HMD.

http://lgm.fri.uni-lj.si/RG/OBOGAT_RESNICNOST/obogatenaResnicnost_files/frame.htm

증강현실을 이용해 공장이나 도시를 프로토타이핑 하기도 하는데 <그림 4>와

같이 공장에서 복잡한 파이프들을 반투명하게 보여줌으로서 준비된 공장 부지에

5


공장을 미리 설계해 볼 수 있다. 또한 자동차 수리와 같이 전문성이 요구되는

경우에 일반인이 손쉽게 따라서 할 수 있도록 도와주는 증강현실 자동차 수리

등에도 자주 응용된다.

<그림 4> 증강현실을 이용한 자동차 수리

※ 출처 : the following is an example of a lesson from the upcoming tech-gadgets course

http://designboom.com/weblog/section.php?SECTION_PK=rsnewqpivvi&start=5880&num_record_tot=82..

증강 현실을 이용한 훈련 시스템도 또 하나의 응용사례이다. <그림 5>의 선박

도장 훈련 시뮬레이션은 프로젝터를 이용하여 선박의 모양을 벽면에 증강시키고

그 위에 사용자가 직접 페인트칠을 시범적으로 해보는 시스템이다. 이러한 기술

을 공간 증강 현실(Spatial Augmented Reality)라고도 부르는데 실제 공간에 정보

를 뿌려주는 방식이다. 이 경우에는 사용자의 시점을 알아내어 가상 선박을 바

라보는 시야 또한 그에 맞게 반영하여 실제의 선박을 보는 듯한 효과를 낸다.

<그림 5> 선박 도장 훈련 시뮬레이션 : 한국전자통신연구원

※ 출처 : 선박 도장 훈련용 시스템 개발(정보통신신문, 2007. 06. 04)

6


(3) 교육

증강현실 활용분야 중 대중화가 쉬운 분야가 교육 분야이다. 뉴질랜드 HITLab

에서 개발된 MagicBook은 책 페이지에 맞게 콘텐츠를 정합하여 가시화하는 방

식인데, 이러한 기술은 책에 살아 움직이는 콘텐츠를 보여주는 방식으로 어린이

들의 집중도를 높여 교육효과를 제고한다.

또한 2차원 자료를 3차원으로 복원하여 보여주는 것도 가능하다. 왕의 어진이

역사자료로 남아 있는데, 이는 2차원적인 그림으로 존재함으로써 입체적인 정보

가 부족할 수가 있다. 그러나, 증강현실 기술을 이용함으로써 3차원으로 복원하

여 보여주는 것이 가능하다.

<증강현실을 이용한 Magic Book : 뉴질랜드 HITLab>

<책의 2차원 그림을 3차원으로 보여주는 증강현실 기술 : 한국과학기술연구원>

<그림 6> 교육용 증강현실 사례

※ 출처 : KISTI 내부 자료

(4) 관광

또한 증강현실 기술은 관광에도 이용된다. 예를 들어 사용자가 HMD를 착용한

채로 관광지를 돌아다닐 때 과거에 존재했던 상황을 재현해서 볼 수 있다. 제네

바 대학에서 ‘LifePlus’연구를 진행했는데 이 연구에서는 폼페이 시대의 캐릭

터들을 부활시켜 유적 곳곳에 살아 있는 듯이 재현을 시켰다. 현재는 이를 위해

위치추적기기와 영상처리 컴퓨터 등을 짊어지고 다녀야 하나 향후에는 모바일

기기로 대체될 것이다.

7


<그림 7> LifrPlus 폼페이의 유적에 증강현실로 살아있는 캐릭터 활용 (제네바 대학)


그리고 박물관이나 관광지의 유적에 대한 정보도 쉽게 얻을 수 있다. 모바일

기기로 관심 있는 유적을 보았을 때 자동인식으로 정보를 표시해주고, 보다 많

은 정보를 원할 때는 클릭을 통해 추가 정보를 구할 수 있다. 이러한 기술은 모

바일 증강현실 가이드처럼 이용되어 관광객들에게 기존의 가이드 기기 이상의

효과를 줄 수 있다.

<그림 8> 증강현실로 유물의 정보를 보여주는 예 : 한국과학기술연구원


3. 증강현실 기술 동향

(1) 웨어러블 증강현실 (Wearable Augmented Reality)

웨어러블 증강현실 시스템은 웨어러블 컴퓨팅(Wearable Computing)의 일환으로

연구되는 분야이다. 콜롬비아 대학교의 MARS시스템을 표시한 <그림 9> (좌)의

경우 사용자는 HMD(Head Mounted Display)를 착용하고 있고, 앞쪽을 향한 카메

8


라가 있다. 카메라에서 찍힌 영상과 컴퓨터로 생성한 영상을 합해 HMD로 투사

해주는 방식을 취한다. 이런 방식을 비디오 투과 디스플레이 방식 (Video

See-Through Display)라 하는데, 사용자의 위치 및 자세는 GPS와 자세를 감지할

수 있는 센서(Inertial Sensor 등)를 사용해 추정한다. 사용자 위치에서 보여주어

야 할 영상을 사용자에게 보여주게 된다. 또한 사용자가 시스템과 인터랙션을

하는 방법으로는 <그림 9>의 가운데 그림에서 볼 수 있듯이 마커가 인쇄된 터치

패드 등을 사용할 수도 있고, <그림 9>의 오른쪽의 Tinmith 시스템처럼 손에 마

커가 인쇄된 장갑을 착용한 채로 인터랙션을 할 수도 있다.

<그림 9> (좌)(가운데)콜롬비아 대학교 MARS 시스템 (우) 남호주대학의 Tinmith 시스템


(2) 핸드헬드 증강현실 (Handheld Augmented Reality)

핸드헬드 증강현실은 들고 다닐 수 있는 증강현실을 의미한다. 주로 PDA나 스

마트폰 등과 같은 장비를 이용하여 증강현실을 구현한다. 1997년 필립 칸(Philip

Kahn)이 최초의 카메라 폰을 만든 이후에 1999년 샤프에서 J-SH04라는 최초의

상업용 카메라 폰이 출시되면서, 증강현실 연구자들의 주요 관심분야가 기존의

크고 무거운 웨어러블 증강현실 방식에서 핸드헬드 방식의 증강현실 방식으로

전환되었다. 초반에는 주로 PDA를 이용한 증강현실 시스템이 주로 사용 되었으

나 최근에는 스마트폰 사용방식이 주로 이용되고 있다.

(3) 위치 기반 핸드헬드 증강현실

최근 스마트폰에 GPS나 가속도센서, 디지털나침반 등의 다양한 센서들이 내장

되면서 위치기반 핸드헬드 증강현실이 일반화되고 있다. Wikitude 서비스는

World Browser라는 개념으로 주위의 정보를 보여주는 위치기반 증강현실 서비

9


스를 상용화하였다. 최근에는 Wikitude에서 증강현실 표준화를 위해 ARML(증강

현실 마크업 언어)을 만들고 있는데, 바로 Layar 서비스이다. 사용자는 Layar 서

비스에서 자신이 제공받기 원하는 카테고리를 선택하면 선택적으로 증강현실로

제공해준다. 즉 주변의 호텔정보를 알고 싶어 호텔을 선택하면 호텔 관련정보를

제공하는 서비스 업체의 콘텐츠를 볼 수 있게 된다. Layar는 서비스 제공자가

자신의 서비스를 Layar 브라우저에 탑재를 할 수 있도록 지원하는 부분이 쉬워

많은 업체에서 자신의 콘텐츠를 서비스하게 되었다.

<그림 10> (좌) Wikitude (우) Layar


(4) 초기의 영상기반 핸드헬드 증강현실

2003년 Gausemeier 연구팀은 PDA에서 모델기반 추적기술을 발표했다. 이 연구

에서는 thin-client 방식을 사용해 서버에서 영상처리 하는 방식을 채택했으나

실시간으로 추적되지는 않았다. 이후 Paelke가 2004년 Kick Real을 연구하는데,

이는 모바일 단말기에서 발로 축구 등을 하는 방식이었다. 여기서는 실제 발의

둘레를 인식하는 방식을 채택하였다.

<그림 11> (좌) AR-PDA (2003, Gausemeier) (우) Kick Real (2004, Paelke)


10


(5) 마커기반 핸드헬드 증강현실

1997년 Kato & Billinghurst가 ARToolKit을 개발해 발표한 후 데스크탑에서

ARToolKit이 대중적으로 많이 사용되었다. 이는 간단히 OpenGL 프로그래밍만

추가하는 형태로 증강현실 프로그램을 개발할 수 있었기 때문이다. 이에 모바일

단말기에 ARToolKit을 옮기려는 시도가 있었고, 실제로 Wagner가 2003년 PDA에

동작하도록 구현하였다. 이후 2004년에는 Möhring이 기존 ARToolKit 마커 형태

가 아닌 3차원 마커 형태로 개발하였고, 2005년에는 심비안 플랫폼으로도 개발

이 이루어지게 된다.

<그림 12> (좌) PDA에 구현한 ARToolKit (2003, Wagner)

(가운데) 3D 마커 추적 (2004, Möhring), (우) 심비안폰에 구현된 ARToolKit (2005, Henrysson)

한편 다양한 형태의 마커를 인식하고 추적하는 기술들이 개발되었는데,

QRCode와 비슷한 형태로 마커에 코드를 넣고 인식, 추적하는 기술도 개발되었

다. 2005년 Rohs가 Visual Codes를, 2006년 Wagner는 Studierstube에 프레임마커

등의 새로운 방식의 마커를 구현하기도 한다.

또 공간상의 점과 점사이의 거리를 분석하여 카메라의 위치 및 형태를 추적하는

점 추적방식의 기술도 있다

<그림 13> (좌) Visual Codes (2005, Rohs) (가운데) Studierstube (2006,

Wagner), (우) WikEye (2007, Schöning)

11


<그림 14> 다양한 형태의 증강현실 마커


마커기반 증강현실은 아래의 그림과 같은 과정을 거쳐서 이루어진다. 입력 비

디오를 일정한 값을 기준점으로 잡고 이진화를 시킨다. 그 이후에 마커의 테두

리를 추출하고 그로부터 마커와 카메라의 상대적인 자세를 표현하는

transformation matrix를 추출해낸다.

<그림 15> 마커기반 증강현실 방법

※ 출처 : Your First ARToolKit Example http://www.hitl.washington.edu/artoolkit/documentation/userstartup.htm

(6) 자연특징 기반 핸드헬드 증강현실

자연특징 기반 핸드헬드 증강현실이란 카메라에 들어오는 영상에서 추출할 수

있는 구분이 쉬운 점들을 특징점으로 카메라의 움직임 및 자세를 추정해 증강현

실을 구현하는 방식이다. <그림 16>에서 보듯이 특정한 물체의 특징점을 영상에

서 추출해 저장을 하고 카메라가 이동하면 저장된 특징점과 현재 보는 영상의

특징점을 비교하여 같은 것을 찾는다. 그리고 그 특징점을 이용해 대상물체의

자세를 계산하게 된다. 그리고 대상물체에 정합을 하려고 하는 가상의 물체를

12


정합시키면 증강현실로 표현이 된다.

<그림 16>. 자연 특징점 매칭 방식


이러한 자연특징점 방식으로 증강현실을 할 수 있는 엔진이 여러 업체 등에서

개발되고 있는데 대표적인 것이 퀄컴(Qualcomm)의 AR SDK이다. 퀄컴의 AR

SDK는 안드로이드 단말기에서 증강현실 어플리케이션을 개발할 수 있는 API를

제공하고 있다.

<그림 17> 퀄컴 AR SDK 구조 및 시연 예

※ 출처 : Qualcomm AR SDK up, Challenge Underway

http://augmentedjonathan.tumblr.com/post/1313009303/qualcomm-ar-sdk-up-challenge-underway

(7) 환경 특징점 기반 증강현실

환경 특징점 기반 증강현실은 주위 환경의 특징들을 지도형태로 만들어 추적하

는 방식이다. 원래 로봇비젼 쪽에서 로봇의 주행을 도와주기 위해

SLAM(Simultaneous Localization and Mapping) 분야로 연구하고 있는 기술을 증

강현실 쪽에서 사용하게 되었다. 이 분야는 옥스퍼드 대학의 Georg Klein이 연

13


구를 많이 하였는데 PTAM(Parallel Tracking and Mapping)이라는 이름으로 공개

되어 있다. 아직 상용화하기에는 안정성이 떨어지는 단점도 있고, 기술적으로 가

장 난이도가 높으며, 표현범위가 광범위하고, 오차 가능성이 높다. 그러나 가장

활용도가 높고, 범용적으로 사용될 수 있는 사용자관점의 기술이기 때문에 발전

가능성은 매우 높다고 할 수 있다.

<그림 18> 환경 특징점 기반 증강현실 (PTAM)

※ 출처 : PTAM AVI experiment 2 http://www.youtube.com/watch?v=PpZEL5oX3cU

(8) 영상인식 기반 방법

최근에는 영상을 인식해서 대상 물체를 구분하거나 글자를 인식해 번역해주는

서비스들이 등장하고 있다. 흔히 Visual Search라 불리는 서비스들은 이전에 노

키아의 Point and Find같은 서비스로 출시되기도 하였으나 최근 Google에서 자

사 서비스들과 연계하여 대상 인식 및 문자 번역으로 Goggles라는 서비스를 출

시하기도 하였다. 국내에서도 DAUM 및 Olaworks 등의 회사에서 유사한 서비스

를 출시하고 있다.

<그림 19> 구글 고글스 (Google Goggles)

※ 출처 : Google Goggles Let You Search by Taking Pictures

http://quickwebtips.info/download-google-goggles-app/

14


(9) 최근 기술

지금까지의 증강현실 관련 기술들이 센서에 의존적이었다면, 최근에는 퀄컴이 관

련기술들을 다양하게 개발하면서 다양한 방식의 기술이 시도되고 있는 것이 특징

이다. 대표적으로, 현실감 강화를 위해 Illumination, Physics, Ray-tracing 등 다양

한 기술적 시도들이 실험적 수준으로 발표되고 있다. 그러나 여전히 킬러 애플리

케이션 부재로 의료, 자동차, 캐주얼 게임 분야 등에서 실험적 수준에 그치고 있

다.

한편, 증강현실 POI1)는 실내외 위치 측위 및 방향 등을 정확하게 계측함으로써

군사·의료 및 상업적 필요가 매우 높아 글로벌 기업들을 중심으로 표준이 더욱

주목받고 있다. 즉 POI 자체에 대한 기술보다는 정확한 측위기술 및 영상화면 노

출방식 등에 대한 기술에 초점을 맞추고 있다.

증강현실에서 사용되는 다양한 센서들의 상호 간섭으로부터 안정적 서비스 제공

을 위해 다양한 기술적 시도와 노력이 진행중인데, 증강현실의 큰 분류인 ‘식별자

(Marker) 방식’과 ‘비식별자(Markerless) 방식’이 다른 형태의 기술 분야로 발전되고

있고 OMA와 W3C 등에서도 각기 기술 표준화를 추진하는 등 엇갈린 행보를 보이

고 있다. 그러나 스마트폰에 탑재되는 카메라와 연동될 수밖에 없는 H/W 기반의

증강현실 기술은 스마트폰 단말기 시장의 장악력이 높은 국내 기술이 선도할 가능

성도 높다. 다만, OS와 플랫폼 측면의 기술 보강은 꾸준히 진행되어야 할 것이다.

4. 맺음말

증강현실은 불과 몇 년 전까지만 해도 매우 각광받는 기술이자 서비스였다. 하지

만 여러 가지 기술적 문제와 서비스 사업자의 수익 모델 제시 실패로 침체기를

겪고 있는 것이 현실이다. 그러나 구글 글래스를 비롯하여 다양한 시도들이 꾸준

하게 전개되고 있으며 지향해야 할 미래가 분명하기 때문에, 증강현실을 향한 도

전은 끊임없이 지속될 것으로 전망되며 이에 향후 미래도 밝다 하겠다.

1) POI(Point of Interest) : 사용자가 관심을 가지는 지역으로, 증강현실에서는 지도 데이터에 주요 거점으로 표시

15


[참고문헌]

[1] ICT 전략맵 Ver. 2014, 정보통신기술협회

본 보고서 안에는 “TTA ICT 표준화 전략맵”에서 인용한 내용이 있으며, 인용에 대한

해당 기관의 사전승인을 얻어 본 보고서를 작성하였음을 알려드립니다

발 행 호❙2013년 제 9 호

발간물명❙증강현실(AR) 최신기술과 서비스 동향 및 전망

방송통신기술 시장･정책 콘텐츠

Business

Ar 최신기술과 서비스 동향 및 전망