보안과 과 ( ), ( o ) 2009-0072446

일 연구자지원

실시간 어 리 이 지능 인 랙

연구A Vision-based Intelligent Interaction for Realtime Applications

산 단

국연구재단

- 1 -

일반연구자지원사업 최종보고서(초안)

양식A101① 부처사업명(대) 기초연구사업 보안등급(보안, 일반) 일반

② 사 업 명(중) 일반연구자지원사업 공개가능여부(공개, 비공개) 공개

③ 세부사업명(소) 기본연구④ 과제성격(기초, 응용, 개발) 기초 ④-1 실용화 대상여부(실용화, 비실용화) 실용화⑤ 과 제 명 국 문 실시간 어플리케이션을 위한 비전 기반 지능형 인터랙션 연구

영 문 A Vision-based Intelligent Interaction for Realtime Applications⑥ 주관연구기관 중앙대학교 산학협력단⑦ 협동연구기관⑧ 주관연구책임자 성 명 김태용 직급(직위) 교수

소속부서 중앙대학교 첨단영상대학원 전 공 컴퓨터비전⑨ 연구개발비 및 참여연구원수 (단위: 천원, M․Y)

년 도 정부출연금(A)기업체부담금 정부외출연금(B)

상대국부담금(F)합계G=(A+B+E) 참여 연구원수현금(C) 현물(D) 소계E=(C+D)

1차년도 47,950 0 47,950 42차년도 0 03차년도 0 04차년도 0 05차년도 0 0

합계 47,950 0 0 0 0 0 47,950 4⑩ 총연구기간 2009. 05. 01 ∼ 2010. 04. 30(12개월)⑪ 다년도협약연구기간 2009. 05. 01 ∼ 2010. 04. 30(12개월)⑫ 당해연도연구기간 2009. 05. 01 ∼ 2010. 04. 30(12개월)⑬ 참여기업 중소기업수 대기업수 기타 계

0⑭ 국제공동연구 상대국연구기관수 상대국연구개발비 상대국연구책임자수

관계 규정과 모든 지시사항을 준수하면서 국가연구개발사업에 따라 수행 중인 연구개발과제의 최종보고서를 붙임과 같이 제출 합니다.

2010 년 4 월 22 일 주관연구책임자 : 김태용 (인) 주관연구기관장 : 중앙대학교 산학협력단장 (직인)

교 육 과 학 기 술 부 장 관 귀하

- 2 -

〈 목 차 〉

Ⅰ. 연구 계획 요약문

1. 국문 요약문 ················································································

Ⅱ. 연구 결과 요약문

1. 국문 요약문 ················································································

2. 영문 요약문 ················································································

Ⅲ. 연구 내용

1. 연구 개발 과제의 개요 ······························································

2. 국내·외 기술 개발 현황 ·····························································

3. 연구 수행 내용 및 결과 ····························································

4. 목표 달성도 및 관련 분야에의 기여도 ··································

5. 연구 결과의 활용 계획 ······························································

6. 연구 과정에서 수집한 해외 과학기술 정보 ··························

7. 주관연구책임자 대표적 연구 실적 ··········································

8. 참고 문헌 ······················································································

9. 연구 성과 ······················································································

10. 기타 성과 ····················································································

3

4

5

6

10

13

29

31

31

34

34

36

37

- 3 -

〈 연구 계획 요약문 〉

양식A201

연구의

목적 및 내용

인간과 컴퓨터의 상호작용에 대한 연구가 많이 진행되어 왔으나, 대부분의 연구가 2D 공간에서의 센서를 바탕으로 한 연구들이었으며 스테레오 비전을 사용한 3D 영상의 실시간 처리 및 실용화는 아직 많은 문제를 가지고 있다. 본 연구에서는 입력 영상을 사용하여 사용자와의 인터랙션 처리를 보다 강건하고 실시간에 적합하도록 개선하여 차세대 게임, 로봇, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능한 비전기반 지능형 인터랙션을 구현한다. 이미 연구 되어 지고 있는 관련된 최신 기술들의 문제점 및 상태를 파악하고 그에 따른 해결 방법을 통합적으로 연구함으로서 원천 기술 확보에 주력한다. 특히 실시간 처리를 위한 속도 향상, 에러에 강건한 트래킹 알고리즘을 개발한다. 마지막으로 관련 분야의 전문 지식과 경험을 충분히 갖춘 전문 인력을 배출함으로써 관련 분야 및 산업체에 기여할 수 있는 교두보를 마련한다.

연구결과

지능형 인터랙션의 연구는 사용자의 제스처를 실시간으로 추적 및 검출하고, 이를 주어진 상황에 적합하게 인지하는 기술의 확보에 목적을 둔다. 1차 년도는 최신 연구 동향을 분석하는 동시에 핵심이 되는 기반 기술인 2D 기반 모델의 상체 검출 및 파티클 필터 기술 확보를 목표로 한다. 그 세부내용으로는 1차년도 다관절체 추적을 위한 상체 검출 및 파티클 필터 기술 확보함에 있어서 “Loose-limbed 그래프 모형화 모델 분석”, “실시간 처리를 위한 배경 인식 기술 개발”, “다관절체 추적을 위한 파티클 필터 알고리즘 개발”, “조명에 강건한 얼굴 검출 알고리즘 개발”을 진행한다.

연구결과의

활용계획

비전기반 지능형 실시간 인터랙션 기술을 개발하면 HCI 분야에서 미디어 아트, 차세대 인터페이스, 교육 및 엔터테인먼트 등의 콘텐츠에 활용이 가능하다. 산업적으로는 인터랙티브 아트, 전시, 엔터테인먼트, 디지털 콘텐츠 분야 등의 차세대 성장 동력 분야에 적용이 가능하고 새로운 고부가 가치 산업에 활용이 가능할 것이며, 특히 장애자/고령자와 같이 도움을 필요로 하는 복지향상 부문에 적용 가능하다. 이러한 연구는 영상처리, 인공지능, 인지 과학 등의 복합된 학문 분야에 대한 전문 인력 양성에 크게 기여할 것이다.

중심어

인터랙션 제스처 인식 영상처리게임인터페이스 파티클 필터 칼만 필터

- 4 -

〈 연구 결과 요약문 〉

〈한글요약문〉양식A202

연구의

목적 및 내용

최근 인간과 컴퓨터의 상호작용에 대한 연구가 많이 진행되어 왔으나, 대부분의 연구가 센서를 바탕으로 한 연구들이었으며 비전 기반에서 영상의 실시간 처리 및 인터랙션의 실용화는 아직 많은 숙제를 가지고 있다. 본 연구에서는 비전 기반의 인터랙션 처리를 보다 강건하고 실시간에 적합하도록 개선하기 위하여 기반이 되는 배경 영상제거 및 오브젝트 추적 기술의 개선 및 알고리즘 개발을 수행하였다. 특히 연구를 진행함에 있어 실시간 처리를 위한 속도 향상 및 잡음에 강건한 트래킹에 기술 확보를 연구 목표로 하였다.

연구결과

본 연구에서는 사용자의 제스처를 실시간으로 추적하고 인식하기 위하여 기반 기술 확보에 주력하였다. 크게 전처리 단계에서 강건한 배경 영상 제거 기술을 확보하였으며 영상 추적 단계에서 칼만 필터 및 파티클 필터의 분석 개선으로 성공적인 결과를 얻을 수 있었다. 배경 제거에서 컬러나 에지가 아닌 텍스쳐 기반의 기법을 사용하여 강건한 결과를 얻을 수 있었으며 인테그럴 히스토그램을 사용하여 연산 속도를 향상시켜 실시간 적용이 가능함을 확인하였다. 또한 믹스쳐 모델을 활용하여 멀티 모달에 적응적인 배경 제거 결과를 얻을 수 있었다. 오브젝트 추적 분야에 활용되는 칼만 필터의 경우 축구 영상에 활용하여 상대적으로 크기가 작은 공의 추적에 성공하였으며 기존의 칼만 필터를 개선한 동적 칼만 필터를 개발하여 추적 성능을 향상 시켰다. 또한 다관절체 모델을 추적하기 위하여 상체 키네메틱 연결 모형을 개발하였으며 파티클 필터를 실시간에 사용하기 위하여 인테그럴 히스토그램 기반의 파티클 필터를 개발하여 개선된 결과를 얻을 수 있었다. 응용 분야 활용 여부를 확인하기 위하여 시뮬레이션 게임을 제작하였고 파티클 필터 기반 포즈 인터페이스와 결합하여 97% 이상의 인식률을 확인하였다.

연구결과의

활용계획

비전기반 지능형 실시간 인터랙션 기술을 개발하면 HCI 분야에서 미디어 아트, 차세대 인터페이스, 교육 및 엔터테인먼트 등의 콘텐츠에 활용이 가능하다. 산업적으로는 인터랙티브 아트, 전시, 엔터테인먼트, 디지털 콘텐츠 분야 등의 차세대 성장 동력 분야에 적용이 가능하고 새로운 고부가 가치 산업에 활용이 가능할 것이며, 특히 장애자/고령자와 같이 도움을 필요로 하는 노약자의 복지향상 부문에 적용 가능하다. 이러한 연구는 영상처리, 인공지능, 인지 과학 등의 복합된 학문 분야에 대한 전문 인력 양성에 기여할 것이다.

중심어

인터랙션 제스처 인식 영상처리게임인터페이스 파티클 필터 칼만 필터

- 5 -

〈 SUMMARY 〉양식A203

Purpose&contents

Recently, there are numerous research studies in Human-computer interaction. However, most of researches have been worked regarding to Sensor-based interaction and Vision-based interaction has a lot of problems to adopt practical applications in real-time. In this research, we develop a real-time method which improves the performance of tracking objects and background subtraction. Especially, we focused on the development of a tracking method that is robust to noises and increases training speed for real-time processing.

Result

In this research, we focused on the development of techniques for recognizing and chasing user's gesture in real-time. As a result of our research, we develop a robust background subtraction method using Integral Histogram and Gaussian mixture model that improves processing speed as much as we can apply it in real-time applications. We also propose a novel Dynamic Kalman Filter to track the ball for soccer videos, and the results present that the Dynamic Kalman Filter robustly tracks a ball against the Typical Kalman Filter. In addition, we model the upper-body kinematic chain to track articulated limbs and track face and hands using Particle Filter with Integral Histogram for pose recognition. Finally, experimental results show that the method achieves 97% recognition rates for a prototype game and it can be used as a human interface system for various applications.

ExpectedContribution

The proposed method produced good results when tracking hands or a ball in real-time environment because the integral histogram takes advantage of the high processing speed and invariant features over scale and rotation changes. The detection method can be the user interface for applications in interactive arts, entertainment devices and games. With this technique audience can use devices conveniently with intuitive manner, particularly for the old and the infirm. The researchers participated in this work have strong knowledge about human-computer interaction techniques and they will contribute the development of the related industry.

KeywordsUser Interaction Gesture Recognition Image ProcessingGame Interface Particle Filter Kalman Filter

- 6 -

양식A301

◎ 1. 연구개발과제의 개요 ~ 10. 중요 연구변경 사항을 항목에 따라 작성함◎ 제목 14point, 소제목 12point, 본문내용은 10point로 작성하며, 줄 간 간격은 조정 가능함◎ 연구내용 및 결과는 50페이지 이내로 작성함◎ 내용 작성과 관련한 설명내용(청색 박스로 표시된 부분)은 내용 작성 시 제거하고 기술함

가. 기술 개발 개요

그림 1. 비전기반 실시간 지능형 인터렉션 기술의 개요도

- 인간과 컴퓨터의 상호작용(Human Computer interaction: HCI) 측면에서 보면, 3차원 공간에서 살고 있는 사용자는 여전히 2차원 기반으로 제작된 부자연스러운 인터페이스를 벗어나지 못하고 있음.

- 또한 기술의 발전에 따른 새로운 인터페이스들의 등장 역시 사용자가 새로이 학습을 해야 하는 불편함과 경험적 선호도, 높은 초기비용이라는 진입 장벽에 부딪치는 것을 감수해야 함.

- 하지만 이미 국내외 많이 보급되어있는 가시광선 기반 카메라 시스템을 사용한다면 초기 설치비가 적게 들고 사용자에게 있어 매우 직관적이고 자연스럽게 접근 및 학습 할 수 있는 기회를 제공할 수 있음.

- 따라서 본 연구에서는 입력 영상을 사용하여 사용자와의 인터랙션 처리를 보다 강건하고 실시간에 적합하도록 개선하여 차세대 게임, 로봇, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능한 비전기반 지능형 인터랙션을 구현하는 것을 그 목적으로 함.

〈 연구내용 및 결과 〉

1. 연구개발과제의 개요

- 7 -

- 실시간 어플리케이션에 사용하기 위한 고속 처리 기술 개발.- 영상 기반의 강건한 다관절체 추적 기술 개발.

나. 연구 배경 및 중요성

1) 3D 기반 사용자 인터페이스 필요성 대두- 현재 세계 각국에서는 지능형 반응 공간 기술을 상용화하기 위한 연구가 활발하게 진행. - Apple사가 Multi-dimensional interface에 관한 특허 (출처: AppleInsider 08.12.11).- 리눅스 기반의 3D 유저인터페이스(UI)를 지원하는 모바일인터넷디바이스(MID)가 대만 인텔 개

발자회의(IDF) 2008에서 공개돼 참관객들의 이목을 끌었음 (출처: ZDNet Korea 08.10.22).- 이는 차세대 OS의 발전 방향이 3D인터페이스 기초로 성장할 것임을 보여 주는 강한 증거임. - 특히 지금까지의 2D 기반의 인터페이스는 점차 많은 부분 현실 세계의 3차원 공간과 닮아가는

가상환경에서 사용자들의 요구를 모두 만족시켜줄 수 없음.- 이미 많은 사용자들이 새롭고 실용적인 3D기반 인터페이스의 개발과 보급에 대한 관심이 높아지

고 있음.- 3D 인터페이스는 사용자들의 컴퓨터 활용 경험과 디지털 콘텐츠 접근 방식을 새로이 바꿔놓을

수 있다는 것에서 큰 의미를 갖음.- 3D 기반 인터페이스의 사용은 사용자에게 더욱 직관적인 사용 환경과 보안, 인지, 리얼리티 등을

제공하며 사용이 편리하고 최초 접근 장벽을 낮춰주는 등 다양한 강점을 지니고 있음.- 이에 따라 다음 세대의 기술 발전 방향 역시 3D 기반의 사용자 환경에 맞추어 발전 및 개발 되

어야 할 필요성이 대두.

2) 비전 기반 지능형 인터랙션 기술의 중요성- 차세대 인터페이스 개발 방향은 크게 센서 기반과 비전 프로세싱 기반의 두 가지로 나눠짐.- 센서 기반 인터페이스는 가시광선 카메라보다 설치 및 구성이 복잡하며 초기 설치, 운영, 유지

및 보수비용에서 더 많은 비용을 지출함.- 또한 센서 기반 인터페이스를 사용 시 각종 전선 및 기판 등의 하드웨어 시스템으로 인해 사용자

의 자유스러움이 충분히 제한 될 수 있으며 사용자의 상태에 따라 센서의 사용 여부가 취사 될 수 있기 때문에 필연적으로 소외되는 사용자 계층이 나타날 수밖에 없음.

- 그에 반해 비전 프로세싱은 다양한 사용자의 영상에 따라서 변형 및 응용이 간편하고 용이하기 때문에 범용적이고 확장성 높은 사용이 가능.

- 더욱이 사용자의 취사된 정보만을 추출할 수 있는 센서 기반과는 다르게 영상 데이터에 사용자의 모션 정보와 함께 들어오는 환경 정보는 추후 상호 연계성을 주어 사용자의 집중과 몰입을 비약적으로 가중시킬 수 있는 사용자 독자적인 가상환경 구현에 용이하며 이를 통한 다양한 콘텐츠와의 연계 역시 생각해 볼 수 있음.

- 뛰어난 기술의 발전도 인간과의 적절한 Interaction과 실용성 없이는 사용자의 관심을 이끌어 내지 못 함.

- 많은 연구가 진행 중인 기존 가시광선 카메라 출력 영상에서의 제스처 인식은 비전 프로세싱 시 2D파트로 구분, 분별되어 지며 그에 따른 상용화 부적합 한계가 드러남.

- 8 -

3) 실시간 어플리케이션을 위한 고속 연산 기법의 중요성- 3D 공간에서 가상현실이나 사용자 인터랙션 분야는 사용자로 하여금 가상 환경을 실시간에 체험

하도록 해야 하는 특성 때문에 사실성보다는 실시간이 중요시 됨.- 3D 공간에서의 지금까지 트랙킹 관련 연구들을 살펴보면, 대상을 정확히 추적하기 위하여 대부

분 비실시간 처리 프로세스를 가짐. - 현재의 모션 트랙킹을 실행 시간(run-time)에 처리하는 비교적 간단한 기법들은 주로 2D에 기

반하고 있음. - 그러나, 이러한 방법들은 2차원 평면적인 모델의 한계를 지니며, 이로 인하여 강건하고 보다 현

실적인 모델을 활용하는데 한계를 가짐.

다. 관련 기술 현황 및 차별성

1) 관련 기술 현황

가) 칼만 필터를 사용한 객체 추적- 칼만 필터는 잡음에 의해 간섭받는 선형 동적 시스템에서 추정치를 구하는 재귀적 알고리즘.

- Boykov와 Huttenlocher은 칼만 필터를 이용한 차량 추적에 관한 연구 수행.

- Rosales와 Sclaroff는 2차원 이미지 모션으로부터 3차원 객체 궤적 추적.

나) Mean-shift를 사용한 객체 추적- Comainiciu, Meer, Ramesh는 컬러 분포를 사용한 유사도를 사용하여 객체 추적.

- 비교적 적은 복잡도를 가지는 장점과 지역 모드로 수렴하는 특성으로 인하여 겹침과 같은 상

황에서 추적 실패.

- Collins는 이를 해결하기 위하여 커널의 크기를 적절히 변화시키는 추적 방법 제안.

다) Particle Filter를 사용한 객체 추적- Isard 등은 GMM과 Particle Filter를 사용한 추적기 모델을 제시, Nummiaro등은 컬러 분포

와 Particle Filter를 이용하여 적응적인 추적기 모델 제시.

- Perez 등은 다중 객체 추적을 위해 컬러 히스토그램과 파티클 필터를 사용.

- 복잡한 환경에 대해서 강인한 추적 성능을 보여주지만 많은 샘플을 사용해야 하기 때문에 높

은 복잡도가 요구.

라) 다중 카메라를 사용한 객체 추적- Darrel은 Stereo 환경에서 컬러, 얼굴 패턴 인식을 사용한 추적 알고리즘 개발.

- Orwell은 다중 카메라를 사용하여 배경 영상 제거와 컬러 히스토그램을 활용하여 다중 객체

추적 알고리즘 제시.

- 9 -

2) 차별성

가) 최신 기술을 활용한 강건한 추적 기술- 최근에 소개된 Nonparametric Belief Propagation, PAMPAS, 계층적 파티클 필터 등의 선

진 기술을 확보하여 국가 경쟁력을 보유할 수 있음.

- 안정성 있는 얼굴 검출을 바탕으로 몸통, 팔 그리고 손을 순차적으로 추적하여 상위 노드 부

위에 제한적으로 파티클 샘플링을 사용하게 하여 연산 속도와 안정을 높일 수 있음.

나) 선행 연구를 바탕으로 한 실시간 인터랙션 기술 - 선행 연구된 고속 배경 영상 제거 알고리즘을 활용

- 영상 기반에서 제스처 인식을 위한 실시간에 적합한 인터랙션 기술 연구

라. 연구 개발 목표

본 연구에서는 입력 영상을 분석하여 사용자의 인터랙션을 보다 강건하고 빠르게 추출하고 지능적인 인터페이스를 제공하여 차세대 게임, 로봇, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능한 비전기반 지능형 인터랙션의 구현을 목표로 한다.

ㅇ 다관절체 추적을 위한 상체 검출 및 파티클 필터 기술 확보- 2D 기반 컬러 평가 모델 분석- Loose-limbed 그래프 모형화 모델 분석- 조명에 강건한 배경 검출 알고리즘 개발- 실시간 처리를 위한 배경 인식 기술 개발- 다관절체 추적을 위한 파티클 필터 알고리즘 개발

- 10 -

가. 국외 기술현황

1) 국외 Vision 기반 motion tracking 기술 (업계)

그림 2. DDR, EYE TOY(소니), WII(닌텐도), 나탈(MS)

- 2003년 SONY에서 플레이스테이션 3를 위하여 아이토이가 소개되어 유럽에서만 40만장 이상을 판매하여 매우 높은 인기.

- 현재 세계 각국에서는 지능형 반응 공간 기술을 상용화하기 위한 연구가 활발하게 진행 중. - Apple사가 Multi-dimensional interface에 관한 특허 (출처: AppleInsider 08.12.11) 등록.- 리눅스 기반의 3D 유저인터페이스(UI)를 지원하는 모바일인터넷디바이스(MID)가 대만 인텔 개

발자회의(IDF) 2008에서 공개돼 참관객들의 이목을 끌음 (출처: ZDNet Korea 08.10.22).- 닌텐도에서는 센서 기반의 인터페이스임에도 불구하고 센서의 크기를 줄이고 사용성을 극대화하

여 가정에서도 쉽게 즐길 수 있도록 디자인된 WII를 발표.- 2009 E3에서 MiscroSoft는 WII에 대응하면서 차세대 인터페이스 시장을 선점하기 위하여 나탈

이라는 프로젝트를 통하여 특수 카메라를 사용한 새로운 형태의 비전 기반 인터페이스를 공개하여 사용자의 움직임만으로 게임 영화, X-box 미디어 등의 컨트롤이 가능하도록 하였음.

- 이를 통해 차세대 OS의 발전 방향이 3D인터페이스를 기초로 할 것임을 확신 할 수 있음.- 특히 지금까지의 2D 기반의 인터페이스는 점차 많은 부분 현실 세계의 3차원 공간과 닮아가는

가상환경에서 사용자들의 요구를 모두 만족시켜줄 수 없는 현실임.- 게다가 이미 많은 사용자들이 새롭고 실용적인 3D기반 인터페이스의 개발과 보급에 대한 관심을

가지고 있음.- 이에 따라 다음 세대의 기술 발전 방향 역시 3D 기반의 사용자 환경에 맞추어 발전 및 개발 되

어야 할 필요성이 대두.

2. 국내외 기술개발 현황

- 11 -

2) 국외 Vision 기반 motion tracking 기술 (학계)- 칼만 필터는 잡음에 의해 간섭받는 선형 동적 시스템에서 추정치를 구하는 재귀적 알고리즘.- Boykov와 Huttenlocher은 칼만 필터를 이용한 차량 추적에 관한 연구 수행.- Rosales와 Sclaroff는 2차원 이미지 모션으로부터 3차원 객체 궤적 추적.- Isard 등은 GMM과 Particle Filter를 사용한 추적기 모델을 제시, Nummiaro등은 컬러 분포와

Particle Filter를 이용하여 적응적인 추적기 모델 제시.- Perez 등은 다중 객체 추적을 위해 컬러 히스토그램과 파티클 필터를 사용.- 복잡한 환경에 대해서 강인한 추적 성능을 보여주지만 많은 샘플을 사용해야 하기 때문에 높은

복잡도가 요구.

- 다양한 분류 방법에 따른 기술 현황

그림 3. 정보과학회논문지 : 소프트웨어 및 응용 32권 5호(2005.5) 참조

a) Pfinder: Real-time tracking of the human body, 1997.b) Segmentation and tracking of interacting human body parts under occlusion and shadowing,

2002.c) Real-time tracking of moving persons by exploiting spatio-temporal image slices, 2000.d) Model-based human body tracking, 2002.e) An appearance based approach for human and object tracking, 2003.f) Human activity tracking for wide-area surveillance, 2002.g) KNIGHTM, 2003. h) Consistent labeling of tracked objects in multiple cameras with overlapping fields of view,

2003.i) W4: real-time surveillance of people and their activities, 2000.j) Tracking interacting people, 2000.

- 12 -

나. 국내 기술현황1) 국내 Vision 기반 motion tracking 기술

- 사용자 인터페이스 기술이 가장 널리 활용되고 있는 게임기 시장에서 MS, 닌텐도, 소니가 주도권을 가지게 되면서 관련 인터페이스 기술을 주도하고 있음.

- 반면에 국내 기능성 게임업계는 영세성으로 인하여 자생 역량이 부족할 뿐만 아니라 기존 게임기에 의존적인 소프트웨어 개발에 주력할 수 밖에 없는 형편임.

- 국내외 대학 및 연구소는 Vision 기반 관련 기반 기술을 광범위하게 보유하고 있으나, 하나의 Killer Application으로 통합될 기회를 가지지 못하였음.

- 따라서 대형 국책 R&D 과제를 통해 요소기술이 집결할 수 있는 발판을 마련하고, 동시에 기능성 게임 시장 활성화를 유도할 필요 있음.

- 13 -

가. 최종 목표본 연구에서는 입력 영상을 분석하여 사용자의 인터랙션을 보다 강건하고 빠르게 추출하고 지능적인 인터페이스를 제공하여 차세대 게임, 로봇, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능한 비전기반 지능형 인터랙션의 구현을 목표로 한다.

ㅇ 비전 기반 지능형 인터랙션의 원천 기술로서 실시간 상반신 추적 및 포즈 인식 기술 개발. - 2D 기반 컬러 평가 모델 분석- 실시간 처리를 위한 배경 인식 기술 개발 - 조명에 강건한 배경 검출 알고리즘 개발- Loose-limbed 그래프 모형화 모델 분석- 강건한 다관절체 추적을 위한 파티클 필터 알고리즘 개발

나. 전처리 기술(배경 제거 기법) 확보1) 텍스쳐(LBP) 기반 배경 제거 방법의 적용

그림 4. LBP 코드 구성

- 최근 오브젝트 특징을 추출하는 많은 연구에서 LBP 히스토그램을 사용하여 성공적인 결과를 얻어냄.

- LBP 히스토그램은 일반적인 컬러 히스토그램과는 달리 이미지의 중심 픽셀과 인접 픽셀들간의 특징을 이진 코드화한 후 각각의 코드을 사용하여 히스토그램을 구성.

- LBP를 사용한 장점은 첫째, 중심점의 밝기와 인접점의 밝기는 동시에 밝아지거나 어두워지는 특징이 있기 때문에 조명의 변화에 강건하며 둘째, LBP는 비모수(non-parametric method) 방법이기 때문에 특정 분포에 대한 가정이 불필요하며 이러한 이유로 구현시 매우 빠른 속도를 가질 수 있음.

3. 연구수행 내용 및 결과

- 14 -

2) 텍스쳐(LBP) 기반 배경 제거와 타 방법간의 성능 비교

그림 5. 복잡한 환경의 배경 이미지와 현재 이미지 간의 밝기, 색상 에지 방향, LBP 특징 기반의 배경 제거 성능 비교

- (c)~(f)는 Intensity, Hue, 에지 방향 그리고 텍스쳐 기반의 히스토그램을 사용한 배경 영상 제거의 결과

- 복잡한 환경을 가진 배경 영상에서 Intensity 기반의 배경영상 제거 방법은 좋은 인식률을 가지지만 텍스쳐 기반의 배경 제거 방법에 비하여 많은 잡음을 가지고 있음.

- 텍스쳐 기반의 배경 영상 제거 방법은 에지 영역과 같은 인접 픽셀과의 투렷한 특징을 가진 영역에서 매우 좋은 결과를 보여주고 낮은 잡음을 가지고 있지만 인접 픽셀과의 색상 변화가 거의 없는 저주파 영역에서는 전경 영역 내부에 holl이 발생하는 단점을 지님.

- (g)~(j)는 흰색 스크린상에서 조명을 변화시킨 후 전경 오브젝트를 추출한 결과- 조명의 변화와 그림자 등으로 인하여 Intensity 기반의 배경 영상 제거 방법은 많은 에러를 나타

내지만 텍스쳐 기반의 배경 영상 제거 방법은 보다 안정적인 결과를 나타냄.- 실험에서 (i)의 경우 임계치를 조절하여 에러율을 최소화 하였음에도 불구하고 변화된 조명으로

인하여 매우 취약한 결과를 보여줌. - 이 결과들을 통하여 텍스쳐 기반의 배경 영상 제거 방법은 조명의 변화나 그림자 혹은 복잡한 배

경을 가진 환경에서 Intensity 기반의 배경 영상 제거 방법에 비하여 강건하다는 것을 알 수 있음.

- 15 -

3) 속도 향상을 위한 인테그럴 히스토그램 사용

그림 6. 복잡한 환경의 배경 이미지와 현재 이미지 간의 밝기, 색상 에지 방향, LBP 특징 기반의 배경 제거 성능 비교

- 스캐닝 과정은 누적 히스토그램의 값을 모든 (x,y)에 저장하는 과정이며 wavefront scan 방식으로 한 픽셀의 위치마다 순회하며 처리

- 주변에 계산된 3곳-(x-1.y),(x,y-1),(x-1,y-1)의 누적값과 현재 픽셀의 히스토그램 bin 값에 해당하는 V(x,y)를 더함으로써 빠르게 계산할 수 있음.

그림 7. 가우시안 창틀 마스크의 적용 방법

- 인테그럴 히스토그램을 통해 얻을 수 있는 것은 사각형 영역에 대한 히스토그램임. - 중앙부분을 제외한 창틀의 합은 전체영역과 중앙 부분을 빼는 2번의 인테그랄 연산에 의해 쉽게

얻을 수 있음. - 이러한 주변영역에 대한 히스토그램 추출을 여러 번 수행하여 그것들에 대해 각각 전경, 배경 영

역의 거리를 적용하고 그 확률을 모두 합한 후 정규화 후에 최종 셀의 전경 영역 확률로 결정하

- 16 -

면 공간 도메인에서의 Gaussian-like 커널을 적용한 듯한 효과를 낼 수 있음.

그림 8. 가우시안 창틀 마스크의 적용 방법

- 그림은 기존의 가우시안 믹스쳐 모델 방식의 배경 차영상과 GWM을 적용한 방법간에 속도를 비교한 그래프임.

- 320x240 이사의 영상에서는 제안된 방식이 더 빠르고 안정적인 결과를 얻을 수 있었음.- 또한 제안된 방식이 창틀에 서로 다른 시그마의 값을 부여할 수 있기 때문에 적응적인 방법으로

확장이 가능.

4) 잡음에 강건한 에지 기반 가우시안 윈도우 프레임 연구

그림 9. (a)~(c) 마스크의 크기가 4, 시그마-0.6, 0.8, 1.0에 대한 가우시안 창틀 마스크 적용결과 (d) 현재 이미지 (e) 에지 맵 (f)

에지 적응 가우시안 창틀 마스크 적용 결과

- 그림의 (a)~(c)는 다양한 시그마에 대하여 가우시안 창틀 마스크를 적용한 결과- 낮은 시그마를 가진 (a)의 경우 에지 영역에서는 다소 높은 전경 확률을 나타냈으나 밝기가 평

- 17 -

평한(flat)한 영역에서는 낮은 전경 확률을 보임. - 반면에 높은 시그마를 가진 (c)의 경우 오브젝트 내부의 평평한 영역에서도 안정된 전경확률을

보이지만 시그마 값이 커짐에 전경 영역의 확률이 확산되어 정확한 오브젝트의 형태를 표현하기 어려워진다는 단점을 가짐.

- 이러한 단점을 극복하기 위하여 에지 적응 가우시안 창틀 마스크를 사용- 가우시안의 시그마는 정규화된 에지의 크기에 따라 반비례하게 적용됨. - (f)는 에지 적응 가우시안 마스크를 적용한 결과이며 2~8%정도의 오인식률의 감소를 보임.

다. 인체 모형 설계 (Loose-limbed 그래프 모델)1) Loose-limbed 그래프 모형화 모델 분석

그림 10 사람에 대한 Loose-Limbed 다관절체 모형

- 사람의 상체의 포즈를 표현하기 위하여 Loose-Limbed 모델을 바탕으로 3D에서 사람의 상체를 효과적으로 그래프 할 수 있는 3D 확장형 상반신 모형 분석.

- 다관절체 Loose-Limbed 상체 모델을 사용하기 위하여 머리, 몸통, 왼쪽 상박, 왼쪽 하박, 오른쪽 상박, 오른쪽 하박으로 구성.

- 각 노드에 해당하는 파티클 샘플에 대한 초기화를 위하여 상기 개발된 2D 기반의 컬러 평가 모델을 사용.

2) 물리 기반의 다관절체 추적을 위한 키네메틱 연결 모형 개발

그림 11. 상체 추적을 위한 키네메틱 연결 모델

- 18 -

- 상체 추적을 위한 키네메틱 연결 모델- MPEG-4에서 소개한 사람 모형을 실시간 추적에 적합하도록 단순화 시킴.- 얼굴을 찾으면 얼굴 영역에 대한 Cr, Cb 채널에 대한 히스토그램 템플릿 저장- 얼굴 검출은 Haar-like 특징을 사용한 Adaboost 방법을 사용- 얼굴의 크기와 위치에 기반하여 어깨와 상박 및 하박의 길이 결정

라. 오브젝트 추적 기술 개발 및 개선1) 복잡한 환경(축구 경기)에서 강건한 추적을 위한 동적 칼만 필터 개발

가) 공, 선수 후보 분류

그림 12. 공, 선수 후보 분류

- 다수의 축구 원거리 영상을 분석하여 선수들이 프레임 내에서 차지하는 평균적인 비율을 확

인하여 그 비율을 토대로 선수 영역의 크기 및 비율을 결정

- 공의 크기는 선수에 비례하여 그 범위를 잡음. 실제 공인된 축구공의 크기는 지름이 약 9

inch 이므로 선수의 평균키를 71 inch (약 180cm) 라고 할 때 공 크기의 범위를 정할 수 있

음.

- 위의 그림은 공과 선수를 분류한 결과를 최소사각형을 통해 나타낸 결과이며 빨간색 사각형

이 공 후보를, 파란색 사각형이 선수 후보를 나타냄.

- 대부분 적절하게 분류되었지만 결과 중에 심판의 양말부분이 공으로 인식된 것을 볼 수 있으

나 이러한 잡음에 관한 문제는 앞으로 추적 부분에서 해결 가능.

- 19 -

나) 동적 파라미터 조절

그림 13. 칼만 필터와 다이나믹 칼만 필터

- 기존의 칼만 필터와 제안하는 다이나믹 칼만 필터의 가장 큰 차이점은 점선 블록으로 표기된

파라미터 조절 부분

- 영상 내에서 공이 처할 수 있는 상태를 세 가지로 나누어 각 모드에 따라 Q(시스템 에러 공

분산), R(측정 에러 공분산), SA(Search Area, 탐색 영역) 그리고 Target(추적 객체) 파라미

터를 조절. 여기서 Q와 R은 칼만 게인(K)를 조절하는 중요한 파라미터임.

그림 14. 동적 파라미터 조절

- 칼만 필터에서 칼만 게인은 상태모델을 정정할 때 더해줄 예측 값과 측정값의 좌표 차이 값

과 속도 값의 가중치를 결정

- 칼만 필터에서 Q와 R은 다음과 같은 관계가 있음.

- 20 -

,

qq+ r

≈ W d, 1q+ r

≈ W v

- Wd, Wv 는 각각 좌표 차이 값, 속도 값에 대한 가중치를 나타냄.

- 따라서 우리는 각 모드에 따라 칼만 필터가 적절하게 Q, R 값을 조절하게 함으로써 다이나

믹한 추적이 가능.

- 다양한 환경에서 좀 더 정확한 인식을 위해 모드 마다 각각 다른 크기의 SA를 적용.

- 각각의 범위를 Target을 중심으로 하는 거리로 표현하면, 작음=20, 넓음=30 이고 특별히

Player Occlusion 모드에서의 SA는 (DLPA/2)+20 으로 정하였으며 단위는 pixel, DLPA는

Diagonal Length of Player Area.

- Target은 각 모드에 따라 공과 선수로 구분.

다) Measurement 모드- SA내에서 공을 찾은 경우

- 측정된 측정값은 신뢰할 수 있기 때문에 그 값을 완전하게 반영하기위해 r=0으로 설정.

- 영상에서 공이 측정되었으므로 Target은 공이 됨.

라) Player Occlusion 모드- SA안에서 공을 찾지 못한 경우 예측 지점에서 선수가 발견된다면 공과 선수의 occlusion으

로 판단.

- 공을 찾을 수는 없지만 선수 영역 내에 공이 존재함을 신뢰할 수 있기 때문에 q=1, r=0로

설정하여 상태모델 정정 시 측정값을 완전히 반영.

- Target은 공이 아닌 선수로 설정하여 선수 주변에 공이 나타날 때까지 공이 아닌 선수를 추

적.

마) Prediction 모드- SA안에서 공을 찾지 못하고 예측 지점이 선수 영역도 아니라면 영상의 잡음 등으로 순간적

으로 공을 찾지 못한 경우라고 할 수 있다. 이러한 경우 측정값은 신뢰할 수 없기 때문에

q=0, r=∞로 두어 칼만 필터가 예측 값만을 참조하여 추적.

- SA는 ‘넓음’ 으로 설정하여 공을 찾도록 함.

2) 실시간 추적에 적합한 키네메틱 연결 모형 기반의 파티클 필터의 개발

가) 키네메틱 연결 모델에 따른 파티클 샘플의 분포 특성

- 21 -

그림 15. 관절체 부위별 서로 다른 표준 편차에 따른 파티클 샘플의 분포 특성 : (a) 상박 0, 하박 0.6, (b) 상박

0.6, 하박 0, (c) 상박 0.6, 하박 0.6

- 그림은 상박과 하박에 서로 다른 표준 편차를 적용했을 경우 파티클 샘플의 분포 특성을 보

여줌

- (a)의 경우 상박의 각도를 고정시키고 하박의 파티클을 샘플링

- (b)의 경우 하박의 각도를 고정시키고 상박의 파티클을 샘플링

- (c)의 경우 두 관절체 모두 0.6의 표준 편차를 가진 가우시안 랜덤 노이즈를 부여하여 샘플

링

- 의도된 동작이 클 경우 상박의 노이즈 편차를 증가 시키고 작은 동작에서는 하박의 표준 편

차를 증가 시켜서 추적의 성능을 조절할 수 있음.

나) 파티클 필터와 인테그럴 히스토그램의 결합

그림 16. 파티클 샘플의 관측우도 평가를 위한 인테그럴 히스토그램

- 22 -

- 2121,,, yyxx 을 파티클 샘플 패치에 대한 좌우상하라고 하였을 때 패치의 인테그럴 히스

토그램은 다음과 같이 구할 수 있음:

),y,H(x)y,H(x)y,H(x)y,H(xR 11211222 +−−=

- R은 파티클 샘플 패치에 대한 인테그럴 히스토그램이며 H(x, y)는 (x,y)의 인테그럴 히스토

그램임.

- 인테그럴 히스토그램은 비강체성, 크기 불변성, 회전과 겹침의 강건성 뿐만 아니라 빠른 연산

에 적용이 가능.

- 영역 기반의 트랙킹에서 추적의 성능을 높이기 위하여 많은 샘플들이 필요하기 때문에 인테

그럴 히스토그램을 사용하게 되면 중복된 연산을 줄일 수 있으므로 연산의 효율성을 높일 수

있음.

마. 수행 연구의 응용 및 적용 1) 동적 칼만 필터를 사용한 축구 영상에서 공 추적에 응용

가) 실험환경- 프리미어 리그 첼시 vs 미들스브로 영상을 대상으로 하여 원거리 1000 프레임을 캡쳐하여

사용

- GOP에 할당되는 비트의 대부분을 차지하고 있는 I-frame을 기준으로 실험을 실시.

- 실제 응용 가능성을 확인하기 위해 비트 율은 위성DMB의 기준 비트 율을 적용

- 축구 공 추적 부분은 OpenCV 1.0 환경에서 구현.

나) 공 추적 결과- 아래의 그림은 실제 공을 포함하여 다양한 추적 알고리즘을 사용하여 공을 추적한

Trajectory 결과를 나타냄.

- 제안한 다이나믹 칼만 필터의 성능 비교를 위해 기존의 Typical Kalman Filter와 Occlusion

문제를 극복하기 위해 제안된 Adaptive Kalman Filter를 같은 영상에 적용하여 축구공을 추

적하고 그 결과를 확인.

(a) 실제 공 (b) TKF

- 23 -

(c) AKF (d) DKF

그림 17. 공 추적 결과 (Trajectory)

- 제안하는 다이나믹 칼만 필터(DKF)가 가장 좋은 추적 결과를 보이고 있음을 알 수 있음.

- Typical Kalman Filter(TKF)의 경우 선수와의 Occlusion 문제를 해결하지 못하여

Occlusion시 큰 에러 값을 보이고 있으며 Adaptive Kalman Filter(AKF)의 경우에도 TKF보

다는 정확도가 향상 되었으나 공이 선수를 통과하게 되는 문제 이외에 선수가 공을 오래 소

유하게 될 경우(트래핑, 드리블 등)에는 마찬가지로 큰 에러 값을 보임.

(a) TKF (b) AKF

(c) DKF

그림 18. 실제 공 좌표와 예측 좌표의 차이

- 그림은 실제 공의 좌표와 각각의 추적기로 예측한 좌표와의 차이 값을 보여주고 있음

- 제안하는 DKF가 매우 향상된 정확도를 보이고 있음.

- 하지만 700 프레임 이후부터는 앞의 프레임들에 비해 꽤 큰 에러 값을 보이고 있는데 이는

700 프레임 이후로 선수들이 밀집되는 복잡한 영상 환경에 기인함.

- 이러한 상황들에서도 DKF가 강건하게 추적이 가능하도록 만드는 것이 다음의 과제가 될 수

있음.

- 24 -

다) 추적 정확도 비교

알고리즘평균 예측 차이 값 (픽셀)

전체 프레임 1-700 프레임

TKF 142.89 163.03

AKF 83.95 93.19

DKF 14.89 8.54

DKF1 14.90 8.4

표 1. 평균 예측 차이 값

- 위의 표에서 제안하는 DKF가 매우 향상된 정확도를 보이고 있음.

- 700 프레임 이후 보다 비교적 덜 복잡한 1-700프레임의 경우 매우 작은 에러 값을 보이고

있음.

- DKF는 Full-Region 전처리 방식을 DKF1은 탐색 영역 기반 방식을 나타냄.

- 탐색 영역 기반 방식이 Full-Region 전처리 방식과 유사한 에러 값을 보이고 있어 속도개선

에도 불구하고 강건한 추적을 하고 있음.

알고리즘전체 프레임 1-700 프레임

D<10 D<20 D<10 D<20

TKF 36% 42% 36% 42%

AKF 48% 60% 52% 62%

DKF 67% 79% 80% 93%

표 2. 추적 정확도

- 칼만 필터의 특성 상 객체를 추적할 때 실제 좌표를 정확히 예측한다는 것은 거의 불가능한

일이므로 우리는 임의의 경계 값을 정하여 추적 정확도를 확인.

- D는 실제 축구공 좌표-예측 좌표를 의미할 때 다른 알고리즘에 비해 제안하는 DKF가 매우

높은 추적 정확도를 보이며 1-700 프레임에서는 80%이상의 높은 성능을 보여 실제 응용 가

능성을 확인 할 수 있음.

- 25 -

2) 키네메틱 연결 모형 파티클 필터를 사용한 상반신 포즈 인식 라이브러리 제작

가) 사용자 인터페이스에 사용하기 위한 상반신 포즈 분류

그림 19. 실시간 HCI를 위한 상반신 포즈

- 선택된 각 동작은 벡터 양자화에 의하여 분류.

- K-means 알고리즘을 사용하여 훈련 데이터에 대하여 5개의 코드 벡터를 가진 코드북을 생

성.

- 출력 포즈는 입력 벡터에 대한 최소 거리의 코드 벡터를 취하여 얻을 수 있음.

나) 사용자 인터페이스에 사용하기 위한 라이브러리 제작

그림 20. 제안된 인터페이스 라이브러리

- 파티클 필터를 사용한 인터페이스를 게임에 병합하기 위하여 OpenCV 기반의 게임 인터페이

스 라이브러리 구축.

- 효율성을 높이기 위하여 게임 시스템과 독립적인 비전 라이브러리 구축.

- 제안된 파티클 필터가 실시간에 처리에 있어서 충분히 빠르다고 하더라도 3D 게임 엔진을

하나의 동일한 PC에서 동작하깅에는 충분치 않음을 고려.

- 기존의 게임과 비전 라이브러리는 TCP/IP로 통신.

- 기존의 게임에 그대로 반영하기 위하여 키보드 혹은 마우스 이벤트 생성 방식을 사용하여 적

용.

- 26 -

3) 제작된 라이브러리를 사용하여 자동차 시뮬레이션에 적용

다) 실시간 게임 인터페이스에 사용하기 위한 포즈 선택

그림 21. 실시간 게임에 사용될 5가지 포즈

- 자동차 시뮬레이션 게임에 적용하기 위한 5가지 포즈 사용.

- 입력 데이터를 키네메틱 체인 모형에 의하여 5가지 포즈 중 하나로 분류하여 게임 시스템에

게 전달.

- 전달 받은 게임 시스템은 키보드 이벤트로 생성시켜서 자동차를 컨트롤 할 수 있음.

라) 인테그럴 히스토그램 사용한 것과 사용하지 않은 것에 대한 처리 속도 비교

그림 22. 처리 속도 실험: (a) 샘플 개수의 변화 (b) 샘플 패치 크기의 변화

- 인테그럴 히스토그램을 사용한 것과 사용하지 않은 것에 대한 처리 속도를 측정하기 위하여

- (a) 빈의 갯수가 32개 크기는 30 픽셀로 고정시킨 후 샘플의 개수를 변화시키면서 처리 속

도를 측정.

- (b)는 빈의 개수 32개와 샘플의 크기를 500개로 고정한 후 패치 크기를 키우면서 처리 속도

- 27 -

를 측정.

- 샘플의 개수가 많을수록 패치가 클수록 제안된 인테그럴 히스토그램을 사용한 것이 더욱 효

율적임을 보여줌.

- 샘플의 개수를 400 이하로 줄 경우 20 프레임 이상의 실시간 처리에 활용가능.

마) 키네메틱 모델을 사용한 방법과 사용하지 않은 방법에 대한 겹침 강건성 비교

그림 23. (a) 키네메틱 모형을 사용하지 않은 파티클 필터, (b) 키네메틱 모형을 사용한 파티클 필터

- 그림 (a)와 같이 키네메틱 모형을 사용하지 않은 파티클 필터는 두 개의 추적 물체가 겹쳤을

경우 관측 우도가 높은 하나의 오브젝트를 동시에 추적하게 됨

- 그림 (b)의 와 같이 키네메틱 모형을 사용하게 되면 물리적인 의존관계에 의하여 파티클들이

확산되게 되어 겹침에 강건한 결과를 보이게 됨.

바) 복잡한 배경과 단순한 배경에서 인식율 비교

그림 24. (a) 복잡한 배경에서 인터페이스 실험, (b) 복잡한 배경에서 키네메틱 체인 모형을 사용한 실험 (c) 단순한 배경에서 실험 (d) 게임에 전달된 포즈 확인

- 28 -

- 복잡한 배경에 포함된 살색 유사 색으로 인하여 파티클 샘플들이 넓게 분포되게 됨.

- 키네메틱 체인 모형을 사용할 경우 물리적인 의존 관계로 인하여 보다 가능성 높은 영역에

한정되어 분포됨을 알 수 있음.

표 3. 다양한 환경에서 인식률 비교

- 표는 복잡한 배경과 단순한 배경에서 키네메틱 모형을 사용하였을 경우와 사용하지 않았을

경우에 대하여 인식률을 비교한 결과.

- 에러 율은 각각의 200 프레임에서 인풋 포즈와 게임에서 생성된 이벤트가 다른 경우 에러로

처리.

- 컬러 기반의 히스토그램을 사용하기 때문에 스킨 컬러를 포함하고 있는 복잡한 배경의 경우

단순한 배경에 비하여 인식률이 떨어짐.

- 29 -

가. 연구 개발의 최종 목표 및 세부 목표1) 최종 목표

- 본 연구에서는 입력 영상을 분석하여 사용자의 인터랙션을 보다 강건하고 빠르게 추출하고 지능적인 인터페이스를 제공하여 차세대 게임, 로봇, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능한 비전기반 지능형 인터랙션의 구현을 목표로 한다.

2) 세부 목표- 사람 포즈 인식을 위한 신체 모형화 및 포즈 개발- 실시간 처리를 위한 고속 추적 기술- 강건한 다관절체 추적을 위한 파티클 필터 알고리즘 개발

연구 개발 목표 및 예상 성과 연구 개발 내용

- 다관절체 추적을 위한 상체 검

출 및 파티클 필터 기술 확보

- 연구논문 2건

- 2D 기반 컬러 평가 모델 분석 완료

- Loose-limbed 그래프 모형화 모델 분석 완료

- 실시간 처리를 위한 배경 인식 기술 개발

- 조명에 강건한 배경 검출 알고리즘 개발

- 다관절체 추적을 위한 파티클 필터 알고리즘 개발

3) 달성도- 포즈 인식을 위한 신체 모형화, 인테그럴 히스토그램을 이용한 배경 인식 기술 구현- 신체 모형을 바탕으로 강건한 얼굴인식 및 관절체 추적을 위한 파티클 필터 알고리즘 개발- 인테그럴 히스토그램 처리 및 다중 물체 추적을 위한 파티클 개수의 증가로 처리시간 증가, 적용

분야에 따라 빈/파티클/패치크기 조절로 실시간 구현 가능

평가항목(주요성능 Spec) 개발목표 비중

(%) 개발성능 달성도

다관절체 특징

추적 및 인식

인식 포즈 개수 5 개 30 5 개 100%

포즈 인식률 95 % 40 97 % 102%

처리 시간 25 fps 40 20 fps 80%

4. 목표 달성도 및 관련 분야에의 기여도

- 30 -

나. 관련 분야에의 기여도1) 기능성 실시간 휴먼 인터페이스 분야에 적극적인 활용 가능성을 제시하고 검출의 강건성을 확보

하여 실용화 기술 제안.2) 국내외 대학 및 연구소가 보유하고 있는 추적 기술을 개선하는 계기를 마련.3) 개선된 추적 기술과 더불어 실시간 포즈 인식 어플리케이션과 통합 기회를 가짐.4) 요소 기술이 병합될 수 있는 발판을 마련하고, 동시에 휴먼 인터페이스 시장 활성화를 유도.5) 이 과제는 최근 학계와 업계의 요구에 부응하여 국내 기술 산업화에 이바지.

- 31 -

- 비전 기반의 새로운 게임 인터페이스로 활용 가능, 실시간 동작을 가능하게 하고 다중 카메라를 이용해 깊이 탐색이 가능한 3D 기반의 인터페이스를 구축하여 활용.

- 지능형 주거 공간 및 유비쿼터스 환경을 위한 인터페이스, 음성인식을 더하여 부가적인 컨트롤러가 필요 없는 All-IN-ONE 원격 조정 시스템 구축

- 낯선 공간에도 적응 가능하고 새로운 제스쳐를 인식 하게해 사용자에게 가상 작업환경 제공- 향후 3D 운영체제에 적합한 실용적인 3D 인터페이스로 발전 가능- 비전 프로세싱을 통한 빠르고 정확한 사용자 선호 동작 통계 및 분석 시스템 개발로 신뢰도 높은 행동 패

턴 연구 도구로 활용- 상황인지 시스템을 활용하여 사용자와 인터랙티브하는 지능형 로봇 인터페이스 개발로 사용자의 동작을

인식하여 다음 상황 예측 및 현재 사용자의 감정, 상태(status)등을 실시간 분석 후 신뢰성 있는 행동을 취해 사실성 증대

- 비전 프로세싱을 이용한 직관적인 인터페이스를 통해 추후 증강현실 등을 이용한 차세대 게임과 지능형 인터랙션에 적극 활용

⇒ 다양한 사용자에 적용되고, 강건하며, 실시간 처리가 가능한 기술을 개발하여 차세대 인터페이스, 게임 및 엔터테인먼트 등 미래형 콘텐츠 제작에 활용 가능

가. 디지털 게임에서 사용된 해외 유저 인터페이스 기술 정보 수집- 게임 분야가 실시간 유저 인터페이스를 가장 적극적으로 활용하고 있는 분야라고 할 수 있음.- 디지털 게임 분야에서 센서 기반 인터페이스와 비전 기반 인터페이스가 경쟁적으로 발전 과정에 있음.- 최근 경향은 비전 기반과 센서 기반의 하이브리드 방식이 요구 되고 있으며 사운드나 온도 같은 입력값

도 활용하고자 하는 경향이 보임 .

나. 초기 사용자 인터페이스 게임- 초기 디지털 게임에서는 총과 같은 고전적인 센서 기반의 인터페이스가 사용됨.- 코나미 사의 DDR이 1998년 도쿄 게임쇼에서 선을 보인 뒤 아케이드 게임으로 발매.- 국내에서도 정식 발매되어 청소년 층을 중심으로 인기를 끌어 이욱고 전국의 모든 게임장에 DDR이 가동

되는 등 선풍적인 인기를 몰고 왔음.

5. 연구결과의 활용계획

6. 연구과정에서 수집한 해외과학기술정보

- 32 -

그림 24. DDR (Dance Dance Revolution)

다. 비전 기반의 인터페이스 기술의 등장- 2003년에 플레이스테이션 3를 위하여 아이토이가 소개. - 아이토이는 모션 인식 카메라가 플레이어의 움직임을 읽고 행동을 스크린에 옮기는 새로운 방식의 게임

으로 2003년 모든 게임쇼에서 소니가 주력모델로 내세운 화제작.- 2003년 유럽에서만 40만장 이상을 판매하여 매우 높은 인기.- 기존의 센서 기반 인터페이스가 DDR의 발판 같은 장치를 사용해야 하는 반면 비전 기반의 인터페이스는

게임기의 카메라만 있으면 플레이가 가능하기 때문에 접근이 쉽고 다양한 연령층을 공략 가능.- 당시의 비전 기술은 신체의 관절 별 추적과 같은 세부적인 인식 기능을 가지고 있지 못하고 있었기 때문

에 후에 출시된 닌텐도 WII 센서 기반 인터페이스 게임에 시장에서 밀리는 결과를 가지고 옴.

그림 25. 초기 비전 기반 인터페이스 “아이토이”

라. 기능성 게임 시장을 공략한 센서 기반의 인터페이스- 닌텐도의 Wii 는 가족 누구나 편안하게 즐길 수 있는 컨셉을 표방하여 닌텐도의 이름을 높인 결정적인

역할을 한 게임 인터페이스.- 센서 기반의 인터페이스임에도 불구하고 센서의 크기를 줄이고 사용성을 극대화하여 가정에서도 쉽게 즐

길 수 있도록 디자인.

- 33 -

- 센서 기반의 인터페이스는 기존의 아이 토이가 가지고 있는 비전 기반 기술에 비하여 높은 인식률과 확장성을 가지고 있기 때문에 매우 다양한 기능성 게임 콘텐츠를 확보할 수 있다는 점에서 잇점을 가짐.

그림 26. 기능성 게임에 적용된 WII 인터페이스

마. 3D 기반의 하이브리드 방식의 사용자 인터페이스 기술 - 최근 MS는 E3 프레스 컨퍼런스를 토앟여 기존의 센서 기반의 인식률을 유지하면서 비전 기반의 장점을

계승하기 위하여 특수 카메라를 사용한 새로운 형태의 비전 기반 인터페이스를 공개. - 이 프로젝트는 나탈이라는 이름으로 소개되었으며 X-box 360 콘솔 본체 옆에 깊이를 측정할 수 있는 카

메라를 설치하여 사용자의 움직임만으로 게임 영화, X-box 미디어 등의 컨트롤이 가능하도록 함. - 모션 카메라를 통해 사용자의 움직임 전체를 실시간으로 처리하였으며 음성 인식 기능도 탑재. - 음성인식 기능을 탑재함으로써 기존 인터페이스 보다 더 진화된 차세대 인터페이스를 이끌어 갈 것으로

예상.- 나탈 프로젝트가 차세대 게임 인터페이스를 소개하고 있으나 비전 기술은 여전히 해결되어야 하는 많은

과제를 가지고 있음. - 센서 기반 인터페이스는 비전 기반 인터페이스에 비해 설치 및 구성이 복잡하며 초기 설치, 운영, 유지

및 보수비용에서 더 많은 비용을 지출해야 한다는 원시적인 문제를 극복하여하 하기 때문에 비전 기술의 발전과 함께 센서 기반 인터페이스와 병합된 새로운 차세대 인터페이스의 발전이 있을 것으로 예상.

그림 27. X-box 나탈 프로젝트

- 34 -

[1] J. Liu, X. F. Tong, et al. Automatic Player detection, labeling and tracking in broadcast soccer video. In

BMVC2007.

[2] A. Ekin, A.M. Tekalp, and R. Mehrotra. Automatic Soccer Video Analysis and Summarization, IEEE

Trans. on Image Processing, Vol. 12:7(2003), 796--807.

[3] V. Pallavi, J. Mukherjee, A.K. Majumdar and S. Sural, Graph-based multiplayer detection and tracking in

broadcast soccer videos, IEEE Transactions on Multimedia (5)(2008).

[4] P. Figueroa, N. Leite, R. Barros, I. Cohen, and G. Medioni. Tracking soccer players using the graph

representation. In ICPR, pages 787– 790, 2004.

[5] K. Seo, J. Ko, I. Ahn, and C. Kim, "An intelligent display scheme of soccer video on mobile devices,"

IEEE Trans. Circuits Syst. Video Technol., vol. 17, no. 10, pp. 1395-1401, Oct. 2007

[6] T. D'Orazio , N. Ancona , G. Cicirelli , M. Nitti, A Ball Detection Algorithm for Real Soccer Image

Sequences, Proceedings of the 16 th International Conference on Pattern Recognition (ICPR'02) Volume 1,

p.10210, August 11-15, 2002

[7] Xiao-Feng Tong , Han-Qing Lu , Qing-Shan Liu, An Effective and Fast Soccer Ball Detection and

Tracking Method, Proceedings of the Pattern Recognition, 17th International Conference on (ICPR'04) Volume

4, p.795-798, August 23-26, 2004

[8] D. Liang, Y. Liu, Q. Huang, and W. Gao, "A scheme for ball detection and tracking in broadcast soccer

video," in Proc. Pacific-Rim Conf. Multimedia, 2005, pp. 864--875.

[9] X. Yu, H. W. Leong, C. Xu, and Q. Tian. Trajectory-based ball detection and tracking of broadcast

soccer video, IEEE Transactions onMultimedia, vol 8, Issue 6, pp: 1164-1178, December, 2006.

7. 주관연구책임자 대표적 연구 실적번호 논문명/특허명/기타 소속기관명 역할 논문게재지/

특허등록국가논문게재일/특허등록일

특기사항(SCI여부)

1 Vision-based real-time game interface 중앙대학교 교신저자 ICE-GIC

2009 2009.08.25

2 단계별 퍼지 로직을 이용한 게임 전략 방법 및 그 시스템 중앙대학교 대한민국 2009.08.12 특허등록

3ROI CENTERED COMPRESSION BY ADAPTIVE QUANTIZATION FOR SPORTS VIDEO

중앙대학교 교신저자 ICCE 2010 2010.01.11

4REALTIME USER INTERFACE USING PARTICLE FILTER WITH INTEGRAL HISTOGRAM

중앙대학교 교신저자 ICCE 2010 2010.01.11

5Variable Block-based Deblocking Filter for H.264/AVC on Low-end and Low-bitrates Terminals

중앙대학교 교신저자

Signal Processing and Image Communication

2010. SCI(게재예정)

8. 참고 문헌

- 35 -

[10] X. Yu, C. Xu, Q. Tian, and H. W. Leong, “A Ball Tracking Framework for Broadcast Soccer Video”,

ICME, Baltimore, US, July 6-9, 2003

[11] X. Yu, Q. Tian, and K. W. Wan. A novel ball detection framework for real soccer video, In Proc. ICME

2003, Vol II, 265--268.

[12] G.Welch and G. Bishop. An introduction to the kalman filter. Technical Report 95-041, University of

North Carolina, Department of Computer Science, 1995.

[13] Yi Zhang, Huosheng Hu, and Huiyu Zhou. Study on Adaptive Kalman Filtering Algorithms in Human

Movement Tracking. In Int. Conf. on Information Acquisition. IEEE, 2005.

[14] Weng, S. K., Kuo, C. M., Tu, S. K., Video object tracking using adaptive Kalman filter, Journal of

Visual Communication and Image Representation, Vol. 17, No. 6, 2006, pp. 1190-1208.

[15] J. Y. Kim and T. Y. Kim, “Soccer Ball Tracking using Dynamic Kalman Filter with Velocity Control,”

CGIV2009, 6th International Conference, Computer graphics, and imaging, visualization, Aug. 2009

[16] Collins, R., Liu, Y., Leordeanu, M., “On-line selection of discriminative tracking features.”, IEEE

Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, pp. 1631-1643, Oct 2003.

[17] Wang, J., Chen, X., Gao, W. “Online selecting discriminative tracking features using particle filter.,” Proc.

IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 2, pp. 1037-1042, June 2005.

[18] Kim, M., Kumar, S., Pavlovic, V., Rowley, H., “Face tracking and recognition with visual constraints in

real-world videos.” Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 1-8, June 2008.

[19] D. Comaniciu, V. Ramesh, and P. Meer., “Kernel-based object tracking”, IEEE Transactions on Pattern

Analysis and Machine Intelligence, Vol. 25, pp. 564-577, May 2003.

[20] Liu, F., Liu, Q., Lu, H., “Robust Color-Based Tracking,” 3rd Int. Conf. on Image and Graphics,

pp.132-135, 2004.

[21] Leonid Signal, Sidharth Bhatia, Stefan Roth, Michael J. Black, and Michael Isard. “Tracking loose-limbed

people,” Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp. 421-428, July 2004.

[22] Ramanan, D., Forsyth, D. A., Zisserman, A., "Strike a Pose: Tracking People by Finding Stylized Poses,"

Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp. 271-278, June 2005.

[23] Ramanan, D., Forsyth, D. A., Zisserman, A., "Tracking People by Learning their Appearance," IEEE

Transaction on Pattern Analysis and Machine Intelligence, Vol. 29, pp. 65-81, Jan 2007.

[24] F. Porkili., “Integral histogram: A fast way to extract histograms in Cartesian spaces,” Proc. IEEE Conf.

on Computer Vision and Pattern Recognition, Vol. 1, pp. 829-836, June 2005.

[25] Isard, M. and Blake, A., “Contour Tracking byStochastic Propagation of Conditional Density.,” European

Conference Computer Vision, pp. 343– 356, Cambridge, UK., 1996

[26] P. Viola, M. Jones., “Robust real time object detection,” IEEE ICCV Workshop on Statistical and

Computational Theories of Vision, 2001.

[27] Adam, A., Revlon, E., Shimshoni, I., “Robust fragments-based tracking using the integral histogram."

Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp. 798~805, June 2006.

[28] YoungJoon Chai, DongHeon Jang, KyuSik Chang and TaeYong Kim, “Vision-based real-time game

interface,” Proc. IEEE Conf. on ICE-GIC 2009, pp. 43-46, Aug 2009.

[29] DongHeon Jang, XiangHwa Jin, TaeYong Kim, “Vision Based Pose Recognition in Video Game,” APCHI

2008, July 6-9, 2008.

- 36 -

사업명 기본연구지원사업 연구책임자 김태용 주관기관 중앙대학교 산학협력단

과제번호 2009-0072446 과제명실시간 어플리케이션을 위한 비전 기반 지능형 인터랙션

연구

과학기술/학술적 연구성과(단위 : 5건)

전문학술지 논문게재초청

강연

실적

학술대회

논문발표지식재산권

수상

실적

출판실적

국내논문 국외논문국내 국제

출원 등록저역서 보고서

SCI 비SCI SCI 비SCI 국내 국외 국내 국외

0 0 0 0 0 0 4 0 0 1 0 0 0 0

인력양성 및 연구시설(단위 : 2명, 건)

학위배출 국내외 연수지원

산학강좌 연구기자재박사 석사

장기 단기

국내 국외 국내 국외

0 2 0 0 0 0 0 0

지식재산권 성과정보

과제번호출원등록연

월

재산권구

분

출원등록

구분발명제목

출원등

록인출원등록국 발명자명

출원등록번

호활용형태

2009-00

7244620090812 특허 등록

단계별 퍼지 로직을

이용한 게임 전략 방

법 및 그 시스템

기관 대한민국이원희, 김

태용

10-091303

0-0000

기술이전

준비중

학술대회 논문발표 성과정보

과제번호 발표년월 학술대회명 저자 논문제목 학술대회구분 개최국

2009-0072446 200908 CGIV 09Jong-yun Kim,

Tae-Yong Kim

Soccer Ball Tracking

using Dynamic

Kalman Filter with

Velocity Control

국제학술대회 중국

2009-0072446 200908 ICE-GIC 09

YoungJoon Chai,

DongHeon Jang,

KyuSik Chang,

TaeYong Kim

Vision-based

real-time game

interface

국제학술대회 영국

2009-0072446 201001

International

Conference on

C o n s u m e r

Electronics

Jong-Yun Kim,

Tae-Yong Kim

ROI CENTERED

COMPRESSION BY

ADAPTIVE

QUANTIZATION FOR

국제학술대회 미국

9. 연구 성과

- 37 -

SPORTS VIDEO

2009-0072446 201001

International

Conference on

C o n s u m e r

Electronics

YoungJoon Chai,

Kyusik Chang,

YongJun Choi,

JungSub Hwang,

TaeYong Kim

REALTIME USER

INTERFACE USING

PARTICLE FILTER

WITH INTEGRAL

HISTOGRAM

국제학술대회 미국

학위배출인력 성과정보

과제번호학위취득

연월학위구분

학위취득자진로

성명 성별 대학 학과

2009-00724

46201002 석사 김규범 남 중앙대학교 영상학과 취업준비중

2009-00724

46201002 석사 김종윤 남 중앙대학교 영상학과

취업(박사후 연구원

포함)

10. 기타사항(중요 연구 변경사항 등)본 연구는 3년 연구기간으로 제안되었으나 과제 선정시 연구기간 단축 결정으로 1차년도 연구계획 수행

- 38 -

[별첨1]〈 대 표 연 구 성 과 〉

대표연구업적 요약문연구업적 제목 Variable Block-based Deblocking Filter for H.264/AVC on Low-end and Low-bit

rates Terminals연구업적 유형 학술지게재논문(0) 특허( ) 저서( ) 역서( )

주관연구책임자 또는 공동연구원 성명 TaeYong Kim 참여자수 4

H.264/AVC supports variable block motion compensation, multiple reference frames, 1/4-pixel motion vector accuracy, and in-loop deblocking filter, compared with the previous video coding standards. While these coding techniques are major functions for the video compression improvement, they lead to high computational complexity at the same time. For the H.264 video coding techniques to be actually applied on low-end / low-bit rates terminals more extensively, it is essential to improve the coding efficiency. Currently the H.264 deblocking filter that can improve the subjective quality of video is hardly used on low-end terminals due to computational complexity.In this paper, we propose an enhanced method of deblocking filter that efficiently reduces the blocking artifacts occurred during the low-bit rates video coding. In the „.Variable Block-based Deblocking Filter (VBDF)‟. proposed in this paper, the temporal and spatial characteristics of moving pictures are extracted by using the variable block-size information of motion compensation, the filter mode is classified into four different modes according to the moving-picture characteristics, and the adaptive filtering is executed in the separate modes. The proposed VBDF can reduce the blocking artifacts, prevent excessive blurring effects, and achieve about 30~40% computational speedup at about the same PSNR compared with the existing methods.

연구참여자 역할 : 교신저자Acknowledgement : This research was supported by the Chung-Ang University Research Scholarship Grants in 2008.

- 39 -

과제번호 기재하지 않음

사업구분 기초연구사업

연구분야 기재하지 않음 기재하지 않음과제구분

단위(√)사 업 명 일반연구자지원사업(기본) 주관

총괄과제 기재하지 않음 총괄책임자 기재하지 않음

과 제 명 실시간 어플리케이션을 위한 비전 기반 지능형 인터랙션 연구 과제유형 (기초, 응용, 개발)연구기관 중앙대학교 산학협력단 연구책임자 김태용

연구기간연 구 비(천원)

연차 기간(yyyy.mm ~ yyyy.mm) 정부 민간 계1차년도 2009.05.01~2010.04.30 56,980 56,9802차년도 03차년도 04차년도5차년도

계(총 연구기간) 1 56,980 56,980참여기업

상 대 국 상대국연구기관

양식

자체평가 의견서1. 과제 현황

`

2. 평가일 : 2010. 4. 20.

3. 평가자(연구책임자)

소속 직위 성명

중앙대학교 첨단영상대학원 교수 김태용

4. 평가자(연구책임자) 확인

본인은 평가 대상 과제에 대한 연구 결과에 대하여 객관적으로 기술하였으며, 공정하게 평가하였음을

확약하며, 본 자료가 전문가 및 전문기관 평가 시에 기초 자료로 활용되기를 바랍니다.

확 약 김태용

- 40 -

Ⅰ. 연구 개발 실적※ 다음 각 평가 항목에 따라 자체평가한 등급 및 실적을 간략하게 기술(200자 이내)

1. 연구 개발 결과의 우수성 및 창의성

■ 등급 : (우수)

본 연구에서는 입력 영상을 분석하여 사용자의 인터랙션을 보다 정확하고 빨리 검출하기 위해서 인테그럴 히스토그램과 신체 운동에 기반한 분포모델을 사용하여 다관절체 추적에 적합한 파티클 필터 알고리즘을 개발하였으며, 이러한 방법은 일반적인 추적방법에 비하여 중첩에 강건하고 복잡한 환경에서도 향상된 성능을 나타내었음.

2. 연구 개발 결과의 파급 효과

■ 등급 : (우수)

영상에 나타난 특정 물체를 추적하기 위하여 선형적 움직임 물체에 대응한 적응형 Kalman 필터의 설계와 원호적인 움직임 물체에 대응한 키네메틱 모형 파티클 필터의 제안은 복잡한 영상에서 다양한 움직임 분석을 가능하게 함.

3. 연구 개발 결과에 대한 활용 가능성

■ 등급 : (우수)

키네메틱 모형을 활용하여 복잡하고 중첩되는 움직임에 강건하고, 인테그럴 히스토그램을 사용하여 상대적으로 빠른(20fps) 처리 성능을 나타내는 검출 알고리즘을 활용하면 지능적인 인터페이스를 사용하는 차세대 게임, 로봇 시각 장치, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능할 것임.

4. 연구 개발 수행 노력의 성실도

■ 등급 : (우수)

본 연구를 성공적으로 추진하기 위해 국내외 전문 학술지, 논문과 연구 자료를 조사하였고, 매주 연구 진행에 관한 세미나를 실시하여 연구 내용을 공유하고 문제점을 분석하였음. 특히 비전 프로세싱, 실시간 영상 트레킹, 상황 인식 시스템 연구에 관해 최신 발표되고 있는 연구 자료를 입수하여 기술정보를 파악하였고 실용화 가능성도 충분히 검토하였음.

5. 공개 발표된 연구 개발 성과(논문, 지식재산권, 발표회 개최 등)

■ 등급 : (우수)

- 41 -

연구의 진행 상황에 따라 연구 내용의 객관적인 평가를 위하여 IEEE Consumer Electronics 학회 등 국제적인 학술대회에 4편의 논문을 발표하여 우수한 평가를 받았으며, 최종적인 연구내용을 정리하여 학술진흥재단 등재 학술지 혹은 국제저널에 투고할 예정임.

Ⅱ. 연구 목표 달성도

세부 연구 목표

(연구계획서 상의 목표)

비중

(%)

달성도

(%)자체평가

2D 기반 컬러 평가 모델 분석

Loose-limbed 그래프 모델

분석

20 100 분석 완료 및 모델링 수행

인식 포즈 개수

(5 동작 이상)20 100

게임엔진의 사용자인터페이스로

사용하기 위하여 5가지

동작인식 구현

포즈 인식률

(95% 이상)20 102

복잡한 배경 및 중첩된

행동에서도 평균 97% 이상

인식률 달성

처리 시간

(25 fps 이상)20 80

320x240 영상에서 25fps 이상의

처리 속도를 목표로 하였으나

인테그럴 히스토그램 등

전처리의 수행 시간으로 인하여

20fps 처리 속도 달성,

아케이드 게임의 실시간

인터페이스로 사용가능

연구 논문

(2편 이상)20 90

국제학술대회에 4편의 논문을

발표하였으며, 국제저널에 연구

논문을 투고 중

합계 100 94

포즈인식 처리시간의 문제로

목표 달성에 약간 미흡하나

실용화 단계에서 응용 분야에

따라 보완 가능할 것임

- 42 -

Ⅲ. 종합 의견

1. 연구 개발 결과에 대한 종합 의견

차세대 게임, 로봇, 보안, 유비쿼터스 생활 공간 등에서 실용화 가능한 비전기반 지능형 인

터랙션 기술의 구현을 목표로 사용자의 다관절 움직임 추적을 위하여 강건하고 빠른 추적기

술을 개발하였고, 복잡한 배경에서 중첩된 물체의 포즈를 97%이상의 정확도와 20fps의 처리

속도로 검출하여 실용화 가능성을 제시하였음. 정확도의 개선과 처리속도의 증가는 상관관계를

가지고 있으므로 응용분야에 따라 전처리에 필요한 파라미터를 조절할 필요가 있음.

2. 평가 시 고려할 사항 또는 요구사항

개발된 기술을 아케이드 게임시스템에 적용하여 실용화 가능성을 모색하였음.

3. 연구 결과의 활용 방안 및 향후 조치에 대한 의견

연구 결과에 대하여 지적재산권을 확보하여 산업체에 기술이전을 추진함.

- 43 -

Ⅳ. 보안성 검토

o 해당없음

1. 연구책임자의 의견

2. 연구기관 자체의 검토 결과