[234] 산업 현장을 위한 증강...

Preview:

Citation preview

DAQRI Helmet’sComputer Vision System Development

김병수

1

Speaker

Byungsoo Kim김병수

- Senior Computer Vision Scientist at DAQRI

- PhD/MS in computer vision from University of

Michigan, Ann Arbor

- Visiting Researcher at Stanford University

- Bachelor from KAIST

2

DAQRI Helmet

3

4

DAQRI Helmet

for

Augmented reality device

Internet of thingsfor industry

5

Why DAQRI Helmet?현장에서의 필요성

Opportunities in Industry

6

현장에서의 문제점들

- 여기는 어디? 난 무얼 보고 있는가?

- 그래서 뭘 해야 하더라…

- 저 기둥이 살짝 기운 것 같긴 한 것도 같고…7

DAQRI Helmet

8

정확한 위치 제공 (Vision & Sensors) AR 컨텐츠/매뉴얼 제공

안전 비용 절감업무 효율 향상

DAQRI Helmet vs VR Devices

- See-through display 투명한 디스플레이

- 실제 환경을 바탕으로 한 콘텐츠9

10

- 명확한 타겟 설정: Industrial market

- Multi cameras

- High-end sensors

DAQRI Helmet vs Other AR Devices

Computer Visionfor

Augmented Reality

11

AR의 원리

12

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

AR의 원리

13

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

AR의 원리

14

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

Computer Vision

AR의 원리

15

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

AR의 원리

16

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

AR의 원리

17

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

Computer Vision

Computer Vision

관련 기술Object Recognition

Tracking

Localization

Mapping

18

Computer Vision

19

관련 기술Object Recognition

Tracking

Localization

Mapping

Computer Vision

20

관련 기술Object Recognition

Tracking

Localization

Mapping

Computer Vision

21

관련 기술Object Recognition

Tracking

Localization

Mapping

Computer Vision

활용 분야에 따른 적절한 응용이 중요

22

관련 기술Object Recognition

Tracking

Localization

Mapping

Computer Vision

23

관련 기술Object Recognition

Tracking

Localization

Mapping

Computer Vision

24

관련 기술Object Recognition

Tracking

Localization

Mapping

25

Computer Vision

However, camera-only-based computer vision is very challenging in the industrial environment.

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

26

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

27

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

28

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

29

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

30

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

31

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

관련 과제들

센서 및 비전 사이의 calibration

데이터 싱크 문제32

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

관련 과제들

센서 및 비전 사이의 calibration

데이터 싱크 문제33

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

관련 과제들

센서 및 비전 사이의 calibration

데이터 싱크 문제34

Computer Vision System 개발 과정

35

Computer Vision

처리 속도 & 정확도

36

Computer Vision

처리 속도 & 정확도

37

개발 과정

Use the right tool : 필요한 기술을 잘 고르자.

Visual BoW

TF-IDF

Deep Learning

Bundle Adjustment

Kalman Filter

38

개발 과정

Use the right tool : 필요한 기술을 잘 고르자.

Visual BoW

TF-IDF

Deep Learning

Bundle Adjustment

Kalman Filter

39

개발 과정

Use the right tool : 필요한 기술을 잘 고르자.예: 정확성 vs 속도? 스케일?

Visual BoW

TF-IDF

Deep Learning

Bundle Adjustment

Kalman Filter

40

개발 과정

Speed, speed, speed : Basics can do many things!

Linear algebraGeometryConvex optimizationLinear optimization

Optical flowHomography trackerKalman filter

41

개발 과정

Speed, speed, speed : 하드웨어 최적화를 항상 염두에!

42

개발 과정

결론: Build from scratch

Homography Tracker

3DTracker SLAM 2D/3D

Recognition

43

개발 과정

결론: Build from scratch

Core Math

Linear Algebra Geometry Optimization

PatchTracker Optical FlowKalman

FilterBundle

Adjustment

Homography Tracker

3DTracker SLAM 2D/3D

Recognition

44

개발 과정

결론: Build from scratch

Core Math

Linear Algebra Geometry Optimization

PatchTracker Optical FlowKalman

Filter

HardwareOptimization

Bundle Adjustment

Homography Tracker

3DTracker SLAM 2D/3D

Recognition

45

어려운 점들

이론과 실제의 차이 : Computer vision (소프트웨어) <-> Sensors (하드웨어)

46

어려운 점들

이론과 실제의 차이 :예: 후방 카메라만 이용하면 SLAM이 잘 안 되더라. (왜?)

47

Open Sourcefor

AR Community

48

오픈 소스

Coming soon!

49

다루지 않은 주제들

50

다루지 않은 주제들

안 다룬 주제들

- Optics- Head tracking- Eye tracking- 3D modeling

51

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

다루지 않은 주제들

안 다룬 주제들

- Optics- Head tracking- Eye tracking- 3D modeling

52

SensorsSensors

Sensors Camera(s)

CPU

+ Optical����������� ������������������  Combiner

Scene

generator

다루지 않은 주제들

안 다룬 주제들

- Optics- Head tracking- Eye tracking- 3D modeling

53

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

Q&A

54

Thank You

55

Recommended