Object Detection & Instance Segmentation

Toshinori Hanya

Contents

• Object Detection• Task 에 대하여• R-CNN• Faster R-CNN• Region Proposal Network のしくみ• SSD: Single Shot Multibox Detector

• Instance Segmentation• Task 에 대하여• End-to-End Instance Segmentation and Counting with Recurrent

Attention

2

일반 물체 인식 분야에서의 Deep Learning

• 정지 분류 작업은 CNN 에 의한 특징량 추출 및 학습을 통해 발전• 보다 고 난이도의 작업인 물체 감지 , 물체 영역 추출로 발전

Classification Object Detection Semantic Segmentation

Instance Segmentation

Plants

http://www.nlab.ci.i.u-tokyo.ac.jp/pdf/CNN_survey.pdfhttp://host.robots.ox.ac.uk/pascal/VOC/voc2012/segexamples/index.html

PlantsPlants Plants

고난이도

3

Object Detection소개 논문：SSD: Single Shot MultiBox Detector

Object Detection

• 이미지 속의 여러 물체를 빠짐없이 / 중복없이 검출하는 것이 목적• 물체의 검출정확도 (Precision) 와 빠짐없이 검출 할 수 있는지의 지표인 적합율

(Recall) 의 관계 (Precision-recall curve) 에서 산출한 Average Precision (AP) 가 주요 지표 .

• 실제 문제에 응용이 기대되고 AP 외에 예측시의 계산 시간도 중요하여 , 실시간 성이 요구되고있다 .

http://host.robots.ox.ac.uk/pascal/VOC/voc2007/

Precision

Recall1

1

면적 = AP

5

주요모델 (1): Regions with CNN

• R-CNN (Regions with CNN)• 물체 영역 후보의 생성에 Selective Search (SS) 등의 방법을 이용• 생성한 영역을 이미지 분류를 위한 CNN 에 입력하여 각 영역에 무엇이 담겨

있는지 ( 또는 배경인가 ) 을 분류한다 .• Recall 을 확보하기 위해서는 영역 후보가 2,000 정도 필요하며 , 전체를 CNN

에 입력하고 계산하는데 , 상당한 시간이 걸림• 또한 다단계의 학습이 필요하므로 복잡

R-CNN: http://arxiv.org/abs/1311.2524 6

주요모델 (2): Faster R-CNN

• Faster R-CNN• 특징 추출 부분을 공통화 ( 이것은 Fast R-CNN 에서 제안 된 방법 )• 특징 맵을 입력하여 물체 영역 후보를 생성하는 Region Proposal Network 를

제안• 300 개 정도의 공간 후보로 충분한 정확도가 확보 가능• 1 장당 0.2 ~ 0.3 초에 처리 가능

Region Proposal Net(RPN)

CNN( 특징추출） Classifier

물체 영역후보를 생성（～ 300 개 정도）각 영역후보에 해당하는 물체를 분류

Faster R-CNN: http://arxiv.org/abs/1506.014977

Region Proposal Network

• 특징 맵에 Anchor 를 정의 ( 방안지에 비유하여 각 질량의 중심 이미지 )• 각 Anchor 당 k 개의 Anchor Box 를 정의 (Scale 과 Aspect ratio 의 조합 )• 각 Anchor Box 마다 물체 유사성 점수와 위치 · 크기의 수정 사항을 예측하도록 훈련

Faster R-CNN: http://arxiv.org/abs/1506.01497

이미지 특징 맵

CNN( 특징추

출）

・・・

Scale Aspect ratio

×

각 Anchor 당 k 개의 Box　　　（예 : k = 3 × 3 ）

2k scores（물체 또는 배경）

4k coordinates（ x, y, w, h 의

수정항）

H x W x 3 H/16 x W/16 x 3

8

SSD: Single Shot Multibox Detector

Region Proposal Net(RPN)

CNN( 특징추

출）Classifier

① 물체 영역후보를 생성（물체 유사성 점수）

② 각 클래스로 분류

CNN( 특징추

출）

Region Proposal

+Classifier

물체 영역후보를 생성（클래스 별 점수）SSD

FasterR-CNN

• Faster RCNN 보다 빠르고 정확도도 좋은 모델• 입력 이미지 크기가 작은 모델 ( 정밀도는 적당히 ) 는 58FPS 를 달성

• Faster 에서 ① 영역 후보 생성 ② 각 영역 특징 벡터를 잘라 분류하는 , 2 단계로 수행되던 작업을 한번에 처리

• 깊이가 다른 복수의 특징 맵을 사용 . 얕은 쪽은 작은 물체를 깊은 쪽은 큰 물체를 감지

SSD: http://arxiv.org/abs/1512.023259

SSD: Single Shot Multibox Detector

• Faster RCNN 보다 빠르고 정확도도 좋은 모델• 입력 이미지 크기가 작은 모델 ( 정밀도는 적당히 ) 는 58FPS 를 달성

• Faster 에서 ① 영역 후보 생성 ② 각 영역 특징 벡터를 잘라 분류하는 , 2 단계로 수행되던 작업을 한번에 처리

• 깊이가 다른 복수의 특징 맵을 사용 . 얕은 쪽은 작은 물체를 깊은 쪽은 큰 물체를 감지 ( 깊이에 따라 기본 Box 크기가 바뀜 )

얕은 쪽 특징맵에서는 작은 물체를 검출

깊은 쪽 특징맵에서는 큰 물체를 검출

SSD: http://arxiv.org/abs/1512.02325 10

SSD: Single Shot Multibox Detector

• Pascal VOC 2007 의 Detection 결과• 입력 이미지 크기가 300x300 모델 (SSD300) 에서는 58FPS 를 달성하고、

mean AP 도 70% 를 초과• 입력 이미지 크기가 500x500 모델 (SSD500) 에서는 Faster R-CNN 보다

정확하면서도 처리 속도도 빠름

SSD: http://arxiv.org/abs/1512.02325

11

Instance Segmentation소개논문：End-to-End Instance Segmentation and Counting with Recurrent Attention

Instance Segmentation

• 영역분활 (Segmentation ）• 픽셀마다의 label 을 예측• 형상이나 면적등의 정보를 얻을 수 있어서 응용분야가 많고 활발히 연구중

• Task 분류• Semantic Segmentation

• 각 필셀에 클라스의 라벨을 붙이는 문제• 병이 4 개인 경우에도 모두 [ 병 class] 의 라벨을 붙임

• Instance Segmentation• 개개 물체마다 별도 레벨을 붙이는 문제 • 병이 4 개인 경우 , 별도의 라벨을 붙임

(b) Instance ~ (a) Semantic ~Raw Imagehttp://host.robots.ox.ac.uk/pascal/VOC/voc2012/segexamples/index.html 13

잎은 몇 개일까요 ?

http://juser.fz-juelich.de/record/154525/files/FZJ-2014-03837.pdf 14

어떻게 셀까요 ?

http://juser.fz-juelich.de/record/154525/files/FZJ-2014-03837.pdf

• 시선을 옮기며 한장한장 주목하면서 • 한번 본 것은 기억해 놓는 느낌으로 세면 되지 않을까 ?

15

End-to-End Instance Segmentation and Counting with Recurrent Attention

• Instance Segmentation 용 뉴럴 넷 • 스텝마다 1 개의 물체를 주목하여 영역을 분활 • 한번 본 영역은 기억해 놓고

（인간이 세는 방법을 참고）

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

16

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

• 모델의 전체 형상 ：

17

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

한번 본 영역을 기억해놓는 부품

18

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

어디에 주목할까를 결정

19

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

주목한 영역의 Segmentation 을 실행

20

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

물체가 발견되었는지 판정을 실행（점수가 0.5 이하가 되면 종료）

21

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

한번 본 부분은 기억（이하 반복）

22

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

• 결과 ( １ ) 잎의 영역분활

23

End-to-End Instance Segmentation and Counting with Recurrent Attention

End-to-End Instance Segmentation and Counting with Recurrent Attention: https://arxiv.org/abs/1605.09410

• 결과 (2) 차량의 영역분활

24