66
[email protected] 지능형 CCTV 기술 동향 및 젂망 2013. 10. 8 박 장 식 [email protected]

지능형 CCTV 기술 동향 및 젂망 - ITFIND · [email protected] 목 차 2 1. 지능형CCTV기술 개요 3. 응용 사례 2. 기술 개발 동향 4. 성능평가 5. 결론

  • Upload
    vodung

  • View
    236

  • Download
    0

Embed Size (px)

Citation preview

[email protected]

지능형 CCTV 기술 동향 및 젂망

2013. 10. 8

박 장 식

[email protected]

[email protected]

목 차

2

1. 지능형CCTV기술 개요

3. 응용 사례

2. 기술 개발 동향

4. 성능평가

5. 결론

[email protected]

. cc01

cc02

cc03

cc04 p

01 p

02

p03

3

[email protected]

배경 – 범죄발생 증가

4

0

10

20

30

40

50

60

2007 2008 2009 2010 2011

발생건수

2007~2011 연도별 강력범죄(흉악) 발생비 통계

강간

방화

강도

살인

95.8 98.2 97.1 97.4 95.3

83.8 85.6 92.6

88 84.8 90 86.9 88.6

82.6

74.5

90.7 89.9 92.2 88.5

84.4

0

20

40

60

80

100

120

2007 2008 2009 2010 2011

검거율

연도

2007~2011 연도별 강력범죄 검거율 통계

살인

강도

방화

강간

[email protected]

배경 – 교통사고 현황

5

[email protected]

배경 – 자연 재해

최근 10년간 자연 재난으로 인하여 평균 137명 인적 피해

1조 7,000 억원의 재산 피해 발생

2조 6,000 억원의 피해 복구 비용 소요 되었음

자연 재난의 예방을 위한 연구 개발 및 현장 적용이 필요함

황령산 산사태

6

[email protected] •2009년 화재발생현황 분석, 소방방재청, 2010년 1월

배경 – 인적 재해

1일 평균 129.6건의 화재로 인한 인명 피해는 6.7명(사망 1.1명, 부상 5.6명)

1일 평균 화재로 인한 재산 피해 6억9천만원

단독주택 6,905건(14.6%), 차량 5,981건(12.6%), 공동주택 4,274건(9%),

음식점 2,720건(5.7%), 공장 2,496건(5.3%)

화재 예방, 화재 발생 조기 검출 및 대응 젃실히 필요함

해운대 마린시티, 고층건물 화재

7

[email protected]

영상감시시스템의 순기능

범죄 해결사로 부상 !

8

참고자료: 핚세대학교, IT학부 류대현 교수

[email protected]

영상감시시스템의 역기능

사생홗침해 문제 발생 !

9

참고자료: 핚세대학교, IT학부 류대현 교수

[email protected]

부산광역시 CCTV 현황 및 계획

10

구 분

설치대수

총계 방범 취약

어린이 보호

아동 보호

폐공가 시도 경계

계 2,977 897 1,060 781 210 33

1단계사업 150 91 59

2단계사업 173 72 101

폐공가사업 140 140

3단계사업 385 65 300 20

4단계사업 578 193 104 206 70 5

구굮 자체 263 263

5단계사업 566 83 160 319 8

6단계사업 (계획)

470 65 230 175

7단계사업 (계획)

252 65 106 81

[email protected]

지능형CCTV시스템의 필요성

11

강력 범죄율 증가 줄어가는 검거율 커져가는 시장 규모/수요

출처 : 뉴시스(김도란 기자), 문화일보(박준희 기자)

늘어가는 강력범죄율 증가로 인한 사회

공포심 확산

범죄율은 감소 하였지만 날로

국제화되고 지능화되는 범죄 및 강력

범죄율 증가로 인하여 사회적 문제 대두

생계형 범죄의 급증과 더불어 인

륜경시풍조가 사회 및 부유층에

대핚 적대감으로 표출되는 등 경

제.사회적 갈등이 범죄현상으로

표출되어 범죄 급증

기소율 감소 추세

- 엄격한 증명의 요구, 피의자의 인권

옹호 등 사회적 요구를 반영하여

싞중핚 수사와 처리의 결과

- 범죄상황 시 빠르고 정확한 증거

확보 요구 증대

출처 : The World Market for Video Content Analysis, IMS Research, 2011

세계 지능형 영상감시 시장의 경우 2010년 기준 약 2억 27,550만달러로 집계되었으며, 2012년에는 3억9,480만 달러, 2015년에는 6억 9,480만달러의 시장 규모를 젂망하고 있어 시장 규모는 해마다 증가 될 젂망임.

안젂행정부는 2010년부터 2015년까지 젂국 지자체 단위로 220굮데 CCTV 통합관제 센터 건립을 목표로 함 물리적인 CCTV 장비 통합은 되고 있으나, 통합된 CCTV들을 소수의 인원으로 관제할 수 있는 시스템이 요구

[email protected]

CCTV 관제인력의 효율성 저하

12

Too many screens, not enough eyeballs,

Industry experts suggest that after 12 minutes of

continuous video monitoring an operator will miss

up to 45 percent of screen activity. That rises to

up to 95 percent after 22 minutes.

[CNN: Smart cameras spot shady behavior, 2007.]

[email protected]

지능형CCTV 시장 동향

국 내

한국인터넷진흥원(KISA)

국 외

IMS 리서치 (2011)

※ 출처 : The World Market for Video Content Analysis, IMS Research, 2011

※출처 : [국내시장규모] 2012년 국내 지식정보보안산업 실태조사

• 지능형 영상감시 시장 규모는 2011년 16.4%, 2012년 23.1% 성장

하였고, 2015년 젂망치를 6억9천만 달러로 추정하면서 연평균

2010년 기준 1조 8,561억원에서 2011년 1조 9,790억원으로 6.6% 성

장하였으며, 2009년도 전체 물리보안 산업규모의 39%에 달하는 가장

큰 비중을 차지한 CCTV 카메라 제품은 씩 성장

[email protected]

지능형감시시스템 구성

14

멀티모덜 영상/음향 감시

압축 젂송 녹화

프라이버시 보호 분배 알림

다중 카메라 연동 이벤트 검출 및 추적

방범CCTV 폐공가지역 공공기관 학교 문화재 공동시설

pedestrian

vehicle

FPGA+DSP +Local Storage

Multi-Video Analysis Storage Streaming

방범용CCTV(지방자치단체, 민간), 폐공가, 공공기관(발전소 등), 학교, 문화재, 공동시설 등

개발범위

적용분야

Camera

Microphone

Fire

영상/음향 분석

speaker

IR camera

이상행동

차량사고

화재

[email protected]

지능형감시시스템 기술

15

Input Video Candidates Extraction

Object Detection

Alarm Propagation

Background Estimation

Vehicles

Pedestrian

Sound Analysis

IR Video Analysis

Store Video/Audio

• GMM • Code book

• Adaboost, SVM • 3D reconstruction

• Optical Flow • Baysian Tracking • Particle Filtering • Mean-Shift, CAM-Shift

Feature Extraction

• Color histogram • Haar-like • HoG, LBP

SNS Mobile Devices

• Robust to Lights

Action Analysis Situation Understanding

Tracking Multi-CAM

[email protected]

지능형영상감시(인식, 추적) 기술 현황

기술구분 구분 국가/업체 기술현황

지능형 영상인식 기술

국외

미국/3VR, ObjectVideo, IBM, AXIS, Honewywell 영국/IndigoVision 호주/OmniScient 일본/Sony

차세대영상보앆플랫폼제시 다양핚지능형영상인시기술 상용화 - 영상분석기술 - 객체식별기술 - 홗용분석기술

국내 삼성젂자, 일리시스, 아이디스 에이치엠씨

대부분 국외기술 도입 아직 선짂국의 60~80% 정도 수준 DSP기반 임베디드(HW/SW 연동)

영상추적 기술

국외 미국/Verint

다중 영상을 연결핚 파노라마 영상 생성 기능

국내 삼성젂자, ETRI 에이치엠씨

센서와 연동핚 추적 기능

Honeywell, Activeye 일리시스(객체인식) 에이치엠씨(화재감지)

16

[email protected]

영상 프라버시 보호 기술 현황

구분 국가/업체 기술현황

국외

스위스/EMITALL

미국/Kentucky대학교

미국/3VR, 독일/Bosch

일본/Panasonic

미국/Pelco

미국/Berkeley대학교

IP카메라용 실시간 동적 스크램블

얼굴 영상을 흐리게 지워 워터마킹

동적 프라이버시 마스킹 기능 제공

IP카메라에서 정적 프라이버시 마스킹

IP카메라에서 동적으로 창문을 blank 처리

프라이버시 마스킹 기능 제공

국내 삼성젂자, 삼성테크원

ETRI(에이치엠씨)

IP 카메라용 정적 마스킹 기능 제공

IP 카메라용 동적 마스킹 기능 제공

실시간 마스킹 코덱 연동 마스킹

17

[email protected]

영상보호시스템 기술 현황

구분 국가/업체 기술 현황

국외

미국/AXIS ID/PW를 이용핚 사용자 인증

HTTPS 프로토콜 사용

미국/3VR 자체 개발핚 보앆 프로토콜 사용

워터마킹을 이용핚 위변조 방지 기술

Anti-virus 기술

일본/Panasonic ID/PW를 이용핚 사용자 인증

IP주소를 이용핚 호스트 인증

ftp와 http 에 대해서 보앆적용 기능

미국/Pelco ID/PW를 이용핚 사용자 인증

IP 주소를 이용핚 호스트 인증

Ftp와 http 에 대해서 보앆 적용 기능

국내

삼성젂자, 삼성테크윈 카메라에 대핚 ID/PW 기반 사용자 인증

윈포넷, 아이디스 ID/PW 기반 사용자 인증

영상 위변조 방지 기술

ETRI 침입방지, 접근제어, 비실시간 영상재연 방지 기술

18

[email protected]

통합관제시스템 기술 현황

구분 국가/업체 기술 현황

국외

미국/3VR 대표적인 영상보앆플랫폼 IVMS 상용화

위협요소의 사젂 탐지 및 행동분석, 영상검색 기능 제공

미국/Verint 보앆 관제 시장 점유율 1위 업체

자동으로 영상을 분석하고 대응하는 체계 지원

독일/Bosch 지능형 인식 솔루션인 IVA 상용화

영상 분석 기능을 이용핚 Video-Forensic 기능 제공

국내

아이디스 객체/위치 정보 기반 검색 기능 및 파노라마 영상 제공 기능

이노뎁 리얼허브

통합관제센터 구축 사업에 다수 참가

이노뎁 리얼허브 Verint

19

[email protected]

이기종 호홖성 표준 기술 현황 국외 국내

• PSIA

- IP기반 미디어 장비에서 지원하는 open API 규격

개발

- Cisco, ADT, GE security, Honeywell, Panasonic,

Pelco, ObjectVideo, Verint 등 19개 업체 참가

• ONVIF

- 네트워크 비디오 제품간 상호호홖성 제공 위핚 표

준 인터페이스 개발

- AXIS, Bosch, Sony, 삼성테크윈, LG젂자, Panasonic

등 33개 업체 참가

- 웹 기반으로 동작

• Milestone

- Verint사와 더불어 세계 CMS 시장 장악

- CCTV 플랫폼과 하드웨어 독립적(300개 이상의 이

기종 CCTV모델, 35개 이상의 비디오 디코더 제조

사 지원)

- 영상관제시스템 레벨에서의 지능형 영상인식 제공

• K-Protocl

- 핚국디지털 CCTV 연구조합에서 경찰청과

협의 중인 표준 프로토콜

- IP카메라, DVR, 관제시스템 등 젂체 영상

보앆시스템간의 호홖성 확보가 목표

• 소방방재청

- AXIS, 웹게이트 등 5개사 IP 카메라 연동

- 통합서버를 두고 호홖성을 제공함

• PSIA; physical security interoperability

alliance

• ONVIF; open network video interface

forum

• CMS; central monitoring system

20

[email protected]

지능형 상황인지 CCTV시스템

21

불법투기 야간 골목길

수배차량 이상행동

FPGA+DSP+Local Storage

Camera

Microphone

speaker

IR camera

상황인지시스템

8채널

이벤트저장

통합관제시스템

2개월 영상저장 64채널

32채널 32채널 경찰청

소방방재청

실시간 경보 수신 표현어 추론 생성 및 검색

경보전송

[email protected]

Gender Classification with Gait Analysis

22

Shiqi Yu, Tieniu Tan, Kaiqi Huang, Kui Jia, and Xinyu Wu, A Study on Gait-Based Gender Classification, IEEE

TRANSACTIONS ON IMAGE PROCESSING, VOL. 18, NO. 8, AUGUST 2009

Yasushi Makihara, Hidetoshi Mannami, and Yasushi Yagil Gait Analysis of Gender and Age Using a Large-

Scale Multi-View Gait Database

[email protected]

Tracking-Learning-Detection

23

Zdenek Kalal, Krystian Mikolajczyk, and Jiri

Matas “Tracking-Learning-Detection,” IEEE

TRANSACTIONS ON PATTERN ANALYSIS

AND MACHINE INTELLIGENCE, VOL. 6, NO. 1,

JANUARY 2010

[email protected]

Tracking-Learning-Detection

24

P-Expert N-Expert

[email protected]

3D Modeling

25

M. Zeeshan Zia, Michael Stark, Bernt Schiele, and Konrad Schindler, Detailed 3D

Representations for Object Recognition and Modeling

[email protected]

3D Modeling for Car Detection

26

[email protected] 27

지능형CCTV시스템 실현의 어려움

그림자의 시간대별 조건; 새벽, 오젂, 정오, 오후, 저녁, 야간

인공조명의 조건; 실내등, 가로등, 차량 조명

싞기술 적용; 적외선영상, 열화상영상, RGB-Depth영상

날씨 및 계젃; 우천, 강설, 4계젃

해상도, 프레임 변경을 통핚 DB 구축 및 제공

오후 2시 오후 4시

[email protected]

주야간 특이행동 영상(우범지역)

28

[email protected]

우천시 교량 영상(교량)

29

[email protected]

3. 기술 개발 및 응용 사례

[email protected] 31

화재조기검출시스템- 화염 및 연기검출

GMM(Gaussian Mixture Model)기반 화염 및 연기 검출

명도 및 채도변화에 강건핚 영상기반 화재 알고리즘 개발로 오경보율 최소화

Input Video

Estimated Background

Current Video Frame

Generating Difference Image

Extracting Moving Region

GMM Calculation

Smoke Feature Comparison

Flame Feature Comparison

Warning Fire

-

Candidate selection

Flame or smoke determination GMM calculation

[email protected]

Fire Detection Results(지하젂력구)

10m Flame Experiments

20m Flame Experiments

Detected

Region

[email protected]

Experimental Results(지하젂력구, 무인변젂소)

33

[email protected]

Fire Detection Experiments at substation(무인변젂소)

50m Flame experiments

Detected

region

[email protected]

Experimental results of smoke detection in outdoor (경주, 불국사)

35

[email protected]

Experimental results of smoke detection in outdoor

36

[email protected]

Experimental results of smoke detection in outdoor

37

[email protected]

AIS information display for monitoring system

AIS, Automatic Identification System

38

항만, AIS 연동 선박 추적, 내항 선박 충돌사고 모니터링

[email protected]

N35°04'55.2"

N35°05‘21.12"

E129°05‘6.72" E129°05‘58.56"

(0,0) (1600,0)

(0,1200)

Longitude

Latitude

Mapping coordinates with major landmarks

39

[email protected] 40

Block Diagram of Ship Detection

Video input Saliency Map Mean-shift segmentation

AIS Information Reception

Coordinate Generation (mapping AIS coordinates to cartesian coordinates)

Position Search

Display Region & AIS information

Vessel Region Determination

Saliency map:

Object stands out

with respect to neighborhood

Saliency map is suitable for

detecting ships or vessel on the sea

Because sea and sky occupy most of

image

[email protected]

Saliency map

41

Original image

saliency map intensity Threshold image(0.9)

Saliency map:

Object stands out

with respect to neighborhood

Saliency map is suitable for

detecting ships or vessel on

the sea Because sea and sky

occupy most of image

[email protected]

유고감지 시스템의 필요성

42

구분 계 년도

2001 2002 2003 2004 2005 2006 2007 2008 2009 2010.6

사고(건) 571 47 72 62 62 75 50 65 51 64 23

사망(명) 61 3 10 7 4 12 2 6 7 7 3

[email protected]

영상기반 터널사고감지 시스템 개요

43

[email protected]

한국도로공사 - 터널사고감지시스템

44

[email protected]

한국도로공사 - 터널사고감지시스템

45

[email protected]

Car Tracking on the bridge(modified Particle filter)

Results of conventional algorithm

Results of proposed algorithm Fault detection

교량 카메라 흔들림이 있는 상태에서 차량 추적

46

[email protected]

특이행동검출 - 배회 상황 검출

[email protected]

특이행동검출 - 월담상황 검출

[email protected]

특이행동검출 - 월담(침입) 상황 검출

[email protected]

특이행동검출 - 폭행 상황 검출

[email protected]

특이행동검출 - 방치물 상황 검출

[email protected]

특이행동검출 - 방치물 검출

[email protected]

특이행동검출 - 방치물 검출

[email protected] 55

원거리 얼굴검출 및 인식시스템

원거리 얼굴 검출 구현

원거리의 다양핚 홖경 조건(실내, 실외, 조명)에서 CCTV 감시카메라를 이용핚 실시간 얼굴 검출 및 인식

카메라

카메라 영상획득

얼굴 검출 (다중 검출)

얼굴인식서버

검출된 얼굴 PTZ 제어

포즈 보정 및 정규화

얼굴 식별

얼굴 검출/식별 영상 저장

영상 대한 조명 보정 및 잡음 보정

얼굴 영상등록

실시간 얼굴 검출

카메라 셋팅 및 홖경설정

[email protected]

특이상황 음성 특성 분석(여성 비명소리)

Time domain

Spectrogram

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5

x 104

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1scream signal

비명구간 일반 음성구간 일반 음성구간

2 dominant peak spectrums

Near 3,000 Hz

Near 1500 Hz

[email protected]

특이상황 음성 특성 분석

Time domain

Spectrogram

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

x 104

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1scream signal

2 dominant peak spectrums

Near 3,000 Hz

Near 1500 Hz

특이상황 검출 알고리즘

[email protected]

4. 지능형CCTV 성능평가

58

[email protected] 59

i-LIDS Evaluation Procedure

Reference: Imagery Library for Intelligent Detection Systems, The i-LIDS User Guide

[email protected] 60

i-LIDS alarm states - Detection

Reference: Imagery Library for Intelligent Detection Systems, The i-LIDS User Guide

[email protected]

성능 시험인증(i-LIDS 도구)

인증시험용 영상을 사용하여 점수화(F1 값) 핛 수 있는 시험도구 프로그램

'True Positive', 'False Positive', 'False Negative' 이벤트 자동 계수

Recall, Precision 계산 및 이를 통핚 F1값 계산

상황 시나리오에 따른 F1 계산을 위핚 가중치 도출 및 적용

Ground Truth

F1 Report 성능평가시스템

성능시험 대상

a: True Positive

b: False Positive

c: False Negative

Reference: Imagery Library for Intelligent Detection Systems, The i-LIDS User Guide

[email protected]

Caltech, Pedestrian DB and Annotation Tool

62

Piotr Doll ́ ar, Christian Wojek, Bernt Schiele, and Pietro Perona, “Pedestrian Detection:An Evaluation of the State of

the Art,” SUBMISSION TO IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE

[email protected] [email protected] 63

한국도로공사, 터널사고감지 BMT

0m 100m 150m

주행차로

50m

라바콘(이정)

점검로

10회5회5회

[email protected]

Evaluation and Annotation example

64

[email protected]

결 론

지능형영상감시 시스템 기술의 변화 방향

단순 DVR 에서 NVR

지능형 객체검출 및 인식, 추적, 상황인식 기술

개인 정보보호기술 수요가 높아지고 있음

빅데이터 기반의 통합관제 시스템

지능형영상기술의 임베디드시스템화

대규모의 영상채널에 대하여 효율적인 대응을 위하여 임베디드화

영상데이터 저장을 센터와 로컬로 이중화함

실질적인 위협 상황에 대응핛 수 있는 시스템 개발 필요

우천 등의 기상이 나쁜 상황에서 앆젂 운행 지원 필요

범죄 발생 가능성이 높은 야간에 적젃핚 영상분석 기술 개발이 필요함

폐공가 등의 인적 없는 지역에서의 범죄 예방 및 싞속 대응

영상DB구축 및 성능평가인증체계가 필요함

기술개발기업과 수요처 모두 만족핛 수 있는 객관적인 성능평가인증체계가 필요함

지능형 영상분석시스템 기술 및 솔루션 경쟁력을 향상하기 위핚 영상DB 구축이 필요함

65

[email protected] 66

감 사 합 니 다. Q&A