100
UNIVERSIDADE FEDERAL DO RIO GRANDE CENTRO DE CIÊNCIAS COMPUTACIONAIS PROGRAMA DE PÓS-GRADUAÇÃO EM COMPUTAÇÃO CURSO DE MESTRADO EM ENGENHARIA DE COMPUTAÇÃO Dissertação de Mestrado Um Sistema de Detecção de Fogo Baseado em Vídeo Cristiano Rafael Steffens Dissertação de Mestrado apresentada ao Programa de Pós-Graduação em Computação da Universi- dade Federal do Rio Grande, como requisito par- cial para a obtenção do grau de Mestre em Enge- nharia de Computação Orientador: Prof. Dr. Ricardo Nagel Rodrigues Rio Grande, 2015

Um sistema de detecção de fogo baseado em vídeo

Embed Size (px)

DESCRIPTION

A detecção automatizada de fogo é foco de pesquisa em visão computacional desde oinício da década de 90. Neste trabalho, um novo método para a identificação de fogobaseado em vídeo é proposto e analisado. Algoritmos de detecção de fogo utilizandovisão computacional são normalmente aplicados em cenários que utilizam câmerasestáticas, tais como circuitos fechados de TV utilizados em sistemas de vigilância. Ométodo proposto, não se restringe apenas a estas condições, mas também possibilita adetecção automática de fogo em vídeos obtidos a partir de câmeras móveis. A utilizaçãode câmeras móveis adiciona uma complexidade significativa ao incluir variação nobackground, movimento em três eixos, trepidação e iluminação não controlada. O mé-todo proposto utiliza características estatísticas do fogo e Random Forests para detectarpotenciais regiões com fogo, suprimindo a dependência da dinâmica do movimento.Estas características incluem a cor, o formato, a dispersão e assimetria da intensidade.Para complementar a classificação atingida a partir das propriedade espaciais, o sistemautiliza-se também das propriedades de oscilação e pulsação ao longo de um curtoperíodo de tempo. Estas características temporais são fatores discriminantes, largamenteempregados na bibliografia consultada, resultando em classificadores robustos. Osresultados apresentados demonstram a aplicabilidade do método, superando outrosmétodos anteriormente propostos.

Citation preview

  • UNIVERSIDADE FEDERAL DO RIO GRANDECENTRO DE CINCIAS COMPUTACIONAIS

    PROGRAMA DE PS-GRADUAO EM COMPUTAO

    CURSO DE MESTRADO EM ENGENHARIA DE COMPUTAO

    Dissertao de Mestrado

    Um Sistema de Deteco de Fogo Baseado em Vdeo

    Cristiano Rafael Steffens

    Dissertao de Mestrado apresentada ao Programade Ps-Graduao em Computao da Universi-dade Federal do Rio Grande, como requisito par-cial para a obteno do grau de Mestre em Enge-nharia de Computao

    Orientador: Prof. Dr. Ricardo Nagel Rodrigues

    Rio Grande, 2015

  • Dados de catalogao na fonte:Bibliotecrio Clriston Ribeiro Ramos CRB- 10/1989Biblioteca Central FURG

    A999a Steffens, Cristiano Rafael

    Um Sistema de Deteco de Fogo Baseado em Vdeo / Cris-tiano Rafael Steffens. Rio Grande, 2015. 100 f: grf. Dis-sertao (Mestrado) Programa de Ps-Graduao em Compu-tao. Universidade Federal do Rio Grande. Centro de CinciasComputacionais. Rio Grande, 2015. Orientador Ricardo NagelRodrigues.

    1. Deteco de fogo. 2. Aprendizado de mquina. 3. Visocomputacional. I. Rodrigues, Ricardo Nagel. II. Ttulo.

    CDD: 999.9

  • Banca examinadora:

    Prof. Dr. Ricardo Matsumura de Arajo

    Profa. Dra. Silvia Silva da Costa Botelho

    Prof. Dr. Ricardo Nagel Rodrigues

  • AGRADECIMENTOS

    Aos meus pais, por sempre terem colocado a minha educao em primeiro lugar epor sempre terem se esforado para que eu pudesse realizar os meus objetivos. Aos meusirmo pelo apoio, carinho, suporte e incentivo.

    Aos colegas e amigos do Centro de Cincias Computacionais, por terem ajudado acolocar em prtica as ideias e auxiliado de alguma forma na realizao do presente traba-lho, dedico o meu apreo. Em especial, agradeo ao companheirismo e colaborao doscolegas do grupo de Sistemas Computacionais e Tecnologias para Percepo.

    Ao meu orientador, Prof. Dr. Ricardo Nagel Rodrigues, pela confiana em mimdepositada, pelos ensinamentos, pelo apoio e ajuda no desenvolvimento deste trabalho.Por no ter medido esforos para, com dedicao, permitir uma argumentao clara econcisa, tornando o trabalho mais tcnico e estimulante.

    Aos professores Dra. Slvia Silva da Costa Botelho (FURG) e Dr. Ricardo Matsumurade Arajo (UFPEL), pela disponibilidade e participao na banca de avaliao

    Ao coordenador, aos professores e tcnicos do Centro de Cincias Computacionais -C3 - FURG.

    Migrate Company Sistemas de Informao LTDA por flexibilizar meu horrio detrabalho, permitindo-me conciliar o trabalho com o curso de ps-graduao. CAPESpelo apoio financeiro que permitiu que eu me dedicasse integralmente s atividades depesquisa.

  • Everything that I can spyThrough the circle of my eye.

    Everything that I can seeHas been woven out of me.

    I have sown the stars ; I threwClouds of morn and noon and eveIn the deeps and steeps of blue ;

    And each thing that I perceive.Sun and sea and mountain high.

    Are made and moulded by my eye :Closing it, I do but find

    Darkness, and a little wind. JAMES STEPHENS

  • RESUMO

    STEFFENS, Cristiano Rafael. Um Sistema de Deteco de Fogo Baseado em Vdeo.2015. 100 f. Dissertao (Mestrado) Programa de Ps-Graduao em Computao.Universidade Federal do Rio Grande, Rio Grande.

    A deteco automatizada de fogo foco de pesquisa em viso computacional desde oincio da dcada de 90. Neste trabalho, um novo mtodo para a identificao de fogobaseado em vdeo proposto e analisado. Algoritmos de deteco de fogo utilizandoviso computacional so normalmente aplicados em cenrios que utilizam cmerasestticas, tais como circuitos fechados de TV utilizados em sistemas de vigilncia. Omtodo proposto, no se restringe apenas a estas condies, mas tambm possibilita adeteco automtica de fogo em vdeos obtidos a partir de cmeras mveis. A utilizaode cmeras mveis adiciona uma complexidade significativa ao incluir variao nobackground, movimento em trs eixos, trepidao e iluminao no controlada. O m-todo proposto utiliza caractersticas estatsticas do fogo e Random Forests para detectarpotenciais regies com fogo, suprimindo a dependncia da dinmica do movimento.Estas caractersticas incluem a cor, o formato, a disperso e assimetria da intensidade.Para complementar a classificao atingida a partir das propriedade espaciais, o sistemautiliza-se tambm das propriedades de oscilao e pulsao ao longo de um curtoperodo de tempo. Estas caractersticas temporais so fatores discriminantes, largamenteempregados na bibliografia consultada, resultando em classificadores robustos. Osresultados apresentados demonstram a aplicabilidade do mtodo, superando outrosmtodos anteriormente propostos.

    Palavras-chave: Deteco de fogo, aprendizado de mquina, viso computacional.

  • ABSTRACT

    STEFFENS, Cristiano Rafael. A Video Based Fire Detection System. 2015. 100 f.Dissertao (Mestrado) Programa de Ps-Graduao em Computao. UniversidadeFederal do Rio Grande, Rio Grande.

    Automated fire detection is a research focus in computer vision since the early90s. In this paper, we introduce and evaluate a new Video Fire Detection method thataims to produce good results on steady and mobile cameras. Usually, computer visionbased fire detection algorithms are applied in scenarios with static cameras, such asclosed-circuit TV used in surveillance systems. The method we are proposing here, incontrast, was developed so that it can be used not only in these conditions, but also forautomatic fire detection in videos obtained from mobile cameras. The use of mobilecameras adds a lot of complexity by bringing variation in background, movement inthree axes, camera vibration and uncontrolled lighting conditions. The proposed methoduses statistical characteristics of fire like regions as input data for a Random Forestsclassification model, frame-by-frame, in order to detect fire regions. These characteristicsare the color, the shape, the color skewness and dispersion measures considering pixelvalue. In order to increase results given by the spatial properties,our method also usesthe flickering over a short period of time. The flickering properties are widely used asa discriminant in the related bibliography, resulting in robust classifiers. The presentedresults illustrate the applicability of the method, significantly increasing the precision andrecall metrics.

    Keywords: fire detection, probabilistic fire detection, active-vision, hand-held camera.

  • LISTA DE FIGURAS

    Figura 1 Reflexo da luz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20Figura 2 Passo a passo da segmentao por Split and Merge . . . . . . . . . . 30

    Figura 3 Filtro passa-banda dois estgios . . . . . . . . . . . . . . . . . . . . 42Figura 4 Mtodo de deteco de MUELLER et al. (2013) . . . . . . . . . . . 45Figura 5 Histograma normalizado das direes do fluxo ptico utilizando NSD 45

    Figura 6 Anotaes de ground truth no dataset . . . . . . . . . . . . . . . . . 57

    Figura 7 Segmentao manual das regies de chama anlise estatstica . . . . . 63Figura 8 Histogramas de regies de fogo RGB . . . . . . . . . . . . . . . . . 64Figura 9 Boxplot de regies de fogo RGB . . . . . . . . . . . . . . . . . . . . 65Figura 10 Histogramas de regies de fogo HSV . . . . . . . . . . . . . . . . . 67Figura 11 Boxplot de regies de fogo RGB . . . . . . . . . . . . . . . . . . . . 68Figura 12 Histogramas de regies de fogo Lab . . . . . . . . . . . . . . . . . . 69Figura 13 Boxplot de regies de fogo Lab . . . . . . . . . . . . . . . . . . . . 70Figura 14 Histogramas de regies de fogo YCbCr . . . . . . . . . . . . . . . . 71Figura 15 Boxplot de regies de fogo YCbCr . . . . . . . . . . . . . . . . . . . 72Figura 16 Histogramas de oscilao do valor de pxel no tempo . . . . . . . . . 74

    Figura 17 Fluxograma do mtodo proposto . . . . . . . . . . . . . . . . . . . . 75Figura 18 Distribuio das regies de chama . . . . . . . . . . . . . . . . . . . 78

    Figura 19 Comparativo de segmentao de cor em imagens sem fogo . . . . . . 81Figura 20 Comparativo de segmentao de cor em imagens com fogo . . . . . . 82Figura 21 Mtodo de avaliao do classificador proposto . . . . . . . . . . . . 83

  • LISTA DE TABELAS

    Tabela 1 Vdeos base do Dataset . . . . . . . . . . . . . . . . . . . . . . . . . 55

    Tabela 2 Estatsticas de cor nas regies de fogo . . . . . . . . . . . . . . . . . 66Tabela 3 Estatsticas de cor nas regies de no-fogo . . . . . . . . . . . . . . . 66Tabela 4 Oscilao dos pxels no tempo . . . . . . . . . . . . . . . . . . . . . 72

    Tabela 5 Parmetros da Random Forest para classificao de cor . . . . . . . . 77Tabela 6 Parmetros da Random Forest para classificao de regies . . . . . . 79

    Tabela 7 Resultados do mtodo proposto na avaliao frame a frame . . . . . . 85Tabela 8 Resultados do mtodo proposto considerando localizao . . . . . . . 86Tabela 9 Resultados do mtodo proposto na avaliao frame a frame para o

    caso de teste II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87Tabela 10 Resultados do mtodo proposto considerando localizao para o caso

    de teste II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

  • LISTA DE ABREVIATURAS E SIGLAS

    ABNT Associao Brasileira de Normas Tcnicas

    ANN Artificial Neural Network

    CC Creative Commons License

    CCD Charge-coupled Device

    CUDA Compute Unified Device Architecture

    OpenCV Open Computer Vision library

    PCA Anlise de Componentes Principais

    HMM Hidden Markov Models

    MCMC Markov Chain Monte Carlo

    LBP Local Binary Pattern

    NP Non-Deterministic Polynomial time

    FFT Fast Fourier Transform

    FLANN Fast Library for Approximate Nearest Neighbors

    HMM Hidden Markov Model

    HSV Hue Saturation Value colorspace

    FDDB Face Detection Database

    FDRB Funo de Distribuio de Refletncia Bidirecional

    OMT Optimal Mass Transport

    RGB Red Blue Green Colorspace

    ROI Region of Interest

    SIMD Single Instruction Multiple Data

    SIFT Scale Invariant Feature Transform

    SURF Speeded Up Robust Features

    SVM Support Vector Machine

    SSLT Subsurface Light Transport

    VFD Video Fire Detection

  • SUMRIO

    1 INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.1 Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.2 Recursos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.3 Estrutura Do Texto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    2 AQUISIO E PROCESSAMENTO DE IMAGENS . . . . . . . . . . . 192.1 Fenmenos pticos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.2 Processamento de imagens . . . . . . . . . . . . . . . . . . . . . . . . . . 212.2.1 Deteco de bordas, linhas e crculos . . . . . . . . . . . . . . . . . . . . 212.2.2 Detectores baseados em templates . . . . . . . . . . . . . . . . . . . . . 232.2.3 Detector de Marr-Hildreth . . . . . . . . . . . . . . . . . . . . . . . . . . 242.2.4 Detector de Canny . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252.3 Segmentao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282.3.1 Thresholding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282.3.2 Segmentao baseada em regio . . . . . . . . . . . . . . . . . . . . . . 292.4 Deteco de Movimento . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

    3 TRABALHOS RELACIONADOS . . . . . . . . . . . . . . . . . . . . . 343.1 Deteco de Cor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.2 Deteco de Movimento . . . . . . . . . . . . . . . . . . . . . . . . . . . 403.2.1 Anlise da Oscilao no Domnio da Frequncia . . . . . . . . . . . . . . 413.2.2 Anlise da Oscilao Utilizando Fluxo ptico . . . . . . . . . . . . . . . 433.2.3 Anlise da Oscilao Utilizando Minerao de Dados . . . . . . . . . . . 463.2.4 Anlise da Oscilao com Base no Formato da Chama . . . . . . . . . . . 473.3 Deteco Baseada em Textura . . . . . . . . . . . . . . . . . . . . . . . . 49

    4 DATASET E MTRICAS DE AVALIAO . . . . . . . . . . . . . . . . 524.1 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534.1.1 Anotaes de Ground Truth . . . . . . . . . . . . . . . . . . . . . . . . . 564.1.2 Artefatos de Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564.2 Metodologia de Avaliao . . . . . . . . . . . . . . . . . . . . . . . . . . 57

    5 AVALIAO ESTATSTICA . . . . . . . . . . . . . . . . . . . . . . . . 615.1 Classificao De Cor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615.2 Classificao da Oscilao . . . . . . . . . . . . . . . . . . . . . . . . . . 72

    6 MTODO PROPOSTO . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

  • 7 RESULTADOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807.1 Casos de teste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

    8 TRABALHOS FUTUROS . . . . . . . . . . . . . . . . . . . . . . . . . . 89

    9 CONCLUSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

    REFERNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

  • 1 INTRODUO

    A deteco de fogo a partir de imagens algo recente quando comparada a outrasaplicaes dentro da viso computacional. Ao passo que tcnicas de reconhecimento defaces e objetos foram minuciosamente estudadas permitindo que grande parte das apli-caes possam ser criadas apenas fazendo pequenas adaptaes e o uso de algoritmos jvalidados, a deteco de fogo acaba caindo em uma categoria especfica de problemas daviso computacional. Os motivos so claros quando faz-se uma rpida avaliao do que indicativo de fogo em uma imagem e como as caractersticas do fogo se diferenciam dasde outros objetos.

    Considerando o problema dentro de um contexto maior, pode-se rapidamente perce-ber a importncia de uma deteco rpida de incndios e outros incidentes envolvendofogo no controlado. Os incndios afetam a vida cotidiana em todo o mundo, colocandopessoas em risco e gerando danos materiais. intuitivo afirmar que quanto antes o fogo detectado, maiores sero as chances de evitar danos e em casos mais graves at mesmoassegurar a sobrevivncia. Informaes como a localizao inicial do fogo, rea afetada,direo de propagao da fumaa e a taxa de crescimento do fogo so parmetros impor-tantes na anlise de segurana e combate a incndios, bem como a reduo dos impactosdecorrentes.

    Recentemente as tcnicas de deteco de incndio atravs de vdeo (em ingls VideoFire Detection - VFD) tm se mostrado teis para complementar as tcnicas de detecode incndio tradicionais, como as baseadas em sensores de fumaa, que so geralmentelimitados a ambientes fechados, no sendo aplicveis em grandes espaos abertos. Ossensores tradicionais exigem uma proximidade com o fogo e a maioria deles no capazde fornecer informaes adicionais sobre a localizao do fogo, dimenso, etc. Outralimitao dos sistemas de alarme de incndio convencionais o tempo de resposta alto,visto que so acionados pelas partculas de carbono e fumaa para que chegam at odetector.

  • 14

    1.1 Objetivo

    Propr um detector de chamas com bons resultados no processamento de vdeos obti-dos a partir de cmeras mveis e capaz de realizar deteco em tempo real minimizandoas taxas de falsos positivos e falsos negativos. No contexto, entende-se por detecoo conjunto das atividades de detectar a existncia de chama na cena e apontar o localonde ocorre. Ao final espera-se que os resultados do trabalho possam ser integrados aoFramework CvWorks, um Framework para Viso Computacional de Alto Nvel que de-senvolvido pela Universidade Federal do Rio Grande (FURG). De forma mais detalhada,o trabalho enfatiza as seguintes questes:

    Estudar os detectores utilizados em sistemas baseados em cmeras estacionrias;

    Criar um dataset para deteco de fogo em vdeos com anotaes de ground truth;

    Implementar alguns detectores de chama obtidos na bibliografia e verificar os re-sultados obtidos quando usados para deteco de imagens em vdeos de cmeramvel;

    Apresentar uma alternativa funcional para deteco e localizao de fogo a partirde cmeras estticas;

    Apresentar uma alternativa funcional para deteco e localizao de fogo a partirde cmeras mveis;

    1.2 Recursos

    No desenvolvimento deste trabalho fez-se o uso da linguagem de programao C++acompanhado das bibliotecas OpenCV e Boost. Os testes foram executados utilizandoum dataset composto por vdeos obtidos a partir de diversas fontes.

    1.2.0.1 Dataset

    No decorrer deste trabalho no possvel encontrar datasets para fazer a validao deground truth e comparao automatizada do mtodo proposto com os mtodos de detec-o de chamas apresentados nos trabalhos relacionados. Com a finalidade de conseguiruma validao dos resultados atingidos, verificando a acurcia, a taxa de positivos ver-dadeiros, a taxa de falsos positivos e falsos negativos, criou-se vdeos obtidos no site decompartilhamento YouTube.com que esto licenciados pela Creative Commons License.A criao do dataset e as mtricas de avaliao utilizadas so detalhadas no Cap. 4.

    Nas fases iniciais do trabalho, foram utilizados tambm os vdeos disponi-bilizados na Bilkent VisiFire Sample Fire and Smoke Video Clips e KMU Fireand Smoke Dataset. Estes datasets foram amplamente utilizados para avaliar

  • 15

    sistemas de deteco de fogo baseados em cmeras de vdeo publicados an-teriormente. Bilkent VisiFire Sample Video Clips, disponvel atravs do linkhttp://signal.ee.bilkent.edu.tr/VisiFire/Demo/SampleClips.html, foi utilizado nos traba-lhos publicados por TOREYIN; CETIN (2009), TOREYIN et al. (2005), ETIN et al.(2013), TOREYIN; DEDEOGLU; CETIN (2006) e GNAY et al. (2010). O datasetcontm 30 arquivos, distribudos em quatro categorias:

    1. Vdeos de fogo;

    2. Vdeos de fumaa;

    3. Vdeos de fumaa em floresta;

    4. Vdeos sem incidncia de fogo nem fumaa visvel.

    J a KMU Fire & Smoke database (http://cvpr.kmu.ac.kr/Dataset/Dataset.htm), utili-zado em KO; HAM; NAM (2011), PARK et al. (2013) e SHIDIK et al. (2014), compostopor 38 vdeos de resoluo 340 x 240, com taxa de quadros por segundo variando entre15 e 30 Herz. Os vdeos so distribudos nas seguintes categorias:

    1. Fogo em ambientes abertos e fechados;

    2. Fumaa em ambientes abertos e fechados;

    3. Objetos com comportamento semelhante ao do fogo.

    Tanto a KMU Fire & Smoke database quanto a Bilkent VisiFire Sample Video Clipsso compostos por vdeos de cmeras estacionrias. A cmera encontra-se sempre em umlugar fixo e a trepidao da imagem insignificante. Um ponto que merece ser ressal-tado que estes datasets no fornecem nenhuma anotao sobre a localizao da chamana imagem, limitando a avaliao dos algoritmos propostos. Dado que objetiva-se cons-truir um sistema capaz de funcionar tambm com sistemas de cmeras no estacionrias,obtou-se pela criao de um dataset prprio composto por vdeos de cmeras mveis eonde as regies de chama so anotadas individualmente.

    1.2.0.2 Ferramentas de desenvolvimento

    A prototipagem e desenvolvimento do trabalho feita, em sua maior parte, utilizandoa linguagem de programao C++ em conjunto com as bibliotecas Boost (BOOST C++LIBRARIES, 2014) e OpenCV (BRADSKI, 2000). Boost uma coleo de bibliotecasque estendem a funcionalidade da linguagem de programao C++ e sua licena permiteo uso em qualquer projeto. A Boost inclui funcionalidades para diversas reas dentre pro-gramao concorrente, estrutura de dados, anlise sinttica, grafos e funes para entradae sada de dados.

  • 16

    A OpenCV uma biblioteca Open Source de processamento de imagens com imple-mentaes em C, C++ e Python. Ela implementa vrias funes de deteco de bordas,reconhecimento de objetos, anlise de vdeos, fluxo ptico, descritores SIFT e SURF ealgoritmos de aprendizagem de mquina. Dentre as tcnicas de aprendizagem de m-quina pode-se destacar Support Vector Machine, Redes Neurais com Back-Propagation,K-means, K-Nearest Neighbors, Classificador Bayesiano e rvores de classificao.

    Em algumas etapas, para descoberta de conhecimento utilizou-se tambm a ferra-menta de minerao de dados WEKA (HALL et al., 2009). A WEKA foi utilizado paraseleo de melhores atributos e classificao utilizando rvores. A principal vantagemde utilizar a WEKA que esta permite utilizar os mtodos de aprendizagem no datasete analisar os resultados obtidos com um tempo de setup mnimo. Utilizando a ferra-menta possvel tambm encontrar a correlao entre os atributos. Em conjunto com aWEKA (HALL et al., 2009) utilizou-se tambm editores de planilha e texto para pr-processamento.

    Conforme citado na Sec. 1.1 os resultados deste trabalho devem ser integrados noframework CvWorks. Trata-se de um framework de viso computacional desenvolvidono Centro de Cincias Computacionais da Universidade Federal do Rio Grande (FURG)que traz implementaes genricas, sendo voltado para uma ampla gama de aplicaesindependentes da representao dos objetos. O objetivo principal deste framework im-plementar cdigo reutilizvel, incluindo interface grfica, algoritmos de deteco de fa-ces, tags de realidade aumentada, placas, instrumentos industriais, fogo e rastreamento deobjetos. O framework utiliza orientao a objetos e templates com o objetivo de se tornarmais genrico e compatvel com outras bibliotecas de viso computacional.

    Em nvel de aplicao o CvWorks dividido em trs partes assim definidas na arqui-tetura:

    VisionGUI: Oferece uma interface grfica de uso geral que permite a visualizaoda sada do algoritmos de deteco e rastreamento.

    C3 Scout: Voltado para aplicao em robs mveis utilizveis em ambientes exter-nos e internos. O objetivo que o rob possa fazer uma ronda contnua, restrito um ambiente pr-determinado, identificando ameaas e irregularidades. Nesta apli-cao incluem-se funcionalidades de reconhecimento e rastreamento de pessoas,deteco de armas, fogo e placas de automveis.

    Field Vision: Voltado para a extrao de informao de plantas industriais a partir decmeras estticas e disponibilizao das mesmas atravs de protocolos industriais.Esta aplicao inclui algoritmos para deteco e leitura de medidores analgicos,status de registradores, leitura de nvel de tanque e deteco de fogo.

  • 17

    importante citar que como este no um software fechado ou voltado para uma fina-lidade especfica vrios fatores foram levados em considerao e impactaram nas decisessobre o mtodo de deteco de fogo proposto. Quando trabalha-se com robs mveis eviso ativa, como o caso da aplicao C3 Scout, torna-se impossvel fazer uma validaoutilizando como informao a variao no pixel ou na regio ao longo de uma sequnciade frames. Tanto em cmeras acopladas a robs mveis quanto em cmeras estticas fa-zendo a superviso de uma planta industrial, o sistema ir se deparar com backgroundscomplexos e uma variedade de cenrios, com interao de pessoas, balanar de folhas, ob-jetos deformveis, movimentao de equipamentos, atuadores e sinalizadores industriais.As condies de iluminao no so controladas, o que aumenta o grau de dificuldade,criando diferentes entradas dependendo de parmetros da cmera como balanceamentode brancos e exposio.

    1.3 Estrutura Do Texto

    O captulo 1 introduz o problema da deteco de chamas baseada em vdeo, eluci-dando as principais dificuldades, objetivos e recursos utilizados, contextualizando assim,o problema tratado neste trabalho.

    No captulo 2 apresenta a evoluo dos sistemas de reconhecimento de objetos aolongo dos anos e concebe uma viso geral das abordagens propostas. Faz-se um le-vantamento amplo das solues adotadas na tentativa de resolver o problema de viso,considerando as subreas como representao de imagens, filtragem, deteco de bordas,segmentao, anlise de texturas, reconhecimento de formas e objetos e da modelagemmatemtica dos principais descritores e matchers utilizados.

    Na sequncia, o Captulo 3 faz a definio de termos e apresenta as tcnicas querepresentam o estado da arte em sistemas VFD (Video Fire Detection). feita uma revisogeral sobre o que o fogo e suas propriedades. Alm disso, so apresentadas as tcnicasutilizadas na tarefa de detectar fogo usando apenas dados de vdeo. So apresentados ostrabalhos relacionados e discute-se seus resultados.

    No captulo 4 apresenta-se o dataset utilizado para treinamento e avaliao dos detec-tores. Discute-se o processo de criao do ground truth, apresentando as caractersticas,limitaes e convenes utilizadas. Na parte final, apresentam-se as mtricas pelas quaisos detectores so comparados.

    A seguir, no captulo 5 faz-se uma detalhada avaliao sobre as propriedades e com-portamento do fogo utilizando estatstica descritiva. Busca-se levantar dados para funda-mentar a proposta de detector trazida no Captulo 5. Faz-se um estudo das caractersticasque permitem que uma regio de fogo seja identificada atravs de um nico frame, avali-ando apenas os dados espaciais e resultando em poucos falsos positivos.

    O Captulo 6 apresenta a metodologia adotada neste trabalho, as tcnicas utilizadas

  • 18

    para segmentao, tratamento e extrao de caractersticas de cor e oscilao. Alm disso,detalha-se e apresenta-se os resultados atingidos pelo sistema de deteco de fogo baseadoem vdeo proposto neste trabalho.

    Continuando, o Capitulo 7 apresenta os resultados do trabalho atravs de uma pers-pectiva do que foi proposto, estudado e os resultados obtidos. Atravs de uma anlisequantitativa e qualitativa busca-se identificar pontos de melhoria para trabalhos futuros.

    Os captulos 8 e 9 trazem respectivamente as propostas para a continuao do trabalhode pesquisa e as concluses com base nos objetivos do trabalho. Apresenta-se uma revisodas principais dificuldades encontradas e possveis solues para super-las. Da mesmaforma so discutidas possveis melhorias de desempenho da soluo apresentada.

  • 2 AQUISIO E PROCESSAMENTO DE IMAGENS

    A viso depende fundamentalmente da luz. Nesta seo busca-se descrever como ailuminao, as propriedades da superfcie dos objetos e a ptica da cmera interagem demodo a produzir os valores de cor que se enquadram no sensor de imagem. Descreve-se como imagens coloridas contnuas so transformadas em amostras digitais discretasdentro do sensor de imagem e as deficincias decorrentes deste processo.

    As imagens so formadas pelas cores e pela intensidade. A fotometria trata da medi-o da luz, em termos de como seu brilho percebido pelo olho humano. J a radiome-tria, um conjunto de tcnicas de medio da radiao eletromagntica que mede a luzem termos de sua potncia absoluta no espao, desconsiderando sua iterao com o olhohumano. Dado que as propriedades da luz e os fenmenos pticos como reflexo, refra-o, difuso, fluorescncia, fosforescncia, Subsurface Scattering e inter-reflexo impac-tam diretamente na aquisio das imagens estes fenmenos sero rapidamente estudadosneste captulo.

    A luz um fenmeno de natureza ondulatria. uma radiao eletromagntica quese propaga atravs de diferentes meios, como o ar, a gua ou mesmo o vcuo. A luz constituda de ftons, minsculas partculas elementares que apresentam simultanea-mente natureza de onda e partcula. Um fton surge quando ocorre a transio de umeltron de um tomo entre dois estados de energia diferentes. Quando excitado o eltronpassa para um nvel de maior energia e, ao retornar para o estado inicial, emite a energiacorrespondente diferena entre os dois nveis.

    2.1 Fenmenos pticos

    Os fenmenos pticos esto diretamente relacionados forma como percebemos aimagem. Pelo fato de o fogo representar uma fonte de luz estes fenmenos esto direta-mente associados aos resultados atingidos. A reflexo um dos fenmenos pticos maisimportantes para a fotografia (TRIGO, 1998). Na reflexo o ngulo de incidncia i igual ao ngulo de reflexo r medido em relao a reta normal N . Esto no mesmo planoos raios incidente e refletido, conforme pode ser observado na figura 1.

  • 20

    Figura 1: Reflexo da luz (FORSYTH; PONCE, 2002)

    O modelo geral para reflexo local dado pela Funo de Distribuio de RefletnciaBidirecional (FDRB) que modela a distribuio da refletncia em funo da posio dafonte de iluminao e do observador. Assim, a reflectncia em uma determinada direo dada pelo material que reflete, pelo comprimento da onda e pela geometria de iluminaoe de observao (FORSYTH; PONCE, 2002). A reflexo pode ser classificada em trstipos:

    Especular ou Regular: Quando a reflexo ocorre em uma superfcie lisa. Especularadvm da palavra grega speculo que significa espelho.

    Difusa: O feixe de raios paralelos incide na superfcie do objeto, os raios refletidosperdem o paralelismo e so espalhados em todas as direes.

    Lambertiana: A reflexo no est ligada ao ngulo de incidncia dos raios prove-nientes da fonte luminosa. Uma superfcie Lambertiana dispersa a luz igualmenteem todas as direes. Alguns materiais com este tipo de reflexo so roupas dealgodo, carpetes e papel fosco.

    Outro fenmeno ptico a refrao. A refrao ocorre quando a luz passa de um mate-rial ptico para outro, sofrendo uma mudana na velocidade de propagao. Um exemploclssico desse fenmeno visto colocando-se um lpis em um copo com gua. Existeuma tendncia de que a luz se aproxime da normal ao mudar de meio de propagao.

    Alguns materiais tm a capacidade de fazer o Subsurface Scattering (tambm conhe-cido como o Subsurface Light Transport (SSLT)) onde a luz penetra na superfcie de umobjeto translcido, sendo dispersada por interao com o material, e sai da superfcie deum ponto diferente. A luz penetra na superfcie e refletida algumas vezes em ngu-los irregulares no interior do material, antes de sair do material em um ngulo diferentedaquele que teria se tivesse sido refletida diretamente para fora da superfcie. Como re-sultado desse efeito, os ftons penetram na superfcie e depois da disperso da luz, tem-seento reas dessa mesma superfcie com altos nveis de saturao. Isso faz com que a

  • 21

    superfcie parea iluminada diretamente do seu interior. um fenmeno que ocorre porexemplo quando a luz atravessa uma orelha humana.

    Por fim, tem-se a inter-reflexo, fenmeno em que a luz refletida de um objeto atingeoutros objetos na rea circundante, iluminando-os. A inter-reflexo difusa trata especifi-camente da luz refletida a partir de objetos que no so brilhantes ou especulares, ou seja,onde que a luz refletida por superfcies no-brilhantes, como o cho, paredes ou tecido,para chegar a reas que no tem visada direta da fonte de luz. Se a superfcie difusa co-lorida, a luz refletida tambm colorida, resultando em colorao semelhante nos objetosprximos.

    2.2 Processamento de imagens

    Nesta seco so apresentados os conceitos fundamentais sobre imagens digitais, es-paos de cores, contraste, brilho, suavizao, realce e segmentao.

    2.2.1 Deteco de bordas, linhas e crculos

    A deteco de bordas uma das operaes empregadas com maior frequncia naanlise de imagens e provavelmente o tema mais maturado dentro desta rea de pesquisa.O principal motivo de haver um grande nmero de pesquisas que trabalham a deteco debordas que, genericamente, pode-se afirmar que a melhor representao de um objeto dada pelas suas bordas (PARKER, 2010).

    Entende-se por borda um limite que separa o objeto do restante da cena contida naimagem bem como indicar uma sobreposio de um objeto em relao a outro (ZIOU;TABBONE et al., 1998). Em outras palavras pode-se afirmar que se as bordas de umobjeto podem ser identificadas precisamente ento todos os objetos podem ser localizadose suas propriedades podem ser mensuradas. Sabendo que a viso computacional estassentada sobre o conceito de objeto fcil notar que o seu reconhecimento essencialpara os passos seguintes do processo.

    Pode-se considerar a deteco de bordas como uma parte do processo de segmentaode imagens. O objetivo da segmentao de imagens identificar regies dentro de umaimagem. Essas regies podem ser ento isoladas e posteriormente a aplicao de outrosalgoritmos pode definir que tipo de objeto cada segmento isolado representa. A detec-o de bordas usualmente requer suavizao e diferenciao das imagens. Uma bordapode ser caracterizada por variaes significativas na refletncia, iluminao, orientaoe profundidade da cena. difcil criar um algoritmo detector de bordas genrico queoferea bons resultados em diferentes condies e aplicaes. Isso obrigou os pesquisa-dores a criarem detectores, variando entre abordagens matemticas e algortmicas (ZIOU;TABBONE et al., 1998).

    Existem trs conceitos principais associados bordas (PARKER, 2010):

  • 22

    Deteco: o processo de localizao de pxeis de borda.

    Realce: o processo de aumentar o contraste entre as bordas e a cena de forma adeix-las mais visveis.

    Rastreamento: o processo de seguir as bordas, geralmente criando listas de pxeispodendo ser utilizada para identificao do modelo ou objeto.

    A deteco de bordas em imagens digitais precisa contornar algumas dificuldades elimitaes ao lidar com imagens digitais. A primeira delas diretamente decorrente doprocesso de digitalizao que obriga a imagem a ser amostrada de forma que todos ospxeis assumam um valor, normalmente entre 0 a 255 quando trabalhamos com o espaode cor RGB. Isso significa que uma mudana gradual (analgica) da cor foi transformadaem uma sequncia de nmeros inteiros que se aproximam dos valores reais (PARKER,2010). Neste caso, fica fcil perceber que existe uma perda de informaes que estavampresentes na imagem original. Existe ainda o fator de uma borda ser distribuda em vriospxeis na imagem capturada.

    A segunda limitao o rudo, que pode ser decorrente de diversos fatores como ilu-minao, tipo de lente, cmera utilizada para a captura da imagem, movimento, poeiraou mesmo efeitos atmosfricos. O efeito deste rudo alterar valores de pxeis de formaaleatria. Os efeitos podem ser minimizados utilizando mtodos estatsticos como a dis-tribuio probabilstica, mas no existem garantias de que os dados se mantenham fiisaos dados originais. Devido sua natureza aleatria, o rudo no pode ser previsto e di-fcil mensur-lo adequadamente. Para a viso computacional, considerando que a maiorparte dos algoritmos usa escala de cinza, o rudo pode ser classificado como independentede sinal ou dependente de sinal (PARKER, 2010).

    O rudo independente de sinal ocorre quando uma imagem transferida eletronica-mente de um lugar para outro e caracteriza-se como um conjunto de pxeis em escala decinza que no tem uma ligao com os conjunto de dados originais so adicionados aimagem original. Matematicamente, pode se definir este rudo como B = A + R, ondeA uma imagem perfeita, R o rudo que ocorre durante a transmisso e B a imagemresultante. A e R no tem qualquer relao entre si, sendo que o rudo R pode ter pro-priedades estatsticas quaisquer, mas usualmente assume-se que segue uma distribuiogaussiana normal com mdia 0 e um desvio padro mensurado ou presumido PARKER(2010).

    J o rudo dependente de sinal leva este nome porque cada pxel de rudo na imagempode ser calculado em funo dos pxeis vizinhos. Este o tipo de rudo que pode ser ob-servado em algumas fotografias e mais complicado de ser trabalhado segundo PARKER(2010). Por sua vez, geralmente tem um impacto menor nos resultados e gerencivelquando a imagem amostrada apropriadamente.

  • 23

    Bons detectores de bordas devem ser capazes de tratar estes tipos de rudo fornecendoresultados confiveis. Cabe salientar que tanto as bordas quanto o rudo independente desinal apresentam variaes locais bruscas na intensidade dos pxeis e por este motivo aborda definida pela conexo entre vrios pxeis que poderiam definir uma borda. Gene-ricamente, todo detector de borda composto pelas etapas de diferenciao para avaliaras derivadas desejadas da imagem, suavizao da imagem para remoo de rudo e eti-quetagem para encontrar as bordas e aumentar a tolerncia ao rudo, suprimindo falsasbordas.

    Em relao aos tipos, a borda degrau (ou step edge) definida como um ponto ondeocorre uma descontinuidade na escala de cinza. Para fazer sua deteco precisa-se fazerum tratamento do rudo presente na imagem capturada e obter a derivada de primeiraordem (onde as bordas sero indicadas pela mxima positiva ou pela mnima negativa) ouobter a derivada de segunda ordem (onde as bordas so dados pelos pontos onde existepassagem por zero). J para bordas linha, que so resultado da iluminao mtua entreobjetos que esto em contato, ou objetos pequenos em frente a objetos maiores, bordascorrespondem a extremos locais na imagem. Eles so localizados como cruzamentos emzero da primeira derivada, mximas locais da laplaciana, ou ainda como mximas locaisda variao dos nveis de cinza ZIOU; TABBONE et al. (1998).

    Por fim, uma juno um tipo de borda obtida quando duas ou mais bordas se en-contram e pode ser localizada normalmente como pontos com alta curvatura, pontos comgrande variao na direo do gradiente ou ainda como pontos de cruzamento em zero dalaplaciana que apresentem uma alta curvatura.

    Desde seu surgimento o nmero de detectores de bordas vem crescendo continua-mente fazendo com que seja praticamente impossvel fazer um levantamento completodos algoritmos existentes. O que diferencia um detector de outro so os filtros de suavi-zao utilizados, os operadores de diferenciao, o processo de etiquetagem, a complexi-dade computacional e o modelo matemtico utilizado.

    2.2.2 Detectores baseados em templates

    Os primeiros detectores de bordas baseados em gradiente ou em operadores Laplaci-anos, propostos a mais de 40 anos, se limitavam a operao de diferenciao. Os filtrosSobel (SOBEL; FELDMAN, 1968) e Previtt (PREWITT, 1970) estimam o vetor de gra-diente com base na operao de convoluo utilizando a mscara

    x =

    1 0 1a 0 a1 0 1

    para obteno das bordas em x, tendo a como um nmero real positivo (1 no caso dePrevitt e 2 para Sobel). J para deteco das bordas na direo y utilizado o seguinte

  • 24

    kernel de convoluo:

    y =

    1 a 10 0 0

    1 a 1

    Estas mascaras de convoluo resultam na primeira derivada parcial de uma rea de 3

    x 3 pxeis. Para a estimativa Laplaciana utiliza-se a seguinte mscara:

    =

    0 1 0

    1 4 10 1 0

    Usualmente estas mscaras tem tamanho fixado em 3 x 3. Cabe salientar que a os

    resultados destas operaes pioram quando existe muito rudo, dado que, ambas assumemque o rudo aditivo e a imagem linear. ROSENFELD; THURSTON (1971) apresentama ideia de suprimir os problemas com rudo aplicando um filtro de suavizao e assimmelhorar o processo de diferenciao. Essa suavizao obtida alterando o valor decada pxel para um valor que represente a mdia dos pxeis naquela regio. Estes filtroscontudo, tem como contraponto o fato de no ser adaptveis ao tamanho da imagem emesmo depois de aplic-los no existe garantia de que o rudo foi removido. Precisa-sedeixar claro que a reduo de rudo traz como efeito negativo a perda de informao.

    Estes filtros so uma abstrao daquilo que se imagina como uma borda. Note queos pesos dos elementos na diagonal so menores que os pesos na horizontal e vertical.Cabe salientar que esta abordagem utiliza convoluo de um template sobre a imagem. Aconvoluo um processo de fcil implementao mas que tem um custo computacionalalto. Nesta categoria de detectores de borda baseado em template enquadra-se tambm ofiltro proposto por KIRSCH (1971).

    2.2.3 Detector de Marr-Hildreth

    O detector de Marr-Hildreth uma tentativa de unir o conhecimento da poca no quese refere a viso biolgica em um modelo que pudesse ser utilizado na viso computaci-onal. O objetivo era produzir uma primitiva, mas rica descrio de imagens que pudesseser utilizada para determinar a refletncia e a iluminncia de uma superfcie, bem comodeterminar sua orientao e sua distncia com relao ao observador/cmera (MARR;HILDRETH, 1980). Nesta pesquisa, os autores identificaram cinco pontos principais dosistema visual dos mamferos. So eles:

    Em imagens naturais as caractersticas de interesse ocorrem em diversas escalas eno possvel criar um nico operador para trabalhar em todas elas. Assim, neces-srio que sejam construdos vrios operadores e seus resultados sejam combinadospara obter resultados satisfatrios.

  • 25

    Uma cena natural no parece consistir de padres de difrao ou outros efeitos deonda, e por este motivo podem ser necessrias tcnicas de suavizao.

    O filtro de suavizao que mais se aproxima da viso dos mamferos o gaussiano.

    Uma borda (mudana brusca de intensidade) representada pelos extremos da pri-meira derivada, ou ao que corresponde aos pontos de passagem por zero na segundaderivada.

    O operador invariante rotao de mais baixa ordem o Laplaciano.

    Tendo por base estes pontos Marr e Hildreth quebram o processo de detec-o de bordas nas etapas de convoluir a imagem com uma funo gaussiana bi-dimensional(horizontal e vertical), calcular a laplaciana da imagem resultante e por fimencontrar os pxeis que representam bordas (onde existe passagem por 0). Para PARKER(2010) este no um algoritmo difcil de implementar, mas , no entanto, mais difcil queos que usam template simples.

    Matematicamente a convoluo de uma imagem com uma funo Gaussiana G dadapela Eq. 1:

    I G(i, j) =n

    m

    I(n,m)G(i n, j m) (1)

    onde a funo G dada pela Eq. 2:

    G(x, y) = 2e(x2+y2

    22

    )(2)

    Depois disso aplica-se o operador Laplaciano. Na prtica, como a ordem das ope-raes no altera o resultado, costuma-se computar o Laplaciano da Gaussiana e depoisconvolu-lo com a imagem original. O Laplaciano da Gaussiana, representado na lite-ratura pela sigla LoG (log of gaussian) definido pela Eq. 3, onde r =

    x2 + y2.

    Conforme apresentado em PARKER (2010) os resultados so significativamente afetadosvariando-se os parmetros de tamanho e desvio padro da funo gaussiana. Para atenderao ponto listado no incio desta seco que afirma que a viso do mamferos ocorre emvrias escalas, este mtodo utiliza dois ou mais filtros LoG, combinando-os de modo quesomente sejam aceitas as bordas detectadas em mais de uma escala.

    2G = r2 224

    er22 (3)

    2.2.4 Detector de Canny

    O detector de bordas de Canny provavelmente um dos mais conhecidos. Trata-se deum detector pensado para atender a trs metas principais:

  • 26

    Taxa de erros: o detector deve encontrar somente bordas e deve encontrar todaselas. Nenhuma borda deve ser ignorada.

    Localizao: a distncia entre a borda detectada e a borda real deve ser a menorpossvel.

    Resultado: o detector no deve identificar vrios pxeis de borda quando apenasuma borda existe.

    Assume-se que as bordas degrau esto sujeitas a rudo branco Gaussiano. O detectorde bordas uma mscara de convoluo que suaviza o rudo e localiza a borda (CANNY,1986). O problema maior identificar um filtro que otimiza estes trs critrios previ-amente estabelecidos. Segundo PARKER (2010) usualmente faz se uma aproximaoda melhor relao sinal-rudo utilizando a primeira derivada da Gaussiana. Tendo que aGaussiana dada pela Eq. 4 a primeira derivada dada ela Eq. 5. A gaussiana bidimen-sional dada pela Eq. 2.

    G(x) = ex2

    22 (4)

    G(x) = ( x2

    )e(x2

    22) (5)

    Para PARKER (2010) a melhor aproximao para o filtro timo de Canny G eassim, ao convoluir a imagem de entrada com G obtm-se uma imagem E com as bor-das realadas, mesmo que a original apresente rudo. A convoluo em duas dimensespode, no entanto, ter uma complexidade alta e por este motivo computa-se cada uma dasdimenses separadamente. Por fim, o filtro de Canny apresenta os seguintes passos:

    1. Ler uma imagem de entrada para o processamento I .

    2. Criar uma mscara gaussiana uni-dimensional G para convoluir com I . O desviopadro desta Gaussiana um parmetro para o detector de bordas.

    3. Criar uma mscara uni-direcional para a primeira derivada da Gaussiana nas dire-es x e y. Respectivamente Gx e Gy. O mesmo desvio padro do passo dois utilizado.

    4. convoluir G com I passando por todas as linhas obtendo Ix e colunas obtendo Iy.

    5. convoluir Ix com Gx para obter I x e Iy com Gy para obter Iy.

    6. Calcular a magnitude da resposta de borda combinando os componentes em x e y.Esta magnitude no ponto pode ser computada como

    M(x, y) =I x(x, y)2 + I y(x, y)2

  • 27

    Cada pxel da imagem filtrada processado nesta maneira, a grandeza de gradiente calculada para duas posies, uma de cada lado do pxel, e a magnitude no pxel deve sermaior que seus vizinhos. Segundo PARKER (2010) geralmente, existem oito casos impor-tantes para verificar. Alguns atalhos que podem ser utilizados para aumentar a eficincia,mas o mtodo acima , essencialmente, o que usado na maioria das implementaes dodetector de bordas Canny.

    Por fim, depois de calcular a amplitude em cada pxel, faz-se uma supresso dos p-xels que no so mximas locais e uma limiarizao (thresholding) utilizando dois filtrosdistintos. O primeiro filtro obtm somente os pontos com amplitude elevada. O segundoaceita amplitudes menores se, e somente se, estiverem prximos aos pxeis de borda iden-tificados pelo filtro anterior.

    Como j introduzido anteriormente, linhas correspondem a extremos locais da ima-gem em escala de cinza e so de grande valia para a identificao de algumas caractersti-cas em imagens, sendo utilizadas, por exemplo, para a identificao de rios e estradas nosensoreamento remoto. A maior parte dos processos de deteco de linhas consiste emalgoritmos de afinamento criados para imagens binrias que, em alguns casos, podem serutilizados tambm em escala de cinza. O principal problema destes detectores que elesnormalmente no so precisos e no fornecem bons resultados em imagens complexas(ZIOU; TABBONE et al., 1998).

    A maioria dos trabalhos na rea de deteco de fogo focam exclusivamente na detec-o de bordas em imagens em escala de cinza utilizando Canny. OSKOEI; HU (2010)menciona que a deteco de bordas em imagens coloridas no vem recebendo a mesmaateno. Para eles, a diferena fundamental est exatamente no fato de um pxel em umaimagem colorida ser normalmente representado por um vetor (de 3 a 4 componentes nosespaos de cor usualmente empregados) e em decorrncia disto as funes precisam tra-balhar com vetores ao invs de valores escalares.

    A deteco de bordas em imagens coloridas pode ser dividida de acordo com duastcnicas (KOSCHAN; ABIDI, 2005):

    Tcnicas monocromtica tratando as informaes dos canais de cores individual-mente (separadamente cada componente do vetor de cor) e depois combinando osresultados obtidos.

    Tcnicas que operam no espao vetorial tratando a informao de cor como vetoresem um espao vetorial e executando funes vetoriais.

    A adaptao de tcnicas monocromticas a utilizada com maior frequncia, obtendo,na maioria das vezes, resultados melhores que os obtidos quando as imagens so traba-lhadas em escala de cinza. Contudo, KOSCHAN; ABIDI (2005) trabalham com um pxeldiretamente no espao vetorial. As tcnicas anteriores buscavam extrair os contornos em

  • 28

    imagens coloridas quebrando as imagens em canais e aplicando o filtro de Canny sobreo canal da luminosidade (que tinha resultados pfios pois algumas bordas existentes noso detectadas operando s em um canal), aplicando Canny em todos os canais indivi-dualmente e combinando os resultados (o que resultava em bordas imprecisas) ou aindaem uma tcnica que calculava o gradiente de cada canal, somava os valores resultantese aplicava uma limiarizao para definir a presena das bordas (KOSCHAN; ABIDI,2005).

    Entre os detectores que apresentam melhores resultados na deteco de bordas emimagens coloridas est o filtro proposto em CUMANI (1991). Este filtro sugere proce-dimentos com base nas segundas derivadas parciais das funes de imagem. Esta tcnicapode em teoria ser aplicada em imagens com um nmero qualquer de canais. Nestecontexto, assume-se sempre que uma mtrica Euclidiana existe para o espao vetor n-dimensional. Os resultados podem variar conforme a imagem que est sendo analisada enem sempre possvel fazer uma generalizao sobre os resultados obtidos (KOSCHAN;ABIDI, 2005).

    2.3 Segmentao

    A segmentao de imagens pode ser entendida como uma matria complementar dadeteco de bordas. Na deteco de bordas faz-se uma segmentao da imagem combase nos limites ou bordas de cada objeto. Na segmentao busca-se agrupar pxeis queso similares de acordo com as propriedades de uma regio. Na segmentao de umaimagem, segundo FORSYTH; PONCE (2002), busca-se obter sub-imagens agrupando,geralmente, pxeis com valores prximos na escala de cinza. No entanto, esta no nicaabordagem possvel para a segmentao.

    2.3.1 Thresholding

    A distribuio dos nveis de cinza pode ser utilizada para definir os nveis de thresholda serem utilizados para a imagem binria. Um histograma mapeia o nmero de pxeis emuma imagem que apresentam determinado valor de cinza como uma funo dos nveis decinza da imagem (FORSYTH; PONCE, 2002). Imagens reais raramente contm bordasclaras entre o foreground e o background, mas apresentam variaes graduais na escalade cinza, resultando em picos e depresses no histograma. A tcnica de segmentaoutilizando thresholding uma das mais antigas, simples e frequentemente utilizadas (PAL;PAL, 1993).

    Objetos com valores de cinza prximos formam uma classe. O histograma de umaimagem apresenta picos para cada um dos objetos encontrados e provavelmente um picomaior que indica o background. Para diferenciar entre k classes de objetos necessriodefinir k thresholds, cada um definido entre dois picos. FORSYTH; PONCE (2002) re-

  • 29

    foram ainda que importante ter claro que histogramas conseguem diferenciar apenas asclasses de objetos, ignorando completamente qualquer informao espacial, o que indicaque um tabuleiro de xadrez, que tem uma distribuio caracterstica de blocos brancose pretos ter o mesmo histograma que uma imagem gerada aleatoriamente com coresbrancas e pretas.

    2.3.2 Segmentao baseada em regio

    So facilmente perceptveis as limitaes de um procedimento de segmentao atra-vs de um thresholding da imagem com um histograma global. Por este motivo,desenvolveram-se algoritmos de segmentao que consideram os componentes conecta-dos. O uso de componentes conectados adiciona a informao espacial aos dados extra-dos. Essa conexo entre pxeis com nveis de cinza semelhantes feita por um algoritmoque encontra grupos de pxeis conectados atravs dos seguintes passos:

    1. Varrer a imagem binria da esquerda para a direita, de cima a baixo.

    2. Se existe um pxel no marcado com o valor 1 ele deve receber uma marcao.

    3. Varrer recursivamente os pxeis vizinhos deste e marc-los com o mesmo valor,caso no estejam marcados com 1.

    4. O processo termina quando todos os pxeis de valor 1 so marcados.

    ZHANG (1996), PAL; PAL (1993), PARKER (2010), FORSYTH; PONCE (2002)apresentam variaes deste algoritmo buscando obter melhores resultados em termos decusto computacional e preciso da segmentao, mas a ideia essencial mantida, emborabusque-se fugir do uso de programas recursivos e utilizar algoritmos sequenciais. Duasabordagens principais podem ser destacadas (HOROWITZ; PAVLIDIS, 1976):

    Mesclando ou bottom-up: A imagem dividida em vrias pequenas regies (even-tualmente coincidindo com um nico pxel), que so ento fundidas para formarregies maiores. Enquadram nesta categoria o trabalho de BRICE; FENNEMA(1970) e outros que buscam digitalizar sequencialmente, da esquerda para a direita,a forma de onda para determinar o intervalo mais longo de tal forma que uma apro-ximao feita de acordo com uma tolerncia previamente estabelecida.

    Dividindo ou top-down: A imagem dividida sucessivamente em regies cada vezmenores at que certos critrios esto preenchidos. Na poca em que HOROWITZ;PAVLIDIS (1976) foi publicado, poucos algoritmos utilizavam esta abordagem.

    O algoritmo de Split and Merge o mais simples para crescimento de regies, ou, emingls region growing. Uma apresentao feita na figura 2. Neste algoritmo as regies

  • 30

    so sequencialmente divididas e mescladas de acordo com certos predicados at chegar auma situao em que nenhuma nova alterao possa ser feita seguindo esses predicados.Um exemplo de predicado simples pode ser: o valor dos pxels em escala de cinza o mesmo. Para comear, toda imagem considerada uma regio. Como nem todos ospxeis da imagem tem a mesma intensidade na escala de cinza, divide-se a imagem em4 quadrantes. Em seguida faz-se uma tentativa de mesclar duas regies adjacentes, masnenhum dos quadrantes satisfaz este predicado, motivo pelo qual todos os quadrantes,exceto o esquerdo superior, so novamente divididos em 4 regies menores. Faz-se umanova tentativa de combinar algumas divises e o processo repetido at que todas aspartes da imagem tenham sido unidas.

    Figura 2: Passo a passo da segmentao por Split and Merge (MUBARAK, 1997)

    Outro algoritmo bastante conhecido como Phagocyte Algorithm ou boundary mel-ting. Neste algoritmo a ideia central relaxar os limites fracos entre duas regies per-mitindo que elas sejam mescladas. Primeiro, pares de pontos vizinhos so ligados paraformar um conjunto se tiverem o mesmo valor de cinza, ou assim chamadas, regies at-micas. Ou seja, se os pxeis tm a mesma intensidade e so 4-conectados, ento podemser unidos formando regies conexas. Na prxima etapa, heurstica da fagocitose, regiesmenores so englobadas por regies maiores segundo o seguinte critrio: Sejam P1 e P2os comprimentos das bordas de duas regies R1 e R2, respectivamente. Seja |I| o com-primento da fronteira I entre R1 e R2. Seja |W | o comprimento das partes "fracas" daborda, por exemplo, o comprimento de W I onde a diferena absoluta entre os nveisde cinza de R1 e R2 menor do que um certo 1 .Por este algoritmo, pode-se afirmar queduas regies, R1 e R2, so ligadas entre si se

    |W |min(|P1|, |P2|) >2

  • 31

    onde a 2 usualmente igual a 12 . Na terceira etapa, regies adjacentes cuja fronteira fraca so ligadas segundo o seguinte critrio:

    |W ||I| >3

    onde usualmente 3 igual a 34 (BRICE; FENNEMA, 1970).De acordo com MUBARAK (1997), este mtodo produz uma segmentao aceitvel

    para imagens simples com poucos objetos e pouca textura. Duas heursticas so utilizadas:weakness e phagocyte. Se a relao entre o nmero de pontos em bordas fracas e o nmerototal de pontos na borda que separa uma regio da outra satisfaz a um threshold pr-determinado, ento essas regies so mescladas. Contudo essa heurstica tende a sobre-mesclar reas e por este motivo utiliza-se uma heurstica que faa um controle levandoem conta o modelo da regio resultante.

    A semelhana LH entre as duas regies dada por

    LH =P (H1)

    P (H2)

    e as regies so mescladas se forem maiores que um threshold T .

    2.4 Deteco de Movimento

    Um dos principais objetivos da viso artificial emular caractersticas do sistemavisual humano, como a habilidade de reconhecer objetos e rastrear seu movimento emambientes complexos. O primeiro passo para os softwares de rastreamento detectar osobjetos que se movem, classificar os pxels que o representam agrupando-os em regies,conhecidos no campo da viso computacional pelo termo blob. Atravs deste agrupa-mento diminui-se a complexidade do problema, dada uma percepo global da cena.

    A maior parte dos trabalhos publicados voltada para aplicao em vdeos obtidos apartir de cmeras perfeitamente estticas. Duas abordagens principais para o problemaso apresentados na literatura cientfica: image difference e subtrao de background.A primeira consiste em uma diferena limiarizada entre o frame no tempo t e o tempot 1, se mostrando extremamente performtico em termos de custo computacional efornecendo uma deteco do movimento entre dois quadros. Este mtodo apresenta, noentanto, duas desvantagens bem conhecidas causadas pela taxa de quadros por segundoe a velocidade do objeto se movendo na cena: abertura do primeiro plano e detecesfantasmas (COLLINS et al., 2000). Com a inteno de resolver este problema KAMEDA;MINOH (1996) prope uma variao do mtodo utilizando 3 quadros fazendo a diferenaentre os frames no tempo t e t 1 e no tempo t 1 e t 2. Ao final as duas sadas socombinadas atravs do operador lgico "AND". MIGLIORE; MATTEUCCI; NACCARI

  • 32

    (2006) fazem uma ressalva esta abordagem afirmando que se os objetos no tiveremtextura suficiente ela pode no permitir uma deteco precisa do movimento e a posiodo objeto no estimada em tempo real. Para tratar estes problemas, foi proposta umatcnica que considera a diferena entre os quadros t e t 1 e t e t 2 de modo a evitaro surgimento de fantasmas que apresentado pelas tcnicas anteriores (COLLINS et al.,2000). Este sistema amplamente utilizado em ambientes externos com imagens de baixaprofundidade de campo.

    Por outro lado, a deteco de movimento utilizando background subtraction utiliza-sede um modelo do plano de fundo para compar-lo com o quadro atual. Estes algoritmosresolvem os problemas apresentados pelos mtodos que utilizam frame difference e usu-almente gera bons resultados na segmentao dos objetos que apresentam movimento.Um tratamento especial necessrio para lidar com os variaes na luminncia e os obje-tos que iniciam ou terminam seu movimento durante a sequncia de quadros. Isto incluipor exemplo pessoas andando e automveis que param no meio da cena. Para resolvereste problema vrias tcnicas foram propostas, dentre as quais pode-se destacar os m-todos baseados em mdia e varincia como Weighted Moving Mean, Weighted MovingVariance, Adaptive Background Learning, Temporal Mean, Adaptive Median apresen-tado em MCFARLANE; SCHOFIELD (1995) e Temporal Median proposto em STAUF-FER; GRIMSON (1999). Entre os mtodos baseados em mistura de gaussianas pode-sedestacar as publicaes STAUFFER; GRIMSON (1999) e BOUWMANS; EL BAF; VA-CHON (2008). Na literatura pode-se ainda encontrar diversas propostas que utilizamlgica Fuzzy, redes neurais ou modelos de cor e textura para separao entre o primeiro esegundo plano.

    As mais simples fazem uma composio do backgroud utilizando uma composioconvexa dos pxeis no segundo plano no tempo t 1 e os pxeis da imagem no tempot. Assume-se geralmente que o segundo plano menos dinmico do que o objeto a serrastreado e que este distribudo de acordo com uma Gaussiana unimodal. comumque esta modelagem do segundo plano falhe ao lidar com mudanas bruscas ou casos emque o fundo no possa ser dado por uma funo Gaussiana unimodal. Esta premissa considerada no mtodo Pfinder apresentado em WREN et al. (1997).

    Uma das tcnicas mais populares de background subtraction e amplamente conhecidapela sigla MoG foi proposta em STAUFFER; GRIMSON (1999). A modelagem do back-groung utilizando mistura de gaussianas em nvel de pxel tornou-se muito popular devido sua eficincia em modelar distribuies multi-modais do segundo plano, o que ocorrepor exemplo com rvores balanando, ondas no oceano e reflexo da luz. Uma segundacaracterstica importante que ela se adapta bem s mudanas no fundo (MIGLIORE;MATTEUCCI; NACCARI, 2006).

    Cada pxel modelado como uma mistura de gaussianas e o modelo gerado atravsde uma aproximao. As distribuies gaussianas so ento avaliadas para determinar

  • 33

    quais apresentam a maior probabilidade de serem do background. Cada pxel clas-sificado como parte do plano de fundo de acordo com a distribuio gaussiana que orepresenta, permitindo a obteno de resultados estveis em rastreadores outdoor, onde aconfiana depende das variaes na iluminao, movimentos desordenados repetitivos evariaes na cena STAUFFER; GRIMSON (1999).

    Para este trabalho foram testados alguns destes modelos com o objetivo de suprimir osfalsos positivos remanescentes das tcnicas de classificao de fogo, utilizando segmenta-o por cor, frequncia de oscilao e formato do contorno. Como a pesquisa se prope asuprimir as dificuldades com segundo plano dinmico, condies distintas de iluminao,variao de posio e oscilao das imagens obtidas atravs de cmeras no estacionrias,espera-se que o mtodo tenha baixa sensibilidade aos parmetros da cmera e que possaser facilmente incorporado em outras solues. Consideraes mais detalhadas a respeitodos resultados atingidos quando as tcnicas de deteco de movimento foram aplicadassobre o dataset introduzido na Sec. 1.2.0.1 so apresentados no Cap. 7.

  • 3 TRABALHOS RELACIONADOS

    As tcnicas de processamento de vdeo para deteco e anlise de fogo so relati-vamente novas quando comparadas com outras tcnicas dentro da viso computacional.Considerando-se o problema dentro de um contexto maior de aplicaes, seja dentro daindstria ou mesmo em sistemas de vigilncia, fcil perceber a importncia de uma de-teco rpida de incndios e outros incidentes envolvendo fogo no controlado. Existeuma necessidade de anlise inteligente de contedo em vdeo para auxiliar vigilantes aidentificar os eventos logo que eles ocorram. Quanto antes o fogo detectado, maioresso as chances de evitar que este se alastre, causando danos e colocando a vida de pessoasem risco.

    Nos ltimos anos, tcnicas de deteco de fogo atravs de vdeo (em ingls VideoFire Detection - VFD) tem sido alternativas viveis ou complementos para os sistemas dedeteco de incndio convencionais, como os baseadas em sensores de fumaa, e tm semostrado teis para resolver vrios problemas relacionados com os sensores tradicional-mente utilizados. Sensores convencionais so geralmente limitados a ambientes fechadospor exigirem uma proximidade com o fogo, o que os torna inadequados para ambientescomo centros comerciais, aeroportos, estacionamentos ou mesmo florestas. Outra limita-o dos sistemas de alarme de incndio convencionais que pode levar um longo tempopara partculas de carbono e fumaa acionem o detector, o que os autores costumam cha-mar de atraso do transporte. J quando so utilizadas cmeras de vdeo para a deteco,este atraso no ocorre pois a cmera pode identificar as chamas imediatamente (ETINet al., 2013).

    Os primeiros estudos neste campo de pesquisa ocorreram no final da dcada de 90.Vrias abordagens, de maior ou menor complexidade de implementao, foram propostascom a finalidade de criar um bom detector de fogo. Inicialmente existia uma nfase maiorna deteco da chama, mas atualmente vrios trabalhos vem abordando tambm a fumaa.A maioria dos detectores atuais funciona combinando detectores de cor e caractersticasde borda com uma anlise temporal do formato da chama e o seu comportamento. ETINet al. (2013) ressalta que, no entanto, devido a variedade de formas e comportamentosque o fogo e a fumaa podem assumir (cor, transparncia, temperatura ou cintilao)

  • 35

    muitos dos detectores considerados como estado da arte continuam apresentando falsospositivos. Devido a estas caractersticas, aliadas a outros fatores como o rudo, sombras emudanas de iluminao, a deteco de fogo permanece sendo um grande desafio para ospesquisadores.

    Apesar de ser um assunto relativamente novo, a deteco de fogo baseada em vdeoj produziu resultados promissores. No entanto no um problema completamente resol-vido, assim como a maior parte dos problemas de viso computacional. O comportamentoda fumaa e das chamas de um incndio no controlado varia com a distncia e ilumina-o. Alm disso, diferentes cmeras podem produzir diferentes imagens e vdeos para amesma cena por causa de suas configuraes internas e algoritmos (ETIN et al., 2013).

    3.1 Deteco de Cor

    A grande maioria dos detectores de chama tem na cor uma informao primordialpara seu funcionamento. A maioria dos filtros utiliza o esquema de cor RGB, e em algunscasos, ele combinado com HSI/HSV, como por exemplo em CHEN; HE; WANG (2010),CHEN; WU; CHIOU (2004), GNAY et al. (2010). Isto se deve, segundo ETIN et al.(2013) ao fato de a maioria das cmeras trabalharem com RGB e existir uma associaoespectral bvia com este espao de cor. Da mesma forma trabalha-se com a ideia deque reas de fumaa apresentam nveis prximos em cada um dos canais de cor quandotrabalhando com o esquema de cor RGB.

    A cor da chama vista pelo olho humano geralmente algo entre vermelho e amarelo.A maioria das tcnicas de classificao de fogo com base na cor partem deste pressuposto.CHEN; WU; CHIOU (2004) propem um modelo de classificao utilizando o espao decor RGB, que aplica avaliao da crominncia e medidas de desordem de forma a ex-trair os pxels que representam regies de chama ou fumaa. O mtodo utiliza valores dethreshold fixados empiricamente. Um pxel pode ser considerado fogo se atender as con-dies da Eq. 6 onde ST eRT so os limiares de saturao e vermelho. A mesma equaofoi utilizada posteriormente em CHENEBERT; BRECKON; GASZCZAK (2011) paraseparar segmentar as regies pela cor e ento extrair dados da textura.

    P (x, y) =

    R > RT

    R G > BS ((255R) ST )/RT )

    (6)

    PHILLIPS III; SHAH; VITORIA LOBO (2002) utiliza a informao do espao de co-res RGB e a variao temporal dos pixeis para a deteco do fogo. O processo realizadoem 3 etapas:

    1. Criao de pares de imagens em que cada par consiste em uma imagem colorida

  • 36

    contendo chamas e uma mscara binria que aponta onde o fogo est presente. Dezimagens so utilizadas.

    2. Construo de um histograma de cor onde para cada pxel marcado como chamauma distribuio gaussiana ( = 2) das cores adicionada. Para os pxels mar-cados como no fogo uma distribuio gaussiana menor ( = 1) subtrada dohistograma.

    3. Threshold do histograma de forma a resultar em uma funo que recebendo osvalores RBG de um pxel retorna um valor booleano que indica se o mesmo fogoou no.

    Como o fogo pode ser translcido e, em alguns casos, dispersar-se de forma a no serdetectvel atravs da tcnica proposta, uma mdia das estimativas de um curto perodo detempo utilizada. De forma resumida, somam-se as sadas do pxel durante n frames dasequncia e divide-se por n. Atravs do mtodo de pesquisa experimental mostrou-se pos-svel utilizar um n entre 3 e 7 com vdeos gravados a 30 FPS. A mdia deve ser maior que12

    para que o pxel seja considerado como fogo (PHILLIPS III; SHAH; VITORIA LOBO,2002).

    HORNG; PENG; CHEN (2005), por sua vez, faz uma converso de RGB para HSIutilizando uma equao prpria, mais conveniente para o processamento, utilizando umaescala de 1 360 para cada canal HSI. Em seguida, aplicado um mtodo de segmentaopela cor para classificar regies com aparncia semelhante fogo, removendo posterior-mente os pxels saturados ou com pouca intensidade, tais como fumaa e regies comreflexo da luz. Como os autores no fornecem maiores detalhes sobre como os valoresde threshold foram definidos acredita-se que o fizeram de forma emprica. Depois destaclassificao, espera-se que as regies tenham sido propriamente classificadas. Contudo,faz-se um tratamento de falsos positivos considerando principalmente dois fatores:

    1. Devido reflexo das chamas alguns objetos tem a sua aparncia alterada de formaque as caractersticas de crominncia ou luminosidade (color shift).

    2. Objetos com cores semelhantes ao fogo so erroneamente classificados (falsos po-sitivos).

    Mesmo aps a classificao atravs da cor e o uso de frame subtraction para removerobjetos estticos com cor de fogo muitas regies continuam sendo classificadas erronea-mente. Isto pode no ser um problema se o objetivo for apenas detectar a presena ou node chamas, contudo, se o objetivo for extrair dados sobre a localizao das chamas, entoestes falsos positivos precisam ser eliminados. Ao examinar cuidadosamente o fenmenode color shift foi constatado que, dado que a cor alaranjada um reflexo da cor do fogo

  • 37

    na fonte, sua intensidade e saturao devem ser inferiores quelas encontradas no fogoverdadeiro (HORNG; PENG; CHEN, 2005).

    Continuando com as tcnicas de classificao baseadas em cor, (CELIK et al., 2007)propem um modelo estatstico de cor combinado com subtrao de background parafazer a segmentao das reas de fogo. O plano de fundo modelado como uma gaussianaunimodal. Para gerar o modelo estatstico de cor, os autores coletaram 150 imagens dainternet e as segmentaram em reges de fogo e no-fogo. Cinco regras so aplicadascomparando o canal de cor vermelho (R) em cada pxel com a mdia na imagem e com osoutros canais de cor. O modelo proposto utiliza ainda um limiar no canal vermelho paraeliminar falsos positivos e tratar efeitos decorrentes da variao na iluminao. Um pxel considerado como fogo se atender todas as condies apresentadas na Eq. 7:

    P (x, y) =

    R > Rm

    R > G > B

    0.25 G/(R + 1) 0.650.05 B/(R + 1) 0.450.20 B/(G+ 1) 0.60

    (7)

    CELIK; DEMIREL (2009) propem o uso do color space YCbCr para deteco defogo a partir da cor. Este mtodo contri um modelo genrico de classificao atravs decrominncia para os pxels contendo chama. Cada pxel normalizado conforme o valorda intensidade. Os autores argumentam que o algoritmo proposto utiliza o espao de corYCbCr para separar a luminncia da crominncia de forma mais eficaz que outros espaosde cor. O desempenho do algoritmo proposto testado em dois conjuntos de imagens, umdos quais contm fogo. Alm disso, o modelo de cores proposto pode ser utilizado paraa deteco em tempo real de fogo em vdeos. O modelo proposto apresenta uma taxa defalsos positivos de 31,5%.

    Apesar do espao de cor RGB poder ser usado para a classificao, ele apresenta adesvantagem de depender da iluminao. Isso significa que, se a iluminao da imagemmudar, a classificao do pxel provavelmente falhar. Alm disso, no possvel separaro valor de um pxel em intensidade e crominncia. A crominncia pode ser utilizada emmodelos de cor de fogo em vez de modelar a sua intensidade. Isso d a representao maisrobusta para pxels que representam chamas. Por isso necessrio converter a imagemRGB para um espao de cor onde a separao entre a intensidade e crominncia maisdiscriminante. Por causa da converso linear entre RGB e YCbCr utilizou-se YCbCrpara modelar os pxels de fogo (CELIK; DEMIREL, 2009). A converso de RGB paraYCbCr obtida atravs da Eq. 8 onde Y a luminncia e Cb e Cr so respectivamente acrominncia azul e a crominncia vermelha:

  • 38

    YCbCr

    =0.2568 0.5041 0.09790.1482 0.2910 0.4392

    0.4392 0.3678 0.0714

    RGB

    + 16128

    128

    (8)O passo seguinte a obteno das mdias para cada canal no frame e a validao da

    cor de acordo com as regras apresentadas na Eq. 9.

    P (x, y) =

    Y > Cb

    Cr > Cb

    Y > Ymean

    Cb < Cbmean

    Cr > Crmean

    |Cb Cr| >

    (9)

    O valor de uma constante determinada atravs da anlise de uma curva ROC sobreum dataset de 1000 imagens, cuja segmentao do ground truth foi feita manualmente.Para cada valor de a taxa de falsos positivos e falsos negativos foi calculada. Consi-derando o custo do falso negativo maior que o do falso positivo os autores obtaram porutilizar = 40, o que garantiu uma taxa de deteco de 90% e uma taxa de falsos posi-tivos de 40%. Todas as imagens utilizadas eram diurnas, de ambientes externos e foramobtidas por cmeras instaladas em helicptero. (CELIK; DEMIREL, 2009)

    Um modelo de segmentao por cor utilizando o color space Lab proposto em CE-LIK (2010). O color space Lab tem cores uniformemente distribudas (cromaticidadeuniforme). A sua distribuio perceptualmete uniforme, a luminosidade separada dacromaticidade e muitas vezes apresentada como a representao dos contrastes crom-ticos naturais do ser humano. A letra L na sigla corresponte luminosidade (lightness) ea e b correspondem aos componentes de cor, baseados no modelo no linear de coorde-nadas CIE XYZ, sendo que a vai de verde a vermelho e b vai de azul at amarelo ondeas duas dimenses so combinadas originando novas cores. As regras de classificao deum pxel como fogo com base na cor conforme apresentadas por CELIK (2010) so dadaspela Eq. 10:

    P (x, y) =

    L > Lm

    a > am

    b > bm

    b > a

    (10)

    onde Lm, am e bm representam os valores correspondentes mdia de cada canal. Umpxel considerado como fogo somente se este satisfizer todas as regras apresentadas naequao.

  • 39

    Um bom modelo de cor de fogo e uma boa segmentao dos pxels em

    movimento so essenciais devido ao seu papel fundamental nos siste-

    mas de deteco de incndio baseados na viso computacional. O CIE

    Lab foi escolhido porque um espao de cor uniforme perceptivamente,

    tornando assim possvel representar informaes de cor de fogo melhor

    do que outros espaos de cor. Os pxels em movimento so detectados

    atravs da aplicao de um algoritmo de background subtraction. Os

    pxels que apresentam movimento so analisados em quadros consecu-

    tivos para levantar um alarme de fogo. A fim de encontrar a correlao

    entre aL, a e b um conjunto de 500 imagens RGB foram coletados a par-

    tir da Internet. Em seguida, cada imagem foi manualmente segmentada

    para identificar todas as regies de chamas. Regies de incndio seg-

    mentadas so convertidos para o color space Lab. Um histograma dos

    pxels de fogo criado para cada um dos trs planos de cor (CELIK,

    2010).

    Em um processo que CELIK (2010) chama de quantificao, estes histogramas soagrupados em nveis de probabilidade. Atravs de experimentao foi definido que umaquantizao em 24 nveis oferecia bons resultados. A tabela de consulta criada paracada par de 24 nveis quantificados para descrever a probabilidade de que qualquer par deL, a e b pertena a um incndio. Por fim o pxel definido como fogo ou no definidopela Eq. 11, onde alpha um limiar definido manualmente com base em uma curvaROC. O dataset utilizado para validao dos resultados o mesmo utilizado em CELIK;DEMIREL (2009).

    P (x, y) =

    1, ifP (Lab) ,0, else (11)J NGUYEN-TI; NGUYEN-PHUC; DO-HONG (2013) combinam nove regras utili-

    zando tanto o espao de cor RGB quanto o espao de cor YCbCr com o objetivo de mi-nimizar falsos positivos. As regras visam eliminar regies de pele humana, definir comoregies de fogo apenas as regies que so assim detectadas em ambos os espaos de cor.Estas regies se referem pele humana e amarelo puro, ao mesmo tempo que no excluemregies brancas que geralmente se formam no centro das chamas. Depois disso aplicadoum algoritmo de Region Growing para tolerar pxels prximos que tenham aparncia pa-recida mas no tenham sido classificados como fogo dentro de alguma das regras dofiltro de cor. Embora no sejam fornecidas estatsticas NGUYEN-TI; NGUYEN-PHUC;DO-HONG (2013) afirmam que mesmo combinando as nove regras ainda provvel quemuitas regies classificadas como fogo no correspondam exatamente a fogo. Por estemotivo so combinadas tcnicas de Frame Subtraction e Region Growing e acompanhama oscilao com base na variao horizontal e vertical das regies classificadas.

  • 40

    Alm disso, MARBACH; LOEPFE; BRUPBACHER (2006) trabalha a ideia de que ofogo geralmente a maior fonte de luz, motivo pelo qual a luminncia dos pxels perto dofogo tendem para o valor mximo permitido pela cmera (usualmente 255), atingindo, namaioria dos casos, o nvel de saturao. As duas propriedades conhecidas do fogo, oscilarentre 1 e 10 Hz e atingir a luminncia mxima, so usadas para modelar o algoritmo, queexplora a luminncia atravs do esquema de cores YUV. No YUV, o Y representa a lumi-nncia enquanto U e V representam a crominncia. A primeira parte do processo incluiacumular a diferena entre os frames de forma a encontrar uma regio de interesse quedefina as partes que apresentam oscilao. Depois de extrair as ROIs uma classificaopor cor utilizada sobre os valores acumulados no tempo.

    A maioria dos trabalhos publicados utiliza o color space RGB. Em alguns trabalhosutiliza-se tambm solues baseadas em HSI/HSV como o caso de CHEN; HE; WANG(2010); CHEN; WU; CHIOU (2004) e GNAY et al. (2010). De acordo com ETINet al. (2013) isto se deve ao fato de a maioria das cmeras trabalharem por padro comeste sistema de cor e pelo fato de RGB apresentar uma associao espectral clara com a vi-so humana. Alguns autores prope abordagens diferentes, como PHILLIPS III; SHAH;VITORIA LOBO (2002) que faz uso de histogramas e valores de cor que correspondema uma gaussiana da regio da chama.

    3.2 Deteco de Movimento

    seguro afirmar que a cor no pode, por si s, classificar uma determinada regio daimagem como fogo ou no, pois existe uma enorme variao na cor, densidade, quanti-dade de luz gerada pelo fogo, condies de iluminao do ambiente ou mesmo elementosdo background que podem influenciar na cor capturada pela cmera e nos resultados daconverso de um color space para outro. Por este motivo, a maioria dos VFDs utilizatambm outras caractersticas como o formato da chama, textura, movimento e relaesespaciais.

    Para determinar se o movimento decorrente de uma chama ou fumaa necess-ria uma anlise de uma sequncia de quadros. Usualmente, considerando que trabalha-se com cmeras estacionrias, utilizam-se tcnicas background subtraction. Este ocaso de GNAY et al. (2010), CHEN; HE; WANG (2010), citettoreyin2005wavelet eJIAO; WEIR; YAN (2011). Outros trabalhos como GMEZ-RODRGUEZ et al. (2002),GOMEZ-RODRIGUEZ; ARRUE; OLLERO (2003) e KOLESOV et al. (2010) buscamabordar o problema do movimento utilizando fluxo ptico ou anlise temporal como emLEE; HAN (2007).

    ETIN et al. (2013) afirma que muitas das abordagens iniciais baseavam-se apenasna deteco de cor e movimento, mas esta abordagem usualmente resulta em falsos posi-tivos. Uma anlise mais aprofundada necessria para atingir resultados mais acurados.

  • 41

    Uma destas anlises baseada na cintilao. HAMINS; YANG; KASHIWAGI (1992)apresenta um estudo detalhado do comportamento do fogo. De acordo com o estudo, umincndio tem a propriedade de cintilao, aumentando e diminuindo a intensidade da luzemitida. Do ponto de vista de uma cmera, esta oscilao faz com que ocorra o aumento ea diminuio da luminncia das imagens no decorrer do vdeo. A frequncia de oscilaotpica do fogo est na faixa de 1-10 Hz.

    3.2.1 Anlise da Oscilao no Domnio da Frequncia

    amplamente aceita a ideia de que o fogo oscila entre 1 e 10 Hertz e que isto in-depende do material que est queimando. Isto que permite que filtros no domnio dafrequncia sejam utilizados para distinguir fogo de objetos em movimento presentes nacena. Os mtodos baseados nesta caracterstica utilizam o comportamento do pxel aolongo do tempo. Esta premissa no valida para os primeiros instantes, quando o fogoest iniciando e apresenta um comportamento completamente aleatrio. Neste estgio ini-cial impossvel perceber uma oscilao constante na frequncia. Para a fumaa tambmno possvel obter resultados precisos baseados apenas na frequncia (ETIN et al.,2013).

    HAMINS; YANG; KASHIWAGI (1992) apresenta um estudo experimental realizadocom o objetivo de estudar a liberao de calor, dimetro das chamas e a frequncia depulsao do fogo considerando vrios combustveis gasosos e lquidos. No processo fo-ram usados vdeos gravados a 30FPS. A frequncia de pulsao foi determinada a partirda contagem do nmero de frames necessrios para que o vrtex completasse 50 ciclos.Este processo foi repetido em diversas partes do vdeo para estimar a mdia e o desviopadro da frequncia de pulsao. O experimento demonstrou ainda que a frequncia fracamente correlacionada com a velocidade de liberao do combustvel, variando nomximo 1,5 Hz.

    A frequncia de oscilao utilizada para diferenciar chamas de outras fontes de luzem movimento atravs da realizao de uma anlise de frequncia. No entanto, de acordocom o teorema da amostragem de NyquistShannon, a frequncia de amostragem de umsinal deve ser maior do que duas vezes a frequncia do sinal. Infelizmente, a taxa decaptura de vdeo , em geral, a 25 Hz (25FPS) na maioria dos sistemas de vigilncia. Estaamostragem s pode revelar variaes de at 12,5 Hz, e no pode cumprir a exigncia deamostragem. Alm disso, a transformao de sinais do domnio de tempo para o domnioda frequncia custosa e afeta a eficincia do algoritmo de deteco (CHEN; HE; WANG,2010).

    TREYIN et al. (2006) utilizam a anlise no domnio da frequncia para acompanharo comportamento do valor no pxel dentro da regio que foi inicialmente classificadacomo chama com base na cor e movimento. Neste caso, os autores fazem uma ressalvaafirmando que para funcionar adequadamente o vdeo deve ser capturado em no mnimo

  • 42

    20 FPS. Sabe-se contudo que quando ocorre undersampling existe um efeito de aliasing,o que sugere que com um devido tratamento ainda seja possvel fazer a filtragem nodomnio da frequncia. Para a filtragem aplicou-se o filtro sobre o canal vermelho docolor scheme RGB. Um filtro de dois estgios que filtra as altas frequncias. Se o pxelpertencer ao contorno da chama ento seu valor oscilar vrias vezes. Se for apenas umobjeto qualquer ento espera-se que apenas um pico seja gerado. O nmero de passagenspor zero durante alguns segundos (no especificado no paper) utilizado para classificaros pxels utilizando um threshold qualquer.

    natural que exista uma associao entre fogo e fumaa pois a presena do segundo geralmente um indicativo de que o primeiro tambm est presente, mesmo que emuma regio fora do campo de viso da cmera. TOREYIN et al. (2005) afirmam que aoscilao/pulsao do fogo induz nas bordas da fumaa uma oscilao entre 1 e 3 Hertz.Nos testes foram utilizados vdeos gravados 5 frames por segundo e utiliza-se um bancode filtros de frequncia sobre os canais de cor YUV que permite pegar frequncias entre0.625 e 2.5Hz.

    A figura 3 apresenta o filtro de dois estgios utilizado. Xn[k, l] representa a variaodos descritores de Fourier entre o frame n e n + 1. A decomposio em dois canaisconstitui-se de um filtro passa-alta (-0.25, 0.5, -0.25) e um filtro passa baixa (0.25, 0.5,0.25). Se o pxel apresenta alta frequncia de e en devem ser diferentes de zero. Pelocontrrio, se o frame n permanece estvel com relao ao frame n + 1 ento estes sinaisdevem ser prximos zero. A taxa de cruzamentos por zero de dn e en durante algunssegundos utilizada para caracterizar as regies de fogo. Se este nmero for maior queum threshold predeterminado (TOREYIN et al., 2005).

    Figura 3: Filtro passa banda de dois estgios utilizado em ZHANG et al. (2008) e T-REYIN et al. (2006). HPF e LPF representam respectivamente filtros passa-alta e passa-baixa.

    Na ltima etapa, a convexidade com o formato de regies de fumaa verificada.A fumaa de um fogo no controlado se expande no tempo resultando em regies combordas convexas. Os limites das regies que contm "pxels candidatos"so verificadosquanto sua convexidade ao longo de linhas verticais e horizontais. Na implementaoforam utilizadas cinco linhas horizontais e cinco linhas verticais. A anlise consiste emverificar se os pxels em cada uma das linhas pertencem regio em movimento ou no.Pelo menos trs pxels consecutivos nas linhas que se cruzam nas regies movimento

  • 43

    devem pertencer ao background a fim de verificar se a regio em movimento viola acondio de convexidade. Se ao longo de qualquer uma das linhas, a regra de convexidadeno for cumprida, os pxels de fumaa na regio so descartados. Essas pistas so entocombinadas para dar uma deciso final. Se todos os critrios acima mencionados soatendidos para um pxel, o pxel determinado como fumaa (TREYIN et al., 2006).

    J ZHANG et al. (2008) apresenta um sistema de deteco de fogo e fumaa voltadoespecificamente para deteco de fogo em florestas. A anlise temporal no domnio dafrequncia segue um modelo semelhante ao apresentado por TREYIN et al. (2006) eapresentado na Fig. 3. Os valores dos pxels so extrados do canal R no espao de corRGB. A amostragem utilizada de 30 Hz (30 FPS) e os resultados apontam que um limiarde 3 Hz adequado para deteco de fogo em vdeos.

    3.2.2 Anlise da Oscilao Utilizando Fluxo ptico

    Fluxo tico refere-se ao problema de estimar um vetor de distncia que mostre o des-locamento de um ponto em uma sequncia de imagens. Na formulao do problema defluxo ptico assume-se que um ponto, definido por (x1, y1) de uma imagem obtida noinstante t deve ter um correspondente no instante t + 1. O deslocamento local, assu-midamente pequeno, permite estimar o deslocamento do objeto observado nos framessubsequentes (CYGANEK; SIEBERT, 2011).

    As duas abordagens mais usuais para o problema do fluxo ptico so dadas porHORN; SCHUNCK (1981) e LUCAS; KANADE et al. (1981). O algoritmo de Horn-Schunck o mais simples e embasa-se na ideia de que o brilho de um objeto sempreconstante (Brightness Constancy Assumption), fazendo com que seu movimento possa seridentificado diretamente pelo valor do pxel. Assim, o gradiente de intensidade utilizadopara encontrar a melhor correspondncia entre dois pxels. J o mtodo de Lucas-Kanadeutiliza descritores Eigenvalue para encontrar a correspondncia entre caractersticas daimagem e determinar o deslocamento.

    Para deteco de fogo, KOLESOV et al. (2010) prope o uso de fluxo ptico OMT(Optimal Mass Transport) como um descritor de baixo nvel. O processo de deteco tratado como um problema de classificao Bayesiana onde as entradas so compostaspelas velocidades OMT e pela cor no espao RGB. O classificador implementado comouma rede neural de 1 camada oculta, sendo que os resultados apresentam a possibilidadede cada pxel ser de fogo ou fumaa.

    O problema de transporte de massa foi inicialmente formulado por Gas-

    par Monge em 1781, e focado em encontrar um caminho timo, no sen-

    tido de reduzir o custo do transporte, de transportar um volume fixo

    de terra de um ponto para outro. Uma formulao moderna para este

    problema foi proposta no trabalho de Kantorovich em 1947, sendo por

    este motivo tambm conhecido como problema de MongeKantorovich

  • 44

    [...] A mtrica de KantorovichWasserstein define a distncia entre duas

    densidades ao computar o menor custo de transporte de um domnio

    para outro (KOLESOV et al., 2010).

    As abordagens que partem do pressuposto de que o brilho dos objetos constante entreos quadros no so adequadas para a deteco de fogo e fumaa. Este pressuposto vlidopara objetos rgidos com uma superfcie Lambertiana, mas falha para materiais lquidosou gasosos. Na viso computacional, estes materiais devem ser modelados por texturasdinmicas. As texturas dinmicas tpicas de fumaa e fogo possuem dinmica intrnsecae, portanto, no podem ser capturadas de forma confivel utilizando fluxo ptico na suaforma tradicional. Deve-se levar em conta tambm que a regio de fogo/fumaa tende aapresentar um fluxo muito mais rpido do que a rea em torno dele (KOLESOV et al.,2010).

    KOLESOV et al. (2010) buscam criar um modelo de fluxo que represente melhor ocomportamento de fogo e fumaa baseando-se nos atributos fsicos deste processo:

    Um atributo simples que fogo e fumaa tendem a conservar intensi-

    dade tomada como uma massa generalizada e mover a massa de uma

    forma otimizada. Assim, uma restrio matemtica apropriada no a

    preservao da intensidade, mas sim da conservao de massa ou con-

    servao brilho (KOLESOV et al., 2010).

    A soma da energia total da imagem com a preservao da massa utilizada comoentrada em uma rede neural para ser classificada como fogo ou no-fogo. Sem fornecermaiores detalhes, os autores afirmam que apenas seis frames de um vdeo, segmentadosmanualmente, foram utilizados para o treinamento da rede neural. Os testes foram reali-zados no mesmo vdeo do qual os frames foram extrados. Embora os autores asseguremque os resultados so promissores e apresentem imagens de classificaes corretas, noso fornecidas quaisquer estatsticas sobre taxas de deteco, falsos positivos e falsosnegativos.

    Outra proposta utilizando fluxo ptico apresentada em MUELLER et al. (2013),que trabalham considerando dois mtodos de fluxo ptico desenhados especificamentepara deteco de chamas: OMT para extrao de textura dinmica nas regies onde ofogo apresenta variao de intensidade e uma abordagem clssica de fluxo ptico quebusca explorar o fluxo ptico das reas saturadas que os autores tratam por NSD (Non-Smothed Data). A partir disso, caractersticas relacionadas com a magnitude e direo soextradas para discriminar entre regies de fogo e no fogo. Uma viso geral do mtodo apresentada na Fig. 4.

    Sobre a variao direcional das reas saturadas, MUELLER et al. (2013) defendemque o mtodo proposto capaz de diferenciar o movimento das bordas da chama dasbordas de objetos rgidos presentes na cena e que apresentem movimento, ao quantificara varincia da direo do fluxo dos pxels em movimento. Conforme pode ser observado

  • 45

    Figura 4: Mtodo de deteco de fogo proposto por MUELLER et al. (2013). A nfasedo trabalho est na extrao de caractersticas combinando transporte timo de massa emagnitude e variao na direo das reas saturadas, criando um vetor 4D que utilizadocomo entrada em uma rede neural.

    na Fig. 5 uma varincia alta sugere que movimento em vrias direes (fogo), ao passoque uma varincia pequena induz um movimento uni-direcional (objeto rgido).

    Sobre a variao direcional das reas saturadas, MUELLER et al. (2013) defendemque o mtodo proposto capaz de diferenciar o movimento das bordas da chama dasbordas de objetos rgidos presentes na cena e que apr