SPRI. Visión Artificial y su aplicación industrial

José Angel Gutiérrez Olabarria [email protected] http://lnkd.in/3CVgjc http://www.computervisionbytecnalia.com TECNALIA

Visión Artificial y su aplicación industrial

Miramon - 30 de junio de 2016

Esquema

Día 30/06/16: Lugar: Parque Tecnológico de Gipuzkoa. PaseoMikeletegi,53 Horario: 0900-1300 1.  Presentación 2.  Introducción

�  Que es la visión artificial y el procesamiento de imagen �  Definiciones y términos �  Aspectos a tener en cuenta en sistemas de visión artificial

3.  Elementos en visión artificial 4.  HW

�  Iluminación I - Tipos de iluminaciones empleadas I �  Óptica - Tipos de ópticas I �  Cámara / Sensor I - Tipos de sensor I �  Digitalización / procesadores

Esquema

5.  SW

�  Esquema habitual de proceso �  SW bajo nivel: Umbralizados, filtros, operadores �  Características �  Segmentación �  clasificación

6.  Aplicaciones / ejemplos prácticos de Visión artificial

7.  Conclusiones

4

¿Que hace Tecnalia en Visión Artificial? •  Casi 30 años diseñando, desarrollando, instalando y manteniendo

aplicaciones •  200 proyectos desarrollados e instalados en distintos ámbitos •  I+D APLICADA, en el limite del estado del arte, pero también 20

patentes ¿Y quien este señor? •  25 años de experiencia en el sector •  6 años profesor de estas tecnologías en Ingeniería de Deusto

5

2. Introducción ¿Queeslavisiónar7ficialyelprocesamientodeimagen?“Procesoautomá7cooasis7dodeinformacióncaptadapormediosasimilablesanuestravisión”1.Captaciónpormediosvisuales:Herramientashardware,obtencióndeimagen.

2.Procesamiento:SoMware.

ESCENA ILUMINACION

OPTICA HARDWARE

IMAGEN EN

MEMORIA PROCESAMIENTO IMAGEN

INFORMACIÓN RESULTADO ANÁLISIS

6

2. Introducción: Términos de interés

Píxeles:–  Elementosdeimagen.–  Discre7zaciónimagenrealenmemoria,pantalla(PIX).

•  Niveldegris:–  Discre7zaciónintensidaddeluz256(1byte).

–  Paraniveldecolor3bytes.•  Resolución:Máximateórica

–  Divisióndemedidaenespaciorealentrevariaciónmedidaenpíxeles

–  Usual:Resolucióna2píxeles.

X

Y

7

2. Introducción: Aspectos a tener en cuenta Tópicos

–  “Lavisiónar7ficialesinteligenciaar7ficial”–  “...Soncosasdelaboratorio,noaplicacionesreales”–  "Losquehayquedetectaresmásomenosasí…“–  “Siseveasimplevista,sepuederesolverporvisión”–  “…Seponeunaluzcualquieraylisto”–  “Laprecisióndelsistemaes…”–  “Misistemagaran7zacerodefectos”–  “Configuremosamáximasensibilidad”–  “Elsistema7enequeresolvertodosmisdefectos”

Caracterís7cassistemasV.A.–  Repe77vidadmuchomayorquecontrolhumano–  Velocidad–  Enningúncasoalcanzanlaflexibilidaddelavisión

humana

8




humana

9




humana

10

Tópicos–  “Lavisiónar7ficialesinteligenciaar7ficial”–  “...Soncosasdelaboratorio,noaplicacionesreales”–  "Losquehayquedetectaresmásomenosasí…“–  “Siseveasimplevista,sepuederesolverporvisión”–  “…Seponeunaluzcualquieraylisto”–  “Laprecisióndelsistemaes…”–  “Misistemagaran7zacerodefectos”–  “Configuremosamáximasensibilidad”–  “Elsistema7enequeresolvertodosmisdefectos”


humana

3. Aspectos a tener en cuenta

11

3. Elementos en V.A.

“Materiainterdisciplinar”– Hardware:Filtradoinicialdeinformación.

•  Luz,cámaras,digitalización.

– SoMware:•  Preproceso:umbral,histograma,filtros...

•  Proceso:algoritmos,información...

•  (Postproceso)•  Comunicaciónderesultados

1

2 3 45

6

7

8

9

12

4 HW: Iluminación

•  Importanesima:maldiseñada,posiblefracaso•  Técnicasfotográficas.•  Granvariedadobjetos/fondos:

Rayos en superficie especular

Rayos en superficie no especular

Rayos en superficie semiespecular

13

4 HW: Iluminación

Diferentesnaturalezas–  Incandescentes– Fluorescentes:Atenciónalafrecuencia– LED:vidamuylarga,monocromá7cos– Láser– UsoEstroboscópico– Entre500–3000€

14

4.HW: Ópticas •  Variablesadeterminarenla

selección–  Focal,FOV,STDOff–  Luminosidad.Relacióncon

enfoque–  Tipodemontura–  Calidad/resolución

•  Tipoenfunciónaplicación–  Masfocal–  Menosfocal

•  Lentesespeciales–  Varifocal–  Telecéntricas–  Electroadapta7vas

•  Entre300–3000€

Foco

PlanoFocal PlanoPrincipal

RayosParalelos(infinito)

Lente

Foco

Lente

Objeto

Imagen

15

4.HW: Ópticas

Filtrosóp7cos:•  Polarizadores.permitenpasoluz

enunúnicoplanodepolarización

•  Pasa-banda.Sepermiteelpaso

deciertaslongitudesdeonda.•  50–300€

16

4.HW. Cámaras

•  Cámaras:–  (Vidicón.Tubodeimagen.Obsoleto.)– CCD.CIfotosensible.Cargaproporcionalalalúzquereciben.1D(lineales),2D(matriciales).

– CMOS.Massencilloybarato.Inicialmentelimitacionescadadíamenos.CometerrenoaCCD

Ópticas

CCD - 1D CMOS 2D

Electrónica

Señal de vídeo

17

4. HW: Cámaras

•  Lineal/Matricial•  Color/B&W•  CCD/CMOS•  Entrelazada/progresiva

–  Fullframe,globalshuter…•  Sensibilidad•  Resoluciónmedidaenpixeles(hasta70Mpix)

•  Velocidaddedisparo•  Espectroexpandido/mul7espectral

•  Entre300–3500€

18

4. HW: Digitalización y procesadores

•  Estándaresdigitales.Lacámaratransmitedirectamenteendigital.–  Cameralink:muyhabitual,notanestandar

–  Firewire–  USB–  Gig-e:Sehaimpuesto

•  PC/sistemascompactos•  Preciosentre500–4000€

19

Preproceso Extracción de características

Segmentacion

Classification -  Umbralizado -  morfologia -  Mejora de

imagen -  ruido -  Normalizacion

-  Blobs -  Contorno -  Textura -  Color -  Bag of words

-  Region -  Borders -  Active contorrs -  Guided filtering

-  Statistical analysis -  Machine learning -  Meta-classifiers -  Distance based

metrics

5. SW: Esquema clásico de proceso

20

5. SW. Bajo nivel

Histograma:TablanúmerodePIXenniveldegris.

A B C

D P E

F G H

Vecindaddepix(3x3)

Umbralización:Separarobjetosinterésdelfondo.

–  Fijo.–  Viariable:problemaobjetospequeños.

–  Porzonas.

21

5. SW. Bajo nivel

•  Histograma.– Ecualización.Usadopararealcedeimagen

– Seu7lizaparaelcálculodelumbralautomá7co.

22

5. SW. Bajo nivel

•  Filtrospasabajos.A)Media:eliminacióndelruido,suavizacontornos 1/91/91/9

–  máscara 1/91/91/9 1/91/91/9

B)Mediana:valorcentraldelistaordenada.

C)Mediadeimágenessucesivas.

23

5. SW. Bajo nivel

•  Filtrospasaaltos.A)Sobel-1-2-1-101000-202121-101B)Laplaciano. 010amplifica 1-41elruido 010

24

5. SW. Bajo nivel

•  Erosiónydilatación.A)Erosión:eliminacióndepíxelesdecontornoofrontera.

B)Dilatación:adicióndepíxelesdefrontera.

C)Combinaciones(opening,closing,...)

Obje7vo:conectarelementos,eliminarruidosumbralizaciones.

25

5. SW. Extracción de características

– Bordes•  FiltradosdeFrecuencia•  Líneas•  Formassencillas,Hough,Canny

– Esquinas– Blobsuobjetos– Texturas– Color

26

Proceso por el cual aislamos, mediante diversos métodos, zonas de la imagen que tengan similares características

�  Características generales �  Color �  Textura �  Forma

�  Características particulares �  Características que son específicas del objeto o zona a segmentar:

�  Una cara tiene ojos nariz y boca �  Un coche tiene objetos redondos y negros llamados ruedas

5. SW. Segmentación

27

5. SW. Clasificación

•  Pertenencia•  SVM•  learning

28

Image preprocessing Features extraction

Segmentation

Classification

-  Restoration -  Enhancement -  Mapping -  Noise reduction -  Normalization

-  Color -  Texture -  Binary blobs -  Shape -  Dictionary based

(bag of visual words)

-  Region -  Borders -  Classifiers -  Active contorurs -  Guided filtering

-  Statistical analysis -  Machine learning -  Meta-classifiers -  Distance based

metrics

5. SW: Esquema futuro

DEEP LEARNING

29

EntornosdeprogramaciónindustrialLabview

LabWindows3000€VisualStudio(C#,C++)

Smartindustrialcameras&compactcomputervisionsystems

Entornosdeprogramación

Proto4padorápido/inves4gación

PythonMatlab

Libreríasindustriales

Halcon3000€NiVisionSherlock

CommonVisionBlox

Libreríascien;ficasScikitLearn/Image

Opencv(portsapythonc#...)PclCimg

Herramientasparavisiónar4ficial

CopyrightTecnalia,2015

30

Visión Artificial Convencional

Iluminación clave Adquisición a medida Procesamiento eficaz

Aplicaciones §  Control superficial §  Automatización §  Trazabilidad §  Posicionamiento §  Interacción §  3D Pick &Place §  Localización Indoor

6. Aplicaciones

31

Sistema de Visión para la detección y control de la marca de posición de los envases. Los tres sistemas instalados en diferentes plantas aseguran al 100% el correcto marcado de los envases.

Control automático de envases tubulares

El sistema realiza la lectura de los caudales de ensayo mediante el reconocimiento automático de los dígitos y agujas del contador. Dichos valores son grabados en una memoria inductiva. Las cuatro líneas de inspección constan de:

•  Pórtico motorizado. •  Sistema de visión. •  Sistema de lectura y grabación inductiva •  Armario de control.

Sistema de verificación automática de Contadores

32

Sistema de Visión Artificial para la inspección automática de agujas de rodamiento. El equipo permite detectar fallos dimensionales, mal rectificado y muescas y poros de las agujas.

Control de calidad de agujas de rodamiento por visión artificial

n  Verificación del montaje del anillo retenedor de rodamiento en el palier del automóvil:

!  control de presencia !  control de expansión

n  Integración del sistema en la máquina de montaje sin afectar al tiempo de ciclo, controlando el 100% de la producción.

Verificación del montaje de elementos de seguridad

33

Verificación del correcto llenado de las cubetas: Horizontalidad. Nivel de llenado. Ausencia de masa sobrante.

Control automático de negativo en acumuladores

El sistema realiza la inspección del acabado de vasos de plástico apilados, verificando el borde y su correcto doblado y apariencia estética.

Control de calidad de vasos de plástico

34

INSPECCION SUPERFICIAL DE DEFECTOS DE LAMINACION

Inspección superficial de defectos en el tren de laminación.

•  cámara lineal (1D). •  tipología de defectos compleja •  entorno agresivo.

CONTROL DIMENSIONAL DE CASQUILLOS DE AUTOMOCION

Verificación y trazabilidad de la producción mediante la incorporación de visión artificial en la medida y calculo de diversos parámetros dimensionales, grado de concentricidad, espesor y diámetros.

35

Análisisdetexturasdeespumasde

poliuretanoIluminaciónDarkfieldEstadís7cosdetextura

© ROBOTIKER CopyrightTecnalia,2015

36

Visión artificial “especialista”

Iluminación directa especial Filtrado óptico Adquisición Protección / limpieza Procesamiento “inteligente” Trazabilidad completa

Aplicaciones §  Calidad superficial §  Medida sencilla §  Presencia / ausencia

37

38

Visión 3D

Triangulación óptica láser Estereo Vision

Aplicaciones §  Medida 3D §  posicionamiento

Triangulación Óptica On-line

Estéreo Visión activa Robotizada

39

HOT3D

Some Key projects:

Medida 3D de perfil estructural en caliente a 7 m/s basado en escáner laser

•  4 bloques sensores proporcionan todo un perfil completo.

•  Control dimensional online basado en algoritmos inteligentes

40

Visión Térmica - termográfica

Tratamiento de imagen térmica como imagen convencional

Aplicaciones §  Control Térmico avanzado §  Controles adicionales sobre imagen

térmica

Control termográfico por Visión Artificial Software a medida

41

Visión multibanda / hiperespectral

Información de color objetiva y exhaustiva

Aplicaciones §  Caracterización de elementos

químicos §  Detección de estado de proceso §  Valorización de residuos §  Separación de mezclas

Separación y valorización de materiales por Visión artificial “especial”

42

•  Visión artificial funcionando en las plantas •  Los sistemas de V.A. consiguen:

•  Reducir y/o evitar rechazos de calidad •  No procesando operaciones de valor añadido a material defectuoso •  Mantenimiento preventivo: algunos defectos advierten de posibles

averías costosas e indeterminadas •  Interdisciplinar:

•  co-creación como una clave para las mejores soluciones •  La colaboración con los agentes clave del mercado permiten un

buen diseño y servicio •  La flexibilidad del diseño y la solución favorecen la instalacion del

sistema

7. Conclusiones

TECNALIA FUNDACIÓN TECNALIA RESEARCH & INNOVATION Parque Científico y Tecnológico de Bizkaia C/ Geldo, Edificio 700 E-48160 Derio-Bizkaia (Spain) T 902 760 000 T +34 946 430 850 (International calls) www.tecnalia.com http://www.computervisionbytecnalia.com División: Industria y Transporte Área de Negocio: Máquinas Especiales Contacto Técnico: José Angel. Gutiérrez Olabarria Correo electrónico: [email protected]

Business

SPRI. Visión Artificial y su aplicación industrial