Tema vision artificial

Visión Artificial

MSc. Edgar Taya AcostaUniversidad Nacional Jorge Basadre

Grohmann

1

2

• Introducción a los Sistemas de Visión Artificial (SVA)

• Aspectos generales sobre imágenes

• Etapas de los SVA

• Elementos de un SVA

• Clases fundamentales de procesado de imágenes

• Algoritmos y aplicaciones sobre imágenes digitales

Panorámica de la Visión Artificial

3

Introducción a los SVA: Objetivo

• Imagen o una secuencia de imágenes extraer e interpretar de manera automática la información del mundo real 3D.

- Escena de tráfico

- Número de vehículos

- Clases de vehículos

- Localización de obstáculos

- Interpretación de la escena

4


Introducción a los SVA:

¿Por qué un SVA?

• “Una imagen tiene más información que mil palabras”

• Muchos sistemas biológicos dependen de su sistema

de visión (inspiración biológica)

• En la actualidad, los ordenadores, cámaras y otros

dispositivos son baratos y sus prestaciones aumentan

• El “mundo real” es 3D y dinámico

5


Introducción a los SVA: Visión Activa• En ocasiones, los sensores y su entorno se pueden modificar de manera activa en un SVA (sistemas activos). • Se trata de controlar la óptica y la estructura soporte de las cámaras para simplificar el problema de Visión Artificial a resolver.• Características de un sistema activo:

-modo continuo, -filtrado de la información, -tiempo real (tiempo de respuesta limitado),-control del proceso (regiones de interés), …

6



Aspectos de Interés para un SVA:• ¿Cuál es la información relevante a extraer de la escena para el problema a resolver?• ¿Cómo se puede extraer dicha información?• ¿Cuál es la forma más apropiada de representar la información extraída? • ¿Cómo se puede usar dicha información para resolver el problema de VA planteado?

7



La Visión Artificial es un área multidisciplinar, relacionada con: • Tratamiento de imágenes• Reconocimiento de patrones• Fotogrametría• Gráficos por ordenador• Inteligencia artificial• Geometría proyectiva• Teoría de control• ….

8


Física de la imagen: ¿Cómo se forman las imágenes?

* Cámaras (sensores): - ¿Cómo funciona una cámara?- ¿Cómo posicionar la/s cámara/s en un SVA?

* Luz:- ¿Cómo medir la cantidad de energía luminosa?- ¿Cómo interactúa la luz con la superficie de los objetos?- ¿Cómo se calculan los valores de brillo de los píxeles?

* Color:- ¿Cuáles son los mecanismos físicos del color?- ¿Cómo representar y medir el color?

9

• Teorías antiguas: “luz emitida por el ojo”,...• Teoría corpuscular (Newton, 1669): explica fenómenos como la reflexión y la refracción• Teoría ondulatoria (Huygens, 1690): explica fenómenos de difracción e interferencia luminosa• Posteriores trabajos de Young y Fresnel (s. XIX), relacionados con la teoría ondulatoria• Teoría electromagnética (Maxwell, s. XIX): teórico del modelo ondulatorio, establece relaciones entre luz y electromagnetismo. Cada tipo de radiación electromagnética se caracteriza por su longitud de onda ( = c/).

Panorámica de la Visión ArtificialAspectos generales sobre imágenes: la luz

10

• Teoría cuántica (Planck, 1900): la radiación electromagnética emitida no se realizaba en forma continua sino en “cuantos de energía” o fotones de valor E = h. • Efecto fotoeléctrico (Einstein, 1905): “un haz de luz que incide sobre una superficie metálica limpia hace que emita electrones”. Se explica mediante la teoría cuántica.• Teoría onda-corpúsculo (de Broglie-Bohr, 1925): la luz tiene a la vez naturaleza ondulatoria (teoría electromagnética) y corpuscular (teoría cuántica). Ambas son manifestaciones diferentes de un mismo fenómeno: el luminoso.


Aspectos generales sobre imágenes: la luz

11

• Una parte pequeña del espectro electromagnético es la zona visible (luz visible)• Comprende longitudes de onda aproximadamente desde los 400 hasta los 700 nm



12

• La reflexión se produce cuando las ondas (luz, sonido,..) inciden sobre una superficie de separación entre dos medios, sin pasar de uno a otro.• Se presenta en un límite entre dos medios diferentes como una superficie aire-vidrio, en cuyo caso parte de la energía incidente se refleja y parte se absorbe.• El ángulo entre rayo incidente y la normal es el ángulo de incidencia, que por la Ley de la Reflexión es el mismo que el reflejado (reflexión especular).



13

• La refracción se produce cuando la luz incide sobre una superficie límite de separación entre dos medios, atravesando de uno a otro • La parte transmitida se desvía un cierto ángulo de refracción• El índice de refracción (n) de un material:



mm v

cn

14

• Otro fenómeno a destacar es la dispersión (Newton)• Descomposición de la luz en sus componentes monocromáticos al penetrar en un medio, como consecuencia de la variación del índice de refracción del medio, que desvía las distintas componentes de la luz según sus respectivas longitudes de onda.• Así cuando luz blanca penetra en un prisma, este descompone el haz en sus colores básicos constituyentes.



15

Aspectos generales sobre imágenes: Sistema Visual Humano


16


Ilusiones ópticas:

17


Aspectos generales sobre imágenes: Sistema Visual Humano

18

• La luz visible es absorbida (enfocada) por el cristalino, que actúa como lente, y se proyecta en la retina.• La retina está compuesta por 2 tipos de células fotosensibles:

• Conos: responsables del color • Bastones: responsables de la percepción de la intensidad (concentrados en el exterior)

• En general un humano posee del orden de 120 millones de bastones y 6 millones de conos


Aspectos generales sobre imágenes: el Sistema Visual Humano

19

• Un típico ojo humano mide unos 24 mm desde la córnea hasta la retina• Un ojo puede desviarse de su medida “ideal” siendo su sistema de enfoque normal, en tal caso:

• Si el ojo es más largo: ojo miope• Si es más corto: ojo hipermétrope

• Si el ojo no posee una buena simetría de revolución respecto al eje óptico hablamos del astigmatismo• Las cataratas es una opacidad del cristalino que impide la llegada de luz a la retina


Aspectos generales sobre imágenes: el Sistema Visual Humano

20

• Las imágenes se forman cuando un sensor (p.ej. cámara) registra la cantidad de radiación luminosa que ha interaccionado con los objetos físicos de la escena.• Una imagen digital es una función bidimensional discreta f(x,y) que asocia a cada punto o píxel (x, y) un valor de brillo.•El valor f(x,y), podría representar un valor de distancia u otra cantidad física.• El tratamiento digital de imágenes consiste en destacar las características de interés en imágenes (y atenuar el detalle irrelevante) para conseguir de éstas información útil


Aspectos generales sobre imágenes digitales

21

• Parámetros ópticos: caracterizan al sensor

- tipo de lente, distancia focal, campo de visión, grado de apertura angular, ...

• Parámetros fotométricos: caracterizan la luz reflejada por el objeto

-características de la iluminación (tipo, intensidad, dirección), propiedades de reflectancia del objeto visto, ...

• Parámetros geométricos: caracterizan la proyección del objeto en el sensor

- tipo de proyección, posición y orientación del (de los) sensor(es), distorsiones debidas a la perspectiva, …

Panorámica de la Visión ArtificialAspectos generales sobre imágenes:

Parámetros físicos involucrados

22

• Imágenes fotográficas: luz reflejada • Imágenes de rango: distancias • Imágenes de tomografía: densidad de tejidos • Imágenes infrarrojas: temperatura

Trabajaremos principalmente con imágenes fotográficas (tanto en niveles de gris y como en color)


Aspectos generales sobre imágenes:

Tipos de imágenes

23


Aspectos generales sobre imágenes: Tipos de imágenes

256 colores/canal3 canales (RGB)

24 bpp = 8 bpp/canal

256 colores/canal1 canal (gris)

8 bpp

2 colores/canal1 canal (gris)

1 bpp

24


Aspectos generales sobre imágenes: Tipos de imágenes

Escala de grises256 colores/canal

Valores: {0,1,2,...,255}[0,255] [0,1]

Monocromática2 colores/canal

Valores: {0,255}{0,255} {0,1}

25


Aspectos generales sobre imágenes: Representación de las imágenes

xy

26

Panorámica de la Visión ArtificialAspectos generales sobre imágenes: Reconstrucción 3D

• Las formas 3D se pueden obtener a partir de:– visión estereroscópica (múltiples imágenes 2D)– movimiento (secuencias de vídeo)– variaciones de intensidad, textura, enfoque, …

• Estrategia de la Visión Estereoscópica:– Obtener distintas medidas del mismo objeto (o región)

de la imagen• Aspectos a considerar:

– Correspondencia: ¿qué píxeles en las diferentes imágenes son proyecciones del mismo punto 3D?

– Representación: ¿cómo describir el objeto 3D?– Ruido: ¿cómo minimizar su influencia?

27


Sistemas de Visión Artificial: Definición

• Es el análogo artificial de la visión humana

28


Sistemas de Visión Artificial: Etapas

• Las etapas en un SVA son:• Adquisición de la imagen• Preproceso• Segmentación•Representación y descripción (extracción de características)• Reconocimiento e interpretación

29



• El preproceso es la mejora de la calidad de una imagen para usarse en etapas posteriores: p. ej. aumento de contraste

30



31



• Segmentación: División de una imagen en regiones homogéneas que se corresponden con los objetos contenidos en ella

32



• Extracción de características: Obtención de medidas de características de los objetos segmentados.

• Color• Textura• Forma (área, perímetro, número de agujeros, ...)

• Características invariantes a transformaciones geométricas.• Obtención de vectores de características normalizados.

33


Ejemplos de texturas:

34



Ejes mayor y menor

PerímetroÁrea

Bounding box

35


Reconocimiento: Consiste en clasificar los objetos de la escena a partir de características extraídas. Los objetos vienen descritos mediante vectores de características.

Nú

me

r o d

e a

gu

jero

s

De svia c ió n típ ic a d e l ra d io d e la fig ura

0.1 0.2 0.3 0.4 0.5

0

1

To rn illo s

Tue rc a s

Ara nd e la s


36



Escena 3D

Modelos / HipótesisAplicaciones

Imagen(es) Bordes / Regiones / Profundidad

Superficies / Características

37


Ejemplos de reconocimiento (tras segmentar):

Interpretación de imágenes: Un paso más allá

38


Elementos de un SVA: Sensores

• Cámaras analógicas + tarjetas digitalizadoras• Cámaras CCD• Cámaras de infrarrojos• Escáneres 2D y 3D• Cámaras digitales de fotografía

39

Panorámica de la Visión ArtificialElementos de un SVA: relación entre dispositivos

40


Cámaras: modelo “pinhole”

• Se trata de un modelo abstracto de cámara (caja que contiene un agujero pequeño en ella)

• Modelo sencillo que funciona en la práctica

41


Cámaras: modelo “pinhole” Los objetos distantes son más pequeños

42


Cámaras: ecuación de proyección

En coordenadas cartesianas, por semejanza de triángulos e ignorando la tercera componente se obtiene:

(x,y, z) ( fxz

, fyz)

43


Cámaras: parámetros y calibración

- Dos tipos de parámetros: 1. Extrínsecos: (posición de la cámara con respecto

al origen de referencia del S.V.A.2. Intrínsecos: son los parámetros internos de la

cámara, como la distancia focal, el ratio de aspecto, los ángulos entre ejes, etc.

- Calibración: obtener los parámetros de la cámara minimizando el error (por ejemplo, mediante mínimos cuadrados)

- Estrategia general de calibración:1) Utilizar un objeto (plantilla de calibración)2) Identificar ciertos puntos de la imagen3) Obtener la matriz de calibración de la cámara minimizando el error4) Obtener los parámetros intrínsecos a partir de la matriz de

calibración

44


Elementos de un SVA: Cámaras de visión• Capturan la imagen proyectada en el sensor y la transmiten al computador que la almacena, analiza y/o visualiza.• Sensores CCD y CMOS. • Estándar de vídeo analógico: Europa y USA

• CCIR y PAL: 625 líneas entrelazadas, 25 cuadros/seg (50 campos/seg)• RS-170 y NTSC: 525 líneas entrelazadas, 30 cuadros/seg (60 campos/seg)

• Características cámaras visión artificial: obturación, integración, captura asíncrona, sincronización.• Tipos cámaras: analógicas y digitales, alta velocidad, alta definición, cámaras lineales, lineales color, cámaras inteligentes, cámaras infrarrojas térmicas, ...

45


Elementos de un SVA: Escáner 3D

• Un escáner 3D dispone de un elemento activo que recorre el objeto a escanear tomando medidas de las posiciones de los puntos por los que pasa. •Se pueden distinguir los digitalizadores táctiles y los láser. •El digitalizador 3D láser no tiene contacto con el objeto durante el muestreo. Utiliza un método conocido como tiempo de vuelo para obtener puntos de la superficie del objeto, y genera una nube de puntos regular de su superficie.

46


Elementos de un SVA: Problemas con la captura de imágenes

• La captura de imágenes no está exenta de problemas:

imagen óptica señal eléctrica continua señal digital

• El más típico es el ruido que es información no deseada que contamina la imagen.• Existen fundamentalmente 2 tipos de ruido:

• Ruido gausiano : produce pequeñas variaciones en la imagen

• Ruido impulsional (o Salt and Pepper) : el valor del píxel no tiene relación con el valor ideal sino con el valor de ruido que toma valores muy altos o bajos

47


Elementos de un SVA: Problemas con la captura de imágenes

Ruido Impulsivo Ruido Gaussiano

48


Clases fundamentales de procesado de imágenes

• Podemos distinguir:• Realzado• Restauración• Compresión• Síntesis • Análisis

49



• Realzado: mejora de la calidad de una imagen como preproceso de tratamientos posteriores

50


Clases fundamentales de procesado de imágenes• Restauración:

- mejora de imágenes degradadas: g(x,y) = H [f(x,y)] + η(x,y)

- Soluciones: filtrado inverso, aproximación algebraica, …

51



• Compresión: reducción de la cantidad de memoria para representar una imagen

52


Clases fundamentales de procesado de imágenes• Síntesis:

- crear imágenes de objetos o escenas a partir de imágenes o primitivas geométricas básicas

- objetivo de la Informática Gráfica (Computer Graphics)

53



• Análisis: extracción de información relevante de una imagen

54

• Se pueden utilizar diferentes niveles de cómputo• Nivel punto• Nivel local• Nivel global• Nivel objeto


Algoritmos y aplicaciones sobre imágenes digitales

55

• Algunas operaciones que hacemos sobre imágenes producen una salida basándose en los píxeles de la misma: Nivel punto• Un ejemplo claro es la umbralización



fA(x,y) fB(x,y)

(x,y) (x,y)

56

• Una operación a nivel local produce una salida en la que la intensidad de un punto depende de la vecindad del correspondiente punto en la imagen de entrada• Ejemplos pueden ser los filtros espaciales para detección de bordes, reducción de ruido,...



fA(x,y)fB(x,y)

(x,y)

57

• Existen ciertos operadores cuya salida depende de toda la imagen de entrada• El histograma o ciertas transformaciones son ejemplos de operaciones de nivel global



fA(x,y) fB(x,y)

(x,y)

58

• Muchas aplicaciones de Visión Artificial requieren realizar operaciones, que permitan extraer características a nivel de objeto• P. ej. tamaño, forma, media de intensidad,… deben ser calculados por un SVA para llegar a reconocerlo• Otro ejemplo de operación a nivel de objeto es el análisis de su movimiento. Seguimiento de un móvil en una secuencia de fotogramas es más sencillo si se analizan sólo las zonas de movimiento



59


Sistemas de Visión Artificial: Aplicaciones

• Sistemas de inspección visual automática• Aplicaciones médicas• Reconocimiento biométrico • Análisis de terrenos (remote sensing images)• Robótica• Videovigilancia /Aplicaciones militares• Recuperación de imágenes por contenido (CBIR)• Domótica• …

60

• Algunas librerías y herramientas SW:• Entorno de programación MATLAB para trabajar con matrices de forma sencilla: Image Processing Toolbox• Entornos dispositivos (Matrox MIL, Logitech SDK,…)• Entorno de programación visual Khoros mediante uso de módulos o toolboxes específicas• OpenCV, AVIFile, DirectShow, WMF (DXVA2.0),…• OpenGL• Programas de usuario: PhotoShop, Paint Shop Pro, Gimp, Xv, ...


Herramientas SW: imágenes digitales y vídeo

61

• Imagen cabecera + mapa de bits • Formatos:

• Imágenes:

TIFF, GIF, BMP, JPEG, RAW (sin formato)...• Secuencias de imágenes (vídeos):

MPEG, AVI, ...


Ficheros de imágenes (Graphical File Formats)

Documents

Tema vision artificial