SDK Kinect v2

Interfaz natural de usuario(NUI)

Interacción no basada en comando o dispositivos de GUI

Ejemplos

Reconocimiento de gestos

Reconocimiento de voz

Seguimiento de mirada

Pantallas táctiles

BCI

¿Que es kinect?

• Kinect es el dispositivo de captura de movimiento creado por Alex

Kipman y distribuido por Microsoft para el Xbox y Windows.

Kinect for Windows – Version 2Kinect for Windows – Version 1

Kinect for Windows v1

Kinect for Windows v2

Kinect for Windows v2

Kinect vs Kinect v2Otras caracteristicas novedosas del Kinectv2 son:

• Mejora al sistema de Skeletal Tracking.

• Sistema nativo de reconocimiento de expresiones y gestos por manos.

• Mejoras en el proceso de reconocimiento de voz.

• Soporte de múltiples aplicaciones simultaneas.

• Soporte dedicado a Unity 3D.

Kinect vs Kinect v2

¿Como captura Kinect?

Point cloud

La señal capturada por el sensor infrarrojo se conoce como Point cloud o mapa de voxels y es una imagen 3D de la zona en una escala de grises.

Identificación

Kinect viene equipado con un sistema de reconocimiento de bípedos(BodyIndex).Este sistema evalúa varios factores como el movimiento de brazos ,el rango de altura, posición de la cabeza etc. Una vez identificado el cuerpo, el programa crea un objeto virtual independiente de la imagen.

255

0 1

El esqueletoKinect está precargado con una base de datos de 200 poses,con la cuales compara el objeto creado y dibuja un esqueleto compuesto de 20 nodos.

Paralelamente una herramienta de audio llamada ‘Beam Forming’ simula una esfera de sonido que envuelve de el objeto capturado con la finalidad de optimizar el sistema de reconocimiento de voz.

Tipos de datos que maneja Kinect

• Datos de calibración: almacena los datos jerárquicos ajustados a una forma preestablecida (bípedo,facial).

• Raw Data: almacena los datos de movimiento de cada nodo en las componentes X,Y y Z.

• Apertura o cierre de la mano(Kinect v2).

• Captura de audio.

Estos tipos de datos pueden ser almacenados en un archivo con la extensión .bvh que es desarrollado por Biovision y utilizado por diversas plataformas(Autodesk,Blender,etc...).

Nuevas especificaciones del SDK v2

Disponible Visual Gesture Builder.

Disponible Kinect Studio.

Disponible Kinect Fusion Tools.

Posibilidad de publicar aplicaciones en Windows Store.

Visual Gesture Builder• Actividad:cerrar los ojos,abrir la boca,posicion de la mirada

• Apariencia:gafas,gorras…

• Expresión: exaltación, cansancio…

Kinect Studio

Kinect Fusion Tools

Herramienta de escaneo 3D para animación

HDface:Puntos(1347), Poligonos(2340), color de pelo, color de piel

System / Software Requirements

OS Windows 8, 8.1, Embedded 8, Embedded 8.

1 (x64)

CPU Intel Core i7 3.1GHz (or higher)

RAM 4GB (or more)

GPU DirectX 11 supported

USB USB 3.0 (Intel or Renesas Host Controller)

Compiler Visual Studio 2012, 2013 (Supported Express)

Language Native (C++), Managed (C#,VB.NET), WinRT (C#,

HTML)

Other Unity Pro (Add-in), Cinder, openFrameworks(wrapper)

Que falta?Teniendo en cuenta el video de la demostración, existen un par de características que no están incluidas:

• No modelo gráfico de reconocimiento de fuerzas

• No hay aproximación de la frecuencia cardíaca basado en gestos faciales.

conexión

Kinect for Windows v1 Kinect for Windows v2

PCPC

Conexión en múltiples sensores

Procesamiento

Flujo básico de programación (C ++)

Sensor Stream Frame Data

Sensor Source Reader Frame Data

Kinect for Windows SDK v1

Kinect for Windows SDK v2

Encapsulamiento de codigo en modulos Modulos independientes(ColorSource, DepthSource, InfraredSource, BodyIndexSource, BodySource, …)

Abstraccion para generar independencia entre Modulos y datos(adquisición directa de datos)

Body Snap

Herramienta de full body scanportable que utiliza Microsoft Kincet v2

Recovery Rapids

Un juego de rehabilitación para hemiparesia desarrollado en la Universidad Estatal de Ohio por un equipo dirigido por el Dr. Lynne Gauthier.