Embed Size (px)
Citation preview
http://sg.com.mx/dataday #datadaymx
Procuración de justicia con análisis de datos. Ni Big Brother ni Minority Report
M. en C. Rodrigo F. Alonso Pinzó[email protected]
Directo al grano… Para procurar justicia necesitamos saber:
¿Con qué?¿Por qué?
¿Quién?¿Cuánto?
¿Cómo?
¿Cuándo?
¿A quiénes?
¿Con quiénes?
¿Dónde?
Pfff… Ok ok… ¿Qué tenemos?
HuellasNarraciones
CantidadesLlamadas
Direcciones
Nombres
Armas
Imágenes
LugaresFechas
Coordenadas
Vehículos
Y ¿Cómo los tenemos?
En grandes volúmenesNo estructurados
Sin formato
Dispersos
Perdidos
DuplicadosIncompletos
Semi estructurados
Ocultos
Nice…
El reto: Datos
Información
Conocimiento
Inteligencia
yeah! ;)
Dat
os
Para lo cual necesitamos:
Datos
Dat
os
Acc
eder
Para lo cual necesitamos:
Acceder
Dat
os
Acc
eder
Tran
sfo
rmar
Para lo cual necesitamos:
Transformar
Dat
os
Acc
eder
Tran
sfo
rmar
Fusi
on
arFusionar
Para lo cual necesitamos:
Dat
os
Acc
eder
Tran
sfo
rmar
Fusi
on
ar
Rel
acio
nar
Relacionar
Para lo cual necesitamos:
Dat
os
Acc
eder
Tran
sfo
rmar
Fusi
on
ar
Rel
acio
nar
An
aliz
ar
Analizar
Para lo cual necesitamos:
Dat
os
Acc
eder
Tran
sfo
rmar
Fusi
on
ar
Rel
acio
nar
An
aliz
ar
Inte
ligen
cia
Acc
ion
able
Inteligencia accionable
Para lo cual necesitamos:
Dat
os
Acc
eder
Tran
sfo
rmar
Fusi
on
ar
Rel
acio
nar
An
aliz
ar
Inte
ligen
cia
Acc
ion
able
yeah! ;)
Para lo cual necesitamos:
Dat
os
Acc
eder
Tran
sfo
rmar
Fusi
on
ar
Rel
acio
nar
An
aliz
ar
Inte
ligen
cia
Acc
ion
able
Arranquemos desde aquí…
yeah?
Ok. Entonces ya tenemos información estructurada:
Ok. Entonces ya tenemos información estructurada:
W T F!
Ataquemos ¿Quién es Quién?
Nombre F. Nac. C.P. Profesión Score Max
10 30 20 10 70
Algunos Campos
Pesos con base en probabilidad
Score > 5030 < Score < 50Score < 30
Son la mismaPuede serNo es la misma
Aja… ¿y luego?Nombre F. Nac. C.P. Profesión
A Ma. Antonieta 28-08-1981 03300 Odontologo
B María Antoineta 03-04-1976 14260 Odontologo
C María Antoniet 28-08-1981 03300 Doctor
A y C son el mismo. B es diferente
Nombre F. Nac. C.P. Profesión
A vs B 10 0 0 10
A vs C 10 30 20 0
B vs C 10 0 20 0
Puntuación
20
60
30
Otro reto: ¿Quién se menciona en una narración como esta?
Joaquín Guzmán Loera alias “El Chapo Guzmán” amenazó verbalmente al quejoso e instruyó a su lugarteniente, al que se le conoce como “El cholo”, para que llevara a cabo el levantón.
Necesitamos extraer las entidades para después relacionarlas
Joaquín Guzmán Loera alias “El Chapo Guzmán” amenazó verbalmente al quejoso e instruyó a su lugarteniente, al que se le conoce como “El cholo”, para que llevara a cabo el levantón.
Mencionemos tres herramientas:
● Diccionarios○ Comparo palabras contra un diccionario de nombres
● Expresiones regulares○ Aumento la precisión usando patrones conocidos
● Machine learning○ Analítica predictiva supervisada
Extracción de entidades con machine learning
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborumLorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco b nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborumLorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint b non proident, sunt in culpa qui officia deserunt mollit anim id est laborum
Texto 1 Texto 2 Texto N
Entrenamos un algoritmo, indicando qué fragmentos con por ejemplo: Nombres
El algoritmo es capaz de identificar estos nombres con una precisión superior al promedio del ser humano
Identificar y clasificar por temas...
El empleado obró mal y fue liquidado sin dolor
El jefe de la banda ordenó su liquidación sin dolor por ser su hermano
Cuando tenemos grandes volúmenes es necesario saber dónde buscar...
Identificar y clasificar por temas...
El empleado obró mal y fue liquidado sin dolor
El jefe de la banda ordenó su liquidación sin dolor por ser su hermano
Identificamos los términos contra taxonomías…
Identificar y clasificar por temas...El empleado obró mal y fue liquidado sin dolor
El jefe de la banda ordenó su liquidación sin dolor por ser su hermano
Empleado LaboralEmpresa
Jefe CrimenLaboral
Obrar MédicoLaboral
Banda MúsicaCrimen
Liquidación LaboralCrimen
Liquidación LaboralCrimen
Dolor Médico Hermano Familia
¿Quién se relaciona con quién?
Llama Recibe Hora
Tel_1 Tel_2 14:15
Tel_2 Tel_3 14:05
Tel_1 Tel_4 14:30
Tel_5 Tel_2 14:37
Tel_4 Tel_5 14:35
El dueño del teléfono 4 dice no conocer al dueño del teléfono 2…
¿Quién se relaciona con quién?
Llama Recibe Hora
Tel_1 Tel_2 14:15
Tel_2 Tel_3 14:05
Tel_1 Tel_4 14:30
Tel_5 Tel_2 14:37
Tel_4 Tel_5 14:35
El dueño del teléfono 4 dice no conocer al dueño del teléfono 2…
Esto se complica...
Esto se complica...
