Pág
ina1
ARMAS BASADAS EN IA: ALGUNAS
CUESTIONES ÉTICAS
Por María Vanina Martínez y Ricardo Oscar Rodríguez
i
Departamento de Computación. FCEyN-UBA Instituto de Ciencias de la Computación. UBA-CONICET
1. INTRODUCCIÓN La Inteligencia Artificial (IA) es una tecnología de propósito general. En tal sentido puede
equipararse a muchos otros desarrollos disruptivos que ha producido la humanidad tales como: el
dominio del fuego, la rueda, la máquina de vapor, la electricidad, las computadoras, la internet,
etc. Hoy día, su capacidad disruptiva compite con la Nanotecnología, la Genética Molecular y hasta
la Química Fina. En particular con la segunda, comparte mucho de los desafíos éticos que
plantean.
Como indica el informe de Stanford (https://ai100.stanford.edu/2016-report): “Las
representaciones aterradoras y futuristas de la Inteligencia Artificial que dominan las películas y
las novelas, y que dan forma al imaginario popular, son ficticias. En realidad, la IA ya está
cambiando nuestra vida diaria, casi por completo en formas que mejoran la salud humana, la
seguridad y la productividad". Pero no todos los usos de la IA son beneficiosos. Algunos sistemas
basados en IA, manifiestan comportamientos no deseados: son opaco, tienen sesgos, son falibles,
etc.
En otro orden, el debate en La Haya (http://www.ecai2016.org/program/ai-and-human-values/)
concluyó citando al principal experto en Aprendizaje Automático Pedro Domingos: "las
computadoras son realmente tontas y han tomado el control del mundo. El mundo ya no puede
funcionar sin computadoras. Lo mejor sería que fueran más inteligentes.”
En resumen, no sólo necesitamos que esta tecnología mejore sustancialmente su potencia
intelectual, sino también que reduzca sus aspectos indeseables. Esto se vuelve fundamental en
sistemas de IA que trabajan en forma cooperativa o autónoma. Y se transforma en crítico, para las
armas basadas en IA.
Pág
ina2
En estas líneas no buscamos detectar peligros donde no los hay y evaluar los riesgos en exceso.
Sino establecer ciertos parámetros de análisis de la situación que puedan irse adaptando a medida
que los avances tecnológicos se vayan produciendo. El enfoque que debería practicarse es uno
basado en la ingeniería de seguridad, donde se consideren de ante mano todas (de manera
exhaustiva dentro de lo que es posible) las situaciones que pueden producir consecuencias no
deseadas, en lugar de actuar una vez que los sistemas fallen o no se comporten como esperamos.
En tal sentido trataremos de plantear situaciones que consideramos alcanzables en el corto y
mediano plazo, esto es antes que se alcance el punto de singularidad. Eso nos evitará tener que
discutir acerca planteos futuristas como el del hipotético dictado inmortal de Elon Musk.
El resto de este documento estará organizado de la siguiente manera. En la sección siguiente
plantearemos ciertos conceptos relevantes a la cuestión de fondo y describiremos algunos
problemas/desafíos que se plantean al incorporar la IA en armamento. En la tercera sección
discutiremos algunas posibles soluciones y en la últimas algunas conclusiones.
2. CONCEPTOS BÁSICOS Y PROBLEMÁTICA Un concepto central en el debate de IA y armamentismo es el de “autonomía”. De acuerdo con la
IEEE (acrónimo en inglés para Instituto de Ingeniería Eléctrica y Electrónica) un sistema autónomo
se define, en términos de ingeniería, como «un sistema que realiza sin supervisión, parcial o total,
una función que era previamente llevada a cabo, por un operador humano». Ese contexto del
control automático de ciertas funciones o tareas no sólo tiene impacto en la industria con sus
claras repercusiones en la eliminación de puestos de trabajo (desempleo tecnológico), sino
también en el ámbito militar. No es una novedad que, a lo largo de la historia, los militares han
intentado crear armamento autónomo. Pero en la actualidad, los vínculos de las fuerzas armadas
con la IA son cada vez más estrechos, dado que estas tecnologías pueden revolucionar la
seguridad nacional, mejorando las estrategias y la capacidad militar de los países. Tanto es así que
muchas revistas especializadas ya hablan de una nueva carrera armamentista.
En la actualidad ya existen aviones sin tripulación utilizados para misiones espías y para los
llamados bombardeos quirúrgicos comandados parcialmente a distancia. Mayor autonomía es
alcanzada por los drones que cubren tareas militares tanto de inteligencia como de ataque. Los
Submarinos de exploración son otro ejemplo de sistemas completamente autónomos en este caso
para alcanzar profundidades imposibles para vehículos tripulados. Finalmente existen un conjunto
de robots terrestres que van desde cuadrúpedos a vehículos con orugas o ruedas de muy
diferentes tamaños. Es importante señalar que los sistemas de IA no son en sí mismo un arma,
sino un facilitador, como la electricidad o un motor de combustión. Ellos le proveen a las armar
una dimensión que potencia su capacidad operativa.
Otro concepto importante es el de Aprendizaje Automático y Aprendizaje Profundo.
Esencialmente es una técnica de IA que permiten interpretar una gran cantidad de datos (del
Pág
ina3
orden de cientos de miles y hasta millones). Gracias al extensivo uso de las computadoras, nuestra
capacidad de recopilar y almacenar datos ha crecido exponencialmente. Estos algoritmos utilizan
esa enorme cantidad de datos para generar sistemas para realizar tareas. Por ejemplo, muchos de
los sistemas anti-spam de correos fueron generados a partir de analizar cientos de miles de
ejemplos y construir un patrón que le permita identificar un mensaje no deseado o malicioso. Algo
parecido sucede con los sistemas de reconocimiento de objetos en imágenes satelitales. En
términos generales estos algoritmos extrapolan patrones de la jungla de situaciones analizadas
que le permite tomar decisiones en situaciones con las que
no se había enfrentado. Justamente dado que la materia
prima de estos algoritmos es esencialmente los ejemplos
que les damos, debemos ser cuidadosos en la elección de los
mismo. Si estos presentan algún sesgo, entonces el patrón
generado también lo tendrá. Por ejemplo, si el algoritmo de
Aprendizaje Profundo es utilizado para generar su sistema
de otorgamiento de préstamos bancarios y todos los
ejemplos para entrenarlo son de créditos otorgados a
hombres y de créditos rechazados a mujeres, entonces
seguramente ante una solicitud realizada por una mujer, el
sistema recomendará su rechazo, porque ello estaba
implícito en los ejemplos que le ofrecimos para generar el
patrón. Por supuesto que este ejemplo está muy
simplificado para que se entienda la idea, pero la realidad es
mucho más compleja y sutil.
Otro concepto relevante es el de “Aprendizaje Dinámico”,
entendiendo por ello los sistemas de aprendizaje automático
que van “perfeccionando” el modelo o patrón inicial a partir
de la interacción con el medio. Consideremos nuevamente el
ejemplo anterior de sistema de préstamos bancarios y
después del primer entrenamiento le empezamos a mostrar
ejemplo de créditos otorgados a mujeres. Muy
probablemente el sexo deje de ser un factor excluyente y sean otros las causas determinantes
para realizar la recomendación. Pero por supuesto, eso dependerá esencialmente de los ejemplos
de entrenamiento. En ese sentido vale citar el ejemplo de un chatbot (un robot que interactúa en
un chat) con aprendizaje dinámico que construyó Microsoft que generaba tweets usando los
ejemplos del propio chat y de la interacción. Al final del día de su lanzamiento, el sistema ya
mostraba comportamientos racistas, homofóbicos y antisemitas.
Otra cuestión importante es la de “Explicación del Razonamiento”. Tal como hemos dicho, los
sistemas a partir de la técnica de aprendizaje automático son construidos por entrenamiento a
No es una novedad que, a lo
largo de la historia, los militares
han intentado crear armamento
autónomo. Pero en la
actualidad, los vínculos de las
fuerzas armadas con la IA son
cada vez más estrechos, dado
que estas tecnologías pueden
revolucionar la seguridad
nacional, mejorando las
estrategias y la capacidad
militar de los países. Tanto es
así que muchas revistas
especializadas ya hablan de una
nueva carrera armamentista.
Pág
ina4
partir de millares de ejemplos que esencialmente permiten generan patrones. Pero dichos
sistemas, en esencia, no tienen capacidad de “rendir cuentas” por la decisión propuesta o tomada.
Es decir, no es posible entender porque fue rechazada una solicitud de empleo, préstamo, vacante
para un curso, etc. Esto impide que pueda cuestionarse o validarse la recomendación del sistema.
Esencialmente funcionan como cajas negras. Pero eso resulta una limitación muy fuerte para
evaluar o verificar la decisión que toma un sistema autónomo. Supongamos que un tanque sin
conductor observa el comportamiento de un grupo de personas y predice que están preparando
un acto terrorista, recomendando realizar un ataque fulminante para evitarlo. Asumamos,
además, que el sistema pretende respetar los principios del Derecho Internacional Humanitario de
humanidad y distinción, y que asimismo la decisión final la toma un humano. Por último,
imaginemos que el humano a cargo remotamente puede observar que los supuestos terroristas no
portan armas. ¿Cómo puede el operador tomar la decisión final si el sistema in situ no es capaz de
explicar porque recomienda un ataque letal? Y si tomara la decisión equivocada ¿Quién sería el
responsable?
Argumentos como este son lo que marcan cuán imprescindible es que los sistemas militares
basados en IA estén provistos de módulos de “sentido común” humano. De lo contrario, ¿Qué
habría ocurría, por ejemplo, si tuviera que evaluar una alarma nuclear como la del "Incidente del
equinoccio de otoño"?
DARPA (la agencia científica norteamericana en seguridad nacional) sostiene fuertemente la
necesidad de que los sistemas de IA tengan capacidad de razonamiento conceptual. Tanto es así,
que para promover su desarrollo tienen un programa de financiamiento específico de proyectos
de investigación orientados a esta temática. Ellos señalan que proveer a las sistemas de IA de esa
capacidad de dar cuenta de sus actos y decisiones, es imprescindible en el corto plazo para su
supervisión, pero más aún en el largo plazo, para permitir la colaboración (ver
https://www.darpa.mil/program/explainable-artificial-intelligence).
Para finalizar esta sección es relevante señalar que muchos autores consideran que, dado que las
normas de la "guerra autónoma" no están definidas, cuanto más tiempo tardemos en precisarlas
mayor será el riesgo de que se produzca una "escalada involuntaria".
La mayoría de los líderes políticos expresan preocupación por la carrera armamentística
inteligente, y consideran que el uso militar de la IA es inevitable, pero por otro lado están
embarcándose en ella muy agresivamente. Algo parecido está ocurriendo con el desarrollo de
técnicas de edición genética del ADN humano mediante la técnica de CRISPR/cas9 permitiendo
que unas mellizas sean inmunes al HIV. En ambos casos no hay normativas que prohíban o regulen
tanto el uso militar de la IA como de la edición genética en humanos.
3. PROPUESTAS
Pág
ina5
El debate que dio lugar a la “Declaración de Barcelona” para un desarrollo y uso adecuados de la
inteligencia artificial en Europa, destaca seis puntos en el desarrollo y el uso de la inteligencia
artificial que nos gustaría reproducir aquí. El primero es la prudencia, la necesidad de ser
conscientes de que todavía queda por resolver un gran número de obstáculos científicos y
técnicos, en particular el problema del sentido común. El segundo hace referencia a la fiabilidad,
esto es, que los sistemas de inteligencia artificial deben someterse a pruebas que determinen su
fiabilidad y seguridad. Otro aspecto es la rendición de cuentas: cuando un sistema toma
decisiones, las personas afectadas por ellas tienen que poder recibir, en unos términos de lenguaje
que entiendan, una explicación de por qué las ha tomado, y tienen que poder cuestionarlas con
argumentos racionales. Se apunta también al criterio de responsabilidad. Debe quedar claro si la
interacción se hace con una persona o con un sistema de inteligencia artificial, y, en el segundo
caso, debe poderse localizar e identificar a los responsables de él. Otra cuestión es la autonomía
limitada de estos sistemas. Se necesita disponer de reglas claras que limiten el comportamiento
de los sistemas de inteligencia artificial autónomos para que los encargados de desarrollarlos
puedan incorporarlos en sus aplicaciones. Y, por último, debe quedar claro el papel que
desempeña el ser humano. Esto último es fundamental para establecer el respecto al Derecho
Internacional Humanitario.
En forma ortogonal a estos criterios, podemos recopilar dos posturas para abordarlos, que se
están planteando en distintos ámbitos de investigación y desarrollo. Por un lado, la gobernancia y
por el otro, la ética por diseño. Estas posturas, ubican a los sistemas inteligentes de manera
distinta en su relación con los seres humanos, pero ambas requieren una especificación formal de
un cuerpo de conocimiento que represente un conjunto de valores que los seres humanos
consideran importantes. El primer obstáculo surge al intentar determinar cuál debería ser ese
conjunto de valores y que represente la postura ética/moral de la sociedad. Independientemente
de este problema, que es en sí muy importante desde el punto de vista de implementación, una
cuestión igualmente relevante es como representar de manera formal esos valores,
asegurándonos que esa especificación corresponda exactamente con lo que se espera de la
utilización del sistema inteligente.
3.1 GOBERNANCIA: REGULACIÓN Y VERIFICACIÓN
La gobernancia implica determinar los límites de las acciones y decisiones de los sistemas
autónomos ante una determinada entrada. El monitoreo, verificación y potencial bloqueo de las
salidas de los sistemas se preserva para asegurar que se mantienen dentro de los criterios éticos
delimitados o tolerados para el dominio de aplicación.
Esta postura supone en principio que el sistema inteligente está subordinado al usuario humano y
es este último quien toma eventualmente las decisiones o al menos aquellas que pueden tener
efectos indeseables. Por otro lado, no requiere que se modifique el sistema internamente o se
exponga sus particularidades funcionales, sino que de alguna manera se intenta controlar las
Pág
ina6
decisiones del sistema por medio de la observación del comportamiento de este determinado por
el tipo de salida que se obtiene ante determinadas entradas. La “caja negra” es observada y
controlada “desde afuera”.
En recientes discusiones del Grupo de Expertos
Gubernamentales sobre Sistemas de Armas Completamente
Autónomos (dependiente de Convenio sobre Ciertas Armas
Convencionales) se planteó una cuestión preliminar que
establece tanto obligaciones positivas y prohibitivas para el
uso y desarrollo de armas autónomas, ambas centradas en el
concepto de “control humano significativo” (meaningful
human control, en inglés). Este enfoque refleja que debe existir
alguna forma de control (ya sea por medio de intervención o
asumiendo responsabilidad) por parte del usuario humano en
situaciones donde corren riesgo vidas humanas. La idea de
meaningful human control evita el problema de determinar
dónde comienza y dónde termina la autonomía del sistema
inteligente, sin embargo, es inevitable caer en el problema de
la definición adecuada de los términos “significativo” y
“control”. Esta definición debería ser tal que implique una
intervención no superficial del usuario humano.
La definición específica de estos términos debe estar en
sincronía con las capacidades del sistema inteligente; más allá
de la autonomía y la capacidad de toma de decisiones, la
habilidad del sistema de poder explicar decisiones (detección o
identificación de targets, planificaciones, etc.) en base a la
información que posee y que ha utilizado en el proceso, es
primordial. Esta capacidad, que no es un requerimiento técnico
(el sistema puede funcionar perfectamente sin la misma),
debería ser, sin embargo, un requerimiento funcional
estandarizado en cualquier sistema de toma de decisiones,
sobre todo en aquellos que interactúan con usuarios humanos y cuyo accionar pueda tener
incidencia directa en vidas humanas.
La implementación de un sistema de gobernancia sobre el accionar de cualquier tipo de sistema,
implica también la necesidad de generar una estructura que sea capaz de generar y aplicar los
protocolos necesarios, pero también de monitorear, verificar y corregir (de ser necesario) la
consistencia de las distintas instituciones que la componen.
Existe una limitación muy
fuerte para evaluar o
verificar la decisión que
toma un sistema
autónomo.
Los sistemas a partir de la
técnica de aprendizaje
automático son
construidos por
entrenamiento a partir de
millares de ejemplos que
esencialmente permiten
generan patrones. Pero
dichos sistemas, en
esencia, no tienen
capacidad de “rendir
cuentas” por la decisión
propuesta o tomada.
Pág
ina7
3.2 ÉTICA POR DISEÑO Y ALINEAMIENTO DE VALORES
Una pregunta interesante que surge ante el potencial que presentan los sistemas inteligentes es si
es posible dotarlos a ellos mismos con capacidades de razonamiento ético. Es decir, diseñar los
sistemas de manera tal que tengan en cuenta consideraciones éticas al momento en que toman
las decisiones. De esta manera, los sistemas podrían, durante el proceso de razonamiento, pesar
distintas situaciones u opciones en base a conocimiento de índole ético/moral o que represente
de alguna manera los valores de ese estilo que los usuarios humanos esperan o consideran
aceptables.
Le ética por diseño es, entonces, el intento sistemático de incluir valores de importancia ética en el
diseño de un sistema autónomo e inteligente, y el conjunto de herramientas y formalismos
necesario para garantizar que el comportamiento del sistema permanece dentro de esos límites
morales proporcionados. Este enfoque tiene como meta que los valores en sí, las potenciales
prioridades y opciones que existan entre ellos sean explícitos, transparentes y verificables.
La ética por diseño implica que debemos considerar cómo construir un algoritmo que puede
diferenciar entre opciones éticas y las que no lo son. Cómo decide un ser humano entre estas
opciones ha sido el foco de estudio en muchas disciplinas de forma extensiva. La pregunta es
entonces, si en base a esos estudios podemos extrapolar formalismos para los sistemas. Desde un
punto de vista técnico poder formalizar valores y/o normas éticas o morales es una tarea muy
compleja por distintas razones, entre las cuales podemos destacar la subjetividad de la mayoría de
los conceptos o teorías éticas y algo sumamente importante que es el uso de sentido común en la
interpretación de dichos conceptos; la mayoría del tiempo, los humanos “completamos” criterios
éticos, reglas o normas con conocimiento de cómo funciona el mundo que nos rodea
(circunscripto a la familia, sociedad, país, humanidad, etc.). Incluso en conjunto de normas de
buen comportamiento en el ámbito laboral contiene muchos “huecos” en la especificación que
son dejados a la interpretación del receptor de las mismas. Estas dos características hacen que
técnicamente sea muy difícil poder representar de manera precisa estas consideraciones en un
lenguaje formal y que sea la herramienta mediante la cual un sistema computacional retiene y
“entiende” el conocimiento.
La ética por diseño en el contexto de un arma inteligente sugiere que dicho sistema pueda razonar
internamente sobre las implicancias éticas que tienen las observaciones que hace del entorno y de
las decisiones y acciones que considera necesarias para cumplir con su objetivo. Como un caso
interesante, podríamos pensar, por ejemplo, en el criterio de “control humano significativo” que
discutimos previamente. De manera ortogonal y en adición a un proceso de control y verificación
externo que asegure el traspaso de control al operador humanos, podemos pensar en que la
misma máquina tome la decisión de devolver el control al humano cuando considere que no es
“capaz” de tomar la decisión desde el punto de vista ético. Claramente, la máquina podría hacer
una evaluación de la situación mucho más rápido que un humano, sin embargo caemos de nuevo
Pág
ina8
en el problema de la representación de conocimiento, y en poder especificar de manera formal las
condiciones que identifican esas situaciones en las cuales la máquina debe darse cuenta que la
decisión la excede.
4. CONCLUSIONES El principal problema al que se enfrenta la inteligencia artificial puede resumirse en la adquisición
de conocimientos de sentido común. Este constituye el requisito fundamental para que los
sistemas actuales sustituyan la inteligencia artificial especializada por una de tipo general.
Un enfoque interesante para dotar de sentido común a las máquinas es la denominada cognición
situada. Consiste en ubicar a las máquinas en entornos reales con el fin de que tengan
experiencias que les doten de sentido común mediante aprendizaje basado en el desarrollo
mental. La cognición situada requiere que la inteligencia artificial forme parte de un “cuerpo”. Este
resulta determinante para la inteligencia, ya que los sistemas perceptivo y motor definen lo que
un agente puede observar y las interacciones que establece con su entorno.
Precisamente las capacidades más complicadas de desarrollar son las que requieren interaccionar
con entornos no restringidos: percepción visual, comprensión del lenguaje, razonamiento con
sentido común y toma de decisiones a partir de información incompleta. Diseñar sistemas con
estas capacidades exige integrar desarrollos en muchas áreas de la inteligencia artificial. En
particular, necesitamos lenguajes de representación de conocimientos que codifiquen información
sobre numerosos tipos de objetos, situaciones, acciones, así como sobre sus propiedades y las
relaciones entre ellos. También nos hacen falta nuevos algoritmos que, partiendo de estas
representaciones, puedan razonar y aprender de forma robusta y eficiente sobre prácticamente
cualquier tema.
A todas estas dificultades técnicas, tenemos que sumar las cuestiones éticas mencionadas en las
secciones anteriores. Creemos que la resolución de ambas clases de limitaciones -técnicas y éticas-
tienen que ser resueltas a la par. Para que las primeras no avasallen a las segundas, y para que las
segundas no frenen el avance tecnológico. En particular quienes suscribimos este artículo, no
creemos que sea necesaria una moratoria para el uso de técnicas de IA en determinados ámbitos
sensibles como plantean un grupo de destacados investigadores sobre el uso del CRISPR/cas9.
Pero si consideramos que es necesario avanzar en los siguientes aspectos:
1) La promulgación de códigos éticos para la aplicación de técnicas de IA en cualquier
dispositivo. Según estos principios, los sistemas inteligentes no podrían cometer ilícitos, ni
atentar contra la integridad física o psicológica de las personas.
2) Definir criterios de legislación vinculante y no vinculante (derecho duro y blando) en el uso
de la IA.
3) La prohibición del desarrollo de los SAALs (A Treaty of Non-Development of Lethal
Autonomous Weapons Systems) antes que las mismas sean tecnológicamente factibles de
Pág
ina9
ser construidas. En la actualidad los conocimientos científicos y tecnológicos no han
alcanzado la envergadura y desarrollo suficiente para la construcción efectiva de este tipo
de armamentos, pero se estima que los mismos serán alcanzados en las próximas décadas.
El establecimiento anticipado de normativas internacionales que prohíban su desarrollo
busca evitar las condiciones especiales que se dieron en el Tratado de No-proliferación de
Armas Nucleares donde cinco países se arrogaron el derecho de poseer armas nucleares
por el simple hecho de haber realizado ensayos previos a la firma del mismo.
4) Promover más proyectos de investigación interdisciplinarios para estudiar los efectos
socioculturales producto del desarrollo de sistemas de IA y su implicancia ética y moral en
la sociedad.
5) Incentivar la conformación de foros multidisciplinarios (que incluyan, entre otros,
psicólogos, sociólogos, politólogos, filósofos, computadores científicos, economistas,
legisladores, etc.) para discutir y brindar orientación sobre temas emergentes relacionados
con el impacto de la I.A. en la sociedad.
6) La enseñanza de aspectos éticos en las carreras de formación de profesionales que
desarrollarán estas nuevas tecnologías.
7) Impulsar un tratado internacional de no-desarrollo de SAALs, que debería basarse en al
menos dos pilares: el no-desarrollo y el uso de la Inteligencia Artificial sólo para fines
pacíficos. Para lo cual debería conformarse una Agencia Internacional de Inteligencia
Artificial (en el marco de la ONU) que sea el ente de control de aplicación de las normas
que surjan del tratado.
8) Desarrollar un protocolo de impacto social que permita evaluar la pertinencia o no de
lanzar al mercado un nuevo producto que utilice técnicas de IA.
Algunas de estos aspectos ya están siendo resueltos unilateralmente por varias empresas como
Tweeter, Facebook, Google, Microsoft, etc. Sin embargo creemos que los actores sociales, como
los científicos, los ciudadanos y los estados, no deberían delegar en la industria el rol de fijar las
reglas e iniciativas de regular y legislar acerca del desarrollo de los sistemas de IA (ver
https://www.nature.com/articles/d41586-019-01413-1).
i María Vanina Martínez es Dra. en Ciencias de la Computación, investigadora adjunta del CONICET, trabajando en el Instituto de Ciencias de la Computación (CONICET - UBA) y profesora en el Departamento de Computación de la UBA. Sus intereses de investigación se enfocan en el desarrollo de modelos para la representación de conocimiento en sistemas de apoyo a toma de decisiones basados en Inteligencia artificial.
Ricardo Oscar Rodríguez es Dr. en Ciencias de la Computación con especialización en Inteligencia Artificial. Es Profesor Asociado en el Departamento de Computación, FCEyN-UBA y miembro del Instituto de Ciencias de la Computación (UBA-CONICET). Sus trabajos científicos se inscriben en el desarrollo de modelos lógicos para el razonamiento bajo incompletitud e incertidumbre. Ha sido co-chair y finacial chair de IJCAI2015.