Características de la investigación en TI

Raúl Monroy(de varias notas de A Bundy)

Contenido

1. Hipótesis y evidencia2. Dimensiones, guías para caracterizar la

investigación en TI3. Tipos de investigación: teórica versus

experimental, y sus implicaciones.4. Criterios para evaluar investigación en TI

Doctorado: un proceso reflexivo• Investigar implica un escrutinio continuo:– Cuál(es) es(son):• Mi motivación.• Mis metas y objetivos.• La novedad de mi idea.• El trabajo relacionado con el mío, especialmente el

competidor.

– Qué asevero y cuál es mi hipótesis.– Cuáles son mis evidencias.– En qué etapa estoy.

1. Hipótesis y evidencia• Un avance en ciencia o ingeniería es resultado

del planteamiento de una hipótesis y las evidencias que la sustentan.

• En TI, típicamente una hipótesis es:

La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z,

en la dimensión Y.

La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z,

en la dimensión Y.

Investigación en TI1. Explorar un espacio de técnicas

• Inventar una nueva técnica.• Investigar una técnica existente, para

descubrir: – Nuevas propiedades, – Relaciones con otras técnicas, …

• Mejorar una técnica existente.• Aplicar novedosamente una técnica existente.• Combinar técnicas existentes.

La técnica/ el sistema/el parámetro X es mejor, para la tarea Y, que cada uno de sus rivales Z,

en la dimensión Y.

Investigación en TI2. Establecer propiedades

con respecto a una dimensión

• Las dimensiones varían dependiendo del carácter específico de la investigación:– Científica.– Ingenieril.– Conductual (ciencia cognitiva).

2. Dimensiones científicas• Eficiencia:– Dimensiones: tiempo, espacio.– Evidencia incluye estadísticos:

• Promedio, varianza, mejor caso, peor caso, etc.

• Comportamiento: propiedades del resultado:– Calidad: correcto, óptimo, etc.– Demanda bases de prueba estándar, “golden standard”

• Cobertura: rango de aplicación:– Calidad: completo o parcial

2. Dimensiones ingenieriles

• Facilidad de uso.• Fiabilidad.• Calidad de extensible y mantenerse en buen

estado.• Calidad de ser escalado(a).• Compatibilidad.• Costo.

2. Dimensiones conductuales

• Compatibilidad con comportamientos externos.

• Compatibilidad con procesamiento interno.• Adaptabilidad.• Capacidad de evolución.

2. La dimensión desconocida• Podríamos usar poder para referirnos a las

dimensiones anteriores, conjuntamente. • Otras dimensiones, más subjetivas, con las que

podemos comparar dos o más técnicas son:– Claridad.– Parsimonia, por ejemplo: la navaja de Occam.– Calidad de prescripción.– Predictibilidad.– Simplicidad, etc.

2. El impacto de hipótesis en textos científicos

• Una hipótesis que es:– Ambigua causa dudas, incertidumbre, o confusión

en el lector (árbitro).– Vaga despierta escepticismo en el lector (árbitro)

sobre la solidez de la metodología científica usada, formando prejuicios como: • No existe evidencia, o ésta no es concluyente.• La investigación carece de foco, y por tanto no es

significativa.

¿Y la evidencia?

• La evidencia, coincidiendo con el tipo de investigación, puede ser:– Teórica (teoremas o argumentos).– Experimental (mediciones tomdas de en un

prototipo funcional).– Experimental (juicios emitidos por terceros).

3. Tipos de investigación

• El objeto de estudio puede encontrarse en diferentes niveles, por ejemplo:– Una tarea, un sistema, una técnica, un parámetro,

etc.• El propósito del estudio consiste en explorar el

espacio de técnicas.• La investigación puede ser:– Teórica o experimental.

3. Investigación teórica• Aplicable a una técnica, o a una tarea.• Uso de matematicas para formalizar definiciones y

propiedades (pruebas).• Hipótesis: conjetura – evidencia: teorema.• Ventajas:

– Facilita o posibilita el análisis abstracto.– Expande el espacio de técnicas (genera y prueba).– Un teorema comprende e impacta a todo un universo, posiblemente

infinito.– Sugiere extensiones y generalizaciones.

• Desventajas:– Abstracción puede no ser fiel al objeto de estudio.

3. Investigación experimental• Realizable a dos niveles:– Exploratorio:

• Explorasión (visualización) de datos para identificar causas, razones, patrones, etc.

– Validación de hipótesis:• Medir comportamiento del objeto de estudio para obtener evidencia

que sustente hipótesis, tornándola en aseveración.

• Para validación de hipótesis, implica establecer dos obligaciones fundamentales:1. Demostrar la generalidad de la validación.2. Demostrar que las evidencias colectadas sustentan la

hipótesis.

Cómo establecer representatividad de los ejemplos de validación

• Separar ejemplos para construcción de ejemplos para validación.

• Usar ejemplos “variados”, es decir que cubran áreas distintas de la población.

• Colectar ejemplos de fuentes independientes.• Colectar ejemplos de fuentes, que, por consenso,

reconoce la comunidad.• Usar ejemplos consensualmente etiquetados “difíciles”.• Usar ejemplos patológicos.

Cómo establecer sustentabilidad de la hipótesis, dados los resultados

• Diseño de experimentos:– Variar algo a la vez (variables independientes

versus variables dependientes).– Establecer relación de causa – efecto.– Explicar variabilidad.– Establecer significado estadístico

Criterios para evaluar investigación en TI

• Hipótesis: Investigar en TI es explorar un espacio de técnicas, a través de:– Describir una nueva técnica.– Mejorar una técnica.– Establecer propiedades de una técnica o relaciones entre dos o

más técnicas.– Verificar la validez psicológica de una técnica.– Combinar varias técnicas (en un sistema).– Identificar y motivar una nueva tarea.– Establecer propiedades de una tarea.– Estructurar e ilustrar un área.– ¿Etc.?

Con relación en una técnica

• ¿Qué tareas resuelve? ¿Cuál es el rango de su aplicabilidad? ¿Cuál es su factor de impacto?

• ¿Pueden caracterizarse las tareas para las cuales es aplicable y que resuelve exitosamente?

• Si puede describirse formalmente:– ¿es correcta, completa, termina (en un tiempo

razonable)? ¿cuál es su complejidad?• ¿Cómo difiere de técnicas relacionadas?• ¿Se ha implementado? Si sí, ¿con que resultados?

Con relación en un sistema

• Implementación:– ¿Cuál es el estado?– ¿Es fiel a la descripción abstracta o teórica de la(s)

técnica(s)?– ¿Qué tecnica(s) o componente(s) pueden

incorporarse en otros sistemas (rivales)?– ¿Está disponible? ¿Ha sido validada? ¿Con qué

resultados?– ¿Es flexible?

Con relación en un sistema• Validación:

– Basado en el DdE, ¿qué hipótesis fueron validadas? ¿Cón qué resultados?

– ¿El sistema (y las técnicas incorporadas) explican los resultados obtenidos? ¿Se reemplazaron o modificaron técnicas o componentes para medir el efecto de estas en resultados?

– ¿Qué tan vasta fue la validación? ¿Es el conjunto de validación representativo?

– ¿Cómo se distribuyen los resultados positivos y negativos?– ¿Se registraron medidas de desempeño? ¿Pueden correlacionarse

estas medidas con el análisis teórico (predictivo)?– ¿Se ha comparado el sistema con otras experimentalmente? ¿Con

qué resultados?

Con relación en una teoría

• ¿Son válidas y justificadas las aseveraciones, las demostraciones, los argumentos, etc?

• ¿Son significatos?• ¿El estudio se basa en condiciones simplificantes?

¿Qué tan realistas son dichas condiciones?• ¿Podemos simplificar los estudios, apoyándonos en

otras condiciones, que también sean realistas?• ¿Qué consecuencias de interés pueden concluirse?

Conclusiones

• Principios generales para evaluar técnicas de TI

• Contribución: hipótesis y evidencia• Poder es un conjunto de dimensiones:– Científicas, ingenieriles, conductuales

• Evidencia teórica o experimental• Experimentación: exploración o prueba de

hipótesis