Octavo Congreso Educación y Tecnología

Universidad Interamericana de Puerto Rico

Recinto de Barranquitas2 de septiembre de 2010

INVESTIGACIÓN INSTITUCIONAL Y EL DESARROLLO DE

HERRAMIENTAS ANALÍTICAS COMPUTARIZADAS PARA LA

EFECTIVIDAD INSTITUCIONAL

Prof. Nicolás Ramos Gandía (niramos@arecibo.inter.edu)Dra. Mérida Mercado Escobar (memercado@arecibo.inter.edu)Sr. Héctor Rosa ZenoUIPR - Recinto de Arecibo

Proyecto:Investigación Institucional para la Toma de Decisiones Informadas

I2TD

¿Alguna vez han escuchado?

Me parece que los estudiantes de este programa son …

Es que el proceso de matricula siempre se ha hecho …

Un estudiante me dijo que la biblioteca necesita …

Percibo que los estudiantes son cada vez más …

¿Cómo se toman muchas de las decisiones

en las instituciones educativas?

En demasiadas ocasiones la toma de decisiones sefundamenta en:

creencias, tradiciones, experiencias o intuiciones

¿Al tomar las decisiones, en realidad, conocemos elcontexto del problema a profundidad?

No

¿Qué observamos en la toma de decisiones de las

empresas y corporaciones que aprovechan las

tecnologías de la información?

Analizan las transacciones de negocio que realizan sus clientes con el fin de descubrir los patrones que exhiben en las mismas

(“Business Intelligence”)

Si compramos a través de la página Web de una de estas empresas inmediatamente nos ofrecen otros artículos asociados al seleccionado

Al registrarnos con nuestro código de usuario la página Web se configura a base de nuestro perfil de navegación previo en ésta

Ejemplos: Amazon, Ebay, Netflix, …

¿Cómo lo hacen estas empresas?

“Analytics” & “Data Crunch”

Aplicando técnicas matemáticas, estadísticas y

computacionales a las inmensas bases de datos que recopilan para analizarlas y transformarlas en información relevante para la toma de decisiones detectar patrones y reglas que no serían patentes de otra

forma (“Data Mining”)

construir modelos descriptivos, explicativos y predictivos

Diseñado estrategias, pertinentes a su realidad,realizando acciones viables y estableciendo métricas para evaluar su efectividad

¿Cómo se asocia la analítica con éxito estudiantil en la literatura de

la educación superior?

The importance of student success (commonly measured as degree completion) continues to rise, as does the demand for institutional accountability. Academic analytics can help institutions address student success and accountability while better fulfilling their academic missions. Academic systems generate a wide array of data that can predict retention and graduation. Academic analytics marries that data with statistical techniques and predictive modeling to help faculty and advisors determine which students may face academic difficulty, allowing interventions to help them succeed.

Campbell, J.P., y Oblinger, D. (2007). Academic analytics. Educause, de http://connect.educause.edu/library/abstract/AcademicAnalytics/45275

¿Qué postura pueden asumir las universidades ante esta realidad?

Las universidades tienen sistemas de información para trámites administrativos y académicos donde continuamente se están almacenando datos

¿Seguimos acumulándolos????????

o Utilizamos la base de datos como un punto estratégico para

mejorar la productividad e incrementar la competitividad de la universidad

¿Cómo? Incorporando los conceptos de “Analytics” a la investigación

institucional para integrar continuamente los resultados a al diseño de estrategias y la toma de decisiones

Investigación Institucional para la Toma de Decisiones Informadas I2TD

Nuestra Posición

• La investigación institucional en las universidades debe integrar las estrategias analíticas académicas(“Academic Analytics”) para darle un nuevo giro ala toma de decisiones

▫ La analítica académica aporta una nueva perspectiva conceptual y práctica para evidenciar la efectividad institucional y responder a los reclamos de las agencias acreditadoras

Investigación Institucional para la Toma de Decisiones Informadas I2TD

Nuestra Posición

• Los datos del sistema de información son la fuente para investigar y analizar el comportamiento histórico de la institución y sus estudiantes ▫ Éstos se pueden transformar en indicadores, índices o

modelos que permiten la evaluación de la efectividad institucional

• La analítica académica le añade valor a la base de datos de la universidad ya que la información derivada de la misma se puede convertir en un punto estratégico y de ventaja competitiva

• Tradicionalmente la investigación se concreta en un documento impreso que perdura como la fuente de información hasta que se haga una nueva investigación sobre el tema▫ La toma de decisiones no tiene datos actualizados

• Los análisis y las métricas, producto de la investigación que realizamos, se programan como opciones de aplicaciones computacionales que permiten replicar lo investigado con nuevos datos producto de las transacciones en el sistema de términos futuros▫ La toma de decisiones se hace con datos

actualizados

Investigación Institucional para la Toma de Decisiones Informadas I2TD

Nuestra Posición

¿Qué hacemos para recuperar, organizar, analizar y

presentar los datos como información para la investigación?

• Validamos los datos institucionales recuperados del sistema de la universidad (Banner en la UIPR)

▫ se diseña y se valida un “query” para cada programa de aplicación que realiza la búsqueda en la base de datos

▫ los extractos de la base de datos, generados por el “query”, se convierten en las variables de interés para la investigación

▫ se buscan patrones en las variables con diferentes estrategias

• Relacionamos los datos y patrones obtenidos en la investigación con modelos cuantitativos tomados de disciplinas como la estadística, la economía, la epidemiología y la biología de poblaciones

¿Qué hacemos para recuperar, organizar, analizar y

presentar los datos como información para la investigación?

• Programamos en Visual Basic los análisis y resultados de las investigaciones para convertirlas en opciones de los programas de aplicación computacional

• Estos programas, que operan sobre MsExcel, entregan los resultados en hojas de cálculo para que los usuarios puedan explorar y manipular los resultados desde otra óptica

utilizar tablas o gráficas para informes

exportar tablas a otros programas, por ejemplo, SPSS para un análisis estadístico avanzado

¿Qué postura asumimos ante la tecnología?

No tiene que ser un Gurú

• Las aplicaciones deben ser accesibles a cualquier usuario con conocimiento básico de la computación▫ la curva de aprendizaje en el uso de los programas no debe ser

muy escarpada ▫ el uso de interfaces conocidas permite la productividad en poco

tiempo

• Muchos, de una forma u otra, conocen las aplicaciones de productividad de Microsoft Office▫ el más experto puede manipular las tablas y gráficas para darles

nuevos significados▫ el personal de apoyo puede copiar tablas y gráficas para

integrarlos en documentos en Word o presentaciones en PowerPoint

¿Qué información relevante podemos extraer de las

bases datos transaccionales de las universidades?

Información y la gerencia académica universitaria Cantidades totales y por categorías

• ¿Qué por ciento representan los estudiantes que han declarado el BA en Justicia Criminal del total de estudiantes matriculados en el Recinto en los últimos cinco años?

Características asociadas a poblaciones• La literatura sostiene que los estudiantes cuyos padres tienen

estudios universitarios tienden a persistir en mayor por ciento

¿Nuestros estudiantes exhiben ese mismo patrón?

Características temporales• ¿Cuál es la tendencia (ascendente, descendente u oscilatoria)

temporal de la puntuación promedio en la prueba de aprovechamiento en español de los estudiantes que se han matriculado en el Recinto por los últimos 15 años?

¿Qué información relevante podemos extraer de

los datos transaccionales en las universidades?

Información para el éxito estudiantil y la retención ▫ Asociar el desempeño académico y la deserción ¿Quiénes son los estudiantes que, luego de su primer año de estudio

y a base de su desempeño académico, están en riesgo de no cumplir con la Norma de Progreso Académico Satisfactorio (NPAS) al finalizar el segundo año?

Los estudiantes identificados en riesgo de no cumplir con la NPAS pueden ser intervenidos antes de que experimenten el evento

▫ Evaluar la efectividad de proyectos que buscan el cambio en los patrones históricos de la retención ¿Cuál es el cambio (positivo o negativo) en el patrón de la retención

semestral de una cohorte después de la implantación en el Recinto de un proyecto especial para incrementar la misma?

¿Qué hemos desarrollado en I2TD?

Aplicaciones desarrolladas (2007 al presente)

▫ cITrAp versión 1.5 por Recinto: aplicación computacional para estudiar el trasfondo académico de los estudiantes de nuevo ingreso de acuerdo a la escuela tributaria y el programa de estudio seleccionado en la admisión desde el año 1995

▫ ERDU primera fase: aplicación computacional para estudiar el desempeño universitario y la retención mediante el seguimiento longitudinal semestral de los estudiantes de diferentes cohortes desde el año 1995

• Proyecto Colaborativo Recintos de la UIPR:▫ Entre la Vice Presidencia de Asuntos Académico, el recinto de

Arecibo y los Recintos de Bayamón, Fajardo, Guayama y San Germán

Prof. Nicolás Ramos y Dra. Mérida Mercado – Investigadores y DesarrolladoresSr. Héctor Rosa Zeno – Programador y Desarrollador

Ejemplos cITrApPatrones temporales para identificar tendencias

¿Qué debe hacer la facultad del programa con esta información?

458

416

507

403

459

493

454436

460

502

395

493 500

437

478

495481

489 485 486 486 484 487 483 480 483 481470

438

300

320

340

360

380

400

420

440

460

480

500

520

540

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010

Ap

titu

d e

n M

ate

má

tic

a

Año Académico

Gráfica: Serie de Tiempo Aptitud en Matemática Programa Computación Fiscal Recinto XComparación entre la media anual y cronológica del Programa con la media de todos los Programas

y la media anual de la prueba del CEEB en Puerto Rico.

Media aritmética anual en la prueba de Apt. Mat. del Programa

Media cronológica del Programa en la prueba (458)

Media acumulada de todos los Programas (478)

Media anual del CEEB en Puerto Rico

Ejemplos cITrAp

Índices para establecer comparación entre escuelas o programas

Índice de Trasfondo Académico (ITA)

El ITA adscribe criterios de calidad a las escuelas (y programas) según el trasfondo académico de los estudiantes que matricula la universidad de las mismas

La construcción de este índice se basó en la

metodología para la calificación de la economía de

los países del mundo del proyecto Doing Business

del Grupo del Banco Mundial, y se adaptó al

propósito académico de nuestro estudio.

Tabla: Escalafón de las escuelas

tributarias a base del ITA en el Recinto X

Escuela Tributaria ITAEstudiantes

1996-2010Posición

PR 1 H.S.98.31%

352 1

PR 2 H.S. 78.04% 125 2

PR 3 H.S.75.13%

36 3

PR4 H.S. 61.41% 191 4

… … … …

PR8 H. S. 50.59% 1,239 8

PR9 H.S. 43.09% 528 9

PR10 H.S. 41.79% 971 10

¿Qué debe evaluar la universidad cuandoorganiza estrategias de reclutamiento?

(http://www.doingbusiness.org/documents/how_to_aggregate.pdf ).

Ejemplos- ERDU Fase 1

Riesgo y asociación entre no cumplir con la Norma de Progreso

Académico Satisfactorio y la no persistencia

Tabla: Relación entre la no persistencia y la persistencia a base del requisito de alcanzar el índice académico

mínimo de 2.00 en 199710 (semestre 3) de los estudiantes admitidos en la cohorte de agosto de 1995 en el

Recinto X.

Criterio de ClasificaciónNo cumple con alcanzar un índice

académico mínimo de 2.00

Cumple con alcanzar un índice académico

mínimo de 2.00Totales

No Persiste 136 89 225

Persiste 89 479 568

Totales 225 568 793

Odds Ratio Calculado = 8.22

Intervalo de Confianza del Odds Ratio al 95%

Valor Inferior Valor Superior

Odds Ratio = 5.79 Odds Ratio = 11.67

Ejemplos- ERDU Fase 2

Modelo cuantitativo para evaluar lineamientos, estrategias y

acciones encaminadas a mejorar la retención

• Los lineamientos institucionales establecidos, las estrategias derivadas de éstos y las acciones implantadas para incrementar la retención, ¿han logrado los resultados esperados?

• ¿Qué evidencia necesitamos sobre la cohorte intervenido?▫ A. un cuestionario de satisfacción

▫ B. cantidad de estudiantes que asistieron a los talleres

▫ C. relato de experiencias de los participantes de los proyectos

▫ D. cantidad de estudiantes de la cohorte que permanece matriculado

• Responder a este cuestionamiento a profundidad requiere de un referente de comparación cuantitativo validado por el comportamiento histórico de las cohortes previas

¿Cuál es la curva?

0

100

200

300

400

500

600

700

800

900

1000

0 1 2 3 4 5 6 7 8 9 10 11 12

Ago 1995

Ago 1996

Ago 1997

Ago 1998

Ago 1999

Ago 2000

Ago 2001

Ago 2002

Ago 2003

Ago 2004

Gráfica 3: Comportamiento histórico de la retención semestral de las cohortes de

agosto de 1995 al 2004 por doce semestres en el Recinto X.

¿Romper la curva?

1057

917

761

675

575

519

467

402

346

262

211

159

1057

935

792

715

634

596

547

487

440

353

305

249

0

200

400

600

800

1000

1200

0 2 4 6 8 10 12

Ago2010 Media

Ago2010 media + 1 DS

Gráfica: Predicción del comportamiento de la retención de la cohorte de agosto 2010

de 1,057 estudiantes a base del modelo media semestral de la tasa de supervivencia y

una desviación estándar por encima de esa curva.

↙Curva con una DS, se tiene que superar

Curva basada en el comportamiento histórico de la supervivencia ↗

¿Cómo se integra la analítica académica en la toma

de decisiones?

• Análizar datostransaccionales

• Identificar e interpretarpatronessignificativos

• Construirmodelosclasificatorios y predictivos

Investigación

• Organizar datos• Calcular indicadores

numéricos• Construir gráficas• Facilitar el análisis

longitudinal

Desarrollo de Aplicaciones

• Evidencia parainformes

• Acciones basadas en características y modelos predictivos

• Evaluaciones de efectividad con indicadores y modelos

Información paraDecisiones

Informe Ejecutivo:

Análisis cronológico del trasfondo académico de los

estudiantes de nuevo ingreso matriculados en el Recinto

de Arecibo, desde el año académico 1995-1996 al 2006-

2007, por programa académico y escuela tributaria.

(publicado: junio de 2008)

http://www.arecibo.inter.edu/biblioteca/pdf/resumen_ejecutivo_i2td.pdf