Avaluar nuestro avalúo: ¿Cómo lo estamos haciendo?coia.rcm.upr.edu/documentos/Presentaciones/2015-11-5_CoIA-AE... · Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de

Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de mayo de 2015

Por : Dr. Jodi Levine LaufgravenTraducción adaptada: Prof. Lillian E. Ríos-Rodríguez 1

Avaluar nuestro avalúo:¿Cómo lo estamos haciendo?

Dr. Jodi Levine LaufgravenVice ProvostAcademic Affairs, Assessment and Institutional Research,Temple University

Traducción adaptada autorizada: Prof. Lillian E. Ríos-Rodríguez

PresidentaDecanato de Asuntos Académicos,

Comité Institucional de AvalúoUPR, Recinto de Ciencias Médicas

Origen del Comité

Institucional de Avalúo (CoIA)

2002 –MSCHE incluye los estándares:

• Estándar 7: Avalúo institucional

• Estándar 14: Avalúo del aprendizaje de los estudiantes

2003 – Rector encomienda velar por su cumplimiento al Decano del DAA y se constituye el CoIA.• Atiende primordialmente el estándar 7

• Sienta bases para el estándar 14

2013 – Dos componentes en CoIA• CoIA: EI – Efectividad institucional

• CoIA: AE – Aprendizaje estudiantil

2



Marco de Referencia

3

• Certificación 08 SA, 1994-1995

Misión, metas y objetivos del RCM

• Certificación 49 SA, 2008-2009

Revisión visión, misión y valores RCM

• Certificación 136 JS, 2003-2004

Política sobre la Efectividad Institucional de UPR

• Certificación 33 S A, 2007-2008

Política sobre Avalúo de la Efectividad Institucional

del Recinto de Ciencias Médicas

• Certificación 03 JS, 2009-2010

30 indicadores de avalúo UPR

• Modelo de Cinco Columnas de Nichols para el avalúo de la Efectividad Institucional y del Aprendizaje

Marco de Referencia

Avalúo de la Efectividad Educativa

4

Revised: March 2011 (pages xii and xiii)

Characteristics of Excellence in Higher Education Requirements of Affiliation and Standards for

Accreditation (2011)

Standards for Accreditation and Requirements of

Affiliation (2014)

7 y 14

5



Aseveraciones que definen

el aprendizaje del estudiante en el RCM

Institucional (RCM)- Misión y visión institucional

- Metas, objetivos y valores institucionales

Programático- Metas y objetivos programáticos

(currículo)

Curso/Sala de clase- Descripciones de cursos

- Metas y objetivos de los curso

RCM

Programas

Cursos/Sala de clase

Lineamiento5

A Road Map for Improvement of Student Learning and Support Services Through Assessment (Nichols, 2005). Adaptación y

traducción del modelo para fines educativos.

Propósito InstitucionalExpandido

Objetivos (Resultados Esperados)

Criterios de Éxito y Método

de Avalúo

Resultados Obtenidos

Acción tomada (Uso de los Resultados)

Misión del RCM:

Ser un centro académico de…

Misión Decanato de Estudiantes:

Proveer servicios de calidad para atender y satisfacer las

necesidades del estudiante, en aras de propiciar su bienestar físico,

emocional, social y recreativo como complemento al desarrollo

académico del estudiante. De esta manera, promueven la

formación integral de un ciudadano que contribuya al

desarrollo de la sociedad.

Meta:

Ofrecer servicios ágiles y flexibles que se ajusten a las necesidades

cambiantes de la comunidad estudiantil.

Luego de visitar

el CECSi para recibir

consejería, los estudiantes

expresarán estar satisfechos con

el servicio recibido.

A través de una

encuesta que contestarán al

recibir servicios de consejería,

sobre la aseveración

“Estoy satisfecho con el servicio

recibido”, el 85%de los

estudiantes,responderá estar

de “de acuerdo” o “totalmente

de acuerdo”.

80%

respondió “de acuerdo” o

“totalmente de acuerdo”

Se discutieron los

resultados con las personas de interés.

Se identificaronáreas de

insatisfacción.

Se preparó e implantó un plan de

acciones correctivas para el año

académico 2014-2015.

Se estableció fecha

para avaluar los resultados luego de

haber implantado las medidas

correctivas.



7

Revisión literaturaConsultas externasEntrevistas Identificar:

. Fortalezas

. Debilidades

Infraestructura que se necesita

Metodología a usarPlanificar

Promoción misiónTalleres/OrientacionesEstablecer cicloInfraestructura electrónica. Equipo. Aplicaciones. Sistema Manejo Contenido. Página Web CoIA. Cuestionarios en línea. Instrumento digital (tasas)

Reunión/Pruebas con OSIInstrumento Web-based

OSI integrada (100%)

Ágil acopio datos Guía operar políticaInformesAuditar el procesoDivulgación (oportuna)

. Logros

. Ciclo

. Correo-e

. Página CoIA

. Resultados

. Guía operar política

sep 2011 - 2012 2012 - 2015 2015 - 2017

Metas de este taller

Fortalecer la base…

Identificar las fortalezas y debilidades de los actuales esfuerzos de avalúo

Comprender los usos de auditar el proceso de avalúo

Esbozar estrategias para interpretar y utilizar la información que resulta de la auditoría

Determinar cuántos programas pueden usar evaluaciones de los esfuerzos del avalúo general para el mejoramiento del aprendizaje estudiantil

08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez

8



Fuerzas que Impulsan el Avalúo

• Agencias acreditadoras

• Exámenes nacionales

• Entidades federales

• Estudiantes potenciales

• Empleadores /La profesión

• Gerencia UPR (VAA)

• Liderato de avalúo (UPR y RCM)

• Liderato académico/administrativo

• Facultad/Departamento/Programa

• Estudiantes

• Exalumnos

Avalúo de Resultados

Externas

Internas

9

Ciclo de avalúo para el proceso de

enseñanza-aprendizaje


10

2Oportunidades de aprendizaje

4Uso de los resultados

3Avalúo

1Metas de

aprendizaje



Modelar la conducta

¿Qué pasa si el proceso de avalúo fue realizado con estándares de avaluación que deben alcanzar los programas académicos?


11

Prueba rápida (“quiz”)

Nuestra institución…A. Sabe exactamente qué programa está

haciendo avalúo y conoce qué están haciendo cada uno.

B. Tiene una idea general de quien está haciendo avalúo, pero no sabe qué está haciendo cada programa.

C. Sabe que se está haciendo avalúo, pero no dónde.

D. ¿Avalúo? ¿Se supone que hagamos eso?


12



¿Qué nos motiva?


13

Lo que debe ser

Demostrar lo que hacemos

bien

Identificar maneras en

que podamos hacerlo mejor

Aprender sobre las experiencias

estudiantiles

Enmarcar el modo en que hablamos del

éxito estudiantil

Lo quesuele ser

AcreditaciónRegional

AcreditaciónProfesional/

Especializada

Medidas de Rendimientode Cuenta

Lo se quiere que sea

Definido

Continuo

Sostenible

Útil

¿Dónde estamos?

Evidencia indirecta

• ¿Qué pregunta la gente?

• ¿Qué dice la gente?

Evidencia directa

• Planes

• Informes

• Acreditación programática

• Propuestas curriculares

• Auditorías


14



Ejercicio 1: ¿Dónde estamos?


15

Auditar su avalúo

Los modelos de mejoramiento continuo pueden ser aplicados a cualquier proceso, incluso al avalúo mismo.


16



Auditarías

Cotejo o revisión cuidadosa de algo.

El proceso de evaluación o análisis de algo para determinar su precisión

Examen sistemático o verificación de algo

Mirar los "libros de avalúo"


17

18

Institucional

Programático

Curso/Sala de clase

CoIA: AE



Metas

Todo buen avalúo comienza con metas:

¿Qué queremos lograr con la auditoría?

¿Qué queremos saber?

• Presencia

• Calidad

• Proceso


19


Presencia:

¿Quién está o no está haciendo avalúo del aprendizaje estudiantil?

¿En qué parte del ciclo está cada programa académico?


20




Calidad:

¿Cuál es la calidad del avalúo?

¿Cuán sofisticado es?

¿Se está expandiendo el avalúo?• ¿Cada vez se hace más y se extiende a otras áreas

programáticas?

• ¿Se conocen más los resultados?

¿Está conectado a los resultados de educación general?• Dominios generales del RCM esbozados en las metas

institucionales 1 y 308/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez

21


Proceso:

¿Está siendo el avalúo discutido y utilizado?

¿Está el avalúo enlazado e informando la planificación y la toma de decisiones?

¿Está funcionando el proceso de coordinación del avalúo?

¿Es realista el tiempo?

¿Hay suficientes recursos y apoyo para el avalúo?

¿Qué capacitación es necesaria?

¿El proceso está alineado con las expectativas de las agencias acreditadoras?


22



¿Quién es la audiencia de

auditaría?

Interna

Liderato de avalúo

Liderato académico/administrativo

Facultad/Departamento

Estudiantes

Exalumnos

Externa

Agencias acreditadoras

Exámenes (“Boards”) del estado

Entidades federales

Estudiantes potenciales

Empleadores/La profesión


23

Preguntar dónde ocurre avaluación

Definir las unidades de análisis de la avaluación

• Institución

• Departamento

• Programas

• Educación General

• Todas las anteriores

Auditar la actividad de avaluación

• ¿Qué avalúan los programas?

• ¿Cómo informan y comparten los resultados?

• ¿Cómo es usada la avaluación para mejorar?08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez

24



¿Cuándo es un buen momento para

auditar?

Preparación para auto-estudio o informe de revisión periódica (“Periodic Review Report” -PRR)

Llegada de un nuevo líder

• Institución

• Avalúo / Investigación Institucional (II)

Cuando sea consistente con expectativas institucionales por la revisión del programa/ciclo de evaluación del programa (5, 7 ó 10 años)

¿Otro?08/03/2016Traducción adaptada: Prof. Lillian E. Ríos-Rodríguez

25

¿Cómo se quiere la información?

Resumen/Estatus

Cuantificada

Cualitativa vs cuantitativa

Retrato (“snapshot”)

• Fortalezas

• Debilidades

• Necesidades


26



La herramienta

Claro y fácil de entender

Razonablemente fácil de completar

Periodo de análisis definido

Aspectos en auditoría están alineados con lo que necesita/quiere saber

• Presencia

• Calidad


27

Seleccionar una herramienta


28



Analizar su progreso

Del mismo modo que alentamos a nuestros programas a considerar sus fortalezas y debilidades, podemos conducir un análisis de trabajo de avaluación para considerar lo que funciona y dónde podemos hacerlo mejor.


29

Recordar la intención

Auditar los programas individuales

Auditar todo avalúo

Determinar debilidades

Planificar para mejorar


30



Ejemplo31

Programa(una)

Escuela(varias auditorías)

Institucional(todas las auditorías)

¿Qué se puede aprender de la

auditoría?

¿Dónde está ocurriendo el avalúo? (presencia)

• Dónde hay lagunas (“gaps”)

¿Cuán robusto es? (calidad)

¿Cómo está siendo usado? (proceso)

• ¿Dónde es discutido el avalúo?

Cursos

Programas

Institución

¿Cómo lo podemos hacer mejor?


32

Documents

Avaluar nuestro avalúo: ¿Cómo lo estamos haciendo?coia.rcm.upr.edu/documentos/Presentaciones/2015-11-5_CoIA-AE... · Avaluar nuestro avalúo: ¿Como lo estamos haciendo? 11 de