Guía y materiales para el proceso de evaluación

Datos del programa provenientes de la OPEP y la Oficina del Registrador

La Oficina de Planificación Estratégica y Presupuesto (OPEP) y la Oficina del Registrador proveen muchos de los datos que el programa necesita para su auto-estudio. Cada programa es responsable de peticionar dicha data por escrito y por conducto de su Decano.

Formulario de Auto-estudio

El Formulario de Auto-estudio está compuesto por preguntas guía y tablas que son el punto de partida del Auto-estudio. Las mismas:

  • están organizadas en torno a las siete áreas que se van a evaluar
  • su propósito es ayudar a los comités de Auto-estudio a analizar críticamente los datos de su programa y verlo en el contexto de su facultad y el Recinto.

Estándares

El programa utilizará las Preguntas guía para analizar el estado del programa en las áreas de evaluación. El resultado de este análisis se comparará con los estándares de excelencia para determinar las acciones que haya que tomar para atender las necesidades y promover las fortalezas del programa.

Informe de Auto-estudio

Con el propósito de trascender la mera descripción de la información cuantitativa de un programa graduado se elaboró el Formulario de Auto-estudio. Dicho formulario debe ser entregado al DEGI, junto a los apéndices necesarios.

El formulario completado debe contribuir, sobre todo, al diseño de un plan de desarrollo, realista y realizable, que promueva las fortalezas del programa y atienda sus necesidades. Si bien cada programa tiene sus particularidades, el Informe de Auto-estudio provee cierto grado de homogeneidad en los informes que se rinden a los decanos, el/la Rector/a y a otras instancias. Esto ayuda a la gerencia académica a tomar decisiones informadas y en un tiempo razonable, partiendo de una idea más clara del lugar que ocupa el programa en su facultad y el Recinto.

El Informe de Auto-estudio debe contener todo lo siguiente:

  •  Portada: Debe incluir el nombre del programa, la fecha del auto-estudio y los nombres y firmas de los miembros del Comité de Auto-estudio, el Coordinador del programa, el Director del departamento y el Decano de la facultad. La copia en papel que se someta al DEGI debe contener las firmas originales de los miembros del Comité de Auto-estudio. También debe incluir la fecha de la reunión en la que el informe fue discutido por la facultad del programa.
  • Resumen ejecutivo: Dos (2) páginas donde se recojan los hallazgos sobresalientes del comité.
  •  Narrativo: Quince (15) a veinte (20) páginas donde se presenten las principales fortalezas y debilidades de los componentes incluidos en el Formulario de Auto-estudio y se reflexiona acerca de la relación entre los mismos y se ofrecen las recomendaciones pertinentes.
  •  El Formulario de Auto-estudio contestado en su totalidad. Según sea requerido por cada área de evaluación, deben presentarse hallazgos a partir de las preguntas guía y tablas de información del Formulario, así como el avalúo del aprendizaje estudiantil. El mismo se adjuntará como un apéndice del informe.
  • Apéndices:
    1. Formulario de Auto-estudio cumplimentado
    2. Toda información (tablas, gráficas y otros documentos adicionales) que evidencie o explique los hallazgos y las recomendaciones que aparecen en el informe
    3. Reacciones de la facultad del programa al informe.

Bosquejo del informe de evaluación externa

Al final de su visita, los evaluadores externos rendirán un informe que recogerá sus observaciones y recomendaciones para cada una de las áreas de evaluación. El informe de evaluación externa y el informe de Auto-estudio facilitarán el diseño del plan de desarrollo del programa.

El formato del informe de los evaluadores debe ser el siguiente:

  • Portada: Debe incluir el nombre del programa, la fecha de la visita y los nombres y firmas de los miembros del equipo evaluador.
  • Resumen ejecutivo: de un máximo de dos (2) páginas donde se recojan los hallazgos sobresalientes del equipo consultor.
  • Observaciones y recomendaciones para cada una de las áreas de evaluación.

Bosquejo del plan de desarrollo

El plan de desarrollo del programa graduado debe responder a los hallazgos y recomendaciones de los informes de Auto-estudio y evaluación externa, así como a las aspiraciones de desarrollo del programa. El formato del plan consiste de una tabla donde se detalle lo siguiente:

  • áreas críticas y áreas de excelencia que se van a desarrollar, debidamente identificadas
  • objetivos mensurables por áreas críticas o a desarrollar
  • actividades concretas para atender las áreas críticas y fortalecer las áreas de excelencia
  • asignación de recursos y responsables de ejecutar o supervisar las actividades concretas
  • tiempo estipulado para realizar las actividades concretas
  • indicadores de logros.

En cada programa evaluado se elaborará un Plan de Desarrollo después de la visita de los evaluadores externos. El plan será discutido y aprobado por la facultad del programa. El DEGI coordinará una reunión con el Decano de la Facultad, el director y el coordinador del programa evaluado para discutir el Plan de Desarrollo. Se firmará una carta-acuerdo para consignar el compromiso del Decano de la Facultad con el Plan de Desarrollo del programa.

Bosquejo del informe de progreso

El plan de desarrollo se implantará al semestre siguiente de su aprobación. Todo programa evaluado deberá rendir un informe de progreso en el tercer y quinto año de la implantación de su plan de desarrollo. Este informe se basará en las acciones y objetivos identificados en el plan de desarrollo. Contendrá un resumen ejecutivo de los logros del programa y una tabla donde se detalle lo siguiente:

  • cambios al Plan de Desarrollo con su debida justificación
  • progreso de las actividades en relación con los objetivos establecidos (completadas, en curso, retrasadas).

 

Etapas del proceso de evaluación

La evaluación de los programas graduados del Recinto consta de cinco etapas:

 

  1. Planificación inicial
  2. Auto-estudio
  3. Evaluación externa
  4. Plan de Desarrollo
  5. Monitoría

 

 

Planificación inicial

Al principio del semestre, el Decanato de Estudios Graduados e Investigación enviará la notificación a los coordinadores, directores y los decanos de la facultad de los programas que se van a evaluar en el año académico. Se convocará al programa a una reunión donde se explicará a los miembros del Comité de Auto-estudio el Plan de Evaluación.

Constitución del Comité de Auto-estudio y asignación de responsabilidades. El Comité de Auto-estudio debe estar constituido por:

  • tres (3) profesores
  • un (1) estudiante
  • un (1) miembro del personal no docente

Una vez constituido, el comité:

  • elegirá a un coordinador
  • elaborará el calendario de actividades
  • asignará responsabilidades a cada miembro
  • será responsable de validar los datos recopilados, así como de conseguir cualquier información necesaria para el auto-estudio
  • redactará el Informe de Auto-estudio
  • distribuirá el Informe de Auto-estudio entre la facultad del programa para recibir reacciones al mismo
  • incluirá las reacciones recibidas al Informe de Auto-estudio

El Coordinador del programa notificará al DEGI, por escrito y por conducto del Decano de su Facultad, la composición del Comité de Auto-estudio. Puesto que es deseable que en el Auto-estudio participen tantos miembros del programa como sea posible, el programa puede establecer un comité ad hoc que ayude al Comité de Auto-estudio durante el proceso. También puede involucrar a comités existentes, tales como el de currículo y el de personal.

Apoyo del DEGI . Durante la etapa de planificación inicial, el DEGI:

  • proveerá orientación sobre el proceso de evaluación
  • hará disponible las Guías y materiales para el proceso de evaluación en el portal electrónico del DEGI que contiene:
    1. formulario de auto-estudio
    2. estándares de excelencia
    3. instrucciones para llevar a cabo el auto-estudio y rendir el informe

Avalúo del aprendizaje Estudiantil

El punto de partida del proceso de evaluación es el avalúo del aprendizaje. Para este ciclo del Plan de Evaluación hemos escogido medir las competencias de:

  1. Investigación
  2. Pensamiento crítico
  3. Comunicación efectiva
  4. Conocimiento, destrezas y aptitudes propias de la disciplina
  5. Aprendizaje continuo

Los resultados de las intervenciones en cada programa se examinarán y documentarán en el informe de resultados del Plan de Avalúo. Este informe se tomará en cuenta durante la reflexión que se generará en la implantación del Auto-estudio del programa y que posteriormente se traducirá en el informe del Auto-estudio. El proceso de Avalúo del Aprendizaje Estudiantil se llevará a cabo conjuntamente con la Oficina de Evaluación y Avalúo Estudiantil (OEAE) del Recinto.

Auto-estudio

Proceso de reflexión crítica. El Auto-estudio es como una fotografía del programa tal y como está en el momento que se inicia el proceso.

El auto-estudio consiste en analizar críticamente:

  • la información relacionada con el funcionamiento del programa y el papel que éste desempeña en su Facultad, el Recinto y su disciplina
  • la calidad y pertinencia de los ofrecimientos, el desempeño y la proyección futura del programa, el análisis de los datos y la información del programa se hará a través del Formulario de Auto-estudio y la Guía del Plan de Avalúo del Aprendizaje Estudiantil que proveerá el DEGI con la colaboración de OEAE para cada una de las áreas que se van a evaluar. Estos consisten de una serie de preguntas guía y tablas, divididas en siete áreas principales para facilitar la recopilación y el análisis de la información. Básicamente, los formularios están diseñados como plantillas (templates) en Microsoft Word para que el programa pueda acopiar sus datos y contestar las preguntas trabajando directamente en él. Los programas pueden acceder los formularios electrónicamente y, una vez completados los mismos, el programa los enviará electrónicamente y en papel al DEGI.

Si el programa ha hecho un auto-estudio para fines de acreditación profesional, podrá utilizar los hallazgos de dicho estudio, con los debidos ajustes y modificaciones, para que incluya todos los estándares del DEGI. En el Informe de Auto-estudio, se deben explicar dichos ajustes o modificaciones.

Informe de Auto-estudio. Para facilitar el manejo de la información que proveerán los programas graduados del Recinto es necesario que los informes de Auto-estudio sigan el mismo formato, con las salvedades que apliquen a las disciplinas o los programas en particular. Para esto, el DEGI proveerá el formato para el informe del Auto-estudio en el área de Guía y materiales para el proceso de evaluación. El Comité de Auto-estudio deberá explicar cualquier ajuste o modificación a este bosquejo. El cuerpo del Informe de Auto-estudio debe:

  • tener en la hoja inicial los nombres y firmas de los miembros del Comité de Auto-estudio, además de las firmas del Decano de la Facultad, Coordinador y Director del programa graduado
  •  incluir en la hoja inicial la fecha de la reunión en que el Informe fue discutido por la facultad del programa
  • tener un resumen ejecutivo de dos (2) páginas con los hallazgos y recomendaciones más sobresalientes del proceso
  •  recoger en un narrativo de quince (15) a veinte (20) páginas los hallazgos del Comité en cada una de las áreas de evaluación y sus recomendaciones de acciones específicas para atender las áreas que necesitan atención en el programa y promover sus fortalezas
  • incluir cumplimentado, como apéndice, el formulario del Auto-estudio
  • incluir, cumplimentadas, todas las tablas que el DEGI provee para el auto-estudio
  • incluir todos los apéndices necesarios para evidenciar o explicar los hallazgos (tablas, estadísticas, prontuarios, vitaes de los profesores, propuesta de cambio académico y cualquier otra información que el Comité considere oportuna)

Una vez redactado el Informe de Auto-estudio, éste:

  • se distribuirá entre los miembros del programa, quienes tendrán dos semanas para someter sus reacciones por escrito al Coordinador del programa
  • incluirá las reacciones del programa
  • deberá someterse al DEGI el documento final, revisado y aprobado, en formato digital e impreso

El Informe de Auto-estudio es uno de los documentos principales que utilizarán los equipos de evaluadores externos para hacer sus observaciones y recomendaciones. Por tanto, requiere una identificación precisa de las fortalezas y debilidades del programa, así como un análisis crítico de las situaciones que le afectan y de sus necesidades más apremiantes.

Apoyo del DEGI. El DEGI proveerá apoyo y orientación continuos a lo largo del proceso de auto-estudio. Durante el período de reflexión crítica, el DEGI:

  • facilitará al programa los datos y la información disponible en su archivo académico
  • se hará cargo de la reproducción y distribución del informe entre el equipo de evaluadores externos, el Decanato de Asuntos Académicos, la Rectoría, el CEGI y demás instancias universitarias pertinentes

 

Evaluación externa

Todos los programas que participen en el proceso de evaluación del DEGI recibirán la visita de un equipo de dos evaluadores externos, nombrados por este Decanato, a partir de las recomendaciones de los miembros del Comité de Auto-estudio. Las visitas de evaluación externa se realizarán en los meses entre marzo y abril, en común acuerdo entre el programa y el DEGI. Este equipo, compuesto por dos expertos en la disciplina (académico y profesional) y un egresado del programa:

  • analizará el Informe de Auto-estudio
  •  hará una visita de dos días al programa, donde se reunirá con sus estudiantes, profesores y personal administrativo, así como con el Decano de la Facultad, el Decano de Asuntos Académicos, la Decana de Estudios Graduados e Investigación y la Rectora
  • redactará un Informe de Evaluación Externa

Informe de evaluación externa. Al final de su visita, el Equipo de Evaluadores Externos esbozará el borrador de un informe donde:

  • señalará las fortalezas y debilidades del programa
  • hará recomendaciones de acciones concretas para atender las áreas críticas y promover sus fortalezas.

 

Informe de Salida. Al final de su visita y de la entrega del borrador del informe, el Equipo de Evaluadores Externos presentará un informe oral de 15-20 minutos a los directivos del Programa y el DEGI donde:

  • resuman los hallazgos principales contenidos en el borrador del informe
  • hablen de su experiencia y contacto con los directivos , estudiantes y facultivos del programa

Después de la visita, el Equipo tendrá dos semanas para enviar la versión final por correo electrónico  o regular. El DEGI enviará copia del Informe Final de Evaluación Externa a los Directores de Departamento y Coordinadores de Programas Graduados, quienes, a su vez, se encargarán de distribuirlo entre los miembros del programa para que reaccionen y hagan recomendaciones, por escrito, en el plazo de dos semanas. Estas recomendaciones  se tomarán en cuenta en el diseño del Plan de Desarrollo del Programa. También el DEGI enviará copia del Informe Final de Evaluación Externa al Decano de la Facultad y al Decano de Asuntos Académicos.

 

 

Apoyo del DEGI. En el proceso de evaluación externa el DEGI:

 

  • Enviará los documentos  necesarios para la evaluación antes de la visita (Informe de Auto-estudio)
  • Sufragará parte de los gastos de las visitas de los equipos de evaluadores externos al Recinto

 

 

Plan de Desarrollo

Como resultado de los procesos de auto-estudio y evaluación externa, el programa evaluado debe crear un Plan de Desarrollo para los próximos cinco años que:

  • sea realista y realizable
  • atienda las áreas identificadas que necesitan mejorarse o desarrollarse
  • establezca prioridades
  • tenga acciones concretas
  • asigne responsabilidades
  • estipule el tiempo para el logro de las metas
  • presente indicadores de logro
  • incluya el presupuesto necesario

Esto sólo se puede lograr si el plan de desarrollo del programa se integra al del Decanato de su Facultad, al del Decanato de Estudios Graduados e Investigación y al del Recinto. Por tanto, es imprescindible que todas estas unidades trabajen conjuntamente en el diseño y la implantación del plan.

 

Monitoría

Tres años después del comienzo de la implantación del plan de desarrollo, el programa deberá rendir al DEGI su primer Informe de Progreso por conducto del Decano de su Facultad. Dos años después de este informe, rendirá un segundo informe que permitirá evaluar la implantación del Plan de Desarrollo a cinco años. En la Guía y materiales para el proceso de evaluación se incluye el bosquejo para el informe de progreso. Este informe deberá incluir:

  • las acciones completadas
  • las que están en proceso
  • los impedimentos para completarlas
  • cualquier cambio al plan de desarrollo

 

Antes de enviar el informe al DEGI, el coordinador lo someterá a los miembros del programa para recoger sus reacciones y recomendaciones por escrito, las cuales formarán parte del informe a modo de apéndice. El DEGI enviará un Informe Comprensivo del progreso de los programas a Rectoría, al Decanato de Asuntos Académicos y al CEGI. Este proceso de monitoría será uno continuo hasta la siguiente evaluación cuando comience el ciclo nuevamente y se utilizará, en la medida de lo posible, el Plan de Desarrollo implantado como punto de partida para la nueva evaluación.

 

Actividades del proceso de evaluación de los programas

La evaluación de un programa académico requiere la conjunción de datos y procesos para el análisis y formulación de planes, estrategias y metas. Este proceso debe completarse en un año.

Fases de la Evaluación Actividades Fecha
Auto-estudio (agosto - diciembre)
Selección de Comité de Autoestudio Se selecciona integrantes del Comité de Auto-estudio (tres profesores, un estudiante, un personal no-docente); se efectúa reunión de coordinador/a del programa con el Comité de Auto-estudio para distribución de materiales y asignación de tareas. agosto
Se identifica la experiencia curricular para el Avalúo del Aprendizaje Estudiantil en las competencias de: investigación, pensamiento crítico; comunicación efectiva; conocimiento, destrezas y aptitudes propias de la disciplina; aprendizaje continuo. agosto
Evaluación de Informe de Auto-estudio por profesores/as del Programa Comité de Auto-estudio entrega al Decano/a de Estudios Graduados de la Facultad el borrador del Informe de su programa (incluye Avalúo del Aprendizaje Estudiantil); se efectúan reuniones entre el Decano/a de Estudios Graduados y los coordinadores/as de programas para discutir el progreso del Informe. noviembre
Se completa el Informe y se entrega a los profesores/as del programa para sus reacciones; se entrega el Informe final de Auto-estudio a Decano/a de Estudios Graduados de la Facultad. diciembre
Evaluaciones y Plan de Desarrollo (enero –junio)
Evaluación de informe de Auto-estudio por Facultad Decano/a de Estudios Graduados presenta un informe del estado de situación (resumen) de la evaluación de los programas y se avala en primera reunión de la Facultad. enero-febrero 
Entrega del Informe de Auto-estudio al DEGI Decano/a de la Facultad envía el Informe de Auto-estudio al DEGI con fecha de la reunión en que se avaló en la Facultad. enero-febrero
Evaluación externa por pares Se envía documento de Auto-estudio al Comité de Evaluadores Externos. febrero
Comité de Evaluadores Externos visita 2 días el Recinto para reuniones con Coordinador/a del Programa, Director/a del Departamento, profesores y estudiantes, Decano/a de la Facultad y el DEGI. marzo
Una vez el equipo de evaluadores externos somete su Informe de Evaluación al DEGI, el mismo se enviará al Programa que tendrá dos semanas para enviar, por escrito, su reacción al DEGI. abril
Diseño del Plan de Desarrollo Como resultado de los documentos generados en el proceso de evaluación y las reuniones sostenidas con decanos, directores y coordinadores, el Programa redactará un Plan de Desarrollo (preferiblemente en inglés) que atienda las áreas señaladas en los informes, establezca prioridades, personas responsables y tiempo para la consecución de las metas y objetivos establecidos. Este es un plan para los próximos 5 años y debe incluir el presupuesto necesario. mayo
Director/a del Programa entrega al DEGI el Plan de Desarrollo por conducto de su Decano/a de Facultad. junio
Reunión del DEGI con la gerencia del Programa y Decano/a de Facultad para formalizar el apoyo que se le brindará al Programa. Firma de carta-acuerdo para consignar el compromiso de Decano/a de Facultad con el Plan de Desarrollo del Programa. junio-julio
Informe al CEGI y al Senado Académico El DEGI presentará al CEGI y al Senado Académico el Informe del Estado de Situación de los Programas Graduados Evaluados en el Ciclo. Incluirá las fortalezas y debilidades de los programas y los compromisos de desarrollo y mejoramiento. Reunión Ordinaria del CEGI
El Informe del Estado de Situación de los Programas Graduados Evaluados en el Ciclo se presentará al DAA y a la Rectoría del RRP, y se remite a la Vicepresidencia y a la Presidencia de la UPR.  
Informe de Progreso del Plan de Desarrollo Al cabo de 3 años de la implantación de su Plan de Desarrollo, el Programa rendirá el Informe de Progreso a su Decano de Facultad y al DEGI.  
Al cabo de 5 años de la implantación de su Plan de Desarrollo, el Programa rendirá el Informe de Progreso a su Decano de Facultad y al DEGI. A partir de esta fecha, el Programa comenzará los preparativos para su próxima evaluación.  

Logística del Plan de Evaluación de los Programas Graduados del Recinto de Río Piedras

El Plan de Evaluación de los Programas Graduados del DEGI contempla la evaluación anual de programas de forma tal que en un período de 5 años todos los programas graduados del Recinto hayan sido evaluados. En el caso de los programas que tienen acreditación profesional, la evaluación del DEGI se alinea con la acreditación de forma que el programa pueda cumplir con ambas evaluaciones simultáneamente.

Si bien el Plan de Evaluación de los Programas Graduados promueve que todos los programas se sometan a una evaluación periódica sumativa, la evaluación continua o formativa debe ser una de las tareas regulares de la gerencia académica graduada.

Estándares de Excelencia para los Programas Graduados del Recinto de Río Piedras

El modelo del Plan de Evaluación incorpora estándares comunes a una variedad de entidades reconocidas y añade estándares, para todas las áreas, que son cónsonos con las expectativas de excelencia en un recinto doctoral de investigación.

Para desarrollar los Estándares de Excelencia para los Programas Graduados del Recinto de Río Piedras se tomaron en consideración los criterios y estándares de evaluación:

Los estándares desarrollados sirven de guía a los programas para reflexionar sobre su pertinencia, efectividad y eficiencia.