1

MANUAL DE PROCEDIMIENTOS PARA

AUTOEVALUACIÓN, EVALUACIÓN EXTERNA Y DE

PARES EVALUADORES

Eje Temático 1 Modelos Educativos y Sistemas de Calidad

Plan de acción RIAEJ 2011 - 2013 Red Iberoamericana de Escuelas Judiciales - RIAEJ

Septiembre de 2013

2

Contenido 1. MARCO REFERENCIAL.................................................................................................................. 4

1.1 Antecedentes .............................................................................................................................. 4

1.2 Sentido y alcance del Mecanismo de evaluación externa de programas de formación judicial

RIAEJ. ................................................................................................................................................... 4

1.3 Responsabilidades de las instancias decisorias para la Acreditación ......................................... 5

2. EL PROCESO DE AUTOEVALUACIÓN RIAEJ .................................................................................. 6

2.1 Generalidades ............................................................................................................................. 6

2.2 Conformar el comité operativo de autoevaluación .................................................................... 7

2.3 Socializar proyecto de implementación de la norma y procedimiento de autoevaluación ....... 8

2.4 Ponderar factores y características de calidad ........................................................................... 8

2.5 Identificar las fuentes de verificación de la información ............................................................ 8

2.6 Recolectar información (encuestas de opinión) ......................................................................... 9

2.7 Realizar calificación de las características de calidad ................................................................. 9

2.8 Consolidar informe de autoevaluación y plan de mejoramiento ............................................. 10

3. EL PROCESO DE ACREDITACIÓN RIAEJ ...................................................................................... 11

3.1 Convocatoria ............................................................................................................................. 11

3.2 Solicitud voluntaria de evaluación externa - acreditación y su aprobación por parte de la Junta

Directiva de la RIAEJ .......................................................................................................................... 11

3.3 Preparación de la documentación por la Escuela Judicial o Centro de Formación Judicial y

envió de documentación a la Secretaria General ............................................................................. 12

3.3.1 Información Institucional .................................................................................................. 13

3.4 Constitución del Equipo de Pares y realización de la reunión previa a la visita ....................... 13

3.5 La visita del Equipo de Pares ..................................................................................................... 14

3.6 Informe del Equipo de Pares ..................................................................................................... 14

3.6.1 Informe preliminar ............................................................................................................ 14

3.6.2 Observaciones de la Institución al informe preliminar ..................................................... 14

3.7 Dictamen acerca de la acreditación e información a instancias RIAEJ ..................................... 15

4. MARCO PARA LA EVALUACIÓN ................................................................................................. 16

4.1 Introducción .............................................................................................................................. 16

4.2 Requisitos .................................................................................................................................. 17

3

4.2.1 Contexto Institucional ....................................................................................................... 17

4.2.2 Paradigmas Curriculares .................................................................................................... 18

4.2.3 Formadores y Formadoras ................................................................................................ 18

4.2.4 Recursos (Físicos, Informáticos, Apoyo Docente, Bibliográficos y Financieros) ............... 18

4.2.5 Discentes / Estudiantes ..................................................................................................... 18

4.2.6 Investigación ..................................................................................................................... 19

4.2.7 Proyección social ............................................................................................................... 19

4.2.8 Evaluación y mejoramiento continuo ............................................................................... 19

5. EL EQUIPO DE PARES ................................................................................................................. 20

5.1 Quienes son los Pares Evaluadores ........................................................................................... 20

5.2 Constitución de los Equipos de Pares ....................................................................................... 21

5.3 Funciones del Equipo de Pares .................................................................................................. 21

5.4 Compromisos y normas de conducta de los Pares Evaluadores ............................................... 22

5.5 Coordinador del Equipo de Pares .............................................................................................. 23

6. EVALUACION EXTERNA ............................................................................................................. 24

6.1 Sentido y función de la evaluación externa .............................................................................. 24

6.2 Análisis y antecedentes para la Evaluación Externa ................................................................. 25

6.2.1 Análisis de antecedentes documentales y acciones preparatorias de la visita ................ 25

6.2.2 Identificación de puntos críticos para evaluación ............................................................. 26

6.3 La visita de evaluación............................................................................................................... 26

6.3.1 La preparación de la visita ................................................................................................. 26

6.3.2 La visita de evaluación externa ......................................................................................... 28

6.4 El informe del Equipo de Pares ................................................................................................. 30

6.4.1 Contenidos ........................................................................................................................ 30

6.4.2 Procedimiento ................................................................................................................... 31

6.4.3 Formato del informe ......................................................................................................... 31

Anexos ............................................................................................................................................... 32

Bibliografía ........................................................................................................................................ 32

4

1. MARCO REFERENCIAL CONTENIDO 1.1. Antecedentes 1.2. Sentido y alcance del Mecanismo de Acreditación de Programas de formación judicial. 1.3. Responsabilidades de las instancias decisorias para la Acreditación RIAEJ

1.1 Antecedentes

El eje temático relacionado con modelos educativos y sistemas de gestión se viene desarrollando en los tres últimos planes de acción de la RIAEJ, en el plan de acción 2007-2009 se realizó observatorio y capacitación virtual sobre este tema con las Escuelas Judiciales y Centros de Formación RIAEJ, en el plan de acción 2009-2011 se desarrollo el estándar que contiene los diferentes criterios de calidad aplicables a los programas de formación judicial que se ofrecen en las Escuelas Judiciales y Centros de Formación RIAEJ, dicho estándar fue documentado como Norma de Calidad RIAEJ NCR 1000:2011. Para el actual plan de acción 2011-2013, el cual se encuentra finalizando, se estableció como meta que se implemente el estándar de calidad (NCR 1000:2011), en por lo menos tres Escuelas Judiciales o Centros de Formación RIAEJ, para lo cual se definió como manera de evidenciar el grado de implementación a través de un mecanismo de evaluación externa, lo cual se denomino acreditación experimental, es por esto que se justifica la definición de diferentes directrices relacionadas con el tema a través de este manual.

1.2 Sentido y alcance del Mecanismo de evaluación externa de

programas de formación judicial RIAEJ. El Mecanismo evaluación externa de programas de formación judicial de la RIAEJ tiene por objetivo evidenciar el grado de implementación de la Norma de Calidad RIAEJ NCR 1000:2011 en por lo menos tres Escuelas Judiciales y Centros de Formación Judicial (meta que se estableció en el plan de acción 2011 – 2013 para el eje temático 1), evaluar la aplicabilidad de los requisitos NCR 1000:2011 para las Escuelas Judiciales y Centros de Formación Judicial y evaluar la aplicabilidad de las directrices contenidas en el presente Manual. Para lo cual se sometieron a evaluación las Escuelas Judiciales de cuatro países: Colombia, Costa Rica, España y Republica Dominicana, con muy buenos resultados respecto a la implementación de dicha norma. La adhesión al Mecanismo de evaluación externa con fines de acreditación de programas de formación judicial es voluntaria para las Escuelas Judiciales y Centros de Formación Judicial Publica que hacen parte de la RIAEJ. La legislación aplicable en cada país y la autonomía de las instituciones serán respetadas durante todo este proceso. Dentro de los beneficios que trae para una Escuelas Judicial o Centro de Formación Judicial Publico, participar en este ejercicio de evaluación externa se pueden citar.

5

La evaluación de la calidad del programa de formación judicial por parte de Pares evaluadores independientes.

La identificación de las fortalezas y debilidades del programa de formación judicial y a su vez de la Institución.

El mejoramiento continuo que conlleva dicho proceso.

El reconocimiento por parte de la RIAEJ, de la entidad de la cual depende la institución y de la comunidad en general que se beneficia de los servicios educativos.

La Acreditación será periódica, hecha de acuerdo a parámetros de calidad previamente definidos para la RIAEJ, expresados en la Norma de Calidad de la RIAEJ NCR 1000:2011 aprobada desde la Asamblea General celebrada en Cartagena Colombia en octubre de 2011. Dichos parámetros aseguran la evaluación de los programas de formación judicial de manera integral.

1.3 Responsabilidades de las instancias decisorias para la

Acreditación Asamblea General de la RIAEJ

Aprobar los requisitos de calidad comunes para las Instituciones que hacen parte de la RIAEJ o cualquier modificación que se realice a la Norma de Calidad RIAEJ NCR 1000:2011.

Junta Directiva de la RIAEJ

Definir la fecha de entrega de la Información Institucional y de Autoevaluación.

Conformar el Equipo de Pares de acuerdo con las características del programa de formación judicial a evaluar y a las directrices dadas en este manual.

Fijar un plazo para que la Institución pueda oponerse, fundamentadamente, a algún (nos) de los integrantes del Equipo de Pares. En el caso de que eso ocurra, sustituirlo.

Comprobar que la Institución y su programa(s) cumplen con los requisitos establecidos por la RIAEJ y emitir un dictamen de acreditación con base en la recomendación del Equipo de Pares.

Disponer de las medidas que estime necesarias para el funcionamiento adecuado del Mecanismo de Acreditación RIAEJ

Resolver, en caso de impugnación de un dictamen de acreditación, el problema que se suscite, convocando para tal efecto a una comisión de expertos

Recibir de parte de la Secretaria General su evaluación del funcionamiento del Mecanismo de Acreditación.

Aprobar cualquier actualización de este manual. Secretaria General de la RIAEJ

Convocar a la Acreditación de programas de formación judicial

Recibir de las Instituciones la subscripción voluntaria de un programa de formación Judicial específico al proceso de acreditación RIAEJ.

6

Comunicar a la Junta directiva de la RIAEJ sobre la solicitud enviada por alguna institución que hace parte de la RIAEJ al proceso de acreditación.

Recibir de la Institución el Informe de Autoevaluación, el plan de mejoramiento y demás documentación institucional y distribuirlo oportunamente a los integrantes del Equipo de Pares.

Promover, coordinar y orientar la reunión preparatoria del Equipo de Pares.

Recibir el informe preliminar del Equipo de Pares y enviarlo a la Institución, informándole de los puntos críticos identificados por los Pares Evaluadores y solicitándole la información adicional, si esta fuere solicitada por los Pares Evaluadores.

Devolver al Equipo de Pares su informe preliminar con las informaciones complementarias de la Institución y recibir sus observaciones en un Informe Final.

Mantener un registro actualizado con los resultados del proceso de evaluación externa - acreditación.

Divulgar los resultados y conclusiones de la evaluación externa - acreditación

Recibir de parte de la Junta Directiva de la RIAEJ el dictamen de acreditación y hacerlo público a nivel de las instituciones que hacen parte de la RIAEJ

2. EL PROCESO DE AUTOEVALUACIÓN RIAEJ CONTENIDO 2.1 Generalidades 2.2 Conformar el comité operativo de autoevaluación 2.3 Socializar proyecto y procedimiento de autoevaluación 2.4 Ponderar factores y características de calidad 2.5 Identificar las fuentes de verificación de la información 2.6 Recolectar información (encuestas de opinión) 2.7 Realizar calificación de las características de calidad 2.8 Consolidar informe de autoevaluación y plan de mejoramiento

2.1 Generalidades La institución debe concebir La autoevaluación como el balance y revisión permanente de sus actividades de formación judicial, investigación y proyección social, a través de la confrontación con el entorno social y el impacto que en él se genera. Este proceso se debería convertir en el insumo para el establecimiento de los objetivos estratégicos y la definición de los proyectos institucionales; es decir, es la base para la implementación del proceso de mejoramiento continuo. Se debe aplicar la herramienta de autoevaluación definida para cada programa de formación que se va a incluir dentro del alcance de la implementación de la Norma de Calidad RIAEJ NCR 1000:2011; los factores y características de calidad que son transversales tendrán la misma calificación para cada programa evaluado, para los factores y características que son específicos para los programas de formación, tendrán una calificación particular, por lo tanto se debe

7

diligenciar la herramienta de autoevaluación para cada programa de formación que haga parte del alcance definido. Se recomienda que se apliquen encuestas diseñadas para conocer la percepción de discentes y formadores, a través de un acceso electrónico con el fin de facilitar, por una parte a los discentes y formadores el diligenciamiento de la encuesta (acompañado de estrategias que motiven su diligenciamiento); y por la otra a la institución, el proceso de tabulación de la información recopilada. METODOLOGIA PARA LA AUTOEVALUACIÓN El modelo es tanto cualitativo como cuantitativo; en este sentido, la aplicación del proceso de autoevaluación con fines de acreditación, combina ambas opciones. CUANTITATIVO: A través de la aplicación de una encuesta de autoevaluación, la cual se aplicará a los miembros de la comunidad académica, con el fin de identificar sus percepciones frente a los lineamientos dados para verificar las condiciones de alta calidad. Los datos cuantitativos son un soporte fundamental en la definición de planes de mejoramiento. CUALITATIVA: A través de la realización de talleres o conversatorios (de ser necesario), para profundizar en los elementos identificados en la autoevaluación cuantitativa, esta autoevaluación justifica y fortalece los planes de mejoramiento. ESTRUCTURA Conformar a nivel interno un grupo de trabajo encargado de liderar cada una de las etapas para la verificación de las condiciones requeridas. Este grupo debe estar conformado con miembros específicos del programa de formación que se desee someter a acreditación experimental, este equipo se podría denominar Comité operativo de autoevaluación. MODELO DE PONDERACIÓN: Basado en los requisitos (Factores y características de calidad, los factores agrupan las características) contenidos en la Norma de Calidad RIAEJ – NCR1000:2011, las características de calidad son las que constituyen el elemento central del modelo de ponderación. La ponderación se debe realizar teniendo en cuenta las características consideradas en la Norma de Calidad RIAEJ – NCR1000:2011 y su importancia,

contribución e impacto en los objetivos institucionales,

desarrollo del modelo educativo,

la calidad del servicio de formación y

la satisfacción de las partes interesadas (comunidad académica).

2.2 Conformar el comité operativo de autoevaluación

8

Conformar el comité operativo de autoevaluación de tal forma que se encargue de orientar y coordinar el proceso de autoevaluación de acuerdo a las directrices dadas en este manual.

Este comité puede estar conformado por el Director de la institución (quien lo presidirá), Coordinador académico, Coordinador administrativo y Coordinadores de los programas de formación, cuando sea necesario pueden invitar a representante de los discentes, representante de los formadores y demás actores de la comunidad académica.

Dependiendo de la complejidad de la institución y de la cantidad de programas de formación a incluir dentro del alcance del proyecto, este comité podría designar líderes para cada uno de los factores (capítulos) de la Norma de Calidad RIAEJ – NCR1000:2011 con el fin de facilitar su calificación.

2.3 Socializar proyecto de implementación de la norma y procedimiento

de autoevaluación Socializar el cronograma del proyecto de implementación de la Norma de Calidad RIAEJ – NCR1000:2011 y el procedimiento y de autoevaluación por parte del comité operativo de autoevaluación a la comunidad académica con el fin de involucrarlos en el proyecto, utilizando diferentes estrategias como plataforma virtual, boletines, reuniones entre otras.

2.4 Ponderar factores y características de calidad Realizar reconocimiento diferenciado de la importancia relativa de las características de calidad

contenidos en la NCR1000:2011.

Primero se pondera los factores y luego las características de acuerdo con el peso relativo que

tiene cada uno de estos dentro del conjunto y a su impacto sobre la calidad del programa de

formación, esto se realiza en la Herramienta de autoevaluación, por parte del Comité operativo de

autoevaluación.

La ponderación dada debe resultar de un análisis cualitativo sobre la incidencia de cada factor y

característica de calidad en la totalidad determinada.

Esta ponderación inclusive podría ser diferente dependiendo del programa de formación respecto al cual se realizara la autoevaluación.

2.5 Identificar las fuentes de verificación de la información Identificar las fuentes de verificación de la información (histórica, observación u opinión).

Para las fuentes de verificación de opinión se deben diseñar los instrumentos (encuestas) a utilizar

con la comunidad académica (discentes, formadores y personal administrativo), estos deben ser

9

elaborados en función de las características contenidas en la Norma de Calidad RIAEJ

NCR1000:2011.

Respecto a la información histórica se debe garantizar tener disponibles los documentos de los procesos académicos y administrativos con el fin de verificar el cumplimiento de las características de calidad (ej.: oferta de formación, modelo educativo, currículos, planes de estudio, resultados de las evaluaciones del proceso de formación, resultado de indicadores, resultado de auditorías, publicaciones etc.).

2.6 Recolectar información (encuestas de opinión) Definir a quienes se les debe aplicar los instrumentos definidos utilizando muestreo significativo.

La aplicación de dichas encuestas debe ser a miembros de la comunidad académica por cada

programa de formación que haga parte del alcance del proyecto de implementación de la NCR

1000:2011.

Para las mediciones de apreciación se puede realizar encuestas a través de medios electrónicos (ej.: google docs.) ó mediante entrevistas personales a la comunidad universitaria seleccionada.

2.7 Realizar calificación de las características de calidad Asignar un valor de 2, 3, 4 ó 5 (deficiente, normal, bueno, excelente) de manera objetiva, a cada

característica de calidad de acuerdo al grado de implementación de la respectiva característica, el

soporte para cada calificación debe estar soportado en las fuentes de información antes

relacionadas.

Respecto a cada calificación asignada se debe relacionar los soportes con los que cuenta la institución y que faltaría para cumplir la totalidad del requisito (para alcanzar una calificación de 5).

Escala Valor

asignado Descripción

Excelente 5

Claramente la característica y sus indicadores (productos) corresponden al de un programa de formación o institución de vanguardia. El programa como la institución es consciente de su fortaleza y dispone de los mecanismos institucionales y culturales para mantenerla.

Bueno 4

La característica y sus indicadores (productos) se encuentran en el promedio de programas de formación de calidad. Se evidencian mecanismos en acción que permiten inferir que los indicadores pueden ser no sólo mantenidos, sino mejorados en el futuro, y la tendencia parece corroborar este aspecto. El programa ha identificado esta fortaleza y trabaja en mecanismos para mejorarla.

Normal 3 Los indicadores (productos) del respectivo factor o característica son justos. Se

10

encuentran por debajo de programas académicos o instituciones de calidad. Si bien es posible que estos indicadores (productos) puedan mejorarse, se requiere de acciones y medidas suplementarias. El programa de formación como la institución es consciente de la debilidad que tiene, y dispone de mecanismos claros y concretos para superarla.

Deficiente 2

Existen dificultades importantes en la respectiva característica, al punto de que si no se toman medidas importantes, los indicadores (productos) que la conforman no podrán ser mejorados. Igualmente, estos indicadores se encuentran muy lejanos de los deseables en una institución de educación de vanguardia, y por debajo de los de una institución de calidad. La institución no tiene mecanismos, políticas y acciones concretas y específicas para resolver la debilidad, o esta parece no haber sido correctamente identificada. La coyuntura actual no permite resolver la debilidad.

Ver ANEXO 1_Herramienta de autoevaluación

2.8 Consolidar informe de autoevaluación y plan de mejoramiento El informe de autoevaluación presentado, basado en la matriz de autoevaluación, es el resultado

de proceso de autoevaluación hecho en el programa de formación judicial para averiguar si este

cumple con los requisitos de calidad establecidos en la Norma de Calidad RIAEJ NCR 1000:2011.

Los principios generales para la elaboración del informe son los siguientes

Información básica del programa de formación (denominación, año de inicio de actividades,

numero de promociones, número de beneficiarios, plan de estudios y aspectos relevantes del

currículo)

El informe de autoevaluación debe comparar el desempeño del programa de formación judicial esencialmente con los requisitos de calidad establecidos para el programa de formación en NCR 1000:2011. Adicionalmente, debe tomar en consideración sus propias metas y objetivos.

Debe incorporar una adecuada combinación de elementos descriptivos y analíticos, incluyendo evidencia comprobable de las afirmaciones hechas.

Debe hacer referencia tanto a las fortalezas del programa de formación judicial y de la Institución que lo ofrece como a sus debilidades, y en el caso de estas últimas, debe hacer referencia a sus causas y a las medidas que se propone adoptar para superarlas (plan de mejoramiento, plan de trabajo o plan de acción).

Debe definirse un plan de plan de mejoramiento, plan de trabajo o plan de acción que permita superar las debilidades encontradas.

El informe y plan de mejoramiento debe estar avalado por el Director de la Institución y se

deberían socializar los resultados de la autoevaluación

Ver ANEXO 2_Informe de autoevaluación

11

3. EL PROCESO DE ACREDITACIÓN RIAEJ CONTENIDO 2.1. Convocatoria 2.2. Solicitud de acreditación y su aprobación por parte de la Junta Directiva de la RIAEJ 2.3. Preparación de la documentación por la Escuela Judicial o Centro de Formación Judicial y envió de documentación a la Secretaria General 2.4. Constitución del Equipo de Pares y realización de la reunión previa a la visita 2.5. Visita del Equipo de Pares 2.6. Informe del Equipo de Pares 2.7. Dictamen acerca de la acreditación e información a instancias RIAEJ

3.1 Convocatoria La Secretaria General envía convocatoria a las Escuelas Judiciales o Centros de Formación Judicial Pública (Institución) que hacen parte de la RIAEJ, para participar en el mecanismo de evaluación externa - acreditación, esta convocatoria se realiza vía correo electrónico dirigido a los máximos dirigentes de las Instituciones y se publica en la página web de la RIAEJ. Para lo cual se establecen los siguientes requisitos paras las Instituciones que deseen participar de manera voluntaria: 1. Haber hecho parte del proyecto del eje temático relacionado con la implementación de la

Norma de Calidad RIAEJ NCR 1000:2011.

2. Haber enviado la autoevaluación respecto al programa de formación judicial de acuerdo a los

requisitos de la Norma de Calidad RIAEJ NCR 1000:2011, y

3. Haber formulado e implementando plan de mejoramiento (plan de trabajo) derivado de dicha

autoevaluación.

3.2 Solicitud voluntaria de evaluación externa - acreditación y su

aprobación por parte de la Junta Directiva de la RIAEJ Las Escuelas Judiciales o Centros de formación Judicial Públicos de la RIAEJ que deseen participar deben trasmitir su interés mediante solicitud dirigida a la Secretaria General de la RIAEJ vía correo electrónico, indicando el programa de formación judicial a acreditar, dicha comunicación debe estar firmada por la más alta instancia de la institución (Ej.: Director). La Secretaria General de la RIAEJ, una vez recibida la solicitud y comprobado que la institución y el programa de formación cumplen con los requisitos establecidos, seguirá los procedimientos que se haya definido en este manual para proceder a la acreditación.

12

Cada una de las partes debe asumir compromisos, de acuerdo a su rol, sobre el correcto desempeño del proceso de Acreditación de los programas de formación judicial, tales como: a. En el caso de la institución, ésta se compromete a: (i) llevar a cabo en el respectivo programa de formación judicial, el procedimiento de auto evaluación y sujetarla a la evaluación externa por Pares Evaluadores, en los términos aprobados por la Junta Directiva de la RIAEJ; (ii) entregar a la Secretaria General de la RIAEJ la información requerida, incluyendo la autoevaluación realizada; (iii) hacer un seguimiento a partir de los resultados de la acreditación practicada y considerar en su plan de desarrollo (de acción, de trabajo o de mejora) la implementación de las acciones sugeridas en el informe de acreditación. b. En el caso de la Secretaria General de la RIAEL, ésta se compromete a: (i) practicar los procedimientos de evaluación RIAEJ con integridad e independencia; (ii) respetar la confidencialidad de la información que tenga carácter reservado; (iii) desarrollar las actividades de asistencia técnica necesarias para facilitar la aplicación de los procedimientos de acreditación; (iv) cumplir con las normas básicas para la acreditación definidos en este manual, (v) informar a la Junta Directiva de la RIAEJ los resultados del proceso. El mecanismo de financiamiento del proceso de acreditación (desplazamientos aéreos y terrestres y manutención del Equipo de Pares durante la visita de evaluación) debe ser asumido par la Institución que realiza la solicitud, las actividades que realice el Equipo de Pares para este proyecto de acreditación es ad honorem. La respuesta de la Secretaria General de la RIAEJ debe enviarse a la institución en un plazo máximo de quince días, desde la fecha de presentación de la solicitud.

3.3 Preparación de la documentación por la Escuela Judicial o Centro de Formación Judicial y envió de documentación a la Secretaria General

Las Instituciones incorporadas al Mecanismo de Acreditación de programas de formación judicial deben preparar la documentación necesaria para que éste se lleve a cabo. Para ello, es necesario diligenciar la matriz de autoevaluación, una vez completada la autoevaluación (posterior a la aprobación de la solicitud de acuerdo a la convocatoria del paso anterior), la institución envía correo electrónico a la Secretaria General de la RIAEJ, con el fin de que ésta pueda preparar el proceso de evaluación externa RIAEJ en las fechas definida por la Junta Directiva de la RIAEJ. La Secretaria General de la RIAEJ revisa la documentación enviada con el fin de verificar que contengan la información mínima requerida y en caso de que lo considere necesario, solicita a la institución los antecedentes faltantes. La información mínima requerida es la siguiente:

Matriz de autoevaluación e informe de autoevaluación diligenciada para el programa de formación que desea acreditar

Normatividad general aplicable, manual institucional (o su equivalente), modelo pedagógico, macro currículo del programa a acreditar (o su equivalente), entre otra información que pueda

13

ser necesaria para que el Equipo de Pares comprenda adecuadamente los procesos institucionales y el funcionamiento general del programa de formación judicial

3.3.1 Información Institucional La información Institucional tiene por objeto recoger y presentar los antecedentes correspondientes al contexto institucional en que se desarrolla el programa de formación judicial. En anexo se adjunta la pauta para la presentación de la Información Institucional, el que contempla las siguientes áreas:

Datos institucionales básicos, que identifican la institución a la que pertenece el programa de formación judicial y sus sedes, y recogen información acerca del tamaño de la institución.

Historia institucional, en la que se entrega información sobre el perfil de la institución, sus áreas concentración y su constitución legal.

Estructura organizacional académica y administrativa, en la que se describen las instancias de dirección, su composición, atribuciones y mecanismos de elección o designación de sus integrantes.

Actividades académicas, referidas a los procesos de enseñanza, investigación y extensión.

Recursos dedicados a la actividad académica (aula virtual, biblioteca etc.).

Evaluaciones de calidad realizadas al a la Institución o similares.

3.4 Constitución del Equipo de Pares y realización de la reunión previa a

la visita La Junta Directiva de la RIAEJ designa el Equipo de Pares que visitará la Institución para evaluar el programa de formación judicial, de acuerdo a las directrices definidas en el presente Manual, e informa al respecto a la Institución. La Institución tiene el derecho de recusar a alguno de los miembros del Equipo de Pares, siempre que proporcione razones fundadas para ello. Una vez hecha la designación por parte de la Junta Directiva, la Secretaria General comunica al designado para que exprese, bien su aceptación, o que decline su designación de manera motivada, dentro de esta motivación debería contemplarse por ejemplo eventuales causales de impedimento entre otras razones. En el caso que no se expresen los motivos para declinar el nombramiento se entiende aceptada la designación. Aceptada la designación, se expide un acto mediante el cual se deja en firme y a partir de ahí se entiende que el designado es parte del equipo evaluador. El Equipo de Pares inicia su trabajo con el análisis de la información y antecedentes presentados por la institución. Esta etapa exige que los Pares Evaluadores estén familiarizados con las directrices establecidas para la Acreditación RIAEJ en el presente manual y los requisitos de calidad descritos en la Norme de Calidad RIAEJ NCR 1000:2011 que se aplican al programa de formación judicial evaluado y estudien detenidamente lo información institucional y de auto evaluación presentados por la Institución. A partir de este análisis, identificarán la información complementaria que requieren solicitar para la evaluación.

14

Con estos antecedentes y en un plazo pertinente, se efectúa una reunión preparatoria de la visita, con el fin de definir el programa de la misma e intercambiar puntos de vista acerca del proceso de evaluación externa. En esa reunión se determina también la información adicional que es preciso solicitar a la institución, tarea que corresponde a la Secretaria General de la RIAEJ.

3.5 La visita del Equipo de Pares Uno de los elementos centrales de la evaluación externa es la visita que se efectúa a la Institución. Durante la visita, los Pares Evaluadores deberán verificar en terreno las conclusiones del informe de autoevaluación (matriz), así como conocer las opiniones de directivos, formadores, discentes y otros actores relevantes. En el capítulo 5 de este Manual se analiza en detalle la evaluación externa, incluyendo las condiciones que debe satisfacer la visita de Pares Evaluadores.

3.6 Informe del Equipo de Pares

3.6.1 Informe preliminar A partir del análisis de los antecedentes recibidos de parte de la Institución y de la Secretaria General de la RIAEJ, y de las observaciones realizadas durante la visita, los Pares Evaluadores elaboran un informe preliminar que contiene sus principales observaciones con relación al cumplimiento de los requisitos de calidad RIAEJ establecidos para el programa de formación judicial que se está evaluando. Dicho informe se organiza en la forma señalada en el capítulo 5 del presente Manual, y se presenta a la Secretaria General de la RIAEJ en un plazo de 15 días contados desde el término de la visita. La Secretaria General de la RIAEJ, dentro de los quince días siguientes a la recepción conforme de dicho documento, lo remite a la Institución, con el fin de que ésta lo conozca y si es necesario, formule sus observaciones.

3.6.2 Observaciones de la Institución al informe preliminar Como se señaló más arriba, la Institución tiene la oportunidad de conocer el informe de los Pares Evaluadores y puede aprovechar para hacer presente a la Secretaria General de la RIAEJ en caso de que éste contenga errores o presente omisiones que pudieran afectar la validez de los juicios emitidos. En ese caso, la Institución debe presentar completa la información errónea o faltante,

15

con los documentos de respaldo que sea necesario. Para ello tiene un plazo de quince días, desde la fecha de recepción del informe preliminar.

3.6.3 Informe final del Equipo de Pares En caso que la Institución formule observaciones al informe preliminar del Equipo de Pares, éstos deben hacerse cargo de ellas en la elaboración de su informe final en un plazo de quince días contados desde la recepción de las observaciones. Si no hay observaciones, se entiende que el informe preliminar constituye el informe final del Equipo de Pares.

3.7 Dictamen acerca de la acreditación e información a instancias RIAEJ La Junta Directiva de la RIEAJ debe pronunciarse sobre la acreditación RIAEJ del programa de formación judicial dentro de los treinta días siguientes a la recepción del informe final del Equipo de Pares. Para emitir su dictamen debe tomar en consideración los siguientes antecedentes:

Los resultados de la autoevaluación realizada por la Institución.

La opinión del Equipo de Pares en relación a la información institucional y a la autoevaluación efectuados por el programa de formación.

La opinión del Equipo de Pares en relación a los criterios de calidad definidos para el programa de formación judicial y su recomendación en cuanto al resultado global del proceso de Acreditación RIAEJ.

El grado de cumplimiento de las metas y objetivos institucionales.

Otros antecedentes legales o reglamentarios propios de las disposiciones nacionales a las que pertenece la Institución.

La Junta Directiva de la RIAEJ podrá emitir uno de los siguientes dictámenes: a) En caso de que el programa de formación judicial cumpla satisfactoriamente con los requisitos de calidad definidos para el programa de formación, y con sus metas y objetivos, se declara el programa de formación acreditado por el plazo de vigencia establecido para ella. b) En caso de que el programa de formación no cumpla satisfactoriamente con algunos requisitos, metas u objetivos, pero cumpla satisfactoriamente con la mayoría de los esenciales, y presente -en su informe de autoevaluación- un plan razonable y realista para superar las deficiencias identificadas, se posterga la decisión sobre la acreditación por un plazo máximo de un año. La institución, en ese plazo, debe presentar evidencia de que ha subsanado satisfactoriamente sus deficiencias, en cuyo caso se extiende un certificado de acreditación por el plazo de vigencia de la acreditación. En caso de que no se hayan corregido las debilidades detectadas en forma satisfactoria, se aplica la disposición contenida en el numeral c). c) En caso de que el programa de formación no cumpla satisfactoriamente con algunos de los requisitos esenciales y no presente un plan de mejoramiento considerado aceptable, no se acredita el programa de formación judicial. La institución no podrá presentar nuevamente el mismo programa de formación a la acreditación antes de transcurrido un plazo de dos años.

16

Una vez que la Junta Directiva de la RIAEJ ha emitido su dictamen, elabora un acto administrativo que se notifica oficialmente a la institución a la que pertenece el programa de formación. La Secretaria General de la RIAEJ mantendrá un registro actualizado con los resultados de los procesos de acreditación realizados. Durante el período de vigencia de la acreditación, la Institución debe informar acerca de cualquier cambio sustantivo en su organización o estructura. Si bien el proceso de acreditación concluye formalmente con el juicio de la Junta Directiva de la RIAEJ, el aseguramiento de la calidad exige mantener el control y seguimiento de las acciones de mejoramiento que ha planificado. Esta etapa, es crítica, puesto que de ella depende que el proceso esté efectivamente orientado al mejoramiento concreto y permanente de la calidad. Por consiguiente, las conclusiones y recomendaciones de un proceso de acreditación constituyen un antecedente fundamental para los que le siguen; de este modo, se trata de ciclos que deben comprenderse en un contexto de gestión de la calidad: evaluación, planificación, implementación de medidas, control y seguimiento y nuevamente, evaluación y control de la calidad.

4. MARCO PARA LA EVALUACIÓN CONTENIDO 3.1. Introducción. 3.2. Requisitos 3.2.1. Contexto institucional 3.2.2. Paradigmas curriculares 3.2.3. Formador y formadoras 3.2.4. Discentes / Estudiantes 3.2.5 Recursos (físicos, informáticos, apoyo docente, bibliográficos y financieros 3.2.6 Evaluación y mejoramiento continuo

4.1 Introducción La acreditación RIAEJ se basa en los criterios de calidad definidos en la Norma de Calidad RIAEJ NCR 1000:2011. Además, debe tomar en consideración la misión institucional, los fines y objetivos definidos por el programa de formación que se somete a la acreditación. Los requisitos a que se hace referencia se ajustan a una estructura que contempla los siguientes niveles: Factores, características y aspectos a evaluar (basado en estándares de calidad para programas de formación en la Educación Superior en algunos países de Iberoamérica).

17

Los factores proporcionan un marco general e identifican las categorías centrales del servicio educativo dentro de un enfoque sistémico. Factores definidos:

1 Contexto institucional 2 Paradigmas curriculares 3 Formador y formadoras 4 Discentes / Estudiantes 5 Recursos (físicos, informáticos, apoyo docente, bibliográficos y financieros) 6 Evaluación y mejoramiento continuo

Las características de calidad son atributos propios del servicio educativo, las cuales se agrupan en conjuntos determinados por los factores. Las características de calidad son referentes por los cuales un programa de formación judicial orienta su acción, estas características deben ser leídas en el contexto específico de cada Institución. El requisito es el atributo o calidad de una característica que permite evaluarlo. Los aspectos a evaluar (productos) son evidencias concretas (cuantitativas o cualitativas) referidas a cada uno de los requisitos, que en forma simple o compleja dan razón del estado del requisito. La Evidencia se refiere al conjunto de documentos, bases de datos, encuestas y otros elementos que proporcionan antecedentes validos y confiables respecto de los productos.

4.2 Requisitos

Productos generales que podrían estar documentas relacionados con los requisitos, lo cual da

orientación a los Pares para la realización de la evaluación

4.2.1 Contexto Institucional • Objetivos institucionales o estratégicos alineados con la misión de la institución

• Plan estratégico institucional o plan de acción, con los respectivos proyectos o actividades a

ejecutar, indicadores, metas y plazos de tal forma que permitan alcanzar los objetivos

institucionales o estratégicos.

• Estructura por procesos (identificar procesos (mapa de procesos), caracterizar cada proceso,

documentación de cada proceso (procedimientos), indicadores para cada proceso)

• Estructura organizacional de tal forma que permita alcanzar los resultados previstos por los

procesos y definir las funciones y competencias de la planta de personal.

18

• Inventario de la normatividad y reglamentación vigente aplicable

4.2.2 Paradigmas Curriculares • Modelo Pedagógico

• Diagnostico sobre el contexto y el momento

• Modelo formativo (apuestas educativas estratégicas)

• Competencias específicas definidas y caracterizadas

• Macrocurriculos y microcurriculos

4.2.3 Formadores y Formadoras • Perfiles definidos (responsabilidades y competencias: grados académicos, experiencia judicial,

experiencia en investigación, formación para la enseñanza).

• Modelo de evaluación de competencias y evaluarlas

• Modelo de formación de formadores

• Reglamentación para formadores

4.2.4 Recursos (Físicos, Informáticos, Apoyo Docente, Bibliográficos y

Financieros) • Disponer de aulas e instalaciones adecuadas para el desarrollo de actividades académicas y

administrativas.

• Disponer de TICs (computadores servidores, software, conexiones a redes y multimedia)

suficientes, actualizados y adecuados

• Disponer de tecnologías de educación virtual (aula virtual, video conferencia)

• Disponer de recursos bibliográficos (suficientes, actualizados y adecuados)

• Disponer de presupuesto de inversión y funcionamiento para el programa de formación.

4.2.5 Discentes / Estudiantes • Tipos o clases de discentes

• Perfiles de discentes

• Modelo de evaluación

19

• Reglamentación para Discentes

• Reglamentación de actividades académicas

• Mecanismo de seguimiento a los “egresados” del programa de formación judicial con el fin de

determinar el impacto del programa formativo.

4.2.6 Investigación • Reglamentación sobre la investigación

• Convenios y fuentes de financiación de proyectos de investigación

• Grupos de investigación y sus líneas de acuerdo al programa de formación

• Evidencia sobre los proyectos de investigación seleccionados y de su ejecución (Catálogo de

investigaciones en desarrollo)

• Publicaciones realizadas fruto de los proyectos de investigación

4.2.7 Proyección social • Reglamentación sobre la proyección social

• Programas de formación respeto a diferentes partes interesadas de la sociedad

• Proyectos de cooperación a nivel nacional e internacional.

4.2.8 Evaluación y mejoramiento continuo • Evaluar la pertinencia, conveniencia e impacto del programa de formación judicial

• Evaluar la satisfacción de los discentes /estudiantes y de otras partes interesadas

• Realizar autoevaluación institucional basado en el estándar de calidad

• Planes de mejoramiento formulado e implementado (acciones correctivas, preventivas y de

mejora) de acuerdo a las oportunidades de mejora identificadas en las diferentes evaluaciones

realizadas.

20

5. EL EQUIPO DE PARES CONTENIDO 4.1. Quienes son los Pares Evaluadores 4.1. Constitución de los Equipos de Pares 4.2. Funciones del Equipo de Pares en el marco del Mecanismo de Acreditación RIAEJ 4.3. Compromisos y normas de conducta de los Pares Evaluadores 4.4. Coordinador del Equipo de Pares. En los procesos de acreditación, la visita de pares externos a una institución (para evaluar el grado de calidad de sus programas de formación judicial), que ha concluido su proceso de autoevaluación es una etapa fundamental de la evaluación. Como se indicó anteriormente, el proceso de autoevaluación se encuentra incompleto si no ha sido validado por pares evaluadores externos. Los pares aportan una mirada externa y un juicio calificado; por su experiencia y trayectoria, constituyen un aporte sustantivo y complementario al proceso de evaluación desarrollado al interior de la Institución. Manual de Pares Evaluadores / libro 1 / página 24 En este numeral se presenta a los potenciales pares evaluadores, cuál es su papel en el proceso: Quiénes son, para qué se los convoca y qué se espera de ellos.

5.1 Quienes son los Pares Evaluadores Los pares evaluadores son académicos y profesionales experimentados, que cuentan con reconocida autoridad como formadores, investigadores, profesionales o administradores. Han sido seleccionados por la Junta Directiva de la RIAEJ, para integrar los equipos externos que evalúan el programa(s) de formación judicial que voluntariamente se sometió a la acreditación. Se los denomina “pares” pues se trata de personas que comparten entre ellos y con el cuerpo académico que se desempeña en el programa de formación judicial, las particularidades y la cultura propia del sector justicia, y por lo tanto, están familiarizados con el lenguaje y el estilo del programa de formación. Conocimiento y experiencia requerida:

Conocimiento suficiente sobre de procesos de acreditación académico o de procesos de certificación en calidad en el sector judicial

Amplio conocimiento de la Institución del poder judicial

Conocimiento del funcionamiento de una Escuela Judicial o Centro de Formación Judicial

Tener experiencia en la Rama judicial

21

Los pares son quienes conducen la evaluación externa del programa de formación judicial. Para tal efecto, en primer lugar deben estudiar y analizar detenidamente el resultado del proceso de autoevaluación y el resto de información relacionada con la Institución y el programa de formación y después visitar y evaluar en terreno el programa de formación judicial. La actividad del Comité de Pares es clave en el proceso de acreditación, pues sus opiniones y recomendaciones -debidamente fundadas- acerca de la calidad de el programa de formación judicial, hacen un aporte externo e independiente que resulta fundamental para que la Junta Directiva de la RIAEJ forme su propio juicio y elabore el dictamen con respecto a la acreditación del programa de formación judicial.

5.2 Constitución de los Equipos de Pares Los Pares Evaluadores son seleccionados y designados por La Junta Directiva de la RIAEJ. El Equipo de Pares puede estar constituido por uno o más evaluadores, de pendiendo de la magnitud del programa de formación judicial a evaluar. Se debe tener en cuenta para la acreditación, que:

El par no puede ser connacional de de la institución

Se designará un (1) Par, por Institución

El Par evaluador debe ser externo a los Directores de las Escuelas

Se contará con un mecanismo de revisión por otro Par en caso de inconformidad con la evaluación por parte de la Institución evaluada.

El servicio por parte del Par evaluador es ad honorem y

Debe contar con disponibilidad para preparar y ejecutar la evaluación externa y para preparar el informe.

La Junta Directiva de la RIAEJ debe asegurarse que los integrantes del Equipo de Pares no presenten conflictos de interés con la institución a la que pertenece el programa de formación judicial que será objeto de evaluación (tales como vinculación laboral o académica reciente u otro tipo de relación cercanas con directivos o académicos de la Institución).

5.3 Funciones del Equipo de Pares El Equipo de Pares debe realizar la evaluación externa del programa de formación judicial. Este trabajo se organiza en tres etapas:

El análisis de los resultados de la autoevaluación y otros antecedentes documentales presentados por el programa de formación judicial y la preparación de la visita,

La visita de evaluación externa y

22

La elaboración del informe de evaluación externa en el que se emita un pronunciamiento acerca del cumplimiento de los criterios de calidad y se formule una recomendación a la Junta Directiva de la RIAEJ acerca de la decisión que ésta debiera adoptar.

Estas etapas se describen con detalle en el Capítulo 5 de este Manual. Su trabajo permitirá revisar y perfeccionar los diferentes productos generados por la Coordinación del eje temático 1 del plan de acción de la RIAEJ 2011-2013, por cuanto aportará información significativa acerca de la aplicabilidad de los criterios definidos en la Norma de Calidad RIAEJ NCR 1000:2011, su eficacia para garantizar la evaluación de la calidad de los programas de formación judicial en acreditación, la viabilidad y eficiencia de los procedimientos establecidos, incluyendo el rol de la Junta Directiva dentro del proceso de Acreditación.

5.4 Compromisos y normas de conducta de los Pares Evaluadores Los Pares Evaluadores deben cumplir con las exigencias propias de los Equipos de Pares RIAEJ, incluyendo la participación en los talleres de entrenamiento programados por la Secretaria General de la RIAEJ. Los Pares Evaluadores se comprometen a:

Conocer el proceso de evaluación aprobado por la Junta Directiva de la RIAEJ, familiarizándose con las normas, procedimientos y los documentos contenidos en este manual y demás materiales disponibles.

Aplicar normas, procedimientos y los documentos contenidos en este manual.

Participar en las instancias de entrenamiento requeridas.

Formar parte de un equipo de trabajo coordinado por uno de ellos, de conformidad con este Manual de Pares.

Participar en todas las actividades establecidas para la evaluación externa.

Colaborar con la Secretaria General de la RIAEJ en la organización del proceso de evaluación externa, incluyendo la visita de Pares Evaluadores.

Velar por el cumplimiento de los objetivos del proceso.

Velar por que el proceso de evaluación externa se desarrolle en conformidad con los criterios de calidad establecidos por la RIAEJ.

Mantener la confidencialidad de toda la información que reciba en relación a la evaluación, así como también de la recogida en el curso de la visita.

Establecer una buena relación de trabajo con los directivos de la institución y con el personal que hace parte del programa de formación judicial que se evalúa.

Garantizar la confidencialidad y los derechos de autor de las obras sometidas a examen con ocasión de la labor de acreditación.

En caso de declinar su designación debe motivar las razones a través de una comunicación, dentro de esta motivación debería contemplarse por ejemplo eventuales causales de impedimento entre otras razones.

23

Los integrantes del Equipo de Pares en el cumplimiento de su labor, deben conducirse con profesionalismo y con pleno respeto a las siguientes normas de conducta asociadas a su labor:

Liberarse de prejuicios y de sesgos, antes de iniciar la evaluación.

Comprender los principales aspectos relativos a la cultura, principios y estilos de la institución visitada, distanciándose de las características de la institución de origen o del trabajo del evaluador. Este punto es particularmente importante dado que no sólo deben tomarse en consideración las diferencias culturales entre una institución y otra, sino también diferencias entre países, idiomas y otros factores particularmente vinculados a la forma en que se imparte la formación en el programa de formación judicial a evaluar.

Respetar a los directivos, académicos, formadores, discentes y funcionarios de la Institución y del programa de formación judicial que les corresponde evaluar.

No emitir juicios acerca de personas individuales.

Abstenerse de anticipar juicios o efectuar recomendaciones al programa de formación judicial.

Guardar reserva de todos los antecedentes relativos al programa de formación judicial e Institución que la Secretaria General de la RIAEJ les proporcione, así como de los antecedentes que el programa de formación o algún integrante del equipo proporcione durante la visita. La obligación de guardar reserva subsiste indefinidamente, aún cuando una vez presentado el informe del Equipo de Pares a la Secretaria General de la RIAEJ, cesa la relación entre ésta y los Pares Evaluadores y entre éstos y la Institución visitada.

Devolver a la Secretaria General de la RIAEJ los documentos utilizados que tengan relación con el proceso (en caso en que sean suministrados de manera física).

La evaluación por Pares es eficaz precisamente porque se desarrolla en el marco de un diálogo entre iguales, que comparten códigos y criterios propios de una determinada disciplina o profesión y aquellos correspondientes a la vida académica. Para ello es esencial velar al máximo por la legitimidad del Equipo de Pares, de manera que su autoridad sea aceptada voluntariamente por parte de la comunidad académica del programa de formación judicial en evaluación. Con este objetivo es que entre los lineamientos descritos en este manual, se ha previsto la instancia de recusación de los integrantes del Equipo de Pares por parte de la institución.

5.5 Coordinador del Equipo de Pares La Junta Directiva de la RIAEJ designa a uno de los integrantes del Equipo de Pares como Coordinador del Equipo quien, además de cumplir con las funciones y compromisos descriptos precedentemente, debe coordinar el trabajo del Equipo y representar al Equipo de Pares en las instancias formales de la visita, en el caso en que la evaluación la realice un solo Par, este tendrá tanto el rol de coordinado como de Par. Asimismo, en el proceso de elaboración del informe de la evaluación externa, debe asegurar la participación de todos los integrantes, quienes deben arribar a los consensos necesarios para la redacción del informe escrito.

24

El informe del Equipo de Pares debe ser entregado a la Secretaria General una vez aprobado por todos sus integrantes del mismo, en un plazo máximo de 15 días luego de finalizada la visita.

6. EVALUACION EXTERNA CONTENIDO 5.1. Sentido y función de la Evaluación Externa 5.2. Análisis y antecedentes para la Evaluación Externa 5.2.1. Análisis de antecedentes documentales y acciones preparatorias de la visita 5.2.2. Identificación de puntos críticos para la evaluación 5.3. La visita de Evaluación 5.3.1. La preparación de la visita 5.3.2. La visita de evaluación 5.4. El Informe del Equipo de Pares 5.4.1. Contenidos 5.4.2. Procedimiento 5.4.3. Formato del informe de evaluación externa

6.1 Sentido y función de la evaluación externa La evaluación externa es un hito central del proceso de evaluación para la acreditación RIAEJ y constituye un ejercicio profesional exigente y motivador. Su principal objetivo es el de validar la autoevaluación realizada y verificar que el programa de formación judicial cumple con los criterios descritos la Norma de Calidad RIAEJ 1000:2011. El resultado de la evaluación externa se materializa en el Informe del Equipo de Pares, donde se da un concepto para el dictamen de acreditación, basada en la información envida por la institución y la verificación de esta información en el las instalaciones de la misma. Este capítulo tiene por objeto introducir los antecedentes que deben ser tomados en consideración por el Equipo de Pares y las tareas que es preciso realizar antes de visitar la institución. El trabajo contempla una etapa individual, en la que cada integrante del Equipo de Pares analiza la documentación recibida y sintetiza sus observaciones, comentarios y preguntas y una etapa colectiva, que se realiza en la reunión preparatoria varias semanas antes de iniciar la visita, dependiendo de la conformación del equipo de pares esta reunión se podría realizar de manera remota, por ejemplo a través de video conferencia. A continuación, se establecen las etapas del desarrollo de la visita, brindando sugerencias para el desarrollo de las entrevistas y el relacionamiento de los Pares Evaluadores entre sí y con la institución, hasta la redacción del informe final.

25

6.2 Análisis y antecedentes para la Evaluación Externa

6.2.1 Análisis de antecedentes documentales y acciones preparatorias de la

visita Una vez que el Equipo de Pares haya sido designado y al menos 15 días antes de la visita, la Secretaria General de la RIAEJ envía a cada integrante del Equipo la información, solicitada y enviada por la institución, con los antecedentes necesarios para preparar la evaluación externa y luego llevarla a cabo de manera eficaz y eficiente, comprendidos por:

El Manual de Pares Evaluadores;

La Norma de Calidad RIAEJ 1000:2011;

La matriz de autoevaluación diligenciada por la Institución respecto al programa (s) de formación judicial seleccionado;

Información de soporte como el modelo pedagógico, manual institucional, macro currículos etc.

Otros antecedentes enviados por el programa de formación como respaldo de las conclusiones obtenidas en la autoevaluación.

El análisis de los documentos es esencial para la preparación de la evaluación externa. El análisis de la Autoevaluación realizada debe hacerse con la finalidad de conocer la situación del programa de formación judicial a evaluar, con énfasis en tres puntos de vista complementarios:

El perfil de egreso definido para el programa de formación, por cuanto éste constituye el marco para la aplicación de los criterios de evaluación.

El cumplimiento de los criterios de evaluación RIAEJ, definidos en la Norma de Calidad RIAEJ.

Las características y la calidad del proceso de autoevaluación realizado por el programa de formación judicial, por cuanto de ésta depende la confiabilidad y validez de dicha autoevaluación.

Esto significa que el Equipo de Pares deberá no sólo analizar los contenidos de la matriz de autoevaluación, sino también la forma en que se desarrolló la autoevaluación. En efecto, la labor de los Pares Evaluadores depende en gran medida de la calidad del proceso autoevaluativo y de su resultado. Si los mismos han sido realizados de forma rigurosa, sistemática y participativa, facilitarán la labor de los Pares Evaluadores. En cambio, si estos presentan problemas, los Pares Evaluadores deberán desarrollar una labor de indagación más profunda, recogiendo información faltante y contrastándola con los patrones de evaluación. Por tanto, la lectura que se haga de la información de la autoevaluación debe estar orientada por preguntas como las siguientes: ¿Dan claridad de los propósitos y fines de el programa de formación judicial y el contexto (institucional, local, nacional) en que se desarrolla?; ¿Permiten comprender aspectos propios de la cultura institucional?;

26

¿Cubren todos los requisitos establecidas en la Norma de Calidad RIAEJ NCR 1000:2011”?; ¿Son suficientemente críticos y analíticos?; ¿Hay un plan de mejoramiento o de trabajo para hacerse cargo de ellas?; ¿Contienen información suficiente para trabajar todos los criterios?; ¿Se necesita información adicional?; ¿Es posible identificar los asuntos críticos del programa de formación judicial?

6.2.2 Identificación de puntos críticos para evaluación El tiempo destinado a la visita es limitado. Por consiguiente, es necesario identificar las áreas o asuntos más críticos en las que se centrará la visita. Dicho análisis debe orientarse por:

Los antecedentes y la información presentados a la luz de requisitos de la Norma de Calidad RIAEJ NCR 1000:2011, identificando los asuntos que se encuentran razonablemente claros y aquellos que requieren una evaluación más profunda durante la visita;

Aquellos aspectos sustantivos relacionados con el desarrollo del programa de formación judicial, de acuerdo a sus características y a elementos del contexto que afecten la formación; El resultado de la autoevaluación realizada respecto al programa(s) de formación judicial, con el fin de considerar prioritariamente aquellos temas que le preocupan de manera particular (si es que los hay);

El énfasis relativo que el programa de formación declare en sus propósitos, analizando el nivel de consistencia entre aquellos aspectos más relevantes de los propósitos y el desempeño y nivel de logro de los mismos.

Sobre la base de una lectura como la señalada, cada uno de los integrantes del Equipo de Pares va identificando en cada uno de los criterios de evaluación, los temas críticos sobre los que considera necesario indagar durante la visita, la información adicional necesaria, ya sea para que la institución se la haga llegar antes de la visita o para que se encuentre a su disposición durante la misma y la o las personas que considera necesario entrevistar durante la visita.

6.3 La visita de evaluación

6.3.1 La preparación de la visita La Secretaria General de la RIAEJ convoca a una reunión (puede ser de manera remota, ej.: video conferencia) preparatoria de los integrantes del Equipo de Pares al menos 10 días antes de la realización de la visita, con el fin de poner en común los planteamientos de los distintos integrantes, concordar las prioridades para la organización del programa de la visita y ponerse de acuerdo acerca de la metodología de trabajo y la distribución de responsabilidades entre los Pares Evaluadores integrantes del Equipo de Pares. Criterios para la elaboración del programa de visita:

27

Incluir entrevistas con los actores relevantes, considerando al menos personal académico, administrativo y algunos discentes;

Destinar tiempo para el trabajo del Equipo de Pares. Pueden ser algunos minutos entre una entrevista o reunión y la siguiente, además de momentos específicos más prolongados;

Destinar tiempo para la revisión de documentos u otros antecedentes que se hayan solicitado;

Destinar tiempo para visitas a aulas o centros de estudio.

Destinar tiempo al final del día 2 o en el día 3 para completar la información necesaria;

Desarrollar un clima de colaboración con la institución. PROGRAMA TIPO DE VISITA

Día 0 Día 1 Día 2 Día 3

Traslado del Equipo de Pares a la ciudad sede de la institución visitada. Reunión inicial del Equipo de Pares en el hotel o sitio previamente determinado. El temario de la reunión incluye: Revisión de aspectos fundamentales de la documentación; Revisión del programa de visitas, ajustes finales; Asignación de tareas;

Presentación del Equipo de Pares al Director(a) de la institución. Reunión con el Director(a) de la Institución. Reunión con los responsables por la realización de la autoevaluación. Revisión de documentación complementaria u otros materiales Entrevistas con formadores o responsables de áreas de interés del programa de formación judicial que se está evaluando. Entrevistas con discentes del programa de formación judicial que se está evaluando. Reunión de trabajo del Equipo de Pares.

Recorrido por instalaciones, visita a aulas o centros de formación o lo que corresponda. Reunión con personal académico. Reunión con personal administrativo. Otras reuniones por definir. Reunión de trabajo del Equipo de Pares Completar formulario de síntesis; Revisar cumplimiento del programa de visitas.

Reunión con egresados y representantes del medio externo. Reuniones pendientes; revisión documentación; Completar información necesaria. Reunión de trabajo del Equipo de Pares, completar juicios faltantes, preparar informe de evaluación externa . Presentar Informe de salida al Director(a) y equipo directivo de la institución. Término de la visita.

Luego, considerando las observaciones de los Pares Evaluadores, las entrevistas que a su juicio son necesarias realizar y el programa tipo que se presenta en el recuadro, el Equipo de Pares efectúa los ajustes necesarios y define el programa efectivo de la visita. La Secretaria General de la RIAEJ se encargará de hacer llegar el programa a la institución para que ésta se prepare para cumplirlo.

28

6.3.2 La visita de evaluación externa La visita de Pares Evaluadores forma parte del proceso de evaluación de un programa de formación judicial que aspira a la acreditación RIAEJ. Esto significa que el Equipo de Pares visita la institución en representación de la Junta Directiva de la RIAEJ que los convoca, para cumplir con los procedimientos definidos por el mecanismo de Acreditación de de programas de formación judicial RIAEJ. En el desarrollo de la visita se debe tener en cuenta: a) Reunión inicial del Equipo de Pares Inmediatamente antes de la visita, el Equipo de Pares sostiene una reunión de coordinación. Es el momento de efectuar los últimos ajustes al programa de visita, asignar tareas y organizar las reuniones y entrevistas del primer día. b) La sala de trabajo La institución pone a disposición del Equipo de Pares una sala de trabajo con tamaño adecuado y computadora, donde se encuentra la información que el Comité considera necesario consultar durante la visita: manuales y modelo pedagógico, macrocurriculo y microcurriculos, ejemplos de la producción docente o de investigación de los académicos y otros materiales semejantes, en el caso que se tenga disponible aula virtual, acceso de consulta a los contenidos del programa de formación judicial que se está evaluando. c) Preparación y conducción de entrevistas La visita tiene un tiempo limitado, y es esencial administrarlo bien. Para ello la preparación para las reuniones y entrevistas es clave:

Las entrevistas deben estar debidamente preparadas y los miembros del Equipo de Pares deben tener claro cuáles son las preguntas para las cuales buscan respuestas (sin cerrarse a eventuales datos inesperados).

No hay que perder de vista que el objetivo de todas las entrevistas es avanzar hacia el informe final, de modo que conviene ir revisando en qué áreas los antecedentes son insuficientes, y cuáles se encuentran adecuadamente cubiertas.

Entre las diversas entrevistas que un Equipo de Pares puede sostener, es preciso destacar las siguientes: 1. Reunión inicial con directivos: esta es la oportunidad para presentarse, confirmar el programa de visitas, revisar aspectos logísticos. Puede ser un buen momento para señalar las principales áreas o asuntos críticos identificados y justificar la solicitud de información adicional de último momento. La relación establecida durante esta reunión es clave para el desarrollo de la visita. Los evaluadores deben asumir desde el comienzo una actitud de Pares Evaluadores y no de jueces, con interés por conocer y saber qué ocurre y por qué, evitando actitudes de crítica o comparación. 2. Entrevistas con discentes: son una buena fuente de información, pero deben siempre ponerse en perspectiva con la información obtenida de directivos y formadores. Deben realizarse sin la presencia de directivos y formadores, en lo posible en grupos varias discentes. No conviene mezclar discentes con características muy distintas (Ej.: jueces y empleados judiciales).

29

3. Entrevistas con formadores: su objetivo suele ser el análisis de temas relativos al diseño del programa de formación judicial, la pedagogía y la investigación, la gestión académica o la confirmación de temas planteados por los discentes. Algunas sugerencias para desarrollar las entrevistas:

Iniciar la entrevista con una breve introducción acerca del sentido de la visita y el rol de la entrevista dentro de ella.

Mantener las preguntas en el ámbito de competencia de los entrevistados.

Cubrir todos los temas previstos en la preparación de la entrevista.

Evitar que la conversación se aparte del tema, pero estar dispuestos a explorar áreas emergentes que necesiten clarificación.

Ofrecer la oportunidad para que los entrevistados agreguen temas que consideran importantes.

Durante la entrevista, no emitir juicios acerca de la información recibida ni comentarla con los demás integrantes del Equipo de Pares.

Mantener presentes los criterios de evaluación establecidos en la Norma de Calidad RIAEJ NCR 1000:2011 y tomar notas para el informe.

d) Reuniones de trabajo del Equipo de Pares durante la visita Luego de cada reunión importante, el Equipo de Pares debe destinar un tiempo para consolidar sus avances y completar sus notas sobre el tema. Conviene organizar el programa de visitas dejando espacios entre reunión y reunión para esto; adicionalmente, es necesario establecer momentos concretos para el trabajo de los Pares Evaluadores. Es conveniente que el Equipo de Pares se reúna al final de cada día para hacer una revisión del estado en que se encuentra respecto de cada criterio y sus principales aspectos. e) Revisión de criterios y sus temas principales: Durante la visita es indispensable revisar todos los requisitos (factores y características); una forma de asegurarlo es tener una lista de verificación que permita ir registrando los vacíos que existen. Al final del segundo día, el Equipo de Pares revisa en conjunto la totalidad de los criterios, para ver si existe concordancia entre los puntos de vista de los distintos integrantes e intentar resolverlos, ya sea mediante la discusión y análisis de la información obtenida o mediante la obtención de información adicional. f) El informe de salida o informe oral Al término de la visita, el Equipo de Pares puede hacer un breve balance al Director(a) y Equipo Directivo de la Institución, sin anticipar juicios. Al hacerlo, es necesario recordar que este informe debe ser consistente con los contenidos y conclusiones del informe final de los Pares Evaluadores, para lo cual es útil elaborar el informe de salida por escrito (aún cuando se presenta en forma oral, sin entregar un texto a la institución).

30

El informe oral es una oportunidad para agradecer a la institución por su acogida y darle una retroalimentación luego de la visita. En el recuadro se indican algunas recomendaciones, que pueden facilitar la tarea.

Enfoque positivo, constructivo, de apoyo;

Concentración en asuntos, áreas o mensajes claves, sin entrar en detalles;

Si se indican fortalezas y debilidades, es preciso comenzar por las primeras, para crear un clima apropiado. Al plantear debilidades, es importante hacerlo desde una perspectiva constructiva, lo que facilita su aceptación (sin disfrazarlas tanto que dejen de parecer debilidades);

Señalar que se trata de un informe preliminar, cuyas conclusiones pueden modificarse al redactar el informe escrito.

6.4 El informe del Equipo de Pares

6.4.1 Contenidos El Equipo de Pares recoge las observaciones efectuadas durante la visita en un informe escrito, que se presenta a la Secretaria General de la RIAEJ para que ésta, al analizarlo en la Junta Directiva que corresponda, en conjunto con los resultados de la autoevaluación, pueda pronunciarse sobre la acreditación del programa de formación judicial. El informe escrito debe contemplar, por lo menos, los siguientes temas:

Un análisis de de la autoevaluación realizada por la institución respecto al programa(s) a acreditar, considerando el grado en que identifican fortalezas y debilidades y definen acciones concretas de mejoramiento.

Una evaluación formal acerca del cumplimiento de los criterios de evaluación RIAEJ, establecidos en la Norme de Calidad RIAEJ NCR 1000:2011. El informe se organiza en función de los criterios (factores y características), utilizando cada uno de ellos como un acápite para la redacción.

Recomendaciones acerca de los aspectos que la Institución debe abordar, ya sea para obtener la acreditación o simplemente para mejorar su labor.

El Equipo de Pares debe formular su recomendación acerca de la acreditación del programa de formación judicial, indicando las razones que fundamentan esta recomendación. Sin embargo, esta sección debe presentarse por separado ya que no forma parte del informe que se envía a la Institución evaluada.

31

6.4.2 Procedimiento El informe escrito es la síntesis de las observaciones del Equipo de Pares durante la visita. Por consiguiente, es importante tener presente su redacción a través de las distintas actividades de la visita. Los Pares Evaluadores analizan cada uno de los factores y características contenidos en la Norma de Calidad RIAEJ NCR 1000:2011, expresando su opinión. El Equipo de Pares en su conjunto, bajo la orientación su coordinador, analiza los punto de acuerdo y las discrepancias, intentando arribar a consensos fundados en cada caso. El informe así elaborado se envía a la Secretaria General de la RIAEJ, que lo remite a la Institución objeto de evaluación, para que lo conozca y verifique que no contiene errores u omisiones. Las observaciones de la Institución se envían a la Secretaria General de la RIAEJ y ésta las remite al Equipo de Pares, con el fin de que se redacte el informe definitivo, el que debe ser aprobado por todos los integrantes. Una vez completo el proceso, dicho informe se envía a la Secretaria General de la RIAEJ para que se determine el dictamen en la Junta Directiva de la RIAEJ que corresponda. Nota: El proceso supone que los Pares logran llegar a un acuerdo acerca de las conclusiones del informe. En caso de que éste no sea posible, el coordinador de todas formas elabora un informe con la opinión de la mayoría, pero dejando constancia de que existen discrepancias importantes. El integrante del Equipo que discrepa puede hacer llegar un informe especial a la Secretaria General de la RIAEJ haciendo presente sus razones.

6.4.3 Formato del informe Si bien cada Equipo de Pares tiene su propio estilo, se establece un formato como el siguiente para facilitar la lectura y comprensión del informe: INTRODUCCIÓN: Presentación de la institución (contexto, descripción del programa de formación, principales características). Descripción de la visita (síntesis del programa de visitas, problemas, organización de la visita, colaboración de parte de la Institución, acceso a la información, otros temas relevantes). CUERPO DEL INFORME: Calidad de la autoevaluación realizada (confiabilidad del informe, nivel analítico, fundamentación de las conclusiones, calidad del proceso, participación, validez, plan de mejoramiento). Cumplimiento de criterios RIAEJ a) Evaluación general del programa de formación judicial b) Análisis detallado, por factores y características

32

Pueden incluirse otros anexos informativos, si el Equipo de Pares lo estima conveniente. El informe en ningún caso debería exceder 30 páginas de contenido total. Ver ANEXO 3_Formato informe de visita de pares

Anexos ANEXO 1_Herramienta de autoevaluación ANEXO 2_Informe de autoevaluación ANEXO 3_Formato informe de visita de pares

Bibliografía Este manual está basado en MANUAL DE PROCEDIMIENTOS PARA PARES EVALUADORES MERCOSUR EDUCATIVO COMITÉ COORDINADOR REGIONAL (CCR) COMISION REGIONAL COORDINADORA DE AREA – EDUCACION SUPERIOR.