1. CUADRO: INTERPRETACIN DE RESULTADOS Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin 2. Maestra en Educacin y Docencia Universidad Metropolitana de Monterrey Elaboracin de Instrumentos de Evaluacin 300416 Teresa de Jess Jimnez Zavalza Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Cuadro: Interpretacin de Resultados 12 de Abril del 2015 Norma Vilchis Salcedo 3. CUADRO: INTERPRETACIN DE RESULTADOS Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin 4. QU ELEMENTOS SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN POR NORMAS POR CRITERIOS PARTICIPATIVA Elementos de competencia Funcin El anlisis funcional Componentes de desempeo Especificacin y definicin de dominio Anlisis de elementos Determinacin del criterio de suficiencia o estndar Fiabilidad Validez ELEMENTOS PREVIOS El contexto El mbito temtico El mbito territorial Los objetivos Los colectivos participantes El tipo de evaluacin ELEMENTOS METODOLGICOS Anlisis tcnico Autoevaluacin interna Autoevaluacin participativa QU TIPO DE INTERPRETACIN DE RESULTADOS SE LLEVA A CABO EN LA PRUEBA PISA? Y POR QU? Interpretacin de resultados por normas y por criterios. Porque est referido a la norma (que permiten solamente ordenar y comparar a un estudiante con su grupo de pares) a pruebas cuya interpretacin de resultados est referida a criterios (que adems de ordenar y comparar grupos de estudiantes, permiten estimar cuntos alcanzan el criterio o estndar establecido, y sobre todo permiten describir qu es lo que los estudiantes saben y son capaces de hacer) Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza 5. QU ELEMENTOS SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN POR NORMAS EVALUACIONES CON REFERENCIA A NORMAS Estas pruebas son evaluaciones que comparan las puntuaciones individuales de los estudiantes con las calificaciones de otros estudiantes pertenecientes a un grupo de la misma edad que ya haya completado la prueba. Generalmente reportan las calificaciones de los estudiantes dentro de un rango percentil, en lugar de un porcentaje. Por ejemplo, si un estudiante tiene una calificacin dentro del percentil 99, significa que obtuvo calificaciones ms altas que el 99% de los otros alumnos de su grupo de edad que presentaron la misma prueba. Esto no quiere decir que haya resuelto correctamente el 99% de los problemas en la evaluacin. El objetivo de las pruebas referidas a normas es clasificar y ordenar a los estudiantes, en vez de medir el dominio de habilidades. Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza 6. Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Las normas tcnicas de competencia en informacin son documentos que se destinan a: -Describir los conocimientos y habilidades de las personas en el uso y aplicacin de la informacin y los diferentes niveles de complejidad o dominio que poseen. Establecen, adems de las caractersticas o atributos, las evidencias que permiten a una persona ser evaluada o juzgada competente en una tarea particular de informacin. Las normas especifican cmo estas caractersticas sern aplicadas y se reflejarn en un contexto acadmico o lugar de trabajo. -Cubrir todos los aspectos de gestin de la informacin, considerando las habilidades particulares y los conocimientos necesarios para realizar de manera eficaz la bsqueda, acceso, registro y aplicacin de la informacin, adems de las actitudes y los valores requeridos en el uso tico de la informacin. 7. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados -Probar el conocimiento y la comprensin, adems de medir la actuacin de un candidato en un ambiente real o simulado en la operacin de una actividad particular de bsqueda, evaluacin, anlisis, registro, transferencia o aplicacin de la informacin. El proceso empleado para medir la competencia de una persona es la valoracin de la calificacin, con base en las evidencias que l mismo aporta (Walsh-Taylor, 1995). Cuando se desea evaluar la competencia en informacin de una persona, se le puede someter a una prueba prctica donde se observa su desempeo en la gestin de la informacin, no obstante, cuando se tiene el propsito de evaluar a grupos de usuarios, se requiere de un sistema normalizado, diseado para identificar en forma detallada y concreta los distintos aspectos a considerar para asegurar que el cumplimiento de los requisitos constituye una evidencia cierta, objetiva e incuestionable de que se es competente. Las normas tcnicas, en este contexto, son elaboradas por comits de normalizacin, y una vez aprobadas y sancionadas por las partes interesadas, pasan a formar parte de un sistema normalizado de competencia en informacin. 8. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados ELEMENTOS QUE SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN POR NORMAS. COMPONENTES DE LA NORMA DE COMPETENCIA EN INFORMACIN 1.- ELEMENTOS DE COMPETENCIA La base estructural de la norma tcnica de competencia en informacin que servir para la identificacin de la competencia es una funcin elemental, denominada elemento de competencia. Corresponde a una funcin informativa simple, es decir, lo que una persona debe ser capaz de hacer. Para que un elemento de competencia sirva como referente en la determinacin y definicin de los componentes normativos que configurarn el patrn de identificacin de la competencia en informacin, ste deber especificar el resultado que se espera lograr en la actividad 2.- FUNCIN Por funcin se entiende, para propsitos de este trabajo, el conjunto de actividades necesarias para lograr uno o varios objetivos especficos de trabajo en relacin con el uso de la informacin y el conocimiento. La funcin propicia la identificacin de distintas capacidades que se ponen en prctica al realizar una actividad de informacin determinada. 9. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 3.- EL ANLISIS FUNCIONAL Los elementos de competencia estn inmersos en la actividad acadmica o en la prctica profesional y no siempre se presentan en forma aislada sino que se combinan para conformar una actividad de informacin compuesta, con significacin en el contexto. Para detectar los elementos de competencia se emplea el anlisis funcional que consiste en la desagregacin sucesiva de la funcin principal en funciones clave, y stas a su vez se dividen hasta llegar a las funciones ms simples, aquellas que pueden ser ejecutadas por personas y que describen acciones especficas y singulares que se pueden lograr y resumir, por lo que reciben el nombre de elementos de competencia. 10. Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Los principios o criterios que dan sustento a la aplicacin del anlisis funcional son bsicamente los tres siguientes: a) Propsito principal. El anlisis funcional se aplica de lo general a lo particular, a partir del reconocimiento del propsito principal. b) Funciones discretas. El anlisis funcional debe identificar funciones delimitadas (discretas) separndolas de un contexto especfico. Es decir, considera aquellas funciones que tengan claramente definidos su inicio y su trmino. Para expresar las funciones se sugiere mantener una estructura gramatical uniforme, como se indica: (el) verbo + (el) objeto + (la) condicin. Esta forma de expresin tiene como propsito: + Identificar los resultados de la actividad. + Tener una idea precisa de lo que se est haciendo y que el desglose mantenga una relacin lgica entre un nivel de desagregacin y su antecedente. + Asegurar la consistencia en todos los proyectos de establecimiento de normas tcnicas de competencia en informacin, dando la posibilidad de compararlas y de transferirlas en un sistema de amplia cobertura. c) Causa - consecuencia. En el anlisis funcional se emplea como base la relacin causa-consecuencia. En la desagregacin de las funciones resulta til identificar lo que debe hacerse para alcanzar el resultado que se espera lograr en la funcin que se est desagregando. Los desgloses derivados de una determinada funcin deben ser suficientes y necesarios para el logro de la funcin que les dio origen; los desgloses son partes constitutivas de la funcin de origen. El anlisis funcional concluye cuando se identifican las funciones que corresponden a los elementos de competencia, es decir, los que puede realizar una persona. 11. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 4.- COMPONENTES NORMATIVOS La demostracin de la competencia para el desempeo de una actividad de informacin, en este caso referida a la denominada como elemento de competencia, tiene que considerar cuatro componentes normativos: A) Criterios de desempeo Determinan que el desempeo de una persona sea considerado como competente, expresan lo que se espera del ejercicio de un elemento de competencia y el cmo se espera que sea el resultado o el desempeo. Los criterios de desempeo se expresen con una frase breve integrada por: (el) objeto + (el) verbo + (la) condicin. B) Campo de aplicacin Establece las diferentes circunstancias en las que una persona se desenvuelve en el mbito acadmico o en la prctica profesional donde se pondr a prueba su dominio de la competencia. Deben definirse con cuidado los campos de aplicacin de los elementos de competencia con el fin de que sean los necesarios y los suficientes para evaluar la competencia. 12. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados C) Evidencias por desempeo La demostracin de que se es competente para la realizacin de la actividad de informacin, referida, en este caso, por el ttulo del elemento de competencia requiere necesariamente de evidencias inobjetables. El Comit de Normalizacin define el tipo de evidencias necesarias para la demostracin de la competencia y la cantidad de evidencias que se requiere. Las evidencias por desempeo pueden ser directas o por producto. Las primeras tienen que ver con la tcnica utilizada en el desempeo de una actividad de informacin, requieren de la observacin y el anlisis del desempeo de la persona evaluada. Las evidencias por producto se refieren a los resultados o los productos identificables y tangibles que pueden emplearse como referentes para demostrar que la actividad de informacin fue realizada. 13. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados D) Evidencias de conocimiento Se deben consignar con precisin los requerimientos de conocimiento y de comprensin que debe satisfacer la persona que se evala para demostrar que tiene las bases necesarias para un desempeo eficiente que se ha considerado como parte del elemento de competencia. Tal es el caso de las teoras, los principios y las habilidades cognitivas que permiten a una persona tener un punto de partida para un desempeo eficaz; el conocimiento se expresa en el saber cmo ejecutar una actividad de informacin. Dado que el conocimiento no se da en forma aislada, sino integrada al desempeo mismo, en algunos casos, el logro de un propsito puede ser suficiente para identificar que se tiene. La evidencia de conocimiento es complementaria a la evidencia por desempeo y en ningn caso la sustituye. La norma debe propiciar que la persona adquiera conciencia de sus saberes, lo que comprende el saber hacer, el saber ser y el saber que le permita poner en prctica su potencial para transferir y aprender a lo largo de su vida. 14. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados QU ELEMENTOS SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN CRITERIAL EVALUACIN CRITERIAL Las medidas referidas al criterio sern aquellas que se utilizan para evaluar el status absoluto individual con respecto a algn criterio de rendimiento. Por el hecho de comparar la ejecucin individual con algn criterio en lugar de con lo realizado por otros sujetos es por lo que se denominan medidas referidas al criterio. 15. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados ELEMENTOS QUE SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN CRITERIAL 1.- ESPECIFICACIN DEL DOMINIO Es sin duda el tema central sobre el que gira la construccin de un TRC. Ser la calidad de la definicin del dominio lo que va a posibilitar la referencia de las puntuaciones individuales a criterios internos de calidad. Por "dominio" se entiende el conjunto de todos aquellos elementos (objetivos, acciones, tareas, tems) que representan el propsito de la instruccin. Desde el punto de vista mtrico, el dominio constituye el "universo de medida", el cual incluye todas las unidades que lo definen. Un dominio est bien definido si sus unidades (objetivos e tems) estn bien especificadas y adecuadamente estructuradas, lo que puede conseguirse bien a partir de la opinin de jueces, bien por anlisis empricos. Sern tres los niveles posibles de definicin del dominio: taxonmico, por objetivos y por tems. Slo se alcanza en este ltimo nivel el rigor preciso para fundamentar adecuadamente la evaluacin. 16. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 2.- ANLISIS DE ELEMENTOS En el anlisis de elementos que se realiza en una concepcin criterial de la evaluacin, lo que ms va a interesarnos es conseguir la representatividad del elemento respecto al universo de medida, entendida en el aspecto educativo como congruencia entre el tem y el objetivo, y ello en detrimento de la preocupacin prioritaria y exclusiva por los parmetros de los tem en el mbito normativo (dificultad y discriminacin). Estas dos preocupaciones -congruencia y eficacia en la medida- se integrarn aqu de forma mucho ms armnica, respondiendo a lo que ha venido denominndose revisiones lgica y emprica, integradas en un mismo proceso de anlisis de tems en el mbito de la ERC. 17. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 3.- DETERMINACIN DE ESTNDARES O PUNTOS DE CORTE Debe establecerse con claridad si un procedimiento se encamina a la determinacin del punto de corte en la escala de puntuaciones verdaderas (establecimiento de estndares) o bien si est destinado a la determinacin de un punto de corte en la escala de puntuaciones observadas (establecimiento de un punto de corte). Los mtodos destinados a la determinacin de una puntuacin de corte, a partir de un estndar previamente fijado, se ocupan de trasladar dicho valor a la escala observada, teniendo en cuenta las diferencias que se dan en la medicin y, generalmente, optimizando las consecuencias resultantes de la decisin. Se establecen tres grandes grupos en los mtodos para el establecimiento de puntos de corte: a) Mtodos convencionales o psicomtricos, donde se trata de lograr la mayor correlacin entre la clasificacin del rendimiento de los estudiantes respecto a un punto de superacin con un criterio interno o externo b )Mtodos probalsticos, donde se parte de la teora de la medida representacional de un universo de tal manera que el fijar el valor de un punto de corte en el continuo determine la toma de decisin subsiguiente c) Mtodos basados en la experimentacin pre/post instruccin, donde se determina un punto de corte que espera a los sujetos con nivel de rendimiento alto de los de nivel bajo (exactamente sujetos pre y post instruccin). 18. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 4.- FIABILIDAD En la fiabilidad en las pruebas de referencia criterial no slo tendr importancia la fiabilidad de las mediciones sino tambin otras cuestiones como la consistencia de las interpretaciones que se hagan a partir de dichas mediciones y de las decisiones que se derivan. Tres grandes categoras de fiabilidad en el contexto de los TRC: 1) Fiabilidad de las decisiones de clasificacin o consistencia en la toma de decisin de clasificacin como aptos/no aptos. La estrategia general consistir en aplicar un mismo test (formas paralelas) a un mismo grupo de sujetos, sucesivamente, y comprobar en qu medida existe acuerdo entre las clasificaciones derivadas de ambas aplicaciones. Si existe consistencia en la clasificacin de cada individuo a travs de las aplicaciones se estima que la prueba es fiable. 2) Fiabilidad de las puntuaciones del test referidas al criterio o consistencia de las desviaciones, cuadrticas o lineales, de las puntuaciones individuales desde la puntuacin del punto de corte. 3) Fiabilidad de las estimaciones de la puntuacin en el dominio o consistencia de las puntuaciones individuales a travs de test paralelos. Destacamos el ndice de Brennan como el ms adecuado para medir la fiabilidad as entendida, concebido dentro de la teora de la generalizabilidad y cuya caracterstica ms relevante es que es independiente del punto de corte y por ello su utilidad estar orientada a aquellas pruebas que no pretenden tomar decisiones. 19. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 5.- VALIDEZ La validez se refiere a las puntuaciones. Se asumen la validez de contenido y de constructo. En relacin con la validez de contenido, se proponen dos nuevas modalidades denominadas "validez curricular" y "validez instruccional". La curricular hace referencia a la adecuacin y representatividad de los diferentes tpicos en el mismo continuo: tem-objetivos-currculum. La validez instruccional se refiere al grado de ajuste entre los objetivos medidos en un test y los objetivos desarrollados en el aula. Ambas pueden considerarse sinnimas de la validez de contenido, a la que, cara a la representatividad de los tems en relacin con el dominio, se le va a exigir una definicin clara de dicho dominio y la especificacin clara del plan de muestreo usado en la seleccin de elementos. 20. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados El proceso seguido para el establecimiento de la validez de constructo es similar al procedimiento aplicado para valorar las teoras cientficas, cuyas etapas seran las siguientes: 1) Estudio lgico de la prueba para determinar los constructos que supuestamente estn en la base de la ejecucin. 2) Analizar la relacin entre variables observables, entre stas y los constructos y entre stos. 3) Derivar de las etapas anteriores consecuencias prcticas. 4. Perspectivas tcnicas y viabilidad de su incorporacin a la evaluacin en el mbito educativo. La finalidad de aplicacin de una prueba que, al menos, puede tener una doble intencin: a) Diferenciacin de los sujetos. b) Evaluacin de los efectos de la enseanza, donde debe prevalecer el criterio didctico. En el modelo se incluyen cinco dimensiones a considerar respecto a la aplicacin de pruebas: A) Utilizacin de pruebas B) Procedimientos para seleccionar y generar tems C) Proceso de revisin del tem D) Estudio de la precisin o fiabilidad E) Aproximacin a la validacin 21. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados Por ltimo se hace referencia, esquemticamente, a las cautelas que consideramos han de tenerse en cuenta a la hora de planificar la actividad evaluativa: a) Determinacin previa de la finalidad de la prueba que se aplica. b) Determinacin de las caractersticas psicomtricas de los tems que conforman la prueba, con el fin de disponer de "informacin aadida" a la hora de interpretar los resultados. c) Elaboracin de las tablas de especificaciones, lo que requiere a mi entender el estudio previo de las caractersticas psicomtricas de los tems indicando en el punto anterior. d) Valoracin didctica del proceso de medicin, resultado de la aplicacin de la prueba, lo que estar posibilitando el planteamiento de nuevas hiptesis de trabajo y en consecuencia la mejora del propio modelo didctico seguido en el diseo del currculo, siempre con carcter de provisionalidad. e) Integracin de los conclusiones a las que hayamos podido llegar por esta va con la procedentes de otros esquemas de actuacin no necesariamente cuantitativos, a fin de aproximarnos a la consecucin ltima de todo proceso de evaluacin: su integracin plena en el desarrollo del currculo, lo que la convierte inexcusablemente e formativa, en generadora de cambios educativos deseables y, en definitiva, en instrumento de mejora permanente del desarrollo del currculo, va perfeccionamiento del propio modelo didctico que los sustenta ... f) Someter a procesos de discusin crtica la procedencia de realizar evaluacin criterial. Cuando est claramente establecida su conveniencia desde el punto de vista didctico, comenzar a realizar estudios sobre las caractersticas de estas pruebas en los trminos aqu sugeridos. 22. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados QU ELEMENTOS SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN PARTICIPATIVA PROCESOS DE EVALUACIN PARTICIPATIVA La evaluacin es un proceso (no es un momento puntual ms o menos relevante y trascendente) que se fundamenta en el conocimiento de la prctica a travs de la sistematizacin de informacin y el debate entre actores diversos de esa prctica; y estando ah desde el principio. As, en el proceso de evaluacin pueden intervenir una pluralidad y extensin de actores tan amplia como la pluralidad de los actores que se encuentran en la prctica misma. Incluso ms amplia si se invita a participar en la evaluacin a agentes externos a la prctica. Puede trabajarse y debe trabajarse con enfoques metodolgicos complejos y complementarios (multiestratgicos) que pongan en relacin metodologas de evaluacin cuantitativa, cualitativa y participativa. 23. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados ELEMENTOS QUE SE TOMAN EN CUENTA PARA LA UTILIZACIN DE RESULTADOS EN LA EVALUACIN PARTICIPATIVA Previamente a cualquier evaluacin se deben identificar una serie de elementos que van a condicionar la ptica desde la cual se lleva a cabo la evaluacin. As, antes de empezar una evaluacin deberamos identificar, como mnimo, las siguientes caractersticas del proceso/experiencia: ELEMENTOS PREVIOS 1.- EL CONTEXTO El contexto social, econmico y poltico en el cual se desarrolla una experiencia participativa resulta de gran relevancia para comprender y analizar muchos de los resultados de su evaluacin. En funcin del contexto los objetivos de un proceso pueden ser muy distintos y los criterios de evaluacin tambin. 24. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 2.-EL MBITO TEMTICO Hay experiencias participativas sectoriales y otras globales o integrales. En funcin del tema que se aborde y, sobretodo, en funcin del carcter ms o menos integral de ste, los criterios de evaluacin tambin sern distintos. El mbito temtico sobre el cul se participa condiciona muchos elementos de la evaluacin. As, por ejemplo, en procesos temticos muy especficos puede que no tenga sentido evaluar la diversidad de los participantes porque los potenciales participantes son, por la misma naturaleza del proceso, un colectivo homogneo. 3.-EL MBITO TERRITORIAL Hay procesos que se desarrollan en mbitos municipales y otros en mbitos ms locales como pueden ser los distritos o los barrios. Este elemento tambin condicionar la evaluacin del proceso, pues los potenciales participantes variarn. En el caso de los procesos ms globales se deber tener en cuenta, por ejemplo, la diversidad territorial de los participantes, cosa que no tiene sentido en procesos ms locales. 25. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 4.- LOS OBJETIVOS Toda evaluacin deber tener muy en cuenta los objetivos del proceso evaluado, pues en muchos casos no tendr sentido evaluar un proceso con criterios que se refieren a objetivos que el mismo proceso no se plantea. Si bien existen algunos criterios mnimos que deberan ser evaluados en cualquier proceso, hay muchos otros que slo tiene sentido evaluar si forman parte de los objetivos del proceso. De hecho, para una evaluacin ideal el mismo proyecto debera fijar a priori cules sern los objetivos que sern evaluados para, a posteriori, poder evaluar si se cumplen o no. 5.-LOS COLECTIVOS PARTICIPANTES No todos los procesos se dirigen a los mismos participantes. Hay procesos que se dirigen slo a asociaciones, otros que se dirigen a la ciudadana no organizada, algunos se dirigen a colectivos especficos de la poblacin (como mujeres, nios y nias, poblacin indgena, etc.), algunos que incorporan tcnicos y polticos, otros que no, etc. En funcin de cules sean los participantes a los que se destina el proceso, los criterios de evaluacin sern unos u otros. 26. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 6.-TIPO DE EVALUACIN Existen distintos tipos de evaluacin de procesos participativos y distintas metodologas para llevarlas a cabo. Este documento pretende ofrecer algunas de ellas. Antes de empezar la evaluacin de un proceso participativo es importante decidir qu tipo de evaluacin se desea hacer. En este sentido es importante distinguir entre las evaluaciones internas y externas y decidir en qu grado los participantes del proceso sern tambin partcipes de la evaluacin del mismo. Orientar la evaluacin hacia metodologas ms cualitativas y participativas puede ser una buena forma de superar muchas de las limitaciones con las que nos hemos ido encontrando siempre que hemos intentado evaluar desde metodologas estrictamente cuantitativas. As, dificultades como la falta de datos, la falta de recuentos o la poca fiabilidad de alguna informacin, puede ser superada a travs de estas otras metodologas que nos pueden permitir evaluar la participacin ciudadana desde otras pticas. Al mismo tiempo, no debemos olvidar que la evaluacin participativa cuenta con el importantsimo valor aadido de implicar a los y las participantes de un proceso, as como a representantes polticos y personal tcnico, en la evaluacin del mismo, hecho que nos permite mejorar la participacin a partir de la propia experiencia de los participantes al mismo tiempo que se legitima tanto el proceso evaluado como la evaluacin y las mejoras incorporadas a partir de esa evaluacin. 27. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados ELEMENTOS METODOLGICOS 1.- METODOLOGAS DE ANLISIS TCNICO a) Registros Para una buena evaluacin de un proceso resulta fundamental registrar a los participantes e identificar algunas de sus caractersticas sociales: sexo, edad, formacin, nacionalidad... Igualmente para los/las participantes organizados/as: entidad a la que representan, tipo de asociacin, etc. Adems, conviene tambin disponer de otros registros relativos a la poblacin de referencia sobre la cual se realiza el proceso: datos sociodemogrficos del conjunto de la poblacin de referencia, registro de entidades, etc. b) Anlisis de proyecto y de proceso Algunos criterios de calidad en los procesos participativos pueden evaluarse de forma tcnica por algn experto simplemente a travs de un anlisis del proyecto y del proceso. En estos casos, la evaluacin no requiere de mecanismos de reflexin colectiva, pues consiste en la simple identificacin de algunos elementos en el proyecto o en la implementacin del mismo. El anlisis de proyecto y de proceso consiste en una revisin del proyecto y de su implementacin a lo largo del proceso. Esta revisin analtica conviene que sea realizada por algn/a experto/a en procesos participativos. 28. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados c) Entrevistas a informantes clave En todo proceso podemos identificar algunas personas clave que nos pueden facilitar mucha informacin sobre la realidad sociopoltica del mbito sometido a participacin. Una seleccin plural de entre 5 y 10 informantes clave puede proporcionar-nos, a travs de entrevistas en profundidad, mucha informacin sobre el proceso que nos puede ser de gran utilidad para su evaluacin. Entre los/las informantes clave de un proceso habr algunas personas que nos proporcionarn ms informacin que otras en relacin a la evaluacin del proceso. En este sentido, el/la informante ms relevante para la evaluacin sern las personas responsables polticas y tcnicas del proceso. d) El sociograma El sociograma es una herramienta que tiene por objetivo identificar el mapa de actores implicados y/o afectados en relacin a la temtica tratada, definiendo las relaciones e influencias entre s. El sociograma no es ms que una representacin grfica donde se proyectan un conjunto de nodos, los actores (en el mbito del Estado, el mercado y la sociedad civil) y las relaciones existentes entre estos. Se trata de una herramienta descriptiva que puede construirse de forma individual o de forma grupal. Resulta interesante construirlo con actores clave que puedan darnos toda la informacin sobre la realidad sociopoltica del mbito sometido a participacin. 29. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 2.- METODOLOGA DE AUTOEVALUACIN INTERNA Los grupos de discusin internos Para abordar determinados aspectos de la evaluacin de un proceso participativo puede ser interesante llevar a cabo una reflexin colectiva con aquellas personas ms implicadas en la gestin y la coordinacin del proceso. Estos espacios pueden crearse especficamente para la evaluacin, al final del proceso o al final de algunas fases del mismo, y deberan incorporar a los tcnicos y polticos implicados en la coordinacin del proceso. Si existen rganos especficos con funciones de coordinacin o seguimiento del proceso en los cuales, adems de tcnicos y polticos, tambin hay ciudadanos/as; puede ser til aprovechar estos espacios para la evaluacin de carcter interno. 30. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados 3.- METODOLOGA DE AUTOEVALUACIN PARTICIPADA a) El cuestionario a los/las participantes El cuestionario es una herramienta para obtener percepciones y valoraciones subjetivas de las personas participantes en relacin al proceso participativo. Se trata de un instrumento a travs del cual los y las participantes pueden hacer una evaluacin individual del proceso. Esto permite que cada participante se posicione de forma individual pero impide que la evaluacin sea fruto de una deliberacin y una reflexin colectiva. Sin embargo, tambin existe la posibilidad de pasar el cuestionario al finalizar una sesin grupal de evaluacin del proceso. Aunque se trata de una herramienta fundamentalmente cuantitativa, el cuestionario permite la posibilidad de introducir preguntas abiertas de carcter cualitativo. El cuestionario nos permite obtener datos cuantitativos en relacin a distintos elementos. En el caso de las preguntas cerradas puede optarse por una batera de preguntas con escalas de opinin (mucho/bastante/poco/nada o valoracin de 0 a 10 puntos, etc.). El cuestionario puede pasarse a las y los participantes al final del proceso o in situ al final de todos o algunos de los distintos mecanismos de participacin desarrollados en unos procesos. 31. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados b) Evaluacin participada cualitativa Desde un enfoque cualitativo de la evaluacin, existen distintas metodologas participativas pensadas para que los y las participantes del proceso hagan una evaluacin de distintos aspectos del mismo. La evaluacin cualitativa permite desarrollar un proceso de reflexin colectiva entre las personas participantes en torno al proceso participativo y esto aporta un gran valor aadido a la evaluacin. Adems, desde la evaluacin cualitativa aparecen elementos de mayor detalle, elementos ms especficos del proceso en concreto, surgen argumentos y explicaciones de por qu algunas cosas han funcionado bien y otras no, etc. El mtodo cualitativo permite una mejor incorporacin en la evaluacin de aquellos elementos ms subjetivos y de aquellos que son difcilmente mesurables. Muchos de estos elementos se pierden en una evaluacin cuantitativa y slo pueden recogerse a travs de mtodos cualitativos. La evaluacin participada cualitativa puede llevarse a cabo a travs de talleres o jornadas especficas para la evaluacin o bien in situ al finalizar determinados mecanismos grupales de participacin. Tambin pueden generarse grupos de discusin especficos o aprovechar algunos de los rganos del proceso, si los hay, para realizar sesiones de evaluacin. 32. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados QU TIPO DE INTERPRETACIN DE RESULTADOS SE LLEVA A CABO EN LA PRUEBA PISA? Y POR QU? PISA nos informa de los resultados que obtienen los sistemas educativos al adecuar los aprendizajes a las necesidades del mundo globalizado y mejorar la calidad educativa. Tambin nos facilita el anlisis comparativo de los datos que nos permitirn obtener conclusiones y tomar decisiones para mejorar nuestro sistema educativo. La interpretacin de resultados que se lleva a cabo en prueba PISA es por normas y por criterios. 33. Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Cada evaluacin ha supuesto un aprendizaje que ha permitido enriquecer y mejorar el diseo y elaboracin no solo de los instrumentos que buscan evaluar el rendimiento estudiantil y estudiar los factores asociados a este, sino tambin de metodologas ms complejas y exactas. Entre estas se puede citar el trnsito que ha supuesto pasar de pruebas cuya interpretacin de resultados est referido a la norma (que permiten solamente ordenar y comparar a un estudiante con su grupo de pares) a pruebas cuya interpretacin de resultados est referida a criterios (que adems de ordenar y comparar grupos de estudiantes, permiten estimar cuntos alcanzan el criterio o estndar establecido, y sobre todo permiten describir qu es lo que los estudiantes saben y son capaces de hacer). Tambin podemos destacar el uso de mtodos como el Bookmark sobre puntos de corte, para establecer los lmites entre los niveles de desempeo. Igualmente se ha introducido el uso de los Modelos Jerrquicos Lineales (HLM6), que permiten analizar la relacin entre la medida en una prueba de logro (criterio) y un conjunto de variables asociadas al rendimiento acadmico (predictores). 34. Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados La ventaja de este tipo de modelos es que consideran la estructura jerrquica de los datos, pues hay variables que corresponden al nivel de escuela (p. ej.: el clima escolar) y otras que pertenecen al nivel individual (p. ej.: la autoeficacia del estudiante), lo que permite tener una estimacin ms precisa de los errores estndar del coeficiente que asocia cada predictor con el criterio. Adems, se estn utilizando modelos de anlisis factorial para obtener evidencias de validez referidas a la estructura de los constructos evaluados. Y, finalmente, podemos mencionar el uso de mtodos de remuestreo (p. ej.: el Jacknife) para estimar el porcentaje de los errores estndar de los estudiantes en cada nivel de desempeo. 35. PISA: Midiendo el xito escolar en el mundo http://ruc.udc.es/bitstream/2183/8531/1/CC-02art5ocr.pdf http://bid.ub.edu/11angul2.htm http://www.redcimas.org/wordpress/wp- content/uploads/2012/08/m_OIDPespa%C3%B1ol_GUIA.pdf http://www.santillana.com.pe/novedades/fasciculo.pdf BIBLIOGRAFA Teresa de Jess Jimnez Zavalza Cuadro: Interpretacin de Resultados Unidad 4: Portafolio de Evidencias y Anlisis e Interpretacin de Resultados Elaboracin de Instrumentos de Evaluacin