patología gral. de ev. s. guerra

MIGUEL ANGEL SANTOS GUERRA, “EVALUACIÓN EDUCATIVA 1”, MÉXICO

1

UCINFMagister en docencia universitaria

Material de apoyo para curso: Evaluación de los aprendizajes

PATOLOGÍA GENERAL DE LA EVALUACIÓN EDUCATIVA

El desarrollo curricular, en cualquiera de sus niveles, está recorrido por un proceso evaluador detriple naturaleza: la evaluación diagnóstica, la evaluación procesal y la evaluación de término. En elbuen entendido de que el proceso es circular, no meramente lineal, dinámico en su entraña.

La toma de decisiones, inicial o de proceso, nace de una valoración precisa y de un análisis delplanteamiento, de la acción, del contexto y condiciones de la misma y en su caso de los resultados.

En el complejo mundo de la educación, por tantos motivos particular y cambiante, se realizandiversos procesos evaluadores del currículum, que están afectados de las patologías más diversas.

Cada uno de los desórdenes que afectan a este proceso (en el marco de referencia macro curricular= sistema, mesocurricular=centro y microcurricular = aula) puede ser estudiado en sus signos, ensus síntomas y en su fisiopatología, es decir, en el mecanismo por el que se produce esa“enfermedad”.

Hablamos de patología general porque nos interesa el estudio global que siente las bases decualquier posterior subdivisión analítica. Podríamos hablar también, sensu strictu, de patología social(término introducido por la escuela organicista) de la evaluación, ya que se trata de desórdenes deprocesos que afectan a grupos y a relaciones entre individuos.

La evaluación (tanto la de carácter funcional como la investigadora) puede ser manejada para servirlos intereses del evaluador, ya que éste puede llamar "evaluación" a la operación que desee, puedeevaluar aquello que le interese, en las formas y momentos que determine, con los instrumentos queconsidere oportunos y -desde luego- para utilizarla en los fines que su particular interpretación acon-seje.

El poder que dimana del proceso evaluador es tan grande que permite atribuir causalidadesarbitrariamente, catalogar éticamente, justificar decisiones y clarificar realidades.

La apariencia de rigor se convierte en una amenaza de perfiles contundentes. Los ribetes científicosdisminuyen la capacidad de crítica y prestan un peligroso aval. Si entendemos/ practicamos laevaluación como un proceso difícilmente contestable en su concepción, en su desarrollo, en suutilización, difícilmente podrán ser discutidas las conclusiones: "este alumno ha suspendido", "estecentro escolar es malo", "esta experiencia educativa es excelente", esta actividad tiene quedesaparecer", "estas personas tienen que ser excluidas".

Los criterios que se aplican para la evaluación no siempre se ajustan a patrones rigurosamenteelaborados. Y así, una reforma puede considerarse "buena" porque aumenta el número de losconocimientos de los alumnos, un centro puede etiquetarse como "estupendo" porque aprueba laselectividad un porcentaje alto de alumnos presentados y un alumno es considerado "excelente"porque ha contestado correctamente a una prueba objetiva.


2

Más aún, de una evaluación superficial pueden nacer explicaciones explícitas/implícitas queconsagran una determinada realidad, estableciendo nexos causales gratuitos. “Este alumnosuspende porque no estudia", "ese programa de renovación no funciona porque los profesores sonincompetentes", "ese centro tiene eficacia educativa porque posee grandes instalaciones".

La patología que afecta a la evaluación atañe a todas y cada una de sus vertientes: por qué seevalúa (y para qué), quién evalúa, cómo se evalúa, para quién se evalúa, cuándo se evalúa, qué seevalúa, a quién se evalúa, con qué criterios se evalúa, cómo se evalúa la misma evaluación, etc.

Algunas patologías lo son en cuanto hipertrofian un aspecto o dimensión que, planteado en su justamedida, sería positivo. Valorar los conocimientos, por ejemplo, no es un error, pero sí lo puede ser elvalorar exclusivamente, obsesivamente, los conocimientos, sin tener en cuenta su naturaleza, suimportancia, su interés, su adecuación, su coordinación con otros conocimientos, etc.

Otras patologías se deben a la atrofia de funciones que son consustanciales con un estado de saludeducativa. No se desarrolla, por ejemplo, un tipo de evaluación democrática en la que tanto elproceso de evaluación como el manejo de la información resultante sean responsabilidad directa delos protagonistas de la experiencia educativa.

Hay también carencias, disfunciones. La gravedad de la anomalía dependerá, en parte, de su mismanaturaleza y, desde luego, de su intensidad.

1. Sólo se evalúa al alumno

En este sentido sí es protagonista el alumno. Se le examina siguiendo una temporalizacióndeterminada. Se le dan los resultados, prácticamente inapelables y, en general, se le considera elúnico responsable de los mismos.

No parece concebirse el currículum sin la evaluación del alumno, pero sí sin la evaluación genéricade aquél. Los argumentos -cargados de lógica- que se utilizan para avalar la ineludible necesidad dela evaluación del alumno no se aplican a otros elementos del currículum.

A cada alumno se le asigna en el expediente un valor numérico (al menos, cuantificado) que pareceser de su exclusiva responsabilidad. La calificación del alumno -para muchos padres, profesores ypara los mismos alumnos- es el resultado de su capacidad y su falta o derroche de esfuerzos. En elcaso de fracasar, será él quién deberá pagar las "consecuencias". Sólo él deberá cambiar. Lodemás podrá seguir como estaba. La evaluación se convierte así en un proceso conservador.

La distinción socorrida de evaluación suficiente y evaluación satisfactoria viene a poner demanifiesto otro flanco de la patología. Porque se utiliza como criterio referencial fáctico laconsecución de unos conocimientos mínimos (será el profesor quien lo compruebe según susparticulares criterios), estableciendo en la gama de puntuaciones una comparación con el resto delos escolares a todas luces discutible.

¿Qué es lo que se ha comparado para colocar a los individuos en la escalera desuspensos/aprobados/notables/sobresalientes/matrículas...? No se sabe si se comparan lascapacidades de los sujetos, los esfuerzos realizados, los conocimientos adquiridos.... o la suerte dela que han gozado. Lo cierto es que la etiquetación que nace de la evaluación educativa figura


3

estampada en impresos, debidamente rubricada por la autoridad académica y refrendada por lossellos oficiales.

Este ejercicio enmascara una injusticia grande, no sólo por la arbitrariedad de asignación, por elcapricho atributivo (agravado por la apariencia de rigor científico), sino por la desigualdad radical decondiciones naturales y contextuales. Partir de situaciones desiguales y pretender comparar losresultados utilizando los mismos raseros es una fórmula radicalmente injusta de ejercitar unaaparente justicia.

Lo cierto es que, en este mecanismo, sólo se incluye al alumno, quiera o no; muchos responsablesdel proceso educativo quedan sin esa consideración evaluadora y sin las consecuencias que llevaríaaparejadas.

2. Se evalúan solamente los resultados

Los resultados han de ser tenidos en cuenta dentro del proceso evaluador. Pero no solamente losresultados. Los presupuestos de los que se parte, las condiciones que se tienen, las estrategias quese ponen en marcha, los procesos que se desencadenan, los ritmos de consecución, la proporciónrendimiento/esfuerzo.... son también elementos que deben evaluarse. No sólo porque laconsecución/no consecución de unos resultados (y el grado de su logro) está supeditada a aquellosfactores sino porque ellos mismos constituyen el objetivo de la mirada evaluadora.

En definitiva, no sólo importa que es lo que se ha conseguido, sino cómo, a qué precio, con quéritmo, con qué medios, con cuántos esfuerzos, a qué costa, para qué fines...

Analizar sólo los resultados obtenidos es, cuando menos, parcial. Y la parcialidad suele iracompañada de imprecisión y de tergiversaciones.

3. Se evalúan solo los conocimientos

El proceso de enseñanza/aprendizaje se realiza sobre un cuerpo de conocimientos más o menosestructurados, más o menos interesantes, más o menos conexionados con la práctica, más o menos"autónomos" (los grados de libertad del currículum pueden ser variables). No se puede aprender enel vacío. Cuando hablamos de "aprender a aprender” -dejando al margen los conocimientos-estamos haciendo meras piruetas mentales.

Aprender a aprender es un slogan tan utilizado como desprovisto de sentido real. Porque sólo seaprende aprendiendo.

No se puede, pues, rechazar el aprendizaje de contenidos. Porque son necesarios para articular elpensamiento, para adaptarse a la realidad y para poder manejarla.

Otra cosa es la selección de los contenidos, su articulación, su significación de organizadores delpensamiento.

Ahora bien, limitarse a la evaluación de conocimientos supone un reduccionismo escandaloso.Existen otra serie de pretendidos logros que no se contemplan debidamente en el procesoevaluador: actitudes, destrezas, hábitos, valores...


4

Una persona que adquiriese un abundante caudal de conocimientos para mejor destruir/oprimir a losotros, un alumno que llenase su cabeza de conocimientos pero que odiase la sabiduría, un individuocon gran almacén de datos en la cabeza pero incapaz de comunicarse..., no estaría auténticamenteformado.

Luego veremos que la evaluación de estas otras facetas no es tarea fácil. Muchos profesores notienen conciencia profesional de que se trata de aspectos educativos relevantes. Otros no conocenlas formas de acercarse a una evaluación adecuada a los mismos. La Administración, conocedorade esas limitaciones, nacidas de una deficiente formación del profesorado, desconfiado de quepuedan realizar espontáneamente estas tareas, pretende implantarlas a golpe de “BOE”. Es másbarato que una larga y concienzuda formación. Pero es totalmente ineficaz. ¿De qué sirvió implantarla evaluación continua cuando los profesores se guían instalados en sus viejas prácticasevaluadoras? Sencillamente, para repetir continuamente aquellas prácticas de evaluaciónmemorísticas.

4. Solo se evalúan los resultados directos, pretendidos.

La puesta en marcha de muchos proyectos curriculares que siguen un criterio de encadenamientolineal (objetivos propuestos-contenidos-métodos-evaluación de objetivos propuestos) no tiene encuenta la evaluación de aquellos efectos laterales, secundarios, imprevistos.

Estos efectos existen, casi inevitablemente. Y, en ocasiones, son mucho más importantes que losresultados buscados directamente en el proyecto.

La pretensión de que el alumno adquiera un elevado novel de conocimientos, ejercida de maneradespótica, puede engendrar una aversión hacia el estudio muy perjudicial.

La pretensión, en algunos centros religiosos, de que los alumnos adquieran una práctica religiosaacendrada, llevó a muchos a una postura de rechazo y resentimiento hacia lo religioso.

Lo mismo habría de decirse de un centro o de una reforma. El resultado directo del programa esevaluado, pero sin tener en cuenta los efectos secundarios (llamémosles así, aunque en ocasionestengan mayor relevancia que los buscados) que se han generado.

Introducir una mejora en un centro puede suponer, quizás el enfrentamiento entre dos sectores delclaustro o el enrarecimiento de las relaciones entre la dirección y los profesores.

Bien es cierto que los efectos secundarios, en un momento incontrolables e impredecibles, no debenfrenar la innovación o la implantación de un programa seriamente estudiado. Lo que decimos es quela evaluación del mismo debe tener en cuenta tanto los resultados que se buscaban como los que sehayan provocado a lo largo del desarrollo curricular.

5. Solo se evalúan los efectos observables

Existen efectos que no son directamente observables. Estos efectos –buscados o no- suelen pasarinadvertidos a los ojos del evaluador.


5

Los modelos de evaluación basados en la programación por objetivos operativos (Mager, 1972;Bloom, 1972; Popham, 1975) exigen un modelo correlativo de evaluación que descanse sobre laaplicación de instrumentos de comprobación de carácter experimental.

Se podría objetar que no es posible evaluar los efectos no observables. No es así. Lo no observableno es equivalente a lo no existente. Ni a lo no relevante. Ni, por supuesto, a lo no evaluable. Almenos, desde una concepción de] proceso evaluador que pretenda profundizar en la entrañaeducativa.

Eisner (1981) dice que la mayoría de los aprendizajes que realiza el alumno en la escuela no sehallan programados en el currículum explícito.

Las limitaciones metodológicas que impone una concepción experimentalista de la evaluación nodeben hacernos olvidar todo el bloque del iceberg curricular que permanece por debajo de lasuperficie de las aguas.

Es precisamente un modelo de evaluación más exigente, más riguroso, más ambicioso el que,paradójicamente, nos lleva a explorar otras capas que no son reconocibles "a simple vista" o a golpede mediciones pretendidamente objetivas.

Estas dimensiones de la evaluación exigen, eso sí, la utilización de técnicas de exploraciónadecuadas al intento de llegar a descubrir e interpretar lo oculto del currículum y de sus resultados.

6. Se evalúa principalmente la vertiente negativa

En la práctica habitual del docente la evaluación está marcada por las correcciones. El mismolenguaje descubre la actitud predominante: "corregir significa "enmendar lo errado". El subrayado delas faltas de ortografía es mucho más frecuente que la explícita valoración de las palabras bienescritas.

Sirva esta anécdota de punto de referencia para referirnos a esa actitud no solamente mala pornegativista sino por parcializante.

Una evaluación rigurosa requiere un tratamiento holístico de los fenómenos y de los productos. Lacomprensión de un proceso adquiere sentido en un análisis estructurado y estructurante en el que lainterconexión de todos los elementos permite la explicación y el significado.

El desequilibrio de perspectiva hace que la escuela esté más atenta a los errores que a los aciertosde los alumnos y que los equipos de evaluación externa se apresten más a describir problemas ydeficiencias que a resaltar valores y logros.

Además de factores actitudinales, puede influir en esta dinámica selectiva la mayor facilidad queexiste de describir la tensión que la calma, el error que el acierto, la guerra que la paz...

7. Solo se evalúa a las personas

Es un error "someter” a los alumnos o a los profesores de un centro o a los coordinadores de unareforma a una evaluación conclusiva (lo cual encierra juicios de valoración, no meras descripciones


6

de actuación) sin tener en cuenta las condiciones, los medios, los tiempos, los contextos en que semueven.

Cronbach (1963) distingue tres grandes áreas sobre las que la evaluación toma decisiones: elmaterial de instrucción, los individuos y la regulación administrativa. No son sólo los individuos losresponsables de un proceso o de un resultado. Hay que contemplar cuáles son los medios con losque cuentan, las condiciones en las que trabajan y los márgenes de autonomía real con quecuentan.

Los mecanismos de atribución pueden hacer descansar en el sistema, en la carencia de medios, enla presión de los programas oficiales, en la mala organización de los centros, en la irracionalidad delos calendarios.... toda la responsabilidad de un proceso educativo.

Esos condicionantes/estimulantes existen. Hay que tenerlos en cuenta a la hora de la evaluación. Nosolamente como coadyuvantes del intento educativo, sino como elementos que pueden sermodificados y/o mejorados para un posterior desarrollo.

8. Se evalúa descontextualizadamente

Berttalanffy (1976, 1978) plantea la necesidad de tener en cuenta un contexto amplio cuando sepretende comprender la realidad de un sistema actuante.

Pretender dar significado a la actuación de un alumno desde la óptica y el código del evaluador,prescindiendo de las claves de interpretación del contexto, es vaciar el contenido de la realidad(Oates, 1975).

Encasillar un centro dentro de la plantilla elaborada por el evaluador con unos criterios genéricos depretendida validez, es negarse a entender todo lo que sucede en el mismo.

Una calificación sobresaliente puede ser considerada "algo despreciable" en un contextodeterminado. Una clase indisciplinada puede estar en el eje de la admiración de la mayoría de losalumnos de un centro. Una experiencia pedagógica "modélica" puede ser valorada en su contextode forma negativa...

Si el evaluador, en aras de una pretendida objetividad, busca la creación y realiza la aplicación deinstrumentos de medida fiables y válidos técnicamente y no tiene en cuenta la realidad viva,compleja y dinámica de ese todo, de ese sistema organizativo que tiene en sí mismo los códigossintácticos y semánticos, se verá enredado en un caudal de datos muertos y desprovistos deauténtico significado.

La actuación de un alumno podrá ser atendida e interpretada justamente (con justeza y con justicia)en el marco de innumerables redes codificadoras que se producen en el sistema del aula que, a suvez, está en conexión con el sistema del centro que, a su vez...

"La optimización de un sistema es posible, siempre y cuando nos acerquemos a laspeculiaridades específicas de la estructura y comportamiento de cada sistema, y enfunción precisamente de ese conocimiento específico " (Pérez Gómez, 1985).


7

9. Se evalúa cuantitativamente

La pretensión de atribuir números a realidades complejas es un fenómeno cargado de trampas en elárea de la educación.En las calificaciones escolares utilizamos escalas nominales, ordinales y de razón. Un aprobado esdistinto de un suspenso, un 5 es una nota inferior a un 8, un 6 es el doble de un 3. Parece que todoestá claro, que todo es muy preciso.

El peligro de la evaluación cuantitativa no es solamente la imprecisión sino -y sobre todo- laapariencia de rigor. "La asignación de números de una manera mecánica, como es común en losprocedimientos cuantitativos, no garantiza la objetividad" (Cook, 1986).

Pero, como aparentemente tiene objetividad, genera en los usuarios y destinatarios una tranquilidadmayor que mata las preguntas más hondas.

Algunos padres de alumnos que reciben informes sobre la marcha de sus hijos, con la expresión"Progresa adecuadamente", preguntan a sus profesores: "Progresa adecuadamente, ¿equivale a un8 de antes?” La puntuación parece un lenguaje más claro. Engañosamente más claro. El padretiene, además, el punto de referencia de otros alumnos que tienen puntuaciones de 4, 6 ó 9.

También el profesor puede sentirse más "seguro" después de estampar sobre la prueba objetiva,corregida con una fórmula matemática (P = A-E/N-1), el número exacto, con decimales,correspondiente a la calificación. Además, puede establecer claramente, matemáticamente, la líneadivisoria del apto/no apto.

El alumno, con este procedimiento calificador, sabe lo que tiene que estudiar, cómo tiene queestudiarlo y -después de la calificación- sabe cuánto ha aprendido.

El problema, además del que entraña la pretendida objetividad de esas puntuaciones, estriba en quela luz cegadora de esa "claridad" no deja ver cuestiones más importantes:

¿Cómo aprende el alumno?¿Cómo relaciona lo aprendido?¿Cómo inserta los nuevos conocimientos en los ya asimilados?¿Para qué le sirve lo aprendido?¿Ha disfrutado aprendiendo?¿Estudiaría "esas cosas" por su cuenta?¿Tiene ganas de aprender cuando terminan las pruebas?Etcétera.

10. Se utilizan instrumentos inadecuados

En una recopilación de instrumentos en curso para la evaluación de centros escolares (Plaza, 1986),se ha podido comprobar que la casi totalidad tiene una configuración estática, anecdótica, aséptica,cuantificadora, descontextualizada, etc.

Los cuestionarios, escalas de estimación, listas de control, plantean el interrogante de la tripleadecuación reafidad-percepción, percepción-interpretación, interpretación-expresión. Se añade aesta problemática la complejidad de la explicación de los datos cuantificados. Valorar con 3 puntos


8

sobre 10 el funcionamiento de la biblioteca del centro nos deja en la duda de si la baja puntuación sedebe a algunas de estas causas (o a otras posibles):

No hay libros.No está actualizada la documentación.No existen ficheros que permitan la localización rápida y fácil.No existen locales.No hay tiempo para su apertura.No existe personal que atienda.No hay afición por la lectura.Los libros no tienen interés para los alumnos.No están informados los alumnos de sus normas de funcionamiento.Existe mucho ruido y es difícil la concentración.El bibliotecario es una persona indeseable.Está mal visto entre los alumnos acudir a la biblioteca.Etcétera.

Decir que el 48 por ciento de los profesores valoran con una media de 3 puntos el funcionamiento dela biblioteca, es un modo de esconder, bajo la cifra porcentual, las innumerables causas que hanllevado a los opinantes a conceder una puntuación.

Ese modo de evaluar hace difícil la comprensión de la realidad, su interpretación y, obviamente, laposibilidad de efectuar mejoras que solucionen los problemas o potencien los aciertos.

Lo mismo sucede en el aula. Un instrumento de valoración "objetivo" no puede estar más cargadode subjetividad/ arbitrariedad. He aquí una escala de ambigüedad que no siempre es tenida encuenta:

¿Lo que aparece en el currículum como contenido mínimo es lo realmente importante,valioso, interesante...?¿Lo que ha seleccionado el profesor para la prueba es significativo de lo que el alumno teníaque aprender?¿Lo que pregunta el profesor es exactamente lo que quiere saber sobre lo que ha aprendidoel alumno?¿Lo que el alumno lee es lo que el profesor ha querido preguntar?¿Lo que responde es exactamente aquello que sabe sobre la cuestión?¿Lo que interpreta el profesor es lo que el alumno realmente ha expresado?¿La valoración corresponde a lo que el profesor entiende que ha expresado el alumno...?

Nada digamos de la dificultad de mejorar el aprendizaje a través de ese tipo de pruebas. A lo sumo,el alumno prestará atención al mejor modo de contestarlas en próximas ocasiones. Lo cual esdistinto al propio proceso de enseñanza/ aprendizaje.

Existe otra complicada cuestión en la aplicación habitual de este tipo de pruebas "objetivas" bajo elpretexto de que son más justas, ya que "miden" a todos por igual. Lo cierto es que no existe mayorarbitrariedad que la de querer "medir" de la misma forma a personas que son radicalmentediferentes. Así, un alumno tímido no deseará realizar una entrevista o examen oral. Quien no seexpresa bien por escrito, preferirá una prueba...La naturaleza de la prueba lleva dentro de sí un componente sesgado de valoración,independientemente del tipo de contenidos que plantee y de su forma de presentarlos.


9

11. Se evalúa de forma incoherente con el proceso de enseñanza/aprendizaje

El camino es circular, no rectilíneo y unidireccional. Se evalúa como se enseña y se enseña como seevalúa. O más bien, se estudia para la evaluación. De tal forma que es este proceso el que dirige elaprendizaje. Los alumnos estudian para el examen. No sólo en función de ese momento sino "deforma" que les permita hacer frente al mismo con suficientes garantías de éxito.

Si el examen consiste en una prueba objetiva de Verdadero-Falso, estudíará de forma distinta que sise le anuncia una prueba de ensayo o si se le exige un diseño creativo. Es más, los alumnostratarán de acomodarse a las expectativas del profesor, a sus códigos de valor.

La incoherencia se establece cuando se quiere realizar un aprendizaje por comprensión y se realizaluego una prueba de carácter memorístico, rígido y repetitivo.

Un proceso de enseñanza basado en la explicación oral se cierra con un modelo de examen escrito.

Un modo de trabajo asentado sobre el grupo concluye en una evaluación individual.Un proceso de enseñanza/aprendizaje teóricamente asentado sobre el desarrollo integral delindividuo, acaba con una evaluación exclusivamente preocupada por los conocimientos adquiridos.

Otras veces, el enfoque exclusivo en el aprendizaje de contenidos intelectuales pretende concluirsecon una evaluación que va mucho más allá de lo que se ha trabajado.

En el área de la didáctica se puede rizar el rizo al exigir el profesor la realización de una pruebaobjetiva por él diseñada sobre el tema: "Importancia, necesidad y valor del proceso deautoevaluación en la enseñanza."

12. Se evalúa competitivamente

Creo que una de las ventajas que encierra el enfoque cualitativo es el afinar la sensibilidad delevaluador ante los procesos.

El auténtico significado de un proceso educativo se encuentra en el análisis de todos los elementosque lo integran y que lo circunscriben. Pero no en el contraste, comparación y competencia con otrosprocesos similares, diferentes o antagónicos.

La evaluación habitual del alumno parece cobrar sentido en la comparación y la competencia. Paraalgunos padres, profesores y alumnos importa el cuánto del aprendizaje. Y que ese cuánto esté porencima de...

El carácter positivo que se pretende dar a la evaluación en algunos ámbitos educativos, se trastocafrecuentemente en una burda o camuflada contienda. "Saber más que", "saber menos que" sonpuntos de referencia cruciales.


10

Lo mismo sucede con la evaluación de centros. La valoración cuantitativa es propensa a lacomparación. Las escalas tienen en ella su justificación más evidente. Éste es un centro "mejor"porque ha obtenido en la evaluación más puntos que otro.

La localización de la mirada se sitúa en el exterior del proceso mismo, con el agravante de que seestablecen comparaciones arbitrarias ya que pocas veces se parte de condiciones, medios, historia,personas y fines similares.

Por otra parte, es frecuente justificar la comparación con el pretexto de que sirva de estimulo yemulación. Durante toda la enseñanza primaria y secundaria tuve que trabajar con émulos. Cadaalumno tenía un compañero que era un competidor. Con él había que medirse. El éxito consistía enaventajarle.

Se desvía la atención del auténtico proceso de aprendizaje de cada individuo, de cada aula, de cadacentro. Y si es posible pensar que el "ganador" se sentirá satisfecho y el "perdedor" estimulado, noes menos imaginable que el primero se sienta ridícula y estúpidamente orgulloso, y el segundohumillado.

En las evaluaciones que he visto realizar sobre los profesores (por sus alumnos), siempre he vistosolicitar y exigir cautelas para que los resultados no se hiciesen públicos a través de escalasvalorativas. “No se trata de establecer comparaciones", se dice. Los profesores no consideranpositivo que se publiquen unas listas donde unos aparecen como los mejores y otros como lospeores. Pero colocan, sin ambages, las calificaciones escalonadas de sus alumnos, muy bienmatizadas con decimales...

13. Se evalúa estereotipadamente

Los profesores repiten una y otra vez sus esquemas de evaluación. Cada año los alumnos sepreocupan de saber cuál es la costumbre evaluadora del profesor.

De forma casi automática, el profesor repite sus fórmulas. Ni siquiera negocia con los alumnos elplanteamiento habitualmente practicado. Al comienzo de curso fija el número, el momento, la formay los matices.

¿Ha sometido a evaluación sus propios mecanismos de evaluación? No de una manera rigurosa.Cuando ha pensado en ello ha sido para confirmar los estereotipos.

En un curso con cinco asignaturas un alumno deberá someterse" a cinco proyectos diferentes deevaluación. Los profesores evalúan de formas muy diferentes. Pero cada profesor, en los diferentescursos en que imparte docencia, evalúa de una forma idéntica.

Se multiplican los trabajos sobre evaluación, pero no son los protagonistas -los propios profesores-los que emprenden esta labor. Stenhouse (1984) dice que lo que mejora la acción educativa no estanto la investigación sobre los profesores sino la de los profesores que analizan su propia actividad.

En los centros, la mecánica de la confección de las Memorias tiende a convertirlas en pura rutina. Y,en la medida en que se establezcan pautas "generalizables", estas rutinas serán similares en casitodos los centros. Tan similares como inútiles.


11

14. No se evalúa éticamente

Además de los problemas técnicos, acechan al proceso evaluador numerosos conflictos de carácterético.

La evaluación puede convertirse en un instrumento de opresión. ¿Qué sucedería en las aulas si elprofesor estuviese desprovisto del "arma" de la evaluación? Cuando se articula un proceso deenseñanza/aprendizaje sobre el resultado de la evaluación -más que sobre la riqueza y laprofundidad del saber- se corre el riesgo de la manipulación y el sometimiento del alumno. La "horade la verdad” no es la del aprendizaje sino la de la evaluación. Cuando es el profesor quien lo decidetodo respecto a este momento decisivo, todo el poder descansa en sus manos.

La evaluación ha sido un instrumento de control, de amenaza e, incluso, de venganza, respecto aalgunos alumnos que se han permitido ejercitar el derecho a la crítica, a la discrepancia o laindisciplina.

Cuando, apoyándose en la evaluación, se establecen nexos causales poco rigurosos, habrá quepensar cuáles son las intenciones y los intereses que motivan la manipulación.

En la evaluación institucional se plantean numerosos problemas de carácter ético. Uno de ellos es laconfidencialidad de los informes. ¿De quién son los datos? ¿Para quién son los datos? No puederevelarse el contenido de los informes identificables, tanto por lo que respecta al emisor como aldestinatario de los juicios.

La independencia de los equipos que realizan evaluación externa al servicio de la Administración ode entidades que financian los proyectos, no siempre está garantizada. John Elliott, Helen Simons ySavel Kousner insisten (Elliot et al., 1986) en la necesidad de conseguir la independencia de lostécnicos frente a las posibles exigencias del poder (académico, político, financiero, etc.).

A nadie se le oculta que una evaluación Puede ser rígida, condicionada o manipulada al servicio deunos intereses determinados, o de unas decisiones pretendidas: retirar subvenciones, modificarproyectos, sustituir personas, clausurar centros, cortar experiencias, etc.

15. Se evalúa para controlar

La evaluación en educación, paradójicamente, no suele ser educativa. No repercute en la mejora delproceso. La evaluación se cierra sobre sí misma, constituye un punto final.

Se habla de "calificación final". Cuando es justamente un momento más en el momento de lamejora. No se debe confundir control con evaluación, aunque las dos funciones pueden sernecesarias. El poder sancionador de la evaluación no constituye su esencia más rica, más dinámica.

Cuando los profesores se niegan e explicar a sus alumnos (o se muestran reticentes a hacerlo, porpensar que se trata una pérdida de tiempo) de dónde proceden las calificaciones que les hanatribuido, están desaprovechando un buen elemento de aprendizaje.

Disparar con los ojos vendados sobre una diana sin saber dónde se ha producido el impacto, haceimposible la mejora de la puntería en ensayos posteriores. Solamente conociendo el resultado sepuede mejorar en próximos disparos. Pero, no solamente será preciso conocer y analizar lo que ha


12

sucedido, sino planificar los nuevos procesos en función de aquello que se ha descubierto comofracaso o acierto.

Ese efecto retroalimentador se suele perder en las evaluaciones educativas. Y así, la evaluación quesuponen las memorias finales de los centros, en nada ilumina el nuevo proyecto en el cursosiguiente. Los puentes de la eficacia están volados por la falta de análisis, la inercia inveterada y ladespreocupación de muchos profesionales.

El mundo educativo está lleno de situaciones en las que no se aprovecha esta riqueza potencial quelleva en su interior el proceso evaluador. Los profesores/alumnos repiten los mismos errores casicon obstinación, los cursos que finalizan una especialidad en nada benefician con el análisis de suhistoria a los cursos siguientes. los centros no aprenden de la reflexión rigurosa sobre suexperiencia...

"La evaluación es el proceso de diseñar, obtener y proporcionar información útil parajuzgar alternativas de decisión", dice Stuffelbeam (1971). Según este planteamiento,cuando la información no repercute en la toma de decisiones, perdería su mismaesencia.

La nueva decisión, al ser puesta en práctica, deberá ser también evaluada. Este proceso dinámico,abierto, facilita el cambio y posibilita la mejora.

16. Se evalúa para conservar

Hemos apuntado ya que la evaluación suele cerrarse sobre sí misma, limitándose a desarrollar unafunción sancionadora. En este sentido, no impulsa el cambio.

Pero, hay algo más grave, escondido en la patología de su funcionalidad. La utilización de la mismapara justificar el statu quo del profesor, de la dirección del centro, de la Administración Escolar.

Si los malos resultados o el mal funcionamiento del proceso se pueden atribuir libremente(arbitrariamente) a quien se quiera, con la apariencia de la objetividad, del rigor científico y delargumento de autoridad del que maneja la evaluación, el Interesado en no cambiar" que, a la postre,tiene en su poder la interpretación de la evaluación, podrá mantener tranquilamente los mismosplanteamientos.

Y los cambios introducidos afectarán a las capas y esferas menos comprometedoras, mássuperficiales o más económicas a la hora de realizar el diagnóstico de la innovación y la estrategia yla temporalización de la misma.

Lo cierto es que se evalúa constantemente en la escuela, pero se cambia muy poco.

17. Se evalúa unidireccionalmente

La evaluación tiene sentido "descendente". El Ministerio “evalúa" a los inspectores, los inspectores"evalúan" a los directores escolares, los directores escolares "evalúan" a los profesores, losprofesores "evalúan" a los alumnos. Si bien es cierto que en la parte más baja es donde se nota elpeso de esa función.

No se produce una evaluación en sentido "ascendente". Ni, desde luego, en sentido horizontal.


13

Un modelo de evaluación democrático supone que los interesados manejan la evaluación. Decidensobre ella. Y ellos son los que dicen lo que piensa, los que analizan lo que hacen.

“Para conocer la realidad de sus significados relevantes hay que sumergirse en el cur-so real y vivo de los acontecimientos y conocer las interpretaciones diversas que hacende las mismas aquellos que las viven " (Pérez Gómez, 1983a).

Sólo la evaluación democrática puede propiciar un cambio en profundidad. Esta evaluación,solicitada o emprendida por la comunidad en cuestión, revierte sobre ella en informes rigurosos,claros y significativos.

No es que la evaluación democrática pueda prescindir de los expertos. Pero no son éstos los quepueden atribuir significado de espaldas al mundo de los protagonistas. Y no son los expertos los quetienen el poder de la evaluación. Los expertos tienen la técnica, pero no las claves de lainterpretación ni los resortes del poder pedagógico.

En la evaluación externa sólo la participación directa de los protagonistas podrá dar fiabilidad yvalidez a la lectura de los signos, a su metalectura posterior y a su utilización para el cambio.

Los que desean conocer el resultado de la evaluación y los que la llevan a cabo son integrantes deun proceso. También por eso la evaluación debe ser democrática (McDonald, 1976).

18. No se evalúa desde fuera

Una experiencia educativa necesita la evaluación externa para poder realizar una mejora sustantiva.No hacerlo así significa cerrar el horizonte valorativo y arriesgarse a la miopía y a la deformaciónóptica del que mira algo que está sobre sus mismos ojos.

Cerrar el círculo de la planificación de objetivos, métodos, evaluación, desde la exclusiva mirada delprotagonista del proceso entraña el riesgo de quedarse atrapado en la propia limitación.

El evaluador externo goza de un punto de vista privilegiado, en cuanto tiene:

Una distancia afectiva de la dinámica y del resultado.Unos criterios de independencia respecto al resultado.Unos puntos de referencia más amplios y complejos.Una mayor disponibilidad en el tiempo y la dedicación.

Esto no quiere decir que se pueda prescindir de los protagonistas de la experiencia, comoapuntábamos más arriba. Tanto es así, que dentro de la metodología etnográfica de la evaluación esaconsejable la aportación de observador participante.

No decimos que el evaluador externo tenga que ser aséptico o ejercer una neutralidad que ni esposible ni siquiera deseable. El evaluador no solamente mira, sino que busca.

Y para ello ha de interpretar. Y la interpretación necesita unos códigos estructurados en los ejes deuna sólida teoría.


14

19. No se hace autoevaluación

La autoevaluación es un proceso de autocrítica que genera unos hábitos enriquecedores dereflexión sobre la propia realidad.

Dice Popper que realizamos más progresos al reflexionar sobre nuestros errores que al descansaren nuestras virtudes.

John Elliott plantea la autoevaluación de los centros como una tarea de investigación en la acción(1986).

Las técnicas de diseño, de explotación y, de interpretación y utilización de esas autoevaluacioneshan de ser conocidas, asumidas y llevadas a término por los miembros de la comunidad escolar.¿Tendría sentido un proyecto de evaluación que no fuese deseado, aceptado y conocido por losprotagonistas de la experiencia?

Muchas de las reticencias, de los miedos y de los conflictos que provoca una evaluación externaimpuesta desaparecen, ipso facto, en el proceso de evaluación.

También los alumnos pueden/deben practicar estos procesos autoevaluadores. El profesor debeponer en sus manos los instrumentos precisos para ello. Y ha de negociar con ellos el reparto de lascotas de decisión que lleva consigo la evaluación.

No es aceptable la práctica del juego autoevaluador, en la cual el alumno hace reflexiones y análisissobre su aprendizaje, pero no puede materializar el resultado en una parcela de las calificaciones.

El profesor suele actuar con muchas reticencias en este sentido, suponiendo que el alumno no secalificará con criterios justos, por falta de objetividad o por carencia de referencias exteriores que lesirvan de contraste.

Contaré una experiencia reveladora al respecto. En un claustro de profesores de un centro escolaroí cómo los profesores se resistían a practicar la autoevaluación con sus alumnos por considerarque eran "demasiado pequeños, que no tenían capacidad para ello". Ese mismo día, en undepartamento universitario, otros profesores argumentaban que Ia autoevaluaci6n de los alumnos noera posible en el ámbito universitario porque no tenían experiencia de haberla practicado en centrosde niveles inferiores".

Cuando los profesores utilizan estas excusas, no están en condiciones de realizar esa experiencia.Del mismo modo que cuando dicen que el número de alumnos o las condiciones de trabajo y detiempo les obligan a realizar una evaluación superficial y masiva, no podemos afirmar con seguridadque con menor número y mejores condiciones harían las cosas de otro modo.

20. Se evalúa "distemporalmente"

Entiéndase aquí el prefijo en su acepción griega (dis=mal), a sabiendas de que la palabracompuesta no debería utilizarse.

Cuando se habla de "evaluación continua" se quiere decir algo que casi nunca se hace. Más bien,ha tenido el efecto contrario, como apuntábamos anteriormente. El deseo de eliminar una mala


15

forma de evaluar (anecdótica, memorística, superficial...) llevó a multiplicar las veces en que esto sehacía.

Porque el núcleo de] concepto está más en el cómo que en el cuándo, más en el fondo que en laforma. El concepto exigía una actitud distinta, unos métodos diferentes, un enfoque nuevo. Pero nohacer mucho más controles del mismo tipo que los que se hacían.

No se hace, pues, una buena evaluación sincrónica respecto al proceso de aprendizaje o, másampliamente, de educación.

Pero tampoco se hace una adecuada evaluación diacrónica. Entendemos por "evaluacióndiacrónica" aquella que se realiza a través del tiempo, con una perspectiva temporal que ofrezcanuevos elementos de referencia.

Veamos un ejemplo relativo a la evaluación de centros escolares. ¿Cómo evalúan los ex-alumnos deun centro su experiencia educativa una vez transcurridos uno, dos, tres, cinco años? El "antiguoalumno" tendrá unos elementos de comprobación/constatación que no tiene el individuo que estáinmerso en la experiencia. Sabe si "aquello" sirvió para algo, si le permitió enfrentarse a losproblemas...

Además de estas ventajas, se encierra la de una independencia más clara, más firme, más abierta.Ahora puede opinar sin ningún tipo de reticencias.

En este grupo que llamamos ex-alumnos de un centro habrá que integrar a los que lo abandonaron ya los que -de una u otra forma- se les instó a cambiar de centro o a quedarse en la calle.

21. No se hace paraevaluación

La evaluación a la que aquí nos referimos se ciñe a cuestiones que van más allá de la simplecomprobación.

Veámoslo con algunos ejemplos. Un evaluador externo analiza la eficacia de una institución militaren la formación de sus alumnos. Y puede llegar a la comprobación de que realmente existe un buenplanteamiento en los métodos que intentan lograr esos objetivos. Realmente se ha conseguido.Supongamos que esos objetivos "no son deseables", que esos métodos utilizados "no son éticos" yque esos logros “son contraproducentes para la formación de la persona". ¿Termina la funciónevaluadora con el informe de que el funcionamiento es bueno porque se está desarrollando elprograma de forma eficaz?

Un sistema educativo de un país totalitario incluye entre sus objetivos la formación de los profesoresy de los alumnos en la filosofía y en el proselitismo sectario. Y el análisis del funcionamiento delsistema permite al evaluador comprobar que se están consiguiendo esos objetivos de forma rápida,eficaz y profunda. ¿Termina su tarea al realizar un informe en el que se describa y analice la eficaciadel sistema?

Entendemos que no. De alguna manera Scriven (1973) se refiere a esta cuestión cuando diferenciala evaluación de la estimación del logro de los objetivos.


16

Nosotros pensamos que la "paraevaluación" (para = junto a, al lado) supone un análisis decontenidos y un juicio de valor que va más allá de la simple descripción y análisis de la coherenciadel programa y de la eficacia del mismo.

22. No se hace metaevaluación

El proceso de evaluación es tan complejo que ha de ser necesariamente evaluado para poderatribuirle un valor.

En cualquiera de sus vertientes puede encerrar numerosas trampas, numerosos riesgos, numerosasdeficiencias. Por eso se hace imprescindible establecer criterios que permitan evaluar losmecanismos de evaluación.

No solamente para analizar el rigor del proceso, sino para ver cómo esa función condiciona lo quese estaba haciendo. Ahora, la evaluación de un programa se convierte en otro elemento que ha deser evaluado porque está actuando corno una variable poderosa que puede distorsionarlo omodificarlo sustancialmente.

En esta vuelta de tornillo, vuelven a aparecer todos los componentes de la evaluación con un nuevonivel de cornplejidad: quién metaevalúa, para quién, por qué, cuándo, con qué instrumentos, qué, dequé modo...

Un proceso riguroso de metaevaluaci6n no sólo permitirá valorar de manera rigurosa los resultados,sino que permitirá tomar decisiones eficaces para mejorar el planteamiento, la dinámica y losmodelos de evaluación.

LA EVALUACIÓN: UN PROCESO DE DIÁLOGO, COMPRENSIÓN Y MEJORA

La naturaleza de la evaluación.Un proceso de diálogo, comprensión y mejora.La evaluación como diálogo.La evaluación como comprensión.La evaluación como mejora.

La viabilidad de la evaluación.

La naturaleza de la evaluación

La evaluación educativa es un fenómeno habitualmente circunscrito al aula, referido a los alumnos ylimitado al control de los conocimientos adquiridos a través de pruebas de diverso tipo. En otro lugar(Santos Guerra, 1988) planteé algunas cuestiones sobre la patología de la evaluación educativa,haciendo patentes los problemas de las limitaciones, las desviaciones y las manipulaciones de lasque puede ser objeto. Planteada de forma negativa, realizada en malas condiciones y utilizada deforma jerárquica, la evaluación permite saber pocas cosas de cómo se produce el aprendizaje ypocas veces sirve para mejorar la práctica de los profesores y, desde luego, el contexto y elfuncionamiento de las escuelas.


17

Aquí me voy a referir a la evaluación de programas educativos, no necesariamente circunscritos almarco de la escuela. La educación tiene innumerables contextos y se desarrolla intencionalmente enmuchos ámbitos. La evaluación de la que hablo se interroga por el valor educativo de los programasy se plantea como un medio de entenderlos y de mejorarlos.La evaluación es una parte integrante de los proyectos, no algo añadido al final de los mismos, comoun complemento o un adorno que se pondrá en funcionamiento si queda tiempo y si se tiene a bien.Se pregunta por el valor de los programas y de las acciones. Es, pues, sustancial al hecho mismo deponer en marcha una experiencia. Porque si se diseña, planifica y pone en funcionamiento será im-prescindible conocer qué es lo que se consigue por el hecho mismo de poner la iniciativa en acción,por qué esa y no otra, por qué de ese modo y para esos fines. La evaluación producirá diálogo,comprensión y mejora de los programas que se pongan al servicio de los usuarios. No por el hechomismo de que estén funcionando son buenos, no porque hayan sido implantados con la mejorintención producen los mejores efectos.

Hablaré aquí de la evaluación de experiencias o de programas. Pero sólo de un tipo de evaluación,no de la evaluación en general ni de otros modelos o concepciones. Digo esto porque la confusiónsemántica que se esconde bajo el concepto aparentemente unívoco de evaluación es muy grande.Se habla de evaluación refiriéndose a procesos de carácter comparativo aplicados a mediciones deresultados, se Dama evaluación a fenómenos de rendimiento de cuentas impuestos por la autoridad,se denomina evaluación al análisis diagnóstico realizado mediante instrumentos que permitencuantificar los datos, se habla de evaluación cuando se realiza la comprobación del aprendizaje delos alumnos... Plantearé aquí algunas cuestiones sobre un determinado tipo de evaluación. No esque sean inaceptables otros enfoques o métodos, sino que he preferido cerrar el arco conceptualpara saber a qué me estoy refiriendo. Hablaré de una evaluación que tiene las siguientescaracterísticas:

Independiente y por ello comprometida. Cuando digo independiente, me refiero a una evaluaciónque no está sometida, sojuzgada, vendida o simplemente alquilada por el poder, el dinero o latecnología. Y hablo de una evaluación no aséptica, no neutral, sino comprometida con unosprincipios, con unos valores. El educador debe ser imparcial, pero no significa que sea aséptico. Unapostura desinteresada, no comprometida, distanciada del mundo cotidiano y de sus valores es"moralmente deficiente" (House, 1990).

Cualitativa y no meramente cuantificable. Porque los procesos que analiza, cuando se trata deprogramas educativos, son enormemente complejos y la reducción a números suele simplificar ydesvirtuar la parte más sustantiva de los mismos.

Práctica y no meramente especulativa. Quiero decir que la evaluación de la que voy a hablar notiene por finalidad producir conocimiento académico, realizar informes para publicacionesespecializadas y ni siquiera elaborar un conocimiento teórico sobre las experiencias. Tiene porfinalidad la mejora de programas a través de su comprensión, a través del conocimiento de sunaturaleza, funcionamiento y resultados.

Democrática y no autocrática. La evaluación de la que hablo se pone al servicio de los usuarios, nodel poder. Porque la evaluación, cuando se utiliza torcidamente, produce efectos muy negativos. Losevaluadores se ponen al servicio del poder o del dinero. Y, a través de la evaluación, se consiguecortar un programa porque no es rentable políticamente o porque no favorece de forma clara a losmás pudientes o porque produce lateralmente molestias o críticas para el poder. En este caso, seríadeseable no poner en marcha las evaluaciones. Conseguir publicidad o control, alcanzar una mejora


18

de programas exclusivamente destinados a los más favorecidos, poner la evaluación al servicio de lainjusticia, hace de la evaluación un instrumento y un proceso de perversión.

Procesual, no meramente final. La evaluación que propongo se realiza durante el proceso y no unavez terminado el programa. Porque es durante el mismo cuando se puede conocer lo que en élsucede. Y porque durante su desarrollo se puede modificar y mejorar. Realizada al final del mismo,como una apostilla, como un apéndice, pierde la capacidad de generar comprensión de lo querealmente va sucediendo. Y aunque al final se realice todo el proceso, la perspectiva está adulteradapor el gradiente de la meta.

Participativa, no mecanicista. La evaluación de la que hablo da voz a los participantes, no se realizaa través de pruebas externas y de análisis ajenos a la opinión de los protagonistas. Son ellos los queemiten su valoración sobre el programa, aunque no sea ésta la única voz y la única perspectiva quese tiene en cuenta.

Colegiada, no individualista. Es un tipo de evaluación que asume un equipo y no sólo un individuo.No porque la que se realiza bajo la responsabilidad única de una persona sea deficiente sino porquela realizada por un equipo goza del aval del contraste, de la pluralidad de los enfoques, de unamayor garantía de rigor, de una diversificación estratégica de acceso y actuación.

Externa, aunque de iniciativa interna. Es decir, son los propios participantes y usuarios los que lademandan. Y para realizarla requieren la colaboración exterior, por considerar que desde fuerapuede tomarse una perspectiva complementaria y puede trabajarse en unas condiciones favorablespara conseguir una información veraz.

Cuando no se dispone de evaluadores externos, puede realizarse una autoevaluaci6n que estéasentada sobre los pilares ideológicos y metodológicos que aquí se platean.

Hablaré de la evaluación no como de una tasación o de una comparación o de un proceso derendimiento de cuentas sino de la evaluación como un proceso de indagación sobre el valoreducativo de un programa, de su importancia, exigencias y significados. Para evaluar hay quecomprender, dice taxativamente Stenhouse (1984). No hay que olvidar que lo más importante no esel hecho de realizar la evaluación, ni siquiera el modo de hacerlo, sino al servicio de quién se pone.La evaluación puede ser utilizada de forma negativa o inutilizada a través de interpretacionescaprichosas e interesadas. Se puede atribuir la valoración de los protagonistas a su falta de buencriterio o de exigencia, se puede achacar la mala opinión a deseos malévolos de perjudicar a losresponsables... Esta interpretación que preside et uso de la evaluación no siempre puede estarcontrolada por el evaluador, sino que, en parte, es responsabilidad del patrocinador o destinatario delos informes.

Existen diversos modos de hacer inútil o perjudicial una evaluación, incluso una evaluación que hasido solicitada por los protagonistas de un programa:

a) Esperar que los resultados de la evaluación sean elogiosos para los responsables de unprograma que demandan voluntariamente una evaluación. No es fácil que, sobre todo en losmomentos iniciales, el informe resulte asimilable en si-is vertientes críticas.

b) Atribuir las informaciones y las explicaciones poco gratas a la subjetividad -del evaluador o ala naturaleza cualitativa de la evaluación.


19

c) Demandar de la evaluación los juicios de valor que permitan saber a los destinatarios yresponsables del programa qué es lo que está bien o lo que está mal hecho.

d) Exigir a los evaluadores; las orientaciones precisas para la mejora del programa, lasinstrucciones concretas que provoquen un cambio o las soluciones a los problemas o conflictosexistentes.

e) Poner los resultados de la evaluación al servicio de intereses (políticos, económicos,personales...), encontrando en los evaluadores una excelente excusa para tomar decisionessin el compromiso de su justificacíón auténtica.

f) Utilizar la evaluación como un arma arrojadiza contra quienes piensan o actúan de formadistinta o contraria, principalmente en el caso de que existan grupos enfrentados en el seno delgrupo que desarrolla el programa.

El evaluador puede poner algunos medios para aminorar los peligros del abuso de la evaluación.

En parte en beneficio de los usuarios de los programas, en parte por el interés de la mismaevaluación como un proceso potencialmente rico que puede ser desvirtuado por su mal uso. Uno delos modos de establecer esa garantía es hacer entrega resumida del informe a los usuarios, de talmodo que el patrocinador de la evaluación no pueda utilizarla impunemente en su provecho. Hacerpúblicos los informes es un modo de garantizar la democratización de la evaluación. El evaluadorevitará de esta manera el ser utilizado al servicio de intereses bastardos. De no tomar estasprecauciones, el patrocinador podrá usar los servicios profesionales del evaluador, para justificardecisiones que de otro modo no se atrevería a tomar o para hacerse publicidad manipulando loscontenidos de la evaluación. La servidumbre de los evaluadores hacia el poder que encarga o pagala evaluación es uno de los riesgos más graves de ese tipo de evaluación. Si va a ser utilizado enbeneficio del dinero, del poder o de la justicia, sería mejor que no se hiciese.

Un proceso de diálogo, comprensión y mejora

Algunas de estas ideas han sido expuestas anteriormente en un trabajo conjunto (Angulo y otros,1991) que es obligado citar aquí, La metáfora del triángulo, parcial y discutible como toda metáfora,nos sirve para reseñar las conexiones que el proceso de evaluación, a mi juicio, debe mantener. Laevaluación supone una plataforma de diálogo entre los evaluadores y los evaluados, entre diversosestamentos de los evaluados, entre los evaluadores y las diversas audiencias, entre éstas y losevaluados, etc. Pero el diálogo tiene una doble finalidad: trata por una parte, de generarcomprensión del programa y, por otra, de mejorar la calidad del mismo.

La conexión entre las tres dimensiones, que se realiza en diferentes direcciones y sentidos, potenciacada una de las vertientes que aquí aislamos para facilitar el análisis. No son, pues, trescompartimentos estancos y diacrónicamente secuenciados sino partes de un mismo proceso quesólo para el análisis diferenciamos y aislamos. Mientras se realiza el diálogo, y porque se realiza, seproduce la comprensión. Cuando se produce la comprensión es más fácil y enriquecedor el diálogo.El diálogo fecundo es una parte de la mejora del programa...


20

La evaluación como diálogo

El juicio de valor que la evaluación realiza se basa y se nutre del diálogo, la discusión y la reflexióncompartida de todos los que están implicados directa o indirectamente en la actividad evaluada. Eldiálogo ha de realizarse en condiciones que garanticen la libertad de opinión, que se cimenta en lagarantía del anonimato de los informantes y en la seguridad de que la información va a ser tenida encuenta y utilizada convenientemente.

El diálogo se convierte así en el camino -por el que los distintos participantes en el proceso deevaluación se mueven en busca de la verdad y del valor del programa. Desde la apertura, laflexibilidad, la libertad y la actitud participativa que sustenta un diálogo de calidad se construye elconocimiento sobre la realidad educativa evaluada.

La evaluación así entendida se basa en la concepción democrática de la acción social. Losdestinatarios del programa dan opinión y emiten juicios sobre el valor del mismo.

"Al dar la palabra y adaptar su metodología a la vida diaria de los programas, elevaluador reconoce que su realidad está actualmente construida por los sujetos que enella participan, y que por lo tanto, ellos mismos pueden cambiar críticamente suscondiciones de vida actuales" (Angulo, 1988).

Ni la verdad ni la valoración correcta están en posesión de personas o grupos privilegiados. Ni de losevaluadores, ni de los implicados en el programa, ni de los usuarios del mismo ni, por supuesto, delos patrocinadores de la evaluación. Es precisamente la conjunción de todas estas perspectivas yopiniones lo que permite profundizar y extender el conocimiento sobre el valor del programa.

Los evaluadores no juzgan el programa ni, mucho menos, a los responsables del mismo. Facilitan, através de los datos recogidos, de su interpretación y valoración, que sean los propios participanteslos que emitan un juicio de valor más fundamentado y significativo. La evaluación, a través deldiálogo que genera entre todos los participantes, se hace preguntas sobre, al menos, los siguientesaspectos:

a) El sentido y el valor de las realidades que son objeto de la evaluación. Obviamente, noexiste una exclusiva visión sobre lo que es valioso desde el punto de vista educativo. De ahí laconveniencia de alimentar el diálogo sobre la cuestión.

b) El modo de recoger las evidencias que permiten desarrollar la comprensión. Como losdatos extraídos de la realidad son la fuente de la valoración, es preciso analizar si losmanantiales que dan agua a esa fuente están contaminados. De datos recogidos de formaparcial, defectuosa, arbitraria, superficial o tendenciosa, no pueden surgir análisis rigurosos.

La finalidad del trabajo de los evaluadores es orientar la selección de informaciones y puntos devista que permiten a los interesados ampliar y matizar la comprensión y la reflexión, dialogar conellos, a través de la negociación inicial, de las negociaciones posteriores, de las entrevistasexploratorias y de la discusión de informes, y propiciar la interrogaci6n sobre lo que ha de mejorarsea la luz de lo que se ha descubierto. Así pues, el diálogo se alimenta desde niveles estratégicos delproceso:

a) En la negociación inicial que se pregunta por el sentido de la evaluación, por lanaturaleza de sus fines, por los focos del análisis, por los métodos de exploración, por losprocesos de discusión, por las condiciones éticas...


21

b) En la exploración que tiene lugar a través de conversaciones informales y de entrevistasformalizadas que facilitan y potencian el intercambio y la opinión. Hacer preguntas es un modode avivar el diálogo.

c) En la negociación de informes que da lugar a la valoración de los puntos de vista sobre elprograma y sobre los métodos que han facilitado la realización de esos juicios.

El diálogo se potencia discutiendo los criterios del valor de las acciones educativas, de los resultadosque se alcanzan, tanto de los pretendidos como de los secundarios, de la proporción odesproporción de los esfuerzos realizados, del tipo y amplitud del grupo al que va destinado elprograma, del análisis de las condiciones en que ese programa se desarrolla...

El diálogo se aviva explicitando los criterios éticos de la evaluación. Con la aplicación de esoscriterios se pretende asegurar el ejercicio democrático de la evaluación y de sus resultados,mantener un equilibrio entre el derecho a la privacidad de las acciones y de las informaciones y lanecesidad de conocimiento y responsabilidad social, mantener el nivel de justicia democrática en laactividad evaluada.

Los evaluadores han de hacer viable el diálogo desde actitudes abiertas, sencillas, tolerantes ycomprensivas. Asimismo, han de buscar las condiciones (tiempo, espacio, explicaciones,garantías...) en que ese diálogo pueda desarrollarse adecuadamente y han de cumplir unosrequisitos éticos que garanticen el respeto a las personas, los intereses sociales y el cumplimientode las obligaciones asumidas en el marco de la negociación.

Como animadores del diálogo entre destinatarios del programa y entre éstos y los propiosevaluadores, éstos han de mostrarse hábiles en la formulación de preguntas, atentos a la captaciónde las respuestas e inteligentes en la interpretación de la información recibida. Información que nollega solamente a través de los contenidos verbales sino de otras muchas fuentes: la forma de llegara la entrevista, el papel que desempeña una persona en el desarrollo del programa, el trato quemantiene con él evaluador, el modo de expresarse...

Algunas situaciones de diálogo están formalizadas y se registran de forma inmediata a través degrabaciones magnetofónicas o de registros manuales, pero otras tienen un carácter informal ypermiten recabar una información más espontánea aunque más desestructurada. No se debe pres-cindir de ese tipo de comunicación que brinda valoraciones probablemente menos teñidas por elrecelo y menos encorsetadas por la disciplina de lo formal. .

Son múltiples las plataformas en las que se establece el diálogo y numerosos los niveles en los quetiene lugar y se desarrolla:

a) Entre evaluadores y evaluados, que permanecen en un continuo diálogo a través de lasentrevistas, de la discusión de los informes, de la interpelación que ambos hacen a larealidad...b) Entre los diferentes evaluados, que pueden contrastar sus opiniones a través del evaluadoro directamente entre sí. Es fácil que la evaluación dé lugar a conversaciones sobre el programay sobre la forma en que está siendo evaluado.c) Entre la sociedad y las instancias educativas cuando se difunden los informes de laevaluación. El informe, una vez publicado, se convierte en una palestra sobre la que se discuteacerca del valor de los programas educativos.


22

En efecto, la discusión de informes constituye una plataforma para el diálogo. De ahí que seapreciso rechazar cualquier tipo de imposición para mantenerlos secretos o para hurtar una parte dela información. La publicidad de los informes conduce a un conocimiento más documentado y menosdemagógico. Da pie a que se hable del valor educativo de los programas no desde la arbitrariedad yel interés sino desde el rigor de los datos. La sociedad tiene derecho a conocer el valor educativo delas instituciones y de los programas, sobre todo cuando se realizan con fondos públicos, Aceptar yalentar informes privados, secretos o sesgados favorece el engaño, el beneficio privado y laarbitrariedad autoritaria.

Es preciso convertir la evaluación y los informes en estructuras sociales de participación y derelación. Un informe no es una conclusión inapelable y taxativa sino un cauce para generar procesosy dinámicas sociales. Los evaluadores, a través de los informes, introducen procesos y demandasdemocráticas de conocimiento y reflexión.

La evaluación como comprensión

La evaluación pretende alcanzar un nivel de comprensión sobre el funcionamiento del programa ensu contexto, sobre su racionalidad y su sentido educativo, sobre las intenciones educativas que lohan puesto en marcha y sobre los efectos que esté generando.

"Los participantes en el programa actúan de forma razonable según sus circunstancias yoportunidades. La tarea de una evaluación es iluminar el raciocinio que dirige el desarrollode un programa y su evolución, identificar factores históricos y contextuales que lo in-fluencian y facilitar el examen crítico de estos aspectos dentro y fuera de la comunidadsobre la cual actúa el programa" (Kemmis, 1986).

La evaluación está guiada por el impulso de la comprensi6n. Se plantea como finalidad entender porqué las cosas han llegado a ser como son. Lo cual hace necesario saber cómo son realmente.

"Las verdades que hay que decir acerca de los programas educativos son verdadessociales... Las pretensiones sobre el programa son defendidas y discutidas en unproceso de debate crítico. Lo que se consideran 'verdades' acerca del programadependerá de la calidad del debate. El debate racional consiste en dar razones ydefender razonamientos con información y argumentos.

Una evaluación puede aportar una contribución substancial a este proceso de crítica. Puede reunirinformación relevante para el programa, sus objetivos y aspiraciones, y puede someterla a unexamen profundo. Puede obtener, articular y compartir la comprensión de por qué el proceso escomo es por referencia a los objetivos de quienes en él participan, los condicionamientoscircunstanciales y las oportunidades disponibles, y reflexionar sobre esta comprensión a la luz delcontexto más amplío de la experiencia del programa como un todo" (Kemmis, 1986).

La comprensión puede estar referida a diferentes aspectos del programa:

1. Pretensiones educativas. Quién las pone en marcha y por qué. Qué finalidades ocultas omanifiestas de otro tipo están vinculadas a las directamente educativas.

2. Necesidad. No sólo considerada en sí misma, sino en contraste con otras posiblesnecesidades de la sociedad.


23

3. Destinatarios. A quiénes va dirigido y qué modos existen de acceder a él. Tanto en lo querespecta a la información como a los canales por los que se accede a él.

4. Procesos que pone en marcha. Qué tipo de actividades contiene y qué actitudes,conocimientos o destrezas desarrolla en los destinatarios.

5. Resultados durante el mismo programa. Qué es lo que el desarrollo del programa estáconsiguiendo en los destinatarios, en los responsables o, de forma indirecta, en otras personas.

6. Resultados a largo plazo. Aunque durante el desarrollo del programa estos efectos no puedanverse, habrá que pensar en lo que sucederá a largo plazo con ese planteamiento.

7. Efectos secundarios. Qué- repercusiones de carácter no buscado está produciendo elprograma, tanto en los participantes como en otras personas, quizá potenciales usuarios del mismo.

8. Rentabilidad de los costes. Hay que preguntarse por la proporción entre el esfuerzo y el costodel programa y su rentabilidad, ya que los recursos son limitados.

9. Rentabilidad social. El beneficio del programa, desde el punto de vista democrático, no ha deverse solamente en los actuales destinatarios sino en las posibilidades de beneficio en cascada.

10. Relación oferta-demanda. Es interesante saber qué tipo de ofertas se realizan y por parte dequién en la organización de programas, y quiénes y por qué demandan ese tipo de accioneseducativas.

11. Continuidad en el futuro. Qué tipo de desarrollo posterior tiene el programa, qué posibilidadesde continuidad y de profundización encierra en el futuro.

12. Contexto sincrónico y diacrónico. El programa se realiza en un lugar y un momentodeterminados, con unos medios concretos. Y tiene una historia que permite comprender cómo sonlas cosas en él actualmente.

La respuesta a estas cuestiones dependerá del punto de vista y del cuadro de valores desde el quese parta. (Me refiero ahora al evaluador.) La respuesta de los participantes dependerá también de suparticular visión y, en ocasiones, de los intereses que están en juego dentro del programa. En eldesarrollo de la evaluación es posible encontrar participantes:

a) Sin opinión definida respecto a algunas cuestiones o todo el programa, sea porque nodisponen de datos suficientes, sea porque se contraponen los elementos de juicio.

b) Detractores del programa que buscan datos y desarrollan interpretaciones encaminadas ala formulación de juicios negativos.

c) Defensores del valor del programa, unas veces de forma incondicional y poco reflexiva yotras con el apoyo de argumentaciones sólidas y consistentes.

"Los evaluadores deben tener en cuenta las distintas perspectivas acerca de unprograma, los juicios de valor que se produzcan, su contexto y su historia. Entoncesestarán en posición de conglomerar y refinar las opiniones públicas y privadas por lascuales se hace inteligible el programa y se determina definitivamente su valor La calidadde la evaluación puede ser juzgada según la calidad de su contribución al debate crítico,informándolo y mejorándolo" (Kemmis, 1986).

No se puede conseguir la comprensión profunda del valor educativo de un programa convirtiendo lascomplejidades naturales del mismo en simplificaciones que no sólo la empobrecen sino que ladistorsionan con la excusa de que simplificando es más fácil establecer conclusiones o emitir juicios.La simplificación hace que la valoración sea más fácil pero también más injusta y más errónea.

No puede alcanzarse la comprensión a través de la simplificación de los números o de lasestadísticas. La asignación de números a realidades tan complejas encierra el peligro de laapariencia de cientificidad. Puesto que hay fórmulas, hay rigor. Puesto que hay mediciones, hay


24

objetividad. Puesto que hay cuantificación, hay claridad. Se pueden utilizar mediciones yprocedimientos estadísticos en la evaluación, se pueden aplicar cuestionarios que recojan infor-mación cuantificable, pero todos sus resultados han de pasar por el tamiz del análisis, por elcontraste con otros modos de exploración, por la criba de las interpretaciones.

Para conseguir esa comprensión en profundidad es preciso utilizar instrumentos variados y sensiblesa la riqueza y complejidad estructural y diversidad de interrelaciones que se producen en la realidadeducativa. Es necesario trabajar con instrumentos capaces de captar las valoraciones, aspiraciones,motivaciones, intereses, interpretaciones... de los protagonistas. No se consigue una informaciónidéntica a través de diferentes métodos. Unas veces porque los interesados deforman lasperspectivas movidos por el interés, por el papel que desempeñan en el programa o por cualquierotra causa, otras veces porque la naturaleza misma del método de exploración condiciona lainformación obtenida' No es lo mismo conseguir información a través de la entrevista a unresponsable de un programa que observar directamente el desarrollo de la acción.

En su excelente trabajo, Kemmis (1986) plantea la necesidad de solicitar la opinión de todos los quetienen diferentes tipos de valores en un programa:

"Según el principio de la pluralidad del sistema de valores, los evaluadores deberánconocer y tener en cuenta todos los sistemas dé valores en juego, ya que todos sonrelevantes a la hora de emitir juicios sobre el programa”.

Esto exige la realización de exámenes cruzados de los diferentes métodos. Al contrastar lainformación recibida a través de dos o más métodos, se depura la comprensión. Exige también elcontraste de las opiniones de diferentes usuarios, ya que las valoraciones que hacen de unos nonecesariamente coinciden con las que hacen de otros.

La búsqueda de la comprensión tiene como finalidad preguntarse por los procesos y los resultadosde los programas, tanto de los que tienen un carácter explicito como de los que tienen una condiciónsubrepticia, tanto de los directamente pretendidos como de los que aparecen de forma derivada osecundaria, tanto de los relativos a cada uno de los destinatarios como de los de carácter general,tanto de los relativos al conocimiento como a otras esferas del desarrollo personal y social.

La comprensión se realiza a través de un lenguaje accesible, no sólo para' los directamenteimplicados sino para cualquier otro ciudadano interesado en la realidad que se evalúa. No facilitan lacomprensión ni el lenguaje tecnicista, ni la abundancia de fórmulas complejas, ni las conceptuali-zaciones académicas que, por otra parte, suponen un nivel de codificación que cambia el registro delas informaciones emitidas por los participantes.

La evaluación como mejora

La evaluación no se cierra sobre sí misma, sino que pretende una mejora no sólo de los resultadossino de la racionalidad y de la justicia de las prácticas educativas. No se evalúa para estarentretenidos evaluando, para decir que se está realizando una evaluación, para controlar losprogramas, para hacer publicidad o para crear conocimientos... Fundamentalmente se hace laevaluación para conseguir la mejora de los programas: del que está en curso y de otros que sepongan en marcha.


25

"Si la evaluación educativa es una reflexión sistemática sobre la acción docente/dis-cente y organizativo/funcional tiene que ser la base de las innovaciones que se introduz-can" (Casanova, 1992).

La mejora puede consistir, pues, en diversos fenómenos referidos al programa:

a) Por una parte, tiene que ver con la introducción de innovaciones que, desde lacomprensión que se ha generado, se consideran positivas para la calidad.

b) La pregunta misma por la calidad se convierte en una mejora real. Es decir, que lapreocupación por conocer qué se entiende por mejora es ya un beneficio que enriquece elprograma.

c) La participación de los destinatarios en la valoración del programa lleva consigo un factoreducativo importante, con tal de que no se convierta en un simple entretenimiento. Aumentar laparticipación de los destinatarios del programa en su desarrollo y valoración es, a mi juicio, unmodo de mejorarlo.

La mejora habría de ser definida, no tanto a través de unos parámetros establecidos a priori sino enla propia dinámica de la acción contextualizada en la que aparece un fuerte juego de expectativas,motivaciones, intereses, deseos, sentimientos y valores. De cualquier forma, habría que superar unplanteamiento simplista que sólo atiende a la valoración en la obtención de rendimientos terminales,sobre todo cuando se miden a través de pruebas estandarizadas. No es fácil prescindir del resultadofinal como uno de los ingredientes del éxito del programa. Pero hay que superar esa visión simplista.Difícilmente podrá considerar un éxito el programa aquella persona que no supere las pruebas, si lashubiere. Pero no bastaría, a mi juicio, superarlas para decir que el programa ha resultado positivo.Consecuentemente, la mejora, no consistirá solamente en la consecución de mejores resultadosfinales. Existen otras cuestiones sobre las que habrán de interrogarse quienes piensen en la mejorade un programa:

La justicia de sus planteamientos desde el punto de vista social y educativo.La racionalidad de sus prácticas en cuanto a los fines perseguidos y a los métodos elegidospara su logro.La bondad de las relaciones entre los organizadores y los participantes y las de éstos entre sí.

No todo cambio es, por el hecho de serlo, una mejora. Lo que sucede con la evaluación es quepermite descubrir, a través de la comprensión, en qué consiste la auténtica mejora de losprogramas.

"La evaluación educativa es un proceso que, en parte, nos ayuda a determinar si loque hacemos en las escuelas contribuye a conseguir fines valiosos o si es antitético conestos fines. Que hay diversidad de versiones de valor es indudablemente verdad. Éste esuno de los factores que hace a la educación más compleja que la medicina... Esto hace dela evaluación educativa una tarea difícil y compleja, sin embargo a fin de cuentas algunosvalores han de buscarse, algunos juicios deben ser formulados acerca de lo que se hace o lo que ocurre. No tenemos otro modo de conocer si estamos educando o deseducando" (Eisner, 1985).

La evaluación facilita la mejora al preguntar por el valor educativo del programa, al facilitar lacomprensión de lo que sucede en el mismo, al provocar la reflexión y el debate de los implicados, alurgir las respuestas sobre los posibles cambios.


26

La mejora de los programas puede tener un carácter inmediato o bien diferido. En el tiempo seencuentra a veces un obstáculo cuando se buscan efectos rápidos que no pueden darse coninmediatez o cuando se difieren tanto los informes de manera que ya no pueden aprovecharse parala mejora del programa, ya que los protagonistas son diferentes o no es posible interveniradecuadamente.

"La alternativa metodológica que supone el estudio de caso en el campo de la evalua-ción viene dada por la riqueza de posibilidades que presenta su capacidad de analizar larealidad educativa en términos de su utilidad. Utilidad inmediata para -la accióninstitucional y para la práctica docente, engarzada en la variedad de situaciones quegeneran y en la diversidad de contextos con los que interactúan. Utilidad diferida en cuantoa la progresiva sucesión de los mismos y su paulatina acumulación" (Breznes y Carretero,1990).

Otra cosa son las estrategias que han de ponerse en marcha para conseguir esta mejora. Losevaluadores no tienen, a mi juicio, la responsabilidad de poner en marcha esas estrategias, pero síse preocupan porque la evaluación no esté abocada a la esterilidad.

La evaluación facilita el perfeccionamiento de los profesionales, al hacer que, desde laindependencia de las preguntas y de los juicios externos, se interroguen, dialoguen y entiendan loque sucede con el programa.

La mejora se hace posible no sólo en el programa evaluado sino en otros de carácter similar que yaestán realizándose o que se preparen en el futuro. La transferibilidad permite atender diversos tiposde cuestiones sobre la naturaleza y riqueza educativa en determinadas estrategias de intervención.

La conexión de la evaluación con la mejora puede potenciarse si existen unas condicionesdeterminadas, a saber:

a) Si la iniciativa de realizar la evaluación es ampliamente democrática y no está solamentepromovida desde el exterior o por sólo una parte de los participantes en el programa.

b) Si el proceso de exploración ha sido intenso y ha permitido poner sobre el tapetecuestiones importantes sobre el desarrollo y la valoración del mismo.

c) Si están sólidamente fundados los juicios que se expresan en la evaluación yrigurosamente argumentadas las interpretaciones.

d) Si los evaluadores aportan sugerencias sobre la mejora y la viabilidad de las mismas, enel buen entendido de que son los responsables del programa y los participantes en el mismoquienes han de hacer efectivos los cambios.

La evaluación que propongo se siente comprometida no sólo con la mejora del programa sino conla sociedad en general. No tiene una perspectiva neutral sino que toma partido por unosdeterminados valores. Se interesa por aquellos que no son usuarios del programa y que ni siquierapodrían serlo por su condición social, por carencia de medios o por ser víctimas de un caprichosoreparto de los bienes públicos.

patología gral. de ev. s. guerra

Documents