santos guerra cap2 la evaluacion como proceso de dialogo comprension y mejora

MIGUEL ANGEL SANTOS GUERRA, EVALUACIN EDUCATIVA 1, MXICO

1

CAPTULO 2

LA EVALUACIN: UN PROCESO DE DILOGO, COMPRENSIN Y MEJORA

La naturaleza de la evaluacin.

Un proceso de dilogo, comprensin y mejora.

La evaluacin como dilogo.

La evaluacin como comprensin.

La evaluacin como mejora.

La viabilidad de la educcicin.


2

La naturaleza de la evaluacin

La evaluacin educativa es un fenmeno habitualmente circunscrito al aula, referido a los alumnos y

limitado al control de los conocimientos adquiridos a travs de pruebas de diverso tipo. En otro lugar

(Santos Guerra, 1988) plante algunas cuestiones sobre la patologa de la evaluacin educativa,

haciendo patentes los problemas de las limitaciones, las desviaciones y las manipulaciones de las

que puede ser objeto. Planteada de forma negativa, realizada en malas condiciones y utilizada de

forma jerrquica, la evaluacin permite saber pocas cosas de cmo se produce el aprendizaje y

pocas veces sirve para mejorar la prctica de los profesores y, desde luego, el contexto y el

funcionamiento de las escuelas.

Aqu me voy a referir a la evaluacin de programas educativos, no necesariamente circunscritos al

marco de la escuel. La educacin tiene nnumerables contextos y se desarrolla intencionalmente en

muchos mbitos. La evaluacin de la que hablo se interroga por el valor educativo de los programas

y se plantea como un medio de entenderlos y de mejorarlos.

La evaluacin es una parte integrante de los proyectos, no algo aadido al final de los mismos,

como un complemento o un adorno que se pondr en funcionamiento si queda tiempo y si se tiene a

bien. Se pregunta por el valor de los programas y de las acciones. Es, pues, sustancial al hecho

mismo de poner en marcha una experiencia. Porque si se disea, planifica y pone en

funcionamiento ser imprescindible conocer qu es lo que se consigue por el hecho mismo de poner

la iniciativa en accin, por qu esa y no otra, por qu de ese modo y para esos fines. La evaluacin

producir dilogo, comprensin y mejora de los programas que se pongan al servicio de los

usuarios. No por el hecho mismo de que estn funcionando son buenos, no porque hayan sido

implantados con la mejor intencin producen los mejores efectos.

Hablar aqu de la evaluacin de experiencias o de programas. Pero slo de un tipo de evaluacin,

no de la evaluacin en general ni de otros modelos o concepciones. Digo esto porque la confusin

semntica que se esconde bajo el concepto aparentemente unvoco de evaluacin es muy grande.

Se habla de evaluacin refirindose a procesos de carcter comparativo aplicados a mediciones de

resultados, se Dama evaluacin a fenmenos de rendimiento de cuentas impuestos por la autoridad,

se denomina evaluacin al anlisis diagnstico realizado mediante instrumentos que permiten


3

cuantificar los datos, se habla de evaluacin cuando se realiza la comprobacin del aprendizaje de

los alumnos... Plantear aqu algunas cuestiones sobre un determinado tipo de evaluacin. No es

que sean inaceptables otros enfoques o mtodos, sino que he preferido cerrar e arco conceptual

para saber a qu me estoy refiriendo. Hablar de una evaluacin que tiene las siguientes

caractersticas:

Independiente y por ello comprometida. Cuando digo independiente, me refiero a una evaluacin

que no est sometida, sojuzgada, vendida o simplemente alquilada por el poder, el dinero o la

tecnologa. Y hablo de una evaluacin no asptica, no neutral, sino comprometida con unos

principios, con unos valores. El educador debe ser imparcial, pero no significa que sea asptico.

Una postura desinteresada, no comprometida, distanciada del mundo cotidiano y de sus valores es

"moralmente deficiente" (House, 1990).

Cualitativa y no meramente cuantificable. Porque los procesos que analiza, cuando se trata de

programas educativos, son enormemente complejos y la reduccin a nmeros suele simplificar y

desvirtuar la parte ms sustantiva de los mismos.

Prctica y no meramente especulativa. Quiero decir que la evaluacin de la que voy a hablar no

tiene por finalidad producir conocimiento acadmico, realizar informes para publicaciones

especializadas y ni siquiera elaborar un conocimiento terico sobre las experiencias. Tiene por

finalidad la mejora de programas a travs de su comprensin, a travs del conocimiento de su

naturaleza, funcionamiento y resultados.

Democrtica y no autocrtica. La evaluacin de la que hablo se pone al servicio de los usuarios,

no del poder. Porque la evaluacin, cuando se utiliza torcidamente, produce efectos muy negativos.

Los evaluadores se ponen al servicio del poder o del dinero. Y, a travs de la evaluacin, se con-

sigue cortar un programa porque no es rentable polticamente o porque no favorece de forma clara

a los ms pudientes o porque produce lateralmente molestias o crticas para el poder. En este caso,

sera deseable no poner en marcha las evaluaciones. Conseguir publicidad o control, alcanzar una

mejora de programas exclusivamente destinados a los ms favorecidos, poner la evaluacin al

servicio de la injusticia, hace de la evaluacin un instrumento y un proceso de perversin.


4

Procesual, no meramente final. La evaluacin que propongo se realiza durante el proceso y no una

vez terminado el programa. Porque es durante el mismo cuando se puede conocer lo que en l

sucede. Y porque durante su desarrollo se puede modificar y mejorar. Realizada al final del mismo,

como una apostilla, como un apndice, pierde la capacidad de generar comprensin de lo que

realmente va sucediendo. Y aunque al final se realice todo el proceso, la perspectiva est

adulterada por el gradiente de la meta.

Participativa, no mecanicista. La evaluacin de la que hablo da voz a los participantes, no se realiza

a travs de pruebas externas y de anlisis ajenos a la opinin de los protagonistas. Son ellos los

que emiten su valoracin sobre el igrograma, aunque no sea sta la nica voz y la nica perspectiva

que se tiene en cuenta.

Colegiada, no individualista. Es un tipo de evaluacin que asume un equipo y no slo un individuo.

No porque la que se realiza bajo la responsabilidad nica de una persona sea deficiente sino

porque la realizada por un equipo goza del aval del contraste, de la pluralidad de los enfoques, de

una mayor garanta de rigor, de una diversificacin esitratgca de acceso y actuacin.

Externa, aunque de iniciativa interna. Es decir, son los propios participantes y usuarios los que la

demandan. Y para realizarla requieren la colaboracin exterior, por considerar que desde fuera

puede tomarse una perspectiva cornplementaria y puede trabajarse en unas condiciones favorables

para conseguir una informacin veraz.

Cuando no se dispone de evaluadores externos, puede realizarse una autoevaluaci6n que est

asentada sobre los pilares ideolgicos y metodolgicos que aqu se platean.

Hablar de la evaluacin no como de una tasacin o de una comparacin o de un proceso de

rendimiento de cuentas sino de la evaluacin como un proceso de indagacin sobre el valor

educativo de un programa, de su importancia, exigencias y significados. Para evaluar hay que

comprender, dice taxativamente Stenhouse (1984). No hay que olvidar que lo ms importante no es

el hecho de realizar la evaluacin, ni siquiera el modo de hacerlo, sino al servicio de quin se pone.

La evaluacin puede ser utilizada de forma negativa o inutilizada a travs de interpretaciones

caprichosas e interesadas. Se puede atribuir la valoracin de los protagonistas a su falta de buen

criterio o de exigencia, se puede achacar la mala opinin a deseos malvolos de perjudicar a los

responsables... Esta interpretacin que preside et uso de la evaluacin no siempre puede estar


5

controlada por el evaluador, sino que, en parte, es responsabilidad del patrocinador o destinatario

de los informes.

Existen di versos modos de hacer intil o perjudicial una evaluacin, incluso una evaluacin que ha

sido solicitada por los protagonistas de un programa:

a) Esperar que los resultados de la evaluacin sean elogiosos para los responsables de un

programa que demandan voluntariamente una evaluacin. No es fcil que, sobre todo en los

momentos iniciales, el informe resulte asimilable en si-is vertientes crticas.

b) Atribuir las informaciones y las explicaciones poco gratas a la subjetividad -del evaluador

o a la naturaleza cualitativa de la evaluacin.

c) Demandar de la evaluacin los juicios de valor que permitan saber a los destinatarios y

responsables del programa qu es lo que est bien o lo que est mal hecho.

d) Exigir a los evaluadores; las orientaciones precisas para la mejora del programa, las

instrucciones concretas que provoquen un cambio o las soluciones a los problemas o

conflictos existentes.

e) Poner los resultados de la evaluacin al servicio de intereses (polticos, econmicos,

personales...), encontrando en los evaluadores una excelente excusa para tomar decisiones

sin el compromiso de su justificacn autntica.

f) Utilizar la evaluacin como un arma arrojadiza contra quienes piensan o actan de forma

distinta o contraria, principalmente en el caso de que existan grupos enfrentados en el seno

del grupo que desarrolla el programa.

El evaluador puede poner algunos medios para aminorar los peligros del abuso de la evaluacin.

En parte en beneficio de los usuarios de los programas, en parte por el inters de la misma

evaluacin como un proceso potencialmente rico que puede ser desvirtuado por su mal uso. Uno de

los modos de establecer esa garanta es hacer entrega resumida del informe a los usuarios, de tal

modo que el patrocinador de la evaluacin no pueda utilizarla impunemente en suprvecho. Hacer


6

pblicos los informes es un modo de garantizar la democratizacin de la evaluacin. El evaluador

evitar de esta manera el ser utilizado al servicio de intereses bastardos. De no tomar estas

precauciones, el patrocinador podr usar los servicios profesionales del evaluador, para justificar

decisiones que de otro modo no se atrevera a tomar o para hacerse publicidad manipulando los

contenidos de la evaluacin. La servidumbre de los evaluadores hacia el poder que encarga o paga

la evaluacin es uno de los riesgos ms graves de ese tipo de evaluacin. Si va a ser utilizado en

beneficio del dinero, del poder o de la justicia, sera mejor que no se hiciese.

Un proceso de dilogo, comprensin y mejora

Algunas de estas ideas han sido expuestas anteriormente en un trabajo conjunto (Angulo y otros,

1991) que es obligado citar aqu, La metfora del tringulo, parcial y discutible como toda metfora,

nos sirve para resear las conexiones que el proceso de evaluacin, a mi juicio, debe mantener. La

evaluacin supone una plataforma de dilogo entre los evaluadores y los evaluados, entre diversos

estamentos de los evaluados, entre los evaluadores y las diversas audiencias, entre stas y los

evaluados, etc. Pero el dilogo tiene una doble finalidad: trata por una parte, de generar

comprensin del programa y, por otra, de mejorar la calidad del mismo.

La conexin entre las tres dimensiones, que se realiza en diferentes direcciones y sentidos,

potencia cada una de las vertientes que aqu aislamos para facilitar el anlisis. No son, pues, tres

compartimentos estancos y diacr6nicamente secuenciados sino partes de un mismo proceso que

slo para el anlisis diferenciamos y aislamos. Mientras se realiza el dilogo, y porque se realiza, se

produce la comprensin. Cuando se produce la comprensin es ms fcil y enriquecedor el dilogo.

El dilogo fecundo es una parte de la mejora del programa...

La evaluccin como dilogo

El juicio de valor que la evaluacin realiza se basa y se nutre del dilogo, la discusin y la

reflexin compartida de todos los que estn implicados directa o indirectamente en la actividad

evaluada. El dilogo ha de realizarse en condiciones que garanticen la libertad de opinin, que se

cimenta en la garanta del anonimato de los informantes y en la seguridad de que la informacin va

a ser tenida en cuenta y utilizada convenientemente.


7

El dilogo se convierte as en el camino -por el que los distintos participantes en el proceso de

evaluacin se mueven en busca de la verdad y del valor del programa. Desde la apertura, la

flexibilidad, la libertad y la actitud participativa que sustenta un dilogo de calidad se construye el

conocimiento sobre la realidad educativa evaluada.

La evaluacin as entendida se basa en la concepcin deinocrtica de la accin social. Los

destinatarios del programa dan opinin y emiten juicios sobre el valor del mismo.

"Al dar la palabra y adaptar su metodologa a la vida diaria de los programas, el

evaluador reconoce que su realidad est actiuamente construida por los sujetos que en

ella participan, y que por lo tanto, ellos mismos pueden cambiar crticomente sus

condiciones de uida actuales" (Angulo, 1988).

Ni la verdad ni la valoracin correcta estn en posesin de personas o grupos privilegiados. Ni de

los evaluadores, ni de los implicados en el programa, ni de los usuarios del mismo ni, por supuesto,

de los patrocinadores de la evaluacin. Es precisamente la conjuncin de todas estas perspectivas y

opiniones lo que permite profundizar y extender el conocimiento sobre el valor del programa.

Los evaluadores no juzgan el programa ni, mucho menos, a los responsables del mismo. Facilitan, a

travs de los datos recogidos, de su interpretacin y valoracin, que sean los propios participantes

los que emitan un juicio de valor ms fundamentado y significativo. La evaluacin, a travs del

dilogo que genera entre todos los participantes, se hace preguntas sobre, al menos, los siguientes

aspectos:

a) El sentido y el valor de las realidades que son objeto de la evaluacin. Obviamente, no

existe una exclusiva visin sobre lo que es valioso desde el punto de vista educativo. De ah la

conveniencia de alimentar el dilogo sobre la cuestin.

b) El modo de recoger las evidencias que permiten desarrollar la comprensin. Como los

datos extrados de la realidad son la fuente de la valoracin, es preciso analizar si los

manantiales que dan agua a esa fuente estn contaminados. De datos recogidos de forma

parcial, defectuosa, arbitraria, superficial o tendenciosa, no pueden surgir anlisis rigurosos.

La finalidad del trabajo de los evaluadores es orientar la seleccin de informaciones y puntos de

vista que permiten a los interesados ampliar y matzar la comprensin y la reflexin, dialogar con


8

ellos, a travs de la negociacin inicial, de las negociaciones posteriores, de las entrevistas

exploratorias y de la discusin de informes, y propiciar la interrogaci6n sobre lo que ha de mejorarse

a la luz de lo que se ha descubierto. As pues, el dilogo se alimenta desde niveles estratgicos del

proceso:

a) En !a negociacin inicial que se pregunta por el sentido de la evaluacin, por la

naturaleza de sus fines, por los focos del anlisis, por los mtodos de exploracin, por los

procesos de discusin, por las condiciones ticas...

b) En la exploracin que tiene lugar a travs de conversaciones informales y de entrevistas

formalizadas que facilitan y potencian el intercambio y la opinin. Hacer preguntas es un modo

de avivar el dilogo.

c) En la negociacin de informes que da lugar a la valoracin de los puntos de vista sobre

el programa y sobre los mtodos que han facilitado la realizacin de esos juicios.

El dilogo se potencia discutiendo los criterios del valor de las acciones educativas, de los

resultados que se alcanzan, tanto de los pretendidos como de los secundarios, de la proporcin o

desproporcin de los esfuerzos realizados, del tipo y amplitud del grupo al que va destinado el

programa, del anlisis de las condiciones en que ese,programa se desarrolla...

El dilogo se aviva explicitando los criterios ticos de la evaluacin. Con la aplicacin de esos

criterios se pretende asegurar el ejercicio democrtico de la evaluacin y de sus resultados,

mantener un equilibrio entre el derecho a la privacidad de las acciones y de las informaciones y la

necesidad de conocimiento y responsabilidad social, mantener el nivel de justicia democrtica en la

actividad evaluada.

Los evaluadores han de hacer viable el dilogo desde actitudes abiertas, sencillas, tolerantes y

comprensivas. Asimismo, han de buscar las condiciones (tiempo, espacio, explicaciones,

garantas...) en que ese dilogo pueda desarrollarse adecuadamente y han de cumplir unos

requisitos ticos que garanticen el respeto a las personas, los intereses sociales y el cumplimiento

de las obligaciones asumidas en el marco de la negociacin.

Como animadores del dilogo entre destinatarios del programa y entre stos y los propios

evaluadores, stos han de mostrarse hbiles en la formulacin de preguntas, atentos a la captacin

de las respuestas e inteligentes en la interpretacin de la informacin recibida. Informacin que no


9

llega solamente a travs de los contenidos verbales sino de otras muchas fuentes: la forma de llegar

a la entrevista, el papel que desempea una persona en el desarrollo del programa, el trato que

mantiene con l evaluador, el modo de expresarse...

Algunas situaciones de dilogo estn formalizadas y se registran de forma inmediata a travs de

grabaciones rragnetofnicas o de registros manuales, pero otras tienen un carcter informal y

permiten recabar una informacin ms espontnea aunque ms desestructurada. No se debe pres-

cindir de ese tipo de comunicacin que brinda valoraciones probablemente menos teidas por el

recelo y menos encorsetadas por la disciplina de lo formal. .

Son mltiples las plataformas en las que se establece el dilogo y numerosos los niveles en los que

tiene lugar y se desarrolla:

a) Entre evaluadores y evaluados, que permanecen en un continuo dilogo a travs de las

entrevistas, de la discusin de los informes, de la interpelacin que ambos hacen a la

realidad...

b) Entre los diferentes evaluados, que pueden contrastar sus opiniones a travs del

evaluador o directamente entre s. Es fcil que la evaluacin d lugar a conversaciones sobre

el programa y sobre la forma en que est siendo evaluado.

c) Entre la sociedad y las instancias educativas cuando se difunden los informes de la

evaluacin. El informe, una vez publicado, se convierte en una palestra sobre la que se discute

acerca del valor de los programas educativos.

En efecto, la discusin de informes constituye una plataforma para el dilogo. De ah que sea

preciso rechazar cualquier tipo de imposicin para mantenerlos secretos o para hurtar una parte de

la informacin. La publicidad de los informes conduce a un conocimiento ms documentado y menos

demaggico. Da pie a que se hable del valor educativo de los programas no desde la arbitrariedad y

el inters sino desde el rigor de los datos. La sociedad tiene derecho a conocer el valor educativo

de las instituciones y de los programas, sobre todo cuando se realizan con fondos pblicos, Aceptar

y alentar informes privados, secretos o sesgados favorece el engao, el beneficio privado y la

arbitrariedad autoritaria.


10

Es preciso convertir la evaluacin y los informes en estructuras sociales de participacin y de

relacin. Un informe no es una conclusin inapelable y taxativa sino un cauce para generar

procesos y dinmicas sociales. Los evaluadores, a travs de los informes, introducen procesos y

demandas democrticas de conocimiento y reflexin.

La evaluacin como comprensin

La evaluacin pretende alzwzar un nivel de comprensin sobre el funcionamiento del programa

en su contexto, sobre su racionalidad y su sentido educativo, sobre las intenciones educativas que

lo han puesto en marcha y sobre los efectos que est generando.

"Los participantes en el programa actan de forma razonable segn sus circunstancias y

oportunidades. La tarea de una evaluacin es iluminar el raciocinio que dirige el desarrollo

de un programa y su evolucin, identificar factores histricos y contextuales que lo in-

fluencian y facilitar el examen crtico de estos aspectos dentro y fuera de la comunidad

sobre la cual acta el programa" (Kemmis, 1986).

La evaluacin est guiada por el impulso de la comprensi6n. Se plantea como finalidad entender

por qu las cosas han llegado a ser como son. Lo cual hace necesario saber cmo son realmente.

"Las verdades que hay que decir acerca de los programas educativos son verdades

sociales... Las pretensiones sobre el programa son defendidas y discutidas en un

proceso de debate crtico. Lo que se consideran 'verdades' acerca del programa

depender de la calidad del debate. El debate racional consiste en dar razones y

defender razonamientos con informacin y argumentos.

Una evaluacin puede aportar una contribucin substancal a este proceso de crtica. Puede

reunir informacin relevante para el programa, sus objetivos y aspira. ciones, y puede someterla a

un examen profundo. Puede obtener, articular y compartir la comprensin de por qu el proceso es

como es por referencia a los objetivos de quenes en l participan, los condcionamentos

circunstanciales y las oportunidades disponibles, y reflexionar sobre esta comprensin a la luz del

contexto ms amplo de la experiencia del programa como un todo" (Kemmis, 1986).


11

La comprensin puede estar referida a diferentes aspectos del programa.

1. Pretensiones educativas. Quin las pone en marcha y por qu. Qu finalidades ocultas o

manifiestas de otro tipo estn vinculadas a las directamente educativas.

2. Necesidad. No slo considerada en s misma, sino en contraste con otras posibles

necesidades de la sociedad.

3. Destinatarios. A quines va dirigido y qu modos existen de acceder a l. Tanto en lo que

respecta a la informacin como a los canales por los que se accede a l.

4. Procesos que pone en marcha. Qu tipo de actividades contiene y qu actitudes,

conocimientos o destrezas desarrolla en los destinatarios.

5. Resultados durante el mismo programa. Qu es lo que el desarrollo del programa est

consiguiendo en los destinatarios, en los responsables o, de forma indirecta, en otras personas.

6. Resultados a largo plazo. Aunque durante el desarrollo del programa estos efectos no puedan

verse, habr que pensar en lo que suceder a largo plazo con ese planteamiento.

7. Efectos secundarios. Qu- repercusiones de carcter no buscado est produciendo el

programa, tanto en los participantes como en otras personas, quiz potenciales usuarios del mismo.

8. Rentabilidad de los costes. Hay que preguntarse por la proporcin entre el esfuerzo y el costo

del programa y su rentabilidad, ya que los recursos son limitados.

9. Rentabilidad social. El beneficio del programa, desde el punto de vista democrtico, no ha de

verse solamente en los actuales destinatarios sino en las posibilidades de beneficio en cascada.

10. Relacin oferta-demanda. Es interesante saber qu tipo de ofertas se realizan y por parte de

quin en la organizacin de programas, y quines y por qu demandan ese tipo de acciones

educativas.

11. Continuidad en el futuro. Qu tipo de desarrollo posterior tiene el programa, qu posibilidades

de continuidad y de profundizacin encierra en el filturo.

12. Contexto sincrnico y diacrnic. El programa se realiza en un lugar y un momento

determinados, con unos medios concretos. Y tiene una historia que permite comprender cmo son

las cosas en l actualmente.

La respuesta a estas cuestiones depender del punto de vista y del cuadro de valores desde el

que se parta. (Me refiero ahora al evaluador.) La respuesta de los participantes depender tambin


12

de su particular visin y, en ocasiones, de los intereses que estn en juego dentro del programa. En

el desarrollo de la evaluacin es posible encontreir participantes:

a) Sin opinin definida respecto a algunas cuestiones o todo el programa, sea porque no

disponen de datos suficientes, sea porque se contraponen los elementos de juicio.

b) Detractores del programa que buscan datos y desarrollan interpretaciones encaminadas a

la formulacin de juicios negativos.

c) Defensores del valor del programa, unas veces de forma incondicional y poco reflexiva y

otras con el apoyo de argumentaciones slidas y consistentes.

"Los evaluadores deben tener en cuenta las distintas perspectivas acerca de un

programa, los juicios de valor que se produzcan, su contexto y su historia. Entonces

estarn en posicin de conglomerar y refinar las opiniones pblicas y privadas por las

cuales se hace inteligible el programa y se determina definitivamente su valor La calidad

de la evaluacin puede ser juzgada segn la calidad de su contribucin al debate crtico,

informndolo y mejorndolo" (Kemmis, 1986).

No se puede conseguir la comprensin profunda del valor educativo de un programa convirtiendo

las complejidades naturales del mismo en simplificaciones que no slo la empobrecen sino que la

distorsionan con la excusa de que simplificando es ms fcil establecer conclusiones o emitir juicios.

La simplificacin hace que la valoracin sea ms fcil pero tambin ms injusta y ms errnea.

No puede alcanzarse la comprensin a travs de la simplificacin de los nmeros o de las

estadsticas. La asignacin de nmeros a realidades tan complejas encierra el peligro de la

apariencia de cientificidad. Puesto que hay f6rmulas, hay rigor. Puesto que hay mediciones, hay

objetividad. Puesto que hay cuantificacin, hay claridad. Se pueden utifizar mediciones y

procedimientos estadsticos en la evaluacin, se pueden aplicar cuestionarios que recojan infor-

macin cuantificable, pero todos sus resultados han de pasar por el tamiz del anlisis, por el

contraste con otros modos de exploracin, por la criba de las interpretaciones.

Para conseguir esa comprensin en profundidad es preciso utilizar instrumentos variados y

sensib-ias a la riqueza y complejidad estructural y diversidad de interrelaciones que se producen en

la realidad educativa. Es necesario trabajar con instrumentos capaces de captar las valoraciones,


13

aspiraciones, motivaciones, intereses, interpretaciones... de los protagonistas. No se consigue una

informacin idntica a travs de diferentes mtodos. Unas veces porque los interesados deforman

las perspectivas movidos por el inters, por el papel que desempean en el programa o por

cualquier otra causa, otras veces porque la naturaleza misma del mtodo de exploracin condiciona

la informacin obtenida' No es lo mismo conseguir informacin a travs de la entrevista a un

responsable de un programa que observar directamente el desarrollo de la accin.

En su excelente trabajo, Kemmis (1986) plantea la necesidad de solicitar la opinin de todos los

que tienen diferentes tipos de valores en un programa:

"Segn el principio de la pluralidad del sistema de valores, los evaluadores debern

conocer y tener en cuenta todos los sistemas d valores en juego, ya que todos son

relevantes a la hora de emitir juicios sobre el programa.

Esto exige la realizacin de exmenes cruzados de los diferentes mtodos. Al contrastar la

informacin recibida a travs de dos o ms mtodos, se depura la comprensin. Exige tambin el

contraste de las opiniones de diferentes usuarios, ya que las valoraciones que hacen de unos no

necesariamente coinciden con las que hacen de otros.

La bsqueda de la comprensin tiene como finalidad preguntarse por los procesos y los

resultados de los programas, tanto de los que tienen un carcter explicito como de los que tienen

una condicin subrepticia, tanto de los directamente pretendidos como de los que aparecen de

forma derivada o secundaria, tanto de los relativos a cada uno de los destinatarios como de los de

carcter general, tanto de los relativos al conocimiento como a otras esferas del desarrollo personal

y social.

La comprensin se realiza a travs de un lenguaje accesible, no slo para' los directamente

implicados sino para cualquier otro ciudadano interesado en la realidad que se evala. No facilitan

la comprensin ni el lenguaje tecnicista, ni la abundancia de frmulas complejas, ni las conceptuali-

zaciones acadmicas que, por otra parte, suponen un nivel de codificacin que cambia el registro de

las informaciones emitidas por los participantes.

La evaluacin como mejora


14

La evaluacin no se cierra sobre s misma, sino que pretende una mejora no slo de los

resultados sino de la racionalidad y de la justicia de las prcticas educativas. No se evala para

estar entretenidos evaluando, para decir que se est realizando una evaluacin, para controlar los

prograrnas, para hacer publicidad o para crear conocimientos... Fundamentalmente se hace la

evaluacin para conseguir la mejora de los programas: del que est en curso y de otros que se

pongan en marcha.

"Si la evaluacin educativa es una reflexin sistemtica sobre la accin docenteldis-

cente y organizativolfuncional tiene que ser la base de las innovaciones que se introduz-

can" (Casanova, 1992).

La mejora puede consistir, pues, en diversos fenmenos referidos al programa:

a) Por una parte, tiene que ver con la introduccin de innovaciones que, desde la

comprensin que se ha generado, se consideran positivas para la calidad.

b) La pregunta misma por la calidad se convierte en una mejora real. Es decir, que la

preocupacin por conocer qu se entiende por mejora es ya un beneficio que enriquece el

programa.

c) La participacin de los destinatarios en la valoracin del programa lleva consigo un factor

educativo importante, con tal de que no se convierta en un simpie entretenimiento. Aumentar

la participacin de los destinatarios del programa en su desarrollo y valoracin es, a mi juicio,

un modo de mejorarlo.

La mejora habra de ser definida, no tanto a travs de unos parmetros establecidos a priori sino en

la propia dinmica de la accin contextualizada en la que aparece un fuerte juego de expectativas,

motivaciones, intereses, deseos, sentimientos y valores. De cualquier forma, habra que superar un

planteamiento simplista que slo atiende a la valoracin en la obtencin de rendimientos terminales,

sobre todo cuando se miden a travs de pruebas estandarizadas. No es fcil prescindir del

resultado final como uno de los ingredientes del xito del programa. Pero hay que superar esa

visin simplista. Difcilmente podr considerar un xito el programa aquella persona que no supere

las pruebas, si las hubiere. Pero no bastara, a mi juicio, superarlas para decir que el programa ha


15

resultado positivo. Consecuentemente, la mejora, no consistir solamente en la consecucin de me-

jores resultados finales. Existen otras cuestiones sobre las que habrn de interrogarse quienes

piensen en la mejora de un programa:

La justicia de sus planteamientos desde el punto de vista social y educativo.

La racionalidad de sus prcticas en cuanto a los fines perseguidos y a los mtodos elegidos

para su logro.

La bondad de las relaciones entre los organizadores y los participantes y las de stos entre

s.

No todo cambio es, por el hecho de serlo, una mejora. Lo que sucede con la evaluacin es que

permite descubrir, a travs de la comprensin, en qu consiste la autntica mejora de los

programas.

"La evaluacin educativa es un proceso que, en parte, nos ayuda a determinar si lo

que hacemos en las escuelas contribuye a conseguir fines valiosos o si es antittico con

estos fines. Que hay diversidad de versiones de valor es indudablemente verdad. ste es

uno de los factores que hace a la educacin ms compleja que la medicina... Esto hace de

la evaluacin educativa una tarea difcil y compleja, sin embargo a fin de cuentas algu

nos valores han de bu ' scarse, algunos juicios deben ser Jorm ulados acerca de lo que se ha

ce o lo que ocurre. No tenemos otro modo de conocer si estamos educando o deseducan

do" (Eisner, 1985).

La evaluacin facilita la mejora al preguntar por el valor educativo del programa, al facilitar la

comprensin de lo que sucede en el mismo, al provocar la reflexin y el debate de los implicados, al

urgir las respuestas sobre los posibles cambios.

La mejora de los programas puede tener un carcter inmediato o bien diferido. En el tiempo se

encuentra a veces un obstculo cuando se buscan efectos rpidos que no pueden darse con

inmediatez o cuando se difieren tanto los informes de manera que ya no pueden aprovecharse para

la mejora del programa, ya que los protagonistas son diferentes o no es posible intervenir

adecuadamente.


16

"La alternativa metodolgica que supone el estudio de caso en el campo de la evalua-

cin viene dada por la riqueza de posibilidades que presenta su capacidad de analizar la

realidad educativa en trminos de su utilidad. Utilidad inmediata para -la accin nsttucio-

nal y para la prctica docente, engarzada en la variedad de situaciones que generan y en

la diversidad de contextos con los que interactan. Utilidad diferida en cuanto a la pro-

gresiva sucesin de los mismos y su paulatina acumulacin" (Breznes y Carretero, 1990).

Otra cosa son las estrategias que han de ponerse en marcha para conseguir esta mejora. Los

evaluadores no tienen, a mi juicio, la responsabilidad de poner en marcha esas estrategias, pero s

se preocupan porque la evaluacin no est abocada a la esterildad.

La evaluacin facilita el perfeccionamiento de los profesionales, al hacer que, desde la

independencia de las preguntas y de los juicios externos, se interroguen, dialoguen y entiendan lo

que sucede con el programa.

La mejora se hace posible no slo en el programa evaluado sino en otros de carcter similar que ya

estn realizndose o que se preparen en el futuro. La transferibilidad permite atender diversos tipos

de cuestiones sobre la naturaleza y riqueza educativa en determinadas estrategias de intervencin.

La conexin de la evaluacin con la mejora puede potenciarse si existen unas condiciones

determinadas, a saber:

a) Si la iniciativa de realizar la evaluacin es ampliamente democrtica y no est solamente

promovida desde el exterior o por slo una parte de los participantes en el programa.

b) Si el proceso de exploracin ha sido intenso y ha permitido poner sobre el tapete

cuestiones importantes sobre el desarrollo y la valoracin del mismo.

c) Si estn slidamente fundados los juicios que se expresan en la evaluacin y

rigurosamente argumentadas las interpretaciones.

d) Si los evaluadores aportan sugerencias sobre la mejora y la viabilidad de las mismas, en

el buen entendido de que son los responsables del programa y los participantes en el mismo

quienes han de hacer efectivos los cambios.

La evaluacin que propongo se siente comprometida no slo con la mejora del programa sino con la

sociedad en general. No tiene una perspectiva neutral sino que toma partido por unos


17

determinados valores. Se interesa por aquellos que no son usuarios del programa y que ni siquiera

podran serlo por su condicin social, por carencia de medios o por ser vctimas de un caprichoso

reparto de los bienes pblicos.

La viabilidad de la educacin

Existen dificultades para que estos procesos se pongan en marcha en el marco de nuestras

instituciones. No es el menor el hecho de que falte sensibilidad y convencimiento respecto a la

conveniencia o bondad de estos mecanismos de comprensin y de mejora. O ms an, de que

haya motivos para realizar ese esfuerzo complementario para reflexionar, entender y cambiar. Es

decir, los profesionales tendran que sentir la necesidad y formular consiguientemente la demanda

de poner en marcha estos procesos. En las instituciones pblicas, en las que los profesores gozan

de la condicin de funcionarios, se hacen ms difciles el estmulo y el inters. Se aade a este

hecho el que algunas personas entienden la evaluacin como una amenaza, no como una ayuda.

Los evaluadores externos pueden ser considerados por algunas personas no slo como intrusos

sino como jueces que sancionan el comportamiento calificndolo de positivo o negativo.

Poner en accin procesos evaluadores de esta naturaleza resulta econmicamente costoso, ya

que exige tiempos y dedicacin intensiva de profesionales especializados. La sensibilidad de los

responsables polticos y sociales ante estas cuestiones relativas a la calidad habra de ser mucho

mayor para que se dedicase un importante caudal de recursos a preguntarse por el valor educativo

de los programas, tanto de los institucionales como de los situados en otros mbitos de accin

social.

La formacin de evaluadores es otra cuestin determinante en el tipo de evaluacin de la que

hablamos. Lo cualno significa que, hasta que no existan profesionales dedicados a este tipo de

trabajo, no se puedan poner en marcha procesos de evaluacin de programas. Los procesos de

autoevaluacin, aunque complejos porque hacen que los propios participantes se interroguen

sobre sus ideas, valores y prcticas, tienen un interesante papel en el cambio y la mejora:

Generalmente la puesta en marcha del proceso de autoevaluacin pone en evidencia las

distintas perspectivas que subyacen en las categoras usualmente consideradas unvocas y que

subyacen en la vida escolar... " (Martn Rodrguez, 1988).

Difundir los informes, crear plataformas de discusin y debate sobre los mismos, avivara la

preocupacin, el dilogo y la comprensin de las realidades educativas. Poner en marcha muchas


18

iniciativas, seguir desarrollando las ya existentes sin establecer unos procesos de reflexin rigurosa,

sistemtica y compartida sobre ellas, encierra el peligro del empobrecimiento, la rutina y la

esterilidad.

Generar teora sobre la evaluacin sin atender a las condiciones que la hagan viable, desarrollar un

discurso elaborado sobre la importancia de la evaluacin sin preocuparse de las estrategias que la

hagan deseable y posible, establecer desde instancias pblicas prescripciones. sobre la evaluacin

sin atender las exigencias de su implantacin y difusin, crea un doble y a veces contradictorio,

discurso que desorienta y que irrita a los profesionales que estn comprometidos en los programas.

santos guerra cap2 la evaluacion como proceso de dialogo comprension y mejora

Documents