evaluacion de instituciones y sistemas educativos (excelente)

Maestría en Administración Educativa

“ Evaluación de Instituciones y Sistemas Educativos ”

Segundo Semestre

CINADE Evaluación de Instituciones y Sistemas Educativos

Segundo Semestre 2

EVALUACIÓN DE INSTITUCIONES Y SISTEMAS EDUCATIVOS

GUIA DE LA ASIGNATURA

CONTENIDO I. INTRODUCCIÓN… … … … … … … … … … … … … … … … … … … … … … … … … . 3

II. OBJETIVOS… … … … … … … … … … … … … … … … … … … … … … … … … … … . 4

III. MODALIDADES DE EVALUACIÓN… … … … … … … … … … … … … … … … … 5

IV. CONTENIDO TEMÁTICO

CAPÍTULO 1 Antecedentes de la Evaluación… … … … … … … … … … … … … … … … … … … . 7 Conceptualización de la Evaluación… … … … … … … … … … … … … … … … … . 16 Características y funciones de la Evaluación… … … … … … … … … … … … … .. 24 CAPÍTULO 2 El lugar de la Evaluación en la Investigación Científica… … … … … … … … … 30 Paradigmas de la Evaluación… … … … … … … … … … … … … … … … … … … … 38 Normas y criterios de la Evaluación… … … … … … … … … … … … … … … … … . 41 CAPÍTULO 3 Contenidos, tipos y fases de la Evaluación… … … … … … … … … … … … … … . 49 CAPÍTULO 4 Evaluación de programas educativos, modelos externos de evaluación… ... 74 CAPÍTULO 5 Evaluación de Instituciones y Programas Educativos… … … … … … … … ...... 105 La Evaluación Cualitativa del currículo… … … … … … … … … … … … … … … … 114 CAPÍTULO 6 La Evaluación Educativa Contemporánea (Investigación y reflexiones del

mundo reciente)… … … … … … … … … … … … … … … … … … … … … … … … … ... 128

V. CONCLUSIONES… … … … … … … … … … … … … … … … … … … … … … … … … . 222

VI. BIBLIOGRAFÍA… … … … … … … … … … … … … … … … … … … … … … … … ....... 224


Segundo Semestre 3

I. INTRODUCCIÓN La realización del hecho educativo, es históricamente una acción emanada de la sociedad y practicada por la misma para beneficio de sus integrantes. Esta acción la de Educar con su multivariedad y complejidad de mé todos y acepciones ha permeado el devenir y futuro de las civilizaciones pasadas y contemporáneas, mediante ella ha sido posible el logro de las pequeñas y grandes obras de la humanidad. En nuestro mundo contemporáneo entendemos que esta acción no tiene límite, conforme avanzamos en el tiempo avanzamos vertiginosamente en tecnología, en invenciones, formas de vida, etc., la cual implica EDUCAR a las sociedades de acuerdo a las necesidades que las nuevas generaciones reclaman, sin embargo no es posible diseñar, elaborar, e implementar, metodologías de Enseñanza – Aprendizaje que respondan satisfactoriamente a los requerimientos de la sociedad contemporánea, si los currículos, programas y proyectos educativos vigentes carecen de una verdadera EVALUACIÓN. En la actualidad el fenómeno de la globalización conlleva a una competencia desleal, inequitativa entre naciones, lo cual implica que países subdesarrollados tengan que competir en mercados internacionales con otros Países que utilizan la tecnología de punta y el conocimiento de fronteras, siendo é ste el caso de Mé xico, que por dé cadas sigue apostando a que la Educación de Calidad, le permitirá estar en condiciones de ofrecer servicios y productos de calidad. Sin embargo, para acceder a una educación de estas características es imprescindible que los currículos, los centros educativos con sus programas y proyectos sean EVALUADOS. Desafortunadamente escasas son las Instituciones Educativas en este País, que hacen verdaderas Evaluaciones, parece aún lejos la creación de una cultura de la Evaluación, ni a docentes, ni directivos, ni administradores de la Educación les es grato un programa de Evaluación; ello obedece principalmente a que se confunde el concepto de evaluar con fiscalizar, en sancionar, con amenazar. La evaluación deberá concebirse como asesoría, como una oportunidad de mejora, como la obtención de información para una toma de decisiones asertiva, identificando fortalezas y debilidades. Bajo esta tesitura el presente curso pretende que el alumno de la Maestría en Administración Educativa, comprenda, aplique, analice, sintetice y evalúe, LA EVALUACIÓN DE INSTITUCIONES Y SISTEMAS EDUCATIVOS, y en su oportunidad logre crear, transformar el medio ambiente que lo rodea. Es importante señalar que no basta aprobar el curso, lo fundamental es su aplicación en cualquiera de los contextos en que cada alumno se desarrolle, así mismo es imprescindible que los temas aquí sintetizados sean ampliados en lecturas, presentaciones, análisis y conclusiones de otros autores por parte de los alumnos y asesores de la materia.


Segundo Semestre 4

II. OBJETIVOS II.1 GENERALES

A travé s del presente curso se pretende que el alumno construya su conocimiento respecto del proceso de Evaluación de Instituciones y Sistemas Educativos, comprendiendo, analizando, sintetizando y evaluando su contenido.

Despué s de haber cursado la materia, el alumno será capaz de construir, teórica y

prácticamente la Evaluación de una Institución, programa, proyecto o sistema educativo.

III.2 ESPECÍFICOS Comprender e interpretar los conceptos fundamentales de la Evaluación

Educativa, con base en el análisis de las lecturas, opiniones, comentarios, experiencias y reflexiones de los integrantes de la clase y el asesor.

Sintetizar y evaluar el proceso de la Evaluación para el desarrollo de fichas de

trabajo, exposiciones de clase y ensayos. Diseñar y elaborar ensayos sobre Evaluación Educativa para el cumplimiento de la

Evaluación del curso. Identificar la ubicación de la Evaluación Educativa en el mapa curricular de la

Maestría en Administración Educativa del CINADE para vincular su relación con las materias antecedentes y consecuentes, destacando su función en la operatividad de los Sistemas Educativos.


Segundo Semestre 5

III. MODALIDADES DE EVALUACIÓN La evaluación del desempeño del alumno durante el curso es continúa, diagnóstica, formativa, y sumativa, basada en el cumplimiento de los objetivos de aprendizaje, considerando la participación fundamentada en las sesiones presenciales, exposiciones, fichas de lectura, trabajos escritos y experiencia. Elementos a evaluar y su ponderación: Asistencia (El mínimo requerido es de 80%)… … … … … … … … … … … … … 10 %

Participación en clase… … … … … … … … … … … … … … … … … … … … … … 10 %

Exposición de clase… … … … … … … … … … … … … … … … … … … … … … … 10 %

Elaboración de un Ensayo… … … … … … … … … … … … … … … … … … … … 30 %

Desarrollo de un proceso de Evaluación aplicado a un caso práctico… … 40 %

Calificación global (mínima aprobatoria 80%)… … … … … … … … … … … … 100 %


Segundo Semestre 6

IV. CONTENIDO TEMÁTICO

CAPÍTULO 1

Antecedentes de la Evaluación Conceptualización de la Evaluación

Características y funciones de la Evaluación


Segundo Semestre 7

ANTECEDENTES DE LA EVALUACIÓN “Morales Vázquez, Cesareo, 1995. Planificación y Administración Educativa (Maestría en Tecnología Educativa) ILCE Mé xico.”

Los especialistas en evaluación que han sido formados en alguna de las disciplinas sociales (psicología, sociología, pedagogía, antropología, comunicación, trabajo social, etc.) tienden a construir sus modelos y definir los aspectos a evaluar de acuerdo con su propia orientación disciplinaria, o destacando elementos teóricos, metodológicos y prácticos que son importantes en algunos casos, mientras que en otros son irrelevantes.

Esto es evidente sobre todo en el campo de la educación, en el que, aparte de la

multidisciplinariedad e interdisciplinariedad que impone el tratamiento de la problemática educativa, existe una multiplicidad de niveles de análisis y perspectivas, por la diversidad de programas educativos, los intereses de los participantes, los objetivos que se pretende alcanzar, las políticas y estrategias con las cuales se operan los programas, etc., hablar de un programa educativo, implica ubicarlo en un contexto local, provincial o nacional, en un nivel de enseñanza determinado, con una estructuración curricular formal o no formal, en una modalidad escolarizada, abierta o a distancia, con diversos niveles de participación desde el administrador y el supervisor, hasta el docente y el usuario, con objetivos a corto, mediano o largo plazo, con la definición o indefinición de las consecuencias sociales de su implantación y con la determinación o indeterminación de los fines educativos que se persiguen.

En este contexto de los programas educativos, es comprensible que la evaluación siga caminos diversos, a menudo irreconciliables, por los puntos de vista, los niveles o la forma en que se maneja. Surgimiento de la Evaluación Educativa La evaluación educativa formal se remonta al siglo pasado, en el que hay evidencia de que un pastor religioso inglé s, George Fisher, elaboró un “libro escala” en 1864, el cual pudo haber sido el punto de partida de la medición en educación. Estos instrumentos, que posteriormente llegaron a tener mayor estructuración y sistematización den la medición del rendimiento o aprovechamiento del alumno, son a su vez las fuentes de las que parte la evaluación en educación. Desde principios de este siglo y hasta los años 20’s, ocurrieron cambios importantes en las teorías psicológicas del aprendizaje, las estrategias de enseñanza y la teoría curricular, que marcaron definitivamente la concepción de la evaluación educativa.


Segundo Semestre 8

Ralph Tyler fue el introductor del té rmino evaluación educativa en los años 30’s, el cual hacía referencia a los procedimientos utilizados para valorar los progresos del estudiante hacia la consecución de los objetivos de aprendizaje. En su modelo curricular, Tyler consideraba a la evaluación como una parte integral del proceso educativo y no como algo externo o impuesto, al mismo nivel que los objetivos y las estrategias de aprendizaje. Argumentaba la importancia de los procedimientos evaluativos para contar con información acerca del grado en que los objetivos habían sido alcanzados y acerca de la propiedad y eficacia de las experiencias de aprendizaje. En respuesta al enfoque de las teorías asociacionistas de la Psicología, que habían pugnado por establecer en educación la visión de los objetivos conductuales específicos, Tyler consideraba que los objetivos deberían comprender desde la adquisición de un conjunto específico de habilidades, hasta la completa reorganización del estilo de vida. Las consecuencias para la evaluación comprendían la valoración del estudiante no solo en cuanto a los conocimientos adquiridos, sino tambié n en cuanto al desarrollo de procesos afectivos en el ámbito educativo.

Las ideas de Tyler acerca de la evaluación educativa tuvieron eco tanto en la

valoración de las consecuencias de aprendizaje en el estudiante, como en la evaluación de los programas educativos. La lógica del proceso era sencilla: al formular objetivos claramente especificados se podría estimular la construcción de instrumentos válidos y sistemáticos que sirvieran a su vez de base para juzgar la pertinencia de un programa. La vigencia de las ideas de Tyler en evaluación del aprendizaje y de los programas educativos es constatable no sólo por el rango que actualmente tiene é sta en la planeación y el desarrollo curricular, sino por las bases racionales y sistemáticas que impuso en este campo el modelo de evaluación por objetivos.

El interé s despertado en los años 60’s y 70’s por la evaluación educativa se

debió en gran parte a la promulgación en Estados Unidos del “Acta de Educación Elemental y Secundaria” en 1965. En esta acta, el gobierno pretendía estimular el desarrollo de los sectores de la población menos favorecidos mediante el aumento de fondos a los programas de salud, sociales y educativos. Sin embargo, para asegurar que los fondos fueran utilizados de manera eficiente, exigía que los programas fueran evaluados anualmente, de manera sistemática y objetiva. De esta evaluación dependía la continuación del suministro de fondos en el caso de los programas educativos a los diferentes distritos escolares. Bajo este tenor, los mismos administradores estimularon la incorporación de nuevos elementos de la práctica evaluativa que pudieran cubrir los requerimientos del acta.

Los distritos escolares… comprobaron rápidamente que los instrumentos y estrategias que empleaban entonces los evaluadores, resultaban totalmente inapropiados para aquél trabajo. Los tests estandarizados que se habían elaborado con el fin de determinar el promedio del grado de conocimientos de los estudiantes no sirvieron casi nada cuando hubo que diagnosticar las necesidades y valorar los avances de los niños menos favorecidos… Además, dichos tests eran relativamente inadecuados para discernir las diferencias entre escuelas y/o programas, principalmente a causa de sus propiedades psicométricas y el alcance de sus contenidos.


Segundo Semestre 9

En lugar de determinar los resultados directamente relacionados con una escuela o programa en concreto, estos tests determinaban, en el mejor de los casos, el grado de aprendizaje, centrándose casi en los mismos rasgos que los tests de aptitudes.

En este contexto, la demanda de nuevas ideas y metodologías en la evaluación educativa no se hizo esperar. Surgieron conceptualizaciones que reconocían la necesidad de evaluar las metas y los costos, la eficiencia en la aplicación de los procedimientos, y los resultados últimos de los programas. Es decir, la evaluación salió del ámbito del aula, para incorporar criterios más amplios que respondieran a las necesidades de la administración educativa. Quedaba atrás la idea de Tyler acerca de que la evaluación debía ser una parte integral del proceso educativo, ante la “objetividad” que implicaba la supervisión y la evaluación externa. Las nuevas condiciones y necesidades evaluativos exigían una profesionalización del evaluador, con una sólida preparación metodológica y conceptual, que hiciera frente a las demandas del campo. Surgen sociedades y comité s del gobierno y de las universidades dedicados a la evaluación, se crearon centros de estudios y revistas especializadas que se encargaron de formar a los nuevos evaluadores. La profesionalización en el campo evaluativo trajo consigo varios inconvenientes: 1. Un alejamiento progresivo del escenario educativo por parte del evaluador, que al

incursionar desde el exterior en el trabajo del educador, ha provocado en este reacciones de recelo o al menos de incomprensión ante la acción evaluatoria, que percibe como impuesta e injusta.

2. Los obstáculos al desarrollo de paradigmas comunes a todos los profesionales del

campo, por la misma especialización de las prácticas evaluatorias, según se trate de la evaluación del aprendizaje, de la práctica docente, del currículo, del programa o de la institución, las cuales siguen caminos diferentes, de acuerdo con capacidades e inclinaciones de los mismos formadores de profesionales.

3. En la función de la teoría, se ha llegado al desarrollo de modelos cada vez más

amplios y sofisticados, que engloban una pluralidad de aspectos, y que pudieran permitir una comprensión del fenómeno educativo a evaluar, pero que en realidad se ajustan poco o de una manera forzada a las necesidades concretas de tales fenómenos, y sólo resultan significativos para unos cuantos en la cúpula de la administración educativa.

Sin embargo, tambié n es pertinente señalar que la profesionalización de la evaluación ha traído consigo una mayor conciencia de la responsabilidad social que conlleva la puesta en marcha de un programa educativo. En la región Latinoamericana, la institucionalización de la evaluación en los programas


Segundo Semestre 10

educativos nacionales y universitarios se afirmó en la dé cada de los 70’s. En Colombia, el Instituto Colombiano de Pedagogía reporta que:

La investigación evaluativo de la enseñanza media diversificada en Colombia, bajo el enfoque de Análisis de Sistemas, fue iniciada por el ICOLPE en los últimos meses de 1973, y en su desarrollo han tenido lugar dos seminarios, uno de carácter interno y otro Nacional, los cuales han permitido la vinculación de investigadores nacionales de universidades y docentes del nivel de enseñanza media para la realización del estudio metodológico y el perfeccionamiento de los instrumentos evaluativos.

En Mé xico, la Dirección General de Evaluación de la Secretaría de Educación

Pública llevó a cabo en 1978 la evaluación del aprovechamiento de los escolares de 4º y 5º grados de la educación primaria a nivel nacional, relacionado con el desempeño del docente. Posteriormente, entre los años de 1980 y 1982 se realizó la evaluación de los programas integrados de 1º y 2º grados, como un paso previo para la implantación definitiva de estos programas. En este mismo país, en 1979 se puso en operación el programa de Evaluación del Sistema de Educación Tecnológica, como una acción permanente del Consejo del Sistema Nacional de Educación Tecnológica, que incluía entre sus acciones las siguientes:

• Planeación de la evaluación del Sistema de Educación Tecnológica.

• Diseño del programa de evaluación y su modelo de aplicación.

• Difusión, sensibilización y capacitación del personal para la implementación del

modelo.

• Programación y calendarización para la aplicación del mismo.

• Discusión de la información obtenida y promoción de procesos de

autoevaluación.

• Elaboración de documentos de síntesis de información para todo el sistema.

• Análisis e interpretación de los resultados obtenidos.

• Evaluación global del propio proceso evaluatorio.

CONCEPTUALIZACIONES RECIENTES DE LA EVALUACIÓN EDUCATIVA A partir de las ideas de Tyler y del impuesto generado por las disposiciones oficiales de la dé cada de los 60’s, el concepto de evaluación educativa ha sufrido un


Segundo Semestre 11

proceso de transformación importante. Haremos un breve repaso de las aportaciones más representativas. L. J. CRONBACH (1963)

Para este autor, la evaluación debe tener la finalidad de apoyar a los que elaboran el currículo, por lo cual debe focalizarse hacia la búsqueda de información oportuna, exacta, válida y amplia sobre la labor educativa. M. SCRIVEN (1967)

La evaluación consiste en la constatación del valor o mé rito del programa

educativo, no solo por los resultados que se esperan de é l en cuanto a los objetivos planteados, sino por las consecuencias imprevistas que surgen en su desarrollo. Scriven se aleja de la concepción tyleriana acerca de la evaluación con base en los objetivos propuestos, para tomar en cuenta a los resultados imprevistos, que en realidad educativa son materia común. “Stufflebeam, Daniel. J. Shinkfiled, Anthony 1995. “Evaluación Sistemática, Paidos. España.” Se dice a menudo que los que no conocen su propia historia están condenados a repetirla. Nosotros facilitaremos únicamente un breve esbozo histórico con el fin de informar al lector sobre los acontecimientos más significativos ocurridos en el campo de la evaluación. Nuestro análisis histórico se basa en un trabajo clave de Ralph W. Tyler, que a menudo es considerado el padre de la evaluación educativa. Utilizando sus contribuciones iniciales como principal punto de referencia, hemos establecido cinco períodos básicos: 1) el período pre-Tyler, que abarca hasta 1930; 2) la é poca tyleriana, que va desde 1930 hasta 1945; 3) la é poca de la “inocencia”, desde 1946 hasta 1957; 4) la é poca del realismo, que cubre el período 1958 – 1972; y 5) la é poca del profesionalismo, que incluye la evolución experimentada desde 1973 hasta el presente. El período pre-tyleriano La evaluación sistemática no era desconocida antes de 1930, pero tampoco era un movimiento reconocible. El hecho de evaluar individuos y programas apareció, como mínimo, en el año 2000 a.C., cuando algunos oficiales chinos dirigieron unas investigaciones de los servicios civiles, y en el siglo V a.C., cuando Sócrates y otros maestros griegos utilizaron cuestionarios evaluativos como parte de su metodología


Segundo Semestre 12

didáctica. En el siglo XIX, en Inglaterra, se utilizaron comisiones reales para evaluar los servicios públicos. En 1845, en los Estados Unidos, Horace Mann dirigió una evaluación, basada en tests de rendimiento, para saber si las escuelas de Boston educaban bien a sus estudiantes. Entre 1887 y 1898, Joseph Rice estudió los conocimientos en ortografía de 33 000 estudiantes de un amplio sector escolar y sacó la conclusión de que la gran insistencia en la enseñanza de la ortografía, que entonces estaba en boga, no había producido avances sustanciales en el aprendizaje. Este estudio está generalmente reconocido como la primera evaluación formal sobre un programa educativo realizado en Amé rica. Tambié n en los últimos años del siglo pasado, empezó a crearse el movimiento para la acreditación de instituciones educativas y programas en los Estados Unidos; desde entonces, el proceso de acreditación se ha convertido en uno de los principales medios para evaluar los servicios educativos. Una aproximación aún mayor a la evaluación se produjo, en los primeros años de este siglo, con la aparición de los tests estandarizados. Este acontecimiento formaba parte de un gran esfuerzo que pretendía que la educación fuera más eficiente para que un mayor número de estudiantes pudiera utilizar los recursos entonces disponibles en las escuelas. El breve resumen anterior viene a confirmar que la evaluación sistemática tiene una larga historia. Mientras que sólo muy recientemente se ha llegado a considerar la evaluación como una práctica profesional, buena parte del trabajo evaluativo moderno continúa basándose en ideas y té cnicas que ya se aplicaban hace mucho tiempo, como por ejemplo, las encuestas, las comisiones, la acreditación y las comparaciones experimentales de varios programas. La época tyleriana En los primeros años de la dé cada de los treinta, Ralph Tyler acuñó el té rmino evaluación educacional y publicó una amplia y renovadora visión del currículo y la evaluación. En un período de alrededor de quince años, desarrolló sus intuiciones hasta que conformaron un mé todo que suponía una clara alternativa a otras perspectivas. La principal característica de su mé todo era que se centraba en unos objetivos claramente fijados. De hecho, definía la evaluación como algo que determina si han sido alcanzados ciertos objetivos. Como consecuencia de esta definición, los evaluadores debían ayudar a quienes elaboraban currículos a clarificar el rendimiento de los estudiantes, que había sido precisamente determinado a travé s de la realización de un currículo. Los objetivos resultantes, referidos al rendimiento, proporcionaban entonces la base para elaborar un currículo y un test de desarrollo. La elaboración del currículo quedaba así influida tanto por los contenidos que debían aprender como por la evolución del rendimiento de los estudiantes. La tecnología de los tests de desarrollo iba a servir de base para la elaboración de tests relacionados con los objetivos, y tambié n a los relacionados con las diferencias individuales y con las normas nacionales o del estado.


Segundo Semestre 13

Durante la dé cada de los treinta, los Estados Unidos, como el resto del mundo, cayó en las profundidades de la Gran Depresión. Las escuelas, como otras instituciones públicas, se estancaron en una ausencia total de recursos y optimismo. Justo cuando Roosevelt intentaba con su New Deal sacar de este abismo a la economía americana, John Dewey y algunos otros intentaron contribuir a que la educación se convirtiera en un sistema dinámico e innovador, que a la vez se fuera renovando a sí mismo. Con el nombre de Educación Progresiva, este movimiento reflejó la filosofía del pragmatismo y empleó los instrumentos de la psicología conductista. Tyler se vio metido de lleno en este movimiento cuando le encargaron dirigir la parte de investigación del hoy famoso Eigh-Year Study (Smith y Tyler, 1942). Este estudio fue pensado para examinar la efectividad de ciertos currículos renovadores y estrategias didácticas que se estaban empleando en treinta escuelas a lo largo de toda Amé rica. El estudio resulta notable porque ayudó a Tyler a difundir, ensayar y demostrar su concepción de la evaluación educacional de una manera inmediata. La época de la “inocencia” Para la sociedad americana, los últimos años del 40 y la dé cada de los 50 fue un tiempo para olvidar la guerra, dejar atrás la Depresión, crear y desarrollar aptitudes, adquirir recursos, y lograr disfrutar de la “buena vida”. Podríamos haber calificado esta é poca como el período de expansión, pero hay que tener en cuenta que tambié n existía una amplia complacencia a la hora de enjuiciar los graves problemas de aquella sociedad. Como consecuencia, creemos que es mejor referirnos a esta é poca como al Período de “inocencia” o incluso de la irresponsabilidad social. Durante este período, las evaluaciones educacionales dependían, como ya lo habían hecho antes, sobre todo, de los límites de los distritos escolares locales. Las escuelas, pues, dependían del interé s y la habilidad locales para poder hacer o no una evaluación. Las agencias federales y estatales aún no estaban demasiados introducidas en el campo de la evaluación de programas. Los fondos destinados a las evaluaciones provenían de las arcas locales, de fundaciones o de organizaciones profesionales. Esta ausencia de ayudas exteriores y de apoyos para la realización de evaluaciones en todos los niveles de la educación iba a concluir con la llegada del próximo período de la historia de la evaluación. La época del realismo La é poca de la inocencia en la evaluación tuvo un brusco final con el auge, a finales de los años 50 y principios de los 60, de las evaluaciones de proyectos de currículos a gran escala, financiadas por estamentos federales. Los educadores se encontraron, durante este período, con que ya no podían hacer o no hacer las


Segundo Semestre 14

evaluaciones a su antojo, y que los futuros progresos de las metodologías evaluativos deberían estar relacionados con conceptos como utilidad y relevancia. Su violento despertar, en este período, marcó el final de una era de complacencia y ayudó a emprender profundos cambios, guiados por el interé s público y dependiendo del dinero de los contribuyentes para su financiación, lo cual condujo a que la evaluación se convirtiera en una industria y en una profesión. A principios de los años 60, algunos de los más importantes evaluadores educacionales se dieron cuenta de que su trabajo y sus conclusiones no ayudaban demasiado a los que elaboraban currículos, y no respondían a las preguntas sobre los programas que planteaban aquellos que necesitaban comprobar su grado de efectividad. La “flor y nata” de la comunidad evaluativo educacional participó en estos esfuerzos para evaluar los nuevos currículos; estaban adecuadamente financiados y aplicaban cuidadosamente la tecnología que había ido desarrollándose durante la dé cada o incluso antes. A pesar de todo esto, empezaron a darse cuenta de que sus esfuerzos no tenían é xito. Esta valoración negativa quedó perfectamente reflejada en un histórico artículo de Cronbach (1963). Examinando los esfuerzos evaluativos del pasado reciente, criticó duramente los conceptos en los que se habían basado las evaluaciones por su falta de relevancia y utilidad, y aconsejó a los evaluadores que abandonaran sus inclinaciones de entonces y se dedicaran a hacer evaluaciones basadas en comparaciones de los resultados obtenidos en tests tipificados, realizados por grupos experimentales y de control. Cronbach recomendó a los evaluadores que reconceptualizaran la evaluación no como si se tratara de una carrera de caballos entre programas competidores, sino como un proceso consistente en recoger y formalizar información que pueda ayudar a quienes elaboran los currículos. Cronbach argüía que el análisis y la relación de los resultados de un test podrían ser, probablemente, de más utilidad para los profesores que informarles sobre el promedio del total de las calificaciones. Cuando fue publicado por primera vez, el consejo de Cronbach y sus recomendaciones pasaron inadvertidos durante mucho tiempo, exceptuando un pequeño círculo de especialistas en evaluaciones. De cualquier manera, el artículo era básico y contenía hipótesis sobre la conceptualización y la dirección de evaluaciones que iban a considerarse totalmente válidas al cabo de muy pocos años. La época del profesionalismo Aproximadamente en 1973, el campo de la evaluación empezó a cristalizar y a emerger como una profesión diferenciada de las demás, relacionada con (pero tambié n distinguida de) sus antecedentes de investigación y control. El campo de la evaluación ha avanzado considerablemente como profesión, auque es instructivo considerar su desarrollo en el contexto del período anterior. En aquellos momentos, como ya hemos explicado, los evaluadores se enfrentaban a una crisis de identidad. No sabían muy bien cuál era su papel, si debían ser investigadores, administradores de tests, profesores, organizadores o filósofos.


Segundo Semestre 15

Cualquier calificación especial que se les pudiera dar no resultaría clara. No existían organizaciones profesionales dedicadas a la evaluación entendida como especialidad, ni tampoco publicaciones especializadas a travé s de las cuales los evaluadores pudieran intercambiar información acerca de su trabajo. Esencialmente, no existía literatura acerca de la evaluación educacional, excepto trabajos iné ditos que circulaban únicamente entre círculos de especialistas. Había muy pocas oportunidades de prepararse para ejercer un servicio evolutivo. Las normas claras para una buena práctica se veían confinadas a las encuestas educacionales y psicológicas. El campo de la evaluación era amorfo y fragmentado. Muchas evaluaciones estaban dirigidas por personal sin preparación, otras por investigadores metodológicos que intentaban sin é xito adaptar sus mé todos a las evaluaciones educativas (Guba, 1966). Los estudios evaluativos estaban cargados de confusión, ansiedad y hostilidad. La evaluación educacional como especialidad tenía poca talla y ninguna dimensión política. Con este telón de fondo, el progreso realizado por los evaluadores educacionales para profesionalizar su especialidad durante los años 70 es totalmente destacable. Algunas publicaciones, como Educational Evaluation and Policy Analysis, Stydies en Evaluation, CEDR Quarterly, Evaluation Review, New Directions for Program Evaluation, Evaluation and Program Planning y Evaluation News, aparecieron en aquella é poca, y luego han demostrado ser excelentes vehículos para recoger y difundir información acerca de las diversas facetas de la evaluación educacional. De un modo creciente, la especialidad está considerando la metaevaluación (SCRIVEN, 1975; STUFFLEBEAM, 1978) como un medio para asegurar y comprobar la calidad de las evaluaciones. Como ya se ha indicado, un comité (Joint Comité , 1981), formado por doce organizaciones profesionales, ha publicado una clarificadora serie de normas para juzgar las evaluaciones de los programas educativos, proyectos y materiales, y ha establecido un mecanismo (Joint Comité , 1981) para repasar y revisar las Normas y facilitar su uso. Además, se han publicado muchos otros grupos de normas importantes para la evaluación educacional (Evaluation News, mayo de 1981).


Segundo Semestre 16

CONCEPTUALIZACIÓN DE LA EVALUACIÓN “Morales Velázquez, Cesareo 1995. “Planificación y Administración Educativa (Maestría en Tecnología Educativa) ILCE Mé xico.” La evaluación es una actividad cotidiana del ser humano. Los psicólogos de la percepción y el aprendizaje concuerdan en afirmar que para poder percibir o aprender, necesariamente seleccionamos la información que nos presenta el medio ambiente. Tal selección implica un juicio o valoración consciente o inconsciente de las opciones que el medio nos ofrece, y adoptamos algunas y descartamos otras en función de la circunstancia, los intereses momentáneos, la motivación general, las necesidades personales, o las presiones sociales. La evaluación es una actividad social recurrente en nuestros días: evaluamos la calidad de los productos industriales, la prontitud y eficiencia de los servicios, los beneficios y eficacia de los programas sociales, etc. Todos tenemos experiencia en la evaluación personal de los productos sociales: expresamos ante nuestros colegas y amigos lo que a nuestro juicio es acertado o desatinado en tales productos y adelantamos una opinión acerca de cómo podrían marchar mejor las cosas. Estas actividades de valoración y enjuiciamiento son necesarias porque establecen el “clima social” que modifica o hace prevalecer determinadas decisiones de líderes o grupos socialmente relevantes. Sin embargo, nuestras actividades evaluativos generalmente son unilaterales y asistemáticas. Evaluamos según criterios y normas personales, y por tanto limitados a nuestra propia experiencia. Nuestros juicios sobre el valor de un objeto pueden ser diferentes o contrarios a lo que tiene el colega más cercano. Sus argumentos, según su propia experiencia, son tan válidos como los que tenemos nosotros. Además, algunas veces los juicios de valor que expresamos son determinados por las circunstancias en las que se presenta el objeto de juicio, los valores morales o religiosos que imperan, el grado de involucramiento que tengamos con el objeto o la persona evaluados, etc. Algunas veces tratamos de reunir información y ser objetivos y en otras nos conducimos por prejuicios, según nuestra experiencia y constante valoración. Es decir, en nuestros juicios empleamos una gran variedad de parámetros y criterios para concluir sobre el valor de algo. Las diversas perspectivas que se emplean en evaluación, tanto a nivel formal como informal, han sido objeto de debate, porque inevitablemente tocan el problema de la objetividad y la subjetividad de la evaluación, toda vez que se trata de establecer juicios de valor. La evaluación como campo de estudio recientemente adoptado, carece de un cuerpo retórico-conceptual sólido estructurado. Esto no significa que no existan


Segundo Semestre 17

aportes teóricos importantes, todo lo contrario, como veremos posteriormente, el panorama sobre la conceptualización y metodología de la evaluación es rico y polé mico. La confusión generada se debe en gran medida a las diferencias entre los especialistas en evaluación, producto de su formación disciplinaria, su campo de acción profesional, o la afiliación a grupos u organizaciones dedicadas al estudio de los programas sociales. Por ejemplo, en Estados Unidos el Social Science Research Council tuvo en los años sesentas y setentas una gran influencia en la planeación de programas sociales por sus conexiones con los grupos de gobierno encargados de la distribución de fondos para esos programas. “Suárez Díaz, Reynaldo, 2001. La Educación, Trillas, Mé xico.” La evaluación es un elemento clave en todo proceso sistemático. Antes de efectuar un acto educativo debe establecerse la forma en que va a ser evaluado. No debe comenzarse la instrucción y despué s, al último minuto, establecer la forma como va a ser evaluada. Tal decisión debe tomarse durante el diseño del proceso. La evaluación es, por demás, un proceso permanente y se realiza antes, durante y despué s de la implantación del acto docente; comprende todos los elementos que componen dicho acto, tanto en su planificación como en su desarrollo y sus resultados. Establecidos pues los objetivos, tareas y estrategias de instrucción, el educador deberá establecer la forma como va a evaluar su acto educativo. Pero antes es preciso clarificar el concepto mismo de evaluación y sus objetivos. LA EVALUACIÓN Y SUS OBJETIVOS Entendemos por evaluación un proceso permanente mediante el cual se conoce, se mide y se dan opiniones sobre todas las circunstancias y elementos que intervienen en la planificación y ejecución del acto docente, con el fin de revisarlos para su mayor eficiencia en el logro de los objetivos. La evaluación se refiere tanto a las circunstancias que rodean al acto docente (contexto) como a los elementos que intervienen en su planificación y ejecución (proceso), como al logro de los objetivos (resultados). Gráficamente se puede representar así la tridimensionalidad de la evaluación.


Segundo Semestre 18

Sobre estas tres dimensiones tendremos ocasión de hablar en detalle. Explicaremos ahora las finalidades de la evaluación; son é stas:

A. Conocer: recibir y dar información acerca de todos los elementos del acto educativo; sobre las necesidades a que responde, la validez de los objetivos, características del grupo, resultados obtenidos, aceptación del acto educativo, etc.

B. Motivar: ayudar al estudiante, al profesor y a la estructura escolar, reforzando

su acción mediante la información de retorno.

C. Medir: la eficiencia de los elementos que componen el acto educativo y sus resultados, con el fin de emitir un concepto, un juicio, una opinión sobre ellos. Determinar la eficacia (resultado) y congruencia (proceso) del acto de enseñanza-aprendizaje. A este aspecto, y sólo en lo que a resultados se refiere, han reducido muchos educadores el proceso de evaluar: medir y calificar resultados.

D. Revisar: los elementos del proceso para el logro de mejores resultados,

teniendo en cuenta al grupo estudiantil en sus necesidades e intereses. Los datos de la evaluación deben enviarse permanentemente al sistema para analizarlos y determinar los cambios necesarios para mejorarlos.

“Ruiz Ruiz, José María, 1997. Como hacer una evaluación de Centros Educativos. Marcea, Madrid.”

gram

a es

cola

r, ta

reas

,

obje

tivos

, re

curs

os

hum

anos

,

ritm

o,

med

ios,

m

é tod

os,

inst

rum

ento

s de

eva

luac

ión.

Logros de objetivos previstos e imprevistos

Contexto

(Sociedad, escuela, grupo, estudiantes)

Pro

ceso

Resultados

Evaluación

gram

a es

cola

r, ta

reas

,

obje

tivos

, re

curs

os

hum

anos

,

ritm

o,

med

ios,

m

é tod

os,

inst

rum

ento

s de

eva

luac

ión.

Logros de objetivos previstos e imprevistos

Contexto

(Sociedad, escuela, grupo, estudiantes)

Pro

ceso

Resultados

Evaluación


Segundo Semestre 19

Se está extendiendo una nueva ola pedagógica sobre las estrategias de acción y de cambio en las escuelas. De ella se hace eco el pensamiento oficial, de ella hablan los documentos de los especialistas, sobre ella inciden los cursos de formación… Me refiero al llamado paradigma de la colegialidad. Este paradigma conlleva la ruptura del individualismo, la planificación conjunta, la reflexión compartida, la coordinación intensa, la acción colegiada. El Centro aparece como la unidad funcional de planificación, trabajo, innovación y evaluación. Esta nueva situación exige un contexto que permita llevarlo a cabo, unas condiciones de trabajo que faciliten su desarrollo y unas motivaciones que actúen sobre los profesionales para que sus convicciones no se conviertan en una contradicción viva y en una paradoja crispante. Proponer que los Centros articulen su vida sobre proyectos compartidos, exigir que la acción tenga coherencia y cohesión, exige tiempo, motivos, estrategias, espacios y dinámicas de participación diferentes a los basados en la acción individualista. No basta un discurso convincente. Es preciso crear condiciones para que sea visible.

Lo fundamental de la evaluación, no es hacer evaluación, ni siquiera hacerla

bien. Lo fundamental es conocer el papel que desempeña, la función que cumple, saber quié n se beneficia de ella y, en definitiva, al servicio de quié n se pone.

Respecto al concepto, el té rmino evaluación incluye varias acepciones que se

suelen identificar con fines muy diversos: “valorar, enjuiciar, comparar, controlar, fiscalizar”… Además, estas acciones muchas veces se asumen como algo impuesto, totalmente externo al individuo, y que determinan, por ejemplo, si un trabajo esta bien o mal realizado o sin una persona tiene un nivel suficiente o no de conocimiento sobre un tema. Algunas de ellas comportan incluso ciertas connotaciones socialmente negativas.

Es cierto que a veces la evaluación es eso y nada más, pero tambié n es verdad que desde una concepción té cnica se constituye en un instrumento imprescindible de ayuda. Puede poner de relieve qué está ocurriendo y por qué , y aportar datos válidos de cómo son las situaciones y los hechos de los cuales se necesita información. En té rminos generales, la perspectiva que se adopta en este documento supone considerar la evaluación como un “proceso de análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar la acción educativa.” Se entiende por “proceso de análisis estructurado” aquel que se basa en la planificación previa de lo que se quiere evaluar, el desarrollo instrumentado de recogida de datos y el posterior análisis riguroso de la información obtenida. Esta información, en última instancia, queda explicitada en el correspondiente informe de evaluación. Este enfoque, está lejos de la medida y la exactitud:

“… ha ido generando en los profesionales de la educación una mayor preocupación por utilizar instrumentos más elaborados internamente,


Segundo Semestre 20

con mayor consistencia y funcionalidad, y métodos de recogida y análisis de los datos capaces de reducir a mínimos aceptables los riesgos de distorsión subjetiva o coyuntural del valor real de los comportamientos y situaciones evaluadas” (Zabalza, 1988).

Sin embargo, posteriores aportaciones ponen de manifiesto las limitaciones de este enfoque para explicar, por sí solo, una serie de cuestiones planteadas en el ámbito de las ciencias humanas, testimoniando el interé s creciente por la dimensión cualitativa y la utilización de la metodología de campo en la investigación educativa, justificando este interé s “en el hecho de que los que invierten en educación ponen cada vez más en tela de juicio la correspondencia entre los modelos analíticos formales tradicionalmente empleados por los evaluadores educativos y la realidad social de sus escuelas” (Ianni y Orr. 86:143). Desde estas coordenadas, la evaluación es concebida como un factor influyente sobreinfluido por los restantes elementos del modelo didáctico, y, además, como esencialmente distinta a la medición.

MEDICIÓN EVALUACIÓN • Es un juicio de valor absoluto • Es un momento estanco, no procesual. • Está subsumida en la evaluación • La medición no implica evaluación. • Constituye sólo un medio para valorar. • Es simplemente, una obtención de datos.

• Es un juicio de valor relativo • Equivale a un proceder dinámico • Subsume la medición, teniendo más

extensión. • Evaluar implica entre otras cosas, medir. • La evaluación es la misma valoración. • Compara datos con unos resultados

previstos. Beltran (1990) aborda esta problemática contemplando tres ejes en cuyas polaridades se sitúan distintos paradigmas: en los extremos del que ella denomina eje descriptivo aparecen los sustantivos medida-estimación, en correspondencia clara con el par cuantificación-cualificación. En la actualidad, la propia comunidad pedagógica manifiesta la necesidad de enfoques más armónicos con la naturaleza del comportamiento humano, frente a otros emanados desde el racionalismo propio de los ámbitos industriales. Son importantes para este análisis las precisiones de Filstead (1986:66), cuando afirma que “el paradigma cualitativo constituye un intercambio dinámico entre la teoría, los conceptos y los datos, con retroinformación y modificaciones constantes de la teoría y de los conceptos, basándose en los datos obtenidos”. En esta línea se encuentra Santos Guerra (1990:45) cuando, al presentar la dimensión etnográfica de la evaluación institucional, defiende que:

“Para mejorar la práctica es preciso conocerla en profundidad. Reconstruir la realidad desde una perspectiva crítica no sólo supone su


Segundo Semestre 21

contemplación aséptica y su descripción rigurosa. Es necesario interpretarla, saber dónde están las raíces de los comportamientos, las causas de las actuaciones, los efectos del desarrollo curricular (tanto explícito como oculto).”

B. MACDONALD (1971) MacDonald es uno de los representantes de la posición inglesa en evaluación. Esta posición se adscribe a las aproximaciones descriptivas, cualitativas y sobre todo “naturalistas” en la investigación evaluativo. MacDonald concibe a la evaluación como una descripción holística del programa, que tomó en consideración todos sus componentes: participantes, procesos didácticos y de interrelación, contexto de la acción educativa, resultados, etc., y las variantes que implica la acción educativa cada vez que se pone en operación. M. PARLETT Y D. HAMILTON (1972) Surgida de la misma tradición inglesa en evaluación, la propuesta de estos autores tiene las bases antropológicas y naturalistas de MacDonald. La “evaluación iluminativa” de Parlett y Hamilton es todo un enfoque metodológico de la investigación evaluativo. No se dirige hacia la valoración o la predicción, sino a la descripción y la interpretación de los programas. La evaluación en este enfoque pretende estudiar exhaustivamente sobre todo los programas innovadores: cuáles son sus características centrales y cuáles son secundarias, cuáles son las consecuencias de su operación en los alumnos, la comunidad escolar y el contexto social, qué significado tiene para profesores y alumnos el ser participantes y cuáles son los procesos críticos que se generan. D.L. STUFFLEBEAM (1971, 1972, 1987) Este autor ha ejercido una notable influencia en la conceptualización y desarrollo de los procesos evaluatorios. Su modelo CIPP (Contexto, Insumos, Procesos y Productos) ha sido muy popular entre los evaluadores latinoamericanos. Este modelo – desarrollado conjuntamente con Egon Guba en 1970, parte de una concepción sisté mica de la evaluación, la cual es concebida como el proceso de delinear, obtener y proporcionar información útil para juzgar decisiones alternativas. En esta definición se expresan los rudimentos de los que parte el modelo: 1. La evaluación debe ser un proceso continuo y sistemático y no solamente dirigirse

hacia la contrastación de los resultados con los objetivos propuestos en el programa.


Segundo Semestre 22

2. Es necesario que el proceso evaluatorio contenga tres pasos fundamentales: a)

delimitar los interrogantes que deben ser contestados, b) obtener información relevante para dar respuesta a tales interrogantes, y c) dirigir la información a quienes toman las decisiones.

3. La información resultante debe ayudar a administrar y perfeccionar los programas

educativos. El valor de la información es la utilidad que puede tener para los directivos de proyectos, directores y personal escolar en la toma de decisiones sobre los cambios necesarios en los programas.

M. PROVUS (1969) Pertenecientes al grupo “Phi Delta Kappa” dirigido por Stufflebeam, Malcolm Provus creó el modelo de las Discrepancias. En este modelo, la evaluación se define como el proceso de: a) acordar los estándares del programa, b) determinar la existencia de discrepancias entre algún aspecto del programa y los estándares de ejecución de tal aspecto, y c) usar la información de las discrepancias para identificar las inconsistencias del programa. En esta definición, Provus retoma la tradición tyleriana desde un punto de vista sisté mico, al indicar que los estándares o normas son de dos tipos: de contenido y de desarrollo. La determinación de las normas de contenido se realiza a travé s de la identificación de los insumos que serán procesados para llegar a determinados productos. Las normas de desarrollo se dividen en cinco etapas: el diseño, la instalación, el proceso, el producto y el costo. R. STAKE (1975) La evaluación es definida por Stake como el valor observado en un programa comparado con alguna norma. En esta definición aparentemente escueta y sin mucho significado, Stake toma en cuenta dos elementos que según este autor son las principales tareas de la evaluación: la descripción y el juicio de un programa. La descripción se extiende a todo el ámbito evaluable y a toda información pertinente para evaluar el programa en cuanto a los antecedentes, los procesos didácticos y los resultados escolares. Los juicios son las normas que establecen los distintos participantes según sus propias expectativas de aquello que esperan del programa. Inclusive, Stake desaprueba que el evaluador establezca las normas de contrastación: estas deben derivarse de los juicios de líderes sociales, expertos en el tema, profesores, padres y estudiantes.


Segundo Semestre 23

S. KEMMIS (1986) Discípulo de Stake, Steve Kemmis es uno de los nuevos conceptualizadores del campo de la evaluación. Para é l, la evaluación es el proceso de proyectar, obtener, proveer y organizar informaciones y argumentos que permitan a las personas y grupos interesados participar en el debate crítico sobre un programa específico. La evaluación no tiene por objeto resolver o evitar un conflicto, sino proporcionar la información básica necesaria para que los implicados en el programa puedan formular sus propios juicios y llegar a un acuerdo para su solución. JOINT COMMITTEE ON SATANDARDS FOR EDUCATIONAL EVALUATION (1981) Coordinado por Daniel Stufflebeam, el Joint Committee comenzó sus trabajos en 1975 y agrupa a más de 15 Asociaciones, Consejos y Comisiones estadounidenses relacionadas con la evaluación y la educación. Este Comité publicó en 1981 las normas de evaluación para programas, proyectos y material educativo que actualmente tiene una gran influencia en la conducción de los estudios de evaluación. El Comité define a la evaluación como la investigación sistemática del valor o mérito de un objeto. Para poder evaluar acertadamente la educación, es necesario que la investigación reúna cuatro características fundamentales: utilidad, factibilidad, propiedad y precisión. Cada una de estas características agrupa una serie de normas de evaluación: A. Normas de utilidad. Incluyen elementos necesarios para que la evaluación sea

informativa, oportuna y capaz de influir. B. Normas de factibilidad. En ellas se requiere que las evaluaciones sean realistas,

prudentes, diplomáticas y económicas. C. Normas de legitimidad. Requieren que las evaluaciones se realicen legalmente,

con é tica y con el debido respeto hacia el bienestar de quienes participan en la evaluación, así como de aquellos afectados por los resultados.

D. Normas de precisión. Se pretende con ellas asegurar que la evaluación revele y

proporcione la información adecuada acerca de las características del objeto de estudio y determinar su mé rito o valor. Es decir, se refieren a la validez total de la evaluación.


Segundo Semestre 24

CARACTERÍSTICAS Y FUNCIONES DE LA EVALUACIÓN “Morales Velázquez, Cesareo. 1995. Planificación y Administración Educativa. (Maestría en Tecnología Educativa). ILCE Mé xico.” Características de toda evaluación Sea cual fuere el paradigma por el que optemos, y con más evidencia si partimos de su solidaria complementariedad, e independientemente del ámbito a que se aplique, toda acción evaluadora deberá asumir una serie de características si desea responder a lo que de ella se demanda. La sintetizamos así: 1. Integral y comprehensiva: En todas las variables del ámbito sobre el que se vaya

a aplicar, y podrá fundamentarse en cualquier tipo de té cnicas e instrumentos para la recogida de la información pertinente en armonía con su correspondiente planificación. Toda información sobre el objeto evaluado contribuirá a cualificar el juicio emitido acerca de é l.

2. Indirecta: Ya que, habitualmente, las variables en el campo de la educación sólo

pueden ser mensurables y, por tanto, valoradas, en sus manifestaciones observables.

3. Científica: Tanto en los instrumentos de medida utilizados durante su realización,

como en la metodología empleada al obtener la información y/o en su tratamiento y análisis, y todo ello con independencia del tipo de diseño desarrollado.

4. Referencial: Pues toda acción valorativa (y la evaluación lo es, como ya se ha

apuntado) tiene como finalidad esencial relacionar unos logros obtenidos con las metas u objetivos propuestos o programas.

5. Continua: Es decir, integrada en los procesos de cada ámbito y formando parte

intrínseca de su dinámica. Esta característica confiere a la evaluación su dimensión formativa o retroalimentada, aportando en cualquiera de los ámbitos en que se aplica un feed-back modificador de aquellos aspectos, elementos o factores que sean susceptibles de mejora.

6. Cooperativa. Entendiendo que debe ser un proceso en el que se impliquen todos

aquellos elementos personales que en é l intervienen: si el ámbito es el alumnado, tendrán que participar los discentes; si es el centro como organización el objeto evaluado, deberán responsabilizarse los distintos estamentos de la comunidad donde se inserta, etc.


Segundo Semestre 25

Por su parte Rotger (1989) defiende que la evaluación ha de ser: 1. Integrada, de manera que sea una fase más del diseño y desarrollo curricular. 2. Formativa, siendo su finalidad fundamental perfeccionar tanto el proceso como los

resultados de la acción educativa. 3. Continua, ya que debe estar presente en todo el proceso educativo. 4. Recurrente, en tanto que recurso didáctico de perfección curricular. 5. Criterial, en tanto que referente a unos objetivos iluminadores del proceso. 6. Decisoria, es decir, propiciadora de juicios de valor sobre el objeto evaluado y

fundamentalmente de la toma de decisiones. 7. Cooperativa, en el sentido que en ella participen todos los estamentos involucrados. Stufflebeam y Shinkfield (1987) proponen, en armonía con su Modelo CIPP (contexto, input, proceso y producto), estos cuatro tipos de evaluación: 1. Evaluación del contexto. Cuyos objetivos se orientan a definir el contexto

institucional, identificar tanto la población objeto de estudio, valorando sus necesidades, como las oportunidades de satisfacerlas, diagnosticar los problemas que subyacen a ellas y juzgar si los objetivos propuestos guardan la coherencia suficiente con dichas necesidades.

2. Evaluación de entrada. Tiene como objetivos identificar y valorar la capacidad del

sistema, las estrategias de programas alternativos, la planificación de procedimientos para desarrollar dichas estrategias, así como los presupuestos y programas.

3. Evaluación del proceso. Cuya finalidad consiste en identificar o pronosticar,

durante el proceso, los efectos de la planificación, proporcionar información para las decisiones programadas, y describir y juzgar las actividades y los aspectos más relevantes del procedimiento.

4. Evaluación del producto. Aborda como objetivo recopilar descripciones y juicios

acerca de los resultados, relacionándolos con los objetivos y la información facilitada por el contexto, la entrada y el proceso, e interpretación de su valor o mé rito.

Casanova (1992) defiende la utilidad de sistematizar y diferenciar los diversos tipos de evaluación, en aras de un uso más eficaz en las distintas situaciones. Fundamentando su clasificación en una serie de criterios, como la finalidad o función, la extensión, los agentes evaluadores y el momento de aplicación, elabora su propia tipología. Como puede constatarse, las diferentes tipologías aquí presentadas convergen en lo esencial; es evidente que se diferencian en ciertas matizaciones, pero en todas ellas se respetan los tres momentos esenciales de intervención y se subraya el valor formativo y retroalimentador de la evaluación procesual. Desde estas coordenadas


Segundo Semestre 26

presentamos la nuestra, vertebrada en torno a tres criterios que denominamos ámbitos (temporal, espacial y referencial) finalidad y agentes.

POR SU FINALIDAD O FUNCIÓ N

Formativa Sumativa

POR SU EXTENSIÓ N Global Parcial

Interna

Autoevaluación Heteroevaluación Coevaluación

POR LOS AGENTES EVALUADORES

Externa POR SU MOMENTO DE APLICACIÓ N

Inicial Procesal Final

El objeto de la evaluación hace referencia a “lo que uno observa en é sta”, según la definición del Joint Comité Standards for Educational Evaluation, 1988. En lo relativo a este documento, serán objeto de estudio todos aquellos programas, proyectos, materiales y actividades directamente relacionados con la formación del profesorado. Respecto a cómo evaluar, el planteamiento que en este documento se hace del proceso evaluativo intenta superar los fuertes contrastes que se dan entre los partidarios de un enfoque positivo-experimental-cuantitativo y los que adoptan una perspectiva de indagación más cualitativa e ideográfica, con procedimientos más naturalistas. El trabajo evaluativo se abordará desde una mezcla de estilos, utilizando las aportaciones de los dos enfoques dentro de una metodología científica, que mantenga las condiciones de fiabilidad y validez de los resultados, en los límites precisos para que la evaluación sea correcta y exacta. La evaluación institucional no se puede hacer de cualquier forma, ya que no se debe olvidar la finalidad que se persigue ni la complejidad del objeto a evaluar. La evaluación institucional es un proceso con una finalidad manifiesta. La respuesta al conocer-evaluar viene condicionada por el modelo de evaluación y la teoría que lo sustenta, pero en cualquier caso la tarea de conocer lo que sucede en la institución escolar precisa de la aplicación de una serie de té cnicas e instrumentos y de la clarificación de a quié nes y dónde nos vamos a dirigir para obtener la información garantizando, dentro de lo posible, que dicha información es fiable, suficiente y válida para en base a lo detectado, poder elaborar el informe de evaluación y continuar el proceso.


Segundo Semestre 27

CÓMO CONOCER – EVALUAR DÓNDE ENCONTRAR LA INFORMACIÓN-FUENTES DE INFORMACIÓN ¿A QUIÉN/ES DIRIGIRSE PARA CONOCER? TÉCNICAS E INSTRUMENTOS A UTILIZAR

Las notas más significativas de cómo entendemos esta tarea del conocer se pueden sintetizar en: 1. Nos hemos planteado dónde y cómo buscar la información pensando en una puesta

en práctica que sea factible tanto desde modelos externos como internos o mixtos, es decir, las té cnicas e instrumentos propuestos pueden ser aplicados por un equipo evaluador externo como por uno interno solo o ayudado.

2. Las té cnicas e instrumentos propuestos quieren ser variados, complementarios y no

exclusivos. Todos son válidos en la medida en que aportan datos que puedan ser significativos por sí mismos o por el contraste con los facilitados por otras té cnicas e instrumentos.

En síntesis, se podría decir que se evalúa porque es necesario conocer tanto los

resultados que se derivan de una determinada acción como el proceso a travé s del cual se desarrolla. Desde este punto de vista, la evaluación servirá para comprender la realidad educativa objeto de estudio. En este sentido, el grado de necesidad dependerá de varios factores tales como la novedad de las actividades de formación, su carácter experimental, los recursos invertidos, las expectativas acerca de su incidencia, etc.

Santos Guerra (1988) hace referencia a estos aspectos, en los siguientes

té rminos: “Se evalúa para comprender la naturaleza de los programas, para mejorar a

través del análisis y de los resultados lo que se hace y lo que se pretende hacer y para generar y reforzar teorías interpretativas de la realidad. La evaluación que se propone no tiene solamente la pretensión de etiquetar un programa como bueno/malo, ni siquiera la de facilitar la toma racional de las decisiones sobre otros programas o la continuidad o mejora del que se ha evaluado, sino que se convierte en un instrumento, en un proceso permanente entre la racionalidad teórica y la racionalidad práctica.”

Por tanto, la evaluación debería posibilitar:

Conocer cómo se planifica y realiza la formación del profesorado, y cuáles son

los resultados obtenidos. Comprender la dinámica interna que se genera durante el desarrollo de un

programa o de cualquier tipo de actividad de formación. Conocer el contexto en el que se desenvuelve el programa.


Segundo Semestre 28

Tomar decisiones a partir de la información aportada por la evaluación para poder ajustar los programas en base a criterios contrastados.

Por último, respecto a la cuestión para quién se evalúa es evidente que la evaluación debe tener una proyección eminentemente pública. Es necesario plantearse si se evalúa solamente para los responsables y organizadores de un programa o actividad de Centro, o tambié n para los profesionales implicados y, por extensión, para aqué llos otros a quienes les pueda ser interesante conocer la información evaluativa relativa al mismo.

La reflexión sobre el proceso de evaluación permite comprender la naturaleza de

la actividad docente y educativa del aula y del Centro. La evaluación como “sistemática investigación del valor o mé rito de algún objeto”, obliga a preguntarse sobre qué es precisamente el mé rito o valor.

Lo que se suele evaluar es el caudal de conocimientos adquiridos. No es tan

fácil valorar funciones intelectuales como la crítica, el análisis, la síntesis, la opinión, la creación, etc. Más difícil aún es evaluar las actitudes, los hábitos, las disposiciones, los motivos.

“La evaluación educativa es un proceso que, en parte, nos ayuda a determinar si

lo que hacemos en las escuelas está contribuyendo a conseguir los fines valiosos o si es auténtico a estos fines. Que hay diferentes versiones de lo valioso es indudablemente verdad. Es uno de los factores que hace a la educación más compleja que la medicina…” (Eisner, 1985).

Si se entiende la evaluación como una simple comprobación de los

conocimientos adquiridos, se está reduciendo la ambición del proceso. La evaluación puede tener, pues, diversas funciones, a saber:

La función formativa, para el aprovechamiento. La función sumativa para la selección, la certificación y la responsabilidad social. La psicológica o sociopolítica para buscar la motivación e incrementar el

conocimiento. La administrativa para ejercer la autoridad (House, 1986).

Por tanto, se evalúa para el alumno, para darle una información sobre su

aprendizaje, se evalúa para el profesor, para que conozca los resultados de su acción y se evalúa para el sistema, para certificar los resultados de los alumnos.


Segundo Semestre 29

CAPÍTULO 2

El lugar de la Evaluación en la Investigación

Científica

Paradigmas de la Evaluación

Normas y criterios de la Evaluación


Segundo Semestre 30

EL LUGAR DE LA EVALUACIÓN EN LA INVESTIGACIÓN CIENTÍFICA “Morales Velázquez, Cesareo 1995. Planificación y Administración Educativa (Maestría en Tecnología Educativa), ILCE, Mé xico.” Hasta ahora hemos tratado de explorar algunos de los atributos de la evaluación, según la conciben diversos autores. Sin embargo, estos conceptos son de poca utilidad al investigador evaluativo si no se delimita su acción en el marco de la indagación científica. ¿Existen diferencias entre la evaluación educativa, la investigación evaluativo y la evaluación de programas?, ¿hasta dónde llega la actividad investigativa y empieza la evaluativa?, ¿es la evaluación educativa un tipo de investigación científica, o es sólo una actividad adicional de docentes y supervisores?, ¿cuál es el papel de la metodología y la medición en la evaluación?, ¿nos encontramos más cerca de la evaluación de programas que del currículo cuando hablamos, de evaluación educativa?

Este tipo de cuestionamientos es importante porque nos permite distinguir lo que es la evaluación de aquello que no lo es. Partamos de lo que significa investigación. Para Worthen y Sanders significa una:

Actividad dirigida hacia la obtención de conocimiento generalizable por medio de la concepción y prueba de conjeturas acerca de las relaciones entre variables, o por la descripción de fenómenos generalizables. Este conocimiento, que puede dar como resultado modelos teóricos, relaciones funcionales o descripciones, puede ser obtenido por medio de mé todos empíricos u otros mé todos sistemáticos, y puede o no tener una aplicación inmediata.

Así la investigación se dirige hacia la prueba de las hipótesis con la finalidad de llegar a conformar un cuerpo teórico de conocimientos sobre los fenómenos bajo estudio, y que pueda explicar tales fenómenos por medio de conceptos generalizados. La investigación evaluativa o evaluación, comparte algunas de estas características, pues es tambié n una actividad de indagación sistemática, que utiliza los mismos mé todos y té cnicas.

Como otras investigaciones, la evaluación trata de describir, de comprender, las relaciones entre variables y establecer la secuencia causal. Porque está estudiando un programa que interviene en las vidas de las personas con la intención de producir un cambio, la evaluación puede hacer, a menudo, interferencias directas acerca de los vínculos causales que hay entre el programa y sus efectos.


Segundo Semestre 31

Por otro lado, si distinguimos a la investigación básica, en la cual se busca incrementar el conocimiento del objeto de estudio para tratar de explicarlo, y la investigación aplicada, la cual se dirige hacia la producción de conocimientos relevantes para la solución de una problemática general, encontramos a la evaluación inserta en la segunda. Aunque algunos autores no están de acuerdo con ello (entre otros Worthen y Sanders), generalmente se considera a la evaluación como un tipo de investigación aplicada, la cual, en el caso de la educación, se dirige hacia la solución de la problemática que presentan los diferentes componentes de un programa educativo. Los criterios mediante los cuales se conduce la evaluación no son necesariamente los de validez interna o externa, la confiabilidad o la objetividad que se exige en las investigaciones científicas para poder ser “aceptadas” como tales. La validez interna. Que se refiere a la certificación de que los resultados se deben a la manipulación de las variables bajo estudio, y no a variables extrañas, exige el control en el diseño y la validez de medida (validez de los instrumentos de evaluación), lo cual difícilmente se cumple en su totalidad en la evaluación de programas. La validez externa. Que confiere a la manipulación de muestras, la generalización de los resultados que se obtienen en la investigación, es otro de los aspectos cruciales en ciencia, pero no en evaluación. El evaluador no puede condicionar su investigación a la representatividad de las muestras para dar credibilidad a sus resultados. Es verdad que la evaluación es un tipo especial de investigación aplicada, y lo es precisamente por las limitaciones que tiene la generalización de los resultados cuando se evalúan programas específicos. El acceso a muestras representativas o cuidadosamente seleccionadas depende de las condiciones del programa que se evalúa, las cuales la mayoría de las veces escapan al control del investigador. La confiabilidad. Que se determina por el grado de replicabilidad de los resultados, es un criterio que regularmente se exige en los estudios de evaluación, aunque esto depende del tipo de instrumentos que se utilicen. El grado de confiabilidad de un instrumento como una prueba objetiva puede ser alto, pero quizás no lo sea una entrevista en la que los entrevistados establecen apreciaciones, proyectan actitudes o emiten juicios acerca del programa. La objetividad. Que se refiere al grado en que los instrumentos, los procedimientos de recopilación de la información y los datos obtenidos pueden ser llevados a cabo e interpretados de la misma manera por diferentes expertos. El criterio de objetividad requiere la neutralidad del investigador al llevar a cabo el estudio. Puesto que aún en las investigaciones más sofisticadas de las ciencias sociales es difícil separar la subjetividad del investigador del objeto investigado, en evaluación lo es más, por los juicios que necesariamente impone el evaluador al objeto evaluado.


Segundo Semestre 32

Por las dificultades que encuentra al tratar de cubrir los criterios anteriores, en ocasiones se considera a la evaluación como un tipo de investigación de “segunda”, destinada únicamente a la producción de información para que los administradores puedan tomar decisiones sobre el manejo, promoción, justificación o culminación de un programa educativo, y no le asignan un lugar dentro de la investigación educativa, dirigida hacia los procesos psicopedagógicos, el desarrollo curricular, la producción de materiales o la evaluación del aprendizaje. En su validación, la prueba debe seguir un diseño muestral para su generalización posterior hacia la población objetivo, y un diseño de aplicación experimental tipo antes-despué s, lo cual posibilita el análisis de la confiabilidad y validez necesarias en este tipo de instrumentos. Otro procedimiento importante en la validación de pruebas es el análisis de reactivos, mediante el cual, partiendo de análisis estadísticos, se descartan o conservan reactivos para conformar la versión final de la prueba. Finalmente para su aplicación se expiden normas acerca de la población a la que va dirigida, los requerimientos para la situación de aplicación, pero sobre todo las normas de calificación, las cuales son indispensables para separar a los estudiantes capaces de los incapaces. METODOLOGÍA DE LA INVESTIGACIÓN EVALUATIVA. Son seis los mé todos de la Investigación Evaluativa: A. Evaluación del rendimiento.

El mé todo empleado para evaluar el rendimiento de los alumnos se basa en la

teoría de los tests que durante dé cadas ha sido la herramienta básica para conducir este tipo de evaluaciones en gran escala. Al basarse esta evaluación en el instrumento, una parte importante del mé todo lo constituyen las fases de su elaboración; la construcción, o armado de la prueba, su validación y su aplicación.

Los manuales de construcción de pruebas tratan desde los criterios que se siguen

para elaborar reactivos, dependiendo de objetivos y contenidos de aprendizaje hasta su selección y presentación así como la estructura misma de la prueba, con los porcentajes de reactivos que debe incluir cada área temática o habilidad que incluya. B. Juicio de expertos.

Este mé todo ha sido utilizado frecuentemente, sobre todo en las evaluaciones hechas por encargo, en las cuales los profesionales tienen la última palabra. Si toda evaluación conlleva finalmente el juicio valorativo, es importante que este sea emitido


Segundo Semestre 33

por un profesional competente y responsable, sobre todo cuando está en juego el futuro del programa.

Para llegar al establecimiento de los juicios valorativos (con o sin la intervención

de los expertos) es necesaria la recopilación de la información pertinente que pueda sustentarlos. En el caso de la evaluación por expertos, se expone verbalmente o por escrito el estado que guarda el programa para su puesta en marcha o en su proceso, procurando que todos los elementos importantes esté n contemplados. Se espera que el experto “diagnostique” la calidad del programa y proporcione orientaciones acerca de su mejoramiento o su futuro.

Puesto que los componentes del programa son muy variados y dada la

complejidad del contexto en el cual se instala, es pertinente la colaboración de un grupo de expertos que valore los diferentes aspectos que se observan: el clima político interno y externo, la administración, el currículo, los procedimientos didácticos, el rendimiento del alumno, los costos, el flujo de información entre diferentes actores del proceso, etc.

La tarea del evaluador consiste en idear la manera de proporcionar a los

expertos la información suficiente para que puedan elaborar sus juicios valorativos y proveer a su vez a quienes toman decisiones sobre el programa, de una imagen coherente y significativa del estado que guarda é ste, valorando sus diferentes aspectos en una perspectiva global. En este sentido, el evaluador emite su propio juicio de experto acerca de la condición y perspectiva del programa en cuestión.

Los procedimientos evaluativos con la intervención de expertos provienen

principalmente de Scriven y Stake, quienes en sus modelos dan gran importancia a la intervención de los evaluadores profesionales y la elaboración de los juicios valorativos, pero es quizás Roberto Wolf en su modelo judicial quien presenta la visión más clara de la intervención del evaluador como experto.

En este modelo, Wolf propone la participación de dos equipos de evaluación que

examinan pros y contras del programa que se evalúa, mediante el desarrollo de cuatro etapas de intervención.

Identificación de problemas. Selección de problemas. Preparación de los argumentos. Conducción de la audiencia.

C. Diseño experimental. La introducción del diseño experimental en evaluación es básicamente un intento por proporcionar una base objetiva o “científica” a los procedimientos para la recopilación y análisis de la información sobre el programa, que en última instancia pueda inducir una mayor credibilidad en la investigación.


Segundo Semestre 34

Al trasladar el experimento a la evaluación educativa se estipula la administración de uno o más “tratamientos” o variables independientes (mé todos de enseñanza, materiales educativos, etc.) se administran a los estudiantes en condiciones de control (asignación al azar en grupos experimentales y de control), se hacen observaciones y mediciones acerca de los cambios esperados que se definen previamente (variable dependiente) y se determina qué tanto difieren el grupo experimental del grupo control en sus ejecuciones. La elección de los sujetos al azar proporciona la base contundente para determinar que las diferencias de ejecución entre el grupo experimental y el de control se deben en su totalidad (excepto por un error al azar que se mide acuciosamente mediante pruebas estadísticas) al tratamiento administrado al grupo experimental. De esta manera, las relaciones que se establecen entre las variables son de causa-efecto, en apego al mé todo científico. Una característica básica de las variables es que deben estar definidas operacionalmente, condición necesaria para poder medirse, con lo cual, tanto los objetivos como los efectos y el mismo tratamiento experimental deben expresarse de la misma manera. Stufflebeam y Shinkfield (1989) presentan algunos de los inconvenientes de este mé todo:

Impone controles inalcanzables en un contexto educativo o perjudiciales para los propósitos de la evaluación.

Se interfiere con las condiciones normales de los proyectos que se están

estudiando.

Limita el estudio a unas pocas variables, lo cual limita las decisiones.

Proporciona resultados sólo al final de la investigación. Quizás la mayor limitante de este mé todo sea la rigidez del procedimiento que

impide, por la pretendida objetividad, el ré gimen de causalidad que no anima a la segmentación del programa en unidades variables de alcance estrecho, la comprensión amplia del mismo, con el elemento humano y su subjetividad, las desviaciones al plan original que producen mejoras momentáneas o permanentes durante la operación, y sobre todo, los procesos que se desarrollan y no han sido contemplados en el plan original. D. Congruencia entre objetivos y resultados.


Segundo Semestre 35

Como una parte fundamental de este mé todo evaluativo se encuentra el planteamiento de los objetivos, cuyas peculiaridades deben incluir su expresión en té rminos tales que puedan medirse y a la vez servir de guía para el estudiante y el profesor en cuanto a las funciones y logros que se esperan de cada uno. Inicialmente concebido como un procedimiento evaluativo que pudieran manejar los profesores y supervisores en su quehacer cotidiano, paulatinamente se ha ido transformando en una herramienta evaluativa de los programas educativos, cuando el é nfasis deliberado se encuentra en los aspectos pedagógicos, acadé micos o curriculares, y no en los aspectos administrativo-operacionales. El procedimiento de Tyler es sencillo en su planteamiento, aunque para llevarse a cabo requiera de mayores esfuerzos. Consta de ocho etapas. 1. Establecer las metas u objetivos. 2. Ordenar los objetivos en amplias clasificaciones. 3. Definir los objetivos en té rminos de comportamiento. 4. Establecer situaciones o condiciones según las cuales puede ser demostrada la

consecución de los objetivos. 5. Explicar los propósitos de la estrategia al personal más importante en las

situaciones más adecuadas. 6. Escoger o desarrollar las apropiadas medidas té cnicas. 7. Recopilar los datos de trabajo (las notas y calificaciones de los estudiantes). 8. Comparar los datos con los objetivos de comportamiento. E. La evaluación de sistemas. Antes de los años sesentas no había una aproximación evaluativa adecuada a los sistemas educativos, que permitiera tomar decisiones en la misma perspectiva. El modelo CIPP de Stufflebeam y colaboradores del Comité Phi Delta Kappa, reportado en 1971, es quizás el esfuerzo más completo y mejor estructurado para llevar a cabo este tipo de evaluación. La evaluación de sistemas tiene tres características básicas:

• Está orientada hacia la toma de decisiones, no hacia la comprensión o explicación, es por ello que resulta de utilidad primordialmente a directivos, supervisores o personal que toma decisiones en las instituciones educativas.


Segundo Semestre 36

• Su objetividad no es diagnosticar o demostrar, sino perfeccionar los programas

existentes.

• Se desarrolla como un sistema de información continua y sistemática sobre los diferentes aspectos del programa, por lo que tambié n se emplea como una guía de supervisión.

Las limitaciones que presenta este mé todo son precisamente su concepción y

condición de sistema evaluativo. Por un lado, su versatilidad pueda ser grande, es difícil adaptarlo a situaciones de microexperiencias, particularmente cuando los profesores introducen cursos innovadores y ellos mismos desean evaluar la experiencia. En la mayoría de los casos, la transformación del curso a una concepción sisté mica implicaría un esfuerzo excesivo que quizás no valdría la pena, o no sería recomendable realizar. F. Evaluación comprensiva. Aunque la evaluación comprensiva no es un mé todo particular de evaluación, sino una aproximación y una postura metodológica en este campo, sus derivaciones en cuanto a mé todo son una alternativa importante para conducir evaluaciones. El aspecto comprensivo no sólo señala la importancia de que el evaluador y quienes están vinculados al programa comprendan su significado a travé s de la evaluación, sino la necesidad de que esa evaluación se conciba de manera integral o “global”. Quien primeramente propone un mé todo global y comprensivo de la evaluación es Roberto Stake en su “modelo de la figura” y su “modelo respondente”. El modelo comprensivo de Stake destaca descripciones y juicios como las bases complementarias de los estudios de evaluación, las cuales deben comprender tanto los antecedentes como las “transacciones” (o procesos) y los resultados del programa, partiendo de la propia base lógica que lo engloba. Tanto las observaciones como los juicios deben surgir además del evaluador de personas prominentes e importantes para el programa. En esta propuesta se incrementa el trabajo y la responsabilidad del evaluador, pero se reduce su injerencia en el establecimiento de juicios y la toma de decisiones. Una de sus tareas básicas, en concreto, lo constituyen las observaciones continuas que deben realizar para estar al tanto de cómo transcurre la realidad del programa y poder analizar sus principales problemas. De esto se deriva que la recopilación de datos cuantitativos solamente resulta limitada, se trata de contar con la figura global del estado que guarda el programa. Es por ello que las té cnicas de recopilación de la información que recomienda Stake, además de las derivadas de mé todos estadísticos, incluyen los estudios de casos, los muestreos intencionados, el análisis de documentos y la


Segundo Semestre 37

entrevista. Sólo mediante esta variedad de té cnicas, se puede tener información sobre las “intenciones” que se persiguen con el programa, lo cual es tan importante como las consecuencias derivadas de é l. Otro de los modelos comprensivos es la evaluación iluminativa propuesta por Parlett y Hamilton, que se dirige hacia la descripción y la interpretación del programa educativo en una perspectiva amplia, en la cual el contexto, sobre todo por el é nfasis en elementos históricos, sociales y culturales, resulta determinante para situar al programa y evaluarlo. La evaluación iluminativa comprende tres etapas en su procedimiento: la observación, la intervención o investigación y la explicación, de tal manera que la imagen obtenida del programa sea lo más compleja y coherente, no solamente para el evaluador, sino para los diferentes actores que intervienen, teniendo en cuenta además que los procesos producen resultados inesperados, por lo que la imagen no es estática, sino cambiante.


Segundo Semestre 38

PARADIGMAS DE LA EVALUACIÓN “Morales Velázquez, Cesareo 1995. Planificación y Administración Educativa. (Maestría en Tecnología Educativa) ILCE Mé xico.” La evaluación está ligada a la investigación científica, sobre todo porque comparte con é sta una forma de indagación propia de la ciencia: la indagación sistemática. Los mé todos en los que se basa esa indagación pueden variar en la forma, pero no en los aspectos fundamentales: se abordan problemáticas significativas; se emplean procedimientos sistemáticos que validen las conclusiones; se controlan las fuentes de error en los mé todos empleados, o bien, se considera de manera explícita la influencia del error en los resultados; se recurre a la verificación empírica y a la lógica para derivar conclusiones, y se buscan interpretaciones alternativas para explicar los resultados. Existen dos paradigmas básicos en la investigación evaluativa: el hipoté tico-deductivo, asociado con la metodología experimental, y el holístico-inductivo, que corresponde al mé todo etnográfico o naturalista. Ambos paradigmas son “teorías” acerca de cómo se deben conducir las investigaciones, con sus propios parámetros o criterios para juzgar la calidad de é stas. Maritza Barrios (1989) resumió las principales características de cada uno de los paradigmas de la siguiente manera: Paradigma hipotético – deductivo Cuantitativo: Presume la necesidad, conveniencia e incluso la posibilidad de explicar mediante números y relaciones cuantitativas los fenómenos sociales. Objetivo: Es considerada la esencia del mé todo científico: ser subjetivo significa parcialidad, sujeto a desconfianza y poco racional; los datos subjetivos son de opinión más que de hechos, de intuición más que lógicos y de impresión más que de confirmación. Distancia de los datos: No hay contacto con los datos y el análisis se realiza sin que exista una relación personal con lo investigado. Análisis parcial: Los diseños experimentados se centran alrededor de un número limitado de variables operacionalmente definidas.


Segundo Semestre 39

Análisis de sistemas fijos: Los diseños experimentales asumen que es posible identificar, aislar y medir los efectos de un tratamiento, y que el tratamiento, programa o intervención permanecen relativamente constantes y sin cambios. Confiabilidad, replicabilidad y consistencia: Son características deseables de los resultados científicos. Deducción: Su interé s es la verificación de teorías y el descubrimiento de leyes científicas, a travé s de mé todos cuantitativos basados en el análisis comparativo de datos generados (hipótesis – test – generalización). Uniformidad: Búsqueda de la mejor manera de conducir los programas educativos. A cada una de las características anteriores se oponen las correspondientes al paradigma holístico – inductivo, las cuales, en el mismo orden son las siguientes: Cualitativo: Presume que los fenómenos sociales no son reducibles a números y relaciones cuantitativas. Subjetivo: La noción de que las té cnicas cuantitativas son más rigurosas y más libres de subjetivismo valorativo que las té cnicas cuantitativas, es cuestionable. La subjetividad está presente en toda investigación, tanto en la selección de las variables, como en la construcción de los instrumentos para recoger información. Cercanía de los datos: Si no hay empatía con lo observado ni la introspección simpaté tica que se deriva del contacto personal, el observador no puede entender completamente la conducta humana. Análisis global (holístico): Para que las evaluaciones puedan considerar el contexto social en el cual el programa o hecho educativo tiene lugar, se requiere un enfoque metodológico de carácter holístico o global, que capture la gestad del proceso y de los resultados del programa. Perspectiva dinámica: Una vez en marcha, el programa cambia en la medida que los evaluadores y demás involucrados aprenden qué es lo que funciona y qué no lo hace, y cada vez que los objetivos y prioridades cambian. En el mundo real, personas y circunstancias imprevisibles determinan y conforman los programas de intervención. Validez interna: Se hace é nfasis en la significatividad de los datos reunidos y de los instrumentos empleados. Este tercer paradigma es llamado de multioperaciones y se basa en la consideración de que todos los mé todos de investigación tienen algún error interno, la operalización de una variable o un constructo es incompleta y válida sólo parcialmente. Además, cada perspectiva que el investigador asume con respecto a los sujetos investigados (bien sea como observador participante o como un frío investigador de laboratorio) tiene repercusiones en los resultados por la ingerencia de la subjetividad o


Segundo Semestre 40

la pretendida objetividad. Sin embargo, así como cada mé todo tiene sus deficiencias, tambié n tiene sus ventajas, y la principal es que en evaluación se puede tener mayor certeza acerca de los resultados de un programa cuando se cuenta con diferentes perspectivas que confluyen en resultados similares. La evidencia incontrovertible a la cual la ciencia aspira, pero es particularmente difícil de lograr en las ciencias sociales, sólo puede surgir del análisis conjunto de los resultados proporcionados por diferentes investigadores, que al emplear diferentes mé todos de investigación, y diferentes alternativas para operacionalizar los constructos. Si el análisis de tales resultados pudiera sustentar una conclusión particular, tal conclusión sería válida científicamente. Las manifestaciones concretas derivadas de los paradigmas son las aportaciones de los teóricos de la evaluación, algunos de los cuales hemos revisado anteriormente. Las posturas de Tyler, Scriven, Stufflebeam Provus se inscriben en el paradigma tradicional positivista; las aproximaciones de Stake, MacDonald, Partlett y Hamilton se ubican dentro del paradigma holístico – inductivo; la propuesta de Cronbach se dirige hacia la visión holística del programa, aunque tambié n utiliza té cnicas y procedimientos propios del enfoque tradicional, por lo que se le puede clasificar dentro de la concepción eclé ctica del paradigma de multioperaciones.


Segundo Semestre 41

NORMAS Y CRITERIOS DE LA EVALUACIÓN “Morales Velázquez Cesareo 1995. Planificación y Administración Educativa, (Maestría en Tecnología Educativa) ILCE Mé xico.” Una de las características de la evaluación, en contraste con la investigación, es el establecimiento de juicios de valor acerca del objeto evaluado. La responsabilidad del evaluador es muy grande, por lo que está obligado a conducir un proceso riguroso de investigación que asegure la objetividad o veracidad de sus juicios. Es por ello necesario el establecimiento de criterios o puntos de referencia para validar la propia evaluación y contrastar los resultados que se obtienen. Estos criterios se establecen de antemano, puesto que funcionan como una guía general para conducir el proceso de investigación evaluativa, por lo que no todos los evaluadores, dependiendo del paradigma en que se inscriben, están de acuerdo en su planteamiento. Stufflebeam et al. (1971) proponen once criterios que deben pretenderse en toda evaluación. Los primeros cuatro conciernen a la calidad científica de la evaluación: validez interna, validez externa, confiabilidad y objetividad. Los siguientes seis son criterios prácticos, acerca de la utilidad de la evaluación: Relevancia. Los datos de la evaluación sirven para cubrir ciertos propósitos. Mediante el criterio de relevancia nos preguntamos si podemos cubrir tales propósitos. Una consecuencia importante de este criterio es que el evaluador debe estar seguro de cuál es la información que requieren los usuarios de los resultados, para tener esto en cuenta al diseñar la evaluación. Los propósitos de los usuarios deberán conformar una lista de preguntas evaluativos que la investigación debe contestar. La relevancia se determina comparando cada uno de los datos evaluativos con el propósito que debe cubrir. Importancia. El evaluador necesita saber reconocer de antemano cuál es la información que será importante para el usuario, mediante el empleo de juicios de significancia. Estos juicios se extraen de entrevistas con los usuarios, así como de la propia experiencia del evaluador, de diversos documentos, etc. El evaluador deberá resaltar la información más importante. Alcance. La información puede ser relevante e importante pero carecer del alcance suficiente para ser útil. Por otro lado, este criterio puede entrar en conflicto con los anteriores porque en el afán de contar con información completa, el evaluador puede incluir elementos irrelevantes o insignificantes. Cuando se aplican conjuntamente, los tres criterios pueden derivar en información pertinente a los propósitos (relevancia), sin


Segundo Semestre 42

llegar a caer en el detalle (importancia) o ser demasiado estrecha en su alcance. Este criterio sólo puede ser valorado cuando se tiene el panorama completo de la información. Credibilidad. Este criterio se relaciona con la confianza que el usuario tiene en el evaluador como fuente de información. Si el usuario no confía en la capacidad o la veracidad del evaluador, no considerará creíble la información que se le presente, aunque científicamente sea impecable. La credibilidad se incrementa cuando la evaluación se lleva a cabo abiertamente y el evaluador tiene un historial de integridad. Oportunidad. La mejor información puede resultar inútil si llega demasiado pronto o demasiado tarde. Este criterio se refiere a que el evaluador debe proporcionar la información cuando el usuario la necesita. Muchas veces el evaluador, por el prurito de valorar acertadamente, llega a retener la información demasiado tiempo, de tal manera que cuando la proporciona resulta innecesaria porque el usuario ya tomó las decisiones. Vale más proporcionar información parcial, pero oportuna, que información completa y a destiempo. Diseminación. El evaluador debe tomar en cuenta a todas las personas que necesitan conocer los resultados de la evaluación. Es frecuente que el evaluador de a conocer los resultados al administrador solamente, y sea é ste quien sancione la información que debe hacerse pública. El evaluador debe asegurarse que los demás miembros del programa conocen tambié n los resultados. Al último criterio, Stufflebeam lo llamó “de prudencia”, y es: Eficiencia. Se refiere a la adecuada administración del tiempo, los costos, el personal operativo, y en general, de los medios que el evaluador requiere para llevar a cabo el proyecto de evaluación. Generalmente las evaluaciones largas, costosas y con requerimientos especiales de materiales o de personal, no tienen muchas probabilidades de llevarse a efecto. Los criterios de utilidad fueron trasladados a las normas de evaluación que elaboró el Joint Comité on Standards for Educational Evaluation, a las cuales se añadieron las normas de factibilidad, legitimidad y precisión. Para este Comité es indistinto hablar de normas que de criterios, y define a las primeras como principios comúnmente aceptados por los expertos en la conducción y uso de la evaluación, por medio de la medición del valor o la calidad de é sta. A manera de ejemplo, pero además considerando la importancia que tienen para el proceso de planificación de la evaluación, se transcriben algunas de las normas concretas, con sus principales lineamientos. En el paré ntesis se menciona el tipo de normas a que se refiere cada una. Identificación de la audiencia. (Utilidad). Las audiencias comprometidas o afectadas por la evaluación se deben identificar para satisfacer sus necesidades.


Segundo Semestre 43

Lineamientos 1. Identifique a los líderes desde el principio de la evaluación, pues é stos pueden

ayudar al evaluador a elegir otras audiencias. 2. Establezca contacto con los representantes de las audiencias y conozca la

importancia que é stos otorgan a la evaluación, el uso que harán de los resultados y la información de sus intereses particulares.

3. Llegue a un acuerdo con el cliente respecto a la importancia de las audiencias

potenciales y de la información que é ste desea obtener. Identificación del objeto. (Precisión). El objeto de la evaluación (programa, proyecto, material) se debe examinar exhaustivamente, de manera que las formas del objeto consideradas en la evaluación se puedan identificar con claridad. Lineamientos 1. Pida al cliente y a otras audiencias que describan de forma oral y si es posible por

escrito el objeto de la evaluación realistamente, en lo que se refiere a: Personal, costos, locación, instalaciones, objetivos, y los efectos potenciales secundarios.

2. Recopile las descripciones disponibles del objeto, incluyendo las propuestas, los

informes públicos y los informes de trabajo del personal parciales y finales. 3. Si lo permite el presupuesto, incluya la descripción del objeto por observadores

independientes. 4. Como parte del proceso evaluatorio permanente, mantenga actualizadas las

descripciones del objeto de las diversas fuentes de información (por ejemplo, observadores participantes, minutas de las reuniones del personal e informes de progreso) y dedique particular atención a los cambios que ocurran.

Análisis del contexto. (Precisión). El contexto en el cual el programa, proyecto o material existe se debe examinar detalladamente, de tal forma que sus posibles influencias en el objeto sean identificables. Lineamientos 1. Describa el contexto social, político y económico del objeto, utilizando diversos

recursos (historias, registros, estudios demográficos, artículos periodísticos, documentos legales, etc.)


Segundo Semestre 44

2. Lleve un historial de las circunstancias no estipuladas (por ejemplo, huelgas,

protestas de alumnos, incomunicación por tormentas, etc.) que pudieran influir en los resultados.

Descripción de los propósitos y procedimientos. (Precisión). Los propósitos y procedimientos de la evaluación se deben revisar y describir detalladamente, de tal forma que se puedan identificar y medir. Lineamientos 1. Registre la concepción inicial del cliente respecto al propósito de la evaluación. 2. Registre la concepción inicial del cliente respecto a cómo se cumplirá con los

propósitos. 3. Logre establecer un acuerdo claro con el cliente respecto a los cambios importantes

de los propósitos o procedimientos evaluativos, conforme é stos se realicen. 4. Al concluir la evaluación, recopile los informes tanto sumarios como té cnicos, y

especifique cuáles fueron los propósitos y cómo se realizaron. 5. Cuando se factible, especialmente en evaluaciones de gran escala, contrate a

evaluadores independientes para que realicen la metaevaluación (evaluación de los procedimientos evaluativos).

Interpretación valorativa. (Utilidad). Las perspectivas, procedimientos y fundamentación que se utilicen para interpretar los resultados deben describirse con cuidado, de manera que los fundamentos de los juicios de valor sean claros. Lineamientos 1. Considere las bases alternativas para interpretar los resultados, por ejemplo:

objetivos del proyecto, especificación de los procedimientos, leyes y reglamentos, metas institucionales, ideales democráticos o desempeño de los grupos de comparación.

2. Considere quié n hará la interpretación valorativa, por ejemplo: los evaluadores, el

cliente, las diversas audiencias, algún grupo regulador específicamente encargado de estas tareas, o alguna combinación de é stos.

3. Considere las té cnicas alternativas que se podrían utilizar para medir el valor

significativo de la información recopilada, por ejemplo: cuente con grupos paralelos de expertos que elaboren informes por escrito; responsabilice de manera directa al cliente y a otras audiencias para que elaboren las interpretaciones de valor.


Segundo Semestre 45

Procedimientos prácticos. (Factibilidad). Los procedimientos de la evaluación deben ser prácticos, de manera que las interrupciones sean mínimas y se obtenga toda la información necesaria. Lineamientos 1. Elija los procedimientos que se puedan realizar con un esfuerzo razonable. 2. Seleccione los procedimientos de tal manera que tenga en cuenta las restricciones

de tiempo y la disponibilidad de los participantes. 3. Verifique con los participantes la factibilidad del calendario para la recopilación de

los datos y sus diversas té cnicas. 4. Asegúrese que el personal suficientemente capacitado esté disponible para terminar

la evaluación como se propuso. 5. Verifique con los participantes la factibilidad del plan de muestreo. Trascendencia de la evaluación. (Utilidad). Las evaluaciones se deben planear y dirigir para estimular su cumplimiento y seguimiento en los miembros de las audiencias. Lineamientos 1. Al comienzo de la evaluación, muestre a las audiencias principales de qué manera

serían útiles los resultados de la evaluación a su trabajo. 2. Encárguese de que los representantes de otras audiencias participen en la

determinación de las preguntas y en la planeación de la puesta en marcha de los procedimientos de la evaluación.

3. Sea abierto, franco y concreto al informar a las audiencias y mué strese dispuesto y

deseoso de ayudar a esclarecer los informes. 4. Elabore periódicamente informes de los resultados preliminares, en los cuales

destaque cómo pueden ser aplicados, según el papel que desempeñen los miembros de las audiencias.

5. Trace los mé ritos de los posibles cursos de acción alternativos por tomar y someta a

análisis aquellos que aparezcan en el informe final.

Con la serie de criterios y lineamientos anteriores, el evaluador tiene la posibilidad de planear un estudio claro y sistemático. Sin embargo, este tipo de normas y criterios algunas veces choca con la realidad a la que se enfrenta el evaluador, sobre todo en el contexto educativo latinoamericano, en el que las prácticas investigativas


Segundo Semestre 46

adquieren connotaciones particulares por las políticas y criterios institucionales que en última instancia dirigen y sancionan la evaluación de los programas. Se pueden identificar al menos cuatro elementos que afectan a incorporación de normas rigurosas a la manera de las recomendadas por el Joint Comité en el planteamiento de proyectos evaluativos en el contexto latinoamericano:

1. Existe una diferencia básica entre nuestras necesidades de evaluación y las

necesidades evaluativos norteamericanas. El sistema educativo norteamericano cuenta con un presupuesto que permite llevar a cabo verdaderos planes piloto, a la vez que experimentar con programas novedosos, por lo cual es posible llegar a plantear proyectos de evaluación en los cuales las decisiones que se deriven de ellos pueden ser definitivas. El nuestro contexto, los planes y programas educativos que se proyectan implican esfuerzos y erogaciones importantes, considerando los presupuestos raquíticos que se destinan a la educación, lo cual hace impensable la posibilidad de suspender un programa como resultado de una evaluación, por más rigurosa que é sta sea. Nuestros esfuerzos en evaluación están encaminados más bien hacia lo que se conoce como validación, en la cual la evaluación es muchos casos un instrumento para mejorar o llegar a optimizar el programa en cuestión. De allí que en nuestro medio el é nfasis principal está en la planificación del programa educativo.

2. En general, hay un esfuerzo en los evaluadores latinoamericanos por llevar a cabo

estudios rigurosos, sin embargo, aparte de las dificultades té cnicas derivadas de la escasa formación de cuadros profesionales en la materia, y las dificultades presupuestas que impiden llevar a cabo el plan evaluativo en su totalidad, las decisiones sobre qué y cómo evaluar un programa son tomadas por directivos que no están sensibilizados hacia las necesidades de rigurosidad en la investigación evaluativa, y esperan de la evaluación sólo una confirmación de las bondades del programa.

3. En té rminos de las propuestas de evaluación que se elaboran, existe una enorme

diferencia entre aquellas que se dirigen a evaluar proyectos y programas en el nivel educativo superior y las que se destinan al nivel básico o medio. Al inferior de las universidades, los presupuestos destinados a la investigación son mayores proporcionalmente a los que tienen cualquier otro sistema educativo, y su relativa independencia o autonomía al menos en lo que respecta a la libertad de cátedra y de investigación las libera de presiones burocráticas nocivas, lo cual permite que las propuestas en cuanto a currículo, administración y evaluación corresponden a las necesidades educativas del nivel, y sean elaboradas y llevadas a efecto por profesionales actualizados, o al menos con posibilidades reales de conducir una investigación rigurosa.

Sin embargo, en otros niveles educativos que dependen de Ministerios o Secretarías de Educación, el panorama es muy diferente: las propuestas se plantean desde la misma administración central, lo cual facilita el control pero al mismo tiempo fomenta el alejamiento de los profesionales en currículo, administración o evaluación de


Segundo Semestre 47

la realidad educativa concreta, y permite el surgimiento de un ambiente de recelo, fiscalización y corrupción en las prácticas evaluativos. Además, la visión generalizada en estos ámbitos de que la evaluación es una actividad de apoyo a la operación de los programas y no una acción investigativa con mé ritos propios, lleva al mismo evaluador a caer en el error de tratar de equiparar los objetivos y metas del programa con los propios de la evaluación, en perjuicio de ese alejamiento necesario del que debe echar mano el evaluador para establecer los juicios del valor. Todo ello acrecienta las diferencias entre los estudios de evaluación que se realizan en las universidades, con su discurso academicista y teórico, de análisis e innovación en sus propuestas, y los que se llevan a cabo en otros niveles educativos en los que se prioriza la operación y se deja de lado la rigurosidad té cnica.

4. En el contexto latinoamericano los estudios de evaluación de programas

generalmente se planean y se ejecutan al interior de las propias instituciones educativas. Aún cuando existan evaluadores independientes, las condiciones en las cuales se llevan a cabo estos estudios son tareas institucionales, por lo que hablar de cliente, o contrato de evaluación resulta innecesario o poco realista. Por otro lado, plantear la identificación de la audiencia en té rminos que involucren a grupos sociales ajenos resulta pretencioso en el mejor de los casos: no hay más audiencia que los directivos institucionales que toman las decisiones sobre los programas, y en ocasiones los docentes y el personal que realiza las tareas de supervisión.

Las consideraciones anteriores sobre las características particulares que

adquieren los estudios evaluativos en nuestros países latinoamericanos son un preámbulo de las directrices que toman los teóricos de la región al considerar los contenidos de la evaluación. ¿Cuáles son los interrogantes que se plantean al planear un estudio de evaluación?, ¿cuáles son los aspectos de los programas hacia los cuales dirigir la atención?


Segundo Semestre 48

CAPÍTULO 3

Contenidos tipos y fases de la Evaluación


Segundo Semestre 49

CONTENIDOS, TIPOS Y FASES DE LA EVALUACIÓN “Morales Velázquez Cesareo 1995. Planificación y Administración Educativa, (Maestría en Tecnología Educativa) ILCE Mé xico.”

Los contenidos de la evaluación hacen referencia a dos aspectos primordiales de cualquier estudio evaluativo que se emprenda: cuál es la finalidad de la evaluación del programa y qué aspectos de é l se evaluarán concretamente.

El primer aspecto se refiere a los objetivos de la evaluación, sus propósitos o las

finalidades que se persiguen al llevarla a cabo. En nuestro contexto, como apuntamos en el apartado anterior, los estudios evaluativos son una labor industrial, para la cual existen departamentos y consejos que establecen políticas, criterios y objetivos de la evaluación que se llevará a cabo al interior de los programas institucionales. Sin embargo, al plantear un estudio evaluativo, es necesario, sobre todo en los programas masivos institucionales, la delimitación de objetivos o propósitos que se persiguen. El planteamiento de los objetivos debe contestar los siguientes interrogantes: 1. ¿Cuál es el alcance de la evaluación?, es decir, es necesario delimitar si el proyecto

evaluativo afectará al programa en su totalidad o sólo a una parte. 2. ¿A quié n servirá la información proporcionada por la evaluación?, es decir, se

especifican personas, grupos o instancias a quienes se dirigirá la información para apoyar la toma de decisiones a diferentes niveles.

3. ¿Cuáles serán las consecuencias para el programa?, es decir, si se llevará acabo

una evaluación formativa, sumaria o ambas (ver tipos de evaluación en el siguiente apartado).

4. ¿En qué fase o fases del programa se centrará la evaluación?, es decir, si se

pretende incidir en la fase de planeación, en la implantación, o la de operación. 5. ¿Cuáles son los aspectos del programa a los que se pondrá mayor atención?, es

decir, si de manera general se pondrá mayor é nfasis en la evaluación de los aspectos psicopedagógicos, los aspectos operativos o los administrativo-presupuestarios.

6. ¿De qué manera se retroalimentará a los diferentes sistemas de apoyo al

programa?, es decir, especificar cuál es la información evaluativa que retroalimentará a la capacitación, la supervisión y la administración del programa.

Algunos autores, siguiendo la línea de Scriven, Stake y los iluminativos, se

oponen al planteamiento de objetivos, por las limitaciones que ello acarrea sobre la libertad de observación para el evaluador. En lugar de objetivos se plantean preguntas de evaluación, las cuales presentan la ventaja de que no comprometen el estudio


Segundo Semestre 50

evaluativo en una constante búsqueda por cubrir tales objetivos en detrimento de las posibles aportaciones que pudieran surgir espontáneamente en el transcurso de la evaluación. Por ejemplo, Roger Couvert (1979), en una guía para evaluar programas de alfabetización ofrece una gran cantidad de preguntas de evaluación, de las cuales presentamos los siguientes dos ejemplos. En cuanto a la voluntad política para llevar a cabo programas de alfabetización, se pregunta:

¿Son mejores los resultados conseguidos por los participantes cuando existe una voluntad política de proceder a la alfabetización con miras a una transformación del medio ambiente? Y con respecto a la organización de los cursos: ¿Las tazas de cobertura del programa, de participación, de abandono, de asiduidad, de utilización del tiempo, de participación en las pruebas terminales, de éxito en las pruebas de fin de ciclo, varían en función del local elegido para los cursos? Las preguntas no siempre se presentan en forma de interrogantes, sino como condicionales. Tal es el caso del siguiente ejemplo relativo a los materiales instruccionales: En relación con cada tipo de material utilizado, cabe preguntarse si el contenido corresponde efectivamente a los objetivos iniciales, sí está construido lógicamente, si se adapta psicológicamente al nivel de los participantes, si corresponde a sus intereses y, en consecuencia, si atraerá su atención, si el lenguaje utilizado es fácilmente comprensible, si las ilustraciones son idóneas, etc. Cada uno de los condicionales anteriores son en realidad una pregunta de investigación en una condición concreta, pero, al igual que las anteriores preguntas más generales, representan el lugar que ocupa una hipótesis en otro tipo de investigación. Por otro lado, aunque pareciera que las preguntas de investigación representan alternativas a los objetivos, frecuentemente ambos elementos de los contenidos se plantean en una misma investigación, cuando se trata de tener una mayor especificidad en los propósitos y procedimientos de la evaluación. El segundo elemento de los contenidos de la evaluación son los aspectos del programa que se evaluarán. Son los variables, los elementos críticos o factores determinantes del programa mediante los cuales se podrá tener una visión completa y decisiva del mismo. Hay una amplia gama de criterios para la selección de los aspectos a evaluar (a los cuales podemos en realidad equiparar con los contenidos, una vez hecha la aclaración de que é stos comprenden además los objetivos y preguntas de investigación).

Maritza Barrios presenta una serie de seis criterios para definir el contenido de las evaluaciones:


Segundo Semestre 51

1. Los objetivos son las directrices que tiene un programa, con sus hipótesis sobre los

productos que se esperan y son los primeros puntos de comparación con que cuenta el evaluador para establecer juicios sobre los resultados observados. Al planear la evaluación, el investigador tiene la responsabilidad de verificar que los objetivos del programa esté n suficientemente delimitados y que los diversos participantes los manejen de la misma manera, o bien que los diferentes puntos de vista con respecto a ellos sean objetos de la misma evaluación, para juzgar su pertenencia ambigüedad, y efecto sobre la misma operación del programa.

2. Los resultados son otros criterios que el evaluador toma en cuenta en el

establecimiento de juicios. Los resultados se definen en té rminos de los productos generados por los participantes del impacto social que se produce por efecto de la práctica del programa sobre los individuos directamente involucrados y los grupos adyacentes. Los resultados tambié n se plantean en té rminos de los beneficios que aporta el programa a los usuarios y a la comunidad.

3. Otro de los criterios que propone Barrios son las hipótesis funcionales, es decir,

aquellas relaciones entre variables en té rminos funcionales o de causa-efecto. En estos té rminos, el evaluador identifica el cuerpo de variables o elementos críticos del programa y contrasta sus efectos al interrelacionar dos o más de ellas mediante la descripción o los procedimientos estadísticos. De esta manera, puede confiar en que tendrá una visión global y explicativa de los efectos esperados y observados del programa.

4. Las decisiones son un factor importante a tomar en cuenta al seleccionar los

tambié n contenidos de la evaluación. En gran parte de los estudios evaluativos, una premisa básica es que el programa puede cambiar o adecuarse para beneficio de los usuarios, por lo que el investigador debe estar atento para reunir información relevante, oportuna y suficiente a fin de que los responsables puedan tomar las decisiones pertinentes.

5. De acuerdo con el modelo “respondiente” de Robert Stake, el verdadero sentido de

la evaluación es la solución de la problemática que se presenta al operar los programas. Por ello, el evaluador debe enfocar el estudio hacia la identificación de los problemas, los cuales serán conceptualizados a partir de un marco referencial, producto de observaciones previas sobre el mismo programa o programas similares, una aproximación teórica del significado social del programa, y las preocupaciones y necesidades de los grupos involucrados.

6. El último criterio que propone Barrios para la selección de los contenidos son los

datos y observaciones que es posible obtener del programa a evaluar. En esta orientación se encuentran los evaluadores iluminativos y quienes se dirigen hacia una evaluación comprensiva de tipo antropológico. En esta postura, los contenidos de la evaluación deben guiar hacia la comprensión de cómo opera el programa en la realidad. Por ello, la tarea del evaluador es describir, analizar, encontrar relaciones


Segundo Semestre 52

entre los procesos que se llevan a cabo y “cualificar” el fenómeno educativo en su totalidad, para poder incidir sobre é l.

Otros autores consideran que es necesario evaluar aspectos relevantes y

decisorios de los programas. Briones propone ocho referentes u objetos de evaluación: 1. Los objetivos o metas del programa (su claridad, coherencia, jerarquización, etc.) 2. El contexto en el que se desarrolla el programa . 3. Su organización y funcionamiento (la estructura, los niveles de participación, las

funciones e interacciones de los participantes, etc.) 4. Los recursos básicos y financieros que se utilizan (disponibilidad, fuentes, montos,

flujo, costos, mecanismos de asignación, adecuación a los objetos previstos, etc.) 5. La metodología, estrategia o medios que se utilizan en el programa (material

didáctico, mé todo de enseñanza, té cnicas didácticas, adecuación de objetivos con características de la población, etc.)

6. Los procesos que conducen al logro de objetivos buscados y no buscados. En el

primer caso los que tienen que ver con los objetivos explícitos del programa, y acompañan a los procesos específicos de la metodología; en el segundo, procesos que se producen de manera natural o no prevista, como la utilización novedosa del material didáctico, el empleo de té cnicas no especificadas, etc.

7. Los resultados que se obtienen (las modificaciones esperadas y no esperadas que

se producen en los usuarios, los productos parciales y finales que se generan, el logro de los objetivos del programa, etc.)

8. Los problemas que se presentan en la marcha del programa, y las medidas que se

adoptan para su solución. TIPOS DE EVALUACIÓN Existen diversas maneras de concebir un estudio evaluativo, dependiendo de las necesidades declaradas para observar un programa educativo. Al haber identificado los contenidos de la evaluación, es necesario que el evaluador defina que tipo o tipos de evaluación comprenderá el estudio, como un paso preliminar para desarrollar la metodología. El programa educativo comprende una variedad de facetas, necesidades a satisfacer, personajes involucrados, fases y procedimientos a seguir, productos esperados, etc., que requieren orientaciones y procedimientos evaluativos diversos. El estudio evaluativo puede estar dirigido hacia la investigación de los procesos internos


Segundo Semestre 53

del programa o hacia la verificación de las metas y objetivos alcanzados; hacia la efectividad de los componentes o el impacto social resultante; hacia los procedimientos didácticos, los costos, el aprovechamiento alcanzado por los alumnos, etc. Por otro lado, el estudio evaluativo puede ser llevado a efecto por el mismo personal involucrado, o por evaluadores externos, y puede tener un carácter descriptivo o explicativo. Clasificación de acuerdo con el contenido Los principales tipos de evaluación en esta categoría son seis: formativa, sumaria, de contexto, de insumos, de procesos y de productos. Evaluación formativa. Fue propuesta inicialmente por Michael Scriven (1967, 1973) para referirse a la función que debe tener la evaluación en el desarrollo del currículo. Según este autor, la función principal de la evaluación es descubrir las deficiencias y aciertos de las versiones intermedias del nuevo currículo, con miras a su mejoramiento. La evaluación formativa está llamada a incidir sobre lo que Scriven llama “instrumentos educativos” (procesos, personal, procedimientos, programas, etc.) para realimentar su desarrollo y planear su perfeccionamiento. Este tipo de evaluación ha sido dirigido particularmente hacia los procesos de enseñanza y el diseño de materiales didácticos. Incluye regularmente a la evaluación diagnóstica, la cual es el punto de partida para iniciar el proceso de evaluación, y fundamenta los cambios que sobre la marcha se realizan en el currículo. Además, se apoya en los procedimientos de supervisión que constantemente generan la retroalimentación necesaria sobre la puesta en práctica de las innovaciones introducidas al currículo. Evaluación sumativa. Es el balance final que se hace sobre el programa, currículo o componente, para decidir acerca de su futura utilización o cambio. Lo importante en este tipo de evaluación es establecer el valor o mé rito del objeto de evaluación. Lo que interesa básicamente al evaluador en este caso es la identificación y valoración de los resultados, la calidad del producto final generado por el programa. La evaluación sumativa es tambié n el control de calidad para juzgar si las metas establecidas para el programa o currículo son factibles de lograr, o los productos rebasan las expectativas previas. Evaluación de contexto. De acuerdo con Daniel Stufflebeam (quien sistematizó é ste y los siguientes tres tipos de evaluación que veremos), la evaluación del contexto es un microanálisis de las condiciones en las cuales se mueve el programa, las necesidades no cubiertas y las oportunidades desaprovechadas en la operación para cubrir los objetivos. La evaluación de contexto resulta en un diagnóstico de la problemática general del programa que es necesario resolver.


Segundo Semestre 54

Evaluación de insumos. Este tipo de evaluación proporciona información para determinar la manera de utilizar los recursos disponibles y poder alcanzar los objetivos. Esta evaluación se centra en la identificación de tres elementos: los alcances y capacidades de la institución que opera el programa, las estrategias para alcanzar los objetivos propuestos y los mé todos para planificar la estrategia elegida. En el primer elemento, es necesario determinar si se necesita apoyo externo al programa, en el segundo, si la estrategia adoptada es la más adecuada o no en té rminos del presupuesto, personal y tiempo disponible, y en el tercero determinar los procedimientos de trabajo (como las búsquedas bibliográficas, las asesorías o las visitas a programas tipo) para planear adecuadamente la estrategia y contar con bases de comparación al establecer los juicios evaluativos. Evaluación de procesos. Una vez que se aprueba el programa o proyecto educativo, es necesario proporcionar retroalimentación periódica acerca de su marcha a quienes deciden sobre planes y procedimientos. La evaluación de proceso establece tres objetivos principales: el primero es detectar o predecir defectos en el diseño durante la implementación del programa, el segundo es el proporcionar información para la toma de decisiones y el tercero es el mantener una fuente de información continua sobre la marcha del programa. Evaluación de productos. Este tipo de evaluación tiene como propósito medir e interpretar los resultados del programa, no solo al finalizar el mismo, sino tambié n durante su desarrollo. Este tipo clásico de evaluación establece comparaciones: entre los objetivos establecidos y los resultados obtenidos, entre un programa tipo y el programa evaluado, entre las ejecuciones de un grupo control y el grupo experimental, entre las ejecuciones de dos individuos, etc.

Las bases de comparación que se establecen en la evaluación de producto incluyen la definición operacional de los objetivos, la medición de los criterios asociados a los objetivos de las acciones, la comparación de los resultados con las normas establecidas previamente, o bien la interpretación de los resultados utilizando la información proveniente de las evaluaciones de contexto, de insumo o de proceso. Clasificación de acuerdo con la forma Bajo esta clasificación se presentan cuatro tipos de evaluación: descriptiva, explicativa, interna y externa. Evaluación descriptiva. La conducción de estudios descriptivos en evaluación surge de la propuesta de Stake acerca de la “figura de la evaluación” en la cual argumenta que los elementos clave de una evaluación son la descripción y el juicio. La descripción la realiza el evaluador con base en las intenciones o propósitos del programa, contrastándolos con las observaciones hechas en la operación. Los juicios se derivan de la contrastación con normas establecidas de antemano acerca del grado en que se alcanzan los propósitos de cada fase del programa.


Segundo Semestre 55

Evaluación explicativa. Este tipo de evaluación es, en té rminos de investigación, la aproximación empirista al campo. Los referentes evaluativos están sujetos a la comprobación empírica antes de poder responder a los requerimientos de los juicios evaluativos. La manera de comprobar la veracidad de los datos evaluativos es la que propone el mé todo de la ciencia empírica: básicamente el mé todo experimental. A la luz de determinadas teorías de los campos disciplinarios que inciden en la investigación evaluativa, se intenta probar o disprobar hipótesis relevantes que fundamentan los juicios evaluativos.

Este tipo de evaluaciones es analítico, más que holístico y tendiente a la generalización de los datos, más que a la descripción exhaustiva de un solo programa. La característica principal de este tipo de evaluaciones es que se trata de aislar al programa o a los componentes del mismo como variable independiente y establecer los controles necesarios en el diseño de la investigación para adjudicar los efectos al mismo programa y no a otras causas. En este sentido, se procede a diseñar muestras al azar, grupos de control y análisis de base cuantitativa, que permitan explicar los resultados. Dice Briones.

Un promotor de este tipo de evaluaciones fue Edward Suchman, quien hacía la distinción entre evaluación e investigación evaluativa en el sentido de que la primera se propone establecer juicios de valor, independientemente de la metodología empleada para llegar a tal juicio, por lo que puede incluir al sentido común. Por otro lado, la investigación evaluativa pone al mé todo científico al servicio de la evaluación. Para Suchman, la evaluación es una meta, mientras que la investigación evaluativa puede considerarse como un medio para alcanzar esa meta.

Para el caso de los paradigmas en que se presenta este tipo de evaluación

pertenece a la tradición general del positivismo en el cual se presupone una realidad objetiva que es necesario verificar a travé s de la investigación. En cambio, el tipo descriptivo parte de un paradigma fenomenológico, recientemente desarrollado en filosofía de la ciencia, en el cual las realidades son múltiples y totales, y los fenómenos se entrelazan en una conformación simultánea, de tal manera que es imposible distinguir la causa del efecto. En este paradigma es importante la comprensión (verstehen) de los fenómenos, no su explicación.

Evaluación externa y evaluación interna. Estos tipos de evaluaciones se refieren a la ubicación del evaluador con respecto al programa a evaluar. Una evaluación externa es conducida básicamente por personas que no tienen otras responsabilidades asignadas o participaron dentro del programa (planeación, ejecución, recepción, supervisión, etc.), mientras que la evaluación interna es una tarea que lleva a cabo el mismo personal del programa. Los efectos previsibles sobre los resultados de la evaluación son uno de los factores a considerar cuando se toman las decisiones con respecto a quié n evalúa. Quienes buscan mayor objetividad y confían en las habilidades de expertos, preferirán la evaluación externa; por otro lado, quienes esperan un mayor involucramiento del


Segundo Semestre 56

personal a travé s de la autorreflexión y autocracia, y prevé n una oportunidad para la formación del personal, optarán por la evaluación interna. Por un lado se enfatiza la objetividad; por otro, la autoevaluación. Sin embargo, no solamente se trata de preferencias de quienes toman decisiones sobre el tipo de evaluación a emprender. Una reflexión importante para el caso es la consideración del punto de vista del evaluador acerca del programa o un componente del mismo. Mientras que para el evaluador externo puede ser perfectamente admisible el aplicar una prueba estandarizada a todos los alumnos de determinado grado, para un docente que conoce los alcances de sus pupilos y su avance en el curso, podría parecer injusto. Otras consideraciones importantes son las finalidades de la evaluación y los alcances del programa. Si dentro de esas finalidades se encuentra la toma de decisiones acerca de la continuación o terminación del programa, será conveniente tomar en cuenta tanto los juicios internos como los externos. Por otro lado, cuando el programa se proyecta de manera general a todo un sistema educativo, es poco probable la factibilidad y efectividad de una evaluación interna.


Segundo Semestre 57

FASES DE LA EVALUACIÓN “Ruiz Ruiz, José María 1997, Cómo hacer una evaluación de Centros Educativos, Narcea, Madrid.” La evaluación educativa es una actividad sistemática y, como tal debe ser sometida a una planificación previa y a un cierto control en su ejecución. Las fases y componentes principales son: a) Fase de planificación

Constituye la primera fase del proceso de la evaluación, y su producto final se materializa en el Plan de Evaluación. Este permite articular todos los factores que intervienen en el proceso de evaluación con la finalidad de garantizar la veracidad y rigor de los datos, así como la validez y eficacia de las conclusiones.

En un Plan de Evaluación hay que contemplar, al menos los siguientes puntos:

a) Descripción clara del problema o factor desencadenante del estudio de evaluación.

b) Definición del ámbito y finalidad del estudio. c) Elección del enfoque metodológico apropiado: cuantitativo y cualitativo. d) Especificación, si procede, de los indicadores de calidad y preparación de los

procedimientos y/o instrumentos de recogida de datos. e) Determinación de los procedimientos de análisis e interpretación de los datos. f) Previsión de mecanismos de discusión y elaboración de conclusiones. g) Asignación de responsabilidades a los participantes. h) Temporalización de las diferentes fases y actuaciones. i) Presupuesto económico.

b) Fase de ejecución El objetivo principal de esta fase es recoger la información necesaria sobre la que sustentar los juicios de valor consiguientes. Es el eje esencial de todo estudio de evaluación: del mayor o menor rigor con que se ejecuten todos sus pasos dependerá la fiabilidad y veracidad de la información y consecuentemente, la validez de las conclusiones.


Segundo Semestre 58

c) Fase de elaboración y publicación de las conclusiones Es el último momento del proceso de evaluación, en el que tiene lugar la formulación del juicio o juicios de valor sobre el objeto de la evaluación. Procedimientos La evaluación educativa dispone de un número importante de procedimientos metodológicos para llevarla a cabo; simplificando mucho podemos dividir estos en dos grandes categorías: a) Enfoque cuantitativo Son todos los procedimientos que requieran de la medición y cuantificación de los fenómenos educativos. Estos enfoques han sido muy criticados porque su afán es identificar relaciones de causa-efecto entre variables independientes (tratamientos) y dependientes (resultados) y considerarlas universalmente generalizables; esto ha ocasionado las siguientes críticas: - Las relaciones entre variables educativas no son simples y lineales relaciones

causa-efecto. - Limitar la evaluación a un escaso número de variables y reducir estas a una simple

expresión cuantitativa equivale a ofrecer una visión simplista y superficial, cuando no sesgada, del fenómeno educativo.

b) Enfoque cualitativo

Los defensores del enfoque cualitativo consideran cada fenómeno educativo

como algo único, condicionado por las circunstancias peculiares del contexto donde se produce, lo que dificulta la posible generalización de sus resultados.

Por lo tanto proponen la práctica de la evaluación de los fenómenos educativos

en sus contextos naturales y la utilización de procedimientos e instrumentos que permitan captarlos en su integridad.

Los defensores del enfoque cualitativo, en lugar de aislar variables y efectuar

mediciones en un momento dado, proponen observar los fenómenos educativos en su complejidad, siguié ndolos a medida que se van produciendo y describiendo sus manifestaciones con el mayor de los detalles. No se rechaza la utilización de datos cuantitativos, pero consideran que cualquier fenómeno educativo no se puede reducir a una simple medición, es necesaria e imprescindible la explicación de los fenómenos y procesos a valorar.


Segundo Semestre 59

En realidad, un Centro no es si no la realización simultánea de programas, orientados todos ellos, en última instancia, a la mejora de los educandos. Lo que añade el centro a los programas de los profesores no es sino la necesidad de coordinación de programas y profesores para alcanzar esa optimización a que hemos aludido, esa “acertada combinación” de los elementos.

En consecuencia, aunque en determinados contextos y para fines asimismo

concretos, será necesario o conveniente una evaluación exhaustiva y detallada de múltiples aspectos, a nuestro juicio, y en el marco de la mejora continua de los Centros, siempre que los profesores o los equipos de profesores asuman con rigor la evaluación de los programas, la evaluación de los Centros podría centrarse en los marcos en que tales programas se desarrollan, de cuya forma de producirse depende en gran medida su propia eficacia.

En nuestra propuesta evaluativa de programas, como veremos posteriormente

en el segundo de los momentos relativo a la evaluación de su proceso de aplicación, destacábamos dos dimensiones diferentes y complementarias: la ejecución del programa y el marco en que se lleva a cabo, marco que no es sino el Centro Escolar.

Cuando hablamos de evaluación de Centros aludimos a estas características:

1. Cada Centro tiene una historia propia e irrepetible, lo que nos hace

centrarnos en su contexto. 2. Atendemos a la calidad de procesos, pues nuestro objetivo no sólo es la

comparación de resultados (nivel del centro respecto a otro). 3. La participación de todos los componentes del centro es básica, sus

aportaciones son la base de la interpretación de lo que sucede en el Centro. 4. Debemos contrastar mé todos, ya que estamos ante fenómenos complejos

que no se captan sólo con instrumentos de una clase (bien cualitativos, bien cuantitativos).

5. No podemos quedarnos en simples números, si utilizamos diferentes mé todos, tendremos diferentes datos. La simplificación hace más fácil nuestra labor y la comprensión de los resultados, pero a la vez puede producir más errores.

6. Se entiende el centro como “unidad funcional”, incluso si estamos realizando una evaluación parcial, pues la explicación vendrá determinada por la globalidad de factores que forman parte de la entidad.

7. No pretende quedarse en mera valoración, pretende fomentar el diálogo y la investigación sobre la educación y la enseñanza, por lo tanto debe ser educativa.

8. Como podemos apreciar en esta evaluación, intervienen agentes externos e internos, y de esta manera no afecta solamente al Centro evaluado, ya que se puede aprender de estas experiencias de cara a otras instituciones educativas.


Segundo Semestre 60

Por ello nuestra propuesta evaluativa será relativamente sencilla aunque haremos alusión a propuestas más complejas y a instrumentos disponibles con una mayor cantidad de elementos integrantes. Evaluación interna “Los maestros y la escuela son siempre autoevaluables y tiene la preparación y el conocimiento para describir y analizar sus propias políticas” (Simons, 1981). La autoevaluación tiene su base en preguntas que los propios actores/personajes/participantes de los Centros educativos se hacen: ¿Hay coherencia entre lo que hacemos y lo que nos proponemos? ¿Se está consiguiendo lo que proponíamos? ¿Por qué ? El problema de que todavía no sea una práctica común está en la escasa o nula concepción del trabajo colectivo en los centros, cada profesor actúa en su aula y se preocupa casi en exclusiva, en té rminos evaluativos, de la evaluación/valoración del aprendizaje de sus alumnos. Está claro, que esta autoevaluación puede ser total o centrarse en aspectos muy concretos del Centro, pero siempre teniendo en cuenta la complejidad del centro, ya que no se puede, como hemos dicho anteriormente, encontrar significado a una parte sin ubicarla en un todo. El tiempo de dedicación es el primer problema a este avance que pretenden los centros. Los miembros del Centro capacitados para llevar a cabo la autoevaluación no disponen del tiempo necesario para realizar esta tarea. La opción del voluntariado puede terminar desvirtuando la acción, se deberá por tanto articular alguna forma de liberación para las personas que se encarguen de este cometido. A la hora de realizar una autoevaluación debemos tener cuidado con la familiaridad, cercanía, de los agentes que van a llevarla a cabo, ya que a la vez que produce mayores facilidades en el análisis de los procesos/situaciones puede llegar a esta autoevaluación a ser una mera justificación de lo que está haciendo, cómo lo están haciendo y por qué lo están haciendo. Para Santos Guerra (1993) existen problemas que frenan los proyectos de autoevaluación: - Carácter individualista de la función docente. El aula es la cé lula donde cada

profesor es el único adulto y nadie puede decirle cómo hacer las cosas. - Resistencia de algunos profesores a la ruptura de su intimidad.


Segundo Semestre 61

“No conviene forzar a nadie a ser objeto de evaluación, de hacerlo, se perdería, a priori toda la eficacia de la misma (autoevaluación) en su potencialidad de transformación y cambio” (Santos Guerra, 1993).

- Escasa motivación profesional. La falta de colaboración y continuo martilleo de

sus compañeros en cuanto a la inutilidad y pé rdida de tiempo (no remunerado) de la acción, frente al aliciente de la mejora profesional hace difícil, el iniciar, continuar o finalizar el proceso.

- Limitación de tiempo. El profesorado no dispone de horas libres/liberadas para la

autoevaluación, y además “la mayoría de los profesores piensan que no tienen el suficiente tiempo para comprometerse con esta actividad “adicional”, y muy pocos son los que están preparados para darle prioridad, especialmente, como pasa a menudo, o hay compromiso firme, por parte de la jerarquía escolar de considerar los resultados” (Simona, 1981).

- Falta de formación técnica. Provocado por la carencia de preparación pedagógica

inicial. La Escuela ayuda, pero simplemente de una manera material. Debe realizarse una oferta formativa desde niveles superiores.

- Ocultación de los problemas sustantivos. Los problemas generales, que afectan

a la funcionalidad del Centro se ocultan, pero:

“cada uno afronta su problema, su actividad, haciéndose culpable de los errores y limitaciones y acreedor de todos los éxitos, instalándose en explicaciones poco rigurosas, tendentes a mantener la estructura básica. Así, el débil tiene miedo y el fuerte pretende solucionarlo todo por su cuenta” (Santos Guerra, 1993).

Podríamos decir que los tres grandes focos que pueden dificultar la autoevaluación son la jerarquía/autoridad/poder por niveles, la territorialidad y el siguiente reducto del profesor individual, la privacidad. PRINCIPALES VARIABLES PARA LA EVALUACIÓN INTERNA DE LOS CENTROS EDUCATIVOS Con los presupuestos anteriores parece correcto mantener que la evaluación de Centros puede organizarse en torno a cinco grandes macrovariables: el Proyecto Educativo, la organización, el clima escolar, los medios o recursos y la Comunidad Educativa; ello no obstante, y dado el carácter condicionante del contexto o marco en que el Centro se ubica, conviene tambié n tomarlo en consideración y como punto de referencia.


Segundo Semestre 62

1. El Contexto o ambiente como marco para la evaluación Es preciso indicar la conveniencia de tener siempre como elemento de referencia el contexto en que el Centro se encuentra ubicado. El contexto, en efecto, aparte de ser una fuente de demandas y una oferta de posibilidades, es el marco natural de inserción del alumnado y el ambiente que complementa la acción que familia y centro asumen con mayor responsabilidad. 2. El Proyecto Educativo

El Centro Educativo es una completa organización al servicio de un proyecto

común, fruto de la elaboración, aceptación y compromiso de sus miembros. El análisis de las tres grandes dimensiones de calidad: totalidad, integralidad y

adecuación, así como el modo de formalizar el proyecto, y el grado de apoyo, efectivo compromiso otorgado por la Comunidad Educativa, son los aspectos que deben ser analizados en este punto. La apreciación de armonía entre las partes y de coherencia de planteamientos entre cursos, ciclos, niveles, etapas educativas, así como de é stas con las necesidades del mundo del trabajo en particular y de la vida adulta en general, contempla este primer apartado. Un elemento más a considerar es el relativo a la configuración de las señas de identidad del Centro, acordes con el personal que lo integra y con el marco social al que se pretende servir. 3. La organización El Centro como unidad es la adecuada combinación de todos los elementos personales, materiales y funcionales, al servicio de las metas educativas. La organización es, justamente la forma de articular esa combinación de elementos. Los aspectos fundamentales que deben ser analizados tienen que ver con: - El sistema de dirección, más o menos autoritaria o participativa. - La forma de afrontar la solución de conflictos entre el personal. - La moral del grupo, de confianza en el é xito. - El apoyo, el estímulo y el reconocimiento por parte de la dirección al trabajo,

necesidades y demandas del personal. - La implicación afectiva de los diferentes estamentos de la Comunidad Educativa. - Los niveles de coordinación del personal. - Los procesos y formas de agrupamiento de alumnos y profesores.


Segundo Semestre 63

- El trabajo efectivamente cooperativo, de conformidad con propuestas como las denominadas de currículo de calidad.

- Los sistemas de asignación de responsabilidades, medios espacios y recursos. - La incorporación de estructuras de mejora, tales como el sistema de evaluación de

alumnos, programas y Centros. - El estímulo planificado, y consistentemente desarrollado, hacia el perfeccionamiento

del profesorado.

Vale la pena recordar que la dimensión del liderazgo aparece reiteradamente como una variable de eficacia escolar en función de su aportación a la organización, la unidad y la coordinación de esfuerzos al servicio de un proyecto unitario y común.

4. El medio o clima escolar

Bien como una dimensión diferenciada, bien como una resultante, al menos en parte, de la organización del Centro, aparece el clima escolar como una variable digna de ser analizada, tanto por ser un medio facilitador/obstaculizador de los resultados cuanto por contribuir é l mismo a los efectivos logros del Centro.

Se consideran aspectos humanos fundamentales para el análisis y valoración los

siguientes: - Las relaciones humanas de todos los estamentos del Centro, entre sí y con los

demás. - El orden y el respeto mutuos, que hagan posible la maximización del tiempo útil de

aprendizaje. - El sistema disciplinar: su elaboración más o menos participativa y su aplicación

consistente. - El ejercicio pedagógico del tratamiento de la indisciplina. - El tipo de relaciones entre el personal: competitivas o individualistas. - Los valores efectivamente vividos en el Centro. - El clima de expectativas elevadas de cara a los niveles personalizados de

rendimiento. - La confianza en el é xito. - La satisfacción por el propio trabajo. 5. Los medios: espacios y recursos

No parece que la investigación haya encontrado de modo consistente a esta variable como incidente en la eficacia, pero ello tal vez sea o porque habitualmente los Centros tienen cubiertas las necesidades mínimas y/o porque su influencia queda subsumida en otras de mayor importancia.


Segundo Semestre 64

Con todo, el contar con los espacios y los recursos mínimos en cada caso, la asignación de unos y otros de acuerdo con criterios preespecificados, y el logro de la adecuada coordinación para evitar fricciones y enfrentamientos, parece de especial importancia. 6. La Comunidad Educativa Al tratarse de Centros no universitarios, por tanto encargados de las etapas con mayor incidencia en los aspectos formativos, no sólo informativos, la participación de todos los componentes de la Comunidad Educativa potencia la eficacia; por otra parte, la incardinación del Centro en la comunidad hace más factible la vivencia de determinados valores sociales a la vez que proporciona recursos imposibles para los Centros aislados, carentes de tal cooperación. Naturalmente, aparte de estas variables como tal, la participación de los padres y de los alumnos en el gobierno de los Centros y en la planificación de su actividad educativa puede situarse dentro de la macrovariable organización. Los aspectos fundamentales que pueden ser analizados se refieren a temas como los siguientes: - Presencia del Centro en la comunidad: participación en actividades sociales,

difusión de sus producciones. - Apertura del Centro a la comunidad: ofrecimiento de sus instalaciones, organización

de actividades abiertas. - Invitación a miembros de la comunidad para que aporten sus conocimientos,

habilidades y formación al servicio del perfeccionamiento de su personal. - Propuestas y proyectos de mejora de la comunidad. 7. Papel central del profesorado

Una consideración especial merece el profesorado, ya que es quien, en ocasiones a título individual, en otras y preferentemente en equipos de trabajo, ha de hacer realidad la mayoría de los aspectos considerados en el apartado anterior.

Si bien la dirección en cuanto tal ha de ejercer un liderazgo y asumir funciones

de estímulo, apoyo, reconocimiento, coordinación, etc., al profesorado le incumbe el logro efectivo del clima escolar, el ejercicio de la docencia, el estímulo y la motivación de sus alumnos, la planificación de la enseñanza, la actuación como mediador en los procesos de aprendizaje, la asunción de sus sistema evaluativo orientado a la mejora de sus alumnos y la suya propia.

El Centro como unidad, eso sí, potenciará, inhibirá o reducirá los efectos

positivos de su actuación en la medida en que é sta sea coherente con los


Segundo Semestre 65

planteamientos generales, se ejecute en contra de los mismos o se lleve a cabo de modo independiente. ESTRATEGIAS PARA LA EVALUACIÓN INTERNA DE CENTROS EDUCATIVOS El Centro Escolar suele funcionar realizando sólo la evaluación de los alumnos. Por una parte, no parece razonable atribuir todo el é xito o el fracaso de la evaluación de los alumnos al esfuerzo, capacidad o interé s de é xitos. En el é xito o el fracaso de los alumnos existe una parte importante atribuible a otros factores o elementos: sistema educativo, acción del Centro, trabajo del profesor, influencia de los compañeros. Por una parte, hay otros aspectos que deben ser evaluados y que no se recogen en la evaluación de alumnos: el currículo oculto de la institución, los efectos secundarios que produce la acción educativa en las escuelas, los medios de que se dispone para desarrollar la actividad, etc. El Equipo Directivo no sólo es el coordinador de la planificación y de la intervención, sino que tambié n ha de serlo, por lógica, de la evaluación. El Centro Escolar puede considerarse como la unidad funcional de planificación, acción, evaluación y cambio educativo. Tradicionalmente se ha tomado la actividad que el profesor realiza en el aula como la unidad sustancial de la intervención educativa. El Equipo Directivo, como dinamizador de la vida del Centro, debe impulsar una reflexión permanente y compartida sobre la acción educativa que se realiza en el mismo. Esta reflexión compartida (Santos Guerra, 1993): • No es una amenaza. • No es una fiscalización. • No es un juicio. • No es una intromisión. • No es una descalificación. • No es una imposición. Esta reflexión: • Es un diálogo. • Es un encuentro. • Es una comprobación. • Es un diagnóstico. • Es un intercambio. • Es una ayuda.


Segundo Semestre 66

La evaluación es, en efecto, una parte sustancial de la acción emprendida (Elliott, 1983; Martín, 1988). No es un aditamento, un añadido, un adorno, un apé ndice o un entrenamiento. La evaluación no es proceso que se realiza si queda tiempo, si se encuentran facilidades para la acción. La evaluación interna es una exigencia de la propia actividad. Resulta lamentable que los Centros escolares vivan independientemente de su é xito.

Hablaremos de la evaluación interna, aunque no descartamos la ayuda externa

cuando se realiza a raíz de la demanda del propio Centro. La evaluación interna resulta importante porque:

• Permite reflexionar sobre lo que se hace. • Facilita la coordinación vertical y horizontal. • Ayuda a comprender lo que sucede. • Impulsa el diálogo y la participación. • Permite tomar decisiones racionales. • Impide los solapamientos. • Ayuda a incidir sobre lo que se considera sustancial. • Permite corregir los errores. • Ayuda a intensificar el esfuerzo en lo esencial. • Permite aprender nuevas cosas. • Hace ganar coherencia al Equipo Docente. • Se convierte en un ejemplo para los alumnos. • Ayuda al perfeccionamiento del profesorado.

Reflexionar sistemática y colegiadamente sobre la práctica es imprescindible para comprenderla y mejorarla (Gimeno Sacristán y Pé rez Gómez, 1992). Es el diálogo profesional lo que permite enriquecer la acción. La evaluación se convierte así en un proceso de diálogo, comprensión y mejora.

De ahí la necesidad de realizar una evaluación que sea: • Sistemática y no sólo ocasional. • Rigurosa y no arbitraria. • Canalizada y no dispersa. • Conocida y no subrepticia. • Colectiva y no sólo individual. • Escrita y no sólo estamental. • Libre y no impuesta.

La evaluación que proponemos nace de la iniciativa del Centro, se realiza por los

mismos profesionales que ejercen la enseñanza y tiene por objeto comprender y mejorar la práctica educativa.


Segundo Semestre 67

El Equipo Directivo ha de procurar que el rigor de la respuesta permita llegar a

una comprensión profunda de la realidad. Sus miembros están especialmente amenazados de parcialidad al desempeñar un papel preponderante en el centro.

La consistencia de la respuesta tiene una secuencia que da garantía de rigor: a) Recoger datos de forma precisa y prolongada. b) Utilizar métodos adecuados.

Recoger datos de forma precisa exige, en este tipo de evaluación un uso de

mé todos que tenga en cuenta las siguientes exigencias. • Usar diversidad de mé todos de exploración. • Usar mé todos sensibles a la complejidad de los fenómenos evaluados. • Usar mé todos adaptados a las situaciones que se exploran. • Usar los mé todos de manera intensiva. • Someter los datos a la interpretación y al análisis. • Discutir los datos de forma abierta y colegiada. • Poner por escrito la reflexión. • Tomar decisiones racionales para mejorar la acción. • Publicar para someter la reflexión a debate público. Los métodos para la exploración

“La observación es un proceso cuya función primera e inmediata es recoger información sobre el objeto que se toma en consideración”. (Postic y de Ketele, 1992). No se observa todo a la vez. Es necesario un principio organizador de la percepción, unos ejes de focalización y de estructuración de lo observado. “Observar es un proceso, situado más allá de la percepción, que no solamente hace conscientes las sensaciones sino que las organiza”. (Postic y de Ketele, 1992). En un Centro hay muchas situaciones, comportamientos y objetos que observar:

La dinámica del aula: rituales de entrada, salida, colocación y agrupamiento, normas de intervención, relaciones interpersonales.

La movilidad en el espacio: espacios abiertos y cerrados por qué y para quié n,

itinerarios que se recorren y su relación con el poder, control de las jurisdicciones, flexibilidad y tamaño de las dependencias según criterios, flexibilidad de ocupación…


Segundo Semestre 68

Configuración del espacio: distribución de los espacios y utilización jerárquica,

calidad y tamaño de las dependencias según criterios, flexibilidad de ocupación.

La vida de los patios: relaciones interpersonales, criterios de agrupamiento, actividades organizadas…

Reuniones de diversa índole: coordinación de las sesiones, tipos de

intervenciones, comportamientos de los asistentes, relaciones entre los miembros…

Uso de los diferentes materiales y servicios: quié n decide cómo se utiliza el telé fono, el fax, la fotocopiadora, qué tipo de acceso existe para el uso de los medios, al servicio de qué intereses se ponen, cómo se controla el uso.

Comportamiento en la sala de profesores: quié nes la usan y para qué la usan,

cómo y dónde se sitúan las personas, qué conversaciones se mantienen, qué relaciones existen entre veteranos y noveles…

Cuanto más amplio sea el foco del análisis: si se observa a muchos será menor

la presión sobre cada uno de los observados.

Cuanto más largo sea el tiempo: al comienzo se hace más patente la presencia del observador, qué se va a hacer con los datos, cómo se van a tratar, quié n va tener los informes, será más fácil que actúe con normalidad.

Cuanto más clara sea la transparencia de los propósitos: si el observado sabe

para qué se está observando, qué se va a hacer con los datos, cómo se van a tratar, quié n va a tener los informes, será más fácil que actúe con normalidad.

Cuanto más participativa sea la persona observada: si sabe que va a tener parte

en la interpretación, que puede manifestar su discrepancia acerca del resultado, la observación será favorable.

Pueden contemplar el funcionamiento del Centro diversos tipo de observadores.

Las concreciones dependerán de las circunstancias de cada Centro: a) Observador participante y conocido. b) Observador participante y no conocido. c) Observador no participante y conocido. d) Observador no participante y no conocido.

Los observadores pueden ser: • Profesores del Claustro. • Alumnos a quienes se pide que hagan un registro.


Segundo Semestre 69

• Padres que tengan interé s, tiempo y preparación para colaborar en esta actividad. • Colaboradores especializados en evaluación. • Alumnos que esté n haciendo alguna práctica. • Profesores de otros Centros. • Profesores de CEPs. • Orientador del Centro.

La observación no sólo consiste en mirar sino en buscar. No basta registrar con

fidelidad lo que sucede (a travé s del registro manual, de la fotografía, del casete o del video), sino que es preciso interpretar los hechos y las situaciones desde el rigor de las explicaciones.

El registro de las observaciones se puede hacer de diversos modos:

• Registro manual. • Grabaciones en casete y video. • Toma de fotografías. Estrategias para actuar en la evaluación interna Se plantean aquí dos tipos de estrategias para realizar la evaluación: unas de carácter parcial (por el contenido, el tiempo, los evaluadores, los mé todos… ), otras de carácter más globalizador. Cada Centro puede optar (por motivos diversos) por unas o por otras. El Equipo Directivo, que conoce el contexto y a todos los protagonistas que se desenvuelven en é l, puede proponer alguna de las siguientes iniciativas. No es el Equipo Directivo el que hace la evaluación sino el que la impulsa, la estimula, la coordina y la avala en su racionalidad y en su respeto a las personas.

De carácter parcial: a) Dedicar monográficamente una sesión del Claustro de profesores para hacer el

análisis de alguna parcela de funcionamiento del Centro. b) Solicitar de los alumnos, por escrito, un informe sobre la marcha del Centro. c) Nombrar una comisión para que realice algún estudio sobre la vida del Centro. d) Realizar algunas preguntas a los padres sobre el funcionamiento del Centro. e) Analizar de forma rigurosa alguna situación conflictiva del Centro. f) Aplicar el mismo cuestionario a todos los estamentos para estudiar los contrastes de

opinión. g) Proponer a un Seminario, ciclo o Departamento que haga un informe sobre su

actividad.


Segundo Semestre 70

h) Proponer la realización de diarios, tanto a los profesores como a los alumnos. i) Hacer un estudio de casos sobre alguno de los aspectos de la vida del Centro que

tenga interé s para los profesores. j) Evaluar una sesión del Consejo Escolar en su desarrollo completo. k) Hacer un estudio de la utilización del espacio escolar. l) Realizar lecturas sobre la valoración del funcionamiento de los Centros. m) Filmar una sesión de evaluación, para su posterior análisis por el grupo de

profesores implicados y por otros compañeros. n) Obtener una serie de fotografías sobre el espacio escolar para su análisis.

De carácter global:

Para poner en marcha un proceso de estas características dado que es un proceso largo, laborioso y complejo que es una evaluación de carácter parcial, debemos contar con el apoyo mayoritario de los profesionales del centro.

Las fases que el Equipo Directivo en la evaluación global del Centro podría

seguir serían (Santos Guerra, 1993): • Negociación de la propuesta con el Claustro de profesores (por escrito, tratando la

naturaleza, bases, mé todos, implicaciones, duración y requisitos fundamentales de la evaluación).

• Negociación con el Consejo Escolar. • Planificación de la evaluación. • Exploración a travé s de diversos mé todos. • Elaboración del informe. • Negociación del informe. • Toma de decisiones. La evaluación externa La evaluación externa surge como necesidad de complementación ante la posible justificación que se puede buscar a partir de los resultados de la autoevaluación. Esto implica una postura positiva y abierta por parte del Centro; de lo contrario el desarrollo normal de la actividad se podría ver obstaculizado, afectado. La iniciativa de la evaluación externa puede provenir: • Del propio centro. • De la Administración, del poder, de la Inspección (Orden Ministerial del 27 de

septiembre de 1990). Dentro del Plan General de Actuación de un conjunto específico de centros, programas, actividades, etc. De esta manera, la Administración adquiere conocimiento de: Aprovechamientos, optimización de los


Segundo Semestre 71

recursos, la relación entre recursos y resultados; funcionamiento del Sistema Educativo, sus principales problemas y mejoras.

Así es probable que la evaluación se convenga para los miembros de esa

Comunidad Educativa en un instrumento de control y en la justificación “té cnica” de la toma de una decisión cuando más le convenga a la Administración.

El evaluador será rechazado, ya que viene del lado (no postura, en el mejor de

los casos y apelando a la objetividad) de la Administración/poder. Por ello, es muy importante garantizar la independencia de los evaluadores en todas las fases del proceso evaluativo.

Debemos recalcar la importancia y la necesidad que en esta tesitura, tiene la

negociación, que debe hacer ver al Centro educativo el beneficio de la evaluación como una inversión propia. Principales variables de la evaluación externa • La participación en el proceso y con posterioridad a la evaluación. De esta manera

eliminaremos sesgos por una (Centro) u otra parte (Administración). • La fuerza del equipo evaluador, para poder negociar con la Administración/poder y

el Centro de una manera justa. • Presentación clara y concreta de la té cnica evaluadora, haciendo así más difícil el

abuso de poder (por cualquiera de las partes). • No diferencias conocimiento científico de conocimiento vulgar, dando su importancia

a cada tipo de conocimiento y para qué se utiliza.

Entendiendo el evaluador como el alcance entre el/los patrocinador/es y los participantes, este debe estar preparado para “aguantar” distintas presiones: • Condicionamientos para que ofrezca información sesgada. • La información facilitada por el evaluador se utiliza de forma partidista (las verdades

a medias se convierten en mentiras). • Se pide información en momentos inoportunos. • Se pretende guiar la evaluación para llegar sólo a los lugares a los que se desea.

El Centro, dependiendo de qué tipo de informe quiera (conformista, comparado o real) deberá formar los equipos de evaluadores, bien con los equipos de “staff” en el primer caso (muy identificados con la filosofía del centro), bien con un equipo que garantice la competencia científica y la libertad de acción, en el último caso.

Con los resultados, con el informe, no se debe permitir la manipulación, y se

debe fomentar debates rigurosos que faciliten la toma de decisiones.


Segundo Semestre 72

Estrategias para la evaluación externa de Centros El é xito de una evaluación externa creemos que se basa fundamentalmente en la negociación del proceso a llevar a cabo, por ellos centramos las estrategias en la clarificación de las acciones que se propone realizar el equipo investigador y que deben ser aceptadas por los miembros de la institución, que es la primera visión que tendrán que estar implicados en el proceso evaluativo, además de tener, posteriormente que aceptar los resultados (Santos Guerra, 1993). “Los profesores deben saber qué sentido tiene la evaluación, al servicio de quié n se va a poner, en qué condiciones se va a realizar, quié n va a leer los informes… ” • Se ha de conseguir que el Equipo Directivo del Centro vigile el cumplimiento de los

requisitos aceptados en la negociación previa a la puesta en marcha de la evaluación.

• Debe conseguirse una autorización de los implicados, y acordar con ellos cómo y hasta qué información se va poder llegar, toda de interé s para el objeto de la evaluación.

• El equipo de evaluación deberá asegurar la no filtración de información irrelevante para que la evaluación, a la que ha tenido acceso por su condición privilegiada pueda ser usada por agentes externos para otras acciones.

• Se asegura la confidencialidad de los datos y el anonimato de los informantes. • El equipo evaluador garantiza la no publicación del informe si los integrantes de la

Comunidad Educativa no están de acuerdo con é l. Se debe garantizar la incorporación al informe de las posibles discrepancias de algunos agentes del centro.

• Se debe redactar un documento de negociación que recoja todos estos acuerdos, teniendo en cuenta que puede ser modificado, pero por acuerdo de todos los implicados.


Segundo Semestre 73

CAPÍTULO 4

Evaluación de programas educativos, modelos externos de evaluación


Segundo Semestre 74

EVALUACIÓN DE PROGRAMAS EDUCATIVOS “Ruiz Ruiz, José María 1997. Como hacer una evaluación de Centros Educativos Norcea, Madrid.” Reflexiones previas “La sociedad actual exige una educación acorde con los procesos de cambio que se están produciendo en los ámbitos cultural, económico, laboral y tecnológico. Por ello es necesario que el profesorado adquiera una sólida formación para dar respuesta a las nuevas exigencias sociales tanto en el terreno de los contenidos científicos y culturales, como en las nuevas formas didácticas… ”

Tanto al planificar como al evaluar es necesario que exista una coherencia con los planteamientos que se hacen del programa y, por tanto, deben servir de referencia cuando se aborda la evaluación de cualquier actividad educativa y, en particular, aquellas que se corresponden con procesos de evaluación de programas. Aun así, para los evaluadores puede resultar muy útil reflexionar sobre sus ideas acerca del concepto de evaluación, el objeto de estudio, cómo evaluar, por qué y para qué se evalúa y para quié n se evalúa.

La evaluación es una parte integrante de los proyectos, no algo añadido al final de los mismos, como un complemento o un adorno que se pondrá en funcionamiento si queda tiempo y si se tiene a bien. Se pregunta por el valor de los programas y de las acciones. Es, pues, sustancial al hecho mismo de poner en marcha una experiencia. Porque si se diseña, planifica y pone en funcionamiento, será imprescindible conocer qué es lo que se consigue por el hecho mismo de poner la iniciativa en acción, por qué esa y no otra, por qué de ese modo y para esos fines. La evaluación producirá diálogo, comprensión y mejora de los programas que se pongan al servicio de los usuarios. No por el hecho mismo de que esté n funcionando son buenos, no porque hayan sido implantados con la mejor intención producen los mejores efectos. Nos centraremos en la evaluación de experiencias o de programas que reúnan todas o algunas de las siguientes características: 1. Independiente y por ello comprometida. Cuando digo independiente, me refiero

a una evaluación que no esté sometida, sojuzgada, vendida o simplemente alquilada por el poder, el dinero o la tecnología. Esta evaluación está comprometida con unos principios, con unos valores. El educador debe ser imparcial, pero no significa que sea asé ptico. Una postura desinteresada, no comprometida, distanciada del mundo cotidiano y de sus valores es “moralmente deficiente” (House, 1990).


Segundo Semestre 75

2. Cualitativa y no meramente cuantificable. Porque los procesos que analiza, cuando se trata de programas educativos, son enormemente complejos y la reducción a números suele simplificar la parte esencial de los mismos.

3. Práctica y no meramente especulativa. La evaluación que estamos definiendo

tiene por finalidad la mejora de programas a travé s de su comprensión, a travé s del conocimiento de su naturaleza, funcionamiento y resultados.

4. Democrática y no autocrática. Esta evaluación se pone al servicio de los

usuarios, no del poder. Cuando la evaluación está al servicio del poder produce efectos negativos.

5. Procesual, no meramente final. La evaluación que propongo se realiza durante el

proceso y no una vez terminado el programa. Por que es durante el mismo cuando se puede conocer lo que en é l sucede. Y porque durante su desarrollo se puede modificar y mejorar.

6. Participativa y no mecanicista. La evaluación de la que hablo da voz a los

participantes, no se realiza a travé s de pruebas externas y de análisis ajenos a la opinión de los protagonistas.

7. Colegiada, no individualista. Es un tipo de evaluación que asume un equipo y no

sólo un individuo. No porque la que se realiza por un equipo goza del aval del contraste, de la pluralidad de los enfoques, de una mayor garantía de rigor.

8. Externa, aunque de iniciativa interna. Son los propios participantes y usuarios los

que la demandan. Y para realizarla requieren la colaboración exterior, por considerar que desde fuera puede tomarse una perspectiva complementaria y puede trabarse en unas condiciones favorables para conseguir una información veraz.

Hablaré de la evaluación como un proceso de indagación sobre el valor

educativo de un programa, de su importancia, exigencias y significados. Para evaluar hay que comprender, dice taxativamente Stenhouse (1984).

Existen diversos modos de hacer inútil o perjudicial una evaluación. Incluso una

evaluación que ha sido solicitada por los protagonistas de un programa, supone las siguientes consideraciones: 1. Esperar que los resultados de la evaluación sean elogiosos para los responsables

de un programa que demanda voluntariamente una evaluación y las explicaciones poco gratas.

2. Atribuir las informaciones y las explicaciones poco gratas a la subjetividad del

evaluador o a la naturaleza cualitativa de la evaluación.


Segundo Semestre 76

3. Demandar de la evaluación los juicios de valor que permitan saber a los destinatarios y responsables del programa qué es lo que está bien o lo que está mal hecho.

4. Exigir a los evaluadores las orientaciones precisas para la mejora del programa, las

instrucciones concretas que provoquen un cambio o las soluciones a los problemas o conflictos existentes.

5. Poner los resultados de la evaluación al servicio de intereses, encontrando en los

evaluadores una excelente excusa para tomar decisiones sin el compromiso de su justificación auté ntica.

6. Utilizar la evaluación como una arma arrojadiza contra quienes piensan o actúan de

forma distinta o contraria, principalmente en el caso de que existan grupos enfrentados en el seno del grupo que desarrolla el programa.

La evaluación de programas educativos tiene, por lo tanto, la misión de ayudar a mejorar la calidad y la eficacia de la acción educativa, proporcionando la información necesaria para la toma de decisiones.

Propuesta de evaluación de programas educativos Parece claro que, en una filosofía como la aquí mantenida, los profesores deben partir de una radical concepción de superación profesional en el marco de la mejora personal, y que, desde tal punto de vista, la evaluación de sus propios programas, bien por sí mismos, bien en el marco del equipo de compañeros, bien, en su caso, por los responsables del Centro, puede aportar datos de extraordinario valor de cara a la optimización de su hacer profesional. Concepto de evaluación de programas La evaluación de programas es un proceso sistemático, diseñado intencional y té cnicamente, de recogida de información rigurosa valiosa, válida y fiable orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora tanto del programa como del personal implicado. De la definición nos resultan interesantes los siguientes elementos: 1. Ser un proceso sistemático, con ello se pretende salir al paso de concepciones

evaluativos improvisadas y sin continuidad. 2. Reconocer en tal proceso tres componentes diferenciados, aunque profundamente

interrelacionados.


Segundo Semestre 77

• El de recogida de información, que ha de ser rigurosa, valiosa, rica, matizada y

específica. • El de valoración de la información, tomando como base criterios y referencias

preespecíficas.

• El de la toma de decisiones: la evaluación en nuestro campo no es el momento final: se toman datos iniciales, de proceso y finales, pero de ellos derivan decisiones que inciden en la mejora de las demás actuaciones.

3. Orientarse no tanto al control y sanción social cuanto a la mejora de las personas, inicialmente de los educandos, pero, tambié n, de los propios profesionales. La mejora de los programas, su optimización, es un medio para el fin: el perfeccionamiento de las personas.

Los criterios de evaluación Criterio es la norma para juzgar o atribuir valor a una realidad. Son los criterios un elemento fundamental para poder valorar cualquier realidad educativa, desde un proyecto a un examen, pasando por la conducta de los alumnos o el clima escolar. A continuación se presentan algunos de los que pueden ser utilizados en los diferentes momentos y dimensiones que integran el modelo evaluativo de programas. Primer Momento El Programa en sí mismo A) Calidad intrínseca del programa El primero de los momentos, centrado en la calidad intrínseca del programa, alcanza una especial relevancia ante el potencial de mejora que representa tomar a tiempo, y por anticipado, las decisiones pertinentes. Criterios específicos para las diferentes dimensiones: 1. El contenido del programa. La valoración de esta primera dimensión encuentra en

la coherencia entre los contenidos y las bases socio-psico-científicas del programa el criterio fundamental. Tal coherencia presenta manifestaciones tales como la actualización, el equilibrio y la ponderación entre las partes, o la relevancia desde perspectivas como la demanda social, la utilidad y la funcionalidad, o el mismo valor formativo de los contenidos seleccionados.


Segundo Semestre 78

2. Calidad técnica. A tales criterios habrá que añadir el de su adecuación a los

alumnos a los que se destine; tal adecuación lo es tanto del programa, atendiendo a la diversidad, a las diferencias individuales por medio de objetivos diferenciados que toman en consideración los niveles de capacidad, los intereses y la motivación, cuanto de la metodología y medios a utilizar para el logro eficiente de las metas propuestas.

3. Evaluabilidad. El criterio fundamental para evaluar la Evaluabilidad es la

relevancia de la información disponible para tal finalidad. Una información insuficiente, incompleta o inadecuada no facilita en modo alguno la actividad evaluadora posterior.

B) Adecuación del programa al contexto Los criterios fundamentales para tomar la decisión a partir de esta evaluación radican en la coherencia interna entre los componentes y en la congruencia entre programas y necesidades-carencias. En el caso de programas a desarrollar en equipo, un buen criterio puede ser el grado de participación en la elaboración y/o el de implicación en la tarea. C) Adecuación a la situación de partida Entre los criterios utilizables podemos destacar los siguientes: 1. Realismo en las metas. 2. Suficiencia de apoyos logrados, cuando sean necesarios. 3. Capacitación del profesorado. 4. Disponibilidad de los medios necesarios. 5. Demanda de los interesados. Segundo Momento El Programa en su Desarrollo La valoración de la información recogida en esta segunda etapa puede realizarse a partir de tres grandes criterios fundamentales: 1. La conformidad, o la falta de ella, entre la planificación y el desarrollo. La

presencia de desfases significativos, la aparición de efectos no deseados o la constatación de resultados parciales, conformes o apartados de los previstos, se muestran como elementos clave.


Segundo Semestre 79

2. En el caso de los programas innovadores, un importante criterio a tomar en consideración es el grado en que el programa se incardine efectivamente en el Plan del Centro o en el Proyecto Educativo. Programas que no logran tal incardinación quedan, por lo general, como elementos residuales, como adherencias a la línea básica del centro, y no recogen ni la atención ni el apoyo imprescindibles. Si sus exigencias, metodología, actividades y valores resultan chocantes, incoherentes o alejados de la vida ordinaria del Centro, los resultados del programa pueden verse afectados.

3. La satisfacción del personal, aunque sea un criterio de naturaleza subjetiva,

tambié n puede convertirse en un elemento clave para valorar los datos a recoger. Tercer Momento El Programa en sus Resultados Los criterios para valorar varían según la dimensión objeto de evaluación: 1. Medida y logros. La medida de los resultados puede valorarse a partir de la

calidad té cnica de sus instrumentos, fiabilidad y validez de los datos; para ello han de ser coherentes con los objetivos planificados y con el proceso de enseñanza desarrollado, además de representativos de los verdaderos saberes alcanzados por los usuarios del programa. A esto es preciso unir la calidad, precisión y claridad de los criterios de calificación.

2. Valoración. Por su parte, los resultados mismos deben valorarse aplicándoles

diferentes referencias. Dos de las más importantes son los niveles conseguidos por el programa en ocasiones anteriores y los estándares internacionales, nacionales… tomados como baremos.

3. Continuidad. Por último, los criterios para valorar la dimensión de continuidad se

refieren a la implicación de los responsables, a la existencia de un sistema de control interno y a la elaboración de un plan de seguimiento.


Segundo Semestre 80

Propuesta de pauta para la evaluación interna de programas I. PRIMER MOMENTO I.1. CALIDAD INTRÍNSECA DEL PROGRAMA I.1.1. Contenido del programa

1. ¿Se ha explicado las bases científicas y socio-psicológicas del programa? 2. El tratamiento dado a los acontecimientos, temas o teorías. ¿es adecuado,

distorsionado, desequilibrado? 3. ¿Están actualizados o desfasados los contenidos? 4. Los contenidos incluidos, ¿se consideran relevantes desde perspectivas

científicas, sociales, psicológicas y pedagógicas? I.1.2. Calidad técnica del programa

5. ¿Se incluyen en el programa objetivos, actividades, medios entre ellos, la metodología y sistema de evaluación?

6. La formulación de los elementos anteriores, ¿es adecuada para orientar tanto la enseñanza como el aprendizaje?

7. ¿Se puede considerar que los objetivos son congruentes con los planteamientos científicos-curriculares, con las demandas sociales y con las características evolutivas de los destinatarios?

8. ¿Se da coherencia interna entre los diversos elementos del programa y de ellos en relación con los objetivos?

9. ¿Se da adecuación del programa a las características diferenciales: motivación, interé s, capacidad del alumnado?

I.1.3. Evaluabilidad

10. La información contenida en el programa de cara a su posterior evaluación ¿se considera suficiente, relevante y adecuada?

11. ¿Se dispone de información clara y precisa sobre aspectos metodológicos y de contenido del programa?

I.2. ADECUACIÓN AL CONTEXTO

12. ¿Se da un funcionamiento democrático, participativo e implicativo del centro, así como corresponsabilidad en las tareas?

13. Los profesores responsables del programa, ¿funcionan en auté ntico equipo? 14. ¿Se da cooperación con las familias cuando es necesaria para el desarrollo del

programa? 15. ¿Se dan reuniones con profesores de cursos anteriores de cara a la planificación

del nuevo programa?


Segundo Semestre 81

16. ¿Existen datos en el Centro sobre las necesidades y carencias de los alumnos? 17. ¿Se cuenta con sistemas de detección de necesidades y carencias del

alumnado, tales como pruebas de carácter diagnóstico, entrevistas… ? 18. ¿Se ha previsto un sistema de ajuste inicial a las carencias y dificultades

detectadas, tales como clases de recuperación, sistemas de monitores, etc.?

I.3. ADECUACIÓN AL PUNTO DE PARTIDA

19. ¿Responde el programa a demandas de los interesados? 20. ¿Están previstos los espacios, momentos en el horario, recursos y personal

necesarios para su desarrollo? 21. ¿Existen en el Centro los medios necesarios para un correcto desarrollo del

programa? 22. ¿Se encuentran capacitados los responsables para el desarrollo del programa? 23. ¿Está prevista la temporalización del programa? 24. ¿Se realizan reuniones del equipo de profesores responsables del programa? 25. ¿Se da entre el equipo de profesores, y en el Centro en general, un trabajo de

tipo cooperativo? 26. ¿Ha sido aprobado el programa por el equipo? 27. ¿Apoyan el programa el Claustro de profesores, los padres y demás personal

implicado/afectado?

II. SEGUNDO MOMENTO II.1. PUESTA EN MARCHA DEL PROGRAMA

28. La metodología utilizada ¿resulta adecuada para el desarrollo de los objetivos del programa?

29. ¿Muestran los alumnos interé s/motivación hacia las actividades del programa? 30. ¿Se aprecia corrección en la secuencia de las actividades programadas? 31. ¿Se detectan desfases significativos en la temporalización prevista? 32. ¿Se respeta la planificación en lo referente a espacios, tiempos, apoyos y

recursos? 33. Los niveles parciales de logro, ¿se consideran alejados de, o acomodados a los

propuestos. 34. ¿Se da rigidez/flexibilidad en la aplicación del programa.

II.1.1. El profesor en su actividad docente En la planificación de la actividad docente que va a desarrollar en el aula: 35. ¿Concreta los objetivos, los mé todos y los medios de aprendizaje? 36. ¿Precisa el tiempo destinado a las diferentes actividades de enseñanza?


Segundo Semestre 82

En la revisión de los conocimientos del alumno: 37. ¿Hace alguna prueba para conocer el nivel inicial de los alumnos en su

asignatura? 38. ¿Pregunta a los alumnos o resume las ideas fundamentales de la sesión

anterior?

En la presentación de los nuevos contenidos: 39. ¿Menciona las ideas más importantes del tema que va a desarrollar? 40. ¿Pregunta a los alumnos durante las explicaciones? 41. ¿Desarrolla la totalidad de los contenidos del tema en clase? 42. ¿Proporciona ejemplos de resolución de ejercicios correspondientes a los

nuevos contenidos? 43. ¿Orienta en la realización de actividades prácticas mediante ejemplos explicando

los pasos necesarios para su realización? 44. ¿Se anticipa a posibles errores? 45. Consigue, para el buen funcionamiento de la actividad docente…

• ¿Mantener la atención de los alumnos? • ¿Evitar discusiones fuera de contexto? • ¿Guardar un orden en las intervenciones?

En la evaluación de los alumnos:

46. ¿Explica los errores cometidos por los alumnos de un modo individualizado,

orientado para subsanar la causa de los mismos?

II.2. MARCO DE APLICACIÓN DEL PROGRAMA 47. ¿Se aprecian conflictos y tensiones entre el personal del centro que puedan

repercutir en el desarrollo del programa? 48. Las relaciones con el alumnado. ¿se pueden calificar de cordiales o de

problemáticas? 49. ¿Se detecta algún conflicto entre los objetivos y/o planteamiento del programa

con los del Proyecto Educativo o con los de otros profesores del equipo o del centro?

50. ¿Se da concordancia entre la organización y disciplina del aula en que se desarrolló el programa y el sistema organizativo y disciplinar del centro?

51. ¿Se da un clima de confianza en el é xito por parte de alumnos y profesores?


Segundo Semestre 83

III. TERCER MOMENTO: EVALUACIÓN FINAL DEL PROGRAMA III.1. MEDIDA Y LOGROS

52. ¿Se han tomado precauciones para asegurar la calidad té cnica de las pruebas

con que se aprecian los niveles de logro del programa? 53. ¿Se planificaron las pruebas, y demás instrumentos elaborados para la recogida

de datos, en el momento de diseñar el programa a fin de asegurar la máxima coherencia con los objetivos?

54. ¿Se recurre a té cnicas variadas de recogida de datos, acordes con la diversidad de objetivos?

55. ¿Se especificaron los criterios de calificación y de los niveles de logro del programa?

III.2. VALORACIÓN

56. ¿Se especificaron, de modo claro y preciso, los criterios y las referencias para valorar los resultados?

57. ¿Se aplican los criterios y las referencias de conformidad con las previsiones y con las exigencias té cnicas?

58. ¿Se dispone de información, rica y matizada, sobre los momentos inicial y Procesual del programa, como base para valorar los resultados?

III.3. CONTINUIDAD 59. El estilo imperante entre los responsables del programa, ¿es participativo y

colaborativo, o directivo y autoritario? 60. ¿Existe un proceso institucionalizado de evaluación, de forma que los resultados

se plasman en nuevos procesos programadores? 61. ¿Se asignan tareas concretas a los diferentes responsables de los cambios a

introducir?


Segundo Semestre 84

MODELOS EXTERNOS DE EVALUACIÓN “Ruiz Ruiz, José María 1997. Cómo hacer una evaluación de Centros Educativos Narcea, Madrid.” PLAN EVA El plan Eva surge como una necesidad de la Administración Educativa ya que, a raíz de la promulgación de la Ley de Ordenación General del Sistema Educativo (LOGSE), la evaluación de los centros escolares es prescriptiva y fundamental a la hora de generar la mejora constante de la calidad de la enseñanza. Estamos ante un modelo evaluativo que valora a los centros desde fuera, un modelo de valoración externa aunque no olvida mencionar entre los objetivos específicos del plan de evaluación propuesto, el de “Asesorar, estimar y apoyar las actividades de evaluación interna o autoevaluación de los centros”, lo cual parece querer decir que la implantación de la evaluación externa se intentará a travé s de la “objetivación de las subjetividades compartidas”, o por lo menos en un proceso de negociación en el que estas subjetividades son tenidas en cuenta. Si atendemos a esto último, el modelo conceptual del Plan de Evaluación trataría de situarse en un marco superador de la antinomia objetivo-subjetivo y se colocaría en la línea de los modelos eclé cticos (modelos en espiral). CARACTERÍSTICAS DEL MODELO El Plan Eva tras dos años de experiencias piloto (cursos 91-92 y 92-93) intenta ahora alcanzar un primer nivel de generalización para estar en condiciones, en cursos sucesivos, de presentar a la sociedad española una radiografía lo más completa posible del estado, expectativas y necesidades de la educación en España a travé s de la evaluación pormenorizada de sus centros escolares.

1) A nivel metodológico es reseñable que el Plan Eva defiende principalmente una evaluación cualitativa, participativa y democrática con todos los colectivos que con mayor o menor implicación profesional participan en la comunidad educativa.

2) A nivel instrumental es de reseñar la cuantía de é stos. Guías de análisis de

documentación del Centro, de entrevistas y reuniones a los diferentes órganos unipersonales y colegiados existentes en el centro, de observación de instalaciones y cuestionarios.

3) Ya hemos citado que los agentes de la evaluación van a ser los inspectores

de zona. Es de reseñar la potenciación que el Plan Eva da a la figura de la


Segundo Semestre 85

Inspección en el campo del asesoramiento a la comunidad educativa, de mediación responsable en conflictos de esta comunidad al convertir al inspector en un facilitador, relegado su tarea de controlador.

EL PLAN EVA APLICADO AL CENTRO ESCOLAR X Primera dimensión: Contexto La primera dimensión de estudio en el Plan Eva es el contexto. Este estudio se hace a travé s de dos fichas (sin contar la de Identificación del Centro). El estudio del entorno se aborda desde un contexto amplio (estudio del hábitat) a un contexto concreto (tamaño y características del centro). Estas subdimensiones las desarrolla en una serie de indicadores que son valorados mediante instrumentos concretos como entrevista y cuestionario al director del centro y visita de las instalaciones. En el centro objeto de estudio se definen muy claramente tres zonas socio-económico-culturales muy concretas: zona obrera, zona de clase media-alta y polígono industrial. Un dato socio-contextual importante que se cita en el informe del colegio hace referencia a una expectativa común a las familias que llevan a sus hijos a ese Centro, independientemente del nivel económico, y es la que enmarca el futuro de é stos en “los estudios” entendiendo por esto un futuro para sus hijos marcadamente acadé mico y, probablemente, el nivel de expectativas se refrende mayoritariamente en la entrada de los hijos en la Universidad y la consecución de un título de licenciado. Segunda dimensión: Recursos humanos y materiales El Plan Eva propone un estudio valorativo de los recursos a travé s de tres fichas de evaluación en las que se intenta hacer patente la situación laboral y grado de bienestar del personal laboral del centro como del Estado y utilización que se hace del mobiliario y el material didáctico y pedagógico. El personal docente del colegio tiene una media de edad entre 26 y 35 años, siendo mayoritariamente titulados medios, con una especialidad adecuada a la materia que imparten. Acudiendo a la ficha en la que se estudia el grado de satisfacción del personal docente por su trabajo podríamos decir que la mayoría del profesorado podría enmarcase en esa otra mayoría que opina que la formación inicial recibida no se adecua a la demanda que se ha encontrado en las aulas. En efecto según estudios sociológicos publicados en este mismo año y que hacen referencia al profesorado de la Comunidad de Madrid, casi el 60% de los encuestados consideraban deficiente esta formación inicial.


Segundo Semestre 86

La estabilidad del Claustro (como ocurre en muchos colegiados concertados) y la juventud del mismo nos hacen presuponer (el informe no indica nada al respecto) que el profesorado está potencialmente interesado en los proyectos de formación en los que el centro participe y proclive a mejorar el proceso educativo en la línea que predica la Reforma Educativa en el apartado de la investigación educativa, es decir, enfocar esa investigación hacia “una investigación bien informada y basada en la reflexión socialmente consciente” (Popkewitz, 1990). Tercera dimensión: Apoyos externos El Plan Eva estudia con una sola ficha y a travé s de tan sólo nueve indicadores las cinco subdimensiones propuestas como apoyo externo a los centros: servicio de Inspección, equipo psicopedagógico, centros de profesores, centros de recursos y otros recursos comunitarios. En la búsqueda de esta información las fuentes son únicas, no hay triangulación, o se consigue el dato a travé s del cuestionario al Equipo Directivo o al Profesorado. Por la categorización de las preguntas parece que esta triangulación es innecesaria. Cuarta dimensión: Alumnado El estudio valorativo que contempla el Plan Eva para el alumnado se concreta en dos fichas de evaluación que estudian seis subdimensiones: características personales, características socio-familiares, antecedentes escolares, aspiraciones y expectativas, autoconcepto acadé mico y motivación. En las tres primeras subdivisiones la información se obtiene por medio de cuestionarios al Director o al Secretario (de marco carácter cuantitativo), para las tres últimas subdimensiones (expectativas, autoconcepto y motivación) se recurre al cruce de información que proporciona el cuestionario pasado al profesor y el cuestionario pasado al alumnado. Quinta dimensión: Organización y funcionamiento Esta dimensión es, sin duda, la más importante y la que da una idea más precisa de la salud pedagógica de los centros. Casi la mitad de las fichas de evaluación del Plan Eva, en concreto 11 de 27, están dedicas a esta dimensión, valorándose en ellas: la programación, la gestión económica y administrativa, organización pedagógica (para los equipos, agrupamientos de alumnos, reglamentos de ré gimen interior y horarios y espacios), funcionamiento (del Equipo Directivo, de los órganos colegiados, de Equipos


Segundo Semestre 87

Docentes), participación de la comunidad educativa (padres y alumnos) y relaciones con la comunidad. De ellas prestaremos especial relevancia a las Organizaciones Pedagógicas y al funcionamiento de los Equipos Directivos, órganos colegiados y Equipos Docentes. Sexta dimensión: Procesos didácticos La Dimensión de Procesos Didácticos es, despué s de la Organización y Funcionamiento, la segunda en importancia en el estudio evaluativo propuesto por el Plan Eva. Se estudian seis subdimensiones: organización del aula, metodología, relación didáctica, evaluación, actividades de orientación y tutoría y actividades extraescolares. Al ser de especial relevancia el estudio de esta dimensión las fuentes de información son varias, apareciendo casi siempre en cada una de las seis fichas de evaluación como fuentes de información cuestionarios que se pasan tanto al Equipo Directivo como al profesorado y al alumnado, tambié n se tienen en cuenta las reuniones de los Equipos Docentes. Séptima dimensión: Rendimiento educativo La última dimensión del Plan Eva es la del Rendimiento educativo que se evalúa a travé s de tres fichas de muy diferente carácter, ya que la primera y la tercera (resultados acadé micos y tasas e índices) son de marcado carácter cuantitativo, mientras que la número 2 dedicada a la valoración de las actitudes es de marcado carácter cualitativo. Al igual que hemos dicho anteriormente en otro caso podremos pensar que el sistema educativo está cumpliendo los objetivos propuestos si en un corto espacio de tiempo consigue que la ficha de evaluación de actitudes sea cumplimentada tanto por el alumnado como por el profesorado con valores cercanos al 5. Informe final Como el documento propuesto para analizar el Plan de Evaluación de Centros Docentes (Plan Eva) era la Radiografía de un Centro Escolar, este tan sólo nos puede servir de excusa para resumir lo que puede ser un documento de trabajo y de reflexión válido dentro del nivel evaluativo que se nos propone. Un informe será valioso cuando “no haga patente lo obvio”… “Queremos significar con esto que debemos desterrar de nuestra conciencia profesional documentos evaluadores basados en la rutina que no aportan nada a nuestro quehacer


Segundo Semestre 88

cotidiano, sino documentos en los que los elementos de reflexión que se contemplen sean como “pozos de petróleo”, es decir sitios de donde se puede sacar nueva energía para ir más allá”. “La evaluación debe ser un proceso de conocimiento” (Autores varios. 1993). Un informe será valioso si no va “a cortar cabezas”. Si no se convierte en un arma arrojadiza entre colectivos (padres, profesores, inspección, Equipo Directivo) o entre elementos de un mismo equipo (entre ciclos, entre profesores de un mismo ciclo o nivel). Cuando es respetuoso con las limitaciones o carencias y con los errores de los profesionales y de los demás implicados en la comunidad educativa, como único medio de superación de gran parte de esos errores y carencias. EVALUACIÓN DE PROGRAMAS: Un programa universitario de Organización Escolar

La evaluación de programas educativos no puede realizarse ajena a la cultura organizativa del centro en el que se desarrolla. Los programas emprendidos por un colectivo reproducen las formas en que aquellos entienden la realidad sobre la que pretenden incidir. En esta línea, Municio Fernández, establece cuatro tipos de programas que responden a cuatro estilos de cultura, distintos en función del grado de participación de las personas en la dinámica del centro y de la aceptación de los valores institucionales comunes.

Así, nos habla de “programas satisfacientes”, para referirse a aquellos que se

emprenden en organizaciones en las que no hay unos valores comúnmente aceptados por sus miembros y la participación de é stos en la dinámica del centro es escasa. Los “programas políticos” para referirse a aquellos que son los emprendidos en organizaciones cuya cultura se caracteriza por la carencia de valores institucionales aceptados por la mayoría y una alta participación en la dinámica de la organización, en función de valores individuales y grupales. Los “programas optimizadores” haciendo alusión a los que se caracterizan por su orientación hacia el futuro. El cambio y la innovación son los medios para un desarrollo evolutivo de las instituciones acorde al que experimenta la realidad entorno. Por último, los “programas integradores” confían el é xito a las personas y no al programa diseñado. Las personas son esenciales para alcanzar el futuro en cualquier proceso de cambio. CONCEPTUALIZACIÓN DEL MODELO

Como consecuencia de todo esto, en la evaluación de programas y centros se plantea la necesidad de recurrir a indicadores diferentes que midan lo que en cada caso es la esencia de esa cultura. Cada componente es un indicador de calidad que aisladamente no es representativo pero cobra sentido en la medida en que puede interpretarse dentro de un conjunto coherente como es el modelo cultural.


Segundo Semestre 89

Modelos de evaluación de programas Básicamente pueden distinguirse tres posiciones o posturas epistemológicas claras que utilizan distintos caminos metodológicos para abordar investigaciones evaluativos (García Ramos, 1992):

a) Naturalista-cualitativo-fenomenológico: Representados por autores como Stake, Parlett, Hamilton, Patton, Guba, Eisner, etc., parten de una base filosófica fenomenológica, toman como base disciplinar la sociología y la antropología y definen sus objetivos de investigación en té rminos de descripción general del programa y siempre desde la perspectiva de los participantes. Consideran equivocada la aplicación del mé todo experimental al campo de los fenómenos sociales. Consideran que las variables independientes no pueden aislarse y manipularse sin modificar contextos y circunstancias naturales. Proponen una evaluación de programas y centros educativos en sus contextos naturales, utilizando recursos metodológicos de observación y descripción (etnografía, estudio de casos, observación participante, triangulación, etc.)

b) Experimental-cuantitativo-racional: Toman como base disciplinar la

Psicología Experimental y Pedagogía Experimental y definen sus objetivos de investigación en té rminos de búsqueda e identificación de relaciones causales entre variables. Los recursos metodológicos fundamentales son los derivados del mé todos experimental (diseños experimentales y cuasiexperimentales), intentando garantizar la validez interna (control) y externa (capacidad de generalización) de los estudios evaluativos a los que aplican té cnicas de aleatorización, instrumentos de medida fiables y válidos con los que obtener datos de naturaleza cuantitativa. Las té cnicas de análisis suelen ser mé todos estadísticos rigurosos.

c) Ecléctico: Representado por autores como Cronbach, Rein, Schuman, etc.

defienden la utilización del enfoque experimentalista, pero modificado (hacia el pragmatismo) con elementos del enfoque descriptivo naturalístico. Sus objetivos metodológicos van en la línea de aumentar la evidencia a travé s de la búsqueda de relaciones causales, estudio de procesos y de datos de contexto, etc. De ahí que utilicen todo tipo de recursos metodológicos útiles, desde diseños cuasiexperimentales hasta estudios de casos, estudios descriptivos y observación participante.

La evaluación de programas educativos, sea cual sea el modelo que se adopte,

debe aportar la información necesaria para tomar decisiones respecto a:

1) La implantación de un programa. 2) Las modificaciones del programa mientras este se lleva a cabo. 3) La continuación, expansión o certificación de un programa. 4) La comprensión de los procesos psicológicos, sociales, etc.


Segundo Semestre 90

Aplicación práctica PROPUESTA DE LA NECESIDAD DE LA EVALUACIÓN APLICACIÓN DE LOS INSTRUMENTOS TRATAMIENTO DE LA INFORMACIÓN Primera fase: El programa en sí mismo

I) Calidad intrínseca del programa. En este primer epígrafe, nos corresponde evaluar el programa tal y como fue propuesto al principios de curso independiente de la implementación del mismo y de los logros alcanzados.

II) Adecuación al contexto. Este apartado hace referencia al programa en sí

mismo, en relación con las necesidades del alumnado. El primer punto planea la existencia o no de un sistema de identificación de las necesidades de formación.

III) Adecuación a la situación de partida. En este último punto de la primera parte

se valora la viabilidad del programa. Es decir, si hay una adecuación del mismo a las condiciones del centro y del grupo, y si el profesor está suficientemente capacitado en las té cnicas para dar respuesta a las necesidades y dificultades de aprendizaje.

Segunda fase: Desarrollo del programa En esta fase el interé s del Equipo de Evaluación se centra no en lo planificado, sino en lo llevado a la práctica.

I) Ejecución. Se refiere a las actividades realizadas. El primer indicador alude al interé s y motivación evidenciados por los alumnos. Las actividades que más interé s han despertado, sin embargo, han sido los trabajos en pequeños grupos orientados a buscar soluciones prácticas a casos problemáticos que acontecen con frecuencia en la realidad escolar. Esta actividad colabora a activar los conocimientos, no sólo organizativos sino tambié n didácticos y psicopedagógicos, y en definitiva a integrar informaciones buscándoles una aplicación efectiva en la práctica.

El siguiente epígrafe es el referido a la secuencia, concretamente a si el

desarrollo del programa se realizó en los tiempos previstos o hubo rupturas en la secuencia.


Segundo Semestre 91

Otro aspecto de la ejecución es el tiempo. Pensamos que el tiempo ha respondido a las previsiones hechas en el programa. Consideramos el programa excesivamente denso en cuanto a contenidos y ambicioso en los objetivos.

Por último hemos de referirnos al clima de relaciones en el que se ha

desarrollado el programa. Una de las aproximaciones a la medida del ambiente es a travé s de la descripción de las relaciones profesor-alumno y alumno-profesor, así como del tipo de estructura organizativa del aula (Moos y Trickett, 1974).

a) El “dominio de relaciones”, que incluye los aspectos afectivos de la interacción profesor-alumno y alumno-profesor.

b) El “dominio de crecimiento personal o de orientación” hacia las metas, que se refiere al funcionamiento específico del ambiente de clase.

c) El “dominio de sistema de mantenimiento y cambio” que se relaciona con las normas y reglamentos que marcan las innovaciones de la clase y del profesor.

Tercera fase: Evaluación de los resultados Creemos no estar en condiciones de evaluar la eficacia del programa, en lo que a resultados se refiere, ya que no disponemos de los datos necesarios y en lo referido a los objetivos logrados por los alumnos, la variabilidad es la nota característica y no cabe establecer conclusiones generales compartidas por todos. Informe final En té rminos generales consideramos que el programa está bien diseñado, aunque puede mejorarse en algunos aspectos. A nuestro juicio, la parte a la que debe prestarse más atención es la referida a la implementación del mismo. A continuación, a modo de síntesis, exponemos sucintamente una serie de recomendaciones que en nuestra modesta opinión colaborarían a mejorar la calidad del programa respecto al criterio de adecuación al alumnado: A) El programa en sí mismo Respecto a los contenidos

- Sería conveniente revisar los contenidos del programa, sobre todo los tratados en el primer trimestre, y en general establecer los bloques considerados de interé s prioritario, de cara a las necesidades de formación del alumnado.


Segundo Semestre 92

- Consideramos importante tener más en cuenta los intereses y motivaciones de los alumnados para establecer estas prioridades. Dado que este interé s no puede surgir del desconocimiento, sería preciso que durante una o dos sesiones fueran presentados resumidamente cada uno de los bloques de contenido. De esta forma, la elección se realizará con base a algo concreto.

Respecto a la calidad técnica

- La prueba utilizada para el diagnóstico de conocimientos previos, dada la relevancia de la información que aporta, podría ser más extensa y de carácter objetivo. Pensamos que aportaría una información más concreta y aprovechable.

- Mejorar el feed-back informativo en la evaluación. La corrección conjunta de las pruebas objetivas y la revisión individual de las mismas colabora a aislar los errores cometidos para aprender de ellos. El feed-back no debería limitarse a los objetivos de conocimiento o instructivos, sino que debe responder a otros aspectos tenidos en cuenta en la evaluación final, tales como el nivel de participación, preparación de los temas, aspectos formales, etc.

- Mejorar la prueba objetiva aplicada en febrero. Modificar el formato dedicado a preguntas cortas, dejando que cada uno utilice el espacio que necesite, dentro de unos límites (uno o dos folios). Suprimir la última parte dedicada a completar las frases incompletas.

B) Desarrollo del programa Respecto a las actividades

- Plantear las sesiones dedicadas a exposiciones magistrales de forma siempre abierta, animando a la participación y recurriendo a cuestiones prácticas, de interé s para el alumnado. El equilibrio está en no sobrecargar las sesiones con excesivos contenidos, ni permanecer más tiempo de lo necesario en ciertos temas.

- Plantear más sesiones de trabajo en pequeño grupo, dejando bien claros los objetivos y procedimientos a seguir, asegurándose de que no quedan dudas.

- Respecto a los trabajos de curso, creemos necesario que se aporte más información que oriente a la elección de un tema, proponiendo algunas alternativas que puedan resultar de interé s, por lo experimentado en otros cursos, aunque permitiendo la elección libre de otros temas.

- Con relación a los dossier optativos, consideramos de utilidad dedicar una o varias sesiones a presentar en clase una bibliografía comentada, en la que se destaquen las ideas fundamentales de algunos autores, de forma que se anime a retomar o criticar alguna de ellas, constituyendo estas un posible punto de partida para la realización del dossier en una línea determinada.


Segundo Semestre 93

Respecto a la secuencia

- Sería conveniente que sí, por cualquier circunstancia, fuera necesario dejar algún tema para dar prioridad a otro, esta decisión fuera tomada de forma consensuada en el grupo.

- Creemos que es necesaria una mayor flexibilidad respecto a la fechas de entrega de dossier y trabajos, en función de la marcha del propio curso y de las circunstancias que lo pueden condicionar. Prefijarlas desde el principio de curso no nos parece lo más acertado. Esta actitud debe hacerse extensible al grupo.

Respecto al clima

- Lograr un clima de aceptación y de confianza, resulta, según hemos podido comprobar, de fundamental importancia para la buena marcha del grupo. Sería indicado, sobre todo al principio de curso, realizar alguna dinámica orientada a dar más cohesión al grupo mejorando la comunicación y el conocimiento de los miembros participantes.

MODELO DE AUDITORIA CONCEPTUALIZACIÓN DEL MODELO El modelo de auditoria es un enfoque de evaluación muy utilizado en la empresa privada, siendo especialmente adecuado a centros educativos para su evaluación por los profesionales. Sin embargo, puede ser utilizado por los órganos de gobierno de los centros tanto unipersonales como colegiados, con las adaptaciones pertinentes. Este modelo está siendo utilizado en los centros educativos por la gran diversidad de centros no universitarios y por la modificación del sistema educativo español desde que se aprobó la L.O.D.E. (1985). Su finalidad, no es sólo de control sino de diagnóstico, pronóstico y facilitación en la toma de decisiones. Los factores clave de este enfoque son la planificación exhaustiva del trabajo, máximo aprovechamiento de la información acumulada anteriormente, máximo interé s por comprender la estructura del centro, utilizar pruebas y procedimientos variados de información, aconsejar y emitir un informe a las autoridades. El modelo de auditoria puede cumplir en los centros donde se aplica las siguientes funciones:

- Reflexión sobre el trabajo que se está realizando en el Centro. - Diagnóstico del Centro. - Pronóstico del Centro. - Orientación y asesoramiento a los órganos directivos del Centro. - Reorientación de las estrategias y actividades que se llevan a cabo en el Centro.


Segundo Semestre 94

- Control de la institución escolar donde se realiza. - Evaluación objetiva de la institución escolar. - Expresión clara del rendimiento global del Centro.

La evaluación tipo auditoria, se llevará a cabo a travé s de una solicitud de procedencia externa o del mismo centro, con la finalidad de valorar la eficiencia y eficacia del centro educativo en su aspecto económico, de organización y de funcionamiento.

La eficiencia en los centros educativos vendrá determinada por una capacidad

organizativa articulada por los siguientes elementos:

- Personal docente y no docente. - Material didáctico. - Instalaciones - Recursos económicos. - Programas escolares. - Departamento y equipos de enseñanza. - Mé todos y procedimientos. - Té cnicas didácticas: participación y disciplina escolar.

Su eficacia en Centros educativos, consistirá en una gestión por objetivos

relacionados fines y medios, utilizando la té cnica de presupuestos por programas, que consiste en asignar a un programa unos recursos humanos, materiales y financieros, un marco racional para la gestión y, por último, un marco de seguimiento y control.

Concluimos con la afirmación de que el control de eficacia vendrá determinado

por un conjunto de actividades que tienen por objeto examinar y valorar resultados, analizar desviaciones y decidir las medidas correctoras necesarias; y con el control de eficiencia se pretende realizar un examen crítico sobre la organización y funcionamiento del sistema de acuerdo a criterios organizativos basados en elementos personales, materiales y funcionales del sistema. CARACTERÍSTICAS Una característica de este modelo es la adaptabilidad al sistema educativo vigente, teniendo en cuenta que es una evaluación externa de enfoque centrado en coste-beneficio. La auditoria debe llevarse a cabo por una persona o personas que tengan formación té cnica y capacidad profesional además de una actualización permanente de sus conocimientos. Por último, la auditoria tiene un carácter multidisciplinar, ya que para su aplicación en centros educativos parecen necesarios expertos en organización de


Segundo Semestre 95

centros, en evaluación de programas, en administración y legislación educativa, en contabilidad… etc. Teniendo en cuenta é stas características y en función de los objetivos que se pretende conseguir existen cuatro tipos de auditoria:

1. Auditoria financiera: Cuando se pretende determinar si a juicio del auditor la información financiera se presenta adecuadamente, de acuerdo a los principios contables que le son aplicables al efecto.

2. Auditoria de cumplimiento: Cuando se pretende determinar si se ha cumplido

con la legalidad vigente en la gestión de los fondos públicos.

3. Auditoria de eficiencia y economía: Cuando se pretende evaluar si la gestión

de los recursos públicos se ha desarrollado de forma económica y eficiente, con el menor coste posible.

4. Auditoria de eficacia, resultados o programas: Cuando se pretende evaluar el

grado de eficacia, entendida como alcanzar de manera satisfactoria los objetivos programados.

SITUACIONES INSTITUCIONALES EN QUE SE ACONSEJA SU APLICACIÓN Los objetivos que se demandan para una intervención del modelo de auditoria serían los siguientes:

- Información financiera presentada con desajustes, en base a unos principios contables que le son aplicables al efecto.

- Incumplimiento de la legalidad vigente en la gestión de los fondos públicos. - Gestión de recursos públicos desarrollada de forma costosa y deficiente. - Eficacia entendida como manera poco satisfactoria para alcanzar los objetivos

programados, que en muchos casos se convierte en una mala eficacia y por consiguiente un incumplimiento de los objetivos.

PROPUESTA DE LA NECESIDAD DE LA EVALUACIÓN La demanda de la evaluación auditora en el Centro X (privado concertado) fue realizada por la Junta económica de dicho centro. La idea de esta evaluación auditora, surgió de las necesidades del centro, que tanto padres como alumnos y profesores pedían que se paliase. Algunas de las carencias de este centro según dichos sectores son: ampliación de las opciones en materias escolares, renovación de las instalaciones y el material del gimnasio, mejoramiento de las clases de educación física, contratación


Segundo Semestre 96

de un profesional para dichas clases, mejoramiento de la megafonía del centro, renovación del mobiliario de las aulas de segundo ciclo de educación primaria, soluciones eficaces para el fracaso escolar, etc. Por todo esto se pide una auditoria del tipo integral en la que se obtenga información sobre control financiero y legal, eficiencia y eficacia de los resultados de los programas. Para verificar la adecuada estructura en la que se articula el centro necesitamos conocer:

- Plan de Centro, Proyecto Educativo de Centro, Proyecto Curricular de Centro, Memoria…

- El Reglamento de Ré gimen Interno en todos sus apartados y epígrafes. - El funcionamiento real in situ de la disposición teórica.

Para ello seleccionamos pruebas significativas y diversas de dicho reglamento y

reclamamos el derecho legal para su comprobación. Esto implica:

- Asistencia a todo tipo de reuniones. - Acceso a cuantos documentos fuera necesario. - Asistencia a sesiones del gabinete psicopedagógico y revisión de los procesos

que tienen lugar con disponibilidad, siempre que sea necesario, de acceso a historiales y expedientes.

- Asistencia durante las horas lectivas, pudiendo acudir un miembro de la auditoria en calidad de mero observador o acompañado de un grupo de personas pertinentes con el fin de que levanten acta.

La cualificación notificada en expediente de los profesores que trabajan en la

empresa, deberá someterse a comprobación, a travé s de dos procedimientos:

- Cotejo de dicha información con la recogida en el M.E.C. - Trato directo con el profesional en diversas modalidades de entrevista (de

informal a formal) en la que el perito encargado del equipo auditor evaluará la formación del docente.

Nuestro objetivo va a ser comprobar a travé s del P.E.C. los logros del centro.

Como no tenemos acceso a ese documento, extraeremos lo esencial de la información que nos han proporcionado y que es:

- Promover la formación integral de los alumnos y alumnas de acuerdo a una concepción cristiana del hombre, de la vida y del mundo.

- Participar activamente en la transformación y mejora de la sociedad.


Segundo Semestre 97

Los controles que vamos a realizar incluyen:

- Controles de supervisión: Consistirán en revisar la aprobación final de los documentos elaborados por los distintos estamentos de la organización, conocimiento y valoración del funcionamiento y resultados en distintos aspectos.

- Controles de separación de funciones: Consejo Escolar: Escolarización: Aplicar baremos y criterios del Consejo Escolar. Economía: Preparar presupuesto del centro y seguimiento. Evaluación: Coordinar, preparar informe para la memoria anual. Extraescolar: Elaborar anteproyecto de actividades. Convivencia y Disciplina: Resolver asuntos en materia menos grave. Recursos: Recibir y proponer al centro iniciativas y peticiones de resolución. Permanente: Asistir al Equipo Directivo en asuntos urgentes. Claustro: Programación de ciclos: Programación de objetivos educativos por niveles y ciclos. Cultura: Programación de actividades culturales. Deportes: Planificación y organización de actividades deportivas. Relación con otros estamentos: Contactos puntuales para resolver asuntos de interé s común. Renovación pedagógica: Planificación y desarrollo de programas experimentales. Director: Responsable de comisiones del Consejo Escolar: Presidir y coordinar cada comisión. Equipo Directivo: Dirección y coordinación del proceso curricular. Jefe de Estudios. Secretario: Responsables del departamento de recursos: Coordinación y elaboración de propuestas y anteproyectos té cnicos. Coordinadores de etapas y ciclos: Coordinación y conducción de reuniones, presentaciones de propuestas, alternativas, iniciativas. Jefes de otros departamentos: Coordinación y elaboración de propuestas y anteproyectos té cnicos.


Segundo Semestre 98

A.P.A.: Asistencia: Asistir a los padres en el ejercicio de un derecho a intervenir en el control de los centros sostenidos con fondos públicos. Colaboración: Colaborar en actividades educativas del centro. Participación: Promover la participación de los padres en el centro y su representación en los Consejos Escolares y otros órganos colegiados. Asociación de alumnos: Colaboración con el centro: Colaborar en la labor educativa y en las actividades extraescolares o complementarias. Participación: Participación en los órganos colegiados del centro pudiendo dar su opinión. Asistencia: Asistir a los alumnos en el ejercicio de sus derechos a intervenir en el control y gestión del centro. Gabinete psicopedagógico: Coordinar: Coordinar la actividad tutorial, a los profesores de apoyo, otros especialistas y a los equipos psicopedagógicos de la zona. Orientar: Orientación psicológica, profesional y escolar a los alumnos. Participar con el centro: En la fijación de objetivos educativos por niveles y ciclos. Asesoramiento: Al profesorado y tutor, facilitando tambié n la transición de los alumnos entre etapas. Información: A las familias. Controles de custodia: Vigilar que las exigencias, documentos importantes y recursos tecnológicos esté n en salas con seguridad.

Además vamos a realizar una serie de pruebas para comprobar si se alcanzan los objetivos mínimos marcados para cada componente. Consejo Escolar:

- Pruebas de representación: Conversaciones y entrevistas con las personas que componen é ste órgano.

- Pruebas de documentación: Revisión y comprobación de la documentación elaborada por el consejo.

- Pruebas de observación: Asistir a varias reuniones y tomar notas sobre las regularidades e irregularidades.


Segundo Semestre 99

A.P.A. y Asociación de Alumnos:

- Asistir a varias reuniones de padres y registrar lo que acontece (regularidades e irregularidades, clima… ).

Gabinete psicopedagógico:

- Pruebas de representación: Realizar conversaciones y entrevistas con los representantes del gabinete, de forma que se revisen cuáles son sus objetivos y responsabilidades.

- Pruebas de documentación: Revisar y comprobar las pruebas que pasan, los informes y seguimientos de los alumnos, revisar qué tipo de documentación elaboran para asegurar y formar a los tutores.

Equipo Directivo:

- Pruebas de representación: Realizar conversaciones y entrevistas con los representantes del Equipo Directivo.

- Pruebas de documentación: Revisar la contabilidad, presupuestos, relaciones con otras instituciones, circulares internas, documentos institucionales, actas,… etc.

Claustro:

- Pruebas de representación: Conversaciones con el Claustro. - Pruebas de documentación: Revisión de actas. ERPAS, estadísticas de los

resultados de los alumnos, revisar los anecdotarios de los profesores,… etc. - Pruebas de observación: Asistencia a alguna reunión del Claustro.

La finalidad del control interno consistirá en comprobar los documentos base del

centro, así como revisar si existe coordinación entre los distintos sectores representativos de la comunidad escolar, si hay coherencia interna respecto al ideario del centro, objetivos generales, y en suma, en todo lo referente a los contenidos de todos los documentos elaborados.

Para ello, elaboramos un cuestionario, además de las visitas que se describen

más adelante. Se va a ejecutar la evaluación del centro mediante un seguimiento del mismo (cuatro visitas a lo largo del año escolar).

La primera visita se realizará a principios de curso y con ella se tratará de

observar y anotar los objetivos:


Segundo Semestre 100

- Promover la formación integral de las alumnas de acuerdo a una concepción cristiana del ser humano, de la vida y del mundo.

- Participar activamente en la transformación y mejora de la sociedad. Igualmente se iniciará la aplicación de algunos instrumentos:

- Controles de custodia. - Es conveniente que en la primera reunión del Consejo Escolar (Septiembre-

Octubre) el cuestionario sobre el funcionamiento del centro será contestado por cada uno de los miembros del Consejo.

- Estudiar el Reglamento de Ré gimen Interno. - Analizar el Proyecto Educativo del Centro. - Comprobar la necesaria formación permanente del profesorado. - Asegurarse del buen funcionamiento de la Asociación de Padres de Alumnos.

Continuando con el seguimiento del centro, se realizará una segunda y tercera

visita para comprobar si han sido subsanadas o no las anomalías existentes y si han sido cumplidas las recomendaciones y algunos de los objetivos planteados a principios de curso.

Para esta segunda y tercera visita se señalan los siguientes fines:

- Comprobar la existencia de una asociación de alumnos fuerte, activa y

participativa. - Observar la coordinación entre las etapas analizando las actas de las distintas

reuniones mantenidas a lo largo de é ste período escolar. - Informarse acerca de la coordinación gabinete psicopedagógico-resto de la

comunidad escolar (profesores, alumnos y padres). - Vigilar que las actividades escolares y extraescolares esté n en consonancia con

el ideario del centro. - Constar la formación continua del equipo de profesores. - Confrontar la buena coordinación del profesorado mediante el análisis de las

actas de los claustros (mensualmente). TRATAMIENTO DE LA INFORMACIÓN

Durante una reunión ordinaria del Consejo Escolar hacemos acto de presencia en el orden del día. El motivo de nuestra introducción en dicha reunión es la consecución de un consenso y acuerdo de todo el personal inscrito en el centro, con la pretensión de asesorar, así como recibir el máximo de cooperación por parte de todos, evitando resquemores y suspicacias.



El equipo de auditoria estará formado por:

- Un experto en organización y legislación escolar (pedagogo). - Un especialista en currículos. - Un economista.

Actualización de la información 1. ASPECTOS ADMINISTRATIVOS

El responsable de la organización administrativa es el Equipo Directivo (secretario).

La documentación administrativa en el centro es la siguiente:

Alumnado:

- Expediente personal del alumno. - Libro de registro de matrículas. - Libro de registro de Libros de Escolaridad. - Actas de Evaluación. - Actas de Prueba de Madurez de Graduado Escolar. - Propuesta de expedición de Títulos de Graduado Escolar. - Propuesta de expedición de Certificados de Escolaridad. - Libro de registro de Graduado Escolar. - Libro de registro de Certificados de Escolaridad. - Libro de Escolaridad. - Fichero. - Registro de accidentes.

Profesorado:

- Registro de asistencia. - Ficha individual (Fichero). - Registro de incidencias.

Personal no docente:

- Fichero. - Registro de incidentes.

Padres:

- Censo. - Fichero: Consejo Escolar, Junta de A.P.A., vocales de Curso,

Responsables de actividades extraescolares.



Carácter general: - Libro de Entradas y Salidas. - Actas de los órganos colegiados y Té cnicos pedagógicos. - Proyectos Educativos anuales. - Memorias de cada Curso. - Libro de visitas de Inspección.

2. ASPECTOS DE RECURSOS PERSONALES Los órganos de gobierno del colegio son:

- Unipersonales: Director, Jefe de Estudios y Secretario. - Colegiados: Consejo Escolar y Claustro. - Órganos de coordinación docente: Equipo de Ciclo, Comisión de Coordinación

pedagógica y tutores. - Personal no docente.

3. ASPECTOS MATERIALES

En la primera toma de contacto con el colegio, se percibe el defectuoso estado de la infraestructura del edificio. Sería conveniente renovar el gimnasio y su material.

En lo referente al mobiliario es suficiente en educación infantil y primer ciclo de

primaria, aunque no es adecuado ni suficiente para los ciclos superiores. Habría que dotar de material didáctico a la educación infantil; en los restantes

ciclos el material podría ser mejorado pero es suficiente. Se recomienda actualizar la biblioteca tanto de centro como de aula.

4. ASPECTOS ECONÓMICOS

El instrumento para la organización y gestión económica del centro, es el presupuesto económico. Su elaboración corresponde a la Comisión económica del centro con participación del Equipo Directivo. Corresponde al Consejo Escolar:

- Aprobar a propuesta del titular el presupuesto del centro. - Proponer a la administración autorización para recibir percepciones por

actividades extraescolares.



Informe final Partimos de la percepción que tenemos del centro y elaboramos una relación de síntomas positivos y negativos en cuanto a la eficacia del funcionamiento correcto del control interno. SÍNTOMAS POSITIVOS

- Existencia de un Reglamento de Ré gimen Interior que sea completo, útil, claro en su redacción, concreto, participativo, conmensurado, realista y flexible… que no sea un reglamento únicamente disciplinario.

- La existencia de suficiente coordinación y comunicación entre los diferentes componentes del centro de forma que haya un seguimiento diario y un control de problemas.

- La existencia de reuniones periódicas de cada estamento y de diferentes estamentos… para facilitar controles puntuales internos que nos indiquen las situaciones que se van a dar, tanto positivas como negativa; y con respecto a esto, programar soluciones mejores.

- La existencia de estudios internos que faciliten la innovación educativa en todos los aspectos.

- Existencia de un PEC adecuado al contexto. - Existencia de un Proyecto Curricular adecuado y diversificado según las

necesidades de los alumnos. - Existencia de especialistas y equipo de apoyo necesarios. - Existencia de un equipo de profesionales docentes bien cualificados, completo,

en permanente formación, que esté en contacto con los cambios que se producen en las investigaciones, en el sistema educativo y en la sociedad.

SÍNTOMAS NEGATIVOS

- Falta de recursos. - Aprovechamiento inadecuado de los recursos existentes. - Quejas repetitivas de los distintos estamentos educativos. - Quejas en cuanto al fracaso escolar. - Falta de conciencia ante las demandas que ofrecen las nueva corrientes

educativas y la consiguiente y necesaria formación permanente. - Carencia de un órgano asociativo que represente a los estudiantes. - Ausencia de actividades extraescolares. - Poner impedimentos al trabajo del auditor.



CAPÍTULO 5

Evaluación de Instituciones y programas Educativos

La Evaluación Cualitativa del currículo



EVALUACIÓN DE INSTITUCIONES Y PROGRAMAS EDUCATIVOS “Flores Ochoa, Rafael 1999. Evaluación pedagógica y cognición. ¡Las Estructuras tambié n tienen la culpa! Mc Graw Hill, Colombia.“ ¡Las estructuras también tienen la culpa! Cada bando de profesores defiende sus argumentos y los matiza con cuestionamientos cada vez más globales que apuntan a la estructura misma de sistema educativo. Se debate, entre muchos otros puntos la responsabilidad de las instituciones que impiden que los profesores sean innovadores en sus mé todos pedagógicos pues la intensidad acadé mica de los docentes es muy exigente y no les da la posibilidad de pensar en otras formas de enseñanza. Los profesores no son tradicionales, es la universidad, es su estructura, y no por azar sino porque su misión oficial es reproducir la sociedad y la cultura tradicionales. Formar profesionales para desempeñarse en un oficio y nunca pensar, ni cuestionarse ni crear conocimiento nuevo a pesar de que plantee la investigación. El actual currículo forma aplicadores de conocimiento, no creadores, esa es una dramática conclusión. Los estudios de evaluación institucional presentan aspectos de análisis cualitativos, aunque los dos enfoques más clásicos que van a describirse a continuación, el enfoque de la teoría de sistemas y el enfoque de procesamiento de información para la toma de decisiones, están muy cerca del funcionalismo sociológico y del positivismo medicionista que definen los propósitos y metas institucionales como dispositivos para mantener en equilibrio social y conservar el statu quo en las estructuras sociales mediante el ajuste y la adaptación de las instituciones escolares a las expectativas y a la ideología social dominante, y al desempeño laboral esperado de sus egresados. 1. La evaluación educativa como análisis de sistemas La investigación clásica se propone suministrar conocimientos nuevos, leyes generales que permitan formular juicios válidos acerca de algún fenómeno. Su metodología, encaminada a este propósito, conduce al manejo de variables estrictamente controladas, asilándolas de aquellas que se consideran espurias para el experimento: su criterio de evaluación es el grado de ajuste a las reglas del mé todo científico. El científico o de la medicina podría asegurar que una operación fue exitosa, aunque el paciente haya muerto al salir de la cirugía.



La evaluación educativa es una indagación aplicada que se propone determinar el grado en que una organización o programa logra satisfacer las necesidades y alcanzar sus objetivos, o la efectividad de una institución en la aplicación de los conocimientos científicos. A continuación se definen algunos té rminos generales de la teoría de sistemas: La evaluación institucional se define como el estudio interdisciplinario de una organización o conjunto de organizaciones con el fin de mejorar su desempeño o actuación con relación a sus objetivos. Se entiende por sistema el conjunto de elementos interrelacionados e interactivos, organizados para lograr un propósito común. El análisis de sistemas es la aplicación de la teoría para hallar en un sistema particular componentes, interacciones y funciones como parte de su participación en el proceso de búsqueda y realización de su propósito. La estabilidad del sistema es el estado de equilibrio que es el proceso que mantiene los elementos interactuando en armonía interna. La retroalimentación (feedback) es la capacidad de aprendizaje del sistema, la facultad de reorganizarse para mantener su equilibrio y ajustarse al cambio conservando el propósito. El control es la capacidad de comparar el resultado esperado como obtenido en la realidad. Mejorar el sistema implica conducir el producto a un nivel más alto de satisfacción de las necesidades dentro de las limitaciones económicas y de tiempo. La solución al problema identificado y más o menos estructurado debe satisfacer ciertos criterios de adecuación a nivel del sistema total y de cada uno de los subsistemas:

a. La solución debe traducirse en té rminos de cursos de acciones concretas. b. La solución debe estar definida en los té rminos y debe derivarse del problema,

ya que ambos son apenas estados diferentes de un mismo sistema. Por tanto, aunque pueda implicar variaciones de grado en alguna variable y de objetivos mismos, las expectativas serán siempre de mejoramiento.

c. La solución debe ser proporcionar en tamaño y de no mayor complejidad que el problema mismo.

d. Las soluciones deben plantearse dentro de los márgenes de tolerancia, de tiempo, de riesgo y de costos y participación para el usuario.

e. Las soluciones parciales deben ser consecuentes con la solución total.



f. Cada solución necesita una prueba crítica de validez, un ensayo que la ponga en marcha. Las soluciones son identificadas por el evaluador con el concurso de todo el

personal implicado en el sistema, pero quien toma las decisiones, o equipo decisorio del sistema, es el llamado a aceptar o rechazar la implementación de las soluciones. El evaluador no es, ni debe ser, un miembro del equipo que toma las decisiones. Su función es la de suministrar información útil para ese proceso. 2. La evaluación educativa como manejo de información.

Si un sistema es entendido como sistema de información. La solución de problemas es un procesamiento de información que se necesita para reducir las diferencias entre lo real y lo deseado o presupuesto. Por ello, la función del evaluador según Stufflebeam (1971), puede presentarse como un sistema de manejo de información desglosado en tres subprocesos básicos: perfilar las necesidades de información, obtener (procesar) y suministrar la información.

Las etapas que hay que cumplir para desarrollar de forma sistemática la labor del

evaluador en este enfoque, puedan ejecutarse dentro de cada uno de los parámetros: contexto, insumo, proceso, producto.

La evaluación de contexto, es la más general y filosófica y se ocupa de los

objetivos y de las condiciones actuales favorables y desfavorables que rodean el programa de evaluación: de las necesidades insatisfechas de las oportunidades y los peligros que lo acechan, identifica los problemas por resolver y diagnostica la distancia entre los propósitos y los logros. La evaluación del contexto puede ser:

• De contingencia cuando estudia las circunstancias exteriores al sistema, necesidades, presiones, normas, oportunidades, recursos.

• De congruencia cuando establece una comparación entre los objetivos propuestos y el desempeño logrado en la realidad.

La evaluación de insumos, suministra información acerca de los recursos no

sólo económicos y humanos, sino tambié n de los planes, los reglamentos, las políticas y los apoyos té cnicos para lograr los objetivos.

La evaluación de proceso, se relaciona con la implementación de los

procedimientos diseñados para el logro del objetivo propuesto. La evaluación del producto, define de forma operacional los objetivos y sus

criterios y niveles de logros prefijados, con el fin de compararlos con la medición del logro real e interpretar las diferencias en los resultados, con ayuda de la información que se obtenga de las evaluaciones del contexto, de los insumos y del proceso.



a. Perfil de necesidades de información

• Definir el sistema • Identificar el equipo decisorio • Identificar las áreas de problemas relevantes y seleccionar las variables • Definir políticas en cuanto al grado de acceso a las fuentes de información • Planear y definir puntos de partida de la evaluación

b. Obtención de la información

• Recolección de datos o Fuentes o Instrumentación o Aplicación

• Organización de datos • Análisis de datos

c. Suministro de información acerca de la evaluación

• Preparación de informes • Divulgación

3. Identificación de los objetivos del sistema: una facultad de educación (ilustración) a. ubicación en el contexto universitario

Una facultad de educación es una unidad acadé mica cuyos objetivos fundamentales son la formación profesional de docentes y la producción de nuevos conocimientos pedagógicos, dentro de la misión universitaria general de docencia, investigación y extensión a la comunidad.

Los objetivos económicos y políticas educativas del país son restringidos por los planes y prioridades del gobierno vigente y por las necesidades de equilibrio entre oferta y demanda del mercado laboral de recursos humanos calificados, de forma que se deriven de ellos esquemas generales de productos esperados a la vez que normas, decretos y leyes que inciden en la planeación, organización, desarrollo y enfoques de la universidad, las cuales a la vez seleccionan y normalizan los insumos que van a procesar.



La universidad es el ámbito donde se procesan y transmiten las soluciones educativas y científicas a los problemas teórico-prácticos de la comunidad regional y nacional, y donde se depura y alimenta el bagaje sociocultural de la región y del país. Para ello, la universidad tiene la autonomía constitucional para definir el estatuto orgánico, el proyecto educativo institucional y el plan de desarrollo, donde se inscribe la facultad de educación con las particularidades disciplinarias y gremiales que habría de detallar.

Los apremios son restricciones del sistema que ajustan, encauzan o limitan

significativamente los objetivos. Los apremios tornan manejable el objetivo. Los objetivos y los apremios constituyen las restricciones de un sistema.

Objetivos:

• Objetivos institucionales generales. • Objetivos institucionales por subsistema:

o Subsistema de enseñanza. o Subsistema de planeación curricular. o Subsistema de investigación. o Subsistema de extensión a la comunidad. o Subsistema administrativo.

Apremios:

• Objetivos del plan de estudios. • Objetivos de un programa particular: la licenciatura en educación básica del

magíster en educación y consejería de un programa de perfeccionamiento, etcé tera.

• Objetivos de un ciclo particular (el básico o el de profesionalización). • Objetivos de un área particular de formación disciplinaria. • Objetivos de una asignatura o curso particular. • Objetivos de una unidad de contenido enseñanza-aprendizaje. • Objetivos de una clase.

b. Modelo general del sistema facultad de educación según los objetivos institucionales

Definidos los objetivos institucionales como se presentan en sus documentos oficiales, es importante estructurarlos y con base en un análisis funciona identificar los subsistemas mayores con sus respectivas interrelaciones.



1. El modelo general más representativo se aproxima bastante a un sistema compuesto de cinco subsistemas mayores entre los cuales el de instructor es todavía el subsistema central, en donde (se procesan, se convierten en conductas observables) las informaciones y órdenes que se originan en los subsistemas de planeación curricular y de investigación educativa y a travé s de é stos el de extensión a la comunidad. Los procesos de extensión, planeación curricular e investigación son mutuamente interactivos ya que se caracterizan por un flujo continuo de intercambio de productos e insumos, como puede observase en la gráfica.

2. Un paso más en la identificación inicial del sistema facultad de educación según

el análisis funcional de los objetivos propuestos, lo constituye la integración de un modelo total tentativo, que articule los parámetros básicos para cualquier sistema: insumos, proceso, producto, restricciones y control de la retroalimentación, cuyas relaciones mínimas garantizan el equilibrio del sistema; el parámetro evaluador sirve para calificar mejor la función de control de la retroalimentación dada una eventual expectativa de cambio por parte de la administración.

3. Los modelos de los cinco subsistemas básicos, se integran y articulan en el

modelo total, y son presentados a continuación:

• El subsistema administrativo • En el modelo del subsistema de investigaciones educativas. • El subsistema de extensión de servicios a la comunidad. • El subsistema curricular • El modelo del subsistema de enseñanza, es una interrelación de acciones

para la ejecución del currículo, entre las cuales son decisivos las de evaluación formativa y sumativa. El subsistema curricular y su ejecución mediante el subsistema de enseñanza, requiere información específica que debe conseguirse y agruparse en forma de variables.



4. Crítica a los enfoques clásicos de evaluación institucional

ENFOQUES

TOMA DE DECISIONES

SUPONEN

EVALUADOR

• Categorías • Valores • Experiencia • Imparcialidad • Objetividad

SUJETO

PROGRAMA A EVALUAR

Criterios de efectividad, eficacia y eficiencia

OBJETO

SUBJETIVAR

PROBLEMA CENTRAL

PRESUPUESTO EPISTEMOLÓ GICO

TEORIA DE SISTEMAS PROCESAMIENTO DE LA INFORMACIÓ N

LOGRO DE OBJETIVOS PROPUESTOS LA AGILIZACIÓ N DE PROCESOS LA DISMINUCIÓ N DE COSTOS

LA SATISFACCIÓ N DEL USUARIO



Rara vez se ocupa de la comprensión del complejo proceso que es la enseñanza en si misma. Escasas posibilidades de generar nuevas teorías pedagógicas. Escasa comprensión pedagógica. En el caso del enfoque sistemático, la evaluación prescinde de categorías fundamentales para el estudio de cualquier acontecimiento humano como su historicidad y significación cultural. Cuando un ente cultural, una estructura social o una institución social se estudia bajo un enfoque sistemático, uno de los retos cruciales es definir la forma y el espesor de una frontera frente al resto de la sociedad. La institución educativa, como sistema sociocultural no puede sobrevivir ni auto dirigirse si no en la medida en que ella misma sea censor e interprete de los significados y expectativas socioculturales que la rodean y del pasado histórico y de la tradición de la sociedad que lo envuelve.

CRÍTICAS



Toda institución educativa en sus estructuras y funcionamiento inferior es una respuesta a las demandas sociales del presente y del pasado, que se empieza a esbozar en la formulación de sus propósitos y metas institucionales.

CONCLUSIÓN

OFICIAL Filosofía Objetivos IDEAL Necesidades y Expectativas de la sociedad OPERANTE Currículo La evaluación tiene como propósito la presentación de propuestas de intervención que permitan construir por consenso un nuevo modelo que responda a las necesidades percibidas y a las aspiraciones de la comunidad educativa, incluyendo a la científica y a la del sector empleador. Diseño de nuevo currículo e implementar una nueva enseñanza. Cada profesor en la intimidad del aula, puede crear interacciones y complicidades creativas con sus alumnos capaces de superar las restricciones exteriores y engendrar un productivo ambiente de trabajo acadé mico, de análisis y crítica autorregulada por los estudiantes quienes no deben conocer límites. Bajo esta perspectiva no toda la calidad de la enseñanza es un reflejo de las estructuras escolares o sociales. Al interior del aula, el principal responsable de la calidad es el profesor.

EL ACTO EDUCANTE ES BÚSQUEDA, PERO JAMÁS ENCUENTRO (Octavi Fullat)

“LA VIOLENCIA INDIVIDUO-SOCIEDAD SE ENCARNA EN LOS PERSONALES EDUCANDO Y EDUCADOR. ESTE Ú LTIMO ES UN FUNCIONARIO DE LA SOCIEDAD Y CON FRECUENCIA UN BANAL FUNCIONARIO DEL PODEROSO ESTADO. EL EDUCANDO ES UN POBRE DIABLO, TENTADO POR LA SOCIALIZACIÓ N A FIN DE ALCANZAR EL ESTATUTO DE HOMBRE - EL HOMBRE

MODELOS DE FACULTAD



ES SON POLITIKÓ N -, QUE EL PROPIO TIEMPO PRETENDE INÚ TIL Y OBSTINADAMENTE CONSERVAR SU NATURALIDAD INDIVIDUALMENTE”. (OCTAVIO FULLAT).

LA EVALUACIÓN CUALITATIVA DEL CURRICULO “Flores Ochoa, Rafael 1999. Evaluación Pedagógica y Cognición Mc Graw Hill, Colombia.” ¿El profesor está al vaivén de las circunstancias? Mientras unos descargan toda la responsabilidad de la calidad de la enseñanza en las estructuras institucionales, otros no creen en las estructuras, ni en las organizaciones ni en los sistemas de ninguna clase, pues consideran que el profesor en el aula está solo; es el responsable, más allá de los dualismos y de los sistemas externos de normas, é l debe interpretar la situación con sus estudiantes sin interferencias, ni planes ni condicionamientos aparentes para que de ese encuentro quizás germinen semillas que nunca se sembraron porque la enseñanza es una interacción subjetiva e incierta. El cumplimiento de programas, exámenes y calificaciones arbitrarias no reflejan nada del proceso que ocurre en el fondo del alma de cada alumno, es un proceso al que ni siquiera el profesor puede asomarse. En este capítulo sobre evaluación curricular van a describirse los modelos evaluativos cualitativos que se caracterizan por compartir con el nuevo paradigma cognitivo la participación activa de los sujetos involucrados en la evaluación, a travé s de opiniones, contextos y expectativas acerca del desempeño presente y futuro del currículo. Los modelos cualitativos no se centran en los resultados finales si no en la consideración de los procesos y transacciones que ocurren en el desarrollo del currículo; no miden variables separadas sino que valoran el conjunto del proceso en su estado natural con la sensibilidad y perspicacia del evaluador y de los mismos participantes, no evalúan para agentes externos sino para mejorar internamente el diseño de la ejecución curricular, según las propias convicciones, necesidades y expectativas de la comunidad educativa interesada. Si por currículo se entendiera las experiencias del estudiante durante su jornada escolar, habría que considerar si ellas son auté nticas, interesantes, apropiadas para la edad, saludables, seguras, si abren nuevos horizontes cognitivos a los alumnos, si comprometen su actividad presente y futura, etc. Naturalmente, no pueden evaluarse las experiencias educativas sin claros criterios pedagógicos. O bien, si el currículo se definiera por los objetivos de aprendizaje, la evaluación curricular debería centrarse en los logros y resultados reales de desempeño alcanzados a la luz de los objetivos y habría que preguntarse qué tanto se logran los



objetivos en cada programa, en cada curso, en cada grupo de estudiantes, y qué tan comparables son estos resultados con los que se alcanzan en otros programas, en otras materias, en otros grupos de estudiantes. Lo que aprenden los alumnos para qué sirve, y cómo puede mejorarse su capacidad de aprendizaje. En té rminos generales, un currículo es la manera de aplicar la teoría pedagógica en el aula a la enseñanza real. Un currículo es la mediación entre la teoría y la realidad de la enseñanza, es le plan de acción que desarrolla el profesor con sus alumnos en el aula; es una pauta ordenadora del proceso de enseñanza. Y cada perspectiva, cada modelo pedagógico puede generar una propuesta de currículo diferente. Por esto un plan de estudios es apenas un esquema para distribuir contenidos, temas materias y cursos según grados, niveles y prerrequisitos. Pero un currículo es mucho más, pues implica una concepción acerca de los contenidos, las experiencias y la actuación y secuencia para que los alumnos alcancen las metas de formación. En este sentido, el currículo es un curso de acción pedagógica, es un plan de formación que sólo puede evaluarse de manera cualitativa.

Modelo sisté mico de consecución de metas a travé s de la implementación del currículo. La gráfica anterior, presenta los procesos que intervienen en la consecución de las metas educativas. Ahora se incluirán las intenciones institucionales y los procesos que pueden volverlas realidad a travé s del currículo, y su implementación en la enseñanza, con el fin de evaluar cada uno de estos procesos.

Retroalimentación

Definición de la misión

institucional

Metas educativas

Diseño curricular

Enseñanza

Aprendizaje (evaluación)

Desarrollo formativo

Impacto social



Antes de abordar los modelos evaluativos, hay que precisar que no deben confundirse las metas educativas con el currículo, ni é ste con el diseño curricular, que es un proceso complejo de elaboración y desarrollo, cuyo producto es el currículo. El currículo implica delineamientos macrocurriculares más globales de identificación y selección de objetivos, contenidos y estrategias de enseñanza, a la luz de las metas educativas; pero tambié n implica el microcurrículo, diseñado como plan de enseñanza que puede ser fomentado y ensayado en el aula de clase. Una meta educativa, por ejemplo, para formar maestros puede ser que é stos incorporen nueva tecnologías a la enseñanza; desde esa meta pueden diseñarse ciertos objetivos y seleccionarse ciertos contenidos relacionados con el dominio de los software educativos que se ofrecen y su adaptación a la ciencia que va a enseñarse; inclusive pueden preverse estrategias didácticas que contribuyan a la más provechosa apropiación de los conceptos, procedimientos y aplicaciones té cnicas de cada área de enseñanza. Despué s viene el proceso de enseñanza, que desarrolla el plan, pues es un encuentro real entre personas que interactúan y se comunican a propósito del plan, para generar al interior de cada participante el proceso de aprendizaje, previsto como resultado del currículo. Por ello es proceso y producto a la vez, evaluable de manera inmediata y específica, o de manera global e integral (a largo plazo) por sus consecuencias en el desarrollo y formación de los alumnos. El desarrollo es tambié n producto y proceso a la vez. El proceso de desarrollo y de formación individual y grupal de los alumnos, alcanzado mediante la implementación del currículo genera un producto final que es el impacto social o repercusión de la ganancia del aprendizaje y formación sobre el desarrollo comunitario. La retroalimentación debe repercutir en un diseño permanente del currículo. 1. El modelo sensitivo de R. Stake El modelo de evaluación sensitiva o responsiva de Roberto Stake (1975) es un modelo que plantea la observación de lo que va a evaluarse en su ambiente natural, la consulta de las audiencias del programa para comprender las distintas percepciones que sobre é l existen y la elaboración de transacciones en torno a esta variedad de significados sociales. La validez de este tipo de indagación reside en la comprensión del sentido que el programa tiene para sus audiencias y la respuesta real que da a sus necesidades. La consecución de información en las distintas fuentes o audiencias en busca de una intersubjetividad perceptiva, puede potenciarse, a travé s de ciertas herramientas denominadas matrices evaluativos.



Modelo esencial de evaluación de Stake.

Robert Stake. Es un evaluador cualitativo reconocido de la dé cada de los setentas por su posición crítica frente a la evaluación medicionista y experimentalista convencional y por su enfoque naturalista y responsivo comprometido con los actores involucrados. Es el líder del centro de investigación y evaluación educativa de la Universidad de Illinois y colaborador de la publicación norteamericana Phi Delta Kappa y de otras revistas especializadas en evaluación e innovación educativa. En Amé rica Latina su obra se conoce sólo a partir de la dé cada de los ochentas gracias a la traducción española de la obra de L. Sthenhouse.

Modelo orientador de la evaluación (R. Stake). Estructura sustantiva. Tomado del libro de STENHOUSE. L., La investigación y desarrollo del currículo. Ed. Morata, Madrid, 1984, y adaptado por Restrepo, Flórez y Correa (1990). Los antecedentes son las condiciones preexistentes a la interacción de los alumnos con el profesor y con el material de estudio. Abarca las características de

Antecendentes Transacciones Logros

C O N C D E E P L C I P Ó R N O G R A M A

L O G R O S

L O G R O S

TRANSACCIONES

TRANSACCIONES

ANTECEDENTES

ANTECEDENTES

(2) INTENCIONES

(3) OBSERVACIONES C

O M P A R A A C B I S Ó O N L U T A

COMPARACIÓ N RELATIVA

Datos de otros programas

JUICIOS VALORATIVOS

LOGROS

TRANSACCIONES

(4) CRITERIOS

(ESTÁNDARES)

ANTECEDENTES

MATRIZ VALORATIVA

MATRIZ DESCRIPTIVA

(1)

AN

ÁLI

SIS

DE

CO

NT

ING

EN

CIA

LÓ

GIC

A

AN

ÁLI

SIS

DE

CO

NT

ING

EN

CIA

EM

PÍR

ICA



estos actores, las normas legales e institucionales, las necesidades y expectativas de la comunidad, el proyecto educativo institucional y los recursos disponibles. Es todo lo que Stufflebeam denomina insumos y contexto previo al proceso mismo de enseñanza, o lo que Posner denomina factores marco, es decir, las condiciones espacio-temporales, organizativas, político-legales, económicas, culturales y personales. Las transacciones es la interacción de los alumnos con todos los agentes que contribuyen a su educación, que incluye profesores, consejeros, bibliotecarios y tambié n textos escolares, materiales y recursos tecnológicos con los cuales el alumno interactúa en la clase y fuera de ella. Las transacciones planeadas para alcanzar algún propósito u objetivo curricular pueden ocurrir de manera no satisfactoria y explicar por qué ciertos logros no se alcanzaron, o se alcanzaron en forma deficiente. La matriz descriptiva debe elaborarse en dos momentos, en el primero deben construirse las intenciones, la idealidad del programa, las expectativas planteadas al fundar el programa o al producirse cambios de importancia en el mismo. La evaluación de esta matriz descriptiva de intenciones debe efectuarse a travé s de un análisis de contingencias lógicas, esto es, de correspondencia o coherencia entre condiciones de entrada y procesos. Así mismo debe evaluarse la coherencia entre logros esperados, procesos e insumos. Este análisis, eminentemente lógico, permite calibrar la consistencia interna del programa. En un segundo momento, deben elaborarse variables e indicadores para observar en la realidad los antecedentes, las transacciones y los logros, es decir, lo realmente ejecutado. Elaboradas estas submatrices de intenciones y observaciones, a travé s de variables e indicadores apropiados, debe realizarse una segunda evaluación, el análisis de congruencia o comparación entre realidad e idealidad. Esta matriz de observaciones debe evaluarse mediante un análisis de congruencia empírica, o sea, de correspondencia entre antecedentes, transacciones y logros, que debe complementarse con explicaciones acerca de las discrepancias resultantes del proceso de contrastar las variables. La evaluación de las diferentes variables e indicadores elaborados para observar antecedentes, transacciones y logros se realiza mediante la aplicación de criterios valorativos y de estándares o medidas de desempeño de estos criterios en cada indicador, lo que demanda la elaboración de una matriz valorativa paralela a la descriptiva. En la gráfica, pueden observase las actividades o pasos metodológicos que conviene desarrollar para realizar la evaluación propuesta por los matrices descriptiva y valorativa.



Estructura operativa del modelo de Stake Adaptado por Restrepo, Flórez, Correa (1990).

INFORMES

AN

ÁLIS

IS

ORGANIZACIÓN

RECOLECCIÓN

METODOLOGÍA

TEO

RÍA

12

11

109

8

7 6

5

1

2

34

Informes

finalesEscoger formatos

audiencias

Validar,Invalidar (análisis y valores)

Tematizar,

preparar sembrlanzas

casos

Obser

var a

ntec

eden

tes

Trans

accio

nes y

logr

os

(mat

riz d

e ob

serv

acion

es)

Sel

ecci

onar

obs

erva

dore

sJu

rado

s e

inst

rum

ento

sIdentificar datos necesarios

Conceptualizar

Objetivos y problemas

(matriz de intenciones)

Describir propósitosY preocupaciones

Revisar actividades

del programa

Estable

cer a

lcanc

e

del p

rogr

ama

Con

tact

ar S

taff,

par

ticip

ante

s in

volu

crad

os y

aud

ienc

ias

invo

lucr

adas



2. El modelo de análisis integrado de G. Posner Posner (1998) propone abordar de manera directa y con una mirada analítica, crítica y eclé ctica la documentación del currículo actual oficial de la institución (del programa), empezando por identificar los antecedentes, motivos, situaciones y circunstancias contextuales que influyeron en los diseñadores, y el peso de cada uno de los actores directamente involucrados, como la comunidad educativa, los profesores, los estudiantes y los administradores. Una vez reunida la documentación es necesario analizar los propósitos implícitos y explícitos de formación de los individuos y de satisfacción de las demandas del contexto e identificar las metas y prioridades y la concepción educativa del programa curricular que va a desarrollarse. En especial, hay que descubrir el enfoque pedagógico que va a orientar la enseñanza, el concepto de formación, de aprendizaje, de enseñanza y de currículo que subyacen en los materiales y en la documentación analizada, para encontrar si la perspectiva implícita es tradicional, conductista o cognitiva. Además, debe indagarse por alguna ideología social implícita que pudiera pretender hegemonías al servicio de algún grupo o clase social. Tambié n es imprescindible observar las formas de organización del currículo a nivel general, verificar si se construyen de arriba abajo o de abajo hacia arriba, su sentido vertical, horizontal o transversal; si enfatizan en los contenidos, en los aprendices, en los profesores, en los requerimientos del modelo social, económico y político-cultural de la institución. A un nivel más específico había que analizar si el currículo configura los contenidos propuestos de manera discreta, vertical, jerárquica o en forma de espiral. Si los mé todos, medios y té cnicas de enseñanza propuestos son divergentes, uno para cada objetivo de aprendizaje, o convergentes. En fin, establecer cuáles son los principios epistemológicos y sociopolíticos que guían la organización y la secuencia del currículo. De igual manera debe abordase el desarrollo y ejecución del currículo para establecer el real, el que funciona, pues generalmente hay una brecha entre el currículo oficial y real. Además hay que indagar cuál es el currículo oculto que aunque funciona no se reconoce de forma explícita. Incluso, debe detectarse el currículo nulo, lo que no existe sino como ausencia, como negación, como exclusión, e identificar las razones para que ello suceda; contenidos sociales, políticos o religiosos que se omiten en ciertos programas curriculares por razones ideológicas. Debe observarse cómo se establece el currículo todos los días, en las aulas y fuera de ellas, cómo se enseña,



cómo se comparte, cómo interactúan los protagonistas del proceso, con qué sentido, con qué motivación, cuál es el clima organizacional de la escuela, cuánto se avanza para alcanzar las metas y objetivos curriculares. Además establecer la perspectiva pedagógica que orienta el proceso de enseñanza, concretar si es tradicional, conductista o cognitiva. Medio social

Contenido Aprendiz Maestros Principios de organización curricular.

George Posner es un evaluador y analista del currículo y de la enseñanza con enfoque cognitivo. Desde 1982 se le reconoce como pionero de la teoría del cambio conceptual para la enseñanza de las ciencas. Se desempeña como profesor y director del programa de posgrado en Currículo y Enseñanza de la Universidad de Cornell desde 1972.

Tampoco debe olvidarse que hay que analizar sobre la marcha del currículo, el efecto de siete restricciones o factores marco como los llama Posner de la implementación curricular. • La forma como afecta el tiempo la ejecución curricular, la intensidad asignada a

cada tema, la frecuencia de los encuentros e interacciones educativas, la duración. • Los efectos de las condiciones físico-técnicas de espacio natural, mobiliario,

construcciones y equipos disponibles. • La incidencia de las condiciones político normativas: leyes, decretos, resoluciones

y reglamentos nacionales y regionales. • El efecto de las políticas administrativas y organizacionales. • Las condiciones personales que requieren los actores, los profesores y los

estudiantes para implantar con é xito el currículo. • La incidencia de los recursos económicos disponibles y la relación costo beneficio. • La correspondencia entre los valores de la comunidad y los de la institución

educativa. Tambié n hay que observar la evaluación de la enseñanza y del aprendizaje. El

modelo de evaluación curricular integrado que propone Posner, se basa en una



perspectiva cognitiva que preconiza la experiencia natural del estudiante, y sus características son:

• Una educación orientada hacia el crecimiento requiere que todos los esfuerzos,

incluida la evaluación, generen desarrollo en todos los estudiantes. • La autoevaluación debe promover en el estudiante confianza, control, autoestima y

autonomía para crear en é l mayores niveles de responsabilidad en la toma de decisiones sobre su propio proceso educativo, de manera que lo evalúe y haga propuestas para su mejoramiento.

• La evaluación debe ser compartida por todos los involucrados sin discriminación

alguna, considerando a los estudiantes personas inteligentes que toman decisiones acerca de su desempeño.

• Como los objetivos no son fijos, pues deben revisarse de manera permanente, la

evaluación debe captar no tanto los logros parciales ni los momentos estáticos de progreso alcanzado, sino el movimiento continuo donde van producié ndose los cambios.

• El contexto del aprendizaje tiene una gran importancia en el interior de la institución

educativa y en la realidad donde se desenvuelven los estudiantes. El contexto donde se realizan los exámenes acadé micos es esencial para entender los resultados.

• Deben suprimírselas barreas entre evaluador y evaluado, entre evaluación y

aprendizaje, entre evaluación y enseñanza. Las evaluaciones de los profesores deben tener la misma intencionalidad de los estudiantes que las aplican, coincidir con el contenido enseñado y ser abiertas. Para integrar enseñanza y evaluación se recomienda que los profesores sean menos hábiles en pruebas y mediciones y más expertos en escuchar y observar a sus alumnos.

• La evaluación se orienta hacia la acción en el sentido de que ilustra y propicia

decisiones y acciones curriculares que requieren el mejoramiento de la enseñanza. Finalmente, como la evaluación integrada se inspira en disciplinas como la

antropología, las ciencias cognitivas, la sociolingüística y la psicoterapia (por ejemplo en Rogers), las té cnicas y mé todos para obtener información evaluativa deben ser la observación natural, las conversaciones y las entrevistas estructuradas y no estructuradas para seguir el progreso de los alumnos en un ambiente seguro y de confianza. Además, debe saberse que las tareas escolares tienden a privilegiar una evaluación auté ntica, donde los alumnos son invitados a pensar y a resolver problemas de la vida real, de manera análoga a como los estudiantes de arte se prueban en un concierto o en una representación teatral.

3. La evaluación cualitativa a través del ojo ilustrado de Eisner



La metáfora del ojo ilustrado es la clave para comprender la intimidad del evaluador cualitativo con el objeto observado. Para Eisner (1998) conocer no es una capacidad intelectual abstracta y lógico-formal, sino el arte de sentir y apreciar las cosas desde el propio yo. Por supuesto se trata de una actividad intelectual, racional, en el sentido de captar, analizar e interpretar el sentido poé tico, artístico, semántico, filosófico o científico de las cosas, acciones o acontecimientos con criterios como la coherencia, el consenso y la utilidad cognitiva para comprender mejor, guiar o anticipar las acciones.

Elliot W. Eisner. Es un destacado profesor e investigador de la Universidad de Stanford en el campo de la producción intelectual a nivel de la educación artística, currículo y evaluación educativa. Desde 1967 defiende los objetivos expresivos en la enseñanza, los cuales no podían encasillarse en los objetivos conductistas del momento. Desde su enfoque cognitivo y cualitativo ha sido presidente de la Asociación Nacional de Educación Artística y de la Asociación Americana de Investigación Educativa.

Las dimensiones que observa el evaluador son la intencional, la estructural, la

curricular, la pedagógica y la evaluativa. • La dimensión intencional se ocupa de las metas y propósitos de la escuela y del

aula y de la actividad real de la enseñanza, en cabeza de los administradores, profesores o estudiantes.

• La dimensión estructural se refiere a la organización y administración general de

la escuela; a la forma de organizar el tiempo, los espacios y las aulas y las repercusiones que tiene en la formación y en la calidad de la enseñanza.

• La dimensión curricular se refiere a lo que se enseña y se deja por fuera según

cierta jerarquía de valores, la intensidad y las actividades a que se dedican los estudiantes, la pertinencia social de los contenidos seleccionados, la oportunidad de aplicar lo aprendido, la calidad de los contenidos del currículo y su significación para los estudiantes.

• La dimensión pedagógica se refiere a la manera como cada profesor desarrolla el

currículo, pues puede enseñarse con ejemplos, gestos é nfasis, preguntas y respuestas, entusiasmo y motivación, imágenes, metáforas, mapas, gráficas, discusiones, lecturas, tareas, proyectos. No hay profesor ideal. Estimar la calidad de la enseñanza no es calificarla frente a un modelo ideal, ya que coexisten multiplicidad de mé todos de enseñanza con los cuales podría alcanzarse la excelencia.

• La dimensión evaluativa del desempeño de los estudiantes, referida a las prácticas

evaluativas constituye una de las fuerzas más poderosas del ambiente escolar, pues ellas definen que es lo que cuenta para profesores y estudiantes. Los profesores evalúan constantemente en las clases y fuera de ella con sus comentarios, sus



gestos, su comportamiento social, sus preguntas y su tono de voz frente a los que el alumno hace, dice, responde, entrega o propone.

Para Eisner ninguna escuela cambiará mientras no se cambien las prácticas

evaluativos en el sentido deseado. La evaluación educativa es una actividad compleja de expertos que implica no sólo apreciar y experimentar las cualidades significativas de la obra educativa, sino que exige tambié n la capacidad de revelar al público lo observado no como mera traducción sino como reconstrucción de la obra en forma de una narración argumentada.

El análisis educativo tiene cuatro dimensiones: descripción, interpretación,

evaluación y generalización. • La descripción de la situación educativa observada por el evaluador requiere de

una reconstrucción vivida y con sentido y perspicacia, narrada de manera que el lector pueda participar.

• La interpretación del evaluador que formula su percepción con conceptos flexibles

y bajo una óptica eclé ctica, pues no se da que una sola teoría satisfaga todas las inquietudes del evaluador acerca todas las acciones y procesos que debe interpretar con rigor. La línea divisoria entre descripción e interpretación es muy útil.

• La evaluación exige del evaluador que aclare y defina lo que considera educativo,

lo que significa crecimiento y progreso en la formación de un alumno: para ello Posner se vale de la propuesta de Dewey acerca de lo que es una experiencia verdaderamente educativa, aplicándola a cada alumno para que concuerde consigo mismo, con su propio desarrollo, sin importar de forma relevante el desempeño frente al grupo de alumnos (según norma) o frente al objetivo propuesto por el profesor (según criterio).

• La generalización es la dimensión de la crítica educativa que cuando capta los

rasgos esenciales de una situación genera mensajes, cualidades dominantes o soluciones que pueden aprovecharse en otras instituciones con condiciones o problemas similares.



CONCLUSIÓN

Los enfoques y modelos operativos más flexibles, pertinentes y naturales de Stake, Posner y Eisner, facilitan una percepción más amplia del proceso de identificar y decidir los objetivos, contenidos y estrategias de enseñanza que permitan influir en los jóvenes de manera positiva para el despliegue y formación de sus talentos, facilitar sus realizaciones vitales con mayor felicidad y prepararlos para contribuir con reciprocidad al bien de su comunidad y de la sociedad de la que hacen parte.

A manera de síntesis, se incluye un cuadro comparativo de las características de

los tres expertos en evaluación cualitativa que se han tomado como referencia:



Características de los modelos evaluativos cualitativos

AUTOR

R. Stake

G. Posner

E. Eisner

MÉTODO

Eclé ctico, pues admite el diseño metodológico para recoger parte de los datos.

Análisis crítico de contenidos y observación natural.

Instuitivo, perceptivo, desde la perspicacia del experto que describe, interpreta, evalúa y generaliza.

PERSPECTIVA PEDAGÓGICA

Ninguna, la que resulte de la observación natural (no conductista).

Enfoque cognitivo eclé ctico.

Enfoque constructivista abierto.

OBJETO DE

EVALUACIÓN FORMAL

Antecedentes, transacciones, y logros según la consistencia lógica y empírica.

Los propósitos, la perspectiva pedagógica implícita, las formas de organización y é nfasis, la implementación real y los factores marco.

Dimensión intencional, organizativa, estructural, curricular, pedagógica y evaluativa.

EVALUACIÓN

DEL APRENDIZAJE

Cualitativo, contextuaizado y d eproceso según la coherencia entre antecedentes, transacciones y logros.

Orientado al crecimiento, dinámico, contextualizado, informal, flexible, controlado por el mismo estudiante.

Clave para saber cómo se enseña, qué se enseña, cómo se corrige dentro y fuera del aula. Debe ser de referente personal para saber si la experiencia desarrolla o no al alumno (Dewey).



CAPÍTULO 6

La Evaluación Educativa Contemporánea (Investigación y reflexiones del mundo reciente)



LA EVALUACIÓN DE LOS SISTEMAS EDUCATIVOS EN IBEROAMÉRICA: Algunas reflexiones en torno a su especificidad. Profr. Hilda M. Lanza Subsecretaría de Evaluación de la Calidad Educativa Ministerio de Cultura y Educación. INTRODUCCIÓN

En la actualidad existe un consenso, en los países iberoamericanos respecto a que el conocimiento ocupa un lugar central en los modelos económicos y sociales emergentes. El papel de la educación en el desarrollo de una ciudadanía capaz de sostener y fortalecer la democracia logrando mayores niveles de competencia para el crecimiento económico es reconocido como fundamental por la mayoría de los gobiernos. Es este sentido, la búsqueda de los caminos adecuados para el logro del dominio de esos conocimientos y la discusión sobre las alternativas más adecuadas para su distribución equitativa constituyen un tema prioritario en cada uno de nuestros países.

Las transformaciones globales del orden internacional y el avance del

reordenamiento de las economías mundiales en torno al valor de la tecnología ha situado nuevamente en los sistemas educativos la responsabilidad de generar y difundir el conocimiento en la sociedad, por lo tanto los sistemas educativos son visualizados como una de las instancias decisivas para el desarrollo de las potencialidades futuras de la sociedad.

En relación a esto, transformar el proceso de producción y distribución de conocimientos socialmente significativos sigue siendo, el problema central que debe enfrentar la educación como política social. Revertir la situación de deterioro acontecida en su capacidad de distribuir esos conocimientos y generar estrategias adecuadas para mejorar la calidad de la prestación educativa constituye el desafío de este quinquenio. Los inicios de la dé cada de los ´90 encontraron a Iberoamé rica signada por cambios sustantivos que la situaron en un estado de transición. En el caso específico del sector educativo, el desafío de construir opciones educativas de calidad para el conjunto de la población ha requerido de un Estado que recuperara responsabilidades abandonadas durante un largo período. El asumir esas responsabilidades ha significado la elaboración de un conjunto de acciones que implican recuperar niveles de eficiencia y eficacia en la generación de políticas de gobierno.



En este sentido, se entiende que para producir esta transformación en el sector, cuyo objetivo fundamental es lograr un sistema educativo de calidad para todos, se necesita imperiosamente, cambiar la concepción en torno a la producción de información que permita tanto la toma de decisiones como la evaluación y el seguimiento de las acciones emprendidas. Una revisión rápida del estado de situación de los sistemas de información en la región y de su capacidad para producir la toma de decisiones en el sector nos estaría indicando la persistencia de ciertas dificultades. En algunos países de Iberoamé rica, a pesar de los esfuerzos emprendidos, aún se presentan problemas para caracterizar adecuadamente el estado de los sistemas educativos con el fin de aproximarse a certeros y confiables diagnósticos basados en la propia realidad que le permitan efectivas decisiones a las conducciones educativas. En general podría afirmarse que tales dificultades provienen, principalmente, de dos situaciones; por un lado, de la parálisis sufrida por las áreas de planeamiento educativo en el contexto de la esterilidad del paradigma que les dio origen y de la imposibilidad de redefinir sus funciones a la luz de las reflexiones y propuestas de los nuevos paradigmas. Por otro, de la inexistencia, interrupción o colapso de los sistemas de estadística educativa nacionales o sectoriales y de lo insuficiente que resultan los indicadores “tradicionales” para caracterizar los comportamientos tendenciales del sector y encarar procesos profundo de transformación. A esta altura, es importante establecer qué es lo que se entiende por producir información oportuna y relevante para la toma de decisiones en el contexto de los desafíos actuales. Para esto, debe pensarse en que, redefinir la información implica entender por un lado lo cuantitativo de los grandes números, qué es lo que, en general y con ciertas dificultades, hemos estado haciendo hasta ahora, pero por el otro, requiere incorporar algunos indicadores cuantitativos que reflejen dimensiones cualitativas del proceso y además producir y/o analizar información estrictamente cualitativa. De lo anterior surge que para producir información para la toma de decisiones en forma oportuna y relevante se deben poner en funcionamiento tres áreas de producción sustantivas. Estas áreas se refieren a: la estadística educativa, la evaluación de resultados y el seguimiento de acciones, y las bases de documentación e investigación educativa. La presente ponencia tiene por objetivo presentar una serie de consideraciones que colaboren en la producción de una reflexión conjunta que nos permita generar acciones compartidas para alcanzar con é xito la transformación iniciada en cada uno de nuestros países. El primer punto a considerar es el referido a uno de los conceptos de mayor presencia y continuidad en el discurso educativo en la región, é ste es sin lugar a dudas, el concepto de “calidad de la educación”.



El segundo tema es el referido al carácter que los sistemas de evaluación pueden asumir en el contexto iberoamericano a la luz de la función específica que le adjudiquemos a los mismos. Por último y situada en el marco de los sistemas de evaluación que producen información periódica acerca de los resultados del quehacer educativo en las instituciones, me permito terminar estas reflexiones planteando cierta preocupación en torno a la necesidad de efectivizar la relación entre evaluación y políticas eficaces de mejora de la calidad a fin de no convertir a estos nuevos sistemas de información en espacios esté riles en su capacidad para generar acciones. La preocupación por el lugar de la calidad en los sistemas educativos Iberoamericanos.

La preocupación por el tema de la calidad de la educación está presente en los discursos educativos producidos en la región desde hace varios años y podría afirmarse que ha sido y es compartido por los diversos actores sociales. La revisión de las investigaciones acadé micas y de las acciones emprendidas en relación a esta temática permiten inferir que esta preocupación se instaló a partir de dos situaciones bien diferenciadas; por un lado, desde el ámbito académico y a partir de la producción de conocimientos y teorizaciones en torno a las causas que han producido deterioro en la calidad de nuestros sistemas y por otro, a partir del surgimiento de experiencias de evaluación del rendimiento académico ligadas en algunos casos, a comparaciones internacionales que comenzaron a señalar el desfasaje existente en los resultados obtenidos entre los países considerados como “desarrollados”. A travé s de estas dos modalidades de producción de información y de conocimiento, visualizadas en oportunidades casi como opuestas comenzó a expandirse tanto la mencionada preocupación como el té rmino calidad educativa. Una revisión con sentido más profundo de las investigaciones y experiencias realizadas principalmente durante la dé cada de los ´80 nos permite aproximarnos a un aspecto interesante: en ambas situaciones y en la mayor parte de los casos se operó en ausencia de una definición explícita acerca de lo constitutivo de una educación de calidad. Así, nos encontramos con aproximaciones de carácter restrictivo del tipo “la calidad es todo lo que se mide a partir de los resultados acadé micos” o de carácter tan general que volvía dificultosa la posibilidad de operacionalizar tal definición. Trabajos posteriores han posibilitado ampliar las perspectivas del té rmino. En la actualidad, puede afirmarse que se entiende a la “calidad de la educación” desde su sentido más amplio que incluye tanto los aspectos referidos al logro de niveles equitativos de cobertura, como a la distribución de conocimientos socialmente significativos para el conjunto de la población.



La calidad de la educación comprendida desde estos marcos es la posibilidad que debe brindar el Estado al conjunto de los individuos que componen la sociedad para que se apropien de los conocimientos indispensables para el desarrollo de sus capacidades, desplegando en el tiempo sus posibilidades de aprendizaje con el fin de alcanzar mayores niveles de participación política, social y económica. El logro de la calidad de la educación supone garantizar desde el Estado la formulación de políticas que posibiliten:

a) La distribución de conocimientos y el desarrollo de competencias relevantes para la producción científico-tecnológica, la vida cotidiana y la participación ciudadana.

b) La igualdad de acceso, permanencia y egreso de la población a los sistemas educativos en el marco de la equidad social (UNESCO, 1992).

Dijimos anteriormente que varios de nuestros países se encuentran inmersos en

un proceso de transformación que nos está demandando grandes esfuerzos. El objetivo es revertir los problemas detectados lo que presupone centrar el esfuerzo en tres grandes ejes que han incidido fuertemente en la disminución de la calidad de los sistemas educativos regionales y que pueden ser sintetizados en: a) La baja significatividad de los conocimientos que distribuye el sistema educativo.

Uno de los problemas centrales del sector ha sido la progresiva pérdida de significatividad de los conocimientos que la escuela transmite. Tal situación probablemente ha obedecido a una multiplicidad de causas, que se perciben principalmente en el desajuste entre los requerimientos del aparato productivo y la formación de los egresados.

Asimismo, pueden señalarse otras situaciones de desajuste respecto a la calidad

de los conocimientos que el sistema transmite, que muestran la deficiencia de los mismos para la continuación de estudios en el nivel superior o para el logro de mayores niveles de participación política, social y económica del conjunto de la población.

A las deficiencias en la calidad de los conocimientos se agrega el problema de

las características que presenta el proceso de enseñanza-aprendizaje en el interior de las aulas. Las investigaciones referidas a este tema han señalado la necesidad de desarrollar políticas masivas de capacitación, perfeccionamiento y actualización de los docentes. Tales señalamientos remarcan la necesidad de revisar las prácticas pedagógicas cotidianas y los modelos didácticos pedagógicos en los que se encuadran los procesos de enseñanza.

De la revisión de la bibliografía referida a este tema surge que en escasas

oportunidades é stas contienen descripciones y análisis profundos acerca de la vida en las escuelas o en las aulas. Sin embargo, algunas de ellas indican la presencia de



fuertes procesos de rutinización y ritualización del comportamiento de los diferentes actores, situación que incide fuertemente en la calidad del trabajo institucional.

Con diferentes niveles de implementación, varios de los países de la región han

producido o están produciendo acciones de reforma de los contenidos educativos para los diferentes niveles del sistema, algunos han iniciado fuertes acciones de capacitación docente, otros simultáneamente a las anteriores, han iniciado procesos de transformación en la organización y la gestión de las instituciones educativas.

En estas líneas fundamentales de acción se centra el trabajo que se está

realizando para transformar la situación en torno a la recuperación de la significatividad de los conocimientos a transmitir y del trabajo pedagógico al interior de las escuelas. b) La inequidad en la prestación de los servicios educativos. El sistema educativo se estructuró en el conjunto de los países de la región sobre nociones de gratuidad y universalidad. A pesar de las premisas de carácter universalista que le dieron fundamento, han sobrevivido durante varias dé cadas sectores excluidos. Además, entre los sectores incluidos se han presentado fuertes elementos de diferenciación, tanto en lo que respecta a la permanencia en el sistema como a los resultados del proceso educativo. El fuerte proceso de expansión de los sistemas educativos acontecido en la región con algunas asincronías caracterizado por altas tasas de escolaridad no ha logrado superar algunas situaciones persistentes de inequidad. Según Aguerrondo I. (1993), pueden observarse “diferencias importantes entre los niveles de pobreza, lo que señala que independientemente de cuáles sean los logros de aprendizaje que se correspondan con la cuota de escolaridad, la cuota temporal de educación que se ofrece a los diferentes grupos sociales es bien diferente y esa diferencia se expresa linealmente, ya que a mayor pobreza corresponde una menor cuota educativa”. Repetidas veces se ha planeado la superación del modelo de desarrollo educativo que se apoyaban en la expansión cuantitativa del sistema escolar en al región (Schifelbein y tudesco 1995). Este modelo de expansión del sistema educativo toma como eje central la dicotomía inclusión/exclusión. Sus temas centrales eran el analfabetismo y la medición del progreso educacional como relación entre la oferta escolar existentes y la población escolarizada. Las consideraciones de los últimos años han retomado este análisis desde una vista diferente. Se ha propuesto un modelo de desarrollo educacional que tenga en cuenta la existencia de múltiples formas de exclusión a travé s del proceso de escolarización. Para la región se ha afirmado que la inclusión dentro del marco institucional del sistema educativo y la certificación que é ste propone se han desvinculado paulatinamente de un efectivo acceso al saber significativo.



Es por esto que las formas más sutiles de la exclusión como la desjerarquización cognitiva y de contenido del proceso escolar para amplios sectores se ha convertido en tarea central de las políticas educativas de algunos países de la región. Por ello en el camino de la generación e instalación de acciones compensatorios de carácter focalizado y de previsible inmediato, vale la pena destacar los esfuerzos realizados por el programa de las 900 escuelas en Chile, el Plan Social Educativo en Argentina y la Escuela Nueva en Colombia. c) La baja racionalidad y eficiencia en la gestión institucional Caracterizada principalmente por:

La duplicación de acciones e inversiones. Los costos administrativos elevados, Los sistemas burocratizados, La baja efectivización del gasto, La baja calificación de los recursos humanos en los diferentes niveles de gestión

dentro del sistema educativo, La ausencia de sistemas de información, evaluación y seguimiento modernos y

confiables para mejorar la eficacia y la eficiencia.

Estos aspectos se vinculan directamente con la necesidad de reforma del aparato estatal en general, en varios de nuestros países estos procesos ya están en marcha. Específicamente en el caso del sector educación los procesos de reforma se orientan fuertemente hacia el mandato del ideal de una educación básica para todos. Esto supone introducir una serie de transformaciones en la arquitectura del sistema educativo que requieren inevitablemente de cambios urgentes en los modelos de gestión tanto de las estructuras de conducción del sistema educativo como de las instituciones escolares.

De los aspectos analizados con anterioridad surge que la calidad de la

educación ha adquirido en estos últimos años otras dimensiones y significados que deben tener en cuenta para su logro. Podría afirmarse que ha excedido la clásica denominación que hacía referencia casi con exclusividad a los niveles de logro en la adquisición de conocimientos que se observaba en los alumnos para expandir su referencia a aspectos como:

a. Las características institucionales que hacen posible el desarrollo de

procesos de enseñanza-aprendizaje efectivos. b. La distribución equitativa de saberes significativos. c. La formación y capacitación de los docentes para el logro de procesos

eficaces de enseñanza. d. La incorporación de material didáctico y de libros que optimicen el trabajo en

las aulas para los sectores con riesgo de fracaso o exclusión.



La evaluación de la calidad de los sistemas educativos: su desarrollo en la región. Las experiencias acontecidas fundamentalmente durante la dé cada de los ´60 en los EEUU en torno al tema de la producción de criterios homogé neos para la acreditación del pasaje de los alumnos de un estado a otro y los intentos de estandarización de los resultados educativos enunciados en té rminos de objetivos generaron en la región la primer onda expansiva de experiencias de evaluación educativa. La segunda de estas ondas se generó a partir de los ´80 a la luz del informe que produjeron las pruebas acadé micas realizadas por la administración republicana difundidas a travé s del informa titulado “Nation at risk”. El carácter controlador impreso a esta acción condicionó la reaparición de las primeras discusiones referidas a sistemas de evaluación en el contexto latinoamericano e inició una fuerte polé mica alrededor de los mismos que tardó varios años en ser superada. De allí surgieron posiciones de fuerte contenido opositor que tensaron el conjunto de las reflexiones sobre este tema hacia dos posiciones opuestas que fueron percibidas en las primeras etapas como irreconciliables y que produjeron dos modalidades de trabajo que buscaron diferenciarse fuertemente. Por un lado, las corrientes que decían defender la capacidad de la escuela de autoevaluarse aplicando metodologías de tipo cualitativa que negaban toda posibilidad de recolección masiva de información por improcedente, controladora y esté ril para aproximarse al conocimiento de los procesos internos del aula, y por otro, las corrientes que postulaban el desarrollo de la capacidad del Estado en el ejercicio de su responsabilidad frente a la función de garante de logros equitativos de calidad generando una recolección masiva de información confiable sobre resultados de aprendizaje y un análisis de tipo cuantitativo que permitiera aproximar un diagnóstico sobre el desempeño del sistema educativo en su conjunto. Esta polé mica recorrió con diferentes é nfasis un camino de experiencias y procesos de producción teórica. Hoy, salvo algunas excepciones hay acuerdo en torno a la necesidad de producir información sobre resultados incorporando también investigaciones de tipo cualitativo que permitan complementar la producción de información a fin de desentrañar algunos nudos críticos del quehacer escolar. La nueva situación educativa de Iberoamérica en los años ´90 fue el marco propicio para la expansión del debate de dio a luz a los sistemas de evaluación de la calidad de la educación. En consonancia con la significación que los procesos de escolarización han tenido en la región para la garantía de la equidad social, el proceso de instalación de dichos sistemas se tradujo en la aplicación de perfiles y tiempos diferenciados.



A partir de un breve análisis se pueden identificar tres formas o modos de diferentes que adoptan las experiencias de evaluación:

a. Sistemas de evaluación orientados a las tareas de acreditación. b. Sistemas de evaluación de la calidad orientados a la producción de

información de logros de aprendizaje y de los procesos que los producen, con periodicidad en los procesos de aplicación de instrumentos y con alcance nacional.

c. Experiencias aisladas de evaluación ligadas a diagnósticos situacionales o en etapa de validación de ítems o de producción de instrumentos, que aún no conforman un sistema.

Más allá de las variaciones de organización y de tiempo en el proceso de su instalación, en todos los casos dos grandes temas han atravesado el proceso de discusión alrededor de la conformación de dichos sistemas de evaluación, tanto a nivel de la formulación del proyecto como de su implementación. Por un lado, en la mayoría de los casos han surgido interrogantes acerca de los factores procesuales que están en la base de los resultados logrados. Por otro lado, se ha planteado que el problema del uso de la información producida es central a la hora de diseñar las acciones de mejora, es decir, en el momento de la decisión política o en el momento de enriquecer el debate educativo en la esfera pública. En todos nuestros países el desafío se instala en producir una información que respete la relación entre la vida cotidiana de las escuelas y los registros de tipo estadístico que proporcionan la imagen de la realidad educativa a nivel del sistema educativo. Tal posibilidad se encuentra en la consideración de variables específicas que la investigación socioeducativa ha definido como relevantes. En este sentido, se ha comenzado a vislumbrar una segunda fase de los sistemas de evaluación de la calidad educativa que podría abarcar la producción de complejos diagnósticos de nivel pedagógico que incluyan tanto los análisis de la información cuantitativos como cualitativos, recabando la mayor cantidad de información que permita identificar la evolución de los procesos de transformación iniciados. Es importante destacar que el estudio de los factores asociados a los rendimientos alcanzados es un instrumento indispensable para llevar adelante este proceso. En este sentido, vale la pena retomar la discusión que gira en torno a la realización de una serie de estudios iniciados en la región y que afirmaron que a diferencia de los hallazgos sustentados por Coleman en la dé cada de 1960 para los EEUU, en los países “subdesarrollados” o de “bajo nivel de ingreso” “la medición escolar en el proceso social aparece como significativa en relación a los logros cognitivos de la población” (Heineman y Loxley, 1983). Asimismo, se ha afirmado sobre la base de resultados empíricos que “la influencia de la calidad de la escuela



sobre el rendimiento escolar es más fuerte en los países pobres y entre los estudiantes más pobres de los países en desarrollo”. Estas evidencias permitirán postular que ante la desigualdad estructural de los países de la región, cuyas características son más agudas que la desigualdad de los países centrales, la acción escolar se constituye en un factor sustancial del rendimiento educativo y de la equidad social. Una primera aproximación acerca del aporte escolar a los procesos de democratización social incluirá la afirmación de que lo que ocurre en el interior de las escuelas es un componente insoslayable de políticas sociales democratizadoras. En este sentido, aparece como interesante la afirmación que realizara Germán Rama hace unos años “hay un mundo donde la competitividad, la capacidad, la capacidad de conocer es un problema central y porque hay un mundo competitivo donde la capacidad de conocer para a ser el mayor capital, es que las unidades educativas se evalúan por lo que se aprende de ellas” (en Lanza, H., 1991). Por eso, en el camino de la transformación educativa emprendido por varios de nuestros países, sin duda, tienen un lugar de centralidad el diseño y la implementación de los sistemas de evaluación. Además, esta información acerca de los logros de aprendizaje no puede realizarse aislada del ámbito que los produce y de la posible capacidad que ese ámbito posee para transformarlos o mejorarlos. Así la identificación de factores procesuales en la consolidación de estos sistemas es una tarea vinculada a la producción de más y mejores aprendizajes en los sistemas educativos de nuestra región. Uno de los trabajos que constituye un “estado del arte” acerca de los factores que afectan el rendimiento acadé mico en el área de la escolaridad básica y que ha proporcionado una visión panorámica de esta situación en la región es un relevamiento de investigaciones de perfil cuantitativo (Schifelbein, Vé lez, Valenzuela, 1993), que identificó una serie de informes de investigación puestos a prueba, 88 ecuaciones o modelos de regresión acerca de la evidencia empírica recogida. Este trabajo se refiere a los factores o “inputs” que afectan los aprendizajes de los alumnos de nivel primario. Los estudios analizados en el trabajo mencionado se han centrado en la relación entre los objetivos cognitivos enunciados por las políticas educativas y los logros acadé micos efectivos (eficacia) antes que en la relación entre costo de los servicios y efectividad de los mismos en té rminos de resultados (eficiencia). El resultado general del relevamiento señala que los indicadores alterables (aquellos vinculados a la escuela y al maestro) conservan una importancia significativa y comparten un lugar de responsabilidad en la producción de logros acadé micos con algunos de los factores no alterables (aquellos exógenos al medio escolar, como el nivel socioeconómico del alumno). Por ejemplo, se han hallado significativas correlaciones entre los logros cognitivos, el acceso al material de lectura, formación inicial de los docentes, acceso al preescolar, autoestima, asignación de tareas para el hogar, la actitud frente al estudio. Estos resultados confirman los hallazgos de



Heyneman y Loxley en relación al peso de la acción escolar en la producción de la equidad social en los países periféricos. Entre otras líneas a profundizar a travé s de la investigación evaluativa de las áreas críticas se encuentra referida a la realización de análisis transversales que permitan distintos espacios geográficos y políticos. Además de la realización de estudios que den cuenta de las transformaciones longitudinales operadas en los logros. Por otra parte, es necesario tambié n generar la producción de análisis vinculados a la eficiencia de las acciones pedagógicas emprendidas a travé s de la ecuación costo-efectividad y la producción de información sobre factores vinculados con el rendimiento acadé mico y que den cuenta de procesos más complejos no fácilmente cuantificables. Evaluación y políticas de mejora de la calidad educativa La consideración de la evaluación como una acción política tiene significado por su estrecha vinculación con el objetivo de mejorar la gestión y la calidad de la enseñanza. El esfuerzo y la inversión en acciones que posibiliten implementar sistemas de evaluación en la región cobran sentido si ellos nos permiten:

Transferir señales a las escuelas sobre cuáles son los conocimientos significativos a desarrollar,

Identificar lo que se enseña y con qué profundidad, Vincular las características de los establecimientos a los resultados que en

ellos se logran, Imprimir ciertas correcciones en los sistemas de calificación escolar que han

operado con ausencia de referentes más amplios. Formular políticas e implementar acciones de mejoramiento educativo en el

camino de la equidad social. En tal sentido, el proceso de instalación de los sistemas de evaluación iniciado habrá de tener impacto sobre el diseño de políticas confiables de mejoramiento a partir de una base de información que de cuenta de las carencias y debilidades en las diferencias instancias del proceso educativo. El papel de retroalimentación de la evaluación se logra a travé s de la difusión responsable de la información a:

Cada establecimiento escolar para fortalecer la responsabilidad institucional sobre los resultados de la gestión escolar.

Los profesores y maestros para que puedan generar nuevas estrategias didácticas y metodológicas para mejorar el aprendizaje de los alumnos.



Las familias porque al disponer de resultados podrán confrontar sus opiniones acerca del desempeño de las instituciones, pero además esto redundará en decisiones más responsables en la elección de alternativas educativas.

A las autoridades y actores políticos de la sociedad porque del conocimiento de los resultados partirán acciones fundadas en la búsqueda de soluciones efectivas para la capacitación docente, las acciones de las políticas compensatorias y la producción de recomendaciones para mejorar la tarea en las aulas.

Consideraciones finales La reflexión y el análisis en torno a estos temas ha pasado a ser, en nuestros países, una temática poco atendida a concentrar un alto grado de interé s general. Además de preocupar a los especialistas de la educación, los resultados escolares son una preocupación permanente de quienes tenemos la responsabilidad de conducir al sistema educativo, de quienes trabajan en é l y de quienes tienen a sus hijos en las escuelas. Creo que tal situación deviene de la existencia de fuertes consensos en torno al valor que posee el conocimiento en el mundo actual. En innegable el papel que cumple la educación en el desarrollo de una ciudadanía que pueda sostener y fortalecer la democracia, y a la vez lograr mayores niveles de competencia para el desarrollo económico. Reconocer esto implica en los sistemas educativos la responsabilidad de difundir, al conjunto de la población, los conocimientos necesarios para lograr este objetivo. Un sistema nacional de evaluación que brinda, en forma periódica, información sobre los aprendizajes alcanzados por los estudiantes- pero que además provee información acerca de las características socioculturales de la población atendida, y del contexto institucional en el que se desarrolló el aprendizaje - puede tener efectos sobre la mejora de la gestión educativa y de la calidad de la enseñanza, porque entre otras cosas:

Aporta a los diferentes niveles de gestión una base de información imprescindible como instrumento para el diseño de políticas confiables de mejoras.

El devolver a las instituciones información acerca de los resultados que obtienen sus alumnos puede cumplir un papel interesante a la hora de fortalecer la responsabilidad institucional por los resultados de su acción.

La difusión social de los resultados puede convocar a la participación responsable de la familia y la sociedad en su conjunto incrementando su capacidad de demanda por mayores niveles de calidad.



Por último cabe señalar que operacionalizar o concretar una política de evaluación, determina asumir decisiones en torno a la elección de opciones referidas a muchos “qué ”, “para qué ” y “cómo”. Pero, poner en marcha este conjunto de decisiones y procesos que permiten medir y valorar los resultados de la acción educativa, atendiendo a las particulares condiciones nacionales, abre un potencial camino para generar acciones de mejora en el sistema educativo.



SISTEMAS NACIONALES DE EVALUACIÓN EDUCATIVA MUESTRA DE PAÍSES DE AMÉRICA LATINA Y DEL MUNDO

DESARROLLADO (Recopilación)

Agosto del 2000

Instituto de Fomento e Investigación Educativa, A.C.

Introducción Argentina Chile Colombia España Estados Unidos Francia Mé xico Programas Internacionales Reino Unido Lecciones Aprendidas y Futuros Desafíos Bibliografía Anexo: Una Mirada a los Sistemas de Evaluación de Seis Países



INTRODUCCIÓN

Uno de los acontecimientos más significativos en el campo de la educación es la emergencia y consolidación de los llamados sistemas nacionales de evaluación.

Condiciones que han favorecido la emergencia de los Sistemas Nacionales de Evaluación:

Alejandro Tiana (1996), tratadista español en el tema, destaca tres condiciones que han favorecido la emergencia de estos sistemas. Ellas son: 1) el cambio registrado en los mecanismos de administración y control de los sistemas educativos; 2) la demanda social de información y rendición de cuentas y 3) un nuevo modelo de conducción de los sistemas educativos. La primera se refiere a que las instancias administrativas en los niveles central y regional deben adoptar medidas que posibiliten a las instituciones educativas mayor autonomía para dar respuesta a las demandas del entorno sin renunciar a la responsabilidad de ejercer la función de control que la sociedad les ha encomendado. La segunda, tiene que ver con el control y gestión participativos que deben ejercer todos los ciudadanos sobre la educación, es decir, con la "rendición de cuentas" para vincular la educación al desarrollo, asumir la competencia creciente y establecer prioridades en la asignación de recursos. La última, alude a la gestión basada en la información sobre el estado, funcionamiento y productos del sistema educativo.

Posibles aportes de los sistemas de evaluación a la mejora de los sistemas educativos:

Entre los posibles aportes que puede realizar la evaluación para la mejora cualitativa de la educación se han seleccionado cuatro, considerados los más significativos: 1) Conocimiento y diagnóstico del sistema educativo; 2) Conducción de los procesos de cambio; 3) Valoración de los resultados de la educación; y 4) Mejora de la organización y funcionamiento de los centros educativos.

Definición del Sistema Nacional de Evaluación de la Educación:

Un sistema Nacional de Evaluación de la Educación es un dispositivo administrativo para la conducción del sistema educativo. Su función es ofrecer información sobre los resultados de la educación, el funcionamiento de distintos niveles del sistema, las condiciones que afectan los procesos en las distintas instancias y el aporte de distintos actores. Esto con el propósito de definir las políticas educativas, orientar el desarrollo de planes de mejoramiento y rendir cuentas sobre la respuesta del sistema a las demandas de la sociedad.



ARGENTINA

ESTATUS JURÍDICO:

La Ley Federal de Educación, sancionada en 1993, es explícita en cuanto a la necesidad de producir información básica para la formulación de políticas de mejoramiento de la calidad a travé s de la creación de un Sistema Nacional de Evaluación de la Calidad (SINEC) coordinado por el organismo central e integrado por unidades jurisdiccionales de las provincias y el Gobierno Autónomo de la Ciudad de Buenos Aires. El requerimiento de llevar a la práctica un sistema de evaluación que acredite la calidad de los distintos niveles que constituyen el sistema educativo formal a escala nacional es un valor compartido por todos los actores que forman parte de la comunidad educativa.

El artículo 49 instituye que “la evaluación de la calidad en el sistema educativo verificará la adecuación de los contenidos curriculares de los distintos ciclos, niveles y regímenes especiales a las necesidades sociales y a los requerimientos educativos de la comunidad, así como el nivel de aprendizaje de los alumnos / as y la calidad de la formación docente”.

Por último, el artículo 50 dispone que “las autoridades educativas de las provincias y de la Municipalidad de la Ciudad de Buenos Aires evaluarán periódicamente la calidad y el funcionamiento del sistema educativo en el ámbito de su competencia “.

Mediante el Decreto 506 del 24 de marzo de 1993 se aprueba la organización provisoria del Ministerio de Cultura y Educación de la Nación. Dentro de esta organización provisoria se crea la Secretaría de Programación y Evaluación Educativa y, dentro de esta, la Subsecretaría de Evaluación de la Calidad Educativa de la que dependen la Dirección Nacional de Evaluación y la Dirección General Red Federal de información

OBJETIVOS DEL SINEC:

Las metas generales propuestas por el SINEC fueron:

Realizar análisis de los planteles funcionales de las instituciones educativas de los niveles primario y medio para derivar tipologías aptas para la mejor comprensión de los factores que inciden en el rendimiento escolar;

Desarrollar instrumentos válidos y confiables para medir el rendimiento acadé mico en las asignaturas de Matemática, Lengua y Ciencia en el final de los ciclos de la enseñanza primaria y media;

Construir y diseñar un conjunto de instrumentos para evaluar las características del plantel (directivos, docentes y alumnos);

Realizar una aplicación nacional de carácter muestral anual; Diseñar y ejecutar un programa de difusión del sistema de evaluación de la calidad;



Diseñar y ejecutar programas de difusión para el manejo de resultados; Diseñar un programa de investigación sobre áreas críticas identificadas a partir del

análisis de los resultados de la evaluación.

LA ELABORACIÓN DE LOS INSTRUMENTOS DE EVALUACIÓN:

a) Las pruebas.

Las pruebas se construyen sobre la base de un análisis sistemático de los contenidos considerados centrales y básicos en cada una de las áreas o disciplinas. Por tal motivo, la aplicación de dichas pruebas proporciona información sobre el nivel de logros mínimos o básicos obtenidos por los alumnos en las diferentes disciplinas.

En encuentros nacionales y regionales se acuerda con las jurisdicciones una tabla - base para cada uno de los cursos la que establece el punto de partida para construir el conjunto de las pruebas a aplicar. Estas tablas incluyen los contenidos y las capacidades básicas o mínimas que se tendrán en cuenta, así como tambié n la cantidad de ejercicios (ítem) que se incorporarán para cada una de ellas.

Finalmente, se eligen los contenidos que pueden ser evaluados masivamente en forma escrita. Dichos contenidos cumplen con las siguientes condiciones:

Son centrales desde el punto de vista de la disciplina, Están presentes en todas las jurisdicciones, Tienen alta probabilidad de haber sido enseñados, Tienen la posibilidad de ser evaluados en forma escrita, Cuentan con la posibilidad de ser evaluados en forma masiva.

b) La información complementaria.

En forma complementaria, se administran cuestionarios a los alumnos, docentes, directores y, sólo en 1993, a las familias de los alumnos. A travé s de estos cuestionarios se recaba información vinculada con la historia acadé mica de los alumnos, las expectativas docentes respecto a los alumnos, las formas de organización del trabajo docente, las formas de organización del trabajo en la escuela en su conjunto, etc. Dicha información tiene por objeto describir algunas recurrencias o características comunes que contribuyan a identificar y explicar algunos aspectos que inciden en el rendimiento acadé mico de los alumnos - vale decir, identificar los factores de efectividad- y de este modo completar la información producida con la administración de las pruebas.



LA ESTRATEGIA METODOLÓGICA:

La estrategia propuesta por el SINEC consiste en medir periódicamente el rendimiento de los alumnos en todos los ciclos y niveles de la Educación General Básica y media, en las distintas áreas disciplinares. La decisión de tomar en consideración las áreas de matemática y lengua se funda en que ellas permiten evaluar la capacidad de abstracción y razonamiento lógico de los alumnos para su desempeño en la vida cotidiana. A partir de 1995, se introduce la evaluación de otras áreas disciplinares tales como las Ciencias Sociales y las Ciencias Naturales.

La estrategia metodológica seleccionada se orienta, pues, a medir a travé s de té cnicas y procedimientos el rendimiento de los alumnos del último año de los distintos ciclos y niveles, por un lado; y, por otro, a correlacionar dicho rendimiento con variables que se refieren al sistema educativo, a actitudes y valores de los alumnos y a su medio familiar. Asimismo, permite la construcción de perfiles descriptivos de docentes, alumnos, estilos de gestión educativa, y participación de la familia en el proceso de aprendizaje.

En la primera etapa, para la conformación de este sistema de evaluación de la calidad se han elaborado los siguientes instrumentos para la recolección de datos:

Pruebas de conocimiento de matemática y lengua para alumnos del último de los niveles primario y medio, con el fin de evaluar los niveles de logro acadé mico alcanzados.

Encuesta a los alumnos con el propósito de averiguar sus hábitos de estudio y demás actividades vinculadas a la tarea escolar.

Encuesta a los directivos de los establecimientos escolares en los que se ha tomado la prueba de conocimiento, con el objeto de conocer las características de la institución tanto en lo físico como en los recursos humanos (docentes) con los que cuenta.

Encuesta a los docentes para conocer las té cnicas y motivaciones que orientan su tarea en el aula, así como las características fundamentales de su carrera docente.

Encuesta a la familia de los alumnos destinada a averiguar su tipo de participación en la escuela y en el proceso de aprendizaje de sus hijos.

En síntesis, desde 1993, se han realizado 7 operativos nacionales en 3°, 6°, 7° y 9° año de la Educación General Básica (EGB) y en el último año de la Educación Secundaria. Estos últimos con carácter censal en 1997/ 98/ 99. Los demás con muestras aleatorias y estratificadas, con representatividad nacional y por jurisdicciones.

Las pruebas de rendimiento académico evaluaron principalmente LENGUA y MATEMÁTICA. Se tomaron, tambié n, algunas de CIENCIAS NATURALES y CIENCIAS SOCIALES con carácter experimental en distintos años y cursos.



CHILE

Chile ha estado involucrado desde hace largo tiempo en el desarrollo de evaluaciones educacionales. Su programa fue concebido en 1978, cuando el Ministerio de Educación solicitó a la Pontificia Universidad Católica que diseñara e implementara un sistema de información para la educación. En 1988, con la transferencia de las escuelas públicas a las municipalidades, el programa recibió el nombre de Sistema de Medición de la Calidad de la Educación (SIMCE).

La función del SIMCE es ayudar al Ministerio de Educación y a las autoridades regionales y provinciales a supervisar el sistema de educación, a evaluar a las escuelas y a apoyar la capacitación docente en el servicio. Entre los principales objetivos del SIMCE podemos mencionar los siguientes:

Proporcionar asistencia té cnica al Ministerio de Educación en su tarea normativa y en la supervisión del sistema. Brindar apoyo a las autoridades regionales y locales en la supervisión, además de prestarles apoyo té cnico. Estimar la calidad de cada establecimiento educativo; compara dichos resultados, buscar los factores explicativos y evaluar los resultados de los programas pedagógicos. Orientar la actividad de perfeccionamiento docente, las acciones de supervisión y la asignación de recursos, particularmente hacia las escuelas con mayores deficiencias y apoyarlas en sus esfuerzos para alcanzar la equidad educativa. Facilitar que los padres de familia (hasta el momento sólo los que pertenecen a los sectores económicamente privilegiados) tengan mayores elementos para elegir aquellos establecimientos escolares con mejores resultados educativos. El Ministerio de Educación y las municipalidades, con cada vez mayor frecuencia, utilizan los resultados del SIMCE como un mecanismo para incentivar a las escuelas y maestros para alcanzar un mayor desempeño acadé mico.

Asimismo, el programa evalúa a los niños que cursan los grados cuarto y octavo en las áreas de español y matemáticas y al 10% de ellos en ciencias naturales, historia y geografía. Tambié n evalúa el desarrollo personal y las actitudes de los alumnos, las actitudes y antecedentes de los profesores y los padres, y la eficacia de las escuelas. Las evaluaciones de ambos grados se aplican en años alternados. A partir de 1991, el Ministerio de Educación se hizo cargo de la administración del programa.

A contar de 1988, el programa se ha vuelto más eficaz y eficiente, luego de la introducción de mejoramientos en la capacidad té cnica, el sistema de procesamiento computarizado y la administración. Actualmente, los puntajes se entregan a las escuelas en forma mucho más rápida y se han simplificado los informes para asegurar la fácil comprensión de los resultados. Estos esfuerzos parecen estar teniendo impacto en la planificación pedagógica en muchas escuelas. Quienes diseñan los currículos y los materiales pedagógicos, por ejemplo, están dando é nfasis al dominio de los objetivos que parecen ocasionar problemas a los alumnos. Algunos padres están



utilizando los resultados del SIMCE para seleccionar para sus hijos las escuelas que muestran un mejor rendimiento. El costo del programa es de aproximadamente $5 dólares por alumno, lo que es comparable con los estándares internacionales.

Los puntajes en el SIMCE tambié n han constituido la base de un programa pedagógico dirigido inicialmente a 900 y posteriormente a 1.200 de las escuelas chilenas que exhiben el peor rendimiento. Las escuelas que participan en este programa han recibido materiales pedagógicos, bibliotecas, libros, infraestructura y capacitación docente en servicio. Dependiendo de su condición inicial, se da preferencia a algunas escuelas en el otorgamiento de subvenciones para programas de mejoramiento locales. Por otra parte, las escuelas que han mejorado sus puntajes de un año al otro han recibido recompensas financieras.

Las pruebas del SIMCE revelan lo siguiente: aquellas escuelas que tienen niños que proviene de familias pobres y con un bajo nivel de educación o de áreas rurales obtienen los peores puntajes en las pruebas del SIMCE; las escuelas municipales públicas y las escuelas rurales obtienen puntajes más bajos que las escuelas privadas, especialmente aquellas instituciones con una larga tradición; las escuelas privadas muestran un rendimiento mejor que las escuelas públicas aun despué s de controlar el factor del nivel socioeconómico de los padres y, finalmente, los puntajes de las 900 escuelas muestran un mejoramiento significativo durante los últimos años.

Entre los actuales problemas se encuentra el hecho de que, si bien muchas escuelas están haciendo uso de los resultados del SIMCE con el fin de mejorar las condiciones locales, aún se espera que sean las autoridades centrales las que inicien las acciones correctivas. Algunas escuelas han informando un aumento del número de alumnos provenientes de hogares en situación desmedrada, en un aparente esfuerzo por mostrar que sus logros relativos (valor agregado) han mejorado. Las mediciones del área afectiva no han tenido é xito y quizás debieran ser descartadas. Tal vez tambié n sería apropiado reducir la proporción de pruebas al universo y recurrir más al muestreo. Finalmente, debido a problemas té cnicos, las posibilidades de comparación de los resultados de un año son inadecuadas.

En general, Chile cuenta en la actualidad con el sistema de evaluación más amplio y mejor administrado de Amé rica Latina y el SIMCE ha servido como una poderosa herramienta para la implementación de un programa de reforma que promueve la descentralización, la responsabilidad por los resultados y el aumento del aprendizaje y la escolaridad. Las autoridades de gobierno buscan mejorar aun más el sistema. En particular, actualmente están considerando agregar pruebas de desarrollo en las evaluaciones (hoy en día todas las pruebas son del tipo selección múltiple). Dado que aún no se comprenden cabalmente las causas del bajo rendimiento, se encuentra en marcha un esfuerzo de investigación más sofisticado. Finalmente, las autoridades chilenas han decidido participar en el estudio TIMSS de seguimiento programado para 1999 como una manera de establecer puntos de referencia para la comparación del rendimiento de sus alumnos con el resto del mundo.



COLOMBIA

En 1998, el Ministerio de Educación Nacional se propone establecer el sistema de evaluación de la educación y para ello realiza una mesa de trabajo en evaluación con la participación de expertos nacionales e internacionales. Es de destacar las conclusiones generales:

En Colombia existen algunos desarrollos importantes que aportan elementos valiosos para el diseño del sistema como son: la Ley General de Educación; la fortaleza conceptual y operativa del Servicio Nacional de Pruebas del Instituto Colombiano para el Fomento de la Educación Superior (ICFES); la definición de competencias y responsabilidades de las entidades territoriales, expresadas en la Ley 60 de 1993; la propuesta de un Sistema Nacional de Evaluación de la Calidad de la Educación basada en una concepción regional; avances significativos en el diseño de pruebas de logro y de factores asociados; el diseño de una muestra maestra nacional que permite aplicaciones periódicas y comparables en el tiempo; y participación del país en evaluaciones internacionales; es indudable que subsisten limitaciones significativas frente al reto de diseñar un Sistema de Evaluación vinculadas con la falta de diseño e institucionalización y con la consiguiente ausencia en la definición de funciones y competencias de las unidades de gestión.

Es prioritario diseñar y establecer el Sistema Nacional de Evaluación de la Educación y crear un organismo con una estructura acorde con las funciones a desempeñar y con autonomía, que lo administre. Su estructura debe incluir organismos de consulta, de concertación y de decisión en asuntos de carácter político, científico y té cnico que permitan llegar a consensos, garantizar apertura y ganar legitimidad, credibilidad y confianza en sus decisiones.

Se ha trabajado en el campo de la evaluación de docentes para ingreso al Servicio Educativo Estatal y desde 1997 se ha adelantado bajo la coordinación del Ministerio de Educación Nacional (MEN), la investigación específica y elaboración de pruebas para evaluar docentes en ejercicio.

Un objetivo en el que ha sido fundamental el papel del ICFES es en el de proporcionar información sobre los logros de los alumnos de la educación básica y los factores que pueden llegar a explicar estos logros. De esta manera ha contribuido a la formulación de políticas y al mejoramiento de la toma de decisiones en educación orientadas a la intervención efectiva para mejorar la enseñanza y el aprendizaje.

En este sentido, los resultados de la evaluación educativa y su uso, se visualizan como una posibilidad cierta de contribuir a garantizar la calidad de la educación; por ello se sigue prestando el reconocido Servicio Nacional de Pruebas pero la dependencia

http://200.25.62.248/WEBSAC/Docentes/frame/principal.htm



encargada de prestarlo toma el nombre a partir del año 2000 de Subdirección de Aseguramiento de la Calidad.

ESTATUS JURÍDICO

A partir del año 2000, tras la reestructuración del Ministerio de Educación y el Instituto Colombiano para el Fomento de la Educación Superior (ICFES) se ha reglamentado que el MEN dirige el Sistema Nacional de Evaluación de la Educación y el ICFES lo administra (Decretos 2662/99 Artículo 2º numeral 20; Decreto 088 febrero 2/2000 Artículo 4º numeral 9).

DIFUSIÓN PÚBLICA DE LOS RESULTADOS:

En noviembre de 1997, el Ministerio de educación Nacional publicó los cuatro libros que se relacionan a continuación sobre las aplicaciones del Sistema Nacional de Evaluación realizadas entre 1992 y 1994.

Resultados en las Áreas de Matemáticas y Lenguaje, dirigido a las

autoridades regionales, las instituciones formadoras de docentes, los centros y grupos de investigación y a los directivos de las instituciones; en ellos se presentan de manera resumida los marcos conceptuales de los instrumentos de evaluación, los procesos té cnicos para la obtención de resultados y los resultados nacionales y regionales obtenidos por los estudiantes en las áreas de lenguaje y matemáticas.

PROGRAMAS INTERNACIONALES

A) Estudio Internacional de Cívica y Democracia Conceptos Y Objetivos Del Estudio

Colombia participa desde 1995, junto con 24 países más, en el Estudio Internacional de Formación Cívica organizado y coordinado por la IEA (INTERNATIONAL ASSOCIATION FOR THE EVALUATION OF EDUCATIONAL ACHIEVEMENT), Asociación Internacional para la Evaluación del Logro Educativo.

El propósito más importante del estudio es identificar y examinar, en un marco comparativo, cuáles son las formas en que los jóvenes de 14 y 15 años (grado octavo) y los alumnos de grado 11, se preparan para asumir su papel de ciudadanos en sus países, además de cómo se inician en los distintos niveles y tipos de comunidad política.



B) Estudio sobre el Progreso Internacional en Competencia en Lectura

(Progress in International Reading Literacy Study – PIRLS)

Colombia participa actualmente en el Estudio Internacional sobre el Progreso en Competencia en Lectura (Progress in International Reading Literacy Study - PIRLS), adelantado por la International Association for the Evaluation of Educational Achievement (IEA). PIRLS es un importante proyecto de investigación educativa sobre los logros de los estudiantes en competencia en lectura, que se adelanta en más de 30 países de todo el mundo. Está diseñado para medir e interpretar diferencias entre los sistemas nacionales de educación con el fin de ayudar a mejorar la enseñanza y aprendizaje de la lectura en todo el mundo. C) Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación

El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación es la Red de Sistemas de Medición y Evaluación Educativa de los países de la región, y un ámbito de discusión y acción té cnico-política sobre temas del aprendizaje, sus variables relacionadas y su traducción en política pública en educación.

ESPAÑA OBJETIVOS DEL CENTRO

El respeto y la igualdad, el derecho a la educación y la calidad de la enseñanza exigen, por parte de las diferentes administraciones estatales y centros educativos, el cumplimiento de las enseñanzas mínimas legalmente establecidas. Así pues, el Instituto Nacional de Calidad y Evaluación (INCE) debe evaluar el grado de adquisición de estos mínimos para los diversos niveles, etapas, ciclos y grados del sistema educativo. Las principales funciones que le corresponden al INCE son:

Analizar el grado de eficacia y de eficiencia del sistema educativo. Elaborar sistemas de evaluación para las diferentes enseñanzas reguladas en la Ley Orgánica de Ordenación General del Sistema Educativo (LOGSE). Elaborar un sistema estatal de indicadores. Coordinar la participación española en los estudios internacionales sobre evaluación. Colaborar y cooperar con las Administraciones educativas en materia de evaluación. Proporcionar e intercambiar información con las Administraciones educativas para la toma de decisiones. Proporcionar información al Consejo Escolar del Estado. Informar a la sociedad sobre el funcionamiento y resultados del sistema educativo. Difundir los resultados de sus evaluaciones e investigaciones.



ORGANIZACIÓN DEL INCE

En el Real Decreto 928/1993 se establece la organización básica del INCE, constituida por un Consejo Rector de carácter decisorio, un Director, un Comité Científico con carácter consultivo y una plantilla de personal necesaria para el cumplimiento de sus funciones.

FECHA DE CONSTITUCIÓN

18 de junio de 1993

FINANCIAMIENTO MINISTERIO DE EDUCACIÓN Y CIENCIA REAL DECRETO 928/1993, de 18 de junio, por el que se regula el Instituto Nacional de Calidad y Evaluación. Artículo 11. El Ministerio de Educación y Ciencia asegurará al Instituto Nacional de Calidad y Evaluación la dotación presupuestaria necesaria para la realización y coordinación de los trabajos que tiene encomendados. El Consejo Rector podrá establecer prioridades en la utilización de los recursos disponibles. Para el desarrollo de los programas establecidos, en el ámbito de las correspondientes Administraciones educativas, se acordarán, en cada caso, los criterios que garanticen la disponibilidad de los medios necesarios para su aplicación. EVALUACIONES:

Niveles Educativos que evalúa:

Educación Primaria. Educación Secundaria Obligatoria. Formación Profesional. Aprendizaje y Enseñanza de la Lengua Inglesa.

ÁMBITO DE ACTUACIÓN DEL INCE La evaluación del sistema educativo se realiza en dos ámbitos: el que corresponde al Estado y el propio de las Administraciones educativas con competencias plenas. El INCE se sitúa en el primero de ellos, siendo el encargado de evaluar los aspectos del currículo que constituyen las enseñanzas mínimas establecidas en el artículo 4 de la LOGSE. Por otra parte, el Instituto ha de contribuir a la elaboración de sistemas de evaluación, a la realización de investigaciones, estudios y evaluaciones, además de aportar propuestas de iniciativas y sugerencias que puedan contribuir a la mejora de la calidad de la enseñanza.

http://www.ince.mec.es/pres/rd.htm

http://www.ince.mec.es/pres/logse4.htm

http://www.ince.mec.es/pres/logse4.htm



RENDIMIENTO ACADÉMICO DE ALUMNOS Actuaciones 1999-2000

I. Acciones de carácter permanente

1. Elaboración de un sistema estatal de indicadores de la educación. 2. Construcción de un banco de items y pruebas de rendimiento. 3. Diseño y desarrollo de programas de formación de especialistas en evaluación. 4. Edición de la Revista de Educación.

II. Proyectos específicos

1. Estudio sobre la enseñanza y aprendizaje de la lengua inglesa en España. 2. Segundo estudio de evaluación de la Educación primaria. 3. Evaluación de la Educación secundaria obligatoria. Cuarto curso. 4. Diagnóstico de la función directiva en los centros docentes sostenidos con fondos

públicos.

III. Participación en estudios internacionales

Proyecto Internacional de Indicadores de los sistemas educativos (INES) de la OCDE; Proyecto Internacional para la producción de indicadores de resultados educativos de los alumnos (PISA) de la OCDE y Estudio de centros de Educación secundaria post-obligatoria.

DESEMPEÑO DE DIRECTORES:

Diagnóstico de la función directiva en los centros docentes sostenidos con fondos públicos.

ALCANCE (NACIONAL O REGIONAL):

Nacional, pero haciendo uso de las evaluaciones de las Comunidades Autónomas.

MUESTREO O CENSAL:

Muestreo, a travé s de la elaboración de un sistema estatal de indicadores de la educación.

DIFUSIÓN PÚBLICA DE LOS RESULTADOS (TOTAL O PARCIALMENTE)

BOE del 21 de noviembre de 1995

Ley Orgánica 9/1995, de 20 de noviembre, de la participación, la evaluación y el gobierno de los centros docentes (LOPEG)



Artículo 28. Instituto Nacional de Calidad y Evaluación.

1. El Instituto Nacional de Calidad y Evaluación realizará la evaluación general del sistema educativo mediante el desarrollo de las actividades previstas en el artículo 62 de la Ley Orgánica 1/1990, de 3 de octubre, de Ordenación General del Sistema Educativo.

2. El Instituto Nacional de Calidad y Evaluación ofrecerá apoyo a las Administraciones educativas que lo requieran en la elaboración de sus respectivos planes y programas de evaluación.

3. El Gobierno hará públicas periódicamente las conclusiones de interé s general de las evaluaciones del sistema educativo efectuadas por el Instituto Nacional de Calidad y Evaluación y dará a conocer los resultados de los indicadores de calidad establecidos.

ESTADOS UNIDOS

I. INTRODUCCIÓN:

Estados Unidos se encuentra a la vanguardia en el desarrollo de una amplia variedad de evaluaciones educacionales destinadas a medir el desempeño institucional, establecer niveles de competencia mínimos para el egreso de la escuela y establecer puntos de referencia para medir el rendimiento educacional en comparación con los estándares internacionales.

En virtud de su historia y de sus leyes, y en contraste con la mayoría de los países, Estados Unidos no cuenta con un currículum obligatorio a nivel nacional. Y dado que la mayoría de los estados sólo entregan pautas generales, cada distrito escolar tiene considerable libertad para establecer el currículo. Como resultado, lo que se enseña realmente en la sala de clases varía enormemente de una escuela a otra y de un distrito a otro, y los alumnos y los profesores a menudo tienen una noción exagerada del nivel de logro que obtienen. Debido a estos problemas, las autoridades han hecho un gran esfuerzo por establecer estándares más sólidos en cuanto a aprendizaje y logros a nivel de los estados, como asimismo estándares nacionales posiblemente voluntarios. Por otra parte, están intentando basar sus currículos y pruebas en los estándares internacionales, especialmente en relación con el TIMSS.

Cabe señalar que las dos principales asociaciones gremiales de profesores, especialmente la Federación Norteamericana de Profesores (American Federation of Teachers - AFT), han apoyado permanentemente los esfuerzos a nivel nacional y estatal tendientes al mejoramiento de la evaluación y la calidad de la educación.

II. NAEP:

OBJETIVOS DEL CENTRO



El Centro para la Evaluación Nacional del Progreso Educativo (National Assessment of Educational Progress - NAEP), es la única entidad que evalúa, de una manera continua, el conocimiento y capacidades de los estudiantes norteamericanos.

FECHA DE CONSTITUCIÓN: 1969

EVALUACIONES:

Niveles Educativos que comprende:

Grados 4, 8, 11 y 12. Además mide resultados para alumnos en edades de 9, 13 y 17.

RENDIMIENTO ACADÉMICO DE ALUMNOS

NAEP evalúa periódicamente el desempeño de los alumnos, tanto actual como el mostrado en el largo plazo, relativo a lectura, matemáticas, ciencia, gramática, historia estadounidense, civismo, geografía, artes y otras materias.

En 1990, NAEP adoptó un nuevo formato de información. Además de las escalas de aptitud que describen lo que los alumnos saben y lo que pueden hacer, NAEP comenzó a informar los “niveles de rendimiento” que mide lo que los estudiantes deberían saber y ser capaces de hacer. El propósito era establecer estándares acerca de lo que los estudiantes deberían saber a una cierta edad o grado, y no sólo medir lo que ello efectivamente saben.

Las evaluaciones de NAEP muestran los resultados educativos en diversos niveles: nacional, estatal y local.

MUESTREO O CENSAL

Muestral, se realizan tanto a nivel nacional como estatal. En 1998, 43 estados participaron en este tipo de evaluaciones de NAEP. Las materias evaluadas fueron lectura en los grados 4 y 8, así como escritura en grado 8. Para el año 2000, la meta será que todos los estados participen en las evaluaciones estatales de matemáticas y ciencia para el 4º y 8º grado.

USUARIOS DE LA INFORMACIÓN SOBRE LAS EVALUACIONES

Encargados del diseño de políticas públicas, administradores, directores escolares y maestros.

DIFUSIÓN PÚBLICA DE LOS RESULTADOS:

En su sitio web y en publicaciones impresas.



FINANCIAMIENTO:

Gobierno Federal

FRANCIA

Desde mediados de los años ochenta, en Francia se ha desarrollado un sofisticado sistema de evaluación de los alumnos. Si bien Francia cuenta con un currículum obligatorio a nivel nacional, las escuelas elementales y secundarias tienen un alto grado de libertad en el uso de sus fondos y sus té cnicas pedagógicas. La responsabilidad por la supervisión y evaluación de la educación está en manos de los más de 200 té cnicos de la Direction de l’Evaluation et de la Prospective (DEP), una división del Ministerio de Educación de Francia.

Las principales autoridades de gobierno están firmemente comprometidas con el establecimiento de un sistema de medición de los resultados educacionales basado en estándares claros y en una difusión completa y abierta de los resultados, asegurando de este modo la independencia de la DEP.

Según el sistema francé s, los estándares de logro esperados se establecen de manera centralizada y se toman pruebas anuales a todos los alumnos de grados específicos de la educación primaria y secundaria del nivel inferior. El examen de bachillerato (egreso) administrado a los alumnos del nivel superior de la educación secundaria tambié n se utiliza con propósitos de evaluación. La DEP proporciona retroalimentación detallada y fácil de comprender a todas las partes involucradas: la opinión pública, los padres, los alumnos, los profesores y administradores y el Ministro de Educación. El organismo ha desarrollado tambié n una amplia variedad de materiales de enseñanza y aprendizaje opcionales orientados al rendimiento de los alumnos y a las fortalezas y debilidades de los profesores. Al igual que diversos organismos en Estados Unidos, la DEP ha intentado medir el rendimiento escolar en comparación con los estándares internacionales.

Como ocurre en todo el mundo, las escuelas de las comunidades más pobres de Francia obtienen puntajes más bajos que las escuelas que se encuentran en las áreas de mayor riqueza. La DEP ha intentado identificar las escuelas que se encuentran en áreas más pobres y están exhibiendo un buen rendimiento con el fin de definir de mejor manera el “valor agregado” de la escolaridad. Las escuelas que muestran un rendimiento mejor de lo esperado en base a su población escolar se definen como escuelas “eficaces”. Estudiando a dichas escuelas, las autoridades debieran ser capaces de determinar por qué son eficaces y luego establecer condiciones similares en las escuelas que presentan un rendimiento más bajo.



MÉXICO

En 1970, Mé xico estableció una oficina en la Unidad de Planificación Educacional de la Secretaría de Educación Pública, que finalmente se transformó en la Subdirección de Evaluación y Acreditación, con el propósito de estudiar las características y la calidad del sistema educacional del país. Los profesionales involucrados llevaron a cabo estudios de aptitud en niños de sexto grado de la educación básica y establecieron un examen de ingreso a la educación secundaria.

Durante el período 1976 a 1982, la subdirección investigó el aprendizaje en una muestra representativa de alumnos que cursaban el cuarto y quinto grado. Los resultados de esta evaluación aparecieron en publicaciones científicas y especializadas, no siendo divulgadas de ninguna otra manera, y las autoridades les prestaron poca atención. En efecto, la información con respecto a la evaluación se transformó en un “secreto de estado” sólo conocido por un reducido número de profesionales de la secretaría. Este enfoque dificultó el desarrollo té cnico como asimismo la utilización para el diseño de políticas.

Durante el período 1983 a 1988, en Mé xico se desarrolló un examen para egresados de las escuelas de capacitación de profesores. Posteriormente, en 1989, se tomó la decisión de aplicar el concepto de evaluación de manera más amplia con el fin de mejorar la enseñanza y el aprendizaje y de publicar los resultados. En 1992, el gobierno federal y las Asociaciones Gremiales Nacionales de Profesores acordaron un programa tendiente a modernizar la educación básica a travé s de su descentralización en el ámbito de los estados, dejando en manos del gobierno federal la responsabilidad de medir y evaluar el aprendizaje y asegurar la calidad de la educación básica y la capacitación de los profesores. Con este propósito, la Secretaría de Educación Pública (SEP) se comprometió a apoyar las evaluaciones de los profesores, las evaluaciones en la sala de clases y aqué llas realizadas en el ámbito nacional.

En 1994, despué s de cinco años de evaluaciones de la calidad de la educación en Mé xico, la Secretaría emitió un informe acerca de los conocimientos y las habilidades de 480.000 profesores como asimismo el rendimiento de 2,8 millones de niños de educación básica y secundaria. Sus principales conclusiones fueron que los niños que habían asistido a la educación preescolar obtenían puntajes más altos que aquellos que no lo habían hecho; los niños que habían repetido el sexto grado como asimismo aquellos que estaban trabajando exhibían un menor rendimiento que aquellos que nunca habían repetido y aquellos que no trabajaban; los niños que asistían a escuelas urbanas o privadas obtenían mucho mejores resultados que aquellos que asistían a escuelas rurales y públicas; los puntajes más bajos se encontraban entre los niños que asistían a escuelas indígenas y comunitarias, que contaban con instalaciones inadecuadas y profesores con menor nivel de capacitación, y los niños que obtenían los mejores puntajes asistían a escuelas urbanas y tenían padres que exhibían un mayor nivel de educación. Mientras que los niños de primer y segundo grado obtenían puntajes cercanos a lo que los investigadores y diseñadores de currículos esperaban, sus puntajes bajaban sucesivamente cada año en té rminos del porcentaje de



respuestas correctas. Las autoridades mexicanas informaron tambié n que era imposible medir sistemáticamente el desempeño de los profesores en la sala de clases, debido a que las poblaciones de alumnos eran extremadamente diversas y aún existían dificultades té cnicas.

De 1995 a 1999, la SEP ha aplicado exámenes cada año a aproximadamente 600 mil docentes y a 7 millones de alumnos (de tercer grado de educación primaria a tercer grado de educación secundaria, en casi la totalidad de las escuelas secundarias y en el universo completo de las escuelas primarias. En este periodo, los Consejos Té cnicos Escolares, encargados de evaluar el desempeño profesional de los profesores otorgaron, en su gran mayoría, el máximo puntaje a todos sus docentes evaluados. Lo anterior hace evidente las dificultades que enfrenta realizar una auto evaluación en los centros escolares sin la referencia de una evaluación externa.

Por otra parte, las evaluaciones de maestros y de alumnos poco se han utilizado para apoyar la toma de decisiones de las autoridades educativas y para apoyar el trabajo diario de los docentes. Para subsanar este fenómeno, la Dirección General de Evaluación (DGE) de la SEP inició en 1997 la generación de reportes anuales para cada entidad federativa, donde se efectúa la medición de la preparación profesional de los docentes y el aprovechamiento escolar de los alumnos, donde se indican los resultados y la posición relativa de la entidad de manera global, por nivel educativo, por tipo de examen y por unidad temática. Asimismo, la DGE regresa a las escuelas los exámenes aplicados a los alumnos junto con los siguientes indicadores:

Sus resultados por grupo, el logro promedio en conocimientos y habilidades, además de los valores máximos obtenidos ya sea en la zona escolar, municipio o estrato socioeconómico de la entidad. Características y formas de trabajo de las escuelas cercanas con altos logros que atienden a poblaciones con características económicas y culturales semejantes. Metodología para identificar sus fortalezas y debilidades y proponer acciones para mejorar sus servicios.

A pesar de lo anterior, hasta 1999 es aún reducido el número de autoridades educativas que han incorporado estos resultados para fortalecer sus áreas más dé biles, modificar el formato de sus evaluaciones u orientar mejor los cursos de actualización de sus profesores.

Por último, se observa una reticencia por parte de la DGE para informar a los padres de familia sobre el resultado de estas evaluaciones, bajo el argumento de que esta acción podría provocar temor y/o aversión entre las autoridades educativas evaluadas, así como motivar el cambio de alumnos de escuelas de bajo rendimiento hacia aquellas con mejores resultados. Sin embargo, sería conveniente reconsiderar la conveniencia de esta medida, ya que la difusión pública de las evaluaciones contribuye a identificar áreas de oportunidad para mejorar los procesos educativos, facilita la transparencia en la actuación de los agentes escolares y provoca una mayor participación de los padres en la educación de sus hijos.



PROGRAMAS INTERNACIONALES

El acontecimiento más importante relacionado con las evaluaciones internacionales en los últimos años ha sido el Tercer Estudio Internacional de Matemáticas y Ciencias (Third International Mathematics and Science Survey - TIMSS) de la IEA (International Evaluation Association). La IEA es un consorcio de evaluación que opera en todo el mundo a travé s de su oficina central en Ámsterdam, Holanda. Es conocida por sus estudios internacionales de programas de matemáticas, ciencias, lectura, alfabetización y ciencias sociales. Los programas de la IEA son financiados por los países participantes.

El TIMSS tiene como objetivo medir, comparar y explicar el aprendizaje en ciencias y matemáticas en 41 países. Actualmente se dispone de los resultados de los exámenes de matemáticas y ciencias para niños de los grados cuarto, sé ptimo, octavo, y duodé cimo. Además, recientemente, el TIMSS llevó a cabo un innovador análisis sobre la “oportunidad de aprender” de los niños, que clasifica en categorías y compara los currículos, los textos escolares y la pedagogía en la sala de clases entre los 41 países participantes. Dichos análisis demuestran que los exámenes de rendimiento no deben simplemente concentrarse en la identificación de los países que obtienen los puntajes más altos o más bajos, sino que pueden ser utilizados como una herramienta para medir el progreso educacional de un país, redefinir sus objetivos curriculares y modificar las prácticas en la sala de clases.

En 1991, once países latinoamericanos (Costa Rica, Perú, Argentina, República Dominicana, Colombia, Guatemala, Venezuela, Chile, Ecuador, Brasil y Mé xico) asistieron a una reunión regional preliminar del TIMSS, pero sólo Colombia y Mé xico participaron hasta el final. Además, sólo se informaron los puntajes de Colombia en la publicación del TIMSS. En el último minuto, Mé xico decidió no permitir la divulgación de sus puntajes. Argentina y República Dominicana participaron en el análisis de los currículos. La razón de la baja participación de los países de Amé rica Latina (y de todos los países en desarrollo) parece ser una combinación de falta de recursos té cnicos y financieros adecuados como, tal vez, la preocupación de algunas autoridades ante la posibilidad de obtener los peores puntajes.

La metodología del TIMSS permite que quienes desarrollan los currículos y quienes diseñan las políticas determinen si existe correspondencia entre los currículos, los textos escolares y la enseñanza y aprendizaje en la sala de clases. Por último, se repitió la evaluación del TIMSS en 1999.

REINO UNIDO

ESTATUS JURÍDICO



La Oficina para los Estándares en la Educación (OFSTED), oficialmente la Oficina del Inspector Principal de su Majestad de las Escuelas en Inglaterra, fue instalada el 1 de septiembre de 1992. Es un departamento gubernamental no-ministerial, independiente del Departamento para la Educación y el Empleo (DEE).

PROPOSITO:

El propósito de OFSTED es mejorar los estándares, el logro y la calidad de la educación en de escuelas, la capacitación del profesor, el servicio a los jóvenes y la enseñanza para adultos, a travé s de la inspección regular, el reporte público y el consejo informado. OFSTED tambié n tiene responsabilidad conjunta con la Comisión de Auditoria para la inspección de las Autoridades Locales de Educación.

La actividad para la cual OFSTED es más reconocido es la inspección escolar, actividad donde tiene una responsabilidad estatutaria de informar, a la Secretaría de Estado de Educación y Empleo, sobre los siguientes temas: - La calidad de la educación proporcionada por las escuelas en Inglaterra; - Los estándares educativos alcanzados por los pupilos en esas escuelas; - Si los recursos financieros puestos a disposición de esas escuelas están siendo manejados eficientemente; y - El desarrollo espiritual, moral, social y cultural de los alumnos.

Para satisfacer estos requisitos, OFSTED instaló un sistema del inspección para asegurarse de que cada escuela pública en Inglaterra sea examinada cada seis años. Tiene que cerciorarse de que haya los suficientes Inspectores Registrados (RgIs) disponibles de modo que puedan someter ofertas y competir por contratos de inspección en los niveles de educación secundaria, primaria y de educación especial. OFSTED establece el marco para estos exámenes, recluta y entrena a los RgIs y a los miembros del equipo, incluyendo inspectores sin experiencia (lay). Los RgIs y otros inspectores del equipo no son empleados de OFSTED. Ellos dependen de las autoridades educativas locales y de firmas privadas que actúan bajo contrato con OFSTED. ESTRUCTURA ORGANIZACIONAL

• Dirección General Incluye al Director de Planeación y Control, a los Directores de Inspección y al Director de la oficina privada de HMCÍ (Oficina del Inspector Principal de su Majestad de las Escuelas en Inglaterra). La Dirección General es responsable del funcionamiento correcto de OFSTED y del establecimiento de todas las políticas.

• División de Contratos: Es una de las divisiones administrativas más grandes, con responsabilidad de contratar el sistema inspección de las escuelas y de que la concesión de todos los contratos se realice de forma competitiva. La división debe asegurarse de mantener la eficacia y la



eficiencia del sistema de contratos y de que todas las escuelas están siendo inspeccionadas. Esta división tambié n se encarga de los contratos para el entrenamiento de inspectores y de aquellos que se concretan con el sector privado.

• División de Calidad en la Inspección: Esta división es responsable de mantener el registro de los inspectores (RgIs), de los inspectores del preescolar (RgNIs) y del equipo de inspectores sin experiencia. Asimismo, evalúa el funcionamiento de los inspectores y de los contratistas; el entrenamiento de los aspirantes a inspectores, de la acreditación y monitoreo de los capacitadores; y del ulterior entrenamiento y desarrollo profesional de los inspectores. La División tambié n tiene responsabilidad de la evaluación de los candidatos para todas las categorías del estatus de inspector.

• División de Educación No Obligatoria: Esta división reporta sobre la calidad, la eficacia y los estándares de las escuelas que atienden a los jóvenes que van de 16 a 19 años, así como de la enseñanza para adultos y de la juventud que trabaja; sobre el uso del financiamiento a los organismos de jóvenes voluntarios; sobre la calidad y difusión de la orientación vocacional; así como de las labores educativas en las prisiones.

• División de Educación Preescolar y Primaria: Esta División inspecciona y proporciona consejo sobre la calidad de la educación y sobre los estándares mínimos que deben lograr los alumnos de estos grados escolares.

• División Internacional y de Investigación (RAI): OFSTED tiene la base de datos educativa más grande en el mundo y é sta División la maneja y administra. Dicha información es generada por las inspecciones de RgI. Esta División emprende proyectos de investigación usando la información de la base de datos y prepara análisis estadísticos como servicio para otras divisiones de OFSTED. RAI tambié n prepara Reportes de Indicadores Escolares y de Contexto Pre-Inspección, mismos que analizan estadísticas para proporcionar información a los inspectores sobre la escuela que será inspeccionada.

• División de Mejora Escolar (SID): Esta División aconseja a las autoridades educativas sobre escuelas que han mostrado bajo rendimiento, así como su posterior desempeño cuando se hallan sujetas a provisiones especiales. SID se comunica con aquellas autoridades apropiadas, con las Autoridades Locales Educativas y con las asociaciones de educación encargadas de mejorar el desempeño de este tipo de escuelas. Esta División es la encargada de corroborar la validez del juicio de los RgIs' acerca de que una escuela efectivamente requiere sujetarse a medidas especiales. La división identifica escuelas con debilidades serias y las examina para controlar cómo están remediando sus debilidades. Por último, esta División es responsable de los planes de acción, vigilando las mejoras resultado de la inspección y los vínculos con sus directores y los padres de familia.



• División de Educación Especial: División que reporta sobre los estándares y la calidad de escuelas especiales pertenecientes a los sectores que reciben financiamiento público y a las escuelas independientes, así como tambié n sobre los establecimientos pertenecientes a Servicios Públicos.

• División de Educación y Capacitación a Maestros: Esta División examina y reporta sobre el entrenamiento inicial de profesores, los cursos de inducción para nuevos profesores y de la capacitación en el trabajo. Asimismo, formula recomendaciones sobre políticas referentes a la evaluación del profesor, su remuneración, condiciones de su servicio de enseñanza y cuando el número de maestros requeridos es insuficiente. BIBLIOGRAFÍA Colombia. 2000. Subdirección de Aseguramiento de la Calidad.http://200.25.62.248/webSAC/ España. 2000. Instituto Nacional de Calidad y Evaluación (INCE). www.ince.mec.es

Estados Unidos. 2000. Centro para la Evaluación Nacional del Progreso Educativo (National Assessment of Educational Progress - NAEP). http://nces.ed.gov/nationsreportcard/site/

Himmel, Erika. 1997. “Impacto social de los sistemas de evaluación del rendimientoescolar: el caso de Chile”. Evaluación y reforma educativa: opciones de política.Programa de Promoción de la Reforma Educativa en Amé rica Latina y el Caribe(PREAL). www.preal.cl Programa de Promoción y Evaluación de la Calidad Educativa. 2000. “Evaluación de losresultados del Sistema Nacional de Evaluación de la Calidad (SINEC) 1993/1999: debilidades y fortalezas en las pruebas de evaluación”. Ministerio de Educación deArgentina. www.me.gov.ar Ravitch, Diane. 1996. “Estándares nacionales en educación”. PREAL. Reino Unido. 2000. Oficina para los Estándares en la Educación (OFSTED).www.ofsted.gov.uk Velázquez Castañeda, Víctor Manuel. 1999. “Contribución de la Dirección General deEvaluación de la SEP a la mejoría de la calidad de la educación básica en Mé xico”. Wolf, Laurence. 1998. “Las evaluaciones educacionales en Amé rica Latina: avanceactual y futuros desafíos”. PREAL.

http://200.25.62.248/webSAC/

http://www.ince.mec.es/

http://nces.ed.gov/nationsreportcard/site/

http://www.preal.cl/

http://www.me.gov.ar/

http://www.ofsted.gov.uk/



LECCIONES APRENDIDAS Y FUTUROS DESAFÍOS

Resumen de la experiencia en seis países

Chile y Argentina cuentan con los sistemas de evaluación más amplios y mejor administrados de Amé rica Latina. Chile ha demostrado tambié n el mayor compromiso de largo plazo con el desarrollo de evaluaciones. Si bien Chile y Argentina han hecho los mayores avances en la utilización de las evaluaciones en el área del diseño de las políticas, la reforma curricular y el mejoramiento de las escuelas, aún quedan muchos aspectos que mejorar incluso en estos países. En particular, aún no se han establecido objetivos de aprendizaje claros a nivel nacional y sólo recié n se están iniciando esfuerzos sistemáticos por “compatibilizar” el currículum, los textos escolares y la pedagogía utilizada en la sala de clases. Chile y Argentina tambié n han hecho avances en la integración de las evaluaciones en un sistema amplio de supervisión y evaluación.

Entre los principales problemas que requieren atención se encuentran la renuencia de Mé xico a divulgar los resultados de las evaluaciones, el enfoque “intermitente” de Costa Rica con respecto a las evaluaciones y el excesivo número de pruebas aplicadas; y el lento progreso de Brasil en la utilización de las evaluaciones para la reforma de los currículos y las políticas. Con excepción de Costa Rica, los seis países analizados en este trabajo han utilizado preguntas de selección múltiple más que preguntas de rendimiento o de interpretación abierta.

Otro punto que debe tomarse en cuenta es que los seis países informaron resultados similares en los exámenes. En particular, los alumnos que cursaban los últimos años de la educación básica y aquellos que asistían a la educación secundaria obtuvieron puntajes muy por debajo de las expectativas de los educadores e investigadores profesionales. Los estudiantes con los mejores puntajes provenían de escuelas urbanas y privadas y tenían padres con un mayor nivel de educación. Pocos países de la región han emprendido análisis multivariados detallados de estos resultados con el fin de identificar sus causas. Si bien diversos estudios han mostrado una correlación entre los profesores mejor capacitados y un mejor rendimiento de los alumnos, la mayoría de estos estudios no controlaban el factor del nivel socioeconómico de los alumnos o la ubicación de la escuela lo suficientemente como para confirmar la importancia de la educación de los profesores. Además, aún existe poca información con respecto a si los niveles de rendimiento de los alumnos han cambiado a travé s del tiempo.

Entre las innovaciones importantes en la región se incluye el intento de Brasil de evaluar las instituciones de educación superior; las evaluaciones de la capacidad de aprendizaje efectuadas en Costa Rica entre los niños que entran a la educación primaria y sus exámenes para los alumnos que terminan la educación secundaria; las evaluaciones aplicadas en Mé xico para medir los conocimientos y habilidades de los profesores; el é nfasis dado en Colombia a la



investigación; el uso que se hace en Chile de las evaluaciones para orientar la asignación de recursos y los esfuerzos de Argentina por utilizar las evaluaciones para la reforma curricular. El programa UNESCO/OREALC tambié n constituye una importante innovación que tendrá mayor impacto a medida que se vaya aumentando la coordinación con las instituciones como la IEA.

En general, entre las principales lecciones aprendidas y desafíos para el futuro se incluyen los siguientes: (a) la importancia de un consenso nacional y un compromiso de largo plazo; (b) la importancia de centrarse explícitamente en el uso de las evaluaciones como herramientas para mejorar el aprendizaje; (c) la necesidad de generar capacidades y competencia té cnica y (d) la necesidad de obtener beneficios de los adelantos e innovaciones provenientes tanto de Amé rica Latina como de otras regiones, especialmente a travé s de programas de pruebas internacionales como los de la IEA.

Generación de consenso y compromiso

Generación de un consenso nacional

Tal vez la lección más importante a la fecha es que la necesidad de llevar a cabo evaluaciones ya no debiera ser un tema de debate en los países de Amé rica Latina. Por el contrario, estos países necesitan establecer objetivos educacionales, determinar si los niños, las instituciones y los sistemas escolares están cumpliendo sus objetivos y, luego, establecer programas tendientes a asegurar que dichos objetivos se cumplan finalmente. Las evaluaciones no servirán para mejorar la calidad de la educación a menos que todos concuerden en la importancia de mejorar la calidad y en la necesidad de informar los resultados de las evaluaciones de una manera amplia, oportuna y fácilmente comprensible a todos los participantes en el proceso (es decir, de manera “transparente”). Este consenso debe representar una coalición entre los profesores, los padres, los administradores y los líderes empresariales y políticos. Debe persistir en el tiempo y contar con el respaldo de las más altas autoridades de gobierno; sin embargo, sus decisiones no se deben ver influidas por los compromisos políticos. Los programas de evaluación deben ser llevados adelante con decisión y no se debe permitir que sean suspendidos y luego reiniciados en forma intermitente (como en el caso de Costa Rica) ni que sus resultados sean ocultados a la opinión pública (como en el caso de Mé xico).

Integración de los profesores en el proceso de evaluación

Es preciso incluir a los profesores en el proceso de evaluación desde el comienzo si se desea que las evaluaciones tengan impacto en la educación. En Amé rica Latina, las asociaciones gremiales de profesores tienden a ser observadores pasivos o incluso a oponerse a las evaluaciones. Es preciso convencerlas de que el hecho de adoptar un enfoque más profesional con respecto a su trabajo, perfeccionar los procesos de la sala de clases y participar cabalmente en todos los programas de evaluación va en su propio interé s. Las



asociaciones gremiales no deben temer que las evaluaciones sean utilizadas para recompensar o castigar a los profesores, puesto que el alumnado varía tanto de un año al otro que la calidad de la enseñanza siempre será difícil de medir con precisión, como lo demuestra la experiencia en Francia, Estados Unidos y Mé xico. Si las evaluaciones se visualizan como una herramienta para evaluar a las escuelas y a los sistemas escolares locales en lugar de los profesores, tanto los padres como los profesores y los administradores estarán mejor capacitados para trabajar conjuntamente como equipo con el fin de mejorar los puntajes en el rendimiento a nivel de las escuelas.

Un enfoque sistémico

Un compromiso con la transparencia tambié n requiere un enfoque sisté mico para abordar la supervisión y la evaluación. Al respecto, debe entenderse que las evaluaciones sólo miden el rendimiento de los niños y es poco lo que nos dicen acerca de la magnitud y las causas de la deserción. Otras herramientas para medir el rendimiento de los alumnos y del sistema son las siguientes: estudios de la deserción y la repetición, mediciones de los insumos escolares y estimaciones de los recursos mínimos que cada escuela debiera tener, observaciones sistemáticas de los procesos escolares y estudios del desempeño de los egresados de las escuelas en el mercado laboral.

Usos de las evaluaciones

El mayor desafío para el futuro en Amé rica Latina será asegurar que las evaluaciones se utilicen precisamente como herramientas para mejorar la calidad de la educación. Las evaluaciones pueden influir en muchos elementos del sistema educacional, incluidas las políticas educacionales nacionales, los programas de reforma educativa, los currículos educacionales, las decisiones de los padres, estudiantes y profesores, las políticas educacionales locales y regionales y la pedagogía y los programas a nivel de las escuelas. Tres áreas de particular importancia en Amé rica Latina en las cuales pueden utilizarse las evaluaciones son las siguientes: el refuerzo de la “compatibilización”, la orientación de los recursos a las escuelas más necesitadas y el estímulo a la responsabilidad y la recompensa de los logros a nivel de las escuelas.

Refuerzo de la “compatibilización”

Por sobre todo, las evaluaciones pueden ayudar a los países de Amé rica Latina a lograr una mayor compatibilización del currículum que se pretende aplicar, el currículum que realmente se aplica, los textos escolares, los conocimientos de los profesores, la pedagogía en la sala de clases y el aprendizaje. Los ajustes resultantes permitirán establecer objetivos más altos pero factibles, mejorar la capacitación docente y la pedagogía, y asegurar que el currículum revisado sea aplicado en la práctica. Esto requerirá un gran trabajo de análisis, difusión y capacitación. Con una buena retroalimentación y recursos, las evaluaciones podrán ser utilizadas directamente como una herramienta para



mejorar la enseñanza y el aprendizaje. Argentina ha hecho los mayores avances en este proceso a la fecha.

Orientación de los recursos

Dada la gran disparidad en los logros educacionales en Amé rica Latina, las evaluaciones deben ser utilizadas para canalizar los recursos adicionales hacia las escuelas más necesitadas de la región, particularmente aqué llas que se encuentran en las áreas rurales y en los barrios más pobres de las zonas urbanas. Dicha actividad puede llevarse a cabo siguiendo el modelo del “Programa de las 900 escuelas” aplicado en Chile, que está explícitamente dirigido al mejoramiento del rendimiento de las escuelas que han obtenido los peores puntajes.

Estímulo a un mejor rendimiento en las escuelas

Las evaluaciones deben proporcionar información útil a las escuelas, padres y profesores. Esto requerirá, entre otros elementos, determinar el “valor agregado” de la escolaridad, identificando aquellas escuelas que obtienen un puntaje mayor que el esperado en atención a los antecedentes socioeconómicos de los alumnos, como se hiciera en Francia, o midiendo el grado de mejoría en los puntajes de las escuelas en períodos sucesivos. Estos enfoques conducen a un reconocimiento y recompensa de las escuelas “eficaces” y motivan a las demás escuelas a reproducir las características de dichos establecimientos. Este enfoque elimina tambié n el sesgo en contra de las escuelas que se encuentran en barrios pobres. Hasta la fecha, Chile es el país que más ha avanzado en el reconocimiento y estímulo a dichas escuelas.

Creación de capacidades y competencia técnica

Fortalecimiento de las instituciones independientes

En la mayoría de los países de Amé rica Latina, sería muy difícil para el gobierno central implementar un programa de evaluación directamente en el largo plazo, como se hizo en Francia. Entre los obstáculos a un sistema de ese tipo se encuentran los posibles conflictos de intereses, los sueldos insuficientes y los procedimientos de contratación y administración inflexibles. Una estrategia más apropiada para la región sería fomentar la creación de organismos de pruebas competentes independientes del gobierno, manteniendo un organismo gubernamental pequeño, especializado y altamente eficiente en la función de supervisar dichas actividades. Colombia parece haber desarrollado una sólida asociación de este tipo entre el sector público y el sector privado.



Garantía de conocimientos especializados adecuados e investigación de apoyo

Si se desea que las evaluaciones sean eficientes como herramientas para medir lo que se pretende que midan, se requiere un alto nivel de conocimientos especializados. De lo contrario, es muy fácil que presenten deficiencias: puede que no discriminen adecuadamente entre los que aprenden; la comparabilidad de un año al otro puede verse afectada; las escuelas y regiones pueden engañar; el marco de la muestra puede ser inexacto, con lo cual toda la evaluación puede resultar inútil; té cnicas analíticas más sofisticadas pueden mostrar que las supuestas relaciones “causales” son falsas. Muchos de estos problemas ya han sido detectados en las evaluaciones hechas por los países. Por lo tanto, es esencial capacitar y remunerar adecuadamente a expertos en evaluación de currículos, metodología de estudios muestrales y té cnicas analíticas. Como se ha hecho en Jordania, es importante consultar a las autoridades más conocidas y respetadas del mundo en el área de las evaluaciones, ya que no existe una metodología “regional” de pruebas. Los gobiernos y fundaciones tambié n necesitan fomentar centros de postgrado de excelencia en el área de la docencia y la investigación en la región. En especial, existe la necesidad de apoyar las investigaciones independientes basadas en los datos de las evaluaciones, que constituyen una rica fuente de información sobre todos los aspectos de la educación relacionados con los alumnos, los profesores y las escuelas. Para obtener los mejores resultados, estas investigaciones deben basarse en las té cnicas analíticas más modernas. Otro aspecto igualmente importante, es que los investigadores como asimismo quienes diseñan las políticas deben estar de acuerdo en los objetivos de las investigaciones y estar dispuestos a divulgar los resultados aun si é stos son ambiguos o negativos.

Nuevos enfoques

Participación en los programas de evaluación internacionales

El TIMSS ofrece a los países de Amé rica Latina una enorme oportunidad para el establecimiento de estándares, la compatibilización de los currículos y los textos escolares, el perfeccionamiento del profesorado y los avances en el aprendizaje. Toda la región puede obtener beneficios de los conocimientos especializados y la metodología del TIMSS. Actualmente, la IEA tiene planes de duplicar el TIMSS en 1999. Chile y Brasil ya han expresado su intención de participar. Los países latinoamericanos podrían tambié n participar en el nuevo programa de educación cívica de la IEA, que será particularmente importante por los aspectos relacionados con el fortalecimiento de la sociedad civil en la región. Actualmente, Chile y Colombia están comprometidos con el estudio relativo a la educación cívica. Como alternativa, los investigadores del TIMSS podrían llevar a cabo un análisis de los currículos en los textos y las pautas curriculares y compararlos con los currículos aplicados en otras regiones del mundo. Tambié n podrían hacer el intento de determinar si los exámenes nacionales y otros son compatibles con el currículum nacional que se pretende aplicar. La metodología



del TIMSS ya ha sido utilizada para analizar el contenido curricular, los textos escolares y la pedagogía en Argentina, Colombia, Mé xico y República Dominicana. Es posible solicitar asistencia té cnica en cualquiera de estas actividades tanto a los profesionales internacionales como a los investigadores regionales del TIMSS.

Método basado en el universo versus método basado en una muestra

Antes de emprender una evaluación del universo, los países deben estar conscientes de que é sta es una tarea de alto costo y que requiere una administración minuciosa por parte de profesionales competentes. Tambié n se necesita un sistema de retroalimentación detallado y apoyo a las escuelas. En Chile, el costo de la aplicación de pruebas al universo es de aproximadamente $5 dólares por alumno, lo que representa aproximadamente el 2% de los costos unitarios totales. Incluso esta reducida cantidad puede ser difícil de justificar en los países con graves restricciones fiscales y que carecen de fondos para material pedagógico. En comparación, los estudios muestrales cuestan menos, pero pueden proporcionar información suficiente para el establecimiento de políticas nacionales y para la identificación de los problemas de compatibilización entre el currículum, los textos escolares y la enseñanza. Sin embargo, estos estudios requieren precisas té cnicas de muestreo y una administración rigurosa. Siempre que sea posible, los países de Amé rica Latina tambié n deben utilizar los exámenes de selección existentes para efectos de evaluación.

Pruebas de rendimiento

En los últimos años, Estados Unidos ha ido incorporado cada vez más las preguntas de interpretación abierta en sus pruebas de rendimiento, en tanto que Europa se ha 26.concentrado en mejorar la confiabilidad y validez de los instrumentos de medición. Por el contrario, la mayoría de los países de Amé rica Latina todavía favorecen las evaluaciones del tipo “selección múltiple”. Los países de la región debieran por lo menos explorar los enfoques más nuevos con respecto a las pruebas. Sin embargo, no podrán hacerlo si aqué llas personas que califican las pruebas no cuentan con una cabal capacitación en los procedimientos pertinentes.

Exámenes de competencia mínima

Puede que los países de Amé rica Latina deseen considerar la aplicación de “exámenes de competencia mínima” para el nivel secundario. Estos ya han sido desarrollados en algunas partes de Estados Unidos y en Costa Rica, como una manera de estimular el aprendizaje. Este tipo de exámenes serían especialmente apropiados para los países descentralizados de gran tamaño, como Brasil.



Opciones para los países más pequeños y más pobres

Los países más pequeños y más pobres simplemente no cuentan con los conocimientos té cnicos especializados ni los recursos necesarios para implementar un sistema de evaluación en forma sostenida. Como lo sugiere la experiencia de Costa Rica, los conocimientos especializados locales pueden ser insuficientes. Por lo tanto, los países más pequeños deberían emprender sólo un mínimo de pruebas (por ejemplo, sólo matemáticas e idioma) en unos pocos grados. Otra opción es operar en consorcios (compuestos, por ejemplo, por los países centro-americanos), hacer uso de los programas internacionales y aprovechar la asistencia té cnica regional (por ejemplo, de Chile y Argentina).

Cooperación regional

Para fortalecer el proceso de coordinación regional, será necesario desarrollar vínculos más estrechos con la IEA y con los principales centros de investigación y desarrollo del mundo en el área de las pruebas y evaluaciones, junto con establecer una amplia participación, que incluya las instituciones no gubernamentales, en los foros y comité s regionales. Tambié n son necesarios los esfuerzos a nivel regional para: analizar los resultados de las evaluaciones de la UNESCO/OREALC de manera de identificar los factores asociados a un alto rendimiento, comprender las interacciones entre los objetivos curriculares y el aprendizaje a travé s de la medición de las “oportunidades para el aprendizaje” y, lo que es más importante, identificar y apoyar los centros regionales de excelencia dedicados a las pruebas, las mediciones y las investigaciones educacionales.

ANEXO: Una Mirada a los Sistemas de Evaluación de Seis Países

Argentina Brasil Fecha de la primera evaluación:

1993.

Fecha del programa de evaluación más reciente:

1995.

Grados evaluados (programa más reciente):

Grados 2,3,5 y 7 en educación primaria.

Materias evaluadas:

Matemáticas y lectura y, en el 7º grado,

Fecha de la primera evaluación:

1990.


1995.


Grados 4 y 8 de la educación primaria y grados 2 y 3 de la educación secundaria (además, Brasil ha iniciado un programa de evaluación de todos los estudiantes



tambié n ciencias naturales y sociales.

Muestra o universo:

Universo de estudiantes.

Resultados importantes:

Las preguntas se seleccionaron en base a los niveles mínimos esperados, pero los escolares respondieron sólo el 50% de las preguntas correctamente; los factores escolares representaron el 40% de la varianza asociada a los puntajes en matemáticas.

Tipos de investigaciones realizadas:

Correlaciones simples y tabulaciones cruzadas.

Información disponible acerca de los costos:

—

Elementos técnicos de interés:

Selección múltiple e interpretación abierta.

Estructura institucional:

Administrado por el Ministerio de Educación, pero dado en contrato a diversas instituciones privadas.

Retroalimentación:

Programa amplio que entrega información acerca del rendimiento escolar, los perfiles de los alumnos, los profesores y los modelos administrativos asociados al rendimiento; identifica el contenido con mayor dificultad e incluye recomendaciones para mejoramientos

universitarios).

Materias evaluadas:

Matemáticas y lectura.

Muestra o universo:

Muestra de 90,499 alumnos de 2,289 escuelas públicas y 511 escuelas privadas.


Los escolares generalmente obtuvieron puntajes muy por debajo de los niveles de aprendizaje esperados definidos por los profesores, investigadores y especialistas; los puntajes más altos se observaron en el sur del país, en las ciudades capitales, en las escuelas urbanas y privada y en las escuelas diurnas de jornada completa; los estudiantes más jóvenes, los estudiantes blancos y orientales y los estudiantes con profesores con mayor capacitación obtuvieron los mejores resultados.




—


Selección múltiple.


Administrado por el Ministerio de



en la pedagogía.

Impacto sobre las políticas:

Manuales metodológicos para mejorar el aprendizaje como asimismo capacitación en el servicio basada en los resultados de las pruebas distribuidos a todas las escuelas; asistencia té cnica entregada a 24 estados.

Aspectos políticos y otros:

—

Relación con programas de evaluación internacionales:

Participó en el análisis de currículos del TIMSS y emprendió estudios demasiado tarde como para ser incluidos en el informe; ha entregado asistencia té cnica a Bolivia y Paraguay.

Educación, pero dado en contrato a diversas instituciones privadas.

Retroalimentación:

Los informes fueron puestos a disposición de la prensa, pero no fueron utilizados por las escuelas mismas.


A la fecha no se ha tomado ninguna decisión específica sobre la base del programa de evaluación.


No se han considerado en forma adecuada los usos de los resultados de las evaluaciones en el área de las políticas, tales como la concentración en las escuelas con peor rendimiento.


Participó en el estudio de la IEA en matemáticas y lectura en 1993 y tiene planes de participar en el TIMSS-R (1999).

Chile Colombia Fecha de la primera evaluación:

1981.


1991-96.


Grados 4 y 8.


1990.


1994.




Materias evaluadas:

Lectura y aritmé tica en los grados 4 y 8: muestra del 10% en ciencias naturales, historia y geografía.

Muestra o universo:

Principalmente universal, excepto lo observado anteriormente.


Los resultados continúan mostrando un bajo rendimiento en las escuelas públicas municipalizadas y en las escuelas rurales. Alta correlación entre el nivel socioeconómico y el rendimiento; se han producido significativos mejoramientos en los puntajes en las escuelas participantes en el programa de “900 escuelas” que se concentra en las escuelas con peor rendimiento.


Correlaciones simples y tabulaciones cruzadas; trabajo analítico más sofisticado actualmente en curso.


US$ 5 por estudiante evaluado.


Selección múltiple hasta ahora; se considera la introducción de más preguntas de rendimiento, interpretación abierta y ensayo; se está revisando el mé todo estadístico para asegurar una mayor confiabilidad de un año al siguiente.


La capacidad de pruebas ha sido creada por el Ministerio de Educación más que por un organismo autónomo.

Retroalimentación:

Los informes están siendo constantemente simplificados y ajustados a receptores específicos, especialmente a nivel de las escuelas; los directores de las escuelas, los profesores y los padres utilizan los resultados de las pruebas; algunos padres utilizan los resultados de las pruebas para seleccionar las escuelas; los diseñadores del currículum vitae nacional están utilizando los informes para revisar el currículum.

Inicialmente los grados 3 y 5 y posteriormente los grados 7 y 9.

Materias evaluadas:

Inicialmente matemáticas y lectura; posteriormente, tambié n ciencias naturales y sociales.

Muestra o universo:

Sólo muestra.


Los niveles cognitivos de los alumnos de los grados 3 y 5 son bajos comparados con las expectativas, especialmente en el área de las habilidades críticas y reflexivas. Los mejores puntajes se obtienen en las escuelas urbanas y privadas, entre quienes han asistido a la enseñanza preescolar, no han repetido, tenían libros en sus casas y tenían padres con niveles de educación relativamente altos; los alumnos de clases con profesores con mayor nivel de educación, disponibilidad de textos escolares, docentes de sexo femenino, de la escuela nueva y de escuelas completas obtuvieron mejores resultados.


Correlaciones, tabulaciones cruzadas y algún análisis multivariado.


—




Empresa conjunta entre el Ministerio de Educación, el Instituto Ser, la Universidad Nacional de Profesores y el Centro de Estudios Sociales.

Retroalimentación:




Los diseñadores del currículum están dando é nfasis al dominio de las materias en las áreas de debilidad; se ha continuado con los programas pedagógicos dirigidos a las escuelas de peor rendimiento (programa de “900 escuelas”).


El programa está tan institucionalizado que se están volviendo más importantes aspectos de “segundo orden”; por ejemplo, los profesores podrían estar “enseñando con miras a la prueba” de manera exagerada y las escuelas podrían no estar considerando el nivel de pobreza de los estudiantes.


Ninguna directamente hasta el momento, pero existen planes de participar en el TIMSS-R.

Los informes y resúmenes de las investigaciones están disponibles pero no son útiles para la mayoría de las escuelas y municipalidades debido a la base de la muestra.


La Ley de Educación de 1994 incorpora los resultados de las evaluaciones tales como la concentración en la educación preescolar, la educación de los profesores y los textos escolares.


Se considera que la expansión al universo sería demasiado cara y superaría las capacidades institucionales, pero se ampliará la muestra de manera de entregar más información a las escuelas y regiones evaluadas.


Pleno participante en el TIMSS con información de los resultados; tiene planes de participar en el estudio de ciencias sociales de la IEA.

Costa Rica México Fecha de la primera evaluación:

1987.


1993-97.


Grados 1,3,6,9,12.

Materias evaluadas:

Grado 1, capacidad de aprendizaje; grados 3, 9, 12, todas las materias; tambié n muestras sobre las capacidades cognitivas y físicas en diversos grados.


1976.


1994.


Todos los grados de la educación básica y secundaria, como tambié n los profesores.

Materias evaluadas:

Matemáticas y lectura en las escuelas; se evaluó a los profesores en las materias y los conocimientos pedagógicos.



Muestra o universo:

Principalmente universo, con excepción de las capacidades físicas y cognitivas y la capacidad de aprendizaje.


Aún no se encuentran disponibles para las pruebas actuales; los resultados anteriores mostraban que los alumnos tenían un rendimiento muy inferior al esperado en comparación a los objetivos del currículum nacional; los alumnos de las escuelas privadas, urbanas y acadé micas obtuvieron los mejores resultados. Los alumnos obtuvieron puntajes progresivamente peores en comparación con los objetivos del currículum a medida que aumentaba su tiempo de permanencia en la escuela.


Tabulaciones cruzadas simples.


US$1,50-US$7,50 por alumno evaluado en 1991.


Principalmente selección múltiple.


Se está probando actualmente una empresa de cooperación entre el Ministerio de Educación y el IIMEC en la Universidad de Costa Rica.

Retroalimentación:

Los anteriores programas de evaluación tuvieron poca difusión; en el nuevo programa, los informes serán preparados para múltiples receptores.


Reintroducción en 1989 de las pruebas nacionales o regionales que representan un alto porcentaje de las notas finales de los alumnos; utilizadas como justificación para el aumento de

Muestra o universo:

Universo en 1994 anteriormente muestras.


A medida que los alumnos avanzan en la escuela, obtienen puntajes progresivamente más bajos que lo esperado; los puntajes más altos fueron obtenidos por los alumnos que habían asistido a la enseñanza preescolar, no estaban repitiendo el año, asistían a escuelas urbanas o privadas y tenían padres mejor educados en áreas urbanas; los niños de

las escuelas indígenas y comunitarias con instalaciones escolares inadecuadas y profesores con menor capacitación obtuvieron los peores puntajes.




US$35 por alumno en las muestras tomadas en 1990.




Administrado por la Secretaría de Educación Pública.

Retroalimentación:

Los informes se entregan a la opinión pública pero no son fáciles de comprender; hasta 1990 los resultados de las evaluaciones tuvieron carácter confidencial.


Hasta hace poco ningún impacto sobre las políticas; las evaluaciones a los profesores están relacionadas con el convenio con la asociación gremial nacional para mejorar la calidad de la



los fondos para educación.


Enfoque intermitente con respecto a las evaluaciones, dependiendo de la actitud de los sucesivos ministros de educación; el actual ministro está a favor de las evaluaciones.


Ninguna directamente.

educación básica.


Difusión y utilización inadecuadas a nivel de las escuelas.


Pleno participante en el TIMSS, pero en el último momento solicitó que no se informaran los resultados.



BIBLIOGRAFIA

Aguerrondo, I, (1993), “Escuela, fracaso y pobreza: cómo salir del círculo vicioso”, OEA, Washington. Aguerrondo, I, (1994), 2Cómo será la escuela del siglo XXI”, en Filmus, D. (Comp), “Para qué sirve la escuela”, Tesis/Norma, Buenos Aires-Argentina. Aguerrondo I, (1993), “La calidad de la educación, ejes para su definición y evaluación”, en Revista “La educación” Año 37 No. 116, Buenos Aires-Argentina. Rodríguez Fuenzalida, E. “La calidad y su asociación con otras categorías más globales del análisis socio educativo” en Revista Iberoamericana de Educación No. 5. Braslavsky, C. (1984), “La segmentación educativa en Argentina”, Miño y Dáila, Buenos Aires-Argentina. Coleman, J.S. (1966), The Equility of the educational opportunity”, Washington, D.C. Deming, W. (1982), “Out of the crisis”, MIT, Cambridge. Esquivel Alfaro, J.M. (1990), “Medición de la calidad de la enseñanza: Costa Rica”, Mimeo, San José -Costa Rica. Esquivel Alfaro, J.M. (1994), “Sistema de mediación de logros de aprendizaje en Costa Rica”, en Revista Latinoamericana de Innovaciones Educativas, Año VI, No. 17. Heybeman, S. y Loxley, W. (1983), “The effect of primary school quality on academia achievement across 20 high and low income countries”. En American Journel of sociology, Vol. 88 No. 6 págs. 1162-1194. Horn, R.; Wolff, L. y Vé lez E. (1001), “Establecimiento de sistemas de medición del rendimiento acadé mico en Amé rica Latina, Bando Mundial, Programa de Estudios Regionales. Lissitz, R. y Bourque, M. (1995), “Reporting NAEP results using standards » en Educational measurenmente : issues and practice, Vol. 14, No. 2,. Págs. 14-23. Rama, Germán, (1991), “:Necesidades de información para la toma de decisions en una gestión moderna de educación”, UNESCO/OREALC. Schifelbein, E. y Tudesco, J.C. (1995), “Una nueva oportunidad (El rol de la educación en el desarrollo de Amé rica Latina), Santillana, Buenos Aires-Argentina.



Schifelbein, E.; Vé lez. E. y Valenzuela J. (1994), “Factores que afectan al rendimiento acadé mico en la educación primaria”, en Revista Latinoamericana de innovaciones educativas, Año VI, No. 17, págs. 29-53, Buenos Aires-Argentina. UNESCO (1994), “Medición de la calidad de la Educación”, Tomo I, OREALC/UNESCO, Santiago de Chile-Chile. Tudesco, J. Carlos (1987), “El desafío educativo”, De GEA, Buenos Aires-Argentina. Notas (1) Ponencia presentada en el Congreso Internacional de Evaluación de la Calidad. Madrid, España, Febrero 1996. (2) Al respecto vé ae Tudesco 1987 – Aguerrondo, I, 1993. (3) Vé ase Aguerrondo, I., 1987 y Braslavsky, C., 1986. (4) Esta revisión se realizó a partir del análisis de la totalidad de los números de las dos revistas que registran reseñas de investigaciones sobre educación ya mencionadas; Propuesta Educativa y la Revista Argentina de Educación. (5) Tomando al conjunto de la región puede afirmarse que mientras que para Uruguay, Chile y Argentina para el nivel primario tal proceso se dio con anterioridad o hacia 1950, en muchos de los otros países ese proceso fue consecuencia de las políticas de corte desarrollista que predominaron desde finales de los 50 hasta los 80. (6) Estos resultados ha socabado, incluso, afirmaciones que aparecen garantizadas en el imaginario escolar: se ha hallado que a mayor número de alumnos por docente en la modalidad pedagógica tradicional los logros medidos no se modifican sustantivamente en forma negativa.



ORGANIZACIÓN DE ESTADOS IBEROAMERICANOS PARA LA EDUCACIÓN, LA CIENCIA Y LA CULTURA (OEI)

TRATAMIENTO Y USOS DE LA INFORMACIÓN EN EVALUACIÓN

“Alejandro Tiana Ferrer, U.N.E.D. (España) 1997.”

INTRODUCCIÓN

De unos años a esta parte se está extendiendo entre los administradores públicos el interé s por la evaluación, siendo cada vez más quienes la consideran un valioso instrumento para la mejora cualitativa de los servicios que gestionan. Si hasta hace algún tiempo los conceptos utilizados en la administración pública procedían fundamentalmente de campos disciplinares como el derecho o la ciencia política, en los últimos años se han ido adoptando nuevas orientaciones a partir de las aportaciones realizadas por las diversas ciencias de la administración. En este nuevo contexto, la evaluación ocupa un lugar específico, proporcionando conceptos, enfoques y té cnicas para la gestión de sistemas complejos, como el sanitario o el educativo.

En el ámbito de la educación, la evaluación ha ocupado tradicionalmente un lugar destacado, aunque adoptando generalmente otras denominaciones (examen, calificación, certificación) y centrándose en la valoración de los aprendizajes logrados por los alumnos. Desde este punto de vista puede afirmarse que su creciente utilización no ha constituido una novedad radical para los educadores. Sin embargo, sí resultan nuevos su uso sistemático y su aplicación a otras parcelas de la realidad educativa tales como la concepción y el desarrollo del currículo, el profesorado, los centros docentes o la propia administración. Así, la evaluación se encuentra actualmente en el centro del debate educativo, tras ampliar considerablemente su perspectiva y su campo de aplicación (Tiana, 1996).

Entre los símiles utilizados para referirse a las funciones que desempeña

actualmente la evaluación en relación con los sistemas educativos, uno de los más extendidos y felices es el de la conducción (De Landsheere, 1994; Kogan, 1996; Michel, 1996). El uso de dicho té rmino sugiere una imagen del funcionamiento de la administración educativa muy diferente a la que ha predominado hasta ahora. Frente a la regulación mediante normas y el control jerárquico del cumplimiento de las mismas, se pone el acento en la recepción y el tratamiento de una información actualizada, capaz de permitir intervenciones más ágiles y mejor adaptadas a la diversidad de situaciones específicas. En efecto, el conductor debe estar atento al tablero de instrumentos e indicadores para recibir e interpretar una multiplicidad de señales y reaccionar del modo más adecuado en cada situación. Del mismo modo, el administrador de un sistema complejo debe recurrir a informaciones diversas y lo más ricas posibles para orientar su acción. Entre tales instrumentos de



información, la evaluación ocupa un lugar privilegiado, ya que no sólo proporciona datos descriptivos, sino tambié n interpretaciones y juicios valorativos. El recurso a instrumentos con denominaciones tan significativas como la de indicadores no hace sino reforzar dicho símil.

Pero, si la imagen de la evaluación como conducción resulta valiosa, tambié n nos obliga a reflexionar acerca de sus implicaciones. Una de las principales tiene que ver con el tratamiento de la información recibida, con el fin de utilizarla del modo más fructífero posible. Al igual que le ocurre a quien está sentado a los mandos de cualquier móvil, el conductor de un sistema complejo está obligado a buscar y seleccionar datos relevantes entre toda la información disponible, a establecer prioridades entre ellos, a integrarlos en conjuntos significativos, a valorar las posibilidades de respuesta que se le ofrecen y finalmente a tomar decisiones y ponerlas en práctica, siguiendo ciclos sucesivos de reflexión y acción. Este modelo de actuación supone la existencia de sistemas de información suficientemente sofisticados, procedentes de diversas fuentes y capaces de combinar diferentes perspectivas, así como el desarrollo de una serie de habilidades relacionadas con el tratamiento, el uso y la interpretación de la información por parte de quienes deben utilizarla para tomar cualquier tipo de decisiones. Sin embargo, dada la novedad relativa del recurso sistemático a la evaluación en educación, aún queda mucho por hacer en ese sentido. En este como en otros campos, las ideas ingenuas siguen predominando sobre los análisis rigurosos. El propósito de este documento consiste precisamente en aportas algunas reflexiones acerca del tratamiento y los usos de la información procedente de la evaluación. En opinión de muchos autores, se trata de una cuestión tan compleja como fundamental con vistas a obtener los mejores frutos de la evaluación educativa. Entre todos los aspectos abarcados por ese tema general, se han seleccionado en esta ocasión cuatro que presentan especial interé s y relevancia. En primer lugar, el documento aborda de modo general la cuestión de la utilidad de la evaluación, detenié ndose sobre todo en las distintas funciones que é sta puede desempeñar. Este primer apartado tiene un carácter fundamentalmente conceptual y reflexivo, con la intención de ofrecer un marco global en el que poder integrar los tres siguientes. Como se hace a lo largo de todo el documento, los análisis realizados están basados en la consideración de diversos tipos de actividades de evaluación, adoptando una perspectiva lo más comprensiva posible. En segundo lugar, el trabajo analiza cómo se utiliza la información procedente de la evaluación. Por una parte, considera el flujo de información como un proceso continuo, que debe ser abordado y planificado de manera global. Los momentos de diseño del proyecto de evaluación y las fases intermedias de su



desarrollo son objeto de especial atención en dicho proceso. Por otra parte, estas consideraciones generales no pueden hacer olvidar la relevancia de la fase final de la evaluación, en la que la redacción del informe de síntesis cobra especial importancia. A esta cuestión se dedica un apartado específico. En tercer lugar, el documento aborda el uso comparativo de la evaluación, uno de los más interesantes y discutidos de la misma. Si bien la comparación constituye parte de la propia esencia de la evaluación, no deja de plantear problemas diversos y de gran interé s. Entre ellos destaca el de las condiciones de una comparación justa, asunto estrechamente ligado al debate actual acerca de lo que se ha dado en llamar el valor añadido de la educación, asuntos a los que se dedica cierta atención. Por último, el trabajo se centra en la difusión de los resultados de la evaluación. Lejos de la idea que reduce la difusión a la entrega y eventual publicación del informe final, hoy en día se tiende a considerarla una actividad planificada, que exige la utilización de diversas estrategias y el recurso a diferentes medios de comunicación. El último epígrafe se centra precisamente en estas cuestiones. 1. La utilidad de la evaluación Quizás no sea exagerado afirmar que la evaluación es una tarea cargada tanto de promesas como de eventuales frustraciones. Cuando se leen declaraciones entusiastas de algunos de sus más acé rrimos defensores, uno estaría tentado de esperar de ella los más bené ficos frutos. Pero al tropezar con no pocos comentarios escé pticos o desengañados acerca de su escaso valor práctico, duda si la realidad a que unos y otros autores se refieren es la misma. Y es que la evaluación constituye una actividad compleja y ambivalente. Por una parte, constituye uno de los modelos paradigmáticos de la acción racional humana; por otra, es una actividad sometida a un riesgo continuo de desnaturalización. Uno de los motivos principales de esa discrepancia de opiniones acerca de la utilidad real de la evaluación se encuentra precisamente en la diversidad de concepciones existentes sobre las funciones que cumple y los usos que de ella se hacen. Dicho de otro modo, las expectativas que uno deposita en la actividad evaluadora, el papel que le otorga y la perspectiva que adopta para llevar a cabo sus análisis condicionan el juicio de utilidad que finalmente emite. Por ese motivo, merece la pena comenzar este documento dedicando algún espacio a reflexionar sobre estas cuestiones, con objeto de identificar los motivos de tal discrepancia y clarificar así los elementos del debate.



1.1. Evaluación, toma de decisiones e información pública El interé s por conocer y controlar cómo se utiliza la información

suministrada por la evaluación está presente en todos los evaluadores, de una u otra forma y con mayor o menor intensidad. En efecto, si siempre resulta difícil sustraerse a la valoración del impacto de la propia actividad profesional, aún lo es más cuando el objetivo último de é sta consiste precisamente en orientar la acción en alguna parcela de la realidad, a partir de su análisis detenido y riguroso. Por eso, aun cuando algunos modelos teóricos insistan más que otros en la vertiente utilitaria de la actividad evaluadora, ninguno llega a ignorarla por completo.

Una manifestación evidente de ese interé s generalizado se encuentra en

las “Normas para la evaluación de programas, proyectos y materiales educativos”, elaborados hace ya más de quince años por doce organizaciones profesionales de Estados Unidos (Joint Comité on Standards for Educational Evaluation, 1981). Dicho documento, que recoge las opiniones más comúnmente aceptadas entre los evaluadores acerca de los criterios que deben regir su práctica profesional, propone treinta normas, agrupándolas en cuatro categorías básicas: utilidad, viabilidad, adecuación y precisión. Como puede apreciarse, la primera categoría enunciada es precisamente la de utilidad, poniendo así implícitamente de manifiesto el carácter central que la misma posee. Los ocho criterios agrupados bajo tal denominación, a algunos de los cuales se hará referencia más adelante, están encaminados a asegurar que la evaluación proporciona y facilita la información práctica que necesitan las audiencias interesadas en la misma.

El é nfasis que los evaluadores ponen en la utilización de los resultados de su trabajo es, por otra parte, uno de los principales aspectos que distingue la evaluación de la investigación. Aunque el debate acerca de las diferencias que existen entre las dos actividades fue intenso en las primeras etapas del desarrollo histórico de la evaluación, hoy en día está ampliamente aceptada la distinción entre ambas. En opinión de algunos autores como Popham (1993), las diferencias se sitúan en tres ámbitos: la generalización de sus resultados, los valores que orientan la actividad y el propósito fundamental de la misma. Así, mientras que la investigación pretende obtener resultados con un alto grado de generalización, la evaluación se preocupa más por la adecuación de los mismos a la situación y características específicas de su objeto de estudio. Por otra parte, la investigación sitúa como valor central el logro de la verdad científica, mientras que la evaluación se preocupa por la estimación del mé rito de una realidad concreta. Por fin, la investigación intenta llegar a conclusiones demostrables y verificables, mientras que el objetivo de la evaluación consiste en informar y orientar la toma de decisiones. De acuerdo con este análisis, que con ligeras modificaciones es compartido por otros muchos autores, los evaluadores no pueden olvidar que su trabajo está encaminado a emitir juicios de valor acerca de una realidad determinada, basándose para ello en una información recogida y tratada de manera sistemática.



Dichos juicios constituyen generalmente el soporte de una actuación posterior, aunque la conexión entre ambas no sea lineal ni necesariamente inmediata. Esta vertiente valorativa, que la mayor parte de los autores aceptan como elemento esencial de un proceso evaluador y que muchos de ellos ligan con la toma de decisiones, sitúa en un lugar central la reflexión sobre la utilización de la evaluación. Ahora bien, el hecho de aceptar que toda evaluación tiene una dimensión práctica y aplicada no implica que se deba concebir su utilidad de manera unívoca. De hecho, existen diversas posiciones a la hora de explicar cómo pueden y deben utilizarse los resultados de la evaluación, en concordancia con las diferentes funciones que a é sta se le asignan. Dicha asignación de funciones ha ido variando con el paso del tiempo, evolucionando en el sentido de una creciente complejidad y de una progresiva ampliación. Así, la primera respuesta inmediata a la pregunta acerca de la utilidad de una evaluación suele ser que sirve ante todo para proporcionar información y elementos de juicio a quienes deben tomar decisiones. Esta idea está presente en muchas personas y tambié n en no pocos políticos y administradores públicos, como se pone habitualmente de manifiesto en las palabras de muchos de ellos. De acuerdo con esta concepción, los evaluadores deberían proporcionar una información rigurosa, válida y fiable a los responsables de una determinada institución o programa de intervención, a partir de la cual é stos tomarían las decisiones más oportunas acerca de su mantenimiento, supresión o modificación, adoptarían medidas para su mejora o llevarían a cabo cualquiera otra acción que se considere conveniente.

Dicha respuesta se apoya en la idea de una utilización instrumental de los resultados de la evaluación, que fue la concepción predominante durante las primeras etapas de su desarrollo histórico. Como afirma W.J. Popham de manera elocuente:

“a comienzos de los setenta [...] existía la creencia dominante de que las evaluaciones educativas bien conducidas podían, y debían, constituir el elemento singular más importante para la toma de decisiones. Los evaluadores educativos que iniciaban algún proyecto de importancia soñaban con el momento en que los responsables políticos, despué s de consultar diligentemente su informe, tomarían decisiones esencialmente concordantes con los resultados de la evaluación” (Popham, 1993:5).

Aunque la mayoría de autores actuales no dudan en calificar de ingenua

dicha concepción, continúa estando presente en las mentes de muchas personas. Sin duda, subyace en muchas de las críticas que denuncian la escasa incidencia de la evaluación en los procesos de toma de decisiones.

A pesar de la pervivencia de este tipo de ideas, actualmente se tiende a

considerar que la relación existente entre evaluación y toma de decisiones es más



compleja de lo que sugiere su concepción instrumental. Cualquier persona que se haya enfrentado con la experiencia directa de tener que tomar decisiones en un campo cualquiera de actuación sabe que los elementos sobre los que se apoya ese proceso son muy variados y de diverso orden. Por una parte, se suele contar con información directa o indirecta, procedente de diversas fuentes y con mayor o menor pertinencia y fiabilidad en cada caso. Por otra parte, se han de tener en cuenta ciertos condicionamientos, de carácter normativo, institucional o personal, que determinan el margen existente de maniobra. Se ha de tomar así mismo en consideración el contexto de relaciones interpersonales, anticipando las reacciones que puedan producirse. Por último, se han de establecer negociaciones multilaterales con el fin de lograr que todos los actores implicados se sientan copartícipes de la decisión adoptada. En suma, se trata de una tarea delicada en la que el conocimiento y la información juegan un papel relevante, pero tambié n la capacidad de negociación y de movilización de voluntades, el sentido de la oportunidad e incluso la intuición.

Siendo la toma de decisiones una tarea compleja, no debe extrañar que la evaluación sea uno de los elementos que contribuyen a ella, pero en modo alguno el único. Frente a quienes creen, de manera ingenua, que la evaluación constituye el único soporte de la decisión, o al menos el principal, son muchos los autores que desde una perspectiva más desapasionada subrayan el carácter limitado de su contribución. El hecho de reconocer su importancia no implica mantener su carácter exclusivo.

Siguiendo esa línea argumental, Shadish, Cook y Leviton (1995:448-449) afirman que "la evaluación es un acto político en un contexto en el cual el poder, la ideología y los intereses son primordiales e influyen sobre las decisiones más que la información procedente de la evaluación" y que “incluso cuando los resultados de la evaluación y las decisiones de los gobiernos coinciden, los primeros sirven muchas veces para justificar decisiones tomadas a partir de otros criterios. Los ejemplos de un uso instrumental, inmediato y frecuente de la evaluación son todavía bastante raros”. Por su parte, Popham (1993:5-6) afirma que “la mayor parte de las decisiones educativas de cierta importancia se toman en un entorno claramente político e interpersonal en el que la evidencia desempeña un papel secundario”, además de que “las evaluaciones educativas raramente arrojan evidencias indiscutibles”.

Aunque algunos puedan considerar que este tipo de afirmaciones encierra cierto derrotismo, e incluso cinismo, más bien hay que reconocer que responden a una actitud realista. Cuando un director de una escuela o instituto, un inspector, un responsable de un distrito escolar o un dirigente ministerial han de tomar una decisión complicada, es muy probable que recurran a cuantas orientaciones y criterios les aporten los estudios de evaluación de que dispongan, pero es bastante dudoso que se basen únicamente en ellos para realizar dicha tarea. Incluso puede afirmarse que no actuarían correctamente si no tuviesen en cuenta otros elementos de información.



Debido a este tipo de objeciones, la concepción puramente instrumental de la evaluación ha ido debilitándose con el transcurso del tiempo, abrié ndose paso otra que podríamos denominar conceptual o iluminativa. De acuerdo con la misma, la evaluación no tendría como función única o principal la de ofrecer elementos para la toma de decisiones, sino que tambié n cumpliría un papel importante contribuyendo a mejorar el conocimiento de los procesos educativos y arrojando luz sobre los mismos. Su función sería, pues, la de iluminar la concepción que una determinada comunidad tiene de una cierta parcela de la realidad (educativa, en este caso), aportando información relevante y elementos de reflexión acerca de la misma.

De acuerdo con esta concepción que hemos denominado conceptual o

iluminativa, la evaluación puede realizar varias aportaciones destacadas. En primer lugar, permite sensibilizar a una comunidad acerca de la existencia de determinados problemas o de las características que los mismos presentan en un momento dado. En segundo lugar, contribuye a movilizar la conciencia social en torno a ciertos asuntos de interé s general. En tercer lugar, pone de manifiesto la ineficacia de ciertas prácticas o enfoques, por más extendidas y arraigadas que se encuentren. En cuarto lugar, permite arrojar luz acerca del impacto real de determinadas actuaciones o políticas, más allá de la propaganda difundida sobre las mismas (Rossi y Freeman, 1993).

El é nfasis en la concepción iluminativa de la evaluación, frente a la

meramente instrumental, lleva tambié n asociada la superación de la idea de un uso a corto plazo y únicamente por parte de los responsables de los programas e instituciones educativas. En vez de pensar en un impacto inmediato y directo, la aceptación de la función iluminativa obliga a considerar los efectos diferidos e indirectos de la evaluación, en plazos de tiempo más largos que los habituales. Así mismo, como tendremos ocasión de ver más adelante, obliga a analizar el tipo de uso que de ella hacen las diversas audiencias interesadas en la misma.

Siguiendo esta línea de pensamiento, hoy en día se acepta cada vez más que la evaluación cumple una importante función de información pública acerca de los asuntos de interé s general y de objetivación de los fenómenos sometidos a debate social. Su contribución en este sentido es múltiple. Por una parte, permite fomentar el funcionamiento realmente democrático de nuestras sociedades, aportando elementos y criterios a partir de los cuales sea posible una discusión abierta e informada acerca de los asuntos sometidos a evaluación. Por otra parte, contribuye a modificar los marcos cognitivos de los ciudadanos y a facilitar la comprensión individual y colectiva de los fenómenos analizados. Por último, no se puede olvidar que tambié n aporta elementos para la toma de decisiones, aunque deban integrarse é stos en un conjunto más amplio de datos y criterios.

Así pues, si la evaluación tendió en sus primeras etapas evolutivas a buscar

su justificación social en la utilidad instrumental que prometía, en la actualidad encuentra su principal legitimación en una combinación de sus dos funciones principales, instrumental e iluminativa. Es necesario señalar, además, que ambas



concepciones no suelen considerarse ya como alternativas, sino más bien como complementarias.

Junto a estas dos concepciones básicas acerca del uso de la evaluación,

algunos autores añaden una tercera. Es el caso de Rossi y Freeman (1993), quienes hablan de un tipo posible de utilización que denominan persuasivo. Su ámbito específico sería el de la política, donde la evaluación desempeñaría una función eminentemente argumentativa al servicio del discurso político, sea é ste de gobierno o de oposición. Su misión sería similar a la que cumple la inclusión de citas de literatos relevantes en los discursos parlamentarios o en los mítines, por ejemplo. En su opinión, este tipo de uso desborda los estrictos límites de la evaluación y de su incidencia práctica y no constituye, en consecuencia, objeto de análisis específico por parte de los evaluadores.

En este mismo sentido, Nigel Norris nos ha expuesto un caso concreto en que la propia evaluación se insertaría en una estrategia de imagen con la finalidad de realzar la calidad de una determinada actividad. Para los promotores del programa educativo que utiliza como referencia, el hecho mismo de someterse a una evaluación externa enfatizaría la racionalidad subyacente a su concepción y su proceso de desarrollo, reforzando así su credibilidad. Su ejemplo es muy elocuente, ya que los responsables del programa sometido a evaluación invirtieron unos recursos apreciables en la elaboración de folletos atractivos tendentes a difundir su estrategia de evaluación, con el propósito de crear una imagen positiva basada en la existencia de una planificación y un control racionales (Norris, 1990:72).

Sin duda no sería difícil encontrar otros ejemplos semejantes a los sugeridos o expuestos por los autores citados, en los que el uso de la evaluación sobrepasaría ampliamente las funciones instrumental o iluminativa, para adentrarse en otra persuasiva, cuya finalidad sería la de generar credibilidad, movilizar voluntades, lograr motivación o influir en una audiencia determinada. Aun reconociendo el interé s de analizar esta perspectiva, no nos extenderemos en este momento más en ella, puesto que habría que integrarla en un análisis más amplio acerca de los modos de actuación política, que desborda ampliamente el objetivo de estas páginas. Quizás deba señalarse que este tipo de uso es el que más fácilmente se desliza hacia diversos abusos, como algunos de los que acertadamente expone Miguel Angel Santos: convertir la evaluación en un elogio a quien la patrocina o la realiza; convertir la evaluación en un instrumento de dominación, control y opresión; o hacer públicas sólo aquellas partes del informe que tienen un carácter halagador (Santos, 1993).

Para terminar este epígrafe, podría recurrirse a una cita de Shadish, Cook y

Leviton, quienes ilustran muy adecuadamente la progresiva expansión del concepto de utilización de la evaluación, hasta llegar a englobar una gran diversidad de nuevas ideas y prácticas:



“Hoy en día, el concepto de uso de la evaluación abarca su utilización (de manera independiente o conjuntamente con otros factores) para la toma de decisiones, la inclusión de referencias o citas suyas en los debates públicos, su empleo en cursos de formación continua de docentes y de formación inicial de futuros profesionales, o su utilización con objeto de reconceptualizar programas y problemas sociales. El principal medio a travé s del cual ejerce su influencia ya no es simplemente la presentación de un informe a quienes deben tomar decisiones [...] Los medios actualmente utilizados para la difusión del conocimiento incluyen no solamente los informes y resúmenes dirigidos a sus promotores o patrocinadores, sino tambié n la elaboración de otros informes dirigidos a los profesionales, diversas presentaciones efectuadas a travé s de los medios de comunicación y conversaciones imprevistas en encuentros informales” (Shadish, Cook y Leviton, 1993:451).

1.2. Niveles de aplicación y de análisis, usos y audiencias de la evaluación

Hasta aquí hemos venido adoptando una perspectiva general para analizar los usos y las funciones de la evaluación. Sin embargo, no se puede olvidar que estamos hablando de un instrumento susceptible de aplicación a muy diversas realidades y capaz de responder a distintas finalidades. Por ceñirnos al ámbito educativo, sabemos que resulta posible evaluar, por ejemplo, un centro docente, un programa de intervención psicopedagógica, el trabajo de un profesor o una determinada parcela del sistema educativo, pero tambié n que los planteamientos, las té cnicas a utilizar y las posibles aplicaciones de cada una de esas actuaciones son muy distintas entre sí. Para abordar con mayor profundidad y rigor la cuestión de los usos de la evaluación, resulta imprescindible diferenciar los diversos niveles o planos en que é sta puede ser abordada.

En una primera aproximación, podemos distinguir tres niveles de aplicación

de la actividad evaluadora, correspondientes a otros tantos ámbitos o planos en los cuales la evaluación puede básicamente efectuarse. El primero tiene por objeto la valoración de la actividad de los distintos individuos que participan en el proceso educativo. Es el nivel en que se ha utilizado tradicionalmente con mayor frecuencia, sobre todo en su vertiente de calificación y certificación de los resultados logrados por los estudiantes. Como sabemos, la evaluación de los alumnos constituye una parte importante del trabajo docente, aunque a veces haya recibido otras denominaciones. Pero los alumnos no son los únicos individuos objeto de la actividad evaluadora. Desde hace ya dé cadas, los profesores de muchos países tambié n han sido sometidos a algún tipo de valoración periódica, con consecuencias a menudo sobre su carrera profesional o incluso sobre su salario, y otro tanto podría decirse de los directores escolares o de ciertos cargos de responsabilidad administrativa. En té rminos generales, puede afirmarse que las evaluaciones desarrolladas en este nivel individual son las que



cuentan con mayor experiencia y tradición, aunque quepan algunas matizaciones en función de los agentes concretos a los que hagamos referencia.

Un segundo nivel de aplicación corresponde a la valoración de las

instituciones o entidades singulares que componen una determinada parcela del sistema educativo. El ejemplo más característico de este tipo de unidades es sin duda un centro docente, de cualquier carácter y nivel de que se trate. En una institución como é sta desarrollan su actividad numerosos individuos, enmarcados en unas estructuras organizativas y unos patrones determinados de funcionamiento, cuya evaluación exige desbordar el ámbito puramente individual. El resultado de la actuación de esas personas y de sus relaciones mutuas produce unos determinados efectos educativos. El estudio y la valoración de tales actuaciones, relaciones y efectos constituyen uno de los ámbitos más prometedores de aplicación de la evaluación educativa actual.

Pero e n este segundo nivel de aplicación que hemos denominado institucional tambié n podrían incluirse otro tipo de entidades singulares, quizás no tan visibles como los centros docentes, aunque no por ello menos interesantes. Es el caso de lo que gené ricamente se han denominado programas educativos, rótulo que abarca una gran diversidad de actividades de intervención, con dimensiones, características y cobertura muy variables. Si bien es cierto que su carácter institucional es de naturaleza diferente al de los centros docentes, no cabe duda de que comparten con ellos algunas características comunes. Desde el punto de vista que aquí nos interesa la principal es que se trata de unidades singulares que demandan atención específica. Al igual que en el caso de los centros, su evaluación requiere atender a los procesos internos de organización y funcionamiento desde una perspectiva supraindividual. En este ámbito tambié n contamos con una larga experiencia, iniciada hace ya varias dé cadas en Estados Unidos y continuada posteriormente en otros países.

El tercer nivel de aplicación es el que aborda la valoración del conjunto de

un sistema educativo o de alguna parcela significativa del mismo. Frente a los dos casos anteriores, en é ste desaparece el é nfasis en la singularidad, para adoptar una perspectiva global. Aunque la evaluación realizada en este nivel esté basada en información correspondiente a unidades singulares, la pretensión de globalidad que la guía determina el rango y selección de los datos (recurriendo frecuentemente a muestras, datos agregados, experiencias piloto o casos ejemplares), así como el tipo de tratamiento que de ellos se realiza. Es necesario insistir en que evaluar un sistema educativo (o una parcela del mismo) no significa necesariamente hacerlo con cada una de sus unidades constitutivas. La generalidad del nivel de aplicación condiciona la perspectiva global adoptada.

Así pues, la evaluación puede aplicarse o llevarse a cabo en tres niveles o

planos, progresivamente más alejados del ámbito individual y con una perspectiva cada vez más amplia. Como puede fácilmente inferirse, aunque no nos extendamos por el momento en esta apreciación, el hecho de ubicarnos en uno u



otro determina nuestro planteamiento general, nuestros enfoques metodológicos, la selección de datos que realicemos y el tratamiento que hagamos de los mismos.

Pero la identificación de estos tres ámbitos gené ricos resulta útil no sólo para distinguir los ámbitos de aplicación de la actividad evaluadora, sino tambié n para diferenciar los tipos de análisis que la evaluación permite realizar. Así, del mismo modo que hemos hablado de tres niveles de aplicación de la evaluación (individual, institucional y sisté mico), de acuerdo con el tipo de realidades que se evalúan, se podrían distinguir otros tres niveles homólogos en los que é sta puede utilizarse para tomar decisiones o arrojar luz. Así, podríamos hablar de tres niveles de análisis, de acuerdo con el tipo de conclusiones que pueden extraerse de una determinada evaluación para los individuos (sean alumnos o profesores), las instituciones (centros docentes, programas) o el sistema educativo en su conjunto, e independientemente del ámbito concreto en que aqué lla se efectuó. Como veremos, los niveles de aplicación y de análisis pueden o no coincidir, producié ndose una serie de posibilidades cruzadas que merece la pena considerar con cierto detenimiento.

Al entrecruzar los tres niveles de aplicación identificados más arriba con los

correspondientes niveles de análisis se dibuja una tabla de doble entrada que nos permite explorar los usos más adecuados de la evaluación en cada situación concreta. Como es lógico, la utilización más fructífera es la que se basa en análisis realizados en el mismo nivel que el de aplicación. Así, la evaluación individualizada de un alumno o profesor es la más adecuada para valorar su actuación y adoptar decisiones acerca de su promoción, certificación o progreso. Otro tanto podría decirse sobre la evaluación singular de un centro docente o de un programa de intervención, cuando se trata de decidir acerca de cómo mejorarlos o de la conveniencia de clausurarlos, o sobre la evaluación del sistema educativo cuando se pretende valorar su estado y situación antes de adoptar medidas de reforma. Siguiendo mentalmente el esquema gráfico que antes se avanzaba, las cuadrículas situadas en la diagonal de esa tabla de doble entrada representarían las situaciones en que la evaluación resulta más adecuada y fructífera.

En cada una de esas tres situaciones óptimas (aplicación y análisis en el nivel individual, institucional o sisté mico, respectivamente) se pueden identificar algunos usos específicos de la evaluación. En primer lugar, si nos situamos en el ámbito individual, la evaluación constituye un instrumento que puede ser utilizado con fines de acreditación y de desarrollo. En efecto, la evaluación realizada sobre individuos (sean alumnos, profesores, directores o administradores) con la intención de adoptar decisiones que les puedan afectar de una u otra manera ha presentado siempre esta doble dimensión. Por una parte, ha estado encaminada a emitir juicios de valor conducentes a la atribución de grados acadé micos, a la promoción en sus estudios o carrera o a la certificación de haber superado un determinado escalón en su progreso acadé mico o profesional; es lo que se denomina acreditación. Por otra parte, tambié n ha incluido entre sus objetivos la elaboración de planes de desarrollo personal, entié ndanse é stos como actividades



de recuperación, decisiones de reorientación vocacional o profesional, o acomodación de actividades a las características individuales de los que en ellas participan; es a lo que aquí se hace referencia con el té rmino de desarrollo. En otras palabras, la evaluación en el ámbito individual ha tenido y sigue teniendo la doble vertiente, sumativa y formativa, que popularizara Scriven hace ya tres dé cadas.

En segundo lugar, en el ámbito institucional tambié n se identifican esas dos

vertientes, aunque utilicemos distintas denominaciones para referirnos a ellas. Por una parte, la evaluación permite un uso de carácter sumativo, esencialmente orientado hacia el exterior de la institución, que podríamos calificar de rendición de cuentas o de supervisión. Por otra parte, tambié n ofrece un uso formativo, orientado más bien hacia el interior de la propia institución, que podría denominarse de mejora y desarrollo. El primero hace hincapié en la valoración de los logros o las carencias del centro docente o el programa de que se trate, con la intención de aumentar su transparencia y proporcionar información acerca de su situación. El segundo se centra sobre todo en los puntos dé biles y en las posibilidades que existen para su mejora, con el propósito de elaborar planes de desarrollo. Lógicamente, ambas finalidades pueden combinarse en proporciones variables, sin que debamos hacer demasiado hincapié en su diferenciación. En la mayor parte de los casos, el propósito de rendición de cuentas y el de desarrollo van íntimamente unidos, sin que resulte fácil separarlos. Y otro tanto podría decirse, paralelamente, de la conexión existente entre cada tipo de uso y su mayor o menor apertura al exterior.

En tercer lugar, tambié n pueden identificarse dos usos principales de la evaluación en el ámbito sisté mico, aquí denominados de conducción y de información pública, respectivamente. El primero de ellos fue comentado en la introducción del documento y tiene que ver con el nuevo estilo de gestión pública que se extiende progresivamente en la administración educativa. Como allí se decía, se trata de una imagen sugerente que permite concebir e interpretar de manera distinta las tareas clásicas de la administración y la dirección. El segundo uso corresponde a la función iluminativa de la evaluación, aplicada a este ámbito específico. Como podrá apreciarse un poco más adelante, tiene que ver con la contribución que é sta puede realizar al debate público y al funcionamiento democrático de una sociedad.

Como se indicaba más arriba, los usos más adecuados y fructíferos de la

evaluación son aquellos en que el nivel de aplicación coincide con el de análisis. No obstante, no pueden ni deben descartarse otros en los que ambos niveles no sean idé nticos. Pero estas traslaciones de nivel deben ser consideradas con atención, pues en ellas puede encontrarse el origen de parte de los posibles abusos de la evaluación. Por ejemplo, Miguel Angel Santos señala el riesgo de “elegir sesgadamente para la evaluación algunas parcelas o experiencias que favorezcan una realidad o una visión sobre la misma” (Santos, 1993:71) como uno de los riesgos reales de utilización incorrecta de la misma.



Entre los usos legítimos de un análisis realizado en un nivel diferente al de aplicación merece la pena destacar dos. El primero es aquel en que el análisis se realiza en un nivel de mayor generalidad que el de aplicación, con una finalidad de ejemplificación o iluminación. El segundo se caracteriza porque el análisis tiene lugar en un nivel más particularizado que el de aplicación, con una finalidad de reflexión por inferencia.

En el primer caso, ciertas evaluaciones llevadas a cabo sobre individuos o

instituciones son utilizadas para ejemplificar determinados aspectos de una realidad institucional o sisté mica más amplia que la evaluada. Así, por ejemplo, la valoración de los procesos y relaciones que tienen lugar en uno o más centros docentes puede dar pistas para interpretar fenómenos que se producen de una manera más general en un sistema educativo. Del mismo modo, el estudio de las reacciones de determinados individuos en un contexto institucional puede arrojar luz sobre las características de este último.

Como sabemos, dicho tipo de operaciones son aceptables desde el punto de vista científico, aunque el viejo problema de la inducción haya generado largas e interesantes polé micas a lo largo de la historia. En concreto, el estudio cualitativo de casos singulares con fines iluminativos cuenta con una ya notable tradición (Simons, 1980; Stake, 1995). Un reciente estudio de la OCDE sobre las innovaciones en el estudio de las ciencias, las matemáticas y la tecnología, basado en estudios de casos nacionales, nos ilustra convincentemente acerca de la potencia de este enfoque (Black y Atkin, 1996). La principal dificultad estriba en la identificación de la realidad concreta a estudiar y en el carácter ejemplar de la misma. Además, hay que tener en cuenta que esta traslación impone sus propias reglas de cautela en la generalización, que se deben respetar so riesgo de extraer conclusiones erróneas.

En el segundo caso mencionado, ciertas evaluaciones realizadas sobre instituciones o sistemas se utilizan para reflexionar y adoptar decisiones en un nivel individual o institucional más particularizado. Por ejemplo, la consideración de los resultados de una evaluación regional o nacional por los miembros de un centro docente, con la intención de reflexionar acerca de qué consecuencias deberían extraerse para el funcionamiento de é ste, constituye una práctica habitual en lugares muy diversos. Cuando el Ministerio de Educación y Cultura de la República Argentina elaboró unos documentos dirigidos a los profesores acerca de cómo podría abordarse la enseñanza de las áreas con peores resultados en los operativos nacionales de evaluación, no estaba sino haciendo este tipo de uso de la misma.

Como puede deducirse fácilmente, en todos los ámbitos analizados se

combinan en una u otra proporción las funciones instrumental e iluminativa de la evaluación. Sin embargo, podría afirmarse que los niveles más particularizados (individual e institucional) son más aptos para un uso instrumental orientado a la toma de decisiones, mientras que en el más general (sisté mico) predomina el uso iluminativo.



Llegados a este punto, conviene recordar que el uso que se realiza de una

evaluación determinada no es un fenómeno abstracto, sino que se produce a travé s de personas o de grupos concretos. Es cierto que la evaluación es una tarea té cnicamente compleja, que se lleva a cabo merced a la actuación de diversos especialistas. Pero ello no quiere decir que sea responsabilidad exclusiva de los té cnicos ni que se desarrolle en el vacío. Su contexto es profundamente humano, puesto que cada evaluación concreta afecta e interesa a una diversidad de individuos y de colectivos, todos los cuales tienen algo que decir acerca de su enfoque, su proceso y sus resultados.

El reconocimiento de esta confluencia de intereses legítimos y la necesidad

de tener en cuenta a todos los implicados e interesados en una actuación evaluadora concreta han llevado a la introducción del concepto de audiencias de una evaluación. Con esa denominación se hace referencia a todas las personas y grupos afectados o que tienen intereses legítimos en un proceso determinado de evaluación. En cada uno de los ámbitos antes abordados pueden identificarse sus diversas audiencias, que abarcan, en todo caso, a los individuos directamente concernidos por la evaluación, los que desarrollan su actividad en ese contexto objeto de análisis, los responsables de la institución concreta, los promotores del estudio y las personas ante quienes deben presentarse los resultados alcanzados. En ciertos casos, algunos de estos grupos pueden coincidir total o parcialmente, como sería el caso de una evaluación de un centro docente promovida por su dirección, consejo escolar o claustro de profesores, en que dichos grupos actúan simultáneamente como clientes y sujetos de la misma.

La introducción del concepto de audiencia significó un avance histórico

importante, por cuanto sustituyó la relación bilateral entre evaluador y patrocinador por otra multilateral en la que los diversos agentes educativos ocupan un lugar específico y asumen su propia responsabilidad. Además, amplió la noción anterior de destinatarios, que podía entenderse reducida a los promotores y a los responsables de la actividad evaluada, incluyendo a las personas y grupos mencionados. Las preguntas, preocupaciones y necesidades de é stos se convirtieron en aspectos fundamentales en el proceso de evaluación, con el propósito de responder a las situaciones particulares, abandonando el dogmatismo metodológico (Norris, 1990). Algunos modelos de evaluación, como el elaborado por R. Stake con el nombre de “respondente” (“responsive evaluation”), hicieron especial hincapié en la atención a las necesidades de información de las audiencias naturales del programa evaluado, viniendo a llamar la atención sobre un aspecto anteriormente ignorado. De ahí se deriva su importancia, más que de la metodología concreta propuesta, objeto de revisión posterior.

Las “Normas para la evaluación de programas, proyectos y materiales

educativos” a las que se hizo referencia al comienzo de este epígrafe constituyen una demostración palpable de la preocupación que se fue extendiendo entre los evaluadores por atender adecuadamente a sus diversas audiencias. Concretamente, las normas incluidas en la primera categoría, relativas a la utilidad



de la evaluación, están “concebidas para asegurar que una evaluación proporcione las informaciones prácticas que necesita una audiencia determinada” (Stufflebeam y Shinkfield, 1987:27). En ellas se establecen principios tendentes a asegurar que la evaluación responde a las necesidades e intereses de las audiencias concretas, proporcionándoles una información suficientemente clara y fácilmente utilizable. En la actualidad, no es posible emprender una evaluación ignorando el papel que en ella juegan los implicados en la misma. La utilidad de una evaluación es en buena medida la que de ella extraigan sus mencionadas audiencias.

Algunas de estas audiencias se han revelado especialmente importantes a

la hora de hablar de los usos de la evaluación. En el ámbito institucional, por citar un caso relevante, es necesario mencionar la utilidad que pueden extraer los profesores y los directores de los procesos de evaluación de los centros docentes. En los últimos tiempos se ha insistido repetidamente en los beneficios que las familias y la administración educativa pueden obtener de una valoración objetiva del funcionamiento y los resultados de los centros. Argumentos de ese tipo han conducido en algunos países a la publicación de listas de clasificación de centros, en una tendencia que tendremos ocasión de analizar con mayor detalle en un epígrafe posterior, pero sobre la que podemos adelantar serias reservas. Pero, en cambio, se ha analizado mucho menos la influencia que pueden ejercer este tipo de procesos sobre el trabajo de los profesores y los directores. Y cuando dichos análisis se han efectuado, han olvidado casi por completo su vertiente no estrictamente utilitaria, pese a la importancia que puede tener. Veamos algún ejemplo concreto de dichos usos no convencionales.

En relación con los docentes, por hablar de una categoría de las

mencionadas, son muchos quienes sostienen que existe una interconexión entre el desarrollo de procesos de evaluación interna del centro y la implicación de los profesores en los asuntos escolares. Aunque dicha relación no es tan clara en el caso de la evaluación externa, la puesta en marcha de procesos colectivamente asumidos de evaluación institucional interna puede ofrecer una valiosa oportunidad para favorecer dicha implicación y aumentar simultáneamente la moral de los docentes, contribuyendo así a mejorar el ambiente o clima escolar. Más allá de las decisiones que se adopten al final de dicho proceso, su propio inicio produce un efecto valioso para los componentes de la institución.

En el caso de los directores, así mismo aludidos, vale la pena señalar que

autores como Glasman y Nevo, despué s de analizar detenidamente un buen conjunto de investigaciones empíricas, llegan a la conclusión de que podrían mejorar notablemente su práctica y su estilo de toma de decisiones mediante la utilización de los conceptos y los mé todos de la evaluación. De acuerdo con tal sugerencia, los directores no deberían ser simples “consumidores ilustrados de la evaluación”, sino personas capaces de utilizar los enfoques y la metodología evaluadora en sus procesos de toma de decisión. Según su propia formulación, se trataría de formar directores “mentalizados acerca de la evaluación” (“evaluation-minded principals”), lo que no significa transformarles en evaluadores



profesionales, sino desarrollar en ellos las actitudes, las habilidades y los conocimientos que les faciliten un uso productivo y enriquecedor de la evaluación (Glasman y Nevo, 1988).

En el ámbito sisté mico, por poner otro ejemplo diferente, hay que insistir en la función iluminadora que desempeña la evaluación, que suele ser más importante que la estrictamente utilitaria. Son muchos los autores que han puesto en conexión este tipo de usos no convencionales de la evaluación con su contribución al funcionamiento democrático de una sociedad. Así, Escudero se refiere a esta utilidad en la perspectiva de un modelo de servicio público, tendente a la “animación de debates públicos, pluralistas y democráticos, que, informados por los resultados de la evaluación, activen no tanto procesos de toma de decisiones instantáneas cuanto acuerdos negociados deliberativamente” (Escudero, 1995:101). La exigencia de identificar y atender a las necesidades de las audiencias es considerada por Barry MacDonald un requisito inexcusable de una evaluación democrática, como pone certeramente de manifiesto en un interesante texto que puede servir para cerrar este apartado:

"Una evaluación democrática debería procurar servir a los valores universales de las sociedades democráticas, atendiendo a los dos elementos que creemos fundamentales en la democracia. Por una parte el ejercicio del voto, que debe ser un voto informado y, por lo tanto, la necesidad de asumir como valor el deber de informar a la ciudadanía de todos los asuntos que le competen. Y por otra parte, que la democracia se caracteriza por un sistema de equilibrios y controles para prevenir el uso ilícito del poder. La evaluación debe tener en cuenta todos los intereses que se puedan identificar, es decir, nadie puede comprar la evaluación ni determinar las preguntas porque si no sería un mero instrumento de aquellos que pueden comprar una evaluación. Tener en cuenta todos los intereses significa identificar las preocupaciones de los diferentes grupos respecto de la actividad que se está analizando, y para garantizar que sus intereses esté n representados todos han de recibir información de todos los resultados" (MacDonald, 1995:15 16).

2. La utilización de la información

Como hemos podido apreciar en las páginas anteriores, no existe un criterio único para valorar la utilidad de la evaluación, debiendo aceptar su diversidad de usos, en función de cuáles sean sus ámbitos de aplicación y de análisis, sus propósitos concretos y las audiencias a las que afecta. Si en algunos casos podemos considerar útiles a las evaluaciones que permiten tomar decisiones más o menos directamente, en otras ocasiones lo serán si ayudan a mejorar el ambiente de una institución, a explicitar sus principales puntos fuertes y dé biles o si contribuyen a objetivar el debate público sobre educación. Por ese motivo, la emisión de juicios acerca de la utilidad de una evaluación determinada basándose simplemente en la valoración de las decisiones inmediatas que é sta haya



originado constituye una simplificación excesiva y es fuente de posibles distorsiones y conclusiones erróneas. Por no poner sino un simple ejemplo, hay que reconocer que la tremenda influencia ejercida en el mundo educativo por el conocido Informe Coleman, incluso más allá del marco estadounidense, desbordó ampliamente su traducción en decisiones concretas, que fueron muy pocas.

La conciencia de que una evaluación puede producir efectos que

sobrepasan su utilización directa en té rminos de toma de decisiones ha llevado a algunos autores a plantearse y estudiar la cuestión del impacto real que esta actividad es capaz de producir (Alkin, Daillak y White, 1979). Por impacto se entiende la influencia perceptible que la evaluación ejerce sobre las actividades o actitudes de individuos o grupos, lo que amplía considerablemente el concepto más estrecho de utilidad. Una de las principales implicaciones de tal ampliación es que permite distinguir entre los efectos esperados, deseados y voluntarios de una actividad evaluadora de los inesperados, no deseados e involuntarios. En efecto, no sería razonable considerar útil una evaluación solamente si alcanza sus propósitos declarados, dejando de lado otras consecuencias que haya podido producir.

En el apartado anterior se citaron varios ejemplos capaces de ilustrar

adecuadamente este tipo de impacto no estrictamente utilitario. Uno de ellos es el efecto que la puesta en marcha de una evaluación puede producir en las actitudes de los participantes en la experiencia sometida a examen. Sabemos bien que la evaluación de un centro o programa puede producir reacciones que oscilan entre la ansiedad y la implicación entre los profesores, alumnos y responsables del mismo; tambié n sabemos que el inicio de ese proceso puede constituir una fuente de motivación para la mejora o generar rechazo y estimular actitudes defensivas. Todos estos efectos no pueden ser ignorados si hablamos de la utilidad de una evaluación institucional. Otro de los ejemplos citados sería el efecto simbólico que la evaluación de una realidad puede producir en favor de su legitimación. Más allá de los resultados finales del estudio, su simple puesta en marcha contribuye a forjar una imagen de racionalidad en la gestión de la institución, influyendo en su percepción social. Un caso no citado antes, pero muy interesante de analizar, es el efecto ejemplar que la aplicación de pruebas para la evaluación de un sistema educativo puede tener sobre la práctica didáctica y evaluadora de los docentes. El hecho de utilizar un determinado procedimiento, un enfoque dado y unas té cnicas concretas para realizar una evaluación a la que se concede relevancia local, regional o nacional puede incitar a los profesores a adoptar procedimientos, enfoques y té cnicas similares en su esfera de actuación, al margen de que sean o no los más adecuados para ese ámbito más específico. En algunos casos, el efecto es aún más evidente, como cuando se produce el fenómeno muchas veces mencionado de “enseñar para el test”, que llega a desvirtuar el carácter de la propia evaluación.

A la hora de llevar a cabo una evaluación es necesario prever todos estos

efectos en la medida de lo posible y analizarlos cuando se produzcan, pues ello ayudará aun mejor desarrollo de la actividad. No obstante, dada su propia



naturaleza inesperada y no deseada, es difícil anticiparlos completamente. Aquí no nos vamos a extender mucho más en su análisis, bastando por ahora con alertar acerca de su existencia y reconocer la necesidad de extremar la atención y la sensibilidad del evaluador para controlar el impacto no previsto de su actuación.

En este apartado nos centraremos más bien en un asunto que puede y

debe ser previsto, planificado y controlado por el evaluador y que consiste en el uso que las distintas audiencias realizan de la información que se les aporta a lo largo de un estudio concreto. Este propósito se desdobla en dos vertientes: por una parte, se debe estudiar el proceso continuo de información que tiene lugar en una tarea de evaluación y los usos que de la misma se hacen, aspectos sobre los que existe una cierta confusión; por otra, se ha de analizar el uso específico que tiene lugar en la última fase del proceso, caracterizada por la emisión del informe final.

2.1. Un proceso continúo de información

La evaluación, por su propia naturaleza, tiene como finalidad ofrecer una información de carácter valorativo acerca de una determinada realidad. Esta afirmación podría hacer pensar que el evaluador se dedica en una primera fase de su trabajo solamente a recoger información, en una segunda fase a elaborarla y en una tercera a ofrecerla a las audiencias interesadas. Sin embargo, la realidad es más compleja, ya que dichas actividades están imbricadas entre sí.

En efecto, la idea de fases discontinuas falsea notablemente una realidad

que se caracteriza más bien por la existencia de un flujo continuo de información que va definiendo progresivamente sus perfiles e integrándose en unidades de significado cada vez más amplias, hasta permitir llegar a interpretaciones globales. La imagen más adecuada es la de un proceso en espiral, en el cual cada nuevo desarrollo permite alcanzar un plano más elevado de análisis e interpretación. De acuerdo con esta representación, la recogida y el suministro de información se integrarían en un proceso continuo, en el que las nuevas aportaciones de datos vendrían a completar, refutar o matizar las anteriores, hasta alcanzar una síntesis razonable y suficientemente comprensiva.

La existencia real de este proceso continuo es perceptible tanto desde el

punto de vista del evaluador como de sus audiencias. Por una parte, el evaluador aumenta y enriquece progresivamente su conocimiento de la realidad estudiada, sin que se pueda afirmar que en determinado momento esté en situación de ignorancia absoluta, que en otro recoja la información necesaria y en un tercero la procese hasta emitir su informe final. Por otra parte, las audiencias de una evaluación determinada reciben de manera progresiva una información sistemática y valorativa, que viene a superponerse sobre la que ya poseían, modificándola parcialmente en síntesis sucesivas.



Fijé monos con algo más de detalle en el proceso que experimenta el evaluador. Cuando inicia una evaluación, suele poseer alguna información preliminar acerca de la realidad que ha de abordar, merced a un conocimiento superficial o profundo de su objeto de estudio. En alguna ocasión, no obstante, la primera información, generalmente de carácter no sistemático, es recibida al mismo tiempo que el encargo de la evaluación. En uno y otro caso, la información poseída o recibida no siempre está exenta de prejuicios o presupuestos. Haciendo un símil con otros ámbitos de la investigación, como puede ser la histórica, el evaluador posee lo que Topolsky (1985) llama un conocimiento no basado en fuentes. Ello quiere decir que, al igual que el investigador o el historiador, recurre a unos conocimientos iniciales para el planteamiento de su trabajo, que consisten básicamente en su experiencia general, los resultados de la investigación anterior y ciertos conocimientos transferidos de otras disciplinas.

Al iniciar su trabajo, el evaluador debe prever cuidadosamente la

información que necesitará y organizar el plan general de recogida de la misma. Pero hay que tener en cuenta que sus ideas y percepciones iniciales pueden determinar, e incluso sesgar, las decisiones de evaluación que tome y el plan de recogida de datos que adopte. Por ese motivo, es necesaria una actitud de apertura hacia la recepción de información no prevista y un contraste del proyecto de trabajo con sus principales audiencias, con vistas a evitar los riesgos señalados.

Según avanza el proceso, debe ir sistematizando la información recogida y realizando interpretaciones y valoraciones parciales y preliminares. La confrontación de las mismas en el interior del equipo de evaluación y con los afectados por la misma permitirá su depuración y su correcta interpretación. Normalmente, este tipo de interpretaciones parciales se van avanzando bajo la forma de informes de progreso, aunque tambié n se llevan a cabo a travé s de comunicaciones e intercambios informales.

Por último, al final del proceso, el evaluador estará en condiciones de emitir

un informe final, en el que queden recogidas las principales conclusiones y valoraciones alcanzadas. Dicho informe ha sido muchas veces considerado el elemento clave y el resultado más característico de la evaluación pero, como hemos visto, dista de ser su único resultado.

Desde el punto de vista de los interesados en la evaluación, tambié n existe

un flujo continuo de información, que se desarrolla paralelamente al que acaba de exponerse. Así, previamente al inicio del proceso, los implicados y participantes en la realidad evaluada suelen poseer una información abundante acerca de la misma, mayor sin duda que la que tienen los evaluadores, pero generalmente poco sistematizada e incluso con lagunas de cierta importancia. Además, está condicionada por un amplio rango de situaciones personales que determinan su percepción. En consecuencia, existe un riesgo real de prejuicios y tomas previas de posición. En el momento en que se inicia el proceso de evaluación, los destinatarios de la misma reciben un proyecto de trabajo que determina el tipo y la



cantidad de datos que se considera necesario recoger, establece ciertas prioridades entre los mismos e incluye el plan que ha de seguirse para su recogida. Dicho proyecto inicial suele traslucir la visión preliminar que los evaluadores poseen del objeto que abordan, permitiendo así un primer contraste con la que poseen otros grupos implicados. Aunque pueda parecer que esta primera información, aún poco completa y sistematizada, es irrelevante, puede sin embargo resultar muy valiosa para las diversas audiencias de una evaluación, ya que constituye un elemento de contraste con su propia percepción.

Según se va desarrollando el proceso de evaluación, sus destinatarios

pueden ir recibiendo información de manera asistemática, además de informes de progreso, en los que aparecen versiones cada vez más elaboradas de las interpretaciones y valoraciones que los evaluadores construyen a partir de la información que van recogiendo. Dichos informes parciales cumplen al menos una doble función. En primer lugar, permiten conocer la selección de información que los evaluadores han realizado, así como las interpretaciones y las valoraciones que establecen tentativamente a partir de la misma. En segundo lugar, permiten contrastar los puntos de vista de unos y otros, enriqueciendo progresivamente el análisis. En consecuencia, dichos informes de progreso representan un elemento importante de información durante el desarrollo de la evaluación.

Al final del proceso, los destinatarios reciben un informe final, que sintetiza

el trabajo realizado y constituye su resultado más característico. Aunque se hará una referencia más amplia a sus características más adelante, puede señalarse aquí que se trata de un elemento fundamental de información, pero de ningún modo el único, como se puede ir apreciando.

A lo largo de este proceso continuo, es mucha la información que se

recoge, se trata y se entrega mutuamente por parte de unos y otros. No todos estos trasiegos de información tienen un carácter sistemático, pero ello no quiere decir que no sean valiosos y relevantes. Una parte de dicha información es transmitida de modo informal, a travé s de los intercambios personales que abundan en toda evaluación. Pero otra parte, la más interesante de analizar puesto que tiene carácter intencional y sistemático, es recogida y transmitida formalmente. Los evaluadores recogen la información formal que necesitan por medio de diversos instrumentos de evaluación (entrevistas, cuestionarios, pruebas, observación,...) y transmiten la que han ido elaborando a travé s de tres medios principales: el proyecto de evaluación, los informes de progreso y el informe final.

Cada uno de estos tres instrumentos tiene su importancia particular. En las páginas que siguen se hará referencia más extensa a los dos últimos. Pero aquí debe hacerse una mención especial al primero, cuya importancia no se subrayará nunca demasiado. El proyecto de una evaluación constituye una concreción de los propósitos que la guían, los supuestos que la inspiran, los principios metodológicos que la rigen y los valores que la orientan. Por lo tanto, la discusión de dicho proyecto con los destinatarios de la evaluación y los afectados por la



misma es un requisito indispensable para asegurar el carácter democrático de la operación. Obviamente, confrontar y contrastar el proyecto de evaluación con sus correspondientes audiencias no tiene el mismo significado en diversas iniciativas ni en ámbitos diferentes. En el caso de la evaluación de un centro escolar o un programa educativo, la discusión del proyecto habrá de realizarse directamente con los implicados en la misma, mientras que en el caso de una evaluación del sistema educativo los cauces de discusión serán más formales y representativos (órganos responsables del sistema educativo, comisiones parlamentarias, órganos diversos de participación social en educación).

Además de lo que ya se ha indicado en los párrafos anteriores, es

importante destacar que el propio proyecto debe recoger la preocupación manifestada por los evaluadores acerca de cómo utilizar la información suministrada por la evaluación, sentando explícitamente las bases de su correcto tratamiento y uso. Ello quiere decir que los evaluadores no deben esperar simplemente a que se produzca de manera espontánea algún tipo de uso de la información obtenida, sino que deben formularse las cuestiones adecuadas y prever las mejores estrategias para conseguirlo.

Las consideraciones anteriores acerca de la necesidad de prever momentos

e instrumentos concretos (como los informes mencionados) que permitan poner en común, discutir y contrastar la información disponible se insertan en una perspectiva más amplia, que enfatiza el papel central que la negociación ocupa en todo proceso de evaluación. Aunque no nos extendamos mucho más aquí en este asunto, merece la pena recoger una frases de Joan Mestres que sitúan esta cuestión en su justo lugar:

"La negociación es una dimensión inherente a todo proceso de evaluación de cualquier tipo y modelo en sus distintos momentos: concepción previa, establecimiento de una política de evaluación, recogida de datos, tratamiento e interpretación de los mismos, elaboración de informes, divulgación y atención a las repercusiones y efectos del proceso evaluador [...] ¿Qué se puede negociar en evaluación educativa? ¿Se puede negociar todo?, ¿existen algunos límites en la negociación evaluativa? Excepto los principios é ticos, probablemente todo lo demás pueda y deba ser negociado: objetivos, procesos, instrumentos, estrategias, tiempos,... [...] la meta de la negociación en evaluación estriba en conseguir el punto de equilibrio a travé s del diálogo, normalmente sin intermediarios, sino directamente entre las partes, mostrando sus intereses y valoraciones personales, es decir, que predomina el estilo de negociación orientada a la mutua satisfacción" (Mestres, 1995:37-40).



2.2. El informe de evaluación

Aun aceptando que la información proporcionada por la evaluación, a travé s de canales tanto formales como informales, puede y debe utilizarse a lo largo de todo el proceso de trabajo, merece la pena prestar una atención especial a las características y los problemas que implica la elaboración de los informes de resultados, ya que constituyen un elemento fundamental de dicho proceso. En efecto, la elaboración del informe representa la concreción de la tarea central de la evaluación, consistente en transformar los datos en evidencias (Sáez Brezmes, 1995). Incluso si algunos autores llegan a destacar que los informes de progreso suelen ser más útiles que el final (Escudero, 1995), no es posible ignorar la importancia real y simbólica de este último, lo que aconseja analizarlo con cierto detenimiento.

Una primera observación que conviene subrayar es que la elaboración del

informe de evaluación tiene un carácter dinámico. Como indica Escudero, se trata de “un elemento resultante y dependiente de otras series de procesos y decisiones más trascendentales” (Escudero, 1995:96). En efecto, lejos de constituir un producto exclusivo de la última fase de trabajo, el informe comienza a perfilarse desde las etapas iniciales de la evaluación y se va construyendo y enriqueciendo progresivamente. Ya desde el momento de la elaboración de su proyecto de estudio, el evaluador debe comenzar a pergeñar el modelo de informe a presentar, hacié ndose una representación mental de sus principales características. La consulta de informes de calidad contrastada, procedentes de otros estudios de evaluación, constituye una práctica aconsejable a la hora de realizar dicha tarea. Hay quien incluso defiende la necesidad de elaborar un informe simulado, en el que queden explícitos el conjunto de información a incluir, su estilo de presentación, el tipo de análisis a realizar y el tono de las conclusiones y eventuales recomendaciones. La elaboración de este modelo permite concretar los propósitos que persiguen la evaluación y contrastar con los interesados la utilidad de la información que se pretende ofrecer. Este modo de actuación resulta muy recomendable para los evaluadores que se encuentran en el comienzo de su carrera profesional, ya que facilita su trabajo posterior y evita peligrosos malentendidos iniciales.

A partir de esas primeras previsiones sobre el informe final, e incluso

despué s de haber diseñado un modelo para su elaboración, el evaluador se enfrenta a la tarea de presentar diversos informes de progreso. Como se indicó anteriormente, la función de é stos es muy importante, puesto que permiten avanzar hacia la fase final por aproximaciones sucesivas y, al mismo tiempo, contrastar con los destinatarios y los usuarios de la evaluación la información reunida y las interpretaciones realizadas. Esta construcción progresiva del informe a travé s de avances sucesivos es especialmente importante cuando se utilizan determinados mé todos cualitativos, en los que dicha elaboración no es resultado sólo del trabajo de los especialistas, sino fruto de un proceso compartido de construcción. Como puede lógicamente inferirse, la metodología empleada



determina en buena medida las características y el proceso de elaboración del informe. Nuevamente conviene insistir en que la negociación, de la que antes se hablaba y que constituye la esencia del proceso de evaluación, se manifiesta con especial nitidez al tratar este aspecto del proceso.

Pese a la importancia que los evaluadores conceden a los informes de

resultados, todavía son muchas las voces que se elevan para denunciar lo difícilmente comprensibles que a veces pueden resultar para los no especialistas y el riesgo en que llegan a caer de permitir malas interpretaciones. Sin duda este tipo de deficiencias, que muchos suscribirían, dificulta la extensión de la práctica evaluadora y su utilización real y fructífera por parte de sus destinatarios.

Estos problemas están en buena medida provocados por no diferenciar

adecuadamente las características de un informe de evaluación de otro de investigación. En efecto, en muchas ocasiones el informe de evaluación ofrece un aspecto, unos contenidos y un formato similares a una memoria de investigación, que dificultan su uso por parte de aquellos destinatarios que carezcan de formación específica para su interpretación y manejo. No se trata tanto en estos casos de que el informe sea incorrecto, como de que resulta inadecuado. Aun cuando sus contenidos sean irreprochables desde el punto de vista té cnico, muchas veces no se adaptan a las características, formación y necesidades de sus destinatarios. Así, por ejemplo, no es extraño que un informe de evaluación adopte el esquema incluido en el Cuadro 1, en el que la preocupación por el rigor té cnico predomina sobre las necesidades de la comunicación.

CUADRO 1. Esquema de un informe técnico de evaluación (Glasman y Nevo, 1988:53)

1. Resumen 2. El contexto de la evaluación

a. Descripción de la actividad a evaluar y las razones de la evaluación

b. El papel de la evaluación y sus clientes 3. El marco conceptual de la evaluación 4. Las preguntas de la evaluación

a. Preguntas principales y secundarias b. Justificación de las preguntas

5. Mé todos de investigación a. Instrumentos de medida y procedimientos de recogida de datos b. Diseño de investigación c. Procedimientos de muestreo d. Procedimientos de análisis de datos e. Fases de trabajo f. Proceso de información sobre los resultados alcanzados g. Limitaciones metodológicas

6. Resultados a. Resultados acerca de cada una de las preguntas de la evaluación b. Resultados adicionales



7. Resumen y conclusiones a. Resumen de respuestas a las preguntas principales de la

evaluación b. Discusión de la significación de los resultados y sus limitaciones c. Conclusiones y recomendaciones

8. Bibliografía 9. Apé ndices

En el origen de este fenómeno de mimetismo hacia los informes de

investigación se encuentra sin duda la formación recibida por muchos evaluadores y sus tradiciones de trabajo. Siendo acadé mica y universitaria la procedencia de la mayor parte de ellos, no es extraño que recurran frecuentemente al modelo de una memoria de investigación a la hora de elaborar un informe de evaluación. Razones de formación, de hábito de trabajo, pero tambié n de seguridad en el desarrollo de su actividad, pesan poderosamente en esta práctica. Y sin embargo, en ella se encuentra la causa de los problemas mencionados.

Para evitar este riesgo, algunos autores han defendido la aplicación de un modelo diferente, en el que las necesidades de una comunicación eficaz primen sobre la demostración del dominio té cnico. El Cuadro 2 recoge un esquema diferente de informe al que antes se presentaba, con una organización más original y mejor adaptada a las necesidades de quienes utilizarán los resultados de la evaluación para tomar decisiones, del tipo que é stas sean. Obviamente, cada uno de ambos modelos tiene sus ventajas e inconvenientes, que el evaluador debe sopesar cuidadosamente. Mientras que el primero es un buen modelo de informe té cnico, dirigido a especialistas, el segundo resulta ser más útil para audiencias no especializadas.

CUADRO 2. Esquema de un informe de evaluación orientado a la toma de decisiones (Glasman y Nevo, 1988:54)

1. Recomendaciones principales 2. Principales resultados 3. Resultados detallados

a. Resultados acerca de cada una de las preguntas de la evaluación b. Resultados adicionales

4. Recomendaciones detalladas a. Recomendaciones para la toma de decisiones específicas b. Recomendaciones específicas acerca de las diversas partes de la

actividad evaluada 5. Diseño de la evaluación y desarrollo del trabajo

a. Marco conceptual de la evaluación b. Preguntas de la evaluación y su justificación c. Instrumentos de medida y procedimientos de recogida de datos d. Diseño de investigación y procedimientos de muestreo e. Procedimientos de análisis de datos



f. Fases de trabajo g. Limitaciones metodológicas

6. Bibliografía 7. Apé ndices

Una vez expresadas estas cautelas acerca del esquema de informe que

resulta más conveniente en cada circunstancia concreta, vale la pena detenerse a analizar cuáles serían sus características más deseables. Hay que comenzar diciendo que, en é ste como en otros asuntos, no existe un acuerdo absoluto acerca de cuáles sean tales características. Mientras que el consenso es generalizado en torno a ciertos extremos, tambié n existen divergencias acerca de otros.

Una primera característica del informe en que todos coinciden es en la

necesidad de incluir en é l toda la información que precisen sus destinatarios potenciales o reales. Ello implica realizar una tarea previa de identificación de las audiencias, que se lleva a cabo en las primeras fases de la evaluación. En el caso de la educación, es habitual encontrar diversos grupos interesados en una evaluación. Aunque pueden variar, dependiendo de cada caso concreto, las familias de los alumnos, los profesores, los equipos directivos de los centros escolares y las autoridades y administradores de la educación suelen ser destinatarios privilegiados de los informes producidos. Si bien todos ellos pueden estar implicados e interesados en la evaluación, suelen diferir sus expectativas acerca de la información que esperan recibir.

Así, por ejemplo, los padres demandan una información clara y rigurosa, pero presentada en té rminos comprensibles y generalmente individualizados, demostrando interé s en conocer con cierto detalle cuál es la situación de sus hijos, aunque sea en un contexto más amplio. Los profesores, por su parte, esperan recibir una información que les permita reflexionar acerca de su actividad profesional (sin que se perciba como una amenaza personal) y que a ser posible pueda orientarles en su trabajo cotidiano, ofreciendo suficientes garantías de rigor, con un cierto grado de elaboración té cnica, pero sin sofisticación innecesaria ni abuso de la jerga profesional. Los equipos directivos de los centros docentes requieren una información que cumpla requisitos similares a los que piden los profesores, pero referida a las características de conjunto y los rasgos diferenciales de su institución, sin excluir posibles comparaciones internas y externas. En lo que respecta a las autoridades y administradores, demandan análisis de un mayor nivel de generalidad, pero capaz de iluminar los efectos de las políticas y las decisiones adoptadas. En resumen, como puede verse, las características y contenidos de la información demandada por las distintas audiencias coinciden sólo parcialmente. Ello ha llevado a algunos evaluadores a defender la necesidad de redactar distintos informes para sus diferentes destinatarios, cuestión debatida y sobre la que se volverá más adelante.

Una segunda característica deseable estrechamente asociada a la anterior

es la pertinencia y relevancia del informe. Si una evaluación se pone en marcha



buscando unas respuestas lo más concretas posibles a una serie de cuestiones más o menos explícitas, es responsabilidad del evaluador abordar dichos asuntos en su informe, sin derivar hacia aspectos irrelevantes.

Tambié n existe un acuerdo bastante generalizado acerca de algunas

características formales que debe cumplir el informe. Así, todos los autores que se han ocupado de este asunto insisten en su brevedad y concisión. Sus destinatarios deben recibir tanta información como pueda obtenerse, pero con un grado de detalle que no sea superior al que realmente puedan utilizar. Ello implica realizar una selección razonable de datos relevantes, incluyendo en anexos aquellos otros que puedan ser de interé s pero no resulten fundamentales para el análisis o que constituyan la base de tratamientos posteriores. Tambié n coinciden en la utilización de un lenguaje accesible, sin tecnicismos innecesarios ni jerga profesional pero preciso y riguroso, y de un estilo atrayente, capaz de mantener la atención y el interé s de sus lectores y destinatarios. En este sentido, el formato narrativo suele resultar más motivador que otro secamente analítico. No son pocos quienes consideran que ambos estilos han de estar sabiamente mezclados. El informe debe así mismo incluir las referencias metodológicas necesarias para su correcta valoración e interpretación, aunque sin convertirlo en un documento únicamente para uso de especialistas. Por último, conviene utilizar una diversidad de recursos de comunicación. Frente al informe exclusivamente escrito, con texto corrido, la introducción de gráficos, tablas, esquemas o ilustraciones favorece su asimilación.

No se trata, obviamente, de “adornarlo” innecesariamente sino de utilizar

distintos instrumentos de comunicación con el fin de facilitar a sus lectores potenciales su comprensión y asimilación. No existe, sin embargo, tanto acuerdo en torno a otras características del informe de evaluación. Uno de los principales asuntos sometidos a debate es la conveniencia o no de incluir recomendaciones. Mientras que algunos evaluadores defienden la conveniencia de utilizar un esquema como el incluido en el Cuadro 2, que incluye las recomendaciones como un elemento fundamental, otros creen que esa es una tarea que corresponde a los destinatarios del informe. Para estos últimos, lo más que puede hacer el evaluador es presentar sus conclusiones, dejando a los receptores del informe la decisión acerca de cómo actuar a continuación. En esta concepción subyace una clara distinción entre conclusiones y recomendaciones. Aunque las segundas deriven de las primeras, suponen una primera toma de decisiones (o una sugerencia explícita para la misma) que desbordaría la función del evaluador.

Dada la vertiente práctica de toda evaluación, que no pretende sólo conocer

sino tambié n orientar la acción, la posición más extendida consiste en aceptar la inclusión de recomendaciones o, al menos, defender un modelo de informe orientado hacia su extracción. La dificultad mayor que esto plantea es la de conseguir plantear recomendaciones razonables, apoyadas en los análisis realizados y, sobre todo, viables en la situación concreta en que han de aplicarse.



Sin duda, la madurez profesional de un evaluador se demuestra en buena medida en cómo sea capaz de afrontar esta tarea.

Otra cuestión sobre la que no existe acuerdo unánime, y que está en parte

relacionada con la que se acaba de tratar, se refiere al carácter expositivo o nterpretativo del informe. Mientras que autores como Scriven son claramente partidarios de adoptar el segundo tipo de enfoque, incluyendo explícitamente una interpretación final, otros prefieren el primer enfoque, argumentando que violenta menos la realidad y no invade el campo de decisión propio de los destinatarios. Al igual que ocurría con las recomendaciones, la posición mayoritaria es favorable a la interpretación, aunque adoptando todas las cautelas que resulten necesarias.

Aun subrayando el papel central que el informe final desempeña en un

proceso de evaluación, como se hacía al comienzo de este apartado, no pueden dejar de señalarse algunas de sus limitaciones. En primer lugar, hay que recordar algo que se mencionaba en páginas anteriores, en lo que nunca se insistirá bastante. Frente a la creencia bastante extendida de que un informe de evaluación debe traducirse inmediatamente en medidas concretas, sabemos que los elementos de información utilizados en un proceso de toma de decisiones son diversos y variables. Ello no implica una debilidad de la evaluación, sino tan sólo situarla en su justo lugar, sin fomentar espejismos acerca de su impacto e influencia. Como sabemos, es extremadamente raro que un informe de evaluación produzca por sí solo decisiones inmediatas y racionales; si lo consigue, será más bien a travé s de diversos canales de intermediación.

Otra limitación importante de los informes de evaluación consiste en la

dificultad de recoger rigurosamente todos los perfiles de una determinada realidad, como pretende hacer. Hasta aquí se ha venido hablando de atender a una diversidad de audiencias con expectativas y necesidades diferentes, de interpretar y valorar la realidad evaluada sin distorsionarla, de ofrecer síntesis ajustadas pero asequibles. No es fácil para un equipo de evaluación atender a todas estas exigencias, corriendo siempre un riesgo de escorarse hacia algún lado determinado. Por ese motivo, hay quien ha defendido la elaboración de informes “adversarios” por equipos diferentes y a partir de los mismos datos (Popham, 1993). Esta té cnica consiste en invitar a dos equipos o personas a interpretar de manera opuesta los mismos datos, permitiendo así a los destinatarios de la evaluación alcanzar sus propias conclusiones con el mínimo condicionamiento posible. Sería algo así como trasponer la práctica eclesiástica del “abogado del diablo” al ámbito de la evaluación.

La última dificultad que merece la pena destacar consiste en la dificultad de responder adecuadamente a las necesidades a veces tan diferentes de las diversas audiencias. No se trata solamente de que demanden o precisen información de diverso tipo, sino tambié n que sus expectativas y propósitos no son necesariamente idé nticos. En consecuencia, son muchos los evaluadores que siguen o defienden la costumbre de elaborar informes distintos para sus diversos destinatarios. Esta es una cuestión polé mica, ya que tiene diversas implicaciones.



Por una parte, la existencia de informes diferenciados puede jugar en contra de la credibilidad de la evaluación, al extender la impresión de que no se dice lo mismo a todos los grupos afectados o interesados. Incluso podría argumentarse que una práctica democrática de la evaluación exige dar a todos toda la información disponible. Por otra parte, la diversidad de informes puede facilitar una mejor adaptación a las diversas audiencias y una respuesta más adecuada a sus necesidades. Desde este punto de vista, no se trataría de esconder información a nadie sino de seleccionar la más relevante en cada caso. Incluso puede llegar a argumentarse que la difusión de informes té cnicamente sofisticados entre grupos sin formación suficiente puede ser un modo de esconder los resultados, al hacerlos inasequibles.

Ante la complejidad de esta cuestión, merece la pena destacar realizar

varias observaciones. Desde el punto de vista de la lógica democrática de la evaluación, no hay por qué aceptar que los informes deben ser únicos, salvo que se entienda este té rmino de manera generosa. El hecho de que existan diversos informes adaptados a las distintas audiencias no supone a priori un dé ficit democrático. El asunto central radica más bien en la accesibilidad de los diversos informes producidos. O sea, que si un ciudadano puede consultar un informe, aunque no sea el que se preparó específicamente para el colectivo al que pertenece, no debe hablarse de falta de transparencia. Ello supondría hacer públicos varios informes, con distinto grado de extensión, profundidad y complejidad, aunque su distribución pueda realizarse de manera diferenciada.

Obviamente, el hecho de seleccionar la información incluida en cada uno de

ellos no implica aceptar su distorsión. Por ese motivo, es necesario que el equipo evaluador realice los diversos informes, de modo que se eviten sesgos interesados o no. La responsabilidad única de los evaluadores en la elaboración de los distintos informes asegurará el respeto a criterios comunes. Ello no impide que en dicha tarea puedan participar otras personas (periodistas, expertos en comunicación, etc.), con el fin de adaptar el mensaje a sus destinatarios. Pero se trata de una tarea sumamente importante para dejarla en manos de otros.

Por último, hay que señalar que la experiencia de muchos países avala este

tipo de aproximación diversificada a la elaboración de informes. Ya se mencionó anteriormente que los operativos nacionales de evaluación de la República Argentina han producido informes de carácter general, destinados a los responsables ministeriales y a un público más general, junto a otros específicamente orientados a los profesores de las materias y los niveles evaluados. Este tipo de informe resulta de indudable interé s para una audiencia muy señalada, proporcionándole elementos de reflexión para la mejora de su tarea docente. Otros países han adoptando estrategias similares, como es el caso del Sistema de Medición de la Calidad de la Educación (SIMCE) de la República de Chile, cuyos resultados se dan a conocer por diversas vías.

Otro tanto podría decirse de los informes de evaluación elaborados por

diversos organismos internacionales. Por ejemplo, la International Association for



the Evaluation of Educational Achievement (IEA) suele elaborar en sus estudios más recientes diversos tipos de documentos: informes globales de resultados, informes detallados acerca de algunos aspectos concretos (como diferencias de gé nero o factores explicativos de los resultados, etc.), informes té cnicos y folletos de síntesis. Mientras que los primeros se destinan a las autoridades nacionales y al gran público, ofreciendo una información relevante pero sinté tica, el segundo y tercero van más orientados a los investigadores y especialistas, ofreciendo datos té cnicamente más elaborados. El cuarto tipo de informe constituye una fuente de información amplia a públicos diversos, poco especializados y que no requieren una información exhaustiva.

En resumen, podría afirmarse que la elaboración de informes diferenciados

para las diversas audiencias de la evaluación presenta más ventajas que inconvenientes. Sin embargo, es necesario adoptar las cautelas necesarias para prevenir los riesgos que dicha decisión implica, sobre todo el posible dé ficit democrático y las eventuales manipulaciones o distorsiones que podrían producirse. 3. La comparación en evaluación

Uno de los mé todos utilizados más habitualmente en los informes de evaluación para tratar y presentar la información obtenida es el análisis comparativo. En algunos ámbitos concretos, como es el caso de la evaluación de los resultados acadé micos alcanzados por los alumnos o de los logros de las instituciones educativas, esta práctica se ha convertido en la predominante, bien sea empleándola de manera exclusiva o en combinación con otras. Para comprobar lo ajustado de esa observación, basta la simple consulta de algunos de los informes elaborados por los organismos e instituciones citados en el epígrafe anterior.

El recurso a la comparación como uno de los procedimientos habituales de análisis y tratamiento de datos en los estudios de evaluación no es fruto de una decisión caprichosa ni casual, sino que tiene que ver con la propia esencia de la tarea evaluadora. En efecto, al inicio del documento se afirmaba que evaluar consiste en emitir juicios a partir de una información recogida y tratada de forma sistemática. Pero esa emisión de juicios implica realizar una comparación con algún elemento de referencia, bien sea interno o externo. En rigor, no puede formularse una conclusión acerca del valor o mé rito de una determinada realidad si no se compara con otra o con un modelo ideal previamente construido. Por eso puede afirmarse que, en última instancia, la evaluación implica la comparación. 3.1. El tratamiento comparativo de la información

Entre las operaciones comparativas más frecuentemente utilizadas en los informes de evaluación destacan tres que conviene examinar con cierto detenimiento. La primera de ellas consiste en comparar los datos obtenidos con un



criterio o norma que sirva de referencia para la emisión de un juicio de valor. Es el enfoque que se utiliza, por ejemplo, para realizar lo que se conoce como evaluación criterial del aprendizaje, consistente en el establecimiento de unos criterios precisos para determinar los niveles de rendimiento y en el estudio subsiguiente de su cumplimiento o no por parte de cada alumno. Tambié n se aplica un procedimiento semejante para llevar a cabo la acreditación de centros escolares, a partir del contraste de las características de la institución evaluada con un cierto número de requisitos previamente acordados. En uno y otro caso, el mé rito de aquello que se valora se determina de acuerdo con el grado de cumplimiento de los criterios preestablecidos y no mediante la posición relativa ocupada por el alumno o el centro en el seno del grupo al que se encuentre adscrito.

La segunda de las operaciones mencionadas consiste en realizar comparaciones entre varias entidades semejantes, de manera sincrónica o transversal. En este caso, las diversas realidades objeto de evaluación se comparan entre sí, de acuerdo con la situación que presentan en un momento determinado. Es el tipo de procedimiento utilizado para llevar a cabo la evaluación normativa del aprendizaje, basada en otorgar calificaciones mediante la comparación del alumno con sus compañeros y la determinación del lugar que ocupa en su grupo de referencia. Es tambié n el tratamiento que se realiza, por ejemplo, en los estudios internacionales de rendimiento educativo, que tanto auge han experimentado en los últimos años, o el que se emplea para construir tablas de clasificación de centros escolares, como las que algunos países han publicado recientemente.

La tercera operación consiste en comparar la información obtenida a partir

de una misma realidad, en dos o más momentos sucesivos, de manera diacrónica o longitudinal. En esta aproximación, la realidad evaluada no se compara con otras semejantes ni con un modelo ideal, sino consigo misma, pero introduciendo en el análisis la dimensión temporal. Es el tipo de tratamiento que se realiza, por ejemplo, en los estudios de seguimiento de cohortes de estudiantes con objeto de conocer su progreso acadé mico a lo largo del tiempo, o cuando se pretende evaluar el impacto de determinadas medidas de política educativa adoptadas en un momento dado.

Cada una de estas tres operaciones ofrece diversas posibilidades, al tiempo

que plantea algunos problemas. El examen de sus respectivas ventajas e inconvenientes puede ayudar a entender mejor su contribución en cada situación concreta, así como las cautelas con que deben utilizarse.

El primero de los procedimientos apuntados, la comparación con una norma

o criterio prefijado, puede parecer el más deseable desde el punto de vista de la evaluación, ya que supone la valoración de una realidad en y por sí misma. De hecho, es un enfoque muy utilizado en la actualidad y que ha inspirado un buen número de iniciativas. Entre todas ellas merece la pena destacar especialmente los intentos emprendidos en diferentes países para establecer criterios o



estándares (standards) de rendimiento, entendidos como una formulación explícita de los niveles que los alumnos deberían alcanzar en las diversas etapas de su proceso de aprendizaje y que sirven de referencia a la hora de la evaluación (OCDE, 1995). Uno de los ejemplos mejor conocidos y más asentados de este tipo de aproximación es la iniciativa desarrollada desde comienzos de la dé cada de los noventa en Inglaterra y Gales, consistente en el establecimiento de unos objetivos de logro (attainment targets) para cada una de las áreas del currículo escolar, que son objeto de evaluación individualizada en unos momentos clave del proceso de escolarización (a los siete, once, catorce y diecisé is años de edad). Otros ensayos de este tipo se llevan a cabo en la actualidad en los Estados Unidos.

Como se indicaba anteriormente, tambié n los procedimientos de

acreditación de centros se han regido por una lógica similar. El mecanismo utilizado para realizar dicho proceso no es otro que determinar los requisitos que deberían cumplir las instituciones candidatas, examinar el grado de cumplimiento de los mismos en cada caso concreto y realizar una valoración global en té rminos de aceptación o denegación.

Este primer enfoque resulta indudablemente atractivo, ya que constituye el

modo más transparente y menos controvertido de valorar el mé rito de una realidad sometida a evaluación. En efecto, la existencia de una referencia externa y explícita evita la subjetividad en la valoración y confiere mayor credibilidad y confiabilidad al juicio emitido. La tarea de acordar los criterios en los que se debe basar el juicio de valor está obviamente lejos de ser sencilla, pero ofrece la innegable ventaja de prestar un apoyo sólido a la actividad evaluadora.

Sin embargo, a pesar de su atractivo, el principal problema que plantea este

procedimiento consiste precisamente en la dificultad de determinar los criterios que deben servir de referencia para la comparación. En esta operación intervienen consideraciones de muy diverso tipo y no solamente té cnicas. De hecho, en la mayor parte de los casos, la determinación de dichos criterios es fruto de un doble proceso, de carácter respectivamente político y científico-té cnico. Así, por ejemplo, para fijar los objetivos de aprendizaje a alcanzar por los alumnos de un grado escolar determinado hay que comenzar teniendo en cuenta las aportaciones de la psicología y la pedagogía acerca de cómo se desarrollan las capacidades individuales asociadas a dichos objetivos. Pero a continuación hay que determinar cuáles son los niveles acadé micos realmente alcanzables o deseables en ese grado concreto, lo que supone tener en cuenta otras variables de carácter contextual, tales como el nivel educativo general y las demandas de la población, la formación de los profesores, la disponibilidad de recursos o los logros previamente conseguidos. Por último, la revisión del nivel de cumplimiento de los mencionados objetivos, a partir del análisis de los resultados efectivamente alcanzados por los alumnos, aconsejará su mantenimiento o su modificación. Como puede fácilmente apreciarse, para tomar decisiones razonables en este campo se han de combinar adecuadamente el bagaje científico y té cnico disponible con el conocimiento de la realidad educativa, la consideración de lo que es socialmente deseable y, por qué no decirlo, una cierta prudencia y sentido de la



oportunidad. Al desbordar el ámbito estrictamente científico y té cnico e invadir el propiamente político, aumentan las dificultades para fijar este tipo de criterios y corre el riesgo de disminuir el grado de acuerdo en su elaboración.

Por otra parte, la determinación de este tipo de criterios plantea el

interesante problema conceptual y operativo de su aplicabilidad general o contextualizada. Dicho de otro modo, hay que responder a la pregunta de si pueden definirse unos criterios de aplicación general o si la definición debe depender de los contextos particulares. Si bien la primera opción resulta más atractiva desde el punto de vista político y cuando se trata de proporcionar una información amplia, dada su simplicidad, la segunda resulta más rigurosa desde el punto de vista científico-té cnico, pero es indudablemente más compleja. La cuestión continúa estando abierta en buena medida, requiriendo todavía la realización y el análisis de más experiencias de esta índole.

Cuando no se cuenta con unos criterios ampliamente aceptados con los que contrastar las características del objeto a evaluar, por los motivos que sea, un procedimiento habitual consiste en compararlo con otras realidades semejantes. Esta segunda aproximación resulta especialmente atractiva para los políticos y para el gran público, dada su simplicidad y su inmediata interpretación. Sin embargo, es la más criticada por los especialistas, por los riesgos que encierra y los posibles abusos que implica. Por citar un solo ejemplo, Miguel Angel Santos incluye entre los usos abusivos de la evaluación el de “aprovechar [la] para hacer falsas comparaciones entre lo que es, en realidad, incomparable” (Santos, 1993:72).

Este modo de tratamiento y presentación de la información es

frecuentemente utilizado en los estudios de evaluación del rendimiento educativo. El ejemplo más característico lo constituyen las tablas comparativas de resultados (league tables), semejantes a clasificaciones (de centros, países o regiones) elaboradas a partir de la aplicación de pruebas estandarizadas, que son una práctica muy extendida en el mundo educativo. En el ámbito internacional, este procedimiento es sin duda el predominante. Así, la I.E.A. (a la que ya se ha hecho mención) viene publicando este tipo de tablas desde hace más de treinta años, como resultado de los diversos estudios que ha emprendido en su dilatada existencia (Degenhart, 1990). Tambié n se basan en esta aproximación la mayor parte de los indicadores internacionales de la educación incluidos en los volúmenes publicados desde 1992 por la OCDE con el título Education at a Glance/Regards sur l’éducation. Y encontramos ejemplos recientes de su uso en un contexto nacional en la publicación (por el propio Ministerio de Educación y Empleo) de tablas clasificatorias de los centros escolares ingleses, o en las que elabora la prensa francesa o la chilena a partir de los resultados obtenidos por los alumnos en exámenes oficiales o en pruebas estandarizadas de rendimiento.

A pesar de su atractivo, simplicidad y tradición, el uso de este

procedimiento plantea diversos inconvenientes y dificultades. Un primer problema es de orden conceptual y tiene que ver con la selección de los indicadores



utilizados para llevar a cabo la comparación. En efecto, ante la dificultad o imposibilidad de medir directamente una realidad compleja y no completamente aprehensible, como es la educativa, la práctica común consiste en seleccionar algunos indicadores capaces de representarla adecuadamente y centrarse en el análisis de los mismos (Tiana, 1997).

Este problema se plantea con especial agudeza cuando se trata de evaluar

el rendimiento educativo, lo que constituye un caso muy frecuente. Así, la mayor parte de las tablas clasificatorias pretenden, en última instancia, valorar la calidad de la educación en los centros o países objeto de comparación. Para ello se utiliza un reducido grupo de indicadores, que suelen consistir en los resultados alcanzados por los alumnos (o por una muestra de ellos) en diversas áreas escolares. Pese a las cautelas generalmente expresadas en los informes de evaluación que adoptan este tratamiento, sus lectores e inté rpretes suelen efectuar una inferencia mediante la cual tales indicadores parciales pasan a representar el grado absoluto de calidad educativa. En tales circunstancias, la búsqueda de unos indicadores suficientemente comprensivos, relevantes y significativos se convierte en una prioridad conceptual, no siempre bien resuelta.

Un segundo problema (o mejor dicho, grupo de problemas) es de orden

metodológico y té cnico. Por una parte, incluso aunque la selección efectuada de los indicadores más adecuados para valorar una determinada realidad sea inobjetable, no siempre resulta fácil reunir la información necesaria para proceder a su comparación. Dicha dificultad puede ser de carácter té cnico (falta de instrumentos adecuados, válidos y/o fiables de evaluación), económico (coste excesivo de la recogida de datos) u operativo (excesiva complejidad de los procedimientos a utilizar). En cualquier caso, la consecuencia es que los indicadores previamente seleccionados se ven muchas veces reducidos en número o en amplitud, producié ndose una simplificación abusiva y no siempre deseada. Por otra parte, cuando la comparación se basa en la aplicación de cuestionarios estandarizados, no se puede desdeñar el efecto producido por la heterogeneidad de condiciones de su aplicación, que a veces puede sumarse a la existencia de sesgos culturales. Aunque é sta no sea la objeción principal que pueda hacerse a este procedimiento, no deja de constituir un inconveniente serio en algunos estudios internacionales de rendimiento, como algunas voces han puesto de relieve (Theisen, Achola y Boakari, 1990).

Desde el punto de vista metodológico, más serias resultan las objeciones

expresadas por algunos autores prestigiosos y que han dado pie a una interesante polé mica internacional (Goldstein, 1993; Goldstein y Spiegelhalter, 1996). Según dichos análisis, el tomar la puntuación media obtenida por un país o un centro como expresión precisa de su rendimiento, olvidando sus respectivos intervalos de confianza, es la causa de muchas interpretaciones incorrectas de los datos. En efecto, si se tienen en cuenta los intervalos de confianza de las medidas efectuadas, que suelen superponerse en mayor o menor proporción, la conclusión es que no puede descartarse el efecto del azar en el orden en que aparecen colocadas la mayor parte de las unidades comparadas. Dicho de otro modo, no



puede excluirse que el orden pudiera ser muy diferente, simplemente por efecto del azar. En opinión de los autores citados, el análisis de las diferencias entre instituciones suele autorizar solamente a individualizar los casos extremos, sin que se aprecien diferencias estadísticamente significativas entre la mayor parte de los componentes de la lista. Tal objeción no llega a invalidar este tipo de comparación, pero obliga a introducir serias cautelas en el análisis, sobre todo cuando los resultados se comunican al gran público. Goldstein y Spiegelhalter incluso llegan a decir, refirié ndose a este tipo de comparación, que “los gobiernos deben preocuparse de que los usuarios potenciales están debidamente informados de sus limitaciones” (Goldstein y Spiegelhalter, 1996:405).

Un tercer problema consiste en la necesidad de contextualizar la

comparación. Esta exigencia es especialmente urgente cuando se habla de evaluar el rendimiento, ya que no es é sta una realidad que se produzca en el vacío, sino que se explica en buena medida por su contexto. De ahí deriva la necesidad de tener en cuenta lo que se ha dado en llamar el valor añadido por el centro, efectuando lo que Goldstein prefiere denominar comparaciones ajustadas (adjusted comparisons), tema é ste que será objeto de refle xión más detenida en el apartado siguiente.

Un cuarto problema, que tambié n está lejos de ser irrelevante, tiene que ver

con la unidad de comparación elegida. La elección de una perspectiva microscópica, centrada en el centro escolar, o de otra macroscópica, abarcando conglomerados más amplios, determina la interpretación que se haga de los datos comparativos. Cuando una evaluación tiene una finalidad diagnóstica o de información pública, el recurso a conglomerados de centros o alumnos resulta más aconsejable. Pero cuando el propósito es fundamentalmente de mejora, no se debe olvidar que é sta se produce con mayor é xito en el nivel escolar, debiendo orientarse hacia los centros el foco de atención (baste recordar al respecto lo que se decía hace varias páginas acerca de los niveles de aplicación y de análisis de la evaluación). Incluso cuando se trata de realizar análisis desde una perspectiva amplia no se deben olvidar las reservas expresadas por algunos autores: “la mayoría de los sistemas educativos nacionales son conglomerados altamente complejos y heterogé neos de alumnos, escuelas y administradores; en consecuencia, la atribución de características relacionadas con el rendimiento a poblaciones locales sobre la base de resultados de pruebas nacionales está viciada por una falacia ecológica” (Theisen, Achola y Bokari, 1990:39-40).

Como puede apreciarse por esta simple enumeración de problemas, las dificultades que encuentra este tipo de comparación son importantes. No quiere ello decir que no se deba utilizar, sino más bien que hay que hacerlo con mucha cautela y precaución. Aunque resulta un procedimiento muy atractivo, los riesgos que entraña no son en absoluto desdeñables.

El tercer procedimiento de los aquí presentados complementa los dos

anteriores y ayuda a superar algunas de sus dificultades. Por ejemplo, ante la falta de criterios ampliamente acordados acerca de los niveles de rendimiento



deseables o ante la inseguridad metodológica de la comparación transversal, la longitudinal permite evaluar el progreso educativo mediante un análisis diacrónico, efectuado a lo largo del tiempo.

Sin embargo, tambié n este procedimiento plantea algunos problemas. En primer lugar, volvemos a encontrar la dificultad conceptual y metodológica antes mencionada para definir los indicadores más convenientes y recoger la información necesaria para su cálculo. El hecho de que este tipo de comparación permita contrastar una realidad consigo misma no evita este inconveniente. En segundo lugar, la comparación longitudinal exige tiempo suficiente, ya que la presentación de resultados se demora notablemente. Ello le resta atractivo desde el punto de vista político, debido al gran desfase que existe entre el momento de inicio del estudio y el del análisis de sus conclusiones. Por último, exige instrumentos y criterios estables a lo largo del tiempo, lo que a menudo entra en contradicción con el deseo legítimo de mejorar los proyectos de trabajo tan pronto como se detecta alguna deficiencia. Por todos estos problemas, no es extraño que haya sido el procedimiento menos utilizado de los tres analizados, pese al interé s que sin duda ofrece.

Como puede apreciarse tras la lectura de las líneas anteriores, la

comparación puede considerarse uno de los modos más habitualmente utilizados de tratamiento y presentación de la información en la tarea evaluadora. No obstante, los conceptos, los mé todos y las té cnicas de que actualmente disponemos para realizarla distan de ser los mejores. Ante la falta de otros procedimientos es legítimo y razonable recurrir a los que se acaban de presentar. Pero ello no excusa de la necesidad de avanzar más decididamente en la exploración de nuevas posibilidades que reduzcan los riesgos denunciados, por una parte, y de utilizar mientras tanto los existentes con suma cautela y precaución, por otra.

3.2. Las condiciones de una comparación justa

De acuerdo con una sugerente formulación de E.R. House, incluida en uno de sus textos más difundidos e influyentes, cualquier empresa evaluadora debe respetar tres principios clave: veracidad, coherencia y justicia (House, 1994). Si la aplicación efectiva de los tres constituye una exigencia ineludible, el tercero cobra especial importancia cuando se realizan análisis comparativos, dadas las consecuencias fuertemente dañinas que la comparación injusta puede acarrear para las entidades evaluadas.

El respeto al principio de justicia enunciado por House tiene mucho que ver

con la adecuada contextualización de la información recogida y presentada a los destinatarios de la evaluación. En el caso de estudios de rendimiento de alumnos, centros o sistemas educativos, este requisito cobra una importancia capital. En efecto, como se indicaba en el apartado anterior, la evaluación del rendimiento debe ser debidamente contextualizada, teniendo en cuenta una serie de factores



que inciden en los resultados conseguidos por los alumnos y los centros y que no tienen su origen en la simple diferencia de capacidades individuales. Variables tales como la extracción social de los alumnos, la actitud de las familias hacia la educación, el clima o ambiente escolar, la organización del centro, el estilo pedagógico de los profesores o el funcionamiento de la dirección pueden contribuir a explicar buena parte de las diferencias registradas entre los centros escolares.

De todos los factores señalados (y algunos más que podrían apuntarse),

unos son fruto de la actuación educativa de las familias, los profesores y los centros escolares, mientras que otros vienen determinados de antemano y no puede influirse en ellos fácilmente. Así, un centro puede mejorar su organización, reforzar la formación de sus profesores, crear un ambiente favorable al estudio o poner en marcha programas valiosos de intervención psicopedagógica, pero no puede modificar la extracción social o cultural de sus alumnos, salvo que los sustituya por otros. Por ese motivo, la diferencia existente entre las diversas condiciones de partida debe ser tomada en cuenta a la hora de evaluar rendimientos. No sería justo ensalzar o denigrar a un centro simplemente por el efecto de las condiciones iniciales de su alumnado. De este modo, llevar a cabo una comparación justa implicaría neutralizar el efecto de tales condiciones sobre el rendimiento, valorando los resultados logrados a partir de un nivel teóricamente homogé neo.

Sin embargo, sabemos que dicha situación ideal está lejos de darse en la

realidad. La diversidad de condiciones de partida de los alumnos y de los centros es muy considerable, explicando por sí sola parte de las diferencias observadas en los resultados. La necesidad de tener en cuenta esa diversidad a la hora de comparar rendimientos, sentando así las bases para una comparación justa, es lo que ha llevado a introducir la noción de valor añadido. La idea intuitiva que subyace bajo ese té rmino consiste en reconocer que los centros pueden producir efectos diversos dependiendo de sus condiciones particulares, pero que la valoración de sus logros debe hacerse en función de la progresión conseguida (en té rminos de diferencia entre la situación final y la inicial) y no solamente de los resultados brutos obtenidos. De acuerdo con esta noción, el rendimiento de un centro A podría ser superior al de otro B aunque el resultado bruto del segundo fuese superior al primero; la clave estaría en la magnitud del avance registrado.

Esta idea de tomar en consideración la situación de partida de los centros y de sus alumnos ha inspirado un buen número de iniciativas recientes. El propio país que más decididamente ha impulsado en los últimos años la publicación de tablas clasificatorias, Inglaterra, se ha visto obligado a introducir este tipo de matizaciones debido a la presión de los centros más desfavorecidos, aunque por el momento dichos intentos no han pasado de ser exploratorios (Department for Education, 1995). La consecuencia de los avances registrados es que en la actualidad el té rmino valor añadido se utiliza extensamente en el lenguaje de la evaluación educativa, si bien algunos autores ponen de manifiesto la poca precisión del concepto y prefieren utilizar otros como comparaciones ajustadas (Goldstein y Spiegelhalter, 1996).



Uno de los análisis más interesantes y prácticos realizados acerca de los

diversos modelos teóricos y metodológicos existentes para hacer operativo el concepto de valor añadido se debe a Sally Thomas y Peter Mortimore. A partir de los resultados obtenidos en el GSCE de 1993 por más de once mil alumnos de 87 escuelas de Lancanshire, los tests (NFER Cognitive Abilities Test ) aplicados a la entrada en la etapa secundaria, los datos del Censo de 1991 y los registros escolares de los alumnos, elaboraron y contrastaron empíricamente cinco modelos de valor añadido, progresivamente más sofisticados. A continuación, compararon los resultados obtenidos por medio de la aplicació n de los cinco modelos y llegaron a interesantes conclusiones (Thomas y Mortimore, 1995).

De acuerdo con su estudio, el factor con mayor importancia a la hora de

estudiar el valor añadido por un centro consiste en el rendimiento inicial (prior attainment ) de sus alumnos. La inclusión en el análisis de datos acerca de dicho rendimiento inicial, junto a algunas características del alumnado, tales como su sexo, edad, extracción familiar y contexto socioeconómico, permite controlar la mayor parte de la variación debida a las condiciones de partida y estimar así con justicia y validez el valor añadido por el centro. En ausencia de dichos datos, las características contextuales del centro pueden proporcionar una aproximación, de mucha menor significación, pero digna de ser tenida en cuenta. Según este análisis, la estimación precisa del valor añadido requeriría disponer de datos relativos al rendimiento inicial de los alumnos y a sus variables contextuales individuales. Este requisito debe ser tenido en cuenta a la hora de emprender estudios de evaluación del rendimiento que quieran superar el simple estadio de la medición de los resultados brutos y efectuar una comparación justa.

Además de este primer resultado, que refuerza la necesidad de obtener y manejar datos relativos al rendimiento inicial de los alumnos y de sus características básicas, el estudio de Thomas y Mortimore proporcionó otras conclusiones de gran interé s para el diseño y la puesta en marcha de estudios de evaluación del rendimiento:

1) En primer lugar, los análisis realizados demostraron la existencia indudable de un denominado efecto escuela (entendido como la influencia ejercida específicamente por el centro sobre el rendimiento de sus alumnos), ya que se apreciaron diferencias de rendimiento entre las instituciones participantes a pesar de controlar el efecto de las mencionadas variables individuales. 2) En segundo lugar, el cálculo del valor añadido proporcionó una imagen más realista y fiel de los logros de un centro que los simples resultados brutos obtenidos por sus alumnos en una prueba o examen. No obstante, los análisis realizados venían condicionados por la calidad, fiabilidad y validez de los datos utilizados, insistiendo así el estudio en la necesidad de cuidar los procedimientos utilizados para obtenerlos.



3) No obstante lo anterior, incluso teniendo en cuenta el cálculo del valor añadido, hay que señalar que los intervalos de confianza de los resultados logrados por los centros presentaron un grado considerablemente de solapamiento, lo que obligó a valorar con precaución las diferencias obtenidas. En realidad, sólo podría hablarse de diferencia real de eficacia entre dos centros cuando sus intervalos de confianza no se solapasen en absoluto, lo que constituye un caso no excesivamente habitual. 4) Otro resultado realmente interesante consistió en que el efecto escuela difería al considerar diversas áreas (Matemáticas y Lengua, por ejemplo), lo que induce a pensar que el valor añadido por los diferentes departame ntos de un mismo centro no es idé ntico. En cierto sentido, el centro no es completamente homogé neo a la hora de influir sobre sus alumnos. 5) Igualmente, el efecto escuela no se manifestaba con la misma intensidad en relación a distintos grupos de alumnos. Los análisis realizados pusieron de manifiesto que es frecuente que cada escuela beneficie especialmente a algún tipo determinado de alumno (unas a los de mayor rendimiento, otras a los de menos, o a los de determinado estilo de aprendizaje, etc.). Este resultado abre la puerta a análisis posteriores acerca de la posible concordancia entre ciertas características del centro y el tipo de alumno al que más beneficia. 6) De acuerdo con las observaciones anteriores, un planteamiento riguroso acerca del valor añadido obligaría a efectuar su cálculo para las puntuaciones totales promedio, para las de cada materia y para las obtenidas por grupos de alumnos de diferentes características, ya que el efecto no es idé ntico en todos los casos.

Como puede fácilmente apreciarse, la investigación acerca del valor añadido se encuentra todavía en sus fases iniciales. No obstante, las posibilidades que encierra son tan ricas y prometedoras que animan a los evaluadores a continuar avanzando en esa dirección. El logro de una comparación efectivamente justa tiene mucho que ver con el é xito del empeño por conceptualizar y operativizar esa noción.

4. La difusión de la información

Antes de finalizar este documento, aún conviene detenerse a reflexionar algo más acerca de los modos y los canales a travé s de los cuales se difunde la información proporcionada por la evaluación. Aunque a lo largo de los apartados anteriores se hayan realizado observaciones que, de manera más o menos implícita, sostienen la importancia de dicha tarea de difusión, vale la pena subrayarla explícitamente, al tiempo que se analizan algunas de sus implicaciones. Es é ste uno de esos asuntos sobre los que probablemente nunca se insistirá bastante.



En efecto, frente a la idea extendida de que el evaluador termina su tarea

con la emisión del informe final, hoy en día tiende cada vez más a considerarse que ese momento constituye un hito importante pero no clausura el proceso de evaluación. Por una parte, ha de asegurarse que los principales resultados de la evaluación son devueltos a las audiencias implicadas en la misma; por otra, ha de sacarse el máximo provecho de la información obtenida, con vistas a la mejora de actividad educativa. Y para ambos propósitos, la difusión constituye una pieza clave. 4.1. Importancia de la difusión en la evaluación

Ese cambio de perspectiva se ha dejado sentir en los países anglosajones en la propia denominación de la tarea a la que se refiere. Así, el té rmino difusión ha ido dejando paso al de diseminación, queriendo significar precisamente que no se trataba sólo de organizar la publicación y distribución de los informes de evaluación, sino que la etapa comprendía otro conjunto de tareas de más largo alcance. El té rmino diseminación, con esa connotación de sembrar o esparcir que recoge el Diccionario de la Lengua Española y que tambié n posee en otras lenguas, transmitiría el mensaje de que la evaluación debe depositar su germen de mejora en aquellos terrenos mejor dispuestos para hacerlo fructificar. Para ello no basta una mera distribución de materiales escritos, sino que es necesario adoptar una actitud activa y utilizar una multiplicidad de recursos comunicativos. Aun reconociendo que la idea es sugerente, se ha preferido mantener aquí el té rmino de difusión, por considerarlo más arraigado en la lengua castellana. Pero no debe olvidarse que el significado que se le da en los párrafos que siguen desborda ampliamente la acepción estrecha del mismo.

Al hablar de difusión, nuevamente vuelve a aparecer el concepto de

audiencias de la evaluación y la consideración de sus necesidades. La exigencia de dar respuesta a las demandas explícitas o implícitas de las audiencias es precisamente una de las razones más poderosas en favor de la difusión. En efecto, el suministro de información únicamente a los promotores de la evaluación podría muy bien llevarse a cabo mediante el informe final, unido quizás con otros medios de comunicación personal. Pero si pensamos en audiencias más diversificadas y destinatarios más amplios, esos medios resultan demasiado limitados. Como se indicaba anteriormente, el conjunto de personas o colectivos implicados e interesados en la evaluación suele ser más extenso que el de sus promotores. Aunque no debamos pensar necesariamente en grupos demasiado amplios, tampoco podemos reducirnos a una evaluación cuyos resultados competen e interesan tan sólo a los responsables de la actividad evaluada o a sus superiores jerárquicos.

El hecho de considerar que una evaluación debe responder a las

necesidades de sus audiencias obliga a pensar en una difusión que las tenga a



todas ellas en cuenta. Esta reflexión ha llevado a algunos autores a distinguir una difusión primaria de otra secundaria. Si aqué lla consistiría, en última instancia, en elaborar y suministrar los informes correspondientes a los patrocinadores de la evaluación, é sta implicaría comunicar los resultados y recomendaciones principales de modo tal que responda a las necesidades de las diversas audiencias (Rossi y Freeman, 1993:451-452). Siguiendo este razonamiento, podríamos afirmar que una adecuada difusión constituye un requisito indispensable de una evaluación de carácter democrático.

Esta exigencia (de transparencia activa, podríamos decir) se convierte en

ineludible cuando hacemos referencia a evaluaciones que interesan a sectores sociales o institucionales muy diversos. El caso más extremo es el de los estudios que tienen como objeto el conjunto del sistema educativo, que pueden llegar a interesar a toda la población de un país. En estas circunstancias, la restricción en el acceso a la información obtenida resulta especialmente reprobable. Pero tambié n pueden aplicarse estas reflexiones a otros estudios de evaluación de menor envergadura, aunque no de menor importancia para sus audiencias, como sería el caso de la evaluación de centros o de programas educativos. No quiere ello decir que la información ofrecida deba ser idé ntica para todas las audiencias en cada situación concreta, pero debe insistirse en que se trata de diferencias de cantidad y detalle de datos y análisis más que de calidad y naturaleza de los mismos.

Por otra parte, no se puede olvidar la segunda de las razones mencionadas

a favor de una adecuada difusión. No sólo se trata de difundir información en cumplimiento de un deber democrático, sino tambié n de ofrecer elementos de juicio orientados a la mejora. Si la evaluación es rigurosa y creíble, debe permitir a los implicados en la misma revisar sus pautas de actuación, los medios que utilizan y los efectos de su acción, con el propósito explícito de contribuir a mejorar su parcela concreta de la realidad educativa. Y mal puede pensarse en planes o programas de mejora sin un sentimiento compartido acerca de su necesidad y un conocimiento preciso de los principales puntos fuertes y dé biles. La difusión juega un papel crucial en la creación de ese sentimiento y en la generación de dicho conocimiento, de donde deriva su importancia.

Esta preocupación por difundir adecuadamente la información no es

exclusiva del ámbito de la evaluación. Los investigadores y los promotores de la investigación educativa están tambié n explorando vías semejantes para revitalizar su incidencia en el campo de la práctica y de la política de la educación (Reimers, McGinn y Wild, 1995). De acuerdo con estas ideas, muchos proyectos recientes de investigación y/o evaluación han dedicado una atención especial a los procedimientos utilizados para llevar a cabo su difusión. Como muestra de esta realidad puede bastar con un ejemplo significativo, tomado del ámbito internacional.

Hace unos años, la OCDE inició un proyecto para estudiar y analizar las experiencias de innovación que se desarrollan en diversos sistemas educativos en



el ámbito de las ciencias, las matemáticas y la tecnología. La iniciativa se concretó en la realización de veintitré s estudios de casos en trece países miembros de la organización. Aunque el proyecto no tuviese como finalidad explícita la evaluación de los casos estudiados, no cabe duda de que é sa fue una de las vertientes principales del proyecto. Siguiendo una tendencia que se vislumbra claramente en el panorama actual, la investigación, la evaluación y el análisis cualitativo de experiencias de innovación estaban íntimamente ligadas en una misma actividad. Pues bien, a la finalización del proyecto, el equipo internacional responsable del mismo redactó y publicó un informe, que fue ampliamente anunciado a travé s de diversos medios (Black y Atkin, 1996). No obstante, la tarea de difusión de los resultados que se emprendió a continuación fue mucho más allá de dicha publicación. En primer lugar, se realizaron algunas publicaciones nacionales, recogiendo sus estudios de casos concretos y en ocasiones algunas reflexiones más generales. En segundo lugar, se discutió el informe final en el Comité Director del Centro de Investigación e Innovación Educativa (CERI) de la OCDE. En tercer lugar, se presentaron diversos trabajos y comunicaciones en diferentes congresos y reuniones científicas, algunos de ellos tan prestigiosos y concurridos como los encuentros anuales de la American Educational Research Association (AERA). Pero además de estas iniciativas, el CERI organizó una serie de reuniones de difusión, celebradas en varios países, en las cuales se han ido presentando y discutiendo los resultados obtenidos con audiencias internacionales muy variadas, con participación de profesores de diversos niveles educativos y responsables políticos y administradores de la educación.

Sin duda, este último elemento ha constituido una novedad que se ha

revelado fructífera. El hecho de dar la palabra a personas y colectivos no implicados en la realización del estudio pero afectados por el mismo, ha representado la celebración de debates tan ricos como extensos, logrando la comunicación de los resultados obtenidos a públicos muy diversos. Este tipo de experiencias nos está enseñando mucho acerca de cómo llevar a cabo tareas de difusión, entendié ndolas de un modo más actual y renovado de lo que era tradicional.

Otro tipo de iniciativas son las emprendidas por algunos de los países que

han puesto recientemente en marcha programas nacionales de evaluación educativa. Uno de los casos más atractivos y sugerentes es el de Francia. La Direction de l’Evaluation et la Prospective (DEP) realiza una difusión extensa e intensa de la información obtenida a travé s de sus diversos proyectos de trabajo. Por una parte, publica anualmente el folleto titulado L’Etat de l’Ecole, que recoge una serie de treinta indicadores del estado y situación del sistema educativo francé s. En vísperas del debate presupuestario, lo entrega a los parlamentarios, además de enviarlo a las autoridades educativas y de ponerlo a disposición del gran público. Por otra parte, publica los informes titulados Géographie de l’école, donde se recoge información acerca del estado de la educación en las diversas regiones. Difunde así mismo la revista trimestral Education & Formations y la serie titulada Les Dossiers d’Education et Formations, destinados a un público más especializado, al que proporcionan una información detallada y elaborada,



procedente de una diversidad de fuentes. En plan de divulgación, difunde abundantes Notes d’information, en las que recoge información sinté tica acerca de estudios en marcha o recientemente finalizados, para su conocimiento general. Junto a esa impresionante tarea editorial, la DEP efectúa presentaciones públicas de sus datos en reuniones de profesores, inspectores o padres de familia, sus miembros envían trabajos a congresos científicos y no rehuyen su presencia en los medios de comunicación. En conjunto, como puede apreciarse, desarrollan una ingente tarea de difusión de información, que poco a poco va calando en la opinión pública.

Con unos planteamientos más modestos, merece la pena sin embargo

destacar las iniciativas que se han puesto en marcha en los últimos años en algunos países iberoamericanos para difundir los resultados de la evaluación. Entre ellos, pueden recordarse la publicación de los Manuales de orientaciones para la interpretación de resultados del Sistema de Medición de Calidad de la Educación (SIMCE) de Chile o de las Recomendaciones Metodológicas para la Enseñanza tras los Operativos Nacionales de Evaluación de la República Argentina, anteriormente mencionados. Sin duda, la orientación que sigue todo este conjunto de iniciativas apunta nuevas tendencias para el futuro en lo que se refiere a la difusión de la información.

4.2. Estrategias de difusión

Los ejemplos anteriores nos permiten acercarnos a las principales reglas estraté gicas que deben regir las actividades de difusión. Aunque no sea posible (ni es la intención de este apartado) elaborar un catálogo de normas precisas de actuación, pueden sin embargo formularse algunos principios generales aplicables a este campo particular.

En primer lugar, hay que insistir en la idea de que es necesario planificar la difusión desde el momento inicial, cuando se elabora el proyecto de evaluación. La voluntad de comunicar la información obtenida a las audiencias interesadas debe estar presente desde el comienzo de la actividad evaluadora, sin dejarse al azar o regirse por la improvisación. Los modos, momentos y estrategias de difusión han de quedar patentes en el propio proyecto de evaluación, como una tarea bien trabada con las demás.

En segundo lugar y en conexión con lo anterior, la difusión ha de

planificarse como una actividad continua, aunque con momentos de mayor é nfasis que otros. Si se acepta la tesis que planteábamos unas páginas más arriba de que el proceso de información es continuo, hay que concluir que la difusión habrá de acomodarse en líneas generales a ese flujo ininterrumpido.

En tercer lugar, hay que subrayar la importancia que tiene utilizar una

diversidad de canales y procedimientos de difusión. Así, los informes escritos



deben alternarse con la información oral, los mensajes dirigidos al gran público con las reuniones especializadas, el tratamiento en que prima la accesibilidad con la presentación té cnicamente rigurosa. Por una parte, cada uno de ellos se adapta mejor a unos destinatarios determinados; por otra, los diversos procedimientos complementan mutuamente la información que ofrecen. No se trata de abrumar a nadie con una avalancha de resultados de la evaluación, sino tan sólo de facilitar que lleguen a todos los que tengan interé s en ellos y del modo más adecuado a sus características personales o colectivas.

En cuarto lugar, la difusión no puede disociarse de la necesaria formación a los receptores de la información. Incluso en sociedades educativamente desarrolladas e informadas, son muy frecuentes los malentendidos acerca de cómo deben interpretarse los resultados de la evaluación. Hace unos años se produjo un caso muy curioso en España, a raíz de realizarse un estudio internacional de comprensión lectora (Elley, 1992). Dado que los alumnos de nueve años ocupaban el lugar diecisé is entre los alumnos de esa edad de los países participantes y los de catorce el lugar veinticinco entre los de la suya, un periodista concluía y publicaba muy ufano que “los niños españoles leen cada vez peor durante su progreso escolar”. Sin duda, la comprensión lectora que fallaba era la del propio periodista, que demostraba magníficamente esa necesidad de formación que aquí se reclama.

En quinto lugar, hay que tener en cuenta el lugar que ocupan los

intermediarios de la información. El ejemplo anterior, más allá de lo que tiene de anecdótico, ilustra acerca del importante y ambivalente papel que desempeñan profesionales tales como los periodistas en el proceso de difusión (Popham, 1993: 291). Sin duda, los medios de comunicación de masas ejercen un indudable atractivo sobre los evaluadores, deseosos de difundir sus resultados. Pero el tratamiento que muchas veces realizan tales medios de los resultados de la evaluación, cayendo en la simplificación abusiva, el deseo de llamar la atención o la selección interesada de la información, puede resultar contraproducente. De ahí que los evaluadores y los responsables de la evaluación hayan de valorar muy cuidadosamente los canales a travé s de los cuales difunden su información.

En sexto lugar y último lugar, siguiendo esa línea argumental, hay que combinar diversas habilidades en el equipo responsable de efectuar la difusión. Para que é sta sea eficaz ha de mezclar dosis de rigor, precisión, accesibilidad, empatía, atractivo, por no citar sino algunas características. Pero no es siempre fácil asegurar la presencia de tales cualidades en un equipo evaluador; en ocasiones será necesario recurrir a profesionales externos que puedan ayudar a planificar y desarrollar un proceso coherente y efectivo de difusión.

El dedicar las últimas páginas del documento al tema de la difusión no es

una casualidad. En efecto, la difusión de la información obtenida en un proyecto de evaluación constituye el último impacto del mismo. Si bien la evaluación es un proceso continuo, a lo largo del cual se trata y se utiliza la información de diversos modos, la difusión de sus resultados suele constituir su punto final (a veces, punto



y seguido). Y sin embargo, esa etapa última debe estar planificada desde su origen e integrarse en una estrategia general.

Al comienzo del documento se avanzaba la intención de abordar cuatro

aspectos centrales relativos al tratamiento y uso de la información proporcionada por la evaluación. En este momento se llega al final del proceso, con el cierre del último apartado. Lo que era un plan general del trabajo se ha ido desarrollando hasta completarse precisamente abordando la difusión. Lo que constituye el final natural de un proceso de evaluación se convierte aquí tambié n en el asunto final del documento, aunque esperando dejar suficientes pistas abiertas para continuar explorando caminos que apenas comienzan a recorrerse en la actualidad.



Referencias bibliográficas Alkin, M.C., Daillak, R.H. y White, P. (1979) : Using Evaluation : Does Evaluation Make a Difference. Berverly Hills : Sage. Black, P. y Atkin, J.M., eds. (1996) : Changing the Subject. Innovations in Science, Mathematics and Technology Education. London & New York: Routledge/OECD. De Landsheere, G. (1994): Le pilotage des systèmes d’éducation. Bruxelles: De Boeck. Degenhart, R.E., ed. (1990): Thirty years of international research. An annotated bibliography of IEA publications (1960-1990). The Hague: IEA. Department for Education (1995): GCSE to GCE A/AS Value Added: Briefing for Schools and Colleges. London: Department for Education. Elley, W. (1992): How in the world do students read?. The Hague: IEA. Glasman, N.S. y Nevo, D. (1988) : Evaluation in Decision-Making. The case of school administration. Boston, Dordrecht & Lancaster : Kluwer. Goldstein, H. (1993): Interpreting International Comparisons of Student Achievement . A report prepared for UNESCO, policopiado. Goldstein, H. y Spiegelhalter, D.J. (1996): “League Tables and Their Limitations: Statistical Issues in Comparisons of Institutional Performance”, Journal of the Royal Statistical Society, A. 159, pp. 385-443. House, E.R. (1994): Evaluación, ética y poder. Madrid: Morata. Kogan, M. (1996): “Les systè mes é ducatifs: Comment suivre leur fonctionnement, les contrô ler et les diriger”, en Evaluer et réformer les systèmes éducatifs. París: OCDE, pp. 27-51. Joint Committee on Standards for Educational Evaluation (1981): Standards for Evaluation of Educational Programs, Projects and Materials. New York: McGraw- Hill. MacDonald, Barry (1995): "La evaluación como servicio público: Perspectivas de futuro", en Sáez Brezmes, M.J., ed.: Conceptualizando la evaluación en España. Alcalá de Henares: ICE de la Universidad de Alcalá, pp. 15-23. Mestres, J. (1995): "Reflexiones sobre la negociación en evaluación”, en Sáez Brezmes, M.J., ed.: Conceptualizando la evaluación en España. Alcalá de Henares: ICE de la Universidad de Alcalá, pp. 37-49. A. TIANA Tratamiento y usos de la información en evaluación 43 Michel, A. (1996): “La conducción de un sistema complejo: la Educación Nacional”, Revista Iberoamericana de Educación, nº 10, pp.13-36. Norris, N. (1990): Understanding Educational Evaluation. London: Kogan Page. Popham, W.J. (1993): Educational Evaluation. Boston: Allyn and Bacon. OCDE (1995): Performance Standards in Education. In Search of Quality. Paris: OCDE.



Reimers, F., McGinn, N. y Wild, K. (1995): Confronting Future Challenges: Educational Information, Research and Decision-Making. Paris: UNESCO, International Bureau of Education. Rossi, P.H. y Freeman, H.E. (1993): Evaluation. A Systemic Approach. Newbury Park, London & New Delhi: Sage, 5ª ed. Sáez Brezmes, M.J. (1995): “Caracterización y problemática de los informes de evaluación”, en Sáez Brezmes, M.J., ed.: Conceptualizando la evaluación en España. Alcalá de Henares: ICE de la Universidad de Alcalá, pp. 83-93. Santos Guerra, M.A. (1993): “Los (ab)usos de la evaluación”, Cuadernos de Pedagogía, nº 215, pp. 70-73. Shadish, W.R.; Cook, T.D. y Leviton, L.C. (1995): Foundations of Program Evaluation. Theories of Practice. Newbury Park, London & New Delhi: Sage. Simons, E.H., ed. (1980): Towards A Science of the Singular: essays about case study in educational research and evaluation. Norwich: CARE – University of East Anglia. Stake, R.E. (1995): The Art of Case Study Research. Beverly Hills & London: Sage. Theisen, G.L., Achola, P.P.W. y Boakari, F.M. (1990): “La insuficiencia de los estudios internacionales sobre el rendimiento”, en Altbach, P.G. y Kelly, G.P., eds.: Nuevos enfoques en educación comparada. Madrid: Mondadori, pp. 37-61. Tiana, A. (1996): “La evaluación de los sistemas educativos”, Revista Iberoamericana de Educación, nº 10, pp. 37-61. Tiana, A. (1997): “Indicadores educativos. Qué son y qué pretenden”, Cuadernos de Pedagogía, nº 256, pp. 50-53. Thomas, S. y Mortimore, P. (1995): Comparison of Value Added Models for Secondary School Effectiveness, Paper presented at the annual conference of the British Educational Research Association, Bath, 14-17 September 1995. Topolsky, J. (1985): Metodología de la historia. Madrid: Cátedra.



V. CONCLUSIONES

La complejidad que implica el quehacer educativo tanto en la historia de la humanidad como en el presente y futuro de la misma, conlleva a la investigación sistemática y continua por parte de los especialistas, quienes hacen posible que esta acción educativa responda con exigencia y responsabilidad, a los planteamientos y reclamos que la sociedad contemporánea manifiesta, sin soslayar las características, formas de vida, identidad y valores de la misma. En esta orden de ideas, todo acto educativo, que se practique en cualesquiera de las latitudes del mundo, deberá planearse y ejecutarse integralmente. Ello significa que al hacer Educación es imprescindible que paralelamente a la elaboración de un currículo, de un proyecto de escuela, habrá de diseñarse no únicamente cómo evaluar el aprendizaje de los alumnos; inexorablemente habrá que diseñar el sistema de evaluación tanto del currículo, como del Centro o Sistema Educativo. Solo a travé s de la Evaluación, se estará en condiciones de saber si los Sistemas Educativos y sus elementos, cumplen satisfactoriamente con los objetivos y metas para lo cual fueron planeados.

La Evaluación en Educación, es un tema por demás delicado y complejo, quizá por estas razones es que muchas culturas en el pasado reciente han hecho poco al respecto. En la actualidad solo Países de primer mundo han logrado importantes avances en esta materia, lo que les ha permitido en gran medida hacer Educación de Calidad. Las Naciones menos favorecidas económicamente han avanzado menos en este tema, sin embargo algunos Países de Latinoamé rica registran extraordinarios esfuerzos en la implementación de verdaderos sistemas de evaluación, que dan luz al proceso educativo, cuyo propósito primordial es la formación de las nuevas generaciones de hombres y mujeres, con calidad de vida.

En nuestro País, si bien se ha dicho y escrito sobre la importancia y reconocimiento de su Educación, tambié n es cierto que a pesar de los esfuerzos realizados por las diferentes instancias gubernamentales, como las privadas, tal pareciera que aún no existe un Sistema Integral de Evaluación que permita reconocer aciertos e identificar errores del Sistema Educativo; tal pareciera que estas acciones son aisladas, por lo que resulta ingente su integración, y en consecuencia optimizar los recursos a emplear en este importante rubro.

Compleja tarea sin lugar a dudas para el mismo sistema, sin embargo habrá que apostarle a la autorreflexión, si en realidad como mexicanos queremos que las nuevas generaciones sean mejor que las actuales, deberemos asumir una actitud responsable, recuperar valores y establecer una auté ntica cruzada, que permita mediante un Sistema de Evaluación integrada, tomar decisiones asertivas para ofrecer una Educación de Calidad.

Obviamente no bastan los buenos propósitos e intenciones, habrá que jalar la palanca, habrá que accionar cada quien desde la trinchera que en esta sociedad le ha correspondido defender, no podemos dejar al Estado-Nación toda



la responsabilidad; si vivimos de la educación, necesario es comprometernos con hacerla de calidad, lo que requiere tambié n de una preparación y profesionalización de evaluadores, quienes en su momento tendrán la encomienda de multiplicar esta preparación, hasta lograr que en todo el territorio mexicano, puedan llegar las bondades y beneficios que los Sistemas de Evaluación plantean.

La empresa no es fácil, empero es de reconocerse como inicia en nuestra Patria el proceso Educativo; sin maestros, sin currículo, con una serie de carencias que al paso de los años fueron satisfacié ndose, en tal razón se puede confiar en que con la suma de voluntades, de esfuerzos colaborativos, ajenos a todo tipo de prejuicios, este gran País accederá a mejores estadíos de vida de sus integrantes, a travé s de un proceso integral de Evaluación Educativa.



VI. BIBLIOGRAFÍA

Suárez Díaz, Reynaldo. La Educación: su filosofía, su psicología, su mé todo. Mé xico, Trillas, 1978.

Stufflebeam, Daniel (L. Shinkfield Anthony J. 1987), Evaluación Sistemática; guía teórica y práctica, Paidos, Eapaña.

Morales Vázquez, Cesareo, 1995. Planificación y Administración Educativa, (Maestría en Tecnología Educativa ILCE Mé xico).

Ruiz Ruiz, José María, 1997. Cómo hacer una Evaluación de Centros Educativos, Marcea, Madrid.

Flores Ochoa, Rafael 1999. Evaluación Pedagógica y Cognición. Las Estructuras tambié n tienen la culpa. McGraw Hill, Colombia.

Gago Huguet, Antonio. Elaboración de cartas descriptivas: guía para preparar el programa de un curso. Mé xico, Trillas 1977.

López Torres, Marcos, Evaluación Educativa, Mé xico Trillas, 1999.

Lafourcade, Pedro D. La Evaluación en Organizaciones Educativas centradas en logros. Mé xico, Trillas 1982.

Casarini Ratto, Martha. Teoría y Diseño Curricular, 2ª. Ed. Mé xico, Trillas, Universidad Virtual ITESM 1999.

Joint Commttee on Standards for Educational Evaluation. Normas de Evaluación para programas, proyectos y material educativo. Mé xico, Trillas, 1988.

Arnaz, José A. La Planeación curricular, 2ª. Edic. Mé xico Trillas, ANUIES 1990.

Frida Díaz, Barriga Arceo. Metodología del Diseño Curricular para Educación Superior, Mé xico Trillas, 1990

Livas González, Irene, Análisis e interpretación de Resultados de la Evaluación Educativa, Mé xico Trillas, ANUIES 1977.

Santos Guerra, Miguel Angel. 1993. Estrategias para la Evaluación interna de los Centros Educativos, Madrid, MEL.

evaluacion de instituciones y sistemas educativos (excelente)

Documents