LA EVALUACIÓN CUALITATIVA DEL PROGRAMA ESCUELAS DE CALIDAD:

UN ESTUDIO DE CASO DE GESTIÓN DEL CONOCIMIENTO. Armando Loera Varela Presentación para el Instituto Interamericano para el Desarrollo Social. Banco Interamericano de Desarrollo. Washington, D.C., 15 de mayo, 2007.

Introducción1. ¿Cuál es el margen de gestión de los responsables de hacer investigaciones o evaluaciones para que sus “productos” influyan en el diseño (o rediseño) de programas o políticas? Si para responder a esta pregunta se siguen las instrucciones contenidas en manuales relativos a la formulación de políticas pareciera que las respuestas son sencillas y lineales: todas las políticas y programas deben sustentarse en resultados de investigaciones, el conocimiento sistemático se obtiene de procesos de acumulación de resultados de investigaciones, que van configurando paulatinamente “certezas”, más que teorías, sobre qué funciona y cómo lo hace, y, finalmente, los productores de conocimiento pueden manipular algunos factores que hagan más viable su uso por los tomadores de decisiones pero esos factores están más asociados a los productos de investigación, más que a los procesos de toma de decisiones políticas. Sin embargo, como la mayor parte de los investigadores que nos hemos formulado la cuestión reconocemos, los procesos reales son mucho más complejos y la acción particular de los actores más vitales de lo que los manuales típicamente reconocen. Para adentrarnos en la complejidad de las variedades de la gestión del conocimiento en la formación de políticas educativas nos enfocaremos, como caso de estudio2, a la “Evaluación cualitativa del Programa Escuelas de Calidad”, programa que opera la Secretaría de Educación Pública (SEP) de México desde el 2001. El estudio se desarrolló en México del 2001 al 2006, como una de las investigaciones elaboradas en torno al diseño y operación del programa Escuelas de Calidad (PEC). La evaluación, aunque denominada “cualitativa” corresponde más bien a la metodología de métodos mixtos (cuantitativo-cualitativo). El estudio tuvo como objetivo inicial identificar el impacto del programa en la forma de trabajar de las escuelas primarias. Debido a que la muestra fue vista como con un elemento relevante para la “utilidad” del estudio ésta fue de un tamaño inusitado para este tipo de evaluaciones. Para atender esta muestra se necesitó el involucramiento de cientos de investigadores de las secretarías de educación de

1 Por facilidad de expresión pero no carencia de sensibilidad al tema de equidad en género se usarán términos masculinos para referirse a los actores, por lo cual ofrezco disculpas. 2 El autor de este caso fue el responsable del diseño y ejecución del estudio, por lo que se deben considerar en la narrativa los sesgos que este hecho impone por sí mismo.

2

todas las entidades del país, además de profesores de diversas unidades de la Universidad Pedagógica Nacional y de algunas escuelas normales. En el presente análisis3 se considera la evaluación cualitativa del PEC como un caso en el que el esfuerzo del sistema educativo por producir conocimiento sobre el funcionamiento de un programa dista mucho de los usos que se dan a los resultados del estudio. En el documento se describe la relevancia del programa, la diversidad de productos derivados del estudio, su proceso, actores y contexto, para terminar con una discusión sobre las condiciones y factores que influyen en el uso de los resultados de este tipo de estudios y el margen de maniobra que existe para evaluadores e investigadores interesados en influir en la política educativa. Al final del documento se le invita a definir en equipo una estrategia que permita optimizar la utilidad de los resultados de este estudio y construya un argumento persuasivo sobre la conveniencia de su modalidad de gestión del conocimiento. La política y el programa. El PEC se presentó como el “Programa Presidencial”4 de Vicente Fox en educación básica al inicio de su administración. Sería el instrumento básico que permitiera operar la política de transformación de la gestión escolar, uno de los ejes centrales formulados en el Programa Nacional de Educación 2001-2006. Con el programa se trataba de implementar como principio básico de política educativa la “centralidad de la escuela”, con lo que se esperaba concluir el proceso descentralizadora, iniciada en mayo de 1992 con el Acuerdo Nacional para la Modernización de la Educación Básica y Normal. Así el Programa Nacional de Educación 2001-2006 (PNE) afirma:

El centro de gravedad del sistema educativo estará situado en cada escuela e institución, en tanto las estructuras intermedias y superiores estarán al servicio de éstas. Los planteles de educación básica y media superior tendrán amplio margen para tomar sus decisiones y habrán desarrollado su capacidad de hacerlo eficazmente... (PNE, 2001-2006, p.85).

Se estimó, en el propio documento, que esta visión requeriría de 25 años para lograrse concretar en el sistema educativo. Con la iniciativa se trataría de trascender el proceso de “descentralización centralizada” en que el gobierno federal había mantenido las decisiones críticas sobre el diseño, implementación y evaluación de los procesos de mejora e innovación educativa. Con el PEC, se afirmaba, la autonomía de decisiones de la escuela se incrementa al dejarse a la escuela las decisiones sobre la planificación de su proceso de mejora y proveerle de recursos financieros e institucionales para darle viabilidad a su proyecto. De esta manera el PEC fue considerado por la Secretaría como el programa que

3 La biblioteca de reportes y diferentes tipos de materiales que se produjeron en el estudio pueden obtenerse en www.heuristicaeducativa.org 4 Si bien el PEC ha permanecido como “programa estratégico” en los últimos tres años de la administración Fox el programa Enciclomedia fue asumido como el presidencial en educación básica.

3

transformaría la descentralización administrativa en un proceso descentralización pedagógica radical al tener a la escuela, no el municipio, la entidad o alguna otra instancia, como el ámbito de referencia institucional como la unidad de cambio innovador. Para que a nivel escuela se lograra tener éxito se advertía como elemento fundamental la transformación de las estructuras intermedias y superiores de la administración de la educación pública, ya que son jerárquicas, autoritarias y centralizadas. En términos de Barzelay5 dicha visión demanda un cambio de paradigma organizacional en la administración pública: trascender el esquema burocrático, que actualmente opera con énfasis en el control; que presupone que el interés público se refleja en las disposiciones normativas; y que sigue reglas y procedimientos típicamente decididos desde afuera y desde arriba de la operación concreta del servicio educativo. El punto de llegada sería la “posburocracia”, con resultados que valoren los ciudadanos; la construcción de procedimientos para la rendición de cuentas; la oferta de incentivos; la ampliación de opciones en la decisión de los operadores concretos del sistema (en el caso educativo, directivos y docentes); la mejora continua y permanente de los procesos y el análisis y la evaluación de los resultados. Las estrategias generales para transformar la burocracia de las secretarías estatales no se orientaron tanto a la modificación de procesos formales, como lo indica la reingeniería organizacional, sino más bien al facultamiento organizacional, según el cual se "da permiso" de innovar6. En esta transformación las autoridades asumen un papel similar al de un jardinero: planta la semilla de la innovación, la impulsa a crecer cuidando del ambiente, cosecha resultados y trasplanta las mejores experiencias, aprendiendo continuamente. Desde esta perspectiva, las tareas críticas del gestor de la innovación consisten en legitimar el proceso de la innovación y facilitar el aprendizaje organizacional. Si esto es así, la gestión de la política tendría que impulsar contemporáneamente estas tareas, no sólo en el ámbito federal, sino en cada uno de los Estados, donde existen claras evidencias de contar con esos niveles de compromiso, capacidad y creatividad7. El permiso para innovar desde la escuela fue acompañado por una visión deseable de los atributos deseables en una escuela en general. El PNE, además, especifica el perfil deseado de escuela en el que se centrará el esfuerzo del sistema educativo (Cfr. PNE, pp. 126-127):

5 Barzelay, Michael, Atravesando la burocracia: una nueva perspectiva de la administración pública, México: Fondo de Cultura Económica, 1998. 6 Thompson, J. R. And Sanders, R. P., “Reinventing Public Agencies: Botton-up versus Top-down strategies, en IP. W. Ingraham, J. R. Thompson, R. P. Sanders (eds.), Transforming Government, San Francisco: Jossey-Bass Publishers, 1998. 7 Pardo, María del Carmen (coordinadora), Federalismo e innovación educativa en México, México, D. F.: El Colegio de México, 1999.

4

La escuela...

Cumplirá con el calendario.

Destinará su jornada de manera óptima al aprendizaje.

Contará con los servicios y recursos necesarios y suficientes.

Contará con una comunidad escolar con la capacidad de gestión necesaria ante los órganos administrativos correspondientes.

Se constituirá en una unidad educativa con metas y propósitos comunes surgidos del consenso.

Funcionará con estilos de trabajo articulados y congruentes, así como propósitos y reglas claras de relación entre todos los miembros de la comunidad escolar.

Contará con una comunidad educativa que convivirá democráticamente.

Diseñará y pondrá en marcha medidas específicas para remontar las dificultades, atender la diversidad y brindar el apoyo necesario a los alumnos en riesgo de fracaso escolar.

Definirá y cumplirá las normas de convivencia que permitan y favorezcan el trato digno, la libre expresión, la participación en la toma de decisiones que afectan a todos, la equidad y la justicia en la vida cotidiana escolar.

Se verá favorecida por un grupo de profesores y directivos que asumirán la responsabilidad por los resultados educativos y rendirá cuentas a los beneficiarios del servicio (los alumnos y sus padres) por el desempeño de la escuela en su conjunto.

Tomará en cuenta el interés y el derecho de las madres y los padres a participar en la tarea educativa.

Se caracterizará por un liderazgo efectivo por parte del director. Con base en este perfil de características de la nueva escuela pública, el Programa Nacional de Educación (p. 139) establece como marco de referencia para el PEC y dentro de la Política de transformación de la gestión escolar, el siguiente objetivo:

Promover la transformación de la organización y funcionamiento cotidiano de las escuelas básicas para asegurar que el personal docente y directivo de cada escuela asuma colectivamente la responsabilidad por los resultados educativos, establezca relaciones de colaboración entre sí y con el entorno

5

social de la escuela, y se comprometa con el mejoramiento continuo de la calidad y la equidad de la educación.

Con el fin de lograr los objetivos se formulan las siguientes líneas de acción (Ídem):

Establecer las condiciones necesarias -mediante modificaciones de la normatividad, reorganización administrativa y laboral, fortalecimiento de la supervisión y el impulso a la participación social- para garantizar, en cada escuela, el cumplimiento efectivo del calendario escolar, el aprovechamiento óptimo del tiempo y la vigencia de las normas laborales y organizativas que regulan el funcionamiento de las escuelas.

Fortalecer las facultades de decisión de los directivos y de los organismos colegiados de las escuelas con el fin de que establezcan medidas organizativas y pedagógicas adecuadas a sus condiciones para alcanzar los propósitos educativos nacionales, y tengan la capacidad para decidir sobre su participación en programas o acciones extracurriculares convocados por agentes internos y externos al sistema educativo.

Reorientar el ejercicio de la función de los directivos escolares y fortalecer sus competencias profesionales, de tal modo que ejerzan eficazmente sus funciones académicas y promuevan el mejoramiento continuo de la calidad de la escuela.

Promover la transformación de la organización y el funcionamiento cotidiano de las escuelas -mediante la capacitación, la asesoría técnica y la evaluación- con el fin de establecer prácticas educativas en el aula y en la escuela congruentes con los propósitos fundamentales de la educación básica y los principios de la convivencia democrática: el respeto a la dignidad de las personas, el derecho a la participación en la toma de decisiones, la valoración de la diversidad, la tolerancia y la cultura de la legalidad.

Extender el tiempo destinado a las labores propiamente educativas en la jornada escolar, de acuerdo con las características de los diversos niveles y modalidades de la educación básica y las necesidades de las escuelas.

Establecer acuerdos con la representación sindical de los maestros para mejorar el funcionamiento de las escuelas, que aseguren el logro del aprendizaje de los alumnos.

Las metas formuladas por el PNE (p. 140) en este ámbito fueron expresadas de la siguiente manera:

Elaborar y publicar, para 2003, nuevas normas que regulen la organización escolar y las funciones que cumplen las instancias de dirección, apoyo

6

técnico y supervisión (en 2007 la Subsecretaría de Educación Básica ha puesto a consideración de las secretarías estatales un documento relativo a este objetivo, por lo que todavía no se logra cumplir la meta).

Lograr, para 2006, que todos los supervisores y directores de escuela de educación básica hayan acreditado cursos correspondientes al programa de actualización y desarrollo profesional para directivos escolares (no existen datos que precisen pero es obvio que no se cumplió con la meta).

Para 2004, haber consolidado el proyecto de gestión escolar en la educación básica y extenderlo a todas las entidades federativas (a través del PEC se ha extendido el proyecto a toda la República, por lo que se puede considerar que la meta se ha logrado).

Para 2006, lograr la participación de 50% de las escuelas de educación básica del país en proyectos de transformación de la gestión escolar (se logró en cerca del 30% de las escuelas, ya que para esa fecha participaban en el PEC 37,692 escuelas).

En 2005, lograr la participación de al menos 10% de las escuelas de educación básica en proyectos de jornada completa (no se logró. En el 2007, con la nueva administración federal, la SEP anuncia de nuevo el programa a nivel piloto).

Para 2006, haber logrado que 35 mil escuelas de educación básica alcancen los indicadores de desempeño institucional para ser considerados en el Programa de Escuelas de Calidad. (cómo se indicó se han obtenido más de lo planeado) (PNE 2001-2006, pp.139-140).

La política expresada por el Programa Nacional de Educación se traduce a nivel operativo por el programa. Siguiendo de manera cercana el fraseo de la política el PEC según sus reglas de operación,8 tiene como objetivo general lograr que las escuelas públicas se transformen en escuelas de calidad, es decir, en centros que asuman de manera colectiva la responsabilidad por los resultados de aprendizaje de todos sus alumnos y se comprometa con el mejoramiento continuo del aprovechamiento escolar. La escuela de calidad se concibe como una comunidad educativa integrada y comprometida, garante de que los estudiantes adquieran los conocimientos y desarrollen las habilidades, actitudes y valores necesarios para alcanzar una vida personal y familiar plena; ejercer una ciudadanía competente, activa y comprometida; participar en el trabajo productivo; y continuar aprendiendo

8 Las reglas de operación e indicadores de gestión y evaluación del Programa escuelas de Calidad fueron publicadas en el Diario oficial el 31 de enero de 2002. Las reglas de operación son regulaciones oficiales de todos los programas que transfieren recursos a las entidades, son objeto de auditoria y deben rendir cuentas al Congreso Federal.

7

a lo largo de la vida. Los objetivos específicos del PEC, según sus propios documentos9, son los siguientes:

Recuperar a la escuela como unidad de cambio y aseguramiento de la calidad, y a los alumnos como centro de toda iniciativa.

Generar en cada escuela una dinámica autónoma de transformación, con libertad en la toma de decisiones y responsabilidad por los resultados.

Recuperar el conocimiento y experiencia del docente, protagonista fundamental de la educación.

Fortalecer el liderazgo de los directivos.

Fortalecer el papel pedagógico del personal técnico y de supervisión.

Propiciar las condiciones de normalidad educativa.

Favorecer la construcción de redes horizontales entre escuelas y sistemas educativos estatales.

Contribuir a la generación de una cultura de corresponsabilidad y rendición de cuentas, con una relación transparente entre los actores educativos.

Fortalecer la participación social.

Hacer eficiente el uso de los recursos públicos, mediante su administración directa por parte de la comunidad escolar.

Contribuir a superar los rezagos en infraestructura y equipamiento de las escuelas.

Fomentar la figura del cofinanciamiento educativo Con esta visión de escuela el PEC ha establecido como estándares de gestión10, práctica docente y participación social los siguientes:

El director ejerce liderazgo académico, administrativo y social.

9 Documento del PEC, SEP (SEByN), México, marzo 1, 2002. 10 Los estándares de gestión conformaron un parámetro básico para la evaluación cualitativa. Sin embargo, no se constituyó un sistema de monitoreo que diera cuenta puntual del nivel de cumplimiento de los estándares en todas las escuelas PEC, a lo que se obligaba el programa ya que formaban parte de las reglas de operación. Los procesos de auditoria constantemente criticaron este aspecto del programa, por lo que en su quinto año de operación se decidió eliminarlos de las reglas.

8

Directivos y docentes trabajan como un equipo integrado.

Directivos y docentes se preocupan por superarse continuamente.

Los docentes planifican sus clases y propician experiencias de aprendizaje óptimo en función de las diversas capacidades, aptitudes, estilos y ritmos de sus alumnos.

Los docentes demuestran a sus estudiantes confianza en sus capacidades y consiguen de ellos una participación activa, crítica y creativa.

Los docentes demuestran capacidad de crítica de su propio desempeño, así como de rectificación, a partir de un concepto positivo de sí mismos y de su trabajo.

La escuela propicia la práctica de valores, así como el reconocimiento de nuestra realidad multicultural.

La escuela incentiva el cuidado de la salud, el aprecio por el arte y la preservación del medio ambiente.

La escuela cumple con el calendario escolar y aprovecha óptimamente el tiempo dedicado a la enseñanza.

Los padres de familia están organizados y participan en las tareas educativas, son informados sobre el progreso de sus hijos y tienen canales para expresar sus inquietudes.

La comunidad escolar cumple con las metas que ella misma se fija.

La comunidad escolar se autoevalúa, utiliza la evaluación externa como una herramienta de mejora y rinde cuentas a la sociedad.

Se mejoran permanentemente las condiciones de la infraestructura material de la escuela.

Con estos procedimientos se espera impactar los logros académicos de los estudiantes (eficacia), de manera que los estándares de aprovechamiento escolar sean los siguientes:

Los alumnos demuestran un incremento en sus habilidades de razonamiento lógico-matemático.

Los alumnos demuestran un incremento en sus habilidades comunicativas.

9

Los alumnos demuestran un desarrollo en su capacidad de pensamiento crítico y científico.

La escuela disminuye sus índices de reprobación y deserción. Los componentes esenciales del PEC: la estructura del proyecto escolar y los procesos de capacitación sobre planificación estratégica, se diseñaron siguiendo la pauta establecida por un programa ya existente en la SEP: El Programa de Transformación de la Gestión Escolar (PTGE), que con apoyo técnico del Ministerio de Educación de España, tenía ya cuatro años de trabajo y en el que ya participaban alrededor de 1,300 escuelas de 15 entidades11. La mayor parte de las escuelas del PTGE se incorporaron (o fueron incorporadas por supervisores, en algunos casos violando el principio de voluntariedad que desde un principio el PEC dijo sostener) al nuevo programa. Debe decirse que buena parte del equipo técnico del PTGE se resistió al proceso de incorporación ya que consideraban al PEC como una versión distorsionada de lo que debería hacerse en las escuelas ya que, consideraban no respetaba la cultura escolar. En especial se oponían al financiamiento, al que consideraban como una “zanahoria” que influiría negativamente en la motivación de los colectivos docentes. Debe decirse que los equipos técnicos del PTGE duraban varios años en desarrollar el diagnóstico de la escuela, poniendo cuidado en generar condiciones de consenso entre el colegiado. A pesar de ello la mayor parte de los proyectos escolares siguieron línea impuesta desde la Subsecretaría de Educación Básica federal al establecer como problemas los bajos niveles de destrezas en lecto-escritura. El equipo nacional del PTGE veía como riesgo utilizar la noción de autonomía escolar y rápidamente lo acotaban a la aplicación de las prioridades nacionales en el contexto específico de la escuela. La federación, claro, era la que identificaba las prioridades nacionales. Las diferencias iniciales entre los equipos técnicos del PTGE, ya con años de experiencia en la SEP, y el equipo del PEC, que de manera compacta se había constituido por jóvenes que tenían experiencia en el manejo de programas de la Secretaría de Educación del Estado de Aguascalientes, se fueron haciendo cada vez más agudas, de manera que finalmente el PEC se afianzó a costa de la salida de la SEP de los elementos claves que habían promovido el PTGE. La expectativa sobre mejora académica de las escuelas participantes en el PEC se estimaba en un 10% anual en promedio, en exámenes estandarizados de español y matemáticas12. Por lo que la Coordinación Nacional del PEC estimó que se les daría un plazo máximo de cinco años para “certificarse”, que consistía en obtener una puntuación más alta que el promedio general de exámenes internacionales (se ejemplificaba para primaria con el de OREALC-UNESCO y

11 El PTGE se consideraba más como un proyecto de investigación que como un programa de intervención. No se dieron a conocer públicamente sus resultados. 12 Esta expectativa no se expresó en ningún documento formal del programa pero se expresaba continuamente en las reuniones de trabajo al menos en los primeros años de operación. Nunca se indicaron los fundamentos para estimar ese nivel de mejora.

10

para secundaria con PISA. Obviamente se pensaba que los exámenes nacionales y los internacionales eran universales para todas las escuelas PEC y técnicamente comparables, cuestión que por supuesto no era cierto). Se estimaba, por igual, que las escuelas que participaran en el PEC recibirían hasta $300,000.00 anuales (unos $27,200 dólares), monto que sería administrado por la comunidad escolar. El 80 por ciento se destinaría a la adquisición de útiles y materiales escolares, didácticos y de apoyo, así como para la inversión y/o el mantenimiento de espacios educativos, mobiliario, equipo y acervo bibliográfico. El resto podría asignarse a otros componentes, exceptuando el pago de incentivos al personal. Las escuelas ya certificadas mantendrían el financiamiento pero ejercerían más plenamente su autonomía escolar al no contar con límites en cuanto a los renglones de inversión. La supervisión y rendición de cuentas de los recursos se ejercería por el Consejo Escolar de Participación Social (CEPS). Los recursos se recibirían mientras se mantuviera el proceso de certificación de las escuelas. Hasta el ciclo escolar 2007-2008 no se reporta ninguna escuela certificada. A pesar de que el PEC es un programa diseñado para impactar a la escuela a través de la modificación de su gestión en la mente de la mayor parte de los operadores nacionales y estatales es que se trata de un programa que transfiere recursos económicos a las escuelas. Por lo que la mayor parte de las actividades cotidianas se centran en los aspectos administrativos. Hasta agosto del 2006 el PEC habría ejercido un presupuesto federal de $6, 974, 545, 300.00 en los primeros seis años de operación (alrededor de $634, 049, 573 dólares). A este monto es necesario agregar las contrapartidas estatales, municipales y de la sociedad civil. Hasta el 2006 el fondo federal se conforma de recursos propios del Estado Mexicano, a partir de 2007 el gobierno mexicano recibirá un préstamo de Banco Mundial por 240 millones de dólares para apoyar la operación del PEC por tres años más. Según las reglas del fideicomiso el 94% de los recursos del fondo deben ser recibidos directamente por las escuelas y no más de un 6% debe dedicarse a gastos de operación y comunicación del programa.

Los actores. La gestión del programa depende de dos instancias: la Coordinación Nacional y las coordinaciones estatales. La responsabilidad general del programa depende de la Coordinación Nacional. Hasta ahora ha habido tres coordinadores nacionales, los dos primeros responsables de la Coordinación Nacional ejercieron la Dirección General de Desarrollo de la Gestión e Innovación Educativa (a principios del programa se denominaba la Dirección General de Investigación). El primer responsable de la Coordinación Nacional del programa aunque dependía formalmente del Subsecretario de Educación Básica recibió su nombramiento directamente del Secretario de Educación Pública. El segundo coordinador nacional, a partir del 2004, dependió más directamente del Subsecretario de Educación Básica. Como una característica interesante para el enfoque y modalidad de gestión del programa se puede indicar que, incluyendo al actual, los tres coordinadores nacionales del programa han sido Secretarios Estatales de

11

Educación13. La coordinación nacional gestiona el programa con cinco coordinaciones regionales14 territoriales y cinco más académicas, además de las coordinaciones administrativas, de planeación, información y análisis, vinculación académica y de crédito externo. La coordinación general tiene como responsabilidad tomar decisiones sobre los componentes del programa, conformar el fideicomiso del fondo Nacional para escuelas de calidad, negociar los recursos anuales que alimentan ese fondo, negociar con las entidades para la conformación de los fondos estatales y desarrollar procesos de capacitación y asesoría a los equipos de las coordinaciones estatales. A nivel de cada Secretaría de Educación Estatal funciona una coordinación del programa, con personal propio. La ubicación estructural de estas coordinaciones así como el perfil de quienes la forman depende de cada Secretaría de Educación Estatal. Entre las funciones de las coordinaciones estatales está la formación de los fondos estatales, convocar a las escuelas a participar en el programa de manera voluntaria, seleccionar las escuelas que recibirán apoyo a través de procesos de dictamen de sus Planes Estratégicos de Transformación Escolar (PETEs) y sus Planes Anuales de Trabajo (PATs), capacitar a supervisores y directivos de escuelas y establecer los procedimientos de rendición de cuentas de los recursos que reciben las escuelas. Existe amplio margen de maniobra en la gestión de las coordinaciones estatales, de manera que se afirma que existen 32 modalidades del programa en la República, algunas modalidades con variantes importantes de la configurada por el nivel central. Además de las coordinaciones nacionales y estatales, que conforman el nivel operativo del programa (junto con un Consejo Técnico que vigila principalmente el funcionamiento del fondo) el programa rinde cuentas ante los miembros del Consejo Social por la Calidad de la Educación, una instancia creada durante la administración de Fox y con representación del Sindicato Nacional de Trabajadores de la Educación, de empresarios, investigadores y Sociedad Civil. La prensa nacional ha estado atenta al desarrollo del programa, muy especialmente el periódico Reforma, que dedica espacios importantes a las notas del sector educativo. El programa tiene su propia revista “Educare”, con un tiraje cercano al millón de ejemplares y que se distribuye gratuitamente principalmente a las escuelas. Sin embargo el programa no cuenta con una instancia responsable de su comunicación social, ya que para ello depende de la oficina respectiva de la Subsecretaría de Educación Básica, que está más enfocada a la preparación de boletines de prensa que ha desarrollar un proceso de movilización social en torno a la agenda educativa de la subsecretaría. El PEC escasamente tiene peso específico para esa oficina.

13 El primero y el tercero fueron Secretarios de Educación del estado de Aguascalientes, el segundo Secretario de Educación de Baja California, muy cercano al entonces Subsecretario de Educación Básica, también exsecretario de educación de Baja California. 14 Noroeste con siete entidades, Noreste con seis entidades, Centro Sur con siete entidades, Sureste con seis entidades y Centro con seis entidades.

12

La evaluación cualitativa. La evaluación cualitativa del programa es uno de los estudios que se han elaborado en torno al PEC, que sin duda ha sido el programa educativo más estudiado y evaluado en la historia de México. Esta evaluación, junto con la de logros académicos, fue solicitada por la Coordinación Nacional del PEC a la entonces Dirección General de Evaluación (DGE-ahora denominada Dirección General de Evaluación de Políticas). La DGE ya había desarrollado estudios de carácter cualitativo en escuelas primarias, contando con el apoyo de un equipo consultor, por lo que se le llamó con el fin de diseñar la evaluación del programa. Desde las primeras conversaciones quedó claro que los responsables del programa deseaba basar su evaluación en la aplicación de exámenes estandarizados a todos los alumnos de todas las escuelas participantes en el programa así como en una muestra de control, con el fin de proporcionar información a los padres de familia sobre el nivel de logro de cada estudiante, al tiempo que se contaba con evidencia del impacto del programa. En ese momento la DGE estaba aplicando exámenes denominados Pruebas de Estándares Nacionales de español y matemáticas a muestras representativas de diversas modalidades de primaria y secundaria. En octubre de 2001 se estableció el compromiso de aplicar el examen a todos los alumnos de las 2213 escuelas con las que iniciaría la operación del programa, en el ciclo escolar 2001-2002. La coordinación del programa deseaba evaluar a principios (agosto-septiembre) y a fines (mayo-junio) de cada ciclo escolar, debido a problemas de operación al inicio del programa (tales como la identificación de las escuelas participantes y la logística requerida para la aplicación de los exámenes) se estableció un compromiso de iniciar con la aplicación de los exámenes en enero y en junio de 2002. Con esta base la evaluación cualitativa serviría al para estudiar el impacto del programa en los procesos escolares. El equipo de Heurística educativa, cuyo director es el autor de esta nota, fue contratado inicialmente15 por la Dirección General de Evaluación para el diseño y ejecución de la evaluación cualitativa en octubre de 2001, iniciando inmediatamente con la capacitación de los evaluadores de campo, ya que se deseaba conformar una línea de base con información sobre el estado de las escuelas que aunque ya se hubieran inscrito en el programa no hubieran recibido los recursos o la capacitación ofrecida por el programa. Los evaluadores serían miembros de los equipos estatales denominados “Áreas Estatales de Evaluación”, quienes recibirían una serie de talleres de capacitación por parte del equipo de Heurística educativa. La capacitación se inició en noviembre de 2001 y el trabajo de campo en enero de 2002. El trabajo de campo consistiría en tres visitas de los equipos evaluadores a la escuela durante el primer ciclo escolar y en dos visitas en los ciclos escolares siguientes. Cada visita a la escuela duraría una semana, en la que se aplicarían los instrumentos Desde un principio se manejó que el estudio sería longitudinal y duraría tres años. Por cada ciclo escolar estudiado se realizaron cinco reuniones de capacitación, en los que se desarrollaban de dos a

15 Las instancias que contrataron la evaluación fueron cambiando a lo largo de los años que duró el estudio.

13

tres temas centrales para el estudio, desde aspectos teóricos o metodológicos, a aspectos específicos del diseño de instrumentos, sus procesos de validación y de análisis. Durante las últimas etapas de la capacitación el énfasis se centró en la discusión de resultados, presentación de productos y en estrategias para hacer más útiles los diferentes productos de la evaluación. Una cuarta parte de los evaluadores de las escuelas primarias ya habían participado en los estudios cualitativos que el mismo grupo de consultores habían desarrollado para la DGE tres años atrás, el resto no se había visto involucrado en investigaciones o evaluaciones. La gran mayoría eran maestros normalistas o licenciados en educación primaria, algunos pocos habían sido supervisores o asesores técnico-pedagógicos. La respuesta de las entidades fue muy positiva y rápidamente se conformó un equipo nacional de 124 personas de todas las entidades para desarrollar la evaluación de las escuelas primarias. Por cuestiones logísticas sólo una entidad no pudo implementar el estudio, aunque un equipo de esa entidad participó en la capacitación. En el ciclo escolar 2002-2003 la coordinación nacional del PEC solicitó a Heurística educativa que ampliara la evaluación a nuevas modalidades de educación básica que participarían en el programa, específicamente a primarias indígenas, telesecundarias y Centros de Atención Múltiple (educación especial). Se decidió que los evaluadores de estas modalidades fueran miembros de las mesas técnicas estatales de cada especialidad, quienes conocían las particularidades y podían hacer más viable el estudio ya que era prácticamente imposible ampliar la participación de las áreas estatales de evaluación. A la convocatoria para realizar las evaluaciones adicionales respondieron 15 entidades para primarias indígenas, 24 entidades para Centros de Atención Múltiple y 26 entidades para telesecundarias. En total se capacitaron a 110 miembros de mesas técnicas de las tres modalidades como evaluadores. Por problemas de recursos las evaluaciones de las modalidades de telesecundaria y centros de atención múltiple duraron dos años, mientras que la de educación indígena duró cuatro años (sin que en el tercer ciclo se desarrollara trabajo de campo). En las cuatro modalidades se mantuvieron las mismas líneas metodológicas del estudio, aunque con cambios en algunos instrumentos y procedimientos, según lo determinaban los equipos especializados. La medición de logros académicos se realizó mediante la aplicación de exámenes estandarizados denominados Pruebas de Estándares Nacionales, que miden español (lectura) y matemáticas. La responsabilidad del diseño de los instrumentos, su aplicación en las escuelas y su análisis fue de la Dirección General de Evaluación (SEP) en el ciclo 2001-2002. De hecho a solicitud del programa se aplicaron dos veces en el ciclo, en enero y junio, con el fin de comparar los resultados. Los resultados eran entregados al equipo de Heurística educativa, para que éste los integrara a la base de datos de las escuelas PEC. El programa había solicitado al PEC la aplicación de los exámenes a un grupo de escuelas que servirían de control, por aspectos logísticos y económicos la DGE optó por no realizar esa aplicación. En agosto del 2002 se crea el Instituto Nacional para la Evaluación de la Educación (INEE) que asumirá la aplicación de

14

los exámenes estandarizados en español y matemáticas en el 2003 y en el 2004. La presencia del INEE instala un nuevo marco institucional de la evaluación educativa en el país y necesariamente influye en el desarrollo de la evaluación cualitativa del PEC. Aunque las personas responsables del diseño, aplicación y análisis de los exámenes estandarizados serían exactamente los mismos ya que pasaron de estar ubicados en la DGE al nuevo instituto en el 2004 se presenta una polémica interna acerca de la confiabilidad de los instrumentos, sus estrategias de análisis (combinar resultados de logros en español y matemáticas) y, muy particularmente respecto a su nivel de comparabilidad longitudinal (con lo que se ponía en entredicho la base del seguimiento longitudinal de la evaluación cualitativa debido a que la estrategia de análisis se basaba en los resultados en logro académico). La crisis, aunque aparentaba ser de carácter técnico al parecer fue de naturaleza esencialmente política ya que se “resolvió” con renuncias. Al poco tiempo se “descubrió” que los instrumentos que se habían aplicado en las evaluaciones de logro académico de las escuelas PEC eran exactamente los mismos, por lo que la comparabilidad longitudinal dejó de ser un problema. Por otra parte, en estudios propios del INEE continuó aplicando las mismas Pruebas de Estándares Nacionales (con lo que la crítica a su confiabilidad se ponía en cuestionamiento). Además, entre la coordinación nacional del PEC y el INEE se llegó a negociar que la evaluación cualitativa se ubicara en el instituto, bajo la dirección del equipo de Heurística educativa, que ahora sería equipo consultor del INEE. El investigador principal del estudio rechazó esta propuesta y presentó la renuncia a la consultoría16. La misma coordinación nacional del PEC solicitó al INEE el desarrollo del estudio pero la institución no aceptó17. Al poco tiempo la DGE y la propia coordinación General del PEC llamarían al equipo consultor para continuar con el estudio bajo las condiciones anteriormente pactadas. El INEE entregó los resultados de las aplicaciones a fines de 2004 y se desligó del PEC. La DGE volvió a hacerse responsable de la aplicación y análisis de de los instrumentos para medir logro académico en el 2005, último año de aplicación18. En este último año, por presión del Consejo Social para la Calidad de la Educación, si se incluyó un grupo de escuelas a modo de grupo de comparación. Para ese fin la DGE en el

16 Las principales causas para la presentación de la renuncia tienen que ver con el hecho de que el INEE atraería de una tarea desarrollada por la DGE, instancia fuertemente criticada por el INEE en un principio, con lo que estaría apoyando el desmantelamiento de la capacidad para hacer evaluación y aprender de ella por parte de la SEP. 17 De hecho el INEE habría aceptado evaluar las secundarias generales PEC así como realizar una meta-evaluación de la evaluación cualitativa. Por razones desconocidas para el redactor de este caso nunca se desarrollaron estas acciones, que incluso aparecieron en los programas de actividades de la institución. 18 Considerando a distancia la apuesta a la DGE en vez del INEE como cobertura institucional de la evaluación cualitativa tuvo repercusiones negativas para el mismo ya que la DGE carece de interlocución académica interna en el tema de evaluación de programas. Si bien el instituto no ha incursionado en la evaluación de programas su equipo incluye algunos de los principales investigadores del país, por lo que la interlocución académica hubiera sido más fuerte, así como asegurar una mejor comunicación de los resultados, aspecto que como se verá, siempre es un problema institucional para la SEP.

15

2005 realizó una selección aleatoria de escuelas primarias generales e indígenas que no habían participado en el PEC a las que se les aplicaron los mismos instrumentos de medición de logro académico que a las escuelas PEC. El tamaño de la muestra se basó en el número de escuelas PEC sobrevivientes a la cuarta medición en la muestra panel. Diseño y objetivos del estudio. El diseño de la evaluación cualitativa se enfocó a las escuelas19 y sus procesos escolares, considerando tres unidades de análisis: la práctica pedagógica, la gestión escolar y la participación social. En un inicio se formuló como objetivo registrar los cambios de las escuelas de las muestra panel y asociar esos cambios a los componentes del programa. Sin embargo, a lo largo del estudio sus objetivos se fueron incrementando, aclarando y modificando, de acuerdo a las características de un contexto político dinámico que mantenía expectativas acerca de los resultados del programa y a la evolución del estudio mismo. Considerando todo su desarrollo el proceso de la evaluación cualitativa planteó objetivos relacionados con el programa al tiempo que formuló objetivos relacionados con la política educativa en general. A nivel del programa los principales objetivos e la evaluación cualitativa fueron:

• Identificar los cambios que los componentes del Programa Escuelas de Calidad estimularon en las escuelas participantes.

• Identificar el nivel de cumplimiento de los objetivos del programa, tal y como

se expresaron en sus reglas de operación.

• Apreciar los factores de las escuelas que favorecen el éxito y el fracaso del programa.

• Comprender la vida de las escuelas de las escuelas de manera longitudinal.

• Identificar prácticas prometedoras de mejora de la calidad y de la equidad

en escuelas públicas, con o sin relación con los componentes del programa.

• Desarrollar condiciones de profundización de mecanismos de

autoevaluación en las escuelas participantes en el estudio.

• Configurar una red nacional de evaluadores con competencias básicas en investigación educativa con métodos múltiples, evaluación de programas educativos y comunicación de resultados.

A nivel de políticas:

19 Otros estudios del programa se enfocan otras unidades de análisis, como la gestión administrativa, el impacto en indicadores de eficiencia terminal, etc.

16

• Desarrollar una conversación de políticas estructurada e informada sobre el diseño y operación del PEC en actores críticos, en las escuelas participantes y en la sociedad en general.

• Profundizar en el conocimiento de prácticas prometedoras de mejora de la

calidad y la equidad en las escuelas públicas.

• Promover condiciones de diálogos de políticas al interior de las Secretarías de educación estatales por parte de las áreas de evaluación.

• Producir bases conceptuales para promover la autoevaluación con base en

prácticas prometedoras de las escuelas excepcionales de la muestra.

Selección de las muestras. En teoría la muestra tipo panel tendrían mayores posibilidades que identificar los cambios provocados por el programa y además permitiría identificar con mayor nitidez los efectos de la maduración del programa, ya que tenían mayor tiempo participando en el mismo. La definición del tamaño de las muestras fue peculiar para cada modalidad. La muestra de primaria se determinó con base en el universo de escuelas participantes desde el inicio del programa. Se determinó que con este grupo de escuelas se daría seguimiento al programa dado que ellas manifestarían con mayor probabilidad el mayor impacto del programa durante los tres años que duraría el estudio. Con base en las denominadas tablas de Harvard el tamaño de la muestra de primarias generales se determinó en 476 escuelas. La muestra sería panel ya que se daría seguimiento a la escuela por los tres años, a menos de que se diera de baja del programa. La cuota de escuelas por entidad dependió del número de escuelas PEC en la entidad, del tamaño del equipo del área estatal de evaluación disponible para el estudio evaluativo, así como de su ambición y voluntad de trabajo. En las modalidades de primaria indígena, telesecundarias y Centros de Atención Múltiple el tamaño de la muestra dependió principalmente del número de evaluadores disponibles en cada entidad. En estas modalidades no se pretendió contar con una muestra estadísticamente representativa. Los tamaños se definieron por el número de evaluadores involucrados, aunque en todas las modalidades las muestras fueron seleccionadas aleatoriamente considerando el universo de escuelas participantes en el programa en su primer año de operación. Como se muestra en la siguiente tabla, la muestra del estudio llegó a contar con una muestra de 768 escuelas en cuatro modalidades de educación básica, un tamaño inusitado para un estudio de métodos mixtos.

17

Tamaño de las muestras panel

(todas son aleatorias)

729641768476Total de escuelas

estudiadas por ciclo

98.21%5556Centros de Atención

Múltiple

90.21%175194Telesecundarias

56.41%44

42

6378Primarias indígenas

Comparación

69.96%333

310

348440476Primarias generales

Comparación

% de

permanencia en

el panel

2005-

2006

2004-

2005

2003-

2004

2002-

2003

2001-

2002

Modalidades

Estrategia de evaluación de programa. En la evaluación cualitativa del PEC se combinan tres modalidades de evaluación. En primer lugar se desarrolla una evaluación de programa considerando sus propósitos, al tiempo que estableciendo los elementos que permitan entender su contexto institucional, en decir la escuela. El diseño corresponde a un estudio longitudinal con enfoque en las observaciones tanto en los presupuestos en la teoría del programa como en su operación en la escuela, principalmente en cuanto a considerar la evaluación misma como uno de los elementos constitutivos del proceso del mejoramiento organizacional de la escuela. Así fue tan importante identificar el impacto de los componentes del PEC como los procesos que se identifican en las tres unidades de análisis. En esta dimensión se usan instrumentos de carácter cualitativo, que permiten identificar las percepciones de los actores con relación al desarrollo de las tres unidades de análisis.

En segundo lugar se trata de desarrollar una evaluación cualitativa desde una perspectiva de estudio de casos, tanto anuales como longitudinales. La dimensión cualitativa del estudio se base en que se enfoca a los procesos educativos considerados en tres unidades de análisis (práctica pedagógica, gestión escolar y participación social) y a las decisiones, actitudes y perspectivas de los actores básicos de la comunidad educativa (maestros, autoridades de la escuela, estudiantes, familiares de los estudiantes y miembros de la comunidad), en situación de naturalidad en su contextos reales (aulas, escuelas y comunidad). Los procedimientos analíticos se fundamentan en la construcción teórica a partir de los datos.

18

Esta combinación metodológica busca desarrollar mayor validez y confiabilidad20. Por lo que si bien se ha denominado al estudio como cualitativo ello no excluye encuestas y procedimientos de análisis estadísticos. En el estudio de la práctica pedagógica videograbada se usaron inicialmente procedimientos aplicados en el estudio TIMSS21 pero se ha desarrollado un esquema analítico propio.

La autoevaluación y las estrategias de evaluación externa que se aplicaron buscaron propiciar la conformación de condiciones para propiciar una abierta deliberación entre los actores educativos22 así como ampliar el nivel de su facultamiento organizacional23. Bajo este lineamiento durante los dos primeros años del estudio se fomentó el portafolio institucional como instrumento de autoevaluación. A partir de este portafolio24 los evaluadores regresan a la escuela toda la información recibida, con la excepción del diario de campo, que es propio del investigador. En la mima línea de fomentar la autoevaluación los evaluadores de los equipos estatales redactan estudios de caso, que son presentados a la comunidad educativa para su discusión (a manera de espejo de la escuela). Con este tipo de estrategias se obtuvieron aprendizajes sobre las condiciones de la autoevaluación se han logrado estructurar dos estrategias de autoevaluación de escuelas, los que se encuentran entre los productos del estudio.

Instrumentos y procedimientos. En la evaluación cualitativa se aplicaron 35 instrumentos en los diferentes ciclos. A este grupo de instrumentos se deben sumar los exámenes estandarizados y

20 Cfr. Creswell, J. W., Research design: qualitative, quantitative, and mixed methods approaches, Thousand Oakes: Sage Publications, 2003 y Newman I. y C. R. Benz, Qualitative- Quantitative Research Methodology: exploring the interactive continuum, Carbondale and Edwardsville: Southern Illinois University Press; y de manera muy relevante: King, G., R. O. Keohane y Sidney Verba, Designing Social Inquiry: Scientific Inference in Qualitative Research, Princenton, N. J.: Princeton University Press, 1994. 21 Un reporte inicial de ese estudio es el publicado por NCES, Teaching Mathematics in Seven Countries: results from the TIMSS video Study, Washington, D.C. NCES, 2003. 22 Para ello se considerarán principios de democratización en las decisiones organizacionales descritos en Ryan, K. E. y L. De Stefano, Evaluation as a Democratic Process: promoting Inclusion, Dialogue, and Deliberation, San Francisco: Jossey-Bass, 2000. Como ilustración de los efectos de prácticas prometedoras en autoevaluación se cuenta con la experiencia europea presentada por Macbeath, J. et al., Self-evaluation in European Schools; a story of change London: Routledge,Falmer, 2000. 23 La perspectiva de facultamiento de los actores se establece en Fetterman, D. M., et al, Empowerment evaluation: knowledge and tools for selfassessment & accountability, Thousand Oakes, Calif.: Sage Publications, 1996, y en concordancia con los procesos de aprendizaje organizacional ya apuntados y refinados para sus consecuencias en gestión escolar en Bolman, Lee G. y T. E. Deal, Reframing organizations: artistry, choice, and leadership, San Francisco: Jossey Bass, 1991. 24 La noción de portafolio como modalidad de autoevaluación ha sido tomado de Bernhardt, Victoria L. The school portfolio: a comprehensive framework for school improvement. Larchmont, NY. Eye on education, Inc., 1999. y Bernhardt, Victoria L. The example school portfolio: A companion to The school portfolio, a comprehensive framework for school improvement. Larchmont. NY. Eye on education, Inc., 2000; Mabry, L., Portfolio Plus: a critical guide to alternative assessment, Thousand Oaks: Corwin Press, 1999.

19

cuestionarios de factores asociados diseñados, aplicados y analizados por la DGE y el INEE, cuyos resultados se incorporaron a las bases de datos del estudio. Por su naturaleza y la estregáis de análisis aplicada se puede clasificar a los instrumentos en cuantitativos, cualitativos aplicados a individuos y cualitativos aplicados a colectivos (el número entre paréntesis indica el número de ciclos escolares en que se aplicaron). Si no se hace alguna declaración los instrumentos se aplicaron a las cuatro modalidades de escuelas, aunque con modificaciones en cada variante.

Instrumentos cuantitativos: 1. Encuestas al director (4). 2. Encuestas a maestros (4). 3. Indicadores de desempeño institucional y contexto (4). 4. Encuesta a alumnos de estilos de aprendizaje (4). 5. Encuesta a docentes de estilos de enseñanza (4). 6. Inventario de filosofía educativa de los maestros (1). 7. Cuestionario a maestros de métodos de enseñanza (1). 8. Cuestionario de conducta adaptativa (educación especial). Cualitativos individuales: 1. Entrevistas al director de inicio de ciclo escolar (4). 2. Entrevistas al director de fin de ciclo escolar (4). 3. Entrevistas a directores de escuelas que salieron del PEC (3). 4. Historia de la escuela (1). 5. Videograbación de las lecciones de español y matemáticas (3). 6. Videograbación de la jornada completa (1). 7. Autoevaluación del desempeño con base en video (4). 8. Entrevista a alumnos polarizados de desempeños efectivos en español (4). 9. Entrevista a alumnos polarizados de desempeños efectivos en matemáticas (4). 10. Entrevista a maestros sobre cuadernos de alumnos en español (4). 11. Entrevista a maestros sobre cuadernos de alumnos en matemáticas (4). 12. Entrevista con miembros del Consejo Escolar de Participación Social (4). 13. Entrevista al director sobre valores (1). 14. Entrevista a docentes sobre valores (1). 15. Entrevista a alumnos sobre valores (1). 16. Diálogos reflexivos (2). 17. Diario Reflexivo del director (1). 18. Memoria del Consejo Técnico Escolar (1). 19. Entrevista al director sobre gestión de recursos de aprendizaje (1). 20. Portafolio pedagógico (Telesecundarias) 21. Diario de campo (4). Cualitativos aplicados a colectivos: 1. Entrevista de grupo de enfoque con madres y padres (4). 2. Portafolio institucional (4). 3. Dinámica TKJ (2).

20

4. Técnica de reflexión colectiva (2). 5. Proyecto escolar (fotocopia) (4). 6. Plan Anual de actividades (fotocopia) (4). En las reuniones nacionales se tomaban decisiones sobre los instrumentos y la mecánica a seguir para su aplicación en las escuelas. Se establecían fechas para hacer homogénea su aplicación en todo el país. Los instrumentos y procedimientos de la evaluación se subían a la página de Internet del equipo consultor, del cual lo bajaban los equipos estatales. Una vez que se desarrollaba el trabajo de campo, a través del mismo sitio de Internet se distribuían formatos para que los equipos estatales digitalizaran los datos, tanto cualitativos como cuantitativos. Las bases de datos por instrumento se enviaban por correo electrónico al equipo consultor, que elaboraba bases cuantitativas y cualitativas por escuela y por unidad de análisis. Las bases de datos nacionales fueron sometidas a análisis por el equipo de Heurística educativa, que además configuraba bases estatales para retornarlas a los equipos respectivos. Los datos analizados por Heurística educativa se presentaron en los reportes nacionales y otros tipos de productos, mientras que los analizados por los equipos estatales constituyeron los casos por escuela y los reportes estatales. Productos del estudio. El equipo de Heurística educativa generó productos en diversas modalidades, con el fin de comunicar los resultados del estudio a diversas audiencias y utilizando diversos tipos de procedimientos para informar sobre las principales conclusiones. a) Modalidad de reportes nacionales del estudio, que identifican los cambios en las escuelas por las unidades de análisis: práctica pedagógica, gestión escolar y participación social. Dos de los reportes nacionales informaron sobre los resultados de instrumentos o temas especiales, a solicitud explícita del subsecretario de educación. 1. Reporte descriptivo de la línea de base de la evaluación cualitativa del PEC, Octubre, 2003 (401 páginas). 2. La práctica pedagógica videograbada en las escuelas primarias generales del PEC, Junio 2005 (444 páginas). 3. Cambios en las escuelas que participan en el PEC, 2001-2004, Marzo 2005 (111 páginas). 4. Cambios en la gestión escolar de las escuelas que participan en el PEC, 2001- 2004, Abril 2005 (258 páginas). 5. Cambios en la participación social de las escuelas primarias del PEC, 2001- 2004, Mayo 2005 (85 páginas).

21

6. Cambios en la práctica pedagógica en las escuelas del PEC, 2001-2004: Resultados desde los estilos de enseñanza. Registros en los cuadernos y desempeños efectivos, Julio 2005, (233 páginas). 7. Filosofía educativa de los maestros de las escuelas del PEC, Mayo 2005, (135 páginas) (reporte especial). 8. La enseñanza y promoción de valores y virtudes en las escuelas del PEC, Mayo 2005, (104 páginas) (reporte especial). 9. Cambios en las escuelas primarias indígenas del PEC, 2002-2004, Julio, 2005, (265 páginas). 10. Cambios en los Centros de Atención Múltiple del PEC, 2002-2004, Agosto, 2005, (215 páginas). 11. Cambios en las escuelas telesecundarias del PEC, 2002-2004, Agosto 2005, (164 páginas). 12. El aprovechamiento escolar en las escuelas primarias generales e indígenas del PEC: reporte de las primeras 4 fases, Diciembre, 2005, (71 páginas). 13. Las perspectivas de los alumnos sobre las escuelas PEC: reporte de las primeras cuatro fases de los cuestionarios de factores asociados al aprovechamiento escolar, Diciembre, 2005, (155 páginas). 14. La gestión escolar en las escuelas primarias generales e indígenas que participan en el PEC, 2001-2006, Diciembre, 2005, (226 páginas). 15. La participación social en las escuelas primarias generales e indígenas del PEC, 2001-2006, Diciembre, 2005, (92 páginas). b) Reportes sobre los estudios relativos a buenas prácticas de las unidades de análisis (práctica pedagógica, gestión escolar y participación social). Los tres primeros reportes se refieren a estudios extensos y los dos últimos a folletos para distribución generalizada. 1. Buenas prácticas de gestión escolar y participación social en las escuelas del PEC: resultados de la comparación de muestras polarizadas por niveles de logro y eficacia social 2001-2006, Diciembre 2005, (144 páginas). 2. Cambios en la práctica pedagógica en escuelas del PEC: análisis de las fases dos y tres de las videograbaciones de lecciones de matemáticas y español, Agosto, 2006 (253 páginas).

22

3. Buenas prácticas de gestión escolar y participación social en las escuelas del PEC: resultados de la comparación de muestras polarizadas por niveles de logro y eficacia social 2001-2006, Diciembre 2005, (144 páginas). 4. La gestión exitosa de las buenas escuelas del PEC (díptico de la fase 3). 5. La buena práctica pedagógica en escuelas del PEC (folleto de la fase 3). c) Paquete de comunicación “Así se hace en buenas escuelas públicas mexicanas”, que se basa en un reporte compuesto por nueve estudios de caso longitudinales, en donde se describe en detalle el proceso de cambio en escuelas primarias excepcionales, ya que sostuvieron procesos de mejora en el logro académico durante los años que duró el estudio. El reporte se complementa con afiches y un folleto. 1. Así se hace en buenas escuelas públicas mexicanas: estudios de caso longitudinales, Agosto, 2006, (502 páginas). Afiche 1: Así se hace en buenas escuelas públicas mexicanas: prácticas pedagógicas en matemáticas y español. Afiche 2: Así se hace en buenas escuelas públicas mexicanas: buenas prácticas en gestión escolar. Afiche 3: Así se hace en buenas escuelas públicas mexicanas: buenas prácticas de participación social. Así se hace en buenas escuelas públicas mexicanas: buenas prácticas de gestión escolar y participación social en escuelas de alta eficacia social (Folleto de la fase 5). Este folleto fue publicado como “desplegable” en la revista del programa25. d) Caja de herramientas para desarrollar actividades relativas a las buenas prácticas en Consejos Técnicos de Zona Escolar o Consejos Técnicos de Escuela. Caja de herramientas para colectivos escolares: buenas prácticas de gestión escolar y participación social en las escuelas públicas mexicanas, Agosto, 2006 (328 páginas). e) Procedimientos para la autoevaluación del centro escolar, con dos instrumentos diferentes. El primero se denomina el Pizarrón de la Autoevaluación y fue diseñado en conjunto con los equipos académicos estatales del PEC. El segundo se basa en los resultados de los análisis de buenas prácticas y fue publicado en el número de la revista Educare anteriormente citado (pp. 57-60).

25 Educare, Nueva época, Año 2, Número 6, Noviembre 2006.

23

f) Artículos publicados en una revista especializada en investigación educativa. Los artículos están dedicados a las lecciones que se pueden derivar de los resultados del estudio para la política educativa. Esta revista se distribuye específicamente a los funcionarios federales de más alto nivel, además de la comunidad de investigadores educativos. Hasta ahora se han publicado dos artículos, uno dedicado a la práctica pedagógica y otro a la gestión escolar. Esta pendiente el relativo a la participación social. “Lecciones para la política educativa derivadas de los resultados de la evaluación cualitativa del PEC en cuanto a la gestión escolar”, Revista Latinoamericana de Estudios Educativos, México, Vol XXXVI, N., 3 y 4, 2006, pp. 7-18. “Análisis de la práctica pedagógica registrada en videos. Algunas lecciones para la política educativa en México”, Revista Latinoamericana de Estudios Educativos, México, Vol. XXXVI, N 1 y 2, 2006, pp. 139-152. f) Presentaciones sobre el estudio y sus resultados a través de conferencias, congresos, talleres y videoconferencias. Entre 2001 y 2006 el equipo de Heurística educativa realizó 106 presentaciones con maestros, directores, supervisores, padres de familia, funcionarios estatales, funcionarios federales, investigadores y operadores del programa. Independientemente de los reportes nacionales los equipos estatales tuvieron una generación significativa de productos. Las áreas estatales de evaluación produjeron 1, 147 estudios de caso (de los cuales 31 son longitudinales y el resto anuales) y 74 reportes estatales. Algunos equipos estatales produjeron publicaciones especiales para diseminar los resultados entre funcionarios y maestros de sus estados (por ejemplo Querétaro, Veracruz, Estado de México y Tabasco). Por otra parte, los evaluadores de telesecundaria produjeron 190 reportes de caso y 19 reportes estatales; los evaluadores de los Centros de Atención Múltiple generaron 68 reportes de caso y 21 reportes estatales; los evaluadores de educación indígena redactaron 85 reportes de caso y 16 reportes estatales. Videograbación de la Práctica Pedagógica. Como parte del estudio de la práctica pedagógica se recomendó a los evaluadores negociar con los docentes ser videograbados, con el fin de desarrollar un proceso de autoevaluación. Se recomendó que al terminar la autoevaluación se sugiriera a los docentes que “donaran” su video al estudio. Este procedimiento no puede ser obligatorio por ser sumamente agresivo. Además no se contaban con recursos para proveer de los recursos indispensables a los equipos (máquinas videograbadoras o cintas). No teníamos, en consecuencia, ninguna estimación de cuántos maestros pudieran ser videograbados. Un claro ejemplo del compromiso y entusiasmo de parte de la mayor parte de los evaluadores por el estudio se

24

manifestó porque consiguieron por su propia cuenta máquinas videograbadoras, así como los insumos necesarios. Fue realmente una sorpresa cuando se reportó que el 67% de los docentes de primaria aceptaron de buena gana el procedimiento y que el 95% de ellos donaron su video al estudio. Con ello se inició la conformación de una videoteca de práctica pedagógica, que en estos momentos consta de videograbaciones de 989 maestros26 de las cuatro modalidades, con aproximadamente 1,900 lecciones de español y matemáticas. Además, durante el ciclo escolar 2005-2006 se desarrollaron 23 videograbaciones de jornada completa en las escuelas excepcionales. La videoteca se organizó en discos compactos para facilitar su análisis. De igual manera se desarrolló un procedimiento propio para el análisis. Debido a que los equipos evaluadores se encontraban saturados de actividades no les fue posible desarrollar análisis de los videos, ya que se requiere de tiempo y preparación en pedagogía. Por lo que el equipo consultor recurrió a la Universidad Pedagógica Nacional (UPN) que de manera voluntaria27 conformó un equipo de alrededor de 45 académicos de diversas unidades, quienes recibieron capacitación y aceptaron dedicar tiempo al análisis de la práctica pedagógica videograbada. Este grupo de trabajo permaneció tres años (2003-2006) realizando análisis de lecciones de español y matemáticas, junto con el equipo consultor. Se obtuvieron tres productos: un libro en el que se describe la práctica pedagógica en las primarias durante la línea de base, este libro fue publicado por parte de la propia universidad28. Un libro digital sobre los cambios en la práctica pedagógica en las fases dos y tres del estudio. Un congreso internacional sobre práctica pedagógica videograbada, compartiendo experiencias con equipos de Chile, Estados Unidos y maestros mexicanos que han utilizado procedimientos semejantes. Es importante señalar que el equipo de analistas, a partir de esta experiencia, desarrolló una línea de trabajo académico centrado en clubes de capacitación entre docentes mediados por práctica videograbada. Hasta ahora no se ha realizado trabajo de análisis en las modalidades de primaria indígena, Centros de Atención Múltiple o telesecundarias. De igual manera, quedó pendiente el análisis de la videograbación de la jornada completa en las escuelas excepcionales, aunque se desarrollaron análisis parciales para la redacción de los estudios de caso excepcionales.

26 La videoteca se compone de lecciones por 672 docentes de primarias generales, 71 docentes de primarias indígenas, 62 de Centros de Atención Múltiple y 184 docentes de telesecundarias. 27 La SEP aceptó pagar los gastos de logística. Por otra parte, se involucró a un grupo de 50 maestros de maestros de escuelas normales en el análisis de videos, experiencia que fue positiva pero se realizó una única vez. 28 Loera, A. (coordinador), La práctica pedagógica videograbada, México, Universidad Pedagógica Nacional, 2006. Este libro se encuentra también en versión digital.

25

Gestión del conocimiento. Con el PEC la política educativa mexicana recoge algunos de los resultados de muy diversas investigaciones29, que han fundamentado la necesidad de pasar del esquema de políticas educativas centradas en factores estratégicos, más o menos ofertados homogéneamente en el sistema (como infraestructura, currículo, atributos de los docentes, material y tecnología instruccional) a políticas que asuman la diversidad de los actores, la relevancia de sus expectativas y capacidades de aprendizaje y el papel crítico de la cultura organizacional así como de las mediaciones institucionales. Por su parte la evaluación cualitativa del Programa ha generado una cantidad importante de información y productos de investigación. Obviamente que la cantidad no es suficiente para asegurar un uso pertinente de la información, ya sea con relación a mejorar el diseño u operación del programa o para enriquecer el debate sobre la política educativa del país. Se necesita una estrategia de gestión del conocimiento que permita optimizar las posibilidades del uso de los resultados del estudio. Antes de considerar el estado del uso de los resultados de la evaluación cualitativa del PEC es importante una discusión sobre los factores que inhiben o facilitan el uso de las investigaciones educativas, específicamente en el ámbito de la política pública30. Condiciones que inhiben o facilitan el uso de la investigación educativa Al menos existen tres esquemas generales que dan cuenta teórica de las condiciones de la utilización del conocimiento de las ciencias sociales, específicamente del derivado de estudios evaluativos, ya sea del sistema, de políticas, de programas, de intervenciones o de instituciones.

29 Para una recopilación general de la investigación internacional se puede considerar entre muchos otros: Lockheed, M. E. Y Veerspoor, A. M., 1991, Improving Primary Education in Developing Countries, Washington: World Bank y Savedoff, W. D., 1998. La organización marca la diferencia: educación y salud en América Latina, Washington, D. C.: Banco Interamericano de Desarrollo. Entre las últimas investigaciones que especialmente resalta la gestión como aspecto relevante para entender los procesos de mejoramiento de las escuelas mexicanas se puede ver: Loera, Armando, ¿Cómo transformar las escuelas?, lecciones desde la gestión escolar y la práctica pedagógica, México: Secretaría de Educación Pública, 2001.

30 La sección se basa en: Loera, A., Condiciones y Factores Asociados a la Utilización de las Evaluaciones en Educación: una breve reseña conceptual, Ponencia presentada en el Seminario sobre “Tratamiento y usos de la información de evaluación”, Organización de Estados Iberoamericanos, Programa Cumbre Iberoamericana de Evaluación de la Calidad de la Educación, Buenos Aires, Argentina, 5-8 de octubre de 1998 así como en un taller para investigadores en educación desarrollado en San Salvador, El Salvador, del 30 de junio al 3 de julio de 1999, organizado por El Proyecto de Apoyo a la Reforma Educativa, FEPADE.

26

a) Esquema del Uso Social. Este esquema se expresa con dos líneas, que si bien no son excluyentes, enfatizan diversas condiciones de la estructura social para fomentar el uso de la información.

Por una parte, una visión funcionalista se sostiene por un planteamiento de UNESCO, dentro de la tradición de lnvestigación y Desarrollo. El planteamiento consiste en enfatizar las características de la investigación, como proceso y como producto, de las que depende el nivel y profundización de su uso. Se distingue entre investigación académica, que esta orientada a enriquecer a las disciplinas, y la investigación orientada a la solución de los problemas, orientada a la toma de decisiones. Es obvio que esta perspectiva es optimista acerca de las posibilidades de uso instrumental de las investigaciones, siempre y cuando la investigación sea pertinente a los procesos de toma de decisiones. Una de las condiciones importantes bajo este esquema es la formación de la agenda de investigación, que implicaría la constitución de grupos especiales para afrontar problemas mediante procesos de investigación. En la formación de una agenda pertinente juega un papel fundamental el sector educativo oficial, del cual depende la conformación de apoyos para desarrollar líneas de investigación pertinentes para la formulación, ejecución y evaluación de políticas.

Por otra parte, y con más referencia para la investigación evaluativa, una perspectiva del uso militante como condición de uso social se formula más desde una visión de conflicto de intereses como promotor del uso. Esta perspectiva enfatiza los conflictos de intereses de los grupos sociales, por lo que cuestiona la posibilidad de que la negociación y compartir de manera activa información estratégica tengan como resultado acuerdos sociales. El punto central de esta postura deriva del nivel de incertidumbre de los diversos actores ante un problema. No se participa con la misma intensidad de incertidumbre básicamente debido a que se cuenta con diferentes niveles de poder e influencia política. Así se sostiene que la cantidad y calidad de la información que un grupo pone en el debate de las políticas dependerá de los premios potenciales en poder e influencia y en situación normal cada grupo social mira por sus propios intereses antes que el beneficio de la sociedad en su conjunto, por lo que seleccionará información que potencializa su posición en la correlación de fuerzas sociales. Por otra parte, en una situación de incertidumbre extrema se tiende a aumentar el poder antes que los recursos de información.

b) Hipótesis de las comunidades. Este esquema teórico es tradicional en la literatura especializada en la utilización del conocimiento, se le aplica específicamente para entender desusos o mala utilización del conocimiento. Sostiene que existe una relación difícil entere los proveedores y los consumidores de información ya que sus culturas son, en mucho, incompatibles. Así se sostiene que investigadores y evaluadores sostienen valores, lenguaje, actitudes muy diferentes a los de los funcionarios o de los actores involucrados en las políticas públicas. Mientras los primeros están

27

interesados en la ciencia pura y en problemas esotéricos en cuanto que pertinentes sólo a la comunidad de investigadores, los funcionarios están orientados a afrontar intereses personales y de grupos, con presión para resolver lo antes posible problemas que no son muy claros en su dimensión y naturaleza dentro de un aparato ideológico específico, que no acepta cualquier solución, por muy científicamente apoyada que esté. Los recelos mutuos entre investigadores y funcionarios se acentúa por las características tan distintivas de los ámbitos institucionales desde donde se desarrolla su función: las universidades y las oficinas gubernamentales. Esta diferencia y tensión existe aún cuando se desarrolla investigación dentro del aparato burocrático. En el caso de la evaluación, los evaluadores son considerados como jueces o fiscales, ante quienes es necesario cuidarse o protegerse. Tener una visión compatible con el evaluador correspondería a convivir con el verdugo.

La cultura de la investigación pertinente para la política pública plantea, por lo tanto, como precondición que los investigadores además de su competencia metodológica manifieste interés por impacto político de sus proceso y productos, por un lado, y los funcionarios además de sus destrezas políticas entiendan, y en lo posible expresen, intereses científicos.

c) Esquema de la argumentación social. Este esquema asume que los procesos y los resultados de investigación no tienen impacto instrumental ni conceptual debido a sus atributos únicamente o a los de su entorno sino que existen flujos de inteligencia social, en donde puede darse, o no, la correspondencia entre la conciencia del problema y la existencia de un repertorio de acciones pertinentes para afrontarlo mediante deliberaciones más o menos públicas. Los resultados de investigaciones se instalan en la deliberación de los grupos más que como alternativas, preferencias o como criterios como argumentos que tratan de persuadir audiencias. Se parte del principio de que en un régimen democrático todo es debatible y la metodología científica aporta básicamente un criterio persuasivo, al menos para los grupos más educados. Así el papel de la investigación no será dar soluciones sino identificar problemas, poner a prueba presupuestos, estimular el debate y principalmente educar a los ciudadanos a distinguir entre argumentos correctos o incorrectos. La deliberación pública está normada e institucionalizada en las democracias con el fin de que no se convierta en disputas indefinidas. En esta perspectiva es crítica la atracción de la atención pública en temas que la evaluación muestra en su etapa crítica. Una vez que se define la existencia del problema se debe generar un repertorio de opciones de solución, en caso de poca información o de importantes ausencias en ella se debe generar investigación. Aunque es más viable que el conocimiento nos informe más que es lo que no se puede hacer que lo que sí se debe hacer. Así el evaluador lo que necesita hacer es mejorar la calidad del debate público ayudando a los funcionarios y a los diversos actores sociales a desestimar las limitaciones, que enfatizan los grupos conservadores, o a aumentar las precauciones acerca de las posibilidades, que los grupos liberales tratan de pasar por alto. Por lo que la evaluación debe comprender la legitimidad social y política de las diversas perspectivas, entendiendo los presupuestos de cada postura. Es inválido esperar

28

que las evaluaciones aporten conclusiones definitivas. En una sociedad abierta y pluralista el papel de la evaluación esta más cercano de lo creíble que de la verdad absoluta, en este sentido las evaluaciones son actos de persuasión A diferencia de la investigación per se, la evaluación produce un conocimiento más personalizado, más lleno de los intereses de los actores y más orientado a la acción transformadora, a la acción.

FACTORES QUE PROMUEVEN O INHIBEN LA UTILIZACIÓN.

Se incluyen los factores de las organizaciones que sirven de ámbitos institucionales para las investigaciones, factores relativos a los procesos de producción de las evaluaciones, factores asociados a las evaluaciones como productos y, finalmente, aspectos relativos a aspectos metodológicos de los estudios.

Factores organizacionales. El principio general del uso de cualquier tipo de información, al nivel organizacional, es que la cultura propia, los intereses y los mecanismos de control de la propia organización supeditan a cualquier tipo de información, por muy significativa o válida que sea ésta. Un conjunto de hipótesis de uso de información en las organizaciones, especialmente relevantes para los evaluadores son las siguientes: a) mientras sea percibido un problema como poco importante es muy probable que no se perciba la necesidad de apoyar alguna acción con información; b) mientras un problema tenga baja complejidad técnica es más probable que se perciba como importante una evaluación orientada a resultados; c) mientras sea mayor la complejidad técnica se preferirá la evaluación formativa orientada a procesos; d) mientras sea mayor la complejidad política más profundo será el debate o la negociación sobre las metodologías de evaluación pertinentes; e) bajo condiciones de complejidad técnica la evaluación formativa puede promover el aprendizaje organizacional; f) bajo condiciones de complejidad política la información se orientará a la satisfacción de poderosos grupos que asumen posiciones críticas, facilitando un punto de apoyo que sea políticamente negociable; g) los políticos tienden a tener en mayor aprecio la información sobre las demandas de los grupos sociales que la información sobre sus necesidades. Si la evaluación ha sido desarrollada dentro del aparato o ha sido específicamente contratada es mucho más viable que se le utilice, siempre y cuando su proceso sea visto como metodológicamente legítimo por la preparación científica de los funcionarios y el resultado como manejable dentro del aparato ideológico del grupo en el poder. Por otra parte la investigación crítica o aquella que reta paradigmas por innovadora tiene pocas posibilidades de ser tomada en consideración por los ámbitos gubernamentales, pero puede inspirar posiciones de grupos políticos de oposición o de aquellos interesados en la formación de nuevas agendas públicas.

Cuando existen intereses en conflicto dentro de las organizaciones, una característica común en las burocracias, la información en general, y con mayor razón, las derivadas de evaluaciones, se aceptan sólo si protege las creencias y

29

justifican las decisiones ya tomadas. Diversos estudios acerca de las burocracias educativas de Latinoamérica dan cuenta que el uso de la información y, muy particularmente de la evaluación, depende de la fuerza política de los equipos tecnócratas.

Factores del proceso de producción de las evaluaciones. Las relaciones entre las instancias de producción de conocimiento y las que afrontan problemas sociales son determinantes. Si entre las universidades y el gobierno o los grupos políticos existe incompatibilidades importantes es poco posible que se usen los resultados de las investigaciones llevadas en esos centros, a pesar de que puedan ser temáticamente pertinentes y metodológicamente sólidas. Por otra parte, si el proceso de formulación, ejecución y evaluación de políticas se encuentra muy fragmentado, participan múltiples actores con intereses contradictorios y el tiempo es breve para encontrar soluciones y la solución parece intuitiva o que cae fuera del aparato ideológico aceptable es muy poco posible que se acepten los resultados de una investigación, aunque haya sido realizada internamente o bajo contrato.

Factores de los productos de evaluación. Los reportes de las evaluaciones son sus productos más obvios, aunque igual importancia pueden tener las presentaciones de resultados y la memoranda que se producen en el proceso de las mismas. Las indagaciones empíricas muestran que ciertos atributos de estos productos son capaces de potencializar el uso de los resultados, tales como la claridad conceptual, la brevedad, tener un diseño atractivo, estar configurado de manera especial para la audiencia y no usar lenguaje de especialistas. Por otra parte, los resultados de las indagaciones no son claros sobre la importancia de la pertinencia, es decir del momento en que el producto se inserta en el proceso de toma de decisiones. Sin embargo, en general si la información se usa relativamente pronto (antes de ocho meses) crece la posibilidad del uso instrumental. Finalmente, la comunicación oral tiende a tener mayor impacto que la escrita.

Factores metodológicos. Es poco lo que se ha producido de análisis acerca de cómo hacer más útil la investigación considerando aspectos metodológicos. Desde la evaluación, que es definida en ocasiones como la investigación útil por excelencia, sin embargo es posible encontrar análisis detenidos sobre el tema. Los resultados resaltan la relevancia de la preparación de los usuarios en cuestiones metodológicas, con el fin de que los evaluadores puedan sostener tanto una interrelación inteligente como para que los evaluadores mismos no intenten descuidar aspectos básicos de carácter metodológico. Para ello es deseable que los evaluadores involucren, en lo posible, a sus “clientes” en el diseño de las evaluaciones. Existen indicios de que las evaluaciones formativas, o de proceso, son tan útiles como las de producto, o de resultado. Tampoco existen indicios de que los estudios cuantitativos sean preferidos a los cualitativos, sin embargo los estudios cuantitativos sí requieren de mayor capacitación de los clientes en aspectos estadísticos. El aspecto metodológico crítico es la definición del problema. En este

30

aspecto el involucramiento de los clientes en ocasiones puede disminuir el poder del diseño ya que los actores suelen tener diversas percepciones acerca de cuál es el problema fundamental.

MODELO GENERAL.

Factores organizacionales de los

investigadores

Contexto del

investigador

Factores organizacionales de los usuarios

Contexto del

usuario

Nexos entre los investigadores y los usuarios de la información: - interdependencia

estructural entre las unidades.

- mecanismos de relación implícitos en el estudio.

Esfuerzo de diseminación: - intensidad - calidad de la ejecución. - calidad de los productos

Predictores de

uso contextual

Costos para los

investigadores

Uso / impacto: - conceptual. - iluminativo. - instrumental Nivel de uso. uso estratégico Grado de transformación de los datos impacto negativo. Continuidad del uso

Efectos secundarios: - Formas en que ocurre la distribución de la información. - Actitudes hacia el futuro del uso de la información. - Efectos organizacionales de aprendizaje - Efectos en la carrera de los investigadores.

32

MODELO DESDE LOS INVESTIGADORES.

Factores organizacionales: - Experiencias previas

de diseminación. - Nivel de prioridad de

diseminación. - Lugar o estatus de los

organizaciones.

Contexto del

investigador

Relaciones con las organizaciones de usuarios. - Nivel de interdependencia. - Fortalecimiento de las relaciones personales. - Presencia de intermediarios:

- credibilidad. - habilidades de comunicación. - manejo de las características

de los usuarios. - nivel y calidad de la

infraestructura para la diseminación.

- nivel de Involucramiento.

Esfuerzo diseminación

Impacto sobre los investigadores: -impacto conceptual. -efectos actitudinal. -efectos instrumentales.

Costos: - Calidad del estudio - Conflictos, tensiones. - Prestigio, - Credibilidad. - Efectos negativos de la carrera.

Efectos secundarios: - Flujo de la información. - Relación con los usuarios. - Efectos en la carrera Factores del reporte o

medios de diseminación.

Metodología: - Credibilidad - Consistencia - Legítima - Rigurosa - Pertinente - Adecuada a recursos. - Replicable - Con uso de la perspectiva del usuario. - Documentada. - Interpretación basada en datos pero con fuertes implicaciones teóricas. - Sentido de los resultados. - Resultados con consecuencias dentro del ámbito de maniobra de los decisores. - Consistencia entre tema, problema, preguntas, muestra, instrumentos, base de datos, estrategia de análisis y estrategias de derivación de las conclusiones.

Modalidad de la estructura formal del documento adecuada al propósito: - comunidad científica. - investigación y desarrollo. - conocimiento útil. - heurístico-político. - herméutico-social.

Lenguaje: - Claro - Breve - Simple - Directo - narrativa - interesante

33

MODELO DEL USUARIO Factores del investigador

Factores organizacionales: -Experiencia en investigación por parte de la institución. -Estatus del investigador en la institución. -Competencia técnica en investigación. -Características organizacionales como el clima, la estructura y los procedimientos.

Contexto

organizacional.

Nexos con la unidad de investigación: -nivel de interdependencia. -fuerza de las relaciones personales. -presencia y acción de intermediarios con los grupos externos.

Factores del

contexto.

Impacto/uso: -Uso conceptual: nueva claridad en la naturaleza del problema, cambios en las actitudes sobre el problema o nueva luz sobre las opciones. -Uso instrumental: reestructuración de la política, traducción en acciones y actividades con la asignación de recursos y una influencia relativa. -Uso estratégico: interviene en las confrontaciones de los grupos de interés. -Uso simbólico: legitimación de decisiones ya tomadas. Intensidad y duración del impacto.

Efectos secundarios: -Extensión y profundización de la colaboración. - Actitudes hacia futuras investigaciones - Efectos en los aprendizajes organizacionales. - Efectos en las carreras.

Los usos de los resultados de la evaluación cualitativa del PEC. La hipótesis central de este análisis consiste en la ausencia de correspondencia entre el esfuerzo empleado en generar los resultados de la evaluación y los usos de tales resultados (cualquiera sea el sentido del uso) ya sea con relación al programa o con relación a la política. En la discusión debe tenerse en cuenta que el estudio terminó hace relativamente poco tiempo (octubre de 2006) y que actualmente existe un ambiente de amplio debate sobre la reestructuración de la educación mexicana. En el debate se encuentran presentes, hasta ahora de manera más indirecta que directa, algunos de los resultados de la evaluación cualitativa del PEC.

Usos directos e instrumentales para el programa. Los usos instrumentales se derivaron de los primeros resultados claros desde la línea de base: el formato del proyecto escolar (que se derivaba del Programa de Transformación de la Gestión Escolar) no estaba funcionando para acentuar la autonomía en la escuela. La coordinación nacional del programa reconoció el problema y contrató a un especialista en gestión escolar para diseñar un nuevo instrumento: el Plan Estratégico de Transformación Escolar. Nuevos resultados mostraron que el nuevo instrumento no fue gestionado apropiadamente, por lo que finalmente se quitaron formatos obligatorios a nivel nacional y se abrió la posibilidad de que cada entidad seleccionara su propia variante.

Por otra parte, desde los resultados de línea de base se indicó que las escuelas que desarrollaban autoevaluación de manera más sistemática mostraban importantes cambios en el resto de características de una gestión escolar reflexiva, participativa e innovadora. Con esta base la coordinación solicitó a Heurística educativa un diseño de un paquete de autoevaluación de centros escolares, en talleres en los que participaron cerca de una centena de miembros de los equipos académicos del programa. Durante cinco talleres se revisaron técnicas y metodologías de autoevaluación de escuelas en Europa, América Latina, Estados Unidos y México. Después de este análisis se diseñó, de manera participativa, un modelo de autoevaluación denominado el Pizarrón de la Autoevaluación. La coordinación nacional del programa se comprometió a promover su producción y diseminación, lo que nunca sucedió. Sin embargo se conoce que este instrumento ha sido aplicado por decisión propia en escuelas de algunas entidades.

Como se puede observar, problemas de gestión del programa, su énfasis administrativo y el poco convencimiento de la necesidad del rediseño del programa provocaron que las dos dimensiones en donde los resultados influyeran fueran de poca significación e impacto.

Rechazo de los resultados. Como un ejemplo contrario, de rechazo de los resultados puede enfatizarse la experiencia de mostrar las características de las buenas prácticas pedagógicas al equipo responsable del diseño de los cursos nacionales de actualización y capacitación de maestros (PRONAP). Los resultados mostraron que el “enfoque”

35

pedagógico promovido por ese programa no correspondía a los casos exitosos, sino más bien a los maestros cuyos alumnos obtuvieron los resultados más bajos, por lo que optaron por rechazar los resultados del estudio y la posibilidad de usar las videograbaciones como instrumento de actualización y capacitación de maestros.

Usos para la política. Como ya se señaló, el PEC se ubica en una política que enfatizaba la centralidad de la escuela pero que, al mismo tiempo, careció de instrumentos para favorecer la concretización de ese principio. El programa mismo ha carecido de capacidad transformadora de la escuela y ha permitido que la lógica de la estructura administrativa sea la dominante. En este sentido actualmente se está desarrollando una conversación de políticas en donde se reestructure conceptualmente la centralidad de la escuela para entender el funcionamiento del sistema educativo, Al mismo tiempo que provea de legitimidad a una visión más incrementalista del cambio educativo. El modelo de centralidad de la escuela, que se presenta abajo, se ha estado utilizando en talleres con autoridades estatales con el fin de construir agendas que promuevan políticas en torno a la mejora continua de las escuelas públicas. Esta por verse el resultado de estos esfuerzos en la definición de las políticas para la actual administración federal.

MEJORA

CONTINUA EN

RESULTADOS

ES

TU

DIAN

TE

FAMILIA

COMUNIDAD

ESTRUCTURA

ADMINISTRATIVA

FINANCIAMIENTO

NORMATIVIDAD

INFRA-

ESTRUCTURA

FÍSICA

FORMACIÓN

DE

MAESTROS Y

DIRECTORES

ACTUALI

ZACIÓN DE

MAESTROS Y

DIRECTORES

RECURSOS

HUMANOS

DEL SISTEMA

CONTROL Y

GESTIÓN

ESCOLAR

CURRICULUM

MATERIALES

INSTRUC-

CIONALES

TECNOLOGÍAS

DE

ENSEÑANZA

INFORMACIÓN

Y

PLANEACIÓN

INVESTIGACIÓN

Y

EVALUACIÓN

GESTIÓN

DE LA ESCUELA

PARTICIPACIÓN

SOCIAL PRÁCTICA

PEDAGÓGICA

DE INSUMO A RECURSO

ESTRUTURA

POLÍTICA

ESTRUCTURA

ECONÓMICA

ÁÁMBITOMBITO

DE POLITICASDE POLITICAS

EDUCATIVASEDUCATIVAS

ÁÁMBITO DE LAMBITO DE LA

DEMANDADEMANDA ÁÁMBITO MBITO

ESCOLARESCOLAR

ÁÁMBITOMBITO

INSTITUCIONAL YINSTITUCIONAL Y

ORGANIZACIONALORGANIZACIONAL

AMBITO DEAMBITO DE

METASMETAS

PRÁCTICAS

PROMETEDORAS

Arreglo

Institucional y

organizacional

Consenso sobre

“ideas-fuerza”

Becas y

programas

sociales

36

Aspectos de la evaluación cualitativa del PEC que han disminuido su impacto. Desde el punto de vista del investigador principal del estudio son siete los aspectos que han impactado en su poco uso, a pesar de los esfuerzos por gestionar su correcta diseminación.

1) Ausencia de impacto del programa en los niveles de logro académico. El factor que más peso tiene, desde mi punto de vista, es que el estudio no identificó al PEC como un programa que tuviera éxito en la mejora de los aprendizajes de los estudiantes. Las escuelas PEC no mejoraron los logros académicos en español a lo largo del estudio ni mostraron obtener mejores resultados con relación a las escuelas con las que se les comparó a cuatro años de distancia. Este aspecto llamó poderosamente la atención de la prensa y facilitó que el programa dejara de ser el más importante de la administración Fox, siendo substituido por “Enciclomedia.”

2) Impactos poco significativos en la transformación de la gestión escolar y en la participación social; nulos en el cambio de la práctica pedagógica.

El programa no sólo careció de capacidad para mejorar los aprendizajes de los estudiantes sino que mostró que en las escuelas PEC los cambios que ocurrieron, en general, fueron más bien en infraestructura y cosméticos. La apuesta de que los casos de escuelas excepcionales llamaran la atención no ha funcionado hasta ahora.

3) Tardanza en hacer disponibles los diversos tipos de productos.

La Coordinación Nacional del programa se resistió a hacer públicos los reportes del estudio, no fue sino con presión que permitió la disponibilidad de los reportes de los diversos estudios en su página de Internet y en la página de Heurística educativa (octubre de 2006). Canceló una reunión final con los evaluadores y la posibilidad de debatir y comparar esta evaluación con otras.

4) Errores y dificultades en la gestión del estudio.

Entre los principales errores se pueden listar el rechazo a instalar la evaluación en el INEE, la ausencia de una estrategia de comunicación social sobre los resultados de la evaluación desde el programa y la tensión intrainstitucional con el INEE y la DGE por la confiabilidad de los resultados de logro académico. Además hubo tensión entre el equipo consultor y la Coordinación Nacional por el hecho de hacer críticas públicas al programa en congresos y conferencias, que obviamente fueron magnificados por la prensa. Además, la principal dificultad se basa en la carencia de una estructura administrativa que diera certeza al sostenimiento del estudio. Cada año se tuvo que renegociar las condiciones del estudio bajo muy altos niveles de incertidumbre.

5) Carencia de espacios sociales para el debate basado en evidencias.

37

A pesar de que en México existen múltiples espacios para la presentación unilateral de resultados no existen estándares mínimos para las evaluaciones educativas o procedimientos básicos que permitan considerar las evidencias31, por lo que la multiplicidad de estudios sobre un programa no evita que quede a la deriva de grupos de presión, muy particularmente de la presión de los medios de comunicación.

Tal vez se pudieran listar factores adicionales como baja capacidad de aprendizaje organizacional o la carencia de fundamentos empíricos pertinentes en el diseño de políticas y programas, pero no es clara la manera como estos elementos afectaron el poco uso del estudio. Definición de estrategias de gestión del conocimiento. El sexenio del Presidente Fox ha finalizado, existen nuevos responsables del PEC a nivel federal, el programa ha perdido presencia en los medios de comunicación pero sigue operando en toda la República y seguramente va a continuar su ejecución. En estos momentos, además, se esta construyendo el Programa Nacional de Educación y el Sindicato magisterial ha organizando un Congreso en donde se definirá la agenda a proponer en el marco de ese programa. Ante este escenario, ¿qué recomienda usted que se debe hacer para que los resultados de la evaluación cualitativa del PEC puedan influir mejor en el programa y en la política? Le sugiero que seleccione una de tres opciones generales (pueden construirse más alternativas): a) Trabajo desde los colectivos escolares. b) Trabajo desde las esferas de decisión política. c) Trabajo desde la meso-estructura administrativa. Actividades a realizar en equipo: 1. Mapa conceptual que identifique la estrategia para optimizar el uso de los recursos del estudio. 2. Presentación breve ante la plenaria.

31 A diferencia de los programas sociales, cuyas evaluaciones acaban de ser normadas a través de una ley especial.