políticas públicas: los debates de su análisis y evaluación

Andamios 39

* Doctora en ciencias polticas y sociales por la Universidad Nacional Autnoma de Mxico (unam). Profesora titular del Departamento de Poltica y Cultura de la Universidad Autnoma Metropolitana, Unidad Xochimilco (uam-x). Correo electrnico: [email protected]

Polticas Pblicas: los debates de su anlisis y evaluacin

Myriam Cardozo Brum*

Resumen: El artculo analiza las polticas pblicas como objeto de estudio y revisa los principales debates que atraviesan su campo terico y emprico en relacin con enfoques, mtodos y tcnicas de investigacin aplicables en dos etapas fundamentales de su proceso: la formulacin y la evaluacin. Concluye que la formulacin ha adolecido de tratamientos demasiado simplificadores, centrados en la disciplina econmica y con descuido de la informacin cualitativa, que han contribuido a justificar su limitado empleo. En materia de evaluacin reconoce avances importantes desde dos corrientes encontradas (positivismo y constructivismo) y argumenta en favor de la segunda, en tanto muestra mayor apertura en la comprensin de la complejidad, la participacin social, el anlisis interdisciplinario y la combinacin de mtodos cuantitativos y cualitativos.

PalabRas clave: polticas pblicas, anlisis, evaluacin, mtodos, Mxico

intRoduccin

El presente artculo constituye una sntesis analtica de diversos trabajos realizados en torno al estudio de las polticas pblicas en el contexto mexicano de los ltimos treinta aos. Pone nfasis en el debate sobre sus enfoques, mtodos y tcni cas de investigacin (disciplinariedad/no disciplinariedad, positivismo/constructivismo, cuantitativismo/cualitativismo, simplificacin/

Volumen 10, nmero 21, eneroabril, 2013, p. 3959

Andamios40

myRiam caRdozo bRum

complejidad, entre otros) en dos momentos de su proceso de desarrollo: la formulacin y la evaluacin. Finalmente, presenta una valoracin de la experiencia mexicana en el tema y sus perspectivas.

las Polticas Pblicas como objeto de estudio

El estudio de las polticas pblicas (policies) comenz a desarrollarse a mitad del siglo pasado con los trabajos de Laswell (1951), quien se refera a ellas como disciplinas que se ocupan de explicar los procesos de elaboracin y ejecucin de las polticas (citado en Aguilar, 2000: 47), para resolver problemas pblicos, de inters y utilidad para todos los individuos de la asociacin poltica, con base cientfica, interdisciplinaria y al servicio de gobiernos democrticos (Aguilar, 2000). De tal suerte, las polticas pblicas constituyen respuestas diseadas y aplicadas, a travs de procesos polticos y tcnicos, para resolver problemas que, por su relevancia para importantes sectores de la sociedad, no son factibles de enfrentarse eficazmente desde el mbito privado. Ellas surgen co mo resultado de un proceso de sucesivas tomas de posicin, que se concretan en un conjunto de decisiones, acciones u omisiones, asumidas fundamentalmente por los gobiernos, que traducen, en un lugar y periodo determinado, la respuesta preponderante del mismo frente a los problemas pblicos vividos por la sociedad.1

Los gobiernos son considerados como los principales actores responsabilizados con las polticas pblicas, debido a su privilegiada disposicin de recursos y poder para ofrecer bienes, servicios y transferencias que resuelvan problemas pblicos, si bien la participacin de las organizaciones civiles y sociales y de los ciudadanos en general se considera altamente deseable. En el proceso de sucesivas tomas de posicin se concatenan planes, programas, proyectos, acciones u omisiones, por lo que se descarta

1 La sntesis presentada, incluida en Cardozo (2012a), retoma ampliamente elementos desarrollados en los trabajos de ODonnell y Oszlak (1976) y Oszlak (1980). Una descripcin detallada de lo que el concepto puede implicar se puede consultar en Subirats (1989).

Andamios 41


que una decisin aislada constituya una poltica. Adems, no resulta ocioso aclarar que los gobiernos no actan de manera absolutamente coordinada, racional y consistente, sino que se componen de organizaciones y funcionarios con posiciones diferentes, entre los que se imponen tendencias predominantes, por lo que se requiere el desarrollo de importantes procesos de coordinacin, articulacin y negociacin para lograr el cumplimiento de sus objetivos. El proceso de las polticas pblicas puede desagregarse en fases o etapas, que no deben entenderse como una secuencia temporal estricta, sino como una aproximacin meramente analtica. Su nmero vara en funcin de la desagregacin que cada autor realiza, pero actualmente hay consenso en incluir:

- La formulacin (anlisis exante, tomando como referencia la accin), que se basa en un diagnstico y definicin del problema, para generar y analizar sus alternativas de solucin; de manera que sea posible seleccionar la que se considere ms apropiada.

- La implementacin, que debera corresponder a la puesta en prctica y control de la formulacin anterior (en forma concomitante) mediante la toma de decisiones operativas y acciones concretas destinadas a incidir en el problema pblico original; pero que en la prctica suelen apartarse de la misma en distintos grados y por razones diversas (problemas del diseo, juegos polticos, recursos inadecuados, etctera).

- La evaluacin (estudio expost), que permite medir los resultados e impactos alcanzados, describir el proceso desarrollado, explicar sus determinantes y condicionantes, y calificar su grado de efectividad; para decidir si conviene seguir aplicndola, con o sin modificaciones, o amerita su terminacin o sustitucin.

En diferentes contextos y periodos histricos, el peso relativo del estudio de las polticas pblicas se inclin ms hacia alguna de las etapas sealadas. Hoy parece que los mtodos de anlisis para la formulacin son muy similares a los desarrollados en la dcada que sigui a la segunda Guerra Mundial; en cambio, se han incrementado las polmicas, los enfoques y los mtodos aplicables en la etapa de evaluacin.

Andamios42

myRiam caRdozo bRum

Por otra parte, las diferentes disciplinas que participan del enfoque de las polticas pblicas (economa, administracin, sociologa, etctera) tambin han concentrado su inters en el anlisis de algunas fases en detrimen to de las restantes: por ejemplo, los economistas haban predominado en el campo de la formulacin, pero recientemente han incursiona do fuertemente en materia de evaluacin. Por otra parte, Laswell (1971) plante otra diferenciacin relacionada con la anterior: el conocimiento del proceso de decisin y en el proceso de decisin de polticas, lo que dara lugar a la bifurcacin de dos corrientes: por un lado, el Policy Analysis, interesado en el momento normativotcnico de formulacin de la poltica, desde un enfoque de nfasis unidisciplinario; y, por otro, los partidarios de las Policy Sciences, preocupados por entender los procesos decisorios y las acciones, como suceden en los hechos, desde una perspectiva no disciplinaria, que tambin permitir evaluar la formulacin y la implementacin. En el presente artculo se asume el segundo enfoque para el anlisis a posteriori que permite arribar a la evaluacin de polticas. Y se trata de complementar el anlisis a priori con aportes de las ciencias sociales para superar su tendencia economicista.

el debate sobRe los mtodos

El analista y el evaluador emplean mtodos, es decir, procedimientos de investigacin que partiendo de una postura epistemolgica y un marco terico definen un conjunto de principios y normas, y realizan una serie de operaciones que les permiten seleccionar y coordinar ciertas tcnicas para alcanzar sus objetivos. Estas ltimas constituyen instrumentos concretos de recoleccin, anlisis, tratamiento, sntesis e interpretacin de datos (Cardozo, 2012). Coincidimos con Beltrn (1991) cuando plantea que, tanto terica como prcticamente, no existe unanimidad en lo que se entiende por mtodo cientfico, en tanto mtodo nico, detallado, riguroso y universalmente aceptado; existiendo slo una aceptacin general de sus principios: contrastacin como evidencia emprica, juego entre teora y realidad, exclusin de la manipulacin y el engao, recurso a

Andamios 43


la comunidad cientfica como rbitro y reconocedora de la verdad, y renuncia a la justificacin absoluta de la verdad encontrada. El anlisis de polticas compara las ventajas y desventajas de cada alternativa, pero como las mismas slo podrn concretarse en el futuro, se ve obligado a trabajar con base en estimaciones probables, en contextos permeados de riesgo e incertidumbre, donde la verdad pierde sentido como criterio de cientificidad. Algo diferente sucede con la evaluacin de polticas pblicas, que consiste en poner a prueba, como si se tratara de una hiptesis, explcita o implcita, si una poltica o programa de accin determinados han sido o no capaces de provocar los efectos esperados, con base en datos y opiniones sobre lo acaecido. Esto implica asegurarse de que dichos efec tos se han producido, y que la poltica ha sido su nica causa, descartando impactos de otras posibles variables. Pero la polmica sobre el mtodo es un reflejo de toda la discusin epistemolgica generada en torno a las posibilidades y formas de acceder al conocimiento, que excede en mucho el campo de las polticas pblicas. Existe una fuerte discusin que nace en el origen mismo de las ciencias sociales, que iniciaron su desarrollo en un contexto en que sus homlogas fsicas y naturales tenan ya un avance importante, basado en buena parte en la objetividad y reproductibilidad de sus observaciones, la cuantificacin de sus fenmenos y el empleo del razonamiento matemtico, lo que les permiti establecer leyes precisas y predicciones slidas, subestimando lo que no fuera mensurable. La aceptacin o el rechazo de ste como el camino a seguir por las ciencias sociales llevaron al desarrollo de dos posiciones contrapuestas: el positivismo y el interpretacionismo. Sin pretender realizar un anlisis del tema en profundidad, se identifican muchos autores especialmente dentro de la escuela neoclsica de la economa2 que consideraron que las ciencias sociales presentaban un atraso relativo y que su rigor y prestigio

2 Dicha escuela estableci un conjunto de supuestos sobre la base del cual elabor su teora hipottica deductiva en el marco de la lgica formal clsica, pagando un alto precio por su profundo alejamiento del funcionamiento real de la economa en materia de expectativas humanas, orden de sus preferencias, clculo de sus ganancias, decisiones de sus agentes, etctera.

Andamios44

myRiam caRdozo bRum

se ganaran por el mismo camino que lo haban logrado las fsiconaturales, contribuyendo a generar hasta el presente cierto dogmatismo metodolgico que privilegia la cuantificacin. Pero esa posicin ha estado lejos de gozar de consenso: otras ciencias sociales y otros enfoques de la economa misma se han mantenido relativamente alejados del instrumental matemtico clsico, debido a las diferencias epistemolgicas y metodolgicas entre dichas disciplinas. Mientras la matemtica pura ha establecido un conjunto de axiomas3 y, a partir de l, ha demostrado deductivamente sus proposiciones, logrando un conjunto slido y riguroso de conocimientos en un contexto determinstico, las ciencias sociales han construido su conocimiento en forma inductiva, por la va de la observacin y el anlisis de casos, cuya generalizacin permite identificar algunas regularidades probables (aunque sin la pretensin de las leyes fsiconaturales), conocimiento siempre provisorio en el sentido planteado por Popper (1977). Esta diferencia en la forma de acceder y desarrollar su conocimiento dificulta la compatibilidad de sus m todos, razn por la que en ciencias sociales ha sido ms comn el empleo de mtodos estadsticos para describir datos y realizar inferencias a partir de un conjunto incompleto de ellos (muestra), por lo tanto, no de terminstico, sino basado en la teora de las probabilidades y el riesgo.Sin embargo, la estadstica tambin tiene sus limitaciones: slo permite asociar variables; no demuestra relaciones causaefecto, como las que se requiere probar en la evaluacin de polticas. Pero hay otro motivo de rechazo al cuantitativismo men cionado: el exceso de simplificacin que implica la modelacin matemtica tradicional aplicada principalmente en las tcnicas de anlisis de polticas que se revisarn en el siguiente apartado. Frente a ste ha surgido un nuevo camino, promisorio aunque an incierto en su efectividad, que proviene de los estudios sobre la complejidad y el anlisis dinmico de sistemas no lineales, caracterizados por la multicausalidad, la posible demora entre causas y efectos, la

3 Por ejemplo, el desarrollo de geometras no euclidianas a partir de eliminar el supuesto de que las rectas paralelas nunca se cortan. Actualmente, un ejemplo de este tipo de estudios lo constituyen los trabajos en espacios ndimensionales donde n es mayor a 3 o bien es fraccionario (caso de los fractales).

Andamios 45


coexistencia de retroalimentacin positiva y negativa y muy especialmente por fenmenos de autorganizacin y emergencia de propiedades contraintuitivas, no previsibles, que justifica el rechazo de cualquier reduccionismo y la necesidad de superar los enfoques unidisciplinarios, remplazndolos por la multidisciplinariedad, la interdisciplinariedad y la transdisciplinariedad. Se trata de un enfoque que ha modificado la manera de encarar los proble mas en campos como los de la fsica y la biologa, que muestra aplicaciones de gran in ters en demografa, antropologa, lingsti ca, y que comienza a plantearse en el contexto de la evaluacin de las polticas pblicas (Forss, Marra y Schwartz, 2011). El debate actual ms arraigado en materia de polticas pblicas opone los enfoques positivistas y constructivis tas (relativistas), pasando por una perspectiva contingente, que utiliza a cualquiera de los anteriores o incluso una mezcla de ambos, dependiendo del contexto de la poltica. As, los enfoques positivistas se caracterizan sintticamente4 por poner distancia respecto del objeto analizado, preocuparse de la objetividad, la validez interna y externa de su diseo metodolgico, su confiabilidad y su poder de generalizacin. Mientras, los constructivistas consideran que existen mltiples realidades en correspondencia con la experiencia de cada uno de los individuos que las viven (en lugar de visiones objetivas), recuperan los efectos del contexto de las polticas, la pluridimensionalidad de los problemas, y enfatizan la investigacin cualitativa, a veces apoyada en la estadstica (Mayntz ,1987; Le Moigne, 1994; Thoenig, 1998; Monnier, 1995; Duran, 1999, en Cardozo, 2011b).

el anlisis de las Polticas Pblicas

Como ya mencionamos, el Policy Analysis de formulacin nos conduce a la toma de decisiones, cuyo proceso puede explicarse en funcin

4 Este debate se ver en mayor detalle al tratar el tema de la evaluacin de las polticas.

Andamios46

myRiam caRdozo bRum

de diferentes supuestos sobre la racionalidad humana y organizacional, que se traducen en otros tantos enfoques de esta etapa. El primero, identificado con la racionalidad total o exhaustiva, supone un decisor individual o diversos decisores organizacionales que actan como bloque unificado, disponen de informacin completa y una capacidad ilimitada de clculo que les permite revisar exhaustivamente todas las alternativas disponibles y encontrar siempre la mejor solucin a los problemas pblicos (optimizacin). Este enfoque se caracteriza por ser normativo y fuertemente cuantitativo.5

Un segundo acercamiento, desde el anlisis del proceso organizacional, pone el nfasis en la explicacin de la decisin tomada con base en las rutinas y procedimientos estndares vigentes en las organizaciones. Parte de la idea de una racionalidad limitada que lleva a alcanzar decisiones satisfactorias, en lugar de ptimas.6

Una tercera versin se fundamenta en el proceso poltico incrementalista, en que cada actor se mueve por sus propios intereses y negocia con los dems sin compartir sus fines, por lo que se considera que la optimizacin no es posible (no se cuenta con informacin completa ni existe capacidad ilimitada de clculo) ni deseable (no existen objetivos compartidos).7

Un cuarto enfoque, muy poco desarrollado, aporta el conjunto de elementos no racionales del proceso decisorio, en que se recuperan ele mentos como intuicin y experiencia desde perspectivas psicosociolgicas, antropolgicas y filosficas.8

Finalmente podemos encontrar mezclas de los distintos enfoques, que critican el modelo racional por las razones ya planteadas, pero tambin al incremental por su tendencia conservadora, que descarta

5 Sus orgenes los podemos encontrar desde la propuesta cartesiana, desarrollada en la teora de juegos, por Von Neumann y Morgenstein y en la teora de la estrategia, por Von Clausewitz.6 El enfoque es iniciado con los trabajos conductistas de Herbert Simon (1947 y 1957), y continuado por Cyert, March, Olsen, Cohen, etctera.7 Charles Lindblom retoma la idea de incrementalismo planteada por el enfoque anterior, atribuyndole una valoracin diferente en su famoso artculo The Science of Muddling Trough, aparecido en 1959.8 Citado a pie de pgina por Allison (1971) y desarrollado en Steinbruner (1974), quienes adems presentan los tres enfoques anteriores.

Andamios 47


los cambios radicales, y se propone una recuperacin selectiva de elementos de los distintos enfoques anteriores (Etzioni, 1967). En funcin de los enfoques previos, en el anlisis se utilizan muchas tcnicas, especialmente cuantitativas, desarrolladas con posteridad a la segunda Guerra Mundial e impulsadas en el contexto de Estados Unidos por el sistema Public Program Budgeting System (PPbs) y en el francs por la Rationalisation et Choix Budgetaires (Rcb), algunas de ellas adap tadas de la prctica privada de toma de decisiones y evaluacin de proyectos (rboles de decisin, evaluacin financiera, teora de juegos), otras de apoyo a los procesos (ecuaciones en diferencias, teora de co las, cadenas de Markov, modelos de simulacin), etctera. Entre las tcnicas es pecficas de polticas pblicas tenemos (Cardozo, 1993): el anlisis costoeficacia, el anlisis costobeneficio, los anlisis multicriterios y la tcnica de anlisis de factibilidad. El anlisis costoeficacia (c/e) permite comparar programas y proyectos alternativos que persiguen un mismo objetivo, mediante la seleccin de aqul que presenta menor costo por unidad de logro (c/e), o sea, tomando como base el enfoque optimizador de racionalidad exhaustiva. Debido a que la eficacia puede ser difcil de cuantificar en forma directa, su medicin se tiende a remplazar por indicadores indirectos, cuya seleccin se realiza tratando de mantener la mayor correlacin posible con los objetivos perseguidos. La limitacin ms importante del mtodo es que no permite la comparacin de programas con objetivos diferentes o mltiples. Al igual que la tcnica anterior, el anlisis costobeneficio (c/b) se ha empleado principalmente en Estados Unidos para intentar resolver el problema que plantea la primera, aun que continuando dentro del enfoque de racionalidad exhaustiva, mediante la homogeneizacin de los costos y los beneficios de todo tipo (financieros, econmicos, sociales, etctera) por medio de una unidad de medida comn (generalmente unidades monetarias), actualizando los flujos que se presentan en distintos momentos del tiempo, y comparando posteriormente ya sea las relaciones c/b de cada proyecto para seleccionar la menor, o bien, los valores actuales netos (van) para seleccionar el mayor de los positivos. Esta tcnica ha sido criticada por: 1) las dificultades y

Andamios48

myRiam caRdozo bRum

arbitrariedades en que incurre para la cuantifica cin de efectos que no tienen un valor de mercado, lo que se realiza mediante la atribucin de precios sombra; 2) la falta de criterios cla ros para determinar la tasa de actualizacin social y, en su caso, los fac to res de ponderacin para los diferentes grupos de ingresos; 3) su tendencia a incluir slo las variables de cuantificacin ms sencilla (econmicas y financieras) a pesar de su objetivo manifiesto; y 4) su excesiva confianza en que un sofisticado anlisis, poco accesible para la mayora de los interesados y basado en cuantificaciones discutibles, conduzca a una seleccin ptima, fundamentada como en el caso anterior, en supuestos de racionalidad total (Cardozo, 2012a). En el contexto francs se ha desarrollado una nueva tcnica que intenta reaccionar a las crticas antes presentadas: los anlisis mul ticriterios, especialmente el Electra. Esta tcnica recupera la participacin de los grupos implicados en el problema, toma en cuen ta objetivos mltiples y aplica valoraciones subjetivas y cualitativas en una escala preestablecida. Procede ordenando los programas en funcin de cada objetivo y negociando sus prioridades con los interesados o sus representantes. Es de carcter no optimizador, responde al modelo de racionalidad limitada, restringindose a buscar la solucin ms satisfactoria a travs de una simulacin cuantitativa del regateo social que permite identificar el subconjunto de programas que presentan las mejores calificaciones y que al mismo tiempo carecen de fuertes oposiciones, aunque stas provengan de grupos minoritarios. Por su parte, la tcnica de anlisis de factibilidad (conocida como fat por sus siglas en ingls) es la que ms se aproxima a tomar en cuenta los elementos polticos del tercer enfoque antes presentado. Trata de estimar subjetivamente: 1) la posicin probable de cada protagonista o interesado (apoyo, rechazo, o indiferencia) frente a una alternativa de poltica; 2) la disponibilidad de recursos (presupuesto pero tambin capacidad tcnica, prestigio, acceso a medios de comunicacin masiva, legitimidad social, etctera) de cada protagonista para influir en favor de su posicin, y 3) el orden de los protagonistas en funcin de su capacidad de influencia efectiva (magnitud relativa de recursos en comparacin con la de los dems). Esto se puede completar con el anlisis de las posiciones histricamente sostenidas por los principales grupos

Andamios 49


de inters, sus coincidencias, conflictos y posibilidades de lograr alianzas a favor o en contra de la poltica en discusin (Cardozo, 2011a). A parte de la concepcin de racionalidad que subyace en cada una de estas tcnicas y de su fuerte componente cuantitati vo, es importante sealar que no son siempre usadas con la neutralidad que aqu han sido expuestas, sino que a menudo son manipuladas para justificar y legitimar decisiones adoptadas con base en otros intereses (pseudoevaluaciones), en cuyo caso el modelo incrementalista de Lindblom (1959) explica mejor estos procesos. El cuarto enfoque que enunciamos, de tipo cualitativo, se ha traducido poco en las polticas pblicas. Sin embargo, en los ltimos 20 aos se han desarrollado algunos in ten tos muy prometedores de tomar en cuenta las emociones en los procesos decisorios organizacionales (Laflamme, 1995), intentos que es posible recuperar en la etapa de formulacin. En dichos procesos, las emociones afectan la estimacin de probabilidades y la valoracin de resultados posibles, as como el orden de preferencias del decisor (si es que tiene uno claro), por lo que la decisin asumida tiende a alejarse de la que se asumira bajo un esquema racional. En nuestro contexto nacional, Aguilera y Contreras (2008) retoman antecedentes de Simon, March, Ortony, Howard, ORorke, Fineman, Elster, Frijda y Goleman para proponer tambin el diseo y utilizacin de modelos cuantitativos multiagentes que simulen comportamientos con base en emociones (Cardozo, 2011a). Sin embargo, si en el campo de lo social, lo poltico o lo cultural se enfrentan dificultades pa ra efectuar mediciones o establecer relaciones entre variables que permitan avanzar en su modelacin matemtica, tratndose de emo ciones el problema es an ms difcil ya que ni siquiera podemos observar las directamente y a menudo no vemos de ellas ms que sus manifestaciones corporales, adems de que no siempre son manifiestas, sino que pueden ser controladas y hasta ocultadas por las personas. Finalmente, el anlisis cualitativo contribuye tambin a la formulacin de polticas con el estudio de diversos tpicos como: viabilidad poltica, presin ejercida por los grupos de inters, procesos de negociacin, articulacin entre los sectores gubernamentales

Andamios50

myRiam caRdozo bRum

participantes, recuperacin de experiencias similares, anlisis de las limitaciones de los anlisis cuantitativos, entre otros (Cardozo, 1993).

la evaluacin de las Polticas y PRogRamas

La evaluacin de polticas y programas puede realizarse con objetivos y criterios muy diversos (disponibilidad de recursos, anlisis de procesos, eficacia, eficiencia, calidad, equidad, etctera), pero nos referire mos especialmente a la evaluacin de impactos por ser la ms compleja. Implica valorar el conjunto de efectos, directos o indirectos, previstos o no, que la intervencin realizada ha provocado en el problema que la origin (Cardozo, 2012a). Ella ha sido ampliamente aplicada a los ms variados contextos internacionales aproximadamente desde la dcada de los ochenta, y tambin asume diferentes enfoques. Aqu la diferencia sustantiva radica en avanzar hacia su estandarizacin con base en un pensamiento positivista o disearlas en cada caso en funcin de sus particularidades, retomando una visin constructivista. A nivel de los mtodos, los primeros ponen nfasis en la cuantificacin y privilegian el uso de la experimentacin en la evaluacin de impactos. sta busca establecer relaciones de causalidad entre el programa y sus efectos; toma como referencia el paradigma metodolgico desarrollado para las ciencias naturales, debido al alto nivel de rigor que le permite detentar la exclusividad de verificar relaciones de causaefecto estables entre ciertas acciones y sus supuestas consecuencias. La realizacin de un experimento social requiere construir un estado contra factual que estime lo que habra ocurrido de no haberse realizado la intervencin en cuestin (Banco Mundial, 2004: 237). Dicho diseo implica conformar aleatoriamente dos grupos entre los posibles destinatarios de las actividades evaluadas, lo que garantiza estadsticamente su equivalencia. En estos dos grupos se introduce una sola diferencia: el programa a evaluar que se aplica en uno (grupocaso o tratamiento) y no en el otro (grupocontrol o testigo). Luego se procede a hacer mediciones iniciales y finales en ambos grupos (e intermedias si se desea mayor control) sobre el tema de inters para

Andamios 51


identificar sus diferentes evoluciones, cuya nica causa se vincula con la actividad desarrollada slo en el grupocaso. Pero la conformacin de grupos equivalentes en ciencias sociales se ha dificultado notoriamente tanto por problemas tcnicos como ticos, por lo que es comn recurrir a mtodos menos rigurosos como los cuasiexperimentos y los mtodos no experimentales (Cardozo, 2012a). Las comparaciones antesdespus de un mismo grupo (corte longitudinal) o las realizadas entre grupos (mediante cortes transversales) se desarrollan a partir de la generacin de indicadores para las variables impactadas (aunque los indicadores se emplean tambin en otros tipos de evaluaciones). Estos se definen como la expresin de medida de un atributo (Sann, 1999), medidas cuantitativas de aspectos del logro que permiten contar con seales sobre su desempeo, mediante su comparacin con los referentes internos o externos. Permiten comprobar si hay o no un acercamiento progresivo a las metas propuestas y operativizar la medicin de las variables, sealando sus grados y variaciones en la forma ms objetiva y verificable posible (Cardozo, 2012a). La construccin de indicadores requiere el conocimiento de los objetivos y actividades de la poltica o programa evaluado, las fuentes de informacin disponibles, la periodicidad de la informacin, sus usuarios potenciales, los estndares de aceptabilidad, entre otros. Dichos estndares pueden establecerse con base en valores histricos previos, me tas planeadas o resultados de unidades de anlisis similares a las evaluadas (a nivel nacional o internacional). Los organismos multilaterales suelen solicitar que los indicadores se diseen siguiendo la orientacin de su marco lgico: objetivo general, objetivos especficos, metas, indicadores, fuentes de informacin y resultados. La Comisin Econmica para Amrica Latina (Cepal, Sann, 1999) y el Banco Interamericano de Desarrollo (bid, 1997) proponen usar una matriz de cuatro filas (objetivo superior, objetivo especfico, productos o componentes y actividades) y cuatro colum nas (resumen narrativo de objetivos, indicadores para medirlos, medios de verificacin de los anteriores y supuestos de desarrollo). En el caso del Banco Mundial (bm, 2004), su marco lgico se compone de indicadores para: 1) monitoreo de desempeo continuo: de entrada, actividades y

Andamios52

myRiam caRdozo bRum

salida (resultados de corto plazo), y 2) evaluacin de impacto (de largo plazo). La informacin cuantitativa generada en los diseos anteriores pue de analizarse con tcnicas estadsticas: anlisis de datos (tipologas), anlisis de series temporales, anlisis multivariado (varianza y covarianza) y estimacin economtrica sobre datos longitudinales agregados. Finalmente, los criterios utilizados en las mediciones cuantitativas giran, fundamentalmente, alrededor de la eficacia (logro de objetivos), la eficiencia (logro de resultados al menor costo posible), la efectividad (impacto, incluyendo externalidades positivas y negativas) y la equidad (distribucin de los objetivos logrados en relacin directa con las necesidades existentes). Es importante destacar que cuando se habla de logro de objetivos y de costos, no se hace referencia slo a los de carcter econmico, sino tambin a los sociales y ambientales que permiten una conceptualizacin adecuada de los criterios anteriores, comnmente reducidos a la productividad o la rentabilidad financiera. Por su parte, los constructivistas mezclan elementos cuantitativos y cualitativos para equilibrar sus resultados: informaciones cuantitativas recogidas por mediciones comparativas en muestras contrastadas, con datos cualitativos obtenidos por la observacin etnogrfica (Patton, 1997). Puede ser el caso de la encuesta, otro de los instrumentos de evaluacin de resultados ms empleado, que recoge informacin, percepciones y opiniones subjetivas de una muestra representativa de destinatarios y no destinatarios de las acciones, a las que se puede dar tratamiento estadstico. Pero tambin puede incluirse el mtodo Delphi, el benchmarking o el diseo de escenarios prospectivos. Los mtodos estrictamente cualitativos han surgido, en su mayora, de la crtica de enfoques cuantitativos, de extraccin generalmente positivista como ya se mencion, que suponen la existencia de rasgos universales y regularidades. Las ciencias sociales han evolucionado en sentido opuesto, del estudio de grandes procesos estructurales (macro) con metodologas cuantitativas a la construccin social de significados en las comunidades locales con enfoque cualitativo, enfatizando el anli sis de las diferencias y el estudio de lo individual (micro), y profundizando en el estudio de sus motivos, intereses, valores, actitudes, comunicacin, conductas, significados y emociones, as como en las dimensiones

Andamios 53


sociales, culturales y polticas en que se desarrolla la vida de los grupos en sociedad, sus acciones e interrelaciones. Estos mtodos no tratan de medir los efectos de las intervenciones, pero son muy tiles para complementarlos con un anlisis explicativo que reconstruye el proceso de su implementacin para comprender los resultados alcanzados. Las tcnicas de recoleccin de datos empleadas en estos casos se caracterizan por:

- Un esfuerzo por observar, escuchar y comprender (Tarrs, 2001) al otro a partir del involucramiento y la empata del investigador con el instrumento utilizado y con el objeto a estudiar (reflexionando, interviniendo y controlando activamente el proceso).

- Una bsqueda de significados, ideas y sentimientos subyacentes o latentes en las descripciones obtenidas de las palabras o de las conductas observadas.

- Una alta relevancia otorgada a la narracin y valoracin de esa subjetividad, tratando de contextualizar las experiencias estudiadas y de interpretarlas tericamente, sin preocuparse por la representatividad de los casos analizados frente al universo total, razn por la que no generalizan sus resultados, salvo con el carcter de hiptesis heursticas.

- Una creciente preocupacin por adaptar las concepciones y procedimientos sobre validez y confiabilidad para que el conocimiento generado cualitativamente sea aceptado y til.

En relacin con este ltimo aspecto, es necesario destacar que los planteamientos cualitativos han desembocado tambin en una redefinicin de los criterios de confiabilidad y validez, heredados del positivismo. Resulta muy difcil valorar estos criterios para quienes no participaron en el proceso y, por lo tanto, limitan la confianza para utilizar sus resultados como informacin secundaria. Sin embargo, hay que reconocer que tampoco en materia de mtodos cuantitativos podemos estar seguros en temas como la composicin aleatoria de la muestra para garantizar su representatividad, o la forma en que se aplic un cuestionario. Por lo que parece que el nico criterio que podemos tomar en cuenta, en ambos casos, se refiere a la legitimidad y el prestigio

Andamios54

myRiam caRdozo bRum

del equipo de investigadores y la institucin que realizaron el trabajo. En particular, la evaluacin pluralista (Monnier, 1995) renuncia a alcanzar conclusiones cientficamente verificadas para negociar un compromiso aceptable con los actores. Entre los mtodos cualitativos, la tcnica ms recurrida es la entrevista; pero tambin pueden emplearse otras: estudios de caso, biografas, historias de vida, observacin tradicional y participante, investigacinaccin, dinmicas de grupo, grupos de discusin, grupos focales, paneles de opinin, debates dirigidos, anlisis de textos, entre otros. Los criterios empleados en estos estudios cualitativos enfatizan aspectos vinculados a la calidad, satisfaccin del usuario, congruencia, oportunidad y pertinencia, entre otros.

la exPeRiencia mexicana

Mxico presenta avances muy diferentes en materia de anlisis y de evaluacin de polticas pblicas. Si bien su estudio se introdujo al pas a inicios de los ochenta, y las tcnicas empleadas en el anlisis tenan ya 30 aos de utilizarse en pases como Estados Unidos, Reino Unido o Francia, su enseanza en programas de estudio de posgrado fue restringida y nunca han llegado a utilizarse en forma amplia en una prctica gubernamental, tradicionalmente acostumbrada a tomar decisiones basadas ms en el inters poltico que en su anlisis tcnico, econmico y social. En consecuencia, podemos encontrar pocos ejemplos de utilizacin de las tcnicas presentadas por parte del gobierno federal (gf) y el correspondiente al Distrito Federal (gdf) que hayan sido publicados, aunque se sabe que los organismos internacionales como el bid o el bm han solicitado anlisis c/b y c/e en muchos casos en que han aportado recursos para el financiamiento de programas y proyectos. La situacin ha sido diferente en materia de evaluacin de polticas y programas pblicos, que se inicia en forma generalizada en el pas prcticamente con el nuevo siglo, pero en cuyo caso el proceso de institucionalizacin y comunicacin ha sido mucho ms amplio.

Andamios 55


Las restricciones de recursos, la poca efectividad demostrada por los programas, el apogeo de nuevas ideas sobre la gestin pblica, son algunas de las razones que han impuesto una prctica expandida de evaluacin expost. La misma se ha reforzado con exigencias legales dirigidas sobre todo a los programas de desarrollo social desde el ao 2000 en el df y desde el 2004 en el gf (leyes de Desarrollo Social), la creciente obligacin de publicar sus resultados (leyes de Transparencia y Acceso a la Informacin Pblica), el diseo de organismos descentralizados encargados de coordinar los procesos (Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social, Coneval, a nivel federal, en funcionamiento desde 2006; y Consejo de Evaluacin del Desarrollo Social, Evala, a nivel del gdf, conformado en 2008), involucramiento de universidades, centros de investigacin y organizaciones sociales en la realizacin de trabajos de evaluacin externa, entre otras. La prctica de Coneval se ha caracterizado por disponer de amplios recursos que aplica con un enfoque positivista y tendencia unidisciplinaria (econmica), persiguiendo la estandarizacin de los pro cesos y privilegiando la medicin cuantitativa a travs de un trabajo de expertos que descuida la participacin social. De esta manera ha podido coordinar procesos que incluyen ms de cien evaluaciones anuales de programas de diferentes secretaras de Estado y organismos autnomos. En el caso de Evala df, sus recursos han sido ms austeros, ha desarrollado un nuevo enfoque que retoma las propues tas constructivistas, con diseos de investigacin especficos para cada caso, equipos de composicin interdisciplinaria, utilizacin de mtodos cuantitativos y cualitativos y preocupacin por la participacin so cial (Cardozo, 2012b). En este contexto ha desarrollado 13 evaluaciones de programas, siete de polticas, una de impacto de servicios y dos metaevaluaciones. Ambos Consejos enfrentan importantes problemas para lograr que los resultados de las evaluaciones se tomen en cuenta, especialmente por los evaluados: Coneval, porque sus recomendaciones no son vinculatorias y tiene que negociar con diferentes instancias su aplicacin, y Evala porque, a pesar de que lo son, enfrenta serios retrasos en el

Andamios56

myRiam caRdozo bRum

cumplimiento de las recomendaciones aceptadas y congelamiento de los procesos en que debieran resolver las controversias planteadas.

conclusiones

En teora, los mtodos cuantitativos tradicionales pueden realizar una aportacin valiosa al estudio de las polticas y programas pblicos, siempre y cuando se tenga presente el conjunto de supuestos en que se fundamentan y, por lo tanto, las limitaciones que presentan. Por su parte, los mtodos cualitativos permiten ahondar en el estudio de situaciones concretas y comprender aspectos subjetivos en mayor profundidad, complementando a los primeros en problemas de negociacin, consenso, legitimidad, satisfaccin, calidad, etctera. Com binando ambos mtodos debera poder obtenerse la adecuada integracin de las racionalidades tcnica y poltica, necesarias en el campo de las polticas pblicas. Sin embargo, en la prctica del anlisis de las polticas encontramos hoy un conjunto de tcnicas medianamente esclerosadas que no han sido exitosas en ningn contexto nacional, en particular en el caso mexicano, ya sea por su excesiva simplificacin y falta de realismo como por la arraigada tradicin de tomar decisiones gubernamenta les con base en otros criterios: intereses polticos, experiencia previa, intui cin, etctera. La nica alternativa que se vislumbra implicara considerar un diseo que capte la verdadera complejidad de los procesos implicados desde la diversidad disciplinaria y promueva una efectiva participacin social que exija la consideracin de nuevos criterios de decisin, tendientes a mejorar la calidad de vida de la ciudadana. En materia de evaluacin de programas, los mtodos cuantitativos pro veen los instrumentos que hacen posible contar con un panorama global y representativo de los logros y limitaciones de los progra mas que se evalan; mismos que resultan necesarios pero no suficientes pa ra la realizacin de una evaluacin integral que pretenda explicar los resultados alcanzados o valorar aspectos cualitativos. Ca da caso especfico requiere disear una adecuada combinacin de mtodos y tcnicas que permita captar su especificidad.

Andamios 57


En materia de evaluacin de impacto, es muy difcil identificar y medir con seguridad cul es la parte del cambio observado en un problema que puede considerarse como consecuencia de una intervencin especfica; tema que podra modificarse profundamente en caso de asumirse el enfoque de la complejidad, lo que implicara un nuevo rol y habilidades diferentes de los evaluadores, que habra que tomar en cuenta en sus entrenamientos. Limitarse al paradigma experimental implica re nunciar al aprendizaje de efectos no previstos, objetivos ocultos, teoras implcitas, etctera, y querer imponerlo como criterio de cientificidad conduce a pseudoexperimentaciones sin sentido o al empobrecimiento del campo del anlisis. Recientemente, algunos autores (Patton, 2002) afirman que si bien las herramientas disponibles son suficientes para evaluar programas y proyectos, no lo son para enfrentar la complejidad de las polticas y de su evaluacin, para las que casi no existen propuestas; por lo que se necesita una gran capacidad de inventiva metodolgica, una actitud flexible ante posibles explicaciones tericas alternativas y un conocimiento especfico del tema a evaluar. La planeacin de la evaluacin en estos casos se vuelve un arte, donde la experiencia y la intuicin pueden resultar ms efectivas que un conjunto de procedimientos analticos; no hay manuales aplicables. Ante las dificultades planteadas se muestran evidentes las ventajas de avanzar en el caso mexicano sobre enfoques constructivistas, meto dologas combinadas sin dogmatismos, equipos de trabajo pluridisciplinarios y esfuerzos por avanzar en la cabal compresin de la complejidad.

fuentes consultadas

aguilaR, L. (2000), El estudio de las polticas pblicas. Mxico: Porra.aguileRa, A. y J.C. Contreras (2008), La influencia de las emociones en la

toma de decisiones conjuntas: una aproximacin modlica. Mxico: El Colegio de San Luis Potos.

Andamios58

myRiam caRdozo bRum

allison, G. (1971), Essence of Decision. Explaining the Cuban Missile Crisis. Boston: Little Brown and Co.

bm (2004), La pobreza en Mxico: una evaluacin de las condiciones, las tendencias y la estrategia del gobierno. Mxico: Banco Mundial.

bid (1997), Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos. Washington: Oficina de Evaluacin del bid.

beltRn, M. (1991), La realidad social. Madrid: Tecnos.caRdozo bRum, M. (1993), La evaluacin de las polticas pblicas:

problemas, metodologas, aportes y limitaciones, en Revista de Administracin Pblica, nm. 84, Mxico: inaP.

_____ (2011a), Teora de las decisiones; marco tericoconceptual, Mxico: uam-x.

_____ (2011b), Organizacin y mtodos alternativos en la evaluacin de polticas y programas sociales. La experiencia consolidada y la emergente en el caso de Mxico, en Revista Gestin y Anlisis de Polticas Pblicas, nm. 5, Madrid: inaP.

_____ (2012a), La evaluacin de polticas y programas pblicos. El estado del arte. Mxico: uam-x.

_____ (2012b), Sistematizacin de la experiencia de Evala DF 2008. Metaevaluacin y autoanlisis. Mxico: uam-x/Evala df.

duRan, P. (1999), Penser lAction Publique. Droit et Socit, vol. 27, Pars.etzioni, A. (1967), La exploracin combinada: un tercer enfoque en la

toma de decisiones en L. Aguilar (2000), La hechura de las polticas. Mxico: Porra.

foRss, K., M. Marra y R. Schwartz (eds.) (2011), Evaluating the Complex. Atribution, Contribution and Beyond, en Comparative Policy Evaluation, vol. 18, New Brunswick (usa) y Londres (uk): Transaction Publishers.

laflamme, S. (1995), Communication et motion. Pars: LHarmattan.lasswell, H. (1951), La orientacin hacia las polticas, en L. Aguilar

(2000), La hechura de las polticas. Mxico: Porra._____ (1971), La concepcin emergente de las ciencias polticas, en

L. Aguilar (2000), La hechura de las polticas. Mxico: Porra.le moigne, J.L. (1994), Le Constructivisme. Pars: esf.lindblom, Ch. (1959), The Science of Muddling Through, en Public

Administration Review, vol. 19, Washington.

Andamios 59


mayntz, R. (1987), Sociologa de la organizacin. Madrid: Alianza.monnieR, E. (1995), Evaluacin de la accin de los poderes pblicos.

Madrid: Instituto de Estudios Fiscales.odonnell, G., y O. Oszlak (1976), Estado y polticas estatales en Amrica

Latina: hacia una estrategia de investigacin. Buenos Aires: cedes.oszlak, O. (1980), Polticas pblicas y regmenes polticos: reflexiones

a partir de algunas experiencias latinoamericanas, en Estudio cedes, vol. 3, nm. 2, Buenos Aires.

Patton, M.Q. (1997), UtilizationFocused Evaluation. The New Century Text. Thousand Oaks: Sage Publications.

PoPPeR, K. (1977), La lgica de la investigacin cientfica. Madrid: Tecnos.sann angel, H. (1999), Control de gestin y evaluacin de resultados

en la gerencia pblica, Serie Manuales, nm. 3, Santiago de Chile: cePal.

simon, H. (1947, ed. 1972), El comportamiento administrativo. Madrid: Aguilar.

_____ (1957), Models of Man, Social and Rational. New York: J. Wiley.steinbRuneR, J. (1974), The Cybernetic Theory of Decision: New Dimensions

of Political Analysis. New Jersey: Princeton University Press.subiRats, J. (1989), Anlisis de polticas pblicas y eficacia de la ad

ministracin. Madrid: inaP.taRRs, M.L. (2001), Observar, escuchar y comprender. Sobre la tradicin

cualitativa de la investigacin social. Mxico: Colmex/Flacso/Porra.thoenig, J.C. (1998), Lvaluation de lAction Publique Locale, en M.C.

Kesller et al., Evaluation des Politiques Publiques. Pars: LHarmattan.

Fecha de recepcin: 30 de mayo de 2012Fecha de aprobacin: 26 de febrero de 2013

Volumen 10, nmero 21, eneroabril, 2013, p. 3959

políticas públicas: los debates de su análisis y evaluación

Documents