1. Fundamentos deevaluacin de polticas pblicasMinisterio de Poltica Territorialy Administracin Pblica Agencia Estatal de Evaluacin de las Polticas Pblicasy la Calidad de los ServiciosMadrid 2010 3

2. FUNDAMENTOS DEEVALUACIN DE POLTICAS PBLICASPrimera edicin: 2010Equipo Tcnico del Departamento de Evaluacin Marisa Merino CuestaRevisin:Direccin del Departamento de EvaluacinAna Ruiz Martnez De conformidad con lo establecido en los artculos 15.2 y 37.3 del RD 1418/2006, de 1 de diciembre, por el que se aprueba el Estatuto de la Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios, el documento Fundamentos de evaluacin de polticas pblicas fue tratado en la reunin de la Comisin Cientfica y Profesional celebrada el da 20 de mayo de 2010 y aprobado por el Pleno del Consejo Rector en su sesin del da 17 de junio de 2010. Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los ServiciosEsta obra se acoge al amparo del Derecho de la Propiedad Intelectual. Quedanreservados todos los derechos inherentes que recoge la Ley, as como los detraduccin, reimpresin e Internet (web). Se permite la reproduccin citando lafuente.Edita: Ministerio de Poltica Territorial y Administracin Pblica. Agencia Estatal deEvaluacin de las Polticas Pblicas y la Calidad de los Servicios.Catlogo General de Publicaciones Oficiales:http://www.060.esNIPO: 012100159 4 3. PRESENTACINLa evaluacin de las polticas pblicas es desde hace aos una preocupacincentral de los gobiernos de los pases industrializados. La mayor diferencia frente aotras tcnicas de mejora gerencial, enfocadas, prioritariamente, al control econmicoy al cumplimiento normativo, es que la evaluacin, en el actual contexto poltico,aparece ligada a aspectos sociales y de transparencia democrtica, en estrecharelacin con la publicidad de sus informes y la participacin plural de los actoresque entran en juego.En un mundo en perpetuo cambio, los poderes pblicos necesitan aprehender losproblemas complejos, difusos y contradictorios que tratan de resolver sus polticas.Esta cuestin exige lgicas comprehensivas frente a los anlisis atomizados ydescontextualizados de los controles administrativos tradicionales. Esa bsqueda deun mayor sentido holstico, traducida en una lgica ms integral, es la aspiracin dela evaluacin. La evaluacin no es slo una comprobacin de conformidad de la accin pblica,sino que expresa un juicio de valor sobre el xito de los resultados y los impactos deseados o no- de las polticas pblicas y ese juicio de valor se debe extraer con elmayor rigor y garantas, de ah la exigencia de una slida metodologa.Desde hace aos, las administraciones disponen de numerosas guas deevaluacin, referidas a diferentes sectores, sin embargo, cada institucin tiene suspropios enfoques en relacin a sus cometidos y eso lleva a particularizar susherramientas aprovechando un ncleo comn. Adems, se han producido grandescambios en el campo de la evaluacin que reclaman nuevos instrumentos yaproximaciones, con una demanda cada vez ms insistente, en la necesidad deinstrumentos para la evaluacin en el nivel estratgico de las polticas pblicas. Y eneste sentido se debe entender la aportacin de AEVAL. Este documento examina los fundamentos bsicos de la evaluacin de polticaspblicas en el panorama actual para reflexionar sobre los nuevos retos.La evaluacin revela, actualmente, un campo complejo, con innumerablesprcticas muy heterogneas y con enfoques y finalidades diferentes. Presenta undesarrollo desigual en los distintos pases y sigue mostrando ciertas tensiones entreel peso de sus componentes acadmicos y la lgica de las intervenciones pblicas.En cualquier caso, tanto los Estados como las comunidades cientficas reconocen,cada vez ms, la necesidad de evaluar el funcionamiento y resultado de lasinstituciones y sus polticas para elevar sustancialmente la productividad ymodernizar procesos especficos del sector pblico.A simple vista, tres grandes sectores dominan la industria de la evaluacin ymarcan muchas de sus reglas: el sector de ayuda al desarrollo, en los organismosinternacionales, el de los Fondos Europeos, en la UE, y el de la evaluacin interna decada pas, con infinidad de prcticas. 5 4. Adems de los dos grandes promotores internacionales en evaluacin, el tercerbloque ofrece un abanico de experiencias nacionales que recorre un amplio arco,desde la evaluacin como monitoreo o seguimiento, la evaluacin como herramientade mejora al servicio de la gerencia pblica new public management, hasta laevaluacin democrtica, encaminada a dotar de poder a la colectividad y de la quese habla en Europa, desde luego, pero an con mayor fuerza en las OrganizacionesInternacionales y en Amrica latina, porque all lo que est en juego no es slo lamodernizacin administrativa y la revitalizacin del sistema democrtico, sino sureforzamiento. Cada una de estas organizaciones tiene puntos de vista muy distintossobre el tipo de evaluacin a utilizar en funcin de sus fines. Este trabajo pretendemostrar someramente esta enorme variedad con la salvedad de no perder de vistaque la evaluacin, por profesional y excelente que sea, no es ms que un mapa quetrazamos para explorar la realidad y que una posicin moderna del conocimiento nopuede reclamar verdades absolutas. A su vez, desde el punto de vista poltico,convendra tener presente que por importante que sea su valor, la evaluacin es uninstrumento ms entre los mltiples que ayudan a la toma de decisiones pblicas.Una consideracin importante es que la mayor parte de las experienciasevaluadoras estn enfocadas a la evaluacin de programas 1 y mucho menos a laspolticas pblicas en cuanto a sus funciones superiores (tareas estratgicas degobierno y no slo gestoras y operativas), por lo que, existiendo infinidad deprcticas, son menos las que sirven como modelo respecto a la finalidad quepersigue el ms alto nivel de la accin de gobierno: la evaluacin de las polticaspblicas. Tratar de marcar esta diferencia, que est reclamndose cada da ms enevaluacin, ha sido uno de los propsitos de este trabajo. Respecto a la prctica evaluadora, el lector habr de considerar que teora yprctica van de la mano y lo sensato es mantener un equilibrio entre los quepropugnan que ms vale un gramo de prctica que una tonelada de teora, y losque piensan que la mejor prctica es una buena teora.La obra, que forma parte de un conjunto de materiales de los que ste es el textode partida, se ha estructurado en dos bloques: el primero, en el que se sita laevaluacin en el marco de la Nueva Gobernanza, trazando un breve recorridohistrico, en el que se pretende situar al lector en el origen de la evaluacin y en losdebates que ha suscitado, recogiendo, asimismo, los distintos aportesmultidisciplinares y polticos de la evaluacin y las diferencias con otras prcticas decontrol que, en ocasiones, se consideran afines; el segundo, de carcter mucho mstcnico, trata de la lgica, el vocabulario y los elementos que conforman la prcticaespecfica de evaluacin de polticas pblicas, bajo la consideracin de que sta espor s misma una intervencin pblica con sus fases de planificacin, implementaciny resultados. El propsito de la obra es proporcionar los fundamentos para comprender yvalorar la cultura de evaluacin y rendicin de cuentas en el mbito de lasAdministraciones Pblicas as como vislumbrar los retos y las estrategias necesariaspara su consolidacin. 1 Laevaluacindepolticaspblicasenglobalaevaluacindeprogramasyambascompartenprocedimientosytcnicas,peroseplanteandiferenciasimportantesencuantoalaspreguntasdelaevaluacin,criteriosyutilidades,queenlaevaluacindepolticasestnenrelacinalafuncinsuperiordelgobiernoyenlaevaluacindelosprogramasenrelacin,sobretodo,alafuncingestora. 6 5. ndice PRIMERA PARTE LA EVALUACION DE POLTICAS PBLICAS EN EL MARCO DE LA NUEVA GOBERNANZAQU ES EVALUAR?.................................................................................................. 13LA EVALUACIN EN EL CONTEXTO DE LA GOBERNANZA ............................................... 15LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOR EN LAEVALUACIN DE POLTICAS PBLICAS. ...................................................................... 17EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICO .................................. 18USOS Y FUNCIONES DE LA EVALUACIN..................................................................... 19DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA.................................... 22BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS Y PANORAMA ACTUAL ...... 27Primer periodo: Optimismo frente a los programas y optimismo frente a la evaluacin(1960-1970) ...................................................................................................... 27Segundo Perodo: Pesimismo respecto a los Programas y desencanto respecto a laevaluacin (1970-1980) ..................................................................................... 28Tercer Periodo: Institucionalismo, pluralismo y evaluacin..................................... 29DESARROLLO DE LA PRCTICA EN EL MARCO INTERNACIONAL: TENDENCIAS.................. 301. La prctica de la evaluacin en los distintos pases .............................................. 35La evaluacin en el continente americano............................................................... 31La evaluacin en Europa ...................................................................................... 332. La evaluacin de los Fondos Europeos. La UE y el Marco metodolgico: Las GuasMEANS .............................................................................................................. 353. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo: Organismosinternacionales ................................................................................................... 37 7 6. ESPAA: PROCESO DE INSTITUCIONALIZACIN DE LA EVALUACIN ..............................39LA AGENCIA DE EVALUACIN DE LAS POLTICAS PBLICAS Y LA CALIDAD DE LOSSERVICIOS (AEVAL) .................................................................................................41NECESIDAD DE GENERAR CULTURA DE EVALUACIN....................................................44FUNDAMENTOS DE LA EVALUACIN COMO INTERVENCIN PBLICA............................... 46LA EVALUACIN DENTRO DEL CICLO DE INTERVENCIN DE LAS POLTICAS PBLICAS .....46OBJETOS A EVALUAR: EVALUAR POLTICAS O EVALUAR PROGRAMAS?...........................48DIFERENCIAS DE LA EVALUACIN CON INSTRUMENTOS COMO EL CONTROL, LA AUDITORIA,LA INSPECCIN Y LA INVESTIGACIN. .......................................................................57FUNDAMENTOS ACADMICOS DE LA EVALUACIN........................................................ 60PARADIGMAS, PERSPECTIVAS Y ENFOQUES EN EVALUACIN .........................................61ENFOQUES PRINCIPALES DE EVALUACIN: CARACTERSTICAS DISTINTIVAS...................65EL DEBATE METODOLGICO EN EVALUACIN ..............................................................65RETOS ACTUALES EN EVALUACIN ............................................................................69SEGUNDA PARTECONCEPTOS BSICOS DE EVALUACIN DE POLTICAS PBLICASDEFINICIONES DE EVALUACIN................................................................................. 73ESTRATEGIAS Y LGICAS EN EVALUACIN.................................................................77BASE DEL TRABAJO DE EVALUACIN ..........................................................................78JUSTIFICACIN Y LGICA DE LA INTERVENCIN..........................................................79LAS PREGUNTAS EN EVALUACIN ..............................................................................80EL JUICIO DE VALOR ................................................................................................81PRINCIPALES TIPOLOGAS DE EVALUACIN ................................................................ 83EN FUNCIN DEL PARADIGMA ...................................................................................83EN CUANTO AL MODO DE INVESTIGACIN .................................................................86EN FUNCIN DEL PROPSITO:...................................................................................87EN FUNCION DE LA PERSPECTIVA TEMPORAL...............................................................88EN CUANTO A LOS EVALUADORES..............................................................................89EVALUACIN SEGN CONTENIDO .............................................................................90LA METAEVALUACIN ...............................................................................................97EL DISEO DE LA EVALUACIN................................................................................. 98TCNICAS ............................................................................................................. 102EL INFORME DE EVALUACIN .................................................................................. 103 8 7. UTILIDAD Y UTILIZACIN DE LA EVALUACIN........................................................... 106ANEXO 1 .............................................................................................................. 109REFERENCIAS DE INTERS SOBRE EVALUACIN ........................................................ 111BIBLIOGRAFA ...................................................................................................... 113 9 8. 10 9. PRIMERA PARTELA EVALUACION DE POLTICAS PBLICAS EN EL MARCO DE LA NUEVA GOBERNANZA 11 10. 12 11. QU ES EVALUAR?Evaluar (del lat. valere) significa estimar, apreciar, calcular el valor dealgo. El Diccionario de la RAE indica que evaluacin consiste en la accin yefecto de sealar el valor de una cosa. A su vez, en el Diccionario de MaraMoliner encontramos que evaluar consiste en atribuir cierto valor a algo. El matiz que introduce el adverbio cierto de la ltima definicin podra pasarinadvertido, pero no es desdeable al apuntar hacia el relativismo en que se muevenuestro conocimiento de la realidad. Cierto seala una aproximacin que nosrecuerda que la evaluacin es un mapa que trazamos para explorar la realidad y queen ningn caso debemos confundir con el propio territorio. Las ciencias, despus de todo, son nuestra propia creacin, incluidostodos los severos estndares que parecen imponernos. Es bueno recordarconstantemente este hecho. Paul K. Feyerabend (1984)Aunque el origen semntico del trmino evaluacin aporta el ncleo esencial delo que se entiende por tal, habr que distinguir entre el uso corriente del lenguaje yel lenguaje especializado que exige cualquier disciplina, cuestin sta que no resultasuficientemente clara en evaluacin, ya que en ella han influido tanto el lenguajecomn como diversos campos acadmicos y gerenciales. Lo que interesa destacar esque ninguna definicin es neutra y entraa diferentes abordajes y valores.La disciplina de evaluacin proviene de los pases anglosajones, donde aparecebajo la rbrica de dos acepciones sinnimas: assessment y evaluation que en laliteratura especializada tienen usos diferentes: assessment se utiliza en generalreferido a personas y evaluation, referido a intervenciones, programas, proyectos... La profesora Fernndez Ballesteros argumenta que en espaol ha prosperado eltrmino evaluacin al estar menos cargado semnticamente que valoracin.Evaluar es apreciar, analizar, valorar y juzgar los resultados e impactos de unaintervencin a fin de mejorar su calidad. La prctica de la evaluacin incluyeactividades tcnicas de observacin, de medida, de anlisis, pero no se reduce sloa eso. Se apoya en el mtodo cientfico pero no es una disciplina cientfica en elsentido habitual del trmino, sino una actividad institucional con vocacin deintegrarse en la gestin pblica y en el funcionamiento del sistema poltico. En lneas generales, se entiende por evaluacin un proceso integral deobservacin, medida, anlisis e interpretacin, encaminado al conocimiento deuna intervencin pblica -norma, programa, plan o poltica-, que permita alcanzarun juicio valorativo, basado en evidencias, respecto a su diseo, puesta enprctica, resultados e impactos. La evaluacin es un instrumento integrado en el anlisis de las polticas pblicasde carcter multidisciplinar y de reciente especializacin profesional que tiene porobjeto apreciar la eficacia de los programas o polticas pblicas, comparando susresultados e impactos con los objetivos asignados y los medios puestos a su 13 12. disposicin, emitiendo un juicio de valor. Ms que un instrumento de conocimientoper se es un proceso guiado por una serie de exigencias y valores: rigor,imparcialidad, transparencia, atencin a los distintos puntos de vista y voluntad deque prevalezca el inters general.La dificultad de establecer ese juicio valorativo sobre un campo tan complejocomo el de las polticas pblicas conlleva que la evaluacin trate de dotarse del msslido despliegue metodolgico y tcnico contando con una pluralidad de enfoquesdisciplinares y herramientas, considerando, cada vez ms, las necesidades de losactores implicados en el proceso. La evaluacin moviliza la capacidad crtica frente a las acciones de gobierno, perocon la exigencia democrtica de rodear cualquier juicio sobre una accin de lasmximas garantas.El nfasis metodolgico propio de la evaluacin es la diferencia con otrosinstrumentos de informacin y valoracin de los que se sirven los decisores pblicos.Lo relevante de la evaluacin es construir sus juicios apoyndose en unametodologa que ofrezca las mayores garantas de credibilidad. Precisamente porello, todo el proceso va encaminado a satisfacer las necesidades informativasgarantizando la fiabilidad de los datos, la solidez de los anlisis, la credibilidad de loshallazgos, la validez de las conclusiones y la utilidad de sus recomendaciones, ascomo cualquier otra cuestin de calidad tcnica y metodolgica que reflejarn susinformes. Para ello se auxilia en la caja de herramienta de las ciencias sociales, pero,tambin, cada vez ms, en la de campos como la planificacin estratgica y lagestin pblica.La evaluacin emite un juicio de valor, pero no persigue la recriminacin o lasancin como fin ltimo, sino un mayor conocimiento de las intervencionespblicas, suscitando un cambio de cultura para mejorar lo pblico. Su planteamientode la comprensin de los problemas es holstico, interesndose tanto por loscontextos como por los procesos, los resultados, los efectos y los destinatarios de lasintervenciones pblicas.Los dos componentes principales de la evaluacin de las polticas pblicas son su contribucin a la comprensin de la accin pblica y su rol de anclaje para el impulso de una democracia ms participativa.En cualquier caso, por rigurosos que sean los estudios de evaluacin no laconvierten en una disciplina cientfica puesto que su razn de ser es la actividadinstitucional y su fin ltimo la responsabilidad de los poderes pblicos frente a losciudadanos. Las diferencias entre evaluacin e investigacin social no se refieren tanto a losdiseos de investigacin y mtodos de recopilacin de datos, sino a los problemasque abordan y a su finalidad. Los evaluadores trabajan por encargo para un finprctico inminente. Los plazos de tiempo, la retroinformacin y la utilizacin de losresultados son mucho ms cruciales en evaluacin que en la investigacinacadmica. Tampoco debe confundirse la evaluacin con algunas prcticas complementariaspero diferentes como el control de gestin o contable, la auditora o la inspeccin. 14 13. La evaluacin se integra en una nueva cultura gerencial y poltica. La evaluacinaporta a esa cultura atributos tales como su carcter relacional y holstico en lacomprensin de la accin pblica y su razn ltima es la eficacia social, por lo quela evaluacin deviene instrumento de mejora de las intervenciones pblicas.El trabajo evaluador requiere un equilibrio entre el anlisis poltico-institucional y lareflexin metodolgica y epistemolgica. En la bsqueda de ese equilibrio y de supropia consolidacin profesional la evaluacin establece sus fundamentos sobre cincodimensiones claves: 1. Aspectos epistemolgicos y metodolgicos: distincin de los objetos de evaluacin, caractersticas y peculiaridades de la prctica, su historia, sus metodologas y herramientas. 2. Caractersticas y destrezas propias de la prctica en s. 3. Dimensin deontolgica: identificacin y seleccin de los valores a utilizar en evaluacin.4. Conocimiento de los aspectos terico-conceptuales de los programas y polticas de las que se ocupa. Teoras de conocimiento, estado de la cuestin, origen y puesta en marcha de las polticas pblicas, hallazgos, resultados, benchmarking, etc.5. Gestin del conocimiento en materia evaluativa. Acumulacin, explotacin y uso de los conocimientos que se van generando en ese campo.El cometido de este texto trata de desarrollar someramente la primera delas anteriores dimensiones.LA EVALUACIN EN EL CONTEXTO DE LA GOBERNANZADesde finales de la dcada de los ochenta, se viene asistiendo a un procesoacelerado de transformacin mundial: liberalizacin econmica, nueva regulacininternacional, dominio del mercado, nuevos problemas sistmicos, irrupcin denuevas tecnologas, etc. Una de las consecuencias ms importantes de estasvertiginosas transformaciones es la necesidad de perfeccionar el propio sistemademocrtico, de una parte, por el dficit de participacin ciudadana en las decisionesy de otra, por la exigencia de eficiencia que se reclama cada vez ms a lo pblico.La globalizacin, que ha incrementado de manera considerable la interrelacinentre la esfera nacional y la mundial, no es slo un fenmeno econmico ytecnolgico, sino un fenmeno cultural,social y poltico. En esta esfera se revela laprogresiva importancia que han cobrado los mbitos de decisin y de interaccintransnacional. El poder poltico efectivo ya no es slo nacional, sino que secomparte, se trueca y se cuestiona por diversas fuerzas y organismos pblicos yprivados, que transcienden las esferas nacionales, regionales y locales. Esto havenido a agravar ms an la crisis democrtica. La ciudadana siente cada vezmenos la identificacin con centros de decisin alejados de su capacidad e incidencia 15 14. y se ve sometida a una lgica de lites poderosas e influyentes que la suplantan.Esta situacin supone mayor complejidad e interaccin en las redes en las que sedesarrollan las relaciones de poder y la accin pblica y en las que el Estado no es elnico mbito de decisin frente a la pluralidad de actores. Hasta la propia naturalezatradicional de los estados nacionales ha sido puesta en cuestin. (Prats, 2000)No se trata aqu de relatar los cambios que han sufrido los Estados, ya que haymuchas diferencias en el papel que juegan unos y otros, pero, lo cierto es que, deforma generalizada, la globalizacin ha provocado una mayor jerarquizacin ysubordinacin entre ellos. Todo esto suscit el debate sobre la dimensin delEstado: el desarrollismo de los aos ochenta (Estado mximo) y el reduccionismo delos noventa (Estado mnimo), hasta llegar al momento actual, en el que se planteauna nueva redefinicin del papel del Estado bajo criterios de un nuevo ordeninternacional: El Estado, el que sea necesario, pero eficaz.Los Estados y sus polticas, se ven involucrados, cada vez ms, en interaccionestransnacionales, promovidas por agentes muy diversos, estatales y no estatales,que obligan a debatir en espacios cada vez ms abiertos y complejos que requierenun papel de equilibrio entre lo regional y global. Sin embargo, los riesgos no sonexclusivamente de desaciertos en la gestin o mala administracin, sino de que lopblico se disuelva en una gestin privada desgobernada de espaldas a los interesessociales y colectivos y que amparada en el propio sistema democrtico lo debilite olo desvirte. Si al mal gobierno le corresponderan unas polticas pblicas errneas, eldesgobierno lleva consigo la intencionalidad y no la mera ignorancia o incapacidadque provoca el mal gobierno y la mala administracin. De ah que desde hace aos, se trata de hacer frente a todos estos riesgos con elestablecimiento de una serie de principios, que se conocen como Nueva Gobernanza,que, naturalmente, tienen su incidencia en las polticas pblicas. La culminacin deeste proceso que persigue el buen gobierno y en el que se trata no slo de fortalecerlas instituciones nacionales, sino el sistema democrtico, no est exenta deconflictos e interpretaciones diversas, pues la gobernanza no est culminada nientraa lo mismo para todos. Se trata de un proceso en construccin pero quesupone en todo caso una nueva reflexin sobre el papel del Estado y de la sociedaden las decisiones pblicas y su interaccin en situaciones en las que los recursosestn dispersos. En Europa este impulso ha encontrado su plasmacin en el Libro Blanco de laGobernanza cuyos principios se fundamentan en apertura, participacin,responsabilidad, eficacia y coherencia, proponindose, tambin, los de legitimidaddemocrtica y subsidiariedad. Estos principios no son responsabilidad exclusiva delas instituciones europeas y, menos an, exclusivamente de la Comisin, sino queafectan a todos los niveles de responsabilidad de la administracin pblica, lasempresas privadas y la sociedad civil. Tratar, en la actualidad, de la evaluacin de polticas pblicas y no tener enconsideracin este contexto y sus principios restara valor a cualquier aproximacino estudio. El anlisis de las polticas pblicas y su evaluacin exige atender a losespacios geopolticos en los que stas se desarrollan: regional, nacional, sectorial yglobal y tener en cuenta aspectos metodolgicos amplios, complejos y adaptativos, 16 15. atendiendo a los contextos, la cultura, los principios, los criterios y los fines quepersiguen las polticas pblicas en sus diversas esferas de accin.La calidad del sistema poltico no es una variable independiente de la calidad desu Administracin Pblica, sino que hay una vinculacin directa entre ambas. LaAdministracin es un actor poltico clave. En su seno se toman decisiones muyrelevantes, adems de ser la encargada de implementar las polticas pblicas. Elcuestionamiento sobre el valor de lo pblico se percibe, muy a menudo, por el bueno mal funcionamiento de las administraciones y los servicios que estas prestan. Sin embargo, la relacin poltica-administracin no est exenta de tensiones quehan ido oscilando, a lo largo del tiempo, entre enfoques que otorgan mayor o menordiscrecionalidad y responsabilidad a los cargos administrativos. Esas tensionestambin estn presentes en la evaluacin.LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOREN LA EVALUACIN DE POLTICAS PBLICAS. Si se est de acuerdo con los principios que exige el buen gobierno, la valoracinde las polticas pblicas no debera soslayar el incorporar esos principios comomacro-criterios referenciales del campo de la evaluacin. PRINCIPIOS DE BUEN GOBIERNO1. Apertura: Impone a las Instituciones comunitarias trabajar de forma ms abierta. Comunicacin activa, lenguaje ms accesible y medidas que conduzcan a la confianza de los ciudadanos en las instituciones comunitarias. 2. Participacin: Se entiende que la calidad, la pertinencia y la eficacia de las polticas exigen una amplia participacin ciudadana tanto en la fase de formulacin como de implementacin y evaluacin. 3. Responsabilidad: Exige la clarificacin del papel de cada una de las instituciones comunitarias que intervienen en la toma de decisiones. 4. Eficacia: Requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros, de una evaluacin de su futuro impacto y en su caso de la experiencia acumulada.5. Coherencia: Exige que las polticas y acciones europeas sean coherentes y fcilmente comprensibles. (Libro Blanco de la Gobernanza europea) Por el momento, no resulta frecuente que las evaluaciones de polticas pblicasincorporen este marco referencial que debiera ser el punto de partida de lavaloracin de la accin pblica que se quiere considerar dentro del buen gobierno. 17 16. Desde esa perspectiva una poltica pblica podra tener buenos resultadosrespecto a sus objetivos pero incumplir el principio de apertura a los ciudadanos opresentar una baja legitimacin social. La participacin aparece ligada a la valoracinde calidad, la pertinencia y la eficacia de las polticas pblicas. Por otra parte, msall de la econmica contable, sigue existiendo poca cultura de la responsabilidad enlas organizaciones pblicas. La eficacia resulta un criterio ms comn, pero puedecorrer el peligro de limitarse a una eficacia gestora que no incluya la eficacia social. Hay que tener en cuenta la lgica de cada nivel de gobierno para resolver lastensiones que pueden existir en uno y otro al aplicar los criterios por los que sevalorarn las polticas pblicas. Por ltimo, dentro de la complejidad de esferas de gobierno, la coherencia de laspolticas pblicas parece un principio elemental de buen gobierno y deenjuiciamiento de lo pblico.La evaluacin de polticas pblicas apunta a un nuevo tipo de control poltico-democrtico en consonancia con los principios de la Nueva Gobernanza: responsabilidad, transparencia y participacin. Esta nueva forma de gobernar se apoya en modelos de gestin pblica, que persiguen mayor eficacia y eficiencia del Sector Pblico en sus diferentes niveles de gobierno, estratgico y operativo. Estos niveles se complementan, pero la lgica para su valoracin no es exactamente la misma.EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICODesde un punto de vista econmico tradicional se podra definir el valor pblicocomo la capacidad para satisfacer necesidades humanas mediante el uso de recursosdisponibles en la sociedad. Este punto de vista -importante para la empresa y elmercado- resulta inadecuado para el sector pblico por criterios de redistribucinequitativa, eficacia social y transparencia. Para los ciudadanos el valor pblico radicaen la mejora de los procesos polticos y para ello tan importante es el criterio deeficacia como el de equidad. Cuanto ms opacos sean los procesos decisionales msdesciende el logro de valor pblico y ms oculta queda la distribucin de losintereses de los diferentes actores. Lo que trata de lograr el valor pblico esfactibilidad econmica a la vez que social.En las ltimas dcadas, la mayora de las democracias avanzadas y en particularlos pases de la OCDE han venido desarrollando reformas del Sector Pblico con elfin de dar respuesta eficaz a las exigencias sociales. Conscientes de la necesidad dereforzar el sistema democrtico y mejorar la eficacia de sus administraciones hanadquirido mayores compromisos con la transparencia pblica y la rendicin, no slode cuentas, sino del conjunto de la accin pblica a los ciudadanos. La evaluacin de las polticas pblicas es un instrumento ms al servicio de estasreformas que tienen como base la reorientacin de las relaciones Estado-Sociedad y,entre sus objetivos tcticos, el alcance de una mayor eficiencia de las actuaciones 18 17. pblicas, valorando tanto los aspectos de una mala organizacin como la desafeccindemocrtica que produce el desgobierno y el deterioro intencionado de lo pblico.Reforzar los controles resulta cada vez ms necesario, aunque esos controles nosean exactamente los tradicionales. Evaluar es valorar lo pblico con el fin de transformar lo que no funciona, pero nobajo premisas exclusivamente tcnicas aunque desde luego necesarias-, sino,tambin, de interlocucin social que propicie una cultura de responsabilidad ymejora continua. Desde esta perspectiva, la evaluacin contribuye a la mejoraadministrativa que, no slo es compatible con la eficiencia, sino que puedereforzarla, promoviendo la lgica relacional entre las distintas esferasadministrativas y aprovechando sus capacidades, recursos y sinergias.La evaluacin de polticas pblicas trata de conectar democracia, control yeficiencia, entendiendo que sta, en el Sector Pblico, no puede referirse a losexclusivos criterios del mercado, ni a intereses de oligarquas administrativas. Lasreglas del buen gobierno deben equilibrar la eficiencia con otros criterios de valor delo pblico: equidad, cohesin social, corresponsabilidad, cooperacin institucional,comprendiendo y explicando las tensiones inherentes a los diferentes intereses quese entrecruzan en la accin pblica.El valor aadido de la evaluacin, en ltimo trmino, es su contribucin a lamejora de la calidad democrtica y slo en ello alcanza su plena legitimidad porque,si se limitara a tareas propias del control tradicional no tendra razn de ser; eso yaes competencia de otros controles del Estado.Para mejorar la capacidad de formular polticas pblicas de orden superior y paravalorarlas es necesario trascender las nociones convencionales de eficiencia yeficacia (no obstante su importancia) y valorar la capacidad de influir sobre elfuturo en la direccin deseada (enlightenment) y de profundizar o no en la calidaddemocrtica. Esa es la esencia de la evaluacin de las polticas pblicas. o Usos y funciones de la evaluacin De lo anterior se deduce que la evaluacin, desde la perspectiva de instrumentopblico, tiene dos usos complementarios y diferenciados: Uso poltico estratgico y democrtico: responsabilidad y transparencia gubernamental. Uso gerencial: mejora de la gestin pblica y de la calidad prestacional. La evaluacin tiene, tambin, desde su origen: Un uso acadmico y de aprendizaje Una finalidad dinamizadora. La evaluacin contribuye, tambin, a la formacin y a la movilizacin de losagentes y actores implicados en las intervenciones pblicas. Les ayuda a 19 18. comprender los procesos en los que participan y a apropiarse de una manera msresponsable de los objetivos que persiguen las polticas y a mejorar los resultados. El tiempo produce cambios que inciden sobre los objetivos trazados en laplanificacin de las intervenciones; es posible que un proceso dinamizador, como laevaluacin, pueda clarificarlos de mejor manera produciendo mejoras en laorganizacin del trabajo y en la eficacia del conjunto. Las herramientas modernas degestin pblica deben permitir a cada agente y a cada servicio definir mejor sustareas, valorar su cometido dentro de una estrategia general y desarrollar laparticipacin.Otro de los aspectos importantes de la evaluacin es que favorece laconvergencia de puntos de vista y la cooperacin entre actores polticos oadministrativos comprometidos conjuntamente en la marcha de una intervencin.Todo ello permite, no slo mejorar la eficacia, sino reforzar la legitimidad de laspolticas pblicas. En un inicio, la evaluacin puede vivirse como molesta porque consume tiempo yenerga. Puede generar desconfianza al interpretarse como un tipo de controladministrativo ms, pero, cuando su cultura va calando, conduce a los agentesimplicados a confrontar su accin cotidiana con los efectos externos y a asumirmayor responsabilidad frente a los resultados. Todo esto hace que la evaluacin, adems de un proceso cognitivo, se conviertaen un proceso de dinamizacin que promueve una cultura de tipo relacional quehabr de cohabitar con otras culturas administrativas: la jurdico-normativa, lagestora, la economicista Esta capacidad dinamizadora de la evaluacin presenta varios tipos de efectos:motivacinde los agentesimplicados,delegacin msconcretaderesponsabilidades, evolucin de los modos de decisin y mayor preocupacin por losresultados. Esta capacidad se convierte, adems, en el mayor propulsor y difusor dela propia cultura de evaluacin, tanto para los que deciden o proponenevaluaciones como para los que las dirigen y realizan. La experiencia muestra que las evaluaciones de mayor xito son las que renenvarias finalidades y usos. 20 19. Rendicin de cuentasJohn Elliott (1988), distingue tres tipos de rendicin de cuentas (accountability):social, econmica y profesional y centra el proceso en la misma institucin responsable dela poltica o programa ms que en agentes externos. Dado que las polticas utilizan fondos pblicos es preciso saber cmo se estn gastando.La responsabilidad poltica, social y tcnica exige garantas y comprobaciones de que seest trabajando con seriedad y eficacia. Sin embargo, no es suficiente con explicar cmo segastan los fondos pblicos y con su control por los organismos correspondientes (fiscalaccountability) sino responder de las acciones e inacciones que justifican los resultados.M. Kogan introduce un matiz al considerar la accountability como una condicin que seha de producir en el fenmeno social y que obliga a exigir responsabilidades e inclusosanciones. Es la condicin segn la cual los que tienen un papel individual son responsablesde la revisin y de la especial aplicacin de sanciones si sus acciones dejan de satisfacer aaquellos con los que tienen una relacin de responsabilidad (1988).Transparencia Junto con la rendicin de cuentas, la transparencia es un potente mecanismo decreacin de valor pblico. Para que la sociedad pueda percibir el grado de eficacia y eficiencia de lasadministraciones pblicas resulta necesario arbitrar procesos de transparencia. La publicidad de las evaluaciones contribuye, no slo a la mejora de los sistemas decontrol del Estado, sino a la percepcin por la sociedad de la responsabilidad de sus agentesdecisores y a la aportacin de los resultados de las polticas.El ejercicio de transparencia de las acciones pblicas las acerca a los ciudadanos que lasfinancian y les otorga legitimidad. Los ciudadanos necesitan saber, no slo en qu se gastasu dinero, sino qu resultados y qu impactos se producen con ese gasto.Mediante el proceso de evaluacin se produce un proceso continuo de aprendizaje,mejora y transparencia ante la sociedad de las acciones del sector pblico. Esta imagen deservicio adems de considerarse un derecho democrtico tiene un valor positivo per s, msall de los resultados, siempre que quede garantizada la independencia y la calidad de laevaluacin. 21 20. Participacin Para satisfacer las demandas ciudadanas, lo que se persigue, dentro del propio modelo dedemocracia representativa, es abrir mayores espacios a la participacin. Algunos prefierenhablar en este caso de democracia expresiva, al considerar lo impracticable que resulta laparticipacin en muchos temas de gobierno, pero propicindola siempre que sea posible,porque participacin y eficacia se complementan. o Este modelo no se limitara a manifestar la opinin existente acerca de los logros y los modos de la entrega de bienes y servicios a la sociedad en cada convocatoria electoral, sino que revelara el grado de legitimidad con que cuentan las instituciones en cada momento y para cada actividad, as como las preferencias de los ciudadanos acerca de las polticas pblicas. o Propulsar la democracia en la administracin pblica puede mejorar su control y eficiencia, fortaleciendo a la ciudadana tanto directa como indirectamente. Este es un planteamiento que tiene varias vas de realizacin, siendo la evaluacin una de ellas al tratar de favorecer la valoracin y la transparencia de las decisiones de los altos funcionarios involucrados y la responsabilidad de los gestores de programas en la implementacin de las polticas. o No se trata tanto de la despolitizacin del Estado, sino de justo lo contrario: lograr que el Estado y sus instituciones sean capaces de hacer bien la poltica y ello en razn de criterios de democracia, combinando equidad y eficiencia econmica.DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA La evaluacin de polticas pblicas, apoyada en mltiples disciplinas que laauxilian, se incardina en el campo de la Ciencia poltica, en su rama AdministracinPblica. Tiene relaciones con la formulacin del poder, con cmo se ejercita y losresultados e impactos que se obtienen. Afecta, por tanto, al mbito de gobierno ensu nivel estratgico: decisin y planificacin de las polticas, y al operativo-gestor:puesta en marcha, responsabilidad organizacional y calidad de los serviciosadministrativos. Estos mbitos responden a lgicas diferentes que habr que teneren cuenta. En el mundo de las Administraciones Pblicas, el concepto de estrategia no ha deentenderse como respuesta a la competitividad entre instituciones y empresas, sinocomo una serie de acuerdos explcitos que reflejan las preferencias surgidas deldebate entre los actores colectivos e individuales presentes en el marco de juego deesas Administraciones (Stewart y Ranson, 1988). La estrategia apunta a losobjetivos que se debieran o se pretenden alcanzar por los gobiernos, sueleplasmarse en planes y operativizarse a travs de programas y proyectos. o Vertiente gerencial Una vez establecidos los objetivos propios de una poltica (nivel decisional y deformulacin de la accin del gobierno) la implementacin entra de lleno en el campo 22 21. gerencial (la postdecisin). El problema crucial de la gestin pblica es lograr que lascosas se hagan y su campo natural es el despliegue de las polticas en planes y enprogramas gestores.Desde hace aos, viene siendo frecuente promover en las administracionespblicas una cultura gerencial, considerando que para su desarrollo es necesaria unaclara y especfica determinacin de objetivos. Esto se relaciona, a su vez, con lo quecomnmente se conoce como cultura de resultados, que no es otra cosa queanteponer el cumplimiento de los objetivos sealados y analizar sus resultados, encontraposicin a la orientacin tradicional que enfatizaba los procedimientos. Esteenfoque de resultados supone generar una dinmica interna en las organizacionesque redunde en la mejora del desempeo organizacional, pero presupone, tambin,partir de un proceso de planificacin y de un instrumental de evaluacin paraverificar el cumplimiento de metas y objetivos. Bajo este enfoque, la evaluacingerencialista supone preocuparse por los resultados y saber si se han alcanzado o nolos objetivos planteados. La administracin pblica, en su modelo tradicional (racional-burocrtico), noestaba pensada para preocuparse por los resultados, sino por la legalidad de suactuacin, por ello, los mecanismos de control se dirigan ms a certificar laconformidad de la actuacin administrativa respecto a lo previsto normativamenteque a encontrar indicadores de gestin y volumen de resultados e impactos. La constatacin de que los problemas de eficiencia en la actuacin pblicaresponden en gran medida a fallos gerenciales a la hora de generar incentivos y auna escasa prctica de produccin y aprovechamiento de la informacin de gestin,ms que a la mera titularidad pblica aunque sta imponga restricciones evidentessobre los aspectos anteriores- ha suscitado que las reformas de la Administracinhayan puesto el acento en la actualizacin y mejora de los modelos de gestinpblica apoyados en la ideologa de ciertas corrientes, en particular la Nueva GestinPblica. Para solventar los problemas de una burocracia ineficaz la corriente de la Nueva Gestin Pblica propugn la separacin entre administracin y poltica, reclamando en nombre de la eficiencia mayor discrecionalidad para lograr los objetivos. Esto supondra que los gobiernos, en su conjunto, estableceran los objetivos estratgicos de las polticas pblicas y los ministros determinaran los objetivos especficos que debe cumplir cada departamento, evaluando la consecucin de los mismos. Se reservan as los responsables pblicos el derecho de administrar las polticas pblicas, en razn de la consecucin de los mejores resultados. La corriente de la Nueva Gestin Pblica se apoya en la aplicacin de tcnicas y modelos de mercado en el campo administrativo, con el desarrollo de modelos institucionales tipo Agencias. En sus mejores intenciones, esta corriente trata de reducir el peso burocrtico, sin lesionar la racionalidad instrumental que est en su base, a travs de obtener mayor discrecionalidad para que los gerentes pblicos puedan seleccionar la combinacin ptima de insumos que permita producir los resultados fijados, asumiendo, a la vez, mayor responsabilidad gerencial. 23 22. La Nueva Gestin Pblica y los modelos Agencias, desarrollados al mximo en el mundo anglosajn, han mostrado aciertos pero tambin errores al pretender aplicar la lgica del mercado a lo pblico. Aunque lo ms importante es que tambin han demostrado derivas entre el nivel de decisin poltica y el administrativo. Cuando se producen esas derivas, el peaje poltico lo pagan los gobiernos. Esta brecha deja un campo de control especialmente interesante para la evaluacin, porque a la mayor autonoma de gestin que reclama la Nueva Gestin Pblica debe acompaarse, a su vez, un mayor control de responsabilidades.La atencin puesta en los resultados se ha convertido en un elemento central delas reformas recientes del sector pblico en los pases de la OCDE. Desde mediadosde los noventa, los esfuerzos sostenidos para modernizar las actividades de controlfueron creando las condiciones necesarias para el desarrollo de la capacidad deevaluar resultados. Al exponer las prioridades de las futuras reformas del sectorpblico, el Comit de la gestin pblica de la OCDE seal que el buenfuncionamiento del sector pblico exige una evaluacin continua de la eficacia de laspolticas. La evaluacin de resultados de los programas pblicos adquiere, en estecontexto, un papel central en los procesos de reforma de la gestin pblica. Laevaluacin de programas, entendida como el proceso generador de informacinsobre los resultados de la intervencin pblica y su posterior utilizacin en la tomade decisiones, ha resultado una herramienta prctica adecuada para alimentar losnuevos sistemas de gestin pblica basados, en su mayora, en adaptaciones almbito de la Administracin de modelos gerenciales nacidos en el marco de laempresa. No obstante, la ausencia de mercado para la mayora de las produccionespblicas y por tanto, de medidas directamente observables sobre el valor de lasmismas- ha generado la necesidad de adaptar metodologas que permitan estimar elefecto atribuible a los programas pblicos con el mayor rigor, pero atendiendosiempre a sus peculiaridades: el propio marco referencial de lo pblico.A pesar de la complejidad y las dificultades de los nuevo tiempos, los gobiernospueden mejorar el rendimiento de sus administraciones a travs de metas realistas,utilizando, de forma sistemtica, instrumentos de control durante todo el ciclo de laintervencin. De ah que, junto a los tradicionales controles de legalidad, gestin,inspeccin, auditora, la evaluacin resulta una herramienta absolutamenteaconsejable en las organizaciones orientadas a resultados y una fuente deconocimientos aplicables a las reformas de la gestin pblica (Thoenig, 2000) El enfoque de la evaluacin de polticas pblicas supone diferencias respecto a lostradicionales controles del Estado que aplican un punto de vista distinto para lavaloracin de la accin pblica. Estas tcnicas se centran, generalmente, en elcumplimiento de normas internas al sistema analizado (reglas contables, jurdicas onormativas), mientras que la evaluacin ensaya aprehender un punto de vistaexterno que alcanza una valoracin ms integral de todo el ciclo de la accingubernamental: planificacin, implementacin, resultados e impactos. Tan slo una salvedad, sera errneo confundir la cultura de resultados con laevaluacin de resultados. 24 23. Se entiende por cultura de gestin de resultados aquella que pone stos en elfoco de su gestin. Desde esta perspectiva, la propia evaluacin como unaintervencin pblica ms est comprometida con esa cultura y habr de procurar lamayor eficacia de su accin que se plasmar en sus informes. Sin embargo, laevaluacin, en su dimensin institucional aspira a una valoracin integral de lapoltica evaluada, a la implantacin de una cultura de evaluacin y de mejora de lopblico y a legitimar su propia accin con un compromiso de responsabilidad ytransparencia que va ms all de los resultados obtenidos en el nivel gestor yoperativo de uso ms interno.La evaluacin es un instrumento muy til y complementario de la cultura deresultados al proveer a los gestores y responsables de programas de una mejorinformacin sobre la que fundar sus decisiones y una mayor transparencia yrendicin de cuentas, pero, en ningn caso, los resultados de sus informespretenden ser la panacea a todos los problemas y males de gobierno o sustituir eljuicio de los decisores, sino ayudarles a obtener un feedback de informacin queproporcione responsabilidad sobre las polticas actuales y sus posibles mejoras.Es en el mbito gestor, sobre todo, que la evaluacin ha ido conquistando, desdela dcada de los 90, espacios de control y de mejora, introducindose en el mbitoreglamentario. Los gestores pblicos se han ido apropiando de la evaluacin comoherramienta ligada a un modelo de decisin pblica ms racional y con un carctertcnico. Pero, ya desde esa misma dcada, se viene explorando su potencialestratgico ms all de las exigencias reglamentarias y de las de mejora gerencial.Resulta obvio que los resultados de la gestin no son exactamente los resultados delas polticas. Los primeros, muestran su eficacia al alcanzar los objetivos gestores la buena o mala administracin-, mientras que los resultados de las polticas sonelementos mucho ms complejos donde los criterios gestores pueden entrar encolisin con los objetivos ltimos de una poltica o de sta con otras, teniendo encuenta adems la imbricacin de las diferentes esferas de gobierno. Por ejemplo, unPrograma de Centros educativos puede resultar muy valorado, incluso puedeobtener altos rendimientos en sus logros pero estar produciendo desigualdad social odesigualdad de gnero que son principios de calidad democrtica que priman lasPolticas educativas en sintona con los principios de gobernanza. A su vez, unabuena poltica educativa en lnea con esos principios puede estar colisionando conlos objetivos econmicos de limitacin del gasto pblico. En definitiva, hablar deresultados es necesario pero no suficiente y cuando se habla de evaluacin depolticas pblicas hay que ensamblar los logros alcanzados en la dimensin gestora ylos que se persiguen en el nivel poltico, distinguiendo ante los ciudadanos losdiferentes niveles responsables. La gestin no es un mero instrumento tcnico o de proceso de las polticaspblicas. Entre el nivel gestor y el poltico hay interrelaciones, ambigedades,conflictos y desvos que deben ser tenidos en cuenta en la evaluacin. La evaluacindebe servir para comprender el proceso de implementacin de las polticas, que enmuchos casos y por mltiples factores puede ser contradictorio con el sistema devalores y los consensos de la poltica en cuestin. Asimismo, la racionalidad de losprogramas no puede ser puesta en relacin con la racionalidad de las polticas,donde el aprovechamiento de la oportunidad no del oportunismo- es un requisitode su propia racionalidad que a veces se entiende mal en el mbito gestor. Por ello,algunos autores huyen de los enfoques cientificistas en evaluacin y la encuadran en 25 24. una dimensin de innovacin, debate, negociacin y conflicto social (Radaelli yDente, 1996) que deben ser tenidos en cuenta. o Vertiente polticaFrente al enfoque gerencialista de la evaluacin otros autores defienden sudimensin poltica. La sola eleccin de evaluar implica en s misma una decisinpoltica.La consideracin de la evaluacin como instrumento poltico sita su accin en elproceso de formulacin de polticas y viene acompaada de varias cuestiones deinters; por un lado, la neutralidad del modelo, por otro, la racionalidad subyacenteen el proceso y por ltimo, la significacin que pueden aportar sus conclusiones yrecomendaciones a la calidad tanto de las polticas como de la vida democrtica. Este carcter poltico se va incorporando paulatinamente a la prctica y a laconcepcin actual de la evaluacin buscando el equilibrio entre el desarrollo tcnicoy el de responsabilidad democrtica, pues no se ha de olvidar que el fin ltimo de laevaluacin es la utilidad social.Lo que en la actualidad se entiende por evaluacin, no es slo una herramientatcnica, de utilidad para el nivel gestor de los gobiernos, sino un instrumento defortalecimiento del Estado en su nivel estratgico, bajo los principios del buengobierno, haciendo ms transparente y responsable la accin pblica, mejorando laeficiencia gestora del Sector Pblico y concibiendo un papel ms activo para losactores implicados en las polticas pblicas. Desde esta perspectiva, la evaluacin es un proceso antes que una tcnica y seentiende dentro de una visin ms prxima a los ciudadanos y con mayorresponsabilidad de los agentes pblicos.La evaluacin est de moda y difcil ser no encontrarla en la agenda de la mayorparte de los gobiernos, porque a lo largo de los aos, y a pesar de los avances yretrocesos, este instrumento ha ido conquistando el mbito gestor y apunta hacia unnuevo tipo de control poltico-democrtico, en consonancia con el contexto de lanueva gobernanza, cuyos principios ya sealados, son condiciones indispensablespara el xito de las polticas pblicas en las modernas democracias. El desafo del futuro, apunta Monnier, est en pasar de la cultura gerencialista auna cultura poltica, participativa y democrtica de la evaluacin.Evaluacin EvaluacinEvaluacinnivel nivel nivelgerencialdemocrticoreglamentarioA estos distintos niveles de actuacin de la evaluacin le corresponden diferentesinstrumentos de control que pueden ser usados como palancas de gobierno con lacondicin de que recojan la riqueza de matices y de perspectivas que toda accin degobierno genera. (Subirats, 2004) 26 25. Hay, por tanto, diferentes lgicas que se entrecruzan en el terreno del gobierno yla Administracin y el control de sus acciones y no se pueden aplicar de maneraindiferenciada los mismos parmetros de control o rendicin de cuentas ainterrelaciones basadas en lgicas distintas, o confundir las distintas relaciones yposiciones de poder e influencia estableciendo indicadores no pensadosespecficamente para recoger los distintos valores que encierra cada situacin. La Administracin es parte integrante de la realizacin de una poltica y el nivelpoltico y los gerentes pblicos no pueden ir por separado. En el curso de laimplementacin el organismo de gestin debiera estar implicado con el decisor -mucho ms all del control de gestin-, porque esa parte operativa influye en granmedida en el logro de las estrategias. Pero ello complica la participacin de actoresen el campo de la evaluacin y sus diferentes necesidades informativas, por lo quese requiere del evaluador conocimiento y dominio de las diferentes lgicas. La necesidad de colaboracin entre ambas perspectivas es lo deseable y laevaluacin puede servir de puente para el entendimiento entre esos dos niveles deaccin pblica que manejan diferentes valores y distintas formas de conocimiento.BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS,DESARROLLO Y PANORAMA ACTUAL Despus de la Segunda Guerra mundial, la prctica de la evaluacin deprogramas se extiende al conjunto del mundo anglosajn y a la Europa del Norte. Sudesarrollo en los pases latinos es ms tardo.Las obras que trazan la historia de la evaluacin suelen hablar de diferentesoleadas en su desarrollo e institucionalizacin. En un trabajo ya clsico sobre unbuen nmero de pases, coordinado por Furubo y Rist (2002), se individualizan tresgrandes oleadas de difusin de la evaluacin en los que se fueron desarrollandoinfinidad de aspectos diversos sobre evaluacin, algunos bastante opuestos, perootros complementarios, cada uno portador de nuevas vas y tendencias.Primer periodo: Optimismo frente a los programas y optimismo frente a laevaluacin (1960-1970) La evaluacin nace en los EEUU y surge como respuesta a la preocupacin pordeterminar los efectos de los programas de la Great Society (guerra contra lapobreza), impulsados por el Presidente Johnson. El momento coincidi con un grandesarrollo de las ciencias sociales, lo que llev a considerar las ventajas de medir losresultados de las polticas de reforma con mtodos experimentales. Bajo este enfoque, evaluar es medir cientficamente la eficacia de lasintervenciones pblicas observando la evolucin de las variables de impacto a travsde dos muestras estadsticamente comparables de beneficiarios y no beneficiarios. 27 26. Una figura relevante de este periodo es Donald Campbell, psiclogo-socilogo,que mantena que la experimentacin es una concepcin tan grande para la cienciacomo para la poltica, que los programas polticos deban ser considerados comoexperimentos y que los polticos deban mantener una actitud experimental ydesapegarse de los proyectos, una vez aplicados, buscando que el experimentalismoacadmico ofreciera las respuestas sobre sus xitos o fracasos Tanto los detractores como los defensores de las polticas sociales se mostraronpartidarios de la evaluacin para obtener informacin sobre mejores resultados ycostes. Los que defendan las polticas sociales vean en la evaluacin la posibilidadde legitimar y justificar el incremento del gasto pblico y los que se oponanbuscaban argumentos en los que fundamentar su crtica, con el propsito deposponer su generalizacin o reclamar su eliminacin. Para ambos, la evaluacinexperimentalista era una herramienta til, vlida y fiable, con la que construirevidencia emprica para fundamentar el debate de las decisiones polticas.En esta primera fase de optimismo, tanto frente a los logros de los programascomo ante los resultados de la evaluacin, se cree que para evaluar programassociales es suficiente ser un buen cientfico social, estar en posesin de todas lastcnicas y los mtodos cuantitativos posibles y tener la capacitacin para aplicar alos grandes programas la experimentacin. La idea es hacer un experimento con losprogramas, aplicando la intervencin slo a algunos grupos sociales y controlandolas consecuencias. La experimentacin es favorecida por el sistema federalnorteamericano, que permite aplicar los programas en algunos Estados, controlandolos resultados antes de su implementacin a escala general. Esta preocupacin conduce a un proceso de institucionalizacin de la evaluacincon la creacin de unidades de evaluacin y la aprobacin de normativa para regularla evaluacin de las acciones pblicas (Economic Opportunity Act, 1967 y SunsetLegislation).En la misma poca surge otra tendencia ligada a Michael Scriven. Para l, lalgica de la evaluacin es completamente inversa a la que aplicaba elexperimentalismo. No se trata de ver si un programa se ha desarrollado como debao si los objetivos se han alcanzado, sino de descubrir si el programa en s es bueno ono. Se comienza a razonar en trminos de calidad y se busca atribuir un valor a losprogramas, intentando, a la vez, que sean los implicados los que aporten su idea devalor sobre las intervenciones.Segundo Perodo: Pesimismo respecto a los Programas y desencantorespecto a la evaluacin (1970-1980) Esta etapa se caracteriza por la progresiva institucionalizacin de la evaluacin, ala vez que empez a considerarse limitada la creciente intervencin pblicaexperimentalista del perodo anterior. Se habla de pesimismo respecto a los programas porque empieza a apreciarseque estos no han conseguido los logros que perseguan: el desempleo no se erradicaen breve tiempo. No es tan simple rehabilitar los guetos urbanos o resolver elfracaso escolar o el desempleo. Se concluye que hay efectos asociados que no secontrolan. Comienza a considerarse la idea de los efectos perversos de las polticas 28 27. pblicas, ya que, an logrando resultados positivos, se obtienen tambin efectos nodeseados.Durante este periodo los evaluadores mantienen dos posiciones diversas. Segnuna de ellas, la manera en que estn diseados los programas dificulta suevaluacin, los objetivos son demasiado difusos o genricos. Se advierte, en muchoscasos, la incoherencia entre necesidades apreciadas, objetivos planteados ymedidas, de manera que es imposible emitir un juicio de valor coherente sobre losresultados. Para volver los programas evaluables es necesario reformular mejor lasintervenciones. De aqu nace una orientacin investigadora de gran peso encabezadapor Rossi y Freeman, cuyo Manual represent por muchos aos el texto fundamentalpara ayudar a los polticos a reformular los programas y a evaluar sus diversasfases. La otra posicin sostiene que las cosas van mal porque los evaluadores pretendenmantenerse al margen, externos al sistema, sin ensuciarse las manos. El evaluadordebera, al contrario, tratar de ver qu sucede en los programas, ayudar a laspersonas implicadas y responsables a expresar su juicio sobre la intervencin,evaluar y negociar con las diversas partes interesadas dinamizando el proceso. Losseguidores de este grupo y de la utilizacin de metodologas principalmentecualitativas, se definen naturalistas, porque sostienen la necesidad de estudiar unprograma en la realidad donde se desarrolla, sin buscar la generalizacin. El debatecuantitativo-cualitativo alcanza su momento ms lgido a final de los 70 y principiosde los 80.Tercer Periodo: Institucionalismo, pluralismo y evaluacinLos aos 80, en EEUU, son aos en los que se inicia una actitud incierta, marcadapor las presidencias de Reagan y Bush. Ese periodo, en cuanto a evaluacin serefiere, se caracteriza por el fortalecimiento del proceso de institucionalizacin de laevaluacin. Se crea un instituto especfico para la evaluacin dentro de la GeneralAccounting Office (GAO) que posteriormente, se reorganiza en la Divisin deEvaluacin de Programas y Metodologas. Se pone en evidencia, cada vez ms, el problema de los efectos perversos de losprogramas y los parlamentarios comienzan a solicitar a los evaluadores informacinsobre los aspectos negativos para decidir sobre el recorte de gastos. La actitudpesimista llega a su lmite: los programas no dan los resultados esperados y lasevaluaciones apenas se usan. Hay una constatacin de que cada programa es algo muy complejo, compuestode partes diversas, de las cuales unas pueden ir bien y otras mal y pueden serimplementados de manera muy diferente. Se descubren las desviaciones de laimplementacin y se busca analizar el mrito de las acciones singulares paraentender, en cada caso, qu es lo necesario. Este periodo va, aproximadamente, dela mitad de los aos 80 en adelante. 29 28. DESARROLLO DE LA PRCTICA EN EL MARCO INTERNACIONAL:TENDENCIASResulta imposible recoger aqu el sinfn de prcticas que, bajo el epgrafe deevaluacin, tratan de mejorar la calidad de las polticas pblicas y contribuir a surendicin de cuentas y a la responsabilidad poltico-administrativa que requieren losciudadanos. No obstante, haciendo un esfuerzo de sntesis, podramos destacar, almenos, tres grandes ejes de evaluacin bien diferenciados: 1) el enorme y variadobloque de las evaluaciones nacionales, con impulso y prcticas muy diversas en cadapas y cada sector; 2) la evaluacin que se realiza en la UE, impulsada,especialmente, por el control sobre los Fondos europeos y 3) la evaluacin de ayudaal desarrollo con la influencia en la transferencia de conocimientos y prcticas de losOrganismos Internacionales. 1. La prctica de la evaluacin en los distintos pasesEl panorama de la evaluacin en los diferentes pases presenta un campo muycomplejo de innumerables prcticas poco homogneas, con estratos de controlsuperpuestos, con grandes diferencias entre las esferas de gobierno que interactany los sectores a los que se aplica la evaluacin y con enfoques y finalidades muydistintas. Todo ello muestra un intrincado laberinto de paradigmas que cohabitan,unos emergentes y otros dominantes, difcil de desentraar que de una parteenriquecen el panorama pero que tambin encierran contradicciones. En todo caso,evidencian el error de las soluciones estandarizadas. En cualquier caso, los estados reconocen, cada vez ms, la necesidad de evaluarcontinuamente el funcionamiento y resultado de las instituciones y sus polticas paraelevar sustancialmente la productividad y modernizar procesos especficos del SectorPblico. La evaluacin se practica hoy en casi todos los pases europeos, pero sudesarrollo se presenta muy desigual. Se podra medir por dos tipos de criterios: i) elgrado de institucionalizacin y su papel en la preparacin del presupuesto y su usopor la gerencia pblica; ii) la importancia de la estructuracin de un medioprofesional y acadmico especializado.Segn estos criterios y, a pesar de los progresos recientes de la evaluacin enEuropa, el avance americano permanece incontestable. Los otros pases motores soncasi todos de lengua inglesa (Canad, Gran Bretaa, Australia, Nueva Zelanda), conexcepcin de los Pases Bajos y Suiza y los pases escandinavos (Suecia, Dinamarcay Finlandia). Alemania y Francia se encuentran en una situacin intermedia,mientras que en Italia y Espaa la evaluacin se ha empezado a desarrollar concierto ritmo en las ltimas dcadas.La evaluacin en los pases anglosajones va estrechamente unida a su relacincon el presupuesto caso de EEUU y del Tesoro en el Reino Unido. Los resultados delas evaluacionessonmencionados explcitamenteen los documentospresupuestarios para justificar ciertas propuestas de nuevas medidas. En los PasesBajos la evaluacin presupuestaria se inscribe en el marco de un procedimiento derevisin sistemtica de los gastos. 30 29. o La evaluacin en el continente americanoEEUU Las primeras evaluaciones cientficas de programas pblicos datan de principiosdel siglo pasado. Desde 1932, el modelo conceptual de la evaluacin fue el de laexperimentacin social impulsada por Ralph Tyler con ocasin de un gran estudioexperimental sobre la eficacia pedaggica de dos programas escolares. En los aossesenta, se promueve la evaluacin como instrumento de control y optimizacin delgasto pblico en el marco presupuestario del Planning Programming BudgetingSystem (PPBS).o La General Accounting Office (GAO), con cometidos similares a los de losTribunales de Cuentas europeos, depende del Congreso de los EEUU. A partir delos aos 70 se afianza como un actor central en la evaluacin con mayor papelan en los aos 80, recibiendo encargos tanto del Congreso como del ejecutivo.De carcter federal y dirigida por el Controlador General que es nombrado porel Presidente de la Nacin, la GAO se dedica, principalmente, a la realizacin deauditoras y control del gasto, aunque tiene otras atribuciones de carcternormativo relacionadas con la contabilidad general y el presupuesto, encolaboracin con la Office of Management and Budget. Uno de sus pilares msfuertes son sus aportaciones metodolgicas. En los inicios, los estudios de la GAOestuvieron estrechamente ligados al mtodo experimental.La evaluacin se compromete, desde este enfoque, con actividades demedicin, concediendo un limitado inters a las cuestiones cualitativas. La opinin dominante hoy da es que la experimentacin no ha sido el mejormedio para obtener informaciones tiles sobre la puesta en marcha, lapertinencia y la eficacia de las intervenciones pblicas, adems de lasconsideraciones ticas y el coste asociado. Sin embargo, EEUU sigue siendo uno de los pases con mayor peso en cuantoa evaluacin, donde ha tenido lugar el nacimiento de mltiples corrientes. En laactualidad, la evaluacin se desarrolla bajo formas muy diversas combinandogran variedad de mtodos. Sin embargo, persisten dos especificidadesamericanas que ya se dieron desde el origen: la consideracin de que laevaluacin forma parte de un mercado floreciente y concurrente que hay quesostener e impulsar y las cuestiones de que el mtodo juega un papel central ensu estructuracin: la evaluacin es un producto a vender y la reputacinmetodolgica es uno de los argumentos de venta del producto (Pollitt, 2005)Canado El Secrtariat du Conseil du Trsor en Canad. Es un rgano central queapoya la prctica de la evaluacin en los ministerios y agencias, a base deasesorar sobre mejores prcticas, establecer estndares, controlar la capacidadevaluadora de los ministerios y utilizar los resultados de las evaluaciones para31 30. apoyar los procesos centrales de la decisin. Acta como instrumento de articulacin y colaboracin en la evaluacin de polticas en distintos niveles.Al igual que en los EEUU, las asociaciones profesionales de evaluacin son muy influyentes en Canad. Publican revistas y convocan Congresos cientficos importantes.Latinoamrica En Amrica Latina, los xitos y los fracasos de la evaluacin estn ligados a losprocesos de reforma de la Administracin y del Estado que han caracterizado laregin en los ltimos decenios y tienen como base los problemas de legitimidad ygobernabilidad de los Estados latinoamericanos. Para entender la evaluacin latinoamericana en los 90 hay que partir del nfasisen los resultados de la gestin pblica que se convierte en el rasgo crtico de laspropuestas de reforma del sector pblico a nivel mundial, bajo la visin de la NuevaGestin Pblica. Hay pocos estudios sobre la evaluacin en Amrica Latina; entre las experienciasconcretas destaca el Informe comparativo de 12 pases (Argentina, Bolivia, Brasil,Chile, Colombia, Costa Rica, Honduras, Mjico, Nicaragua, Paraguay, Per,Uruguay), realizado por el CLAD bajo patrocinio del Banco Mundial en 2006. Elcuadro siguiente muestra una seleccin de las diversas experiencias.SISTEMA DE EVALUACIN / SEGUIMIENTO /PASMONITOREO / EXPERIENCIAS FUERA DE UN SISTEMASistema de Control de Gestin y Presupuesto por Resultados ChileSistema de Seguimiento de la Programacin Gubernamental (SSPG)Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica Colombia(SINERGIA)Sistema Nacional de Evaluacin (SINE)Costa RicaSistema de Evaluacin de la Gestin Pblica (SEV)UruguaySistema de Monitoreo y Evaluacin del Plan Plurianual BrasilSistema de Evaluacin de Metas Presidenciales (SMP)Sistema de Evaluacin de Metas Presidenciales (SIMEP)MxicoSistema de Seguimiento y Evaluacin de la Gestin por Resultados Bolivia(SISER)Evaluacin sin articular en un sistema ArgentinaComo se evidencia, se trata de experiencias muy variadas con grandesdiferencias de enfoque entre los que destacan pases que conciben la creacin de unSistema Nacional de Evaluacin (Colombia, Costa Rica, Uruguay) y otros que aplicanexperiencias especficas sin pretensin de constituir un sistema (Chile). Otro rasgodistintivo, es el hincapi de unos pases en la modernizacin de la gestin pblica ylos sistemas de presupuestacin (Uruguay y Chile) y otros que conciben laevaluacin como herramienta para la gestin del gabinete presidencial (Colombia yCosta Rica) y para el seguimiento del cumplimiento de las polticas pblicas de sugobierno (Brasil y Mjico). 32 31. Las caractersticas de estos sistemas se puede sintetizar en dos modelos en razna su vinculacin: Modelo Plan (en Colombia y Costa Rica, por ej. la evaluacin estmuy ligada a la planificacin) y Modelo Presupuesto (Uruguay y Chile, en los que laevaluacin est vinculada al presupuesto). Chile integra la informacin producida porla evaluacin al ciclo presupuestario y Uruguay la integra de manera directa en elmomento de la elaboracin del presupuesto.En general, las experiencias de evaluacin latinoamericanas, estn ms en lalnea del seguimiento que de la evaluacin tal y como se entiende en esta gua, sinembargo, cada vez ms, se trata de un seguimiento al servicio del nivel de gobierno(Sistema de Evaluacin de Metas Presidenciales de Brasil y Mjico) y no como erahabitual hablar de seguimiento en el nivel gestor.o La evaluacin en EuropaReino Unido En el curso de los aos 90, el desarrollo de la evaluacin en el Reino Unido haestado fuertemente marcado por la Nueva Gestin Pblica (New Public Management,NPM). Las lneas de fuerza de este enfoque de accin han sido: privatizaciones,desarrollo de mecanismos de mercado, refuerzo de instancias de regulacinencargadas de supervisar el buen funcionamiento de los mercados, externalizacinde funciones administrativas a favor de agentes no gubernamentales o semipblicos. En el marco de la nueva gestin pblica, la evaluacin se ha dotado de un fuertesostn poltico y se ha invocado en beneficio de las reformas administrativas, eso s,con el riesgo de ser reducida a una tcnica de gestin de objetivos. Uno de losmotivos ha sido la limitacin de los presupuestos y la necesidad de fijar resultados.Todo ello ha potenciado durante los aos 80-90 el uso de la evaluacin gerencialista,centrada en la reduccin de costes y mejora de la gestin.o La Strategy Unit del Reino Unido. Creada en 2002, es un rgano central queagrupa las labores llevadas a cabo por la Performance and innovation Unit (PIU)y otros organismos de estudios y definicin de estrategias, dependientes, engeneral, del Primer Ministro. Su labor fundamentalmente es suministrar ideaspara los temas clave de la poltica gubernamental y los estudios de prospectiva.Ha desarrollado, tambin, estudios en colaboracin con ministerios sectoriales,que engloban evaluaciones y anlisis de impacto referidos a proyectosespecficos. Pone el nfasis en el coste de oportunidad de las intervenciones pblicas conuna bsqueda de la mayor eficacia y eficiencia en la gestin, as como en lasconsideraciones sobre la participacin del mercado.En el Reino Unido, tambin debe destacarse el peso de la evaluacin ex ante, atravs de la labor de la Regulatory Impact Unit, en materia de impulso y apoyo enla realizacin de anlisis de impacto regulatorio por los departamentos sectoriales.33 32. Sueciao La Agencia para la Gestin Pblica (Statskontoret) de Suecia. Trabaja porencargo de los diversos ministerios o de los comits parlamentarios, que a su vezcuentan con mltiples organismos de evaluacin. El sistema administrativo sueco se basa en el establecimiento de comisionespara desarrollar las diferentes tareas e implica un gran nmero de evaluacionesde muy diferente carcter y calidad.La evaluacin se centra en programas preferentemente sociales paradeterminar su impacto en el bienestar y cohesin social. Los campos mshabituales son: medioambiente, tributos, seguridad social, educacin y ayuda ala inmigracin. Se enmarca en los modelos de gestin pblica y en los programaspresupuestarios y se apoya en redes de evaluadores externos.FranciaEn Francia, el desarrollo de la prctica evaluativa es indisociable de la visinpoltica de la evaluacin frente a la gestora y se traduce, desde los aos 70, en unaserie de iniciativas institucionales de evaluacin de xito muy diverso. Su historia havenido marcada por dos tentativas para implantar la evaluacin en el ncleo delfuncionamiento del Estado: la racionalizacin de las decisiones presupuestarias(RCB, 1970) y la creacin de un dispositivo gubernamental de evaluacin de polticasinterministeriales, en 1990. Desde los aos 80 bajo el impulso de Michel Rocard la evaluacin se inscribedentro de una poltica ambiciosa de reforma administrativa denominada Renovacindel servicio pblico. Hay dos aspectos destacados dentro de la valoracin de laevaluacin en Francia: su contribucin al desarrollo de la responsabilidad de losagentes pblicos y su posible papel en el debate pblico. El objetivo que se persigue es hacer de la evaluacin un elemento central en latoma de decisiones gubernamentales y del debate democrtico (de ah, la obligacinde publicar los informes de evaluacin) y hacer progresar los mtodos y ladeontologa de la evaluacin. En 1988, el Consejo interministerial y el Consejo cientfico son suprimidos yreemplazados por el Consejo Nacional de Evaluacin, cuyas atribuciones son, a lavez, polticas y metodolgicas.o El Conseil Nacional de lvaluation (CNE) en Francia es creado en 1999dispone, en teora, de poder real de iniciativa para proponer temas de evaluacinal Primer Ministro. En la prctica ese poder se limita por las reticencias de losMinisterios implicados en las evaluaciones. Est compuesto por profesionales de los cuerpos de control (ConsejoEconmico y Social, Consejo de Estado y Tribunal de Cuentas), profesoresuniversitarios, representantes de los medios socioprofesionales y representanteselegidos de regiones, provincias y municipios.34 33. La concepcin evaluativa es pluridisciplinar e interministerial con un enfoque transversal y de instrumento de concertacin econmica y social. Es un modelo que ha levantado algunas crticas por el excesivo peso burocrtico y de revisin continua.Paralelamente a este proceso de institucionalizacin se desarrollan en Francia otras formas de evaluacin en las administraciones del Estado.2. La evaluacin de los Fondos Europeos. La UE y el Marco metodolgico:Las Guas MEANS En Europa, adems de los pases pioneros del Norte y del Reino Unido, el mayorimpulso a la evaluacin, en los ltimos aos, ha venido de la mano de la UninEuropea, que ha insistido en la relevancia de la evaluacin de sus polticas y lanecesidad de desarrollo por parte de los pases miembros.Desde su creacin en 1996, el sistema de evaluacin de la Comisin Europea haido desarrollando la evaluacin, tanto en las unidades internas de la propiaInstitucin como en los pases que la conforman. Su objetivo ha sido promover yasegurar la utilizacin de la informacin obtenida en las actividades de evaluacin atodos los niveles de decisin, desde el estratgico al operativo, aunque ha sido esteltimo el ms privilegiado.El desarrollo de las polticas regionales impulsado por la UE puso en circulacin elmecanismo de los Fondos estructurales (FEDER, FSE) que, con la reforma de 1998obliga a los Estados miembros a realizar actividades de evaluacin sistemticas yobligatorias que justifiquen los programas de ayuda. Esto se corrobor con lareforma realizada en 1999, a partir de la Agenda prevista para el 2000. No slo esimportante definir con correccin los problemas y necesidades de las regiones ydisear programas que los corrijan, sino establecer un sistema de evaluacin quepermita conocer de forma peridica la pertinencia, eficacia, eficiencia, impacto ysostenibilidad (no en el sentido medioambiental, sino en cuanto a posibilidad demantenimiento de los programas) de las intervenciones pblicas. A esos criteriosfijados por el Comit de Ayuda al Desarrollo (CAD) la UE aadir los decomplementariedad y valor aadido comunitario. La normativa de evaluacin comunitaria ha sufrido cambios importantes desde elperodo de 1999 que van en la lnea de: a) Mayor precisin y reforzamiento de las referencias sobre la necesidad y obligatoriedaddel seguimiento y de tres tipos de evaluacin (previa, intermedia y final). b) La determinacin de quin deber asumir la responsabilidad del seguimiento de cadauna de las evaluaciones. c) El aumento del grado de concrecin de los objetivos de seguimiento y evaluacin. d) El aumento del grado de implicacin de las responsabilidades de los Estadosmiembros. e) La vinculacin con repercusiones financieras para los Estados: la reserva de eficacia. En el mbito de la evaluacin, la Unin Europea muestra especial preocupacinpor el respaldo poltico documental de las intervenciones y la aceptacin de losprogramas por los gobiernos y por los grupos de inters. 35 34. En cuanto a su propsito, est el contribuir al diseo de las intervenciones y aestablecer prioridades sociales, buscando la eficiencia y eficacia de los resultados eimpactos de los programas y la rendicin de cuentas de las intervenciones. Asimismo, la UE ha mantenido un papel muy activo en el campo de lasmetodologas de evaluacin a travs del Programa MEANS (Mtodos de Evaluacinde las Acciones de Naturaleza Estructural) cuyo objetivo es alcanzar mayorcoherencia y eficacia en los procedimientos, ayudando a crear una cultura y unosorganismos ms profesionales. Los Fondos Estructurales han creado un ambiente, un lenguaje y un mercado deevaluacin con importantes ventajas para su impulso, aunque, en algunos casos, noexento de contradicciones.Desde el punto de vista estructural y siguiendo la normativa obligatoria del ao2000, se han creado y reforzado, de forma generalizada, unidades de evaluacin entodos los servicios de la Comisin, lo que ha permitido un fortalecimiento de lacultura de evaluacin en el seno de la institucin.El papel de la evaluacin se ha visto reforzado desde el punto de vistainstitucional, con la inclusin en el Reglamento Financiero de 2003 de la obligacinde evaluar las actividades desarrolladas y de utilizar las informaciones obtenidas enla toma de decisiones. Sin embargo, el impulso evaluador de la UE no est exento de ciertas paradojas.De una parte, resulta positivo que los Estados comenzaran a pensar en trminos deprogramas y proyectos, vindose obligadas las administraciones a encargarevaluaciones independientes, si bien, inicialmente, los trabajos se ocupaban ms delseguimiento econmico (la buena utilizacin de los fondos) que de los efectos de laspolticas y de su formulacin. Pero, por otro lado, el hecho de que la UE exigieseestos controles ha condicionado la propia evaluacin en sus pretensiones msambiciosas (el nivel poltico), favoreciendo su utilidad en el nivel gestor ytecnocrtico y a decir de algunos, bajo la amenaza de cierto peligro deburocratizacin. Las solicitudes de evaluacin no se basan en los problemas concretos quepresentan los programas, sino que calcan una y otra vez los mismos presupuestosque deben cumplirse para obtener los fondos. A su vez, las ofertas de evaluacin seconvierten en copias que tratan de atenerse, sin mayor creatividad, a lasconvocatorias de la Comisin, por temor a no encajar en los trminos de sus pliegosy perder los concursos. Las conclusiones sobre las evaluaciones realizadas son: En general, se describen bien y con detalle las realizaciones fsicas y financieras. Se ha reforzado la base metodolgica de la evaluacin y sus procesos, particularmente en el nivel gestor y operativo. Las conclusiones son, a menudo, demasiado generales y de escasa utilidad para los decisores. Resulta difcil separar los efectos de los programas de otras acciones privadas, regionales o nacionales para determinar en qu medida los resultados son imputables a las polticas regionales de la UE.Por todo lo anterior, no es de extraar que la gran preocupacin reciente en elmbito comunitario sea la calidad de la evaluacin. 36 35. A pesar de las contradicciones hay que reconocer los mritos de la Comisin. Enel perodo 1994-99 se recorri un largo camino tratando de individualizar mtodosde evaluacin para examinar los efectos de los programas que reciban los Fondos.Esto se debi tanto al debate producido en la propia comunidad internacional deevaluadores, que discuti sobre los diversos enfoques y la forma de integrarlos,como al trabajo desarrollado en el mbito del programa europeo MEANS que puso encontraste las experiencias ms significativas de evaluacin y que concluy sustrabajos con la publicacin de una serie de guas que ofrecen un amplio elenco deherramientas del que poder extraer conclusiones, indicando el valor y el lmite decada una de ellas e invitando a los evaluadores a desarrollar muchas ms. A partir de entonces, la preocupacin por la calidad de la evaluacin no respondeslo a estudios bien hechos que sigan las tradicionales metodologas estadsticas ymacro-econmicas, sino, tambin, a toda aquella recogida de informacin queproporcione conocimiento sobre la teora de los programas, contexto y,especialmente, utilizacin de las evaluaciones por parte de las administracionesque reciben sus informes. Las guas MEANS resultan indispensables para todo aquel que quiera conocer lasreglas metodolgicas que estn rigiendo la evaluacin en la UE, aunque su uso no estan generalizado como sera deseable. Las MEANS no tratan de erigirse en unaBiblia sobre evaluacin, sino en orientacin para que los pases puedan adaptarsus exigencias con versatilidad, promoviendo, adems, el cuestionamientometodolgico y el anlisis crtico. Junto a la Coleccin MEANS la Comisin hapublicado numerosas colecciones y documentos, como la Metodologa de evaluacinpara la Ayuda Exterior y la Gua sobre el desarrollo socio-econmico, de 2003, queprosigue la aportacin iniciada con las MEANS.3. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo:Organismos internacionalesLas polticas de ayuda al desarrollo son uno de los campos en los que laevaluacin se ha ido imponiendo desde hace aos, como instrumento de rendicinde cuentas. Es verdad que, en el inicio ha estado mucho ms ligada al seguimiento yal control que a la visin estratgica que ltimamente se reclama.Las organizaciones multilaterales dedicadas a la cooperacin y ayuda aldesarrollo como Naciones Unidas, el Banco Mundial o el Banco Interamericano deDesarrollo, han sido impulsoras de las evaluaciones de programas por parte de lasAdministraciones Pblicas de los pases receptores de las ayudas y han fomentado lacultura de evaluacin con la publicacin de numerosos estudios tericos, guas ymanuales prcticos.La Ley de Cooperacin Internacional de 7 de julio de 1998 establece en suartculo 19, punto 4, que la SECIPI evaluar la poltica de Cooperacin para elDesarrollo, los programas y proyectos financiados con fondos del Estado en curso deejecucin y los finalizados, desde su concepcin y definicin hasta sus resultados. Laevaluacin tendr en cuenta la pertinencia de los objetivos y su grado deconsecucin, as como la eficiencia y la eficacia alcanzadas, el impacto logrado y laviabilidad comprobada en los programas y proyectos ya finalizados. 37 36. Similar inters por la evaluacin se evidencia en los informes de la OCDE, laOrganizacin para la Cooperacin y el Desarrollo Econmico, en la que los gobiernostrabajan de manera conjunta para responder a los retos econmicos, sociales ymedioambientales producto de la interdependencia y la globalizacin. Estaorganizacin se crea despus de la Segunda Guerra Mundial con el propsito decoordinar el Plan Marshall y en 1961 se convierte en la Organizacin para laCooperacin y el Desarrollo Econmico con vocacin transatlntica y despusmundial. Actualmente cuenta con 30 pases miembros que trabajan a travs deAgencias de Cooperacin y cerca de 70 pases o economas en desarrollo y transicinestn asociados a su trabajo. Su misin es promover polticas destinadas a alcanzarun crecimiento econmico sostenible, as como estabilidad financiera y posibilidadesde progreso en el nivel de vida de los pases miembros con el fin de contribuir aldesarrollo econmico mundial. El planteamiento de las evaluaciones OCDE se caracteriza por un enfoquetecnocrtico, con nfasis en la eficiencia y modernizacin del Sector Pblico y apoyoen y al mercado. Sus principales propsitos son mejorar la regulacin, racionalizar latoma de decisiones y la asignacin de recursos y conseguir responsabilizacin yaprendizaje de las organizaciones. La OCDE estimula la realizacin de evaluaciones conjuntas con otros donantes,de acuerdo con las tendencias actuales: Unin Europea, Banco Mundial,Organizacin Internacional del Trabajo, ONGD.La evaluacin es una herramienta que pretende dar respuesta a preguntasconcretas sobre un programa, un proyecto, un conjunto de actuaciones o unapoltica determinada. Las preguntas pueden provenir de la propia comunidadbeneficiaria, de los gestores del proyecto o programa o de las autoridades polticas yse suelen plasmar en cinco criterios estndares aprobados por el Comit de Ayuda alDesarrollo (CAD): pertinencia, eficacia, eficiencia, impacto y sostenibilidad. Estoscriterios se incluyen en los Trminos de Referencia (TdR) que suponen el acuerdocontractual con el que se formaliza la evaluacin. 38 37. Caractersticas de la Evaluacin de Ayuda al Desarrollo Se centra en programas, proyectos e instrumentos de diversa ndole, pero fundamentalmente:- Ayuda humanitaria de emergencia- Fondos de Ayuda al Desarrollo (FAD)- Fondos para la Concesin de Microcrditos (FCM)Pretende extender la misma lnea metodolgica a todas las evaluaciones basndose en la lgica de intervencin del Enfoque del Marco Lgico (EML). Ha sido tambin el escenario para la aplicacin de la Metodologa de Investigacin accin.Se recurre preferentemente a evaluaciones externas, contratando por concurso a consultores independientes, segn baremo establecido y pliegos de licitacin. Trata de favorecer los principios de imparcialidad e independencia, as como el de credibilidad basada en la experiencia tcnica de las personas que forman parte de los equipos. En la mayor parte de los casos se evalan proyectos, programas en funcionamiento, enfatizando las caractersticas formativas en las recomendaciones.Faltan estudios de sntesis, sectoriales o temticos para sistematizar las lecciones aprendidas.Sera necesario estimular la realizacin de evaluaciones estratgicas ya que las tcnicas y herramientas para las evaluaciones operativas difieren en algunos aspectos de las metodologas propagadas en los Manuales del CAD. Tienden a la especializacin.ESPAA: PROCESO DE INSTITUCIONALIZACIN DE LA EVALUACIN Una de las formas que reviste la evaluacin es la institucionalizacin, queconsiste en establecer mecanismos e instancias permanentes que la aplican, lapromuevan y se comprometan con la rendicin de cuentas de los resultados de lasacciones pblicas. La institucionalizacin de la evaluacin est ligada a su carcterpoltico y la naturaleza pblica de sus retos.Como seala la OCDE Est generalmente reconocido que un cierto grado deinstitucionalizacin es necesario para que la evaluacin juegue un papel en lasadministraciones pblicas. Es favorable y necesario un marco institucional parapromover la calidad y la utilizacin de las evaluaciones. Pero, hay que velar paraque el institucionalismo no se convierta en simple instrumento de comunicacin o deautopromocin poltica. Por eso, la evaluacin debe someterse a mecanismos quegaranticen la eficacia y calidad del propio proceso evaluador. Lo que est en juego en la base de la institucionalizacin de la evaluacin, en lasdemocracias modernas, es contribuir a la legitimacin social, la transparencia de lasacciones y la comprensin de la accin pblica, as como contribuir al desarrollo yperfeccionamiento del propio sistema democrtico. Estado que rinde, ciudadanapoltica y participacin, son elementos transversales a la estrategia evaluadora quedeben ser impulsados al mismo tiempo. 39 38. o El contexto espaol Espaa no se ha sido ajena a la corriente evaluadora de los pases de su entornoy de los organismos supranacionales (bsicamente, la UE). Esa corriente sedesarrolla a partir de dos mbitos distintos: la exigencia ciudadana y la necesidadpoltica y de gestin.La exigencia ciudadana: Est relacionada con la nueva forma de hacerpoltica en la que se ha de tener en cuenta elementos como la transparencia, laparticipacin, la clarificacin de objetivos, la rendicin de cuentas y, lo