7 a guia practica como iniciar una evaluaciÃ³n

Gua prctica 1 - Cmo iniciar una evaluacin: oportunidad, viabilidad y preguntas de evaluacin.Coleccin Ivlua de guas prcticas sobre evaluacin de polticas pblicas

Instituciones miembros de Ivlua:

2009, IvluaNo se permite la reproduccin total o parcial de este documento, ni su tratamiento informtico, ni su transmisin en cualquier forma o por cualquier medio, ya sea electrnico, mecnico, por fotocopia, por registro u otros mtodos, sin el permiso del titular del Copyright.

Autor: Blasco Juli, Jaume, Analista de IvluaDiseo: petitcomite.netImpresin: Cevagraf

Primera edicin: octubre de 2009

Depsito legal: B-41788-2009

NDICE

INTRODUCCIN PG. 5

1. CONCEPTOS INTRODUCTORIOS PG. 61.1 EL OBJETO DE LA EVALUACIN pg. 61.2 TIPOS DE EVALUACIONES pg. 81.3 EVALUAR NO ES HACER UN SEGUIMIENTO DE INDICADORES pg. 11

2. CINCO PASOS PREVIOS PARA ENFOCAR LA EVALUACIN PG. 12PASO 1: EFECTUAR UN ANLISIS PRELIMINAR DE LA INTERVENCIN pg. 12PASO 2: DESCRIBIR EL CONTEXTO INSTITUCIONAL Y ORGANIZATIVO: QUIN ES QUIN? pg. 15PASO 3: CUL ES EL PROPSITO DE LA EVALUACIN? pg. 15PASO 4: IDENTIFICAR LOS DESTINATARIOS DE LA EVALUACIN pg. 19PASO 5: INVENTARIAR LOS RECURSOS PARA LA EVALUACIN pg. 21

3. LA EVALUACIN ES VIABLE? PG. 26

4. LAS PREGUNTAS DE EVALUACIN PG. 274.1 INVENTARIO DE LAS PREGUNTAS DE EVALUACIN INTERESANTES pg. 284.2 SELECCIN DE LAS PREGUNTAS DE EVALUACIN MS RELEVANTES pg. 294.3 LA FORMULACIN DE LAS PREGUNTAS DE EVALUACIN pg. 31

5. LA GESTIN DE LA EVALUACIN PG. 335.1 UNA EVALUACIN EXTERNA O INTERNA? pg. 335.2 CMO DEBE SER LA RELACIN ENTRE EL EVALUADOR

Y LA ORGANIZACIN QUE ENCARGA LA EVALUACIN? pg. 35

6. CUADROS DE SNTESIS DE LA GUA METODOLGICA PG. 38CINCO PASOS PREVIOS PARA ENFOCAR LA EVALUACIN pg. 38TEST DE EVALUABILIDAD DE LA INTERVENCIN pg. 41TRES PASOS PARA LA FORMULACIN DE PREGUNTAS DE EVALUACIN RELEVANTES pg. 42

BIBLIOGRAFA PG. 43

/ 5 /

INTRODUCCIN

Esta gua presenta conceptos, criterios y recursos para valorar la oportunidad y la viabilidad de la evaluacin de una intervencin pblica en funcin de un anlisis de sus condicionantes, requisitos y utilidad prevista, y tambin para guiar el primer paso en el diseo de una evaluacin: la formulacin de las preguntas de evaluacin.

La gua se dirige a dos tipos de usuario. En primer lugar, los promotores de evaluaciones de polticas pblicas: personas que, desde distintas posiciones dentro de la Administracin pblica responsables polticos, gestores, analistas o asesores, tienen en comn la voluntad de promover una evaluacin dentro de su organizacin. En su caso, esta gua pretende aclarar los conceptos y los mtodos para el diseo preliminar de la evaluacin: qu se puede esperar de ella, qu recursos son necesarios para realizarla y cmo guiar el trabajo de los evaluadores para que los resultados sean relevantes. En segundo lugar, la gua se dirige a las personas que se preparan para hacer una evaluacin por primera vez, ya sea de forma independiente o como miembros de un equipo de evaluacin que cuenta con evaluadores expertos.

La Comisin Europea define la evaluacin como la valoracin de las intervenciones de los organismos pblicos segn sus productos y sus impactos, en relacin con las necesidades que pretenden satisfacer y orientada a proporcionar informacin rigurosa, basada en pruebas, para la toma de decisiones (CE, 2007). Proporcionar esta clase de informacin exige el uso de tcnicas de investigacin de las ciencias sociales que implican cierto grado de complejidad y que sern el objeto de las siguientes guas del ciclo de formacin en evaluacin de polticas pblicas. En la presente gua, sin embargo, hacemos hincapi en la frase final de la definicin: la evaluacin no es un fin en s mismo, sino un instrumento para tomar decisiones que mejoren la intervencin pblica que se evala. Aclarar de qu manera puede servir la evaluacin a este propsito para que se formulen las preguntas ms relevantes posibles se convierte en el camino previo a la evaluacin que pretende orientar esta gua.

El texto se estructura en cinco secciones. La primera introduce los conceptos bsicos sobre la evaluacin de polticas pblicas. La segunda plantea un proceso en cinco pasos para caracterizar la intervencin que hay que evaluar y su contexto, el propsito y los destinatarios de la evaluacin, as como los recursos para llevarla a cabo. Una vez analizadas las circunstancias, la tercera seccin propone una reflexin sobre la conveniencia o no de evaluar la intervencin. La cuarta seccin plantea un mtodo en tres pasos para seleccionar y refinar las preguntas con las que se iniciar la evaluacin. Por ltimo, cierra la gua un apartado sobre el modo de gestionar la evaluacin en la organizacin.

Gua prctica 1 - Cmo iniciar una evaluacin: oportunidad, viabilidad y preguntas de evaluacin.

Coleccin Ivlua de guas

/ 6 /

1. CONCEPTOS INTRODUCTORIOS

1.1 EL OBJETO DE LA EVALUACIN

El objeto de la evaluacin es la intervencin pblica, en todas sus formas, mbitos y dimensiones. Puede tratarse tanto de polticas o programas que impliquen la prestacin de un servicio como de regulaciones, programas de subvenciones, impuestos, reformas de instituciones o de cualquier otra forma de intervencin sobre cuyo funcionamiento o rendimiento alguien necesite saber algo. Pueden evaluarse desde polticas o programas de mbito nacional hasta proyectos locales o componentes de un programa. As pues, pueden ser objeto de una evaluacin la formacin profesional, un aumento del impuesto sobre el tabaco, un programa de subvenciones en ayuntamientos para que se realicen actividades formativas para personas en paro o un pequeo proyecto local para personas sin techo.

Con independencia del tipo de intervencin de que se trate, todas las polticas y programas comparten dos atributos comunes, especialmente destacados para la evaluacin, que sern mencionados a lo largo de esta gua:

1. Las intervenciones pblicas tienen una razn de ser. Se supone que cualquier intervencin ha sido motivada por la existencia de un problema o de una situacin social insatisfactoria y que la intervencin pblica resulta til porque inducir ciertos cambios en la sociedad o en una poblacin objetivo concreta, los cuales mitigarn el problema o la situacin. Por ejemplo, la razn de ser de una actividad formativa para personas desempleadas es conseguir que sus participantes encuentren trabajo, y la de la limitacin de velocidad variable en el rea metropolitana de Barcelona es prevenir la contaminacin y los accidentes.

2. Las intervenciones pblicas llevan asociada una teora, ms o menos explcita, sobre cmo se supone que deben inducirse los cambios que mitigarn el problema o mejorarn la situacin que da razn de ser a la intervencin. La teora del cambio (denominada tambin teora de la intervencin o teora del programa) es la cadena de hiptesis sobre de qu manera se espera que los recursos asignados a la intervencin permitan desarrollar unas actividades cuyo fruto sern determinados productos (outputs), que, a su vez, generarn beneficios de corta, media y larga duracin sobre la sociedad en su conjunto o sobre la poblacin objetivo de la poltica o el programa (impactos o outcomes).

/ 7 /

TEO

RA

DEL

CAM

BIO

DE

LAS

INTE

RVE

NCI

ON

ES P

B

LICA

S

Hip

tes

is: l

os r

ecur

sos

son

suc

ient

es p

ara

lleva

r a

cabo

las

activ

idad

es

Hip

tes

is: l

as a

ctiv

idad

es

son

adec

uada

s y

pued

en

gene

rar

los

prod

ucto

s de

sead

osH

ipt

esis

: los

pro

duct

os

dan

luga

r a

los

impa

ctos

pr

evis

tos

sobr

e la

inte

rven

cin

qu

e da

raz

n d

e se

r a

la

inte

rven

cin

Lo q

ue s

e ne

cesi

ta

para

llev

ar a

cab

o la

s ac

tivid

ades

pre

vist

as e

n la

in

terv

enci

n

Ej.:

md

icos

, vac

unas

, ve

hcu

los,

na

ncia

cin

Lo q

ue h

ace

la in

terv

enci

n

con

los

recu

rsos

dis

poni

bles

Ej.:

cam

paa

de

vacu

naci

ones

sem

estr

ales

en

una

reg

in

de B

oliv

ia

Los

prod

ucto

s de

la

s ac

tivid

ades

de

la

inte

rven

cin

Ej.:

nm

ero

de n

ios

va

cuna

dos

Ben

eci

os d

e co

rta,

med

ia

y la

rga

dura

cin

par

a lo

s pa

rtic

ipan

tes

de la

in

terv

enci

n o

la s

ocie

dad

(aqu

ello

que

se

espe

ra q

ue

suce

da c

omo

cons

ecue

ncia

de

los

prod

ucto

s de

la

inte

rven

cin

)

Ej.:

redu

cci

n de

la

mor

talid

ad in

fant

il

Hip

tes

is: l

a na

tura

leza

, m

agni

tud

y di

stri

buci

n

del p

robl

ema

just

ica

n la

ex

iste

ncia

y e

l tip

o de

in

terv

enci

n

REC

UR

SOS

La r

azn

de

ser

de la

in

terv

enci

nEl

pro

blem

a o

situ

aci

n so

cial

in

satis

fact

oria

que

m

otiv

a la

inte

rven

cin

p

blic

a

Ej.:

mor

talid

ad in

fant

il el

evad

a a

caus

a de

en

ferm

edad

es q

ue

pued

en p

reve

nirs

e

PR

OB

LEM

A

ACT

IVID

AD

ES

PR

OD

UCT

OS

OU

TPU

TS

IMPA

CTO

S O

UTC

OM

ES



/ 8 /

1.2 TIPOS DE EVALUACIONES

En la abundante bibliografa sobre la evaluacin de polticas pblicas, aparecen varias clasificaciones o tipologas de evaluacin. Aqu presentamos las dos que se utilizan con ms frecuencia: segn el enfoque de la evaluacin y segn la fase en la que se encuentra el programa.

La primera tipologa se basa en el enfoque de la evaluacin y, ms concretamente, en la hiptesis de la teora del cambio que la evaluacin debe demostrar o refutar: la necesidad del programa o de la poltica, la consistencia del diseo de la intervencin, la capacidad del proceso de implementacin para generar los productos esperados, el impacto de la intervencin sobre el problema o la eficiencia de la intervencin*.

Evaluacin de eciencia

Evaluacin de proceso /implementacin

Evaluacin de diseo

Evaluacin de impacto

RECURSOSPROBLEMA ACTIVIDADES PRODUCTOS OUTPUTS

Evaluacin de necesidades

IMPACTOS OUTCOMES

Evaluacin de necesidades. El primer tipo de evaluacin analiza si la naturaleza, la magnitud y la distribucin del problema o de la situacin social justifican la existencia del programa, y si el diseo del programa tiene en cuenta estas caractersticas: cunta gente sufre el problema? Cunta gente se prev que lo sufrir en el futuro? Dnde estn? Qu otros problemas sufren? Qu tipo y frecuencia de servicio necesitan? La evaluacin de necesidades es especialmente oportuna como primer paso para la planificacin de un programa nuevo o en la reforma de uno maduro.

Evaluacin del diseo. La teora del cambio no siempre es explcita ni unvoca, y llegar a descifrarla es el reto de la evaluacin del diseo: qu hiptesis constituyen la teora? Hasta qu punto son razonables, factibles y apropiadas dichas hiptesis? Qu hiptesis es la ms dbil? Estas preguntas resultan oportunas como paso previo a cualquier evaluacin, para entender y valorar los fundamentos lgicos de la intervencin pblica antes de evaluarla. En la planificacin de un programa nuevo, este tipo de evaluacin permite valorar una propuesta de diseo o determinar cul es el mejor diseo posible entre distintas alternativas.

*La traduccin de los conceptos output y outcome al castellano puede dar lugar a equvocos. Ambos trminos se traducen a veces por resultado, motivo por el cual hemos preferido utilizar los trminos producto e impacto para referirnos a ellos. En cualquier caso, es importante distinguir que output/producto hace referencia a los resultados inmediatos de las actividades de la intervencin pblica (nmero de nios vacunados, de desempleados formados, de kilmetros de autova construidos, etc.), mientras que outcome/impacto se refiere a los cambios que, a consecuencia de la intervencin, han ocurrido en el problema o situacin social que da razn de ser a dicha intervencin (reduccin de la mortalidad infantil, aumento de la ocupacin entre los participantes, mejora de la eficiencia de la movilidad, etc.).

/ 9 /

Evaluacin del proceso/implementacin. En el momento de su puesta en prctica, las polticas y los programas se ajustan a factores imprevistos, especificidades contextuales o criterios y preferencias de las instituciones y personas que deben ejecutarlos. La funcin de la evaluacin de proceso o implementacin es determinar aquello que el programa realmente hace en comparacin con las previsiones del diseo: los beneficiarios se corresponden con la poblacin objetivo? El personal es suficiente y tiene la formacin adecuada? Las funciones administrativas, organizativas y de personal se gestionan adecuadamente? La evaluacin de la implementacin permite valorar la consecucin de los objetivos operativos del programa y detectar si hay aspectos de la operacin especialmente problemticos. Este enfoque es muy adecuado en programas recientes, ya que permite detectar problemas en los primeros estadios de la puesta en marcha y sugerir medidas correctivas. Tambin resulta apropiado en combinacin con la evaluacin del impacto, ya que si se detectan impactos positivos, permite corroborar que son debidos al programa y, si no se detectan, permite discernir si es debido a errores en la implementacin o bien a que la teora del cambio no era realista.

Evaluacin de impacto. La evaluacin de impacto se centra en averiguar si la intervencin efectivamente mitiga el problema que le da razn de ser: un aumento de los impuestos sobre el tabaco hace que la gente fume menos? El descenso de la siniestralidad en las carreteras se debe a la implantacin del carn por puntos o a otros factores? La evaluacin de impacto valora el grado de consecucin de los objetivos estratgicos del programa. Puesto que la evolucin de los problemas sociales es consecuencia de muchos factores y el objeto de diversas polticas, el inters de la evaluacin de impacto no es solamente medir cambios en la magnitud del problema, sino conseguir atribuir la causalidad de estos cambios al programa o a la poltica que se evala e identificar las razones plausibles de lo que se ha conseguido y de lo que puede haber fallado. Este tipo de evaluacin es adecuado en programas maduros y estables, que tengan una teora del cambio clara y un perodo de operacin suficiente para que los impactos hayan comenzado a producirse. Tambin es un tipo de evaluacin utilizado en programas que operan en lugares distintos, bajo variantes, estrategias o componentes diferentes y en los cuales el inters est en determinar qu variante o qu componente se asocia con un nivel de impacto ms elevado.

Eficiencia. El hecho de operar con presupuestos limitados hace que los decisores y los gestores pblicos se planteen preguntas sobre la eficiencia de las intervenciones: los impactos justifican los costes? Hay polticas o formas de gestin alternativas con niveles de resultados similares a un coste ms bajo? Las evaluaciones de eficiencia son adecuadas para programas maduros y bien establecidos, sobre cuyos impactos exista informacin que pueda usarse para ponderar costes. Tambin son evaluaciones adecuadas para sopesar distintas alternativas de diseo en el momento de planificar una intervencin.



/ 10 /

La segunda tipologa de clasificacin de las evaluaciones se basa en la fase en la que se encuentra el programa en el momento de la evaluacin, la cual, en muchos casos, determina tanto el posible enfoque de la evaluacin como el uso de los resultados.

Evaluacin ex anteEvaluacin ex post

Evaluacin intermedia

FORMULACINREVISIN

IMPLEMENTACIN

La evaluacin puede iniciarse en la fase de formulacin, es decir, en el momento del diseo de la intervencin, antes de ponerla en prctica. En esta fase, la evaluacin (evaluacin ex ante) consiste en analizar el conocimiento existente para determinar si la intervencin es necesaria y posible. En determinadas ocasiones, la evaluacin deber valorar de forma prospectiva distintas alternativas de intervencin y determinar cul es la ms efectiva (o bien cul consigue los objetivos con un coste ms bajo), segn los estudios de anlisis de polticas pblicas y las evaluaciones precedentes sobre intervenciones similares. La evaluacin ex ante, adems, puede contribuir a la evaluabilidad futura del programa y favorecer que los objetivos de la intervencin sean claros, factibles y mensurables y que la teora del cambio sea lo ms realista y explcita posible.

Buena parte de las evaluaciones, sin embargo, se realizan sobre polticas y programas que hace tiempo que funcionan y que continan operativos. En el caso de los programas recientes, el enfoque de la evaluacin intermedia suele centrarse en averiguar si el proceso de implementacin se desarrolla tal y como estaba previsto, con el propsito de introducir acciones correctivas en la operacin del programa, para intentar mejorar su impacto final. Por el contrario, en las primeras fases de implementacin resulta prematuro evaluar el impacto: el programa todava es inestable y puede no ser realista esperar que haya comenzado a generar impactos.

Por ltimo, en la evaluacin ex post (ya sea de polticas, de programas finalizados o de programas maduros an activos), el anlisis es retrospectivo y puede centrarse en el proceso de implementacin, en los impactos logrados o en la eficiencia econmica de la intervencin. Esta informacin permite orientar cambios en el diseo o en la operativa de la intervencin, si el programa sigue activo, o inspirar el diseo de intervenciones nuevas.

Como puede deducirse de lo expuesto, estas dos tipologas de evaluacin no son independientes. En el contexto ex ante resulta oportuna la evaluacin de necesidades y del diseo de la intervencin que se est planificando. La evaluacin intermedia, en cambio, se centra en la valoracin y la correccin del proceso de implementacin, para lo cual puede

/ 11 /

ser til un anlisis previo del diseo. Por ltimo, la evaluacin ex post tiende a aprovechar la acumulacin de datos e informacin sobre el ciclo completo de la intervencin para evaluar su impacto y/o eficiencia y, de forma instrumental, su diseo y proceso de implementacin.

FASE DE LA EVALUACIN RESPECTO DE LA INTERVENCIN

ENFOQUE DE LA EVALUACIN

EX ANTE INTERMEDIA EX POST

NECESIDADES

DISEO

PROCESO /IMPLEMENTACIN

IMPACTO

EFICIENCIA

Enfoque principal

Enfoque instrumental

1.3 EVALUAR NO ES HACER UN SEGUIMIENTO DE INDICADORES

El seguimiento de indicadores es la actividad propia de la monitorizacin de programas, que se define como el conjunto de actividades dirigidas a la obtencin sistemtica y continua de informacin sobre su funcionamiento, con la finalidad de determinar si se llevan a cabo las acciones previstas, con la cobertura prevista y con una gestin eficiente de los recursos asignados, y de detectar posibles desviaciones (Rossi [et l.], 2004).

La monitorizacin consiste normalmente en la definicin y la informacin peridica de una serie de indicadores sobre los aspectos ms destacados de la implementacin. No obstante, en funcin del grado de sofisticacin de los sistemas de monitorizacin de la implementacin de los programas alcance y mtodos de recogida, tratamiento y anlisis de la informacin, pueden llegar a constituir sistemas de evaluacin intermedia continua.

Los sistemas de monitorizacin tambin pueden referirse a los outcomes o impactos del programa; en este caso, la obtencin sistemtica y continua de informacin se centra en los efectos finales, que son identificados a priori como atribuibles al programa, para ver si se producen segn lo previsto y detectar posibles desviaciones. Normalmente, estos sistemas de monitorizacin estn formados por indicadores sobre outcomes a corto, medio y largo plazo y permiten seguir su evolucin, pero no atribuir una relacin causal entre el programa y los outcomes. Para que esto ltimo sea posible, ser necesario iniciar una evaluacin de impacto que, aplicando una serie de tcnicas sofisticadas de anlisis, permita analizar los efectos directamente atribuibles al programa, o a su ausencia, y obtener conclusiones.



/ 12 /

2. CINCO PASOS PREVIOS PARA ENFOCAR LA EVALUACIN

En esta seccin proponemos un proceso en cinco pasos para generar la informacin bsica con la que planificar una evaluacin: la caracterizacin de la intervencin y de su contexto organizativo, el anlisis del propsito de la evaluacin, la identificacin de sus destinatarios y el inventario de los recursos disponibles para llevar a cabo la evaluacin.

PASO 1: EFECTUAR UN ANLISIS PRELIMINAR DE LA INTERVENCIN

A) DESCRIBIR LA TEORA DEL CAMBIO. En la evaluacin de polticas pblicas, la descripcin de la teora del cambio es la forma habitual de caracterizar la intervencin que debe evaluarse. Si bien no siempre es necesaria una descripcin precisa de los componentes e hiptesis de la teora y, en todo caso, eso corresponde a las primeras etapas de ejecucin de la evaluacin, s es totalmente imprescindible concebir una primera versin de la teora que responda a las preguntas siguientes de forma breve, pero clara y explcita.

Qu hace el programa o qu tiene previsto hacer (actividades y productos)? Qu objetivos estratgicos quiere conseguir el programa (impactos)? Por qu se supone que con lo que hace el programa se conseguirn los objetivos

(relacin actividades-productos-impactos)?

EJEMPLO:Aproximacin a la teora de los planes de ocupacin del Servicio de Ocupacin de Catalua

Qu es lo que hace el programa? El Servicio de Ocupacin de Catalua publica anualmente una convocatoria de subvenciones para proyectos destinados a la contratacin de trabajadores desempleados para la realizacin de obras y servicios de inters general y social, a la que pueden presentarse entes locales y organizaciones sin nimo de lucro.

Qu objetivos quiere conseguir el programa? La insercin en el mercado laboral de personas que tienen especiales dificultades para encontrar y mantener un trabajo.

Por qu se supone que con lo que hace el programa se conseguirn los objetivos? Se supone que, mediante la experiencia laboral que implica participar en el programa, los participantes pueden revertir la prdida de motivacin y aptitudes laborales ocasionada por un perodo de desempleo prolongado, estabilizar su situacin personal y adquirir unas habilidades y una experiencia profesional importantes para el mercado laboral, que no adquiriran de otra manera. Una vez acabada su participacin en el programa, esta mejora de la ocupabilidad debera incrementar la probabilidad de que la persona desempleada encontrase y mantuviese un trabajo en el mercado laboral abierto.

/ 13 /

Al describir la teora del cambio, deber tenerse en cuenta que...

... el paso es crtico y exige reflexin. Si no puede formularse la teora con una cierta coherencia, ser imposible saber qu es lo que debemos evaluar.

... la pregunta sobre los objetivos estratgicos es capciosa. Los objetivos estratgicos no se refieren a lo que hace o produce el programa, sino a lo que pretende conseguir para mitigar el problema que le da razn de ser. Por tanto, los objetivos estratgicos no son las funciones, instrumentos u objetivos operativos del programa, tales como poner en marcha un programa de vacunaciones, administrar diez mil vacunas en un ao o aumentar un 15 % los beneficiarios de los planes de ocupacin. S lo son, en cambio, reducir la mortalidad infantil 10 puntos porcentuales o incrementar la participacin en el mercado laboral de los mayores de 45 aos que hace ms de seis meses que estn en el paro. Se encontrar una referencia excelente para la caracterizacin de objetivos en la gua para la elaboracin de programas presupuestarios de la Direccin General de Presupuestos de la Generalitat en www.gencat.cat/economia/doc/doc_13979778_1.pdf

Objetivos estratgicos y objetivos operativosEn esta gua nos referimos en varios momentos a la distincin entre objetivos estratgicos y objetivos operativos.

Los objetivos estratgicos se refieren al impacto esperado de la intervencin, es decir, a los cambios que se pretende que se produzcan en el problema o situacin social que ha motivado la intervencin. Idealmente, la definicin de los objetivos estratgicos comienza con verbos de accin (mejorar, conseguir, aumentar, reducir), est expresada en trminos de una dimensin mensurable, hace referencia a un horizonte temporal concreto y a medio plazo (por lo general de unos tres o cuatro aos) y debe suponer un reto que sea realista y al mismo tiempo asequible. Por ejemplo, incrementar en 10 puntos el porcentaje de estudiantes universitarios que tienen un nivel de ingls equivalente al tercer curso de la Escuela Oficial de Idiomas es un objetivo estratgico.

Cada objetivo estratgico deber tener asignados unos objetivos operativos. Los objetivos operativos son metas especficas y mensurables dirigidas a lograr los objetivos estratgicos y es necesario seleccionar las que contribuyan ms directamente a su consecucin. Pueden fijarse objetivos operativos tanto en lo que respecta a los recursos como a las actividades o a los productos. As, por ejemplo, incrementar en un 10 % el nmero de cursos de formacin ocupacional, conseguir una cobertura de plazas residenciales pblicas de dos por cada cien personas mayores de 65 aos o incrementar en 100 plazas la cantidad de personal dedicado a la investigacin en el conjunto del sector pblico y privado son objetivos operativos.

Fuente: adaptacin de la gua para la elaboracin de programas presupuestarios de la Direccin

General de Presupuestos de la Generalitat [p. cit.].



/ 14 /

... la teora del cambio raramente es explcita y unvoca. En muy pocas ocasiones se explica en los documentos la lgica subyacente a las intervenciones pblicas y no es extrao que la formulacin de los objetivos sea pobre, incompleta o inexistente. Por tanto, la teora del cambio no se identifica, sino que ms bien se descifra y se construye a partir del testimonio de las personas que disean, gestionan y operan las polticas o programas, y de la revisin de documentos, como puedan ser:

La normativa que regula la poltica o el programa Documentos internos del momento de diseo del programa Informes internos de anlisis, evaluacin o valoracin del programa Memorias Comunicados de prensa Presentaciones pblicas sobre el programa

B) IDENTIFICAR LA FASE EN LA QUE SE ENCUENTRA EL PROGRAMA. Como hemos explicado en la seccin de conceptos introductorios, la fase en la que se encuentra el programa determina en buena parte tanto el tipo de evaluacin que puede realizarse como el uso que puede otorgarse a los resultados. As pues, es necesario especificar si se trata de una intervencin: En fase de planificacin En las primeras fases de implementacin En una fase madura de funcionamiento (la operacin de la intervencin es relativamente

estable y rutinaria y ha transcurrido suficiente tiempo como para que la intervencin haya generado impactos)

Finalizada

C) DESCRIBIR LOS CAMBIOS QUE HA EXPERIMENTADO EL PROGRAMA O LA POLTICA DURANTE SU EXISTENCIA. Las polticas y los programas son dinmicos: a lo largo de su perodo de funcionamiento (y, a veces, durante el desarrollo de la evaluacin) sufren cambios y adaptaciones, ya sea en los recursos, en la estrategia, en la operacin del programa o en sus objetivos. La volatilidad del programa puede representar tanto un problema como una oportunidad para la evaluacin. Por una parte, significa que no hay una nica versin del programa o poltica que hay que evaluar, lo cual supone una complicacin. Por otra, ofrece la oportunidad de analizar la efectividad relativa de cada una de las versiones. En cualquiera de los dos casos, es necesario investigar los cambios pasados (parte de los cuales pueden quedar reflejados en la normativa reguladora) e informarse sobre los cambios previstos (puede resultar conveniente retrasar la evaluacin si el programa ha sido reformado en profundidad hace poco tiempo o si se tiene previsto hacerlo pronto).

/ 15 /

D) IDENTIFICAR LAS EVALUACIONES Y LOS ESTUDIOS PREVIOS QUE SE HAYAN REALIZADO. Es necesario detectar todos los que existan y analizarlos con detenimiento, ya que constituyen una fuente de informacin privilegiada para conocer el programa. Su lectura y consideracin evitar generar informacin redundante, ayudar a prevenir posibles errores y contribuir a la generacin de un conocimiento integrado y til para la organizacin sobre sus propios programas y polticas a partir de los resultados de los distintos estudios puntuales.

PASO 2: DESCRIBIR EL CONTEXTO INSTITUCIONAL Y ORGANIZATIVO: QUIN ES QUIN?

Tan importante como describir la naturaleza de la intervencin es familiarizarse con su contexto institucional y organizativo. Todo programa tiene una estructura de individuos, grupos y unidades administrativas que participan de alguna manera en las actividades que constituyen la intervencin, ya sea en la direccin poltica, la direccin tcnica, el diseo, la gestin, la prestacin del servicio, el anlisis, el mantenimiento y la custodia de las bases de datos, la participacin como beneficiario o la influencia externa sobre la intervencin. Muy pronto, en el proceso de preparacin de la evaluacin, el evaluador necesita saber quines son los actores ms importantes, qu papel desempean, cul es su posicin de partida respecto a la evaluacin, qu recursos necesarios para la evaluacin (bases de datos, acceso a personal o informes) dependen de cada uno de ellos, as como las expectativas, demandas de informacin y perspectivas de utilizacin que puedan tener y que la evaluacin pueda satisfacer.

PASO 3: CUL ES EL PROPSITO DE LA EVALUACIN?

Los motivos que puede tener una organizacin para evaluar una intervencin son muy variados: puede ser que haga poco tiempo que se ha reformado un programa y se quiera saber si el efecto de la reforma es el que se esperaba, o que los gestores se hayan planteado reformar un programa y quieran que la evaluacin les ayude a detectar cules son los aspectos que necesitan ser corregidos. Tambin es posible que una organizacin haya iniciado un programa pequeo con una cierta voluntad experimental y quiera comprobar si funciona bien antes de ampliarlo. Por otra parte, se dan casos en que la finalidad de la evaluacin es rendir cuentas (a los responsables polticos, a otra administracin o a la ciudadana) sobre qu se est consiguiendo con los recursos dedicados a un programa. En otras ocasiones, la evaluacin se realiza sencillamente porque existe una regulacin que obliga a ella.

En cualquier caso, resulta conveniente no olvidar que la evaluacin no es un fin en s mismo, sino un instrumento para la mejora de programas y polticas pblicas. Por tanto, en nuestro caso concreto, la preparacin de la evaluacin contina con la reflexin sobre la forma en que puede ser til para mejorar la intervencin.



/ 16 /

Responder esta pregunta puede resultar una tarea ms complicada de lo que parece. A menudo tenemos una percepcin difusa de lo que nos puede aportar una evaluacin, y simplemente tenemos la sensacin de que es una buena idea. En estas situaciones, concretar el propsito exige un tiempo de reflexin y deliberacin con los directivos, gestores, personal del programa y cualquier otro actor que pueda ser un usuario potencial.

Para ayudar a orientar esta reflexin, a continuacin se mencionan los propsitos ms habituales que puede tener una evaluacin:

A) AYUDAR A TOMAR UNA DECISIN. Hay evaluaciones que tienen una funcin instrumental muy directa: se trata de ofrecer informacin relevante a una persona o unidad que debe tomar una decisin determinada. Este tipo de propsito suele requerir que la evaluacin aborde cuestiones muy bien definidas, con unos criterios y un lenguaje determinados, y que los resultados estn disponibles antes de una fecha concreta en la que debe tomarse la decisin. Por tanto, a menudo implican una participacin directa y activa del decisor interesado en el diseo de la evaluacin.

Los tipos principales de decisiones que pueden alimentarse de los resultados de una evaluacin son:

Decisiones clave. Las decisiones que deben tomarse son estratgicas: ampliar el programa o recortarlo, reformarlo o dejarlo como est, mantenerlo o abandonarlo, etc. En estos casos, la informacin suele ir dirigida a la direccin de la organizacin y la pregunta de evaluacin se centra en comprobar si el programa logra sus objetivos y con qu grado de eficiencia. Los resultados de la evaluacin no son casi nunca el nico elemento para tomar la decisin, pero su propsito es ayudar a clarificar las ventajas e inconvenientes de cada opcin.

Decisiones correctivas de la implementacin. El propsito de la evaluacin es descubrir, en los primeros estadios de la puesta en prctica de un programa, qu cambios hay que introducir para mejorar su rendimiento. El objeto de la evaluacin ser, sobre todo, el proceso de implementacin, y las decisiones que se deriven de ella sern de tipo operativo: cambios en los criterios de seleccin de los participantes, en los modelos de gestin, contratacin de un perfil nuevo de personal, etc.

Decisiones sobre programas-demostracin. Hay programas con un diseo innovador que se crean precisamente para comprobar si funcionan mejor que otros programas ms maduros y establecidos. El propsito de la evaluacin es mostrar los resultados del experimento para ayudar a decidir si vale la pena ampliar o institucionalizar el programa.

Seleccin de la mejor versin de un programa. A veces se implantan versiones diferentes de los programas o polticas al mismo tiempo (por ejemplo, en algunos lugares con

/ 17 /

servicios prestados directamente por la organizacin y en otros lugares mediante conciertos con entidades externas) o con componentes distintos (con criterios diversos de seleccin de los participantes, distintos tipos de entidad concertada, etc.). En este caso, el propsito de la evaluacin es identificar cul es la alternativa con un impacto mayor o la que consigue los objetivos con un coste ms bajo, con la expectativa de generalizar la mejor versin o componente.

Seleccin del mejor diseo para un programa nuevo. En ocasiones, el programa todava no ha sido creado y el propsito de la evaluacin (ex ante) es ayudar a decidir cul es el mejor diseo de intervencin, en funcin de la naturaleza del problema y del conocimiento existente sobre cules son los instrumentos que funcionan mejor para solucionarlo.

Decisiones sobre la financiacin de programas de terceras personas. Cuando una organizacin financia un programa de otro ente o entidad, la evaluacin puede servir para comprobar si el proyecto genera impactos positivos o cul es el proyecto o programa con un impacto mayor entre distintos programas subvencionados. En este caso, el fin de la evaluacin es proporcionar informacin para decidir sobre continuar, aumentar, reducir o extinguir la financiacin.

B) CONTRIBUIR AL APRENDIZAJE DE LA ORGANIZACIN. Existen autores de estudios sobre la evaluacin de polticas pblicas que destacan que el proceso de decisin en las organizaciones pblicas (especialmente en referencia a las decisiones clave) muy pocas veces depende de la autoridad de una nica persona o unidad, sino que exige procesos de cambio y negociacin que a menudo son prolongados. Por consiguiente, la informacin y las recomendaciones de la evaluacin a menudo no se utilizan inmediatamente. Hay que esperar a que se abra una oportunidad de cambio para que el aprendizaje que se ha ido acumulando gradualmente en la organizacin permita orientar adecuadamente las decisiones. En este caso, el propsito de la evaluacin es la introduccin de alternativas y conceptos nuevos, la comprobacin de la veracidad de determinadas intuiciones y la deteccin de hechos o datos contraintuitivos. La informacin que se deriva de ella no va dirigida a un decisor concreto, sino a la comunidad de actores de la poltica o el programa, y la capacidad de influencia de la evaluacin depende, en buena parte, del hecho de que la informacin se transmita, se acumule y se almacene adecuadamente y de que surja la oportunidad de cambio.

C) UTILIZAR LA EVALUACIN COMO INSTRUMENTO DE GESTIN. La gestin de polticas pblicas a menudo tiene que batallar con la falta de datos sistemticos sobre el funcionamiento y el rendimiento de los programas, lo cual dificulta la deteccin, la correccin y la prevencin de errores, adems de complicar la tarea de identificar, motivar y recompensar los xitos. En este sentido, la evaluacin puede emplearse como parte de un instrumento de gestin, con las siguientes aplicaciones posibles:



/ 18 /

Proporcionar feedback al personal del programa sobre los efectos de su actividad. La evaluacin puede orientarse a informar al personal del programa (en lugar de los decisores o gestores) sobre los efectos de sus actuaciones, la aparicin de efectos colaterales, etc., con la intencin de que dicho personal pueda desarrollar una praxis reflexiva (es decir, adaptar su actividad a los datos que se le suministran).

Rendicin de cuentas sobre los resultados obtenidos, del personal o las unidades que ejecutan el programa a los gestores, o de los gestores a los directivos de la organizacin.

Establecer incentivos para el personal o unidades que ejecutan o gestionan el programa, para motivar y recompensar los resultados positivos en trminos de impacto de los programas.

Alinear la actividad con los objetivos del programa. En este sentido, la evaluacin se convierte en una oportunidad para recalcar los objetivos y reforzar la preocupacin del personal y de los gestores para conseguirlos.

D) RENDICIN DE CUENTAS A LA CIUDADANA. Dado el carter limitado de los recursos pblicos invertidos para llevar a cabo intervenciones, es deseable y exigible que las organizaciones pblicas que son responsables de ellos rindan cuentas a la ciudadana acerca de lo que se consigue efectivamente con los recursos asignados. En circunstancias normales, las evaluaciones que persiguen este nico propsito corren un cierto riesgo de volverse ritualistas, desconectadas de las preocupaciones de gestores y decisores, y con un potencial de utilizacin escaso. Sin embargo, cuando el programa o la poltica estn sometidos a un intenso escrutinio pblico (porque ha ocurrido algo que ha hecho que se ponga en duda su efectividad), los resultados pueden ser un acicate para tomar decisiones de mejora del programa y orientarlo a satisfacer las expectativas del pblico y los usuarios. Se encontrar un ejemplo magnfico de evaluacin aplicada a la rendicin de cuentas en www.expectmore.gov.

E) CONOCIMIENTO BSICO SOBRE LAS POLTICAS PBLICAS. Hay evaluaciones, especialmente las promovidas por instituciones acadmicas, cuya finalidad es entender mejor el tipo de programa o contexto que mejor funciona para cambiar las condiciones sociales. Eso les permite construir y contrastar teoras en distintos mbitos de las polticas pblicas, que, de forma indirecta, pueden contribuir a mejorar el diseo de programas.

F) CONSECUCIN DE UN REQUISITO FORMAL. Finalmente, la razn de ser de determinadas evaluaciones es hacer cumplir las condiciones de una subvencin o de la normativa que regula el programa o la poltica pblica. Las evaluaciones forzadas corren un riesgo alto de irrelevancia, a no ser que la audiencia a la que van dirigidas (otras administraciones, rganos supervisores o legisladores) ejerza activamente su funcin de control, o a no ser

/ 19 /

que el promotor tenga la capacidad de conectarlas con las preocupaciones de gestores y decisores y aproveche la oportunidad para generar informacin con potencial de utilizacin.

PASO 4: IDENTIFICAR LOS DESTINATARIOS DE LA EVALUACINLa lista de posibles propsitos de evaluacin pone de manifiesto que el tipo de propsito depende, en gran medida, de la audiencia a la que se dirige la evaluacin. En efecto, los intereses del directivo poltico con autoridad para tomar decisiones clave difieren de los de un gestor responsable de las operaciones de un programa especfico o de los del pblico beneficiario.

Dado que las audiencias pueden ser diversas, es importante establecer a cul hay que ajustar el diseo de la evaluacin. En primer lugar, hay que identificar quin ha iniciado la idea de emprender una evaluacin (promotor) y a quin quiere dirigirla (en caso de que sea una persona distinta al promotor) o qu otros actores de la comunidad de la poltica pblica tienen (o pueden tener) inters en la evaluacin.

A veces, las audiencias y sus propsitos estn muy bien definidos, mientras que en otras ocasiones resulta difcil determinar cules sern los usuarios finales de la evaluacin. Con el objetivo de facilitar el proceso de identificacin de la audiencia, la tabla siguiente enumera las audiencias tpicas de las evaluaciones y las caractersticas y el tipo de propsito que suele tener cada una

AUDIENCIA CARACTERSTICAS DE LA AUDIENCIA

PROPSITOS HABITUALES

DECISORES DE ALTO NIVEL

Direccin poltica o tcnica de los organismos pblicos y legisladores.

TomadedecisionesclaveAprendizajedelaorganizacinRendicindecuentas

GESTORES DE PROGRAMAS

Responsables del programa en su forma actual, deben tomar decisiones dentro de los parmetros del diseo vigente, destinadas a mejorar el funcionamiento del programa.

DecisionescorrectivasSeleccindelamejorversindeun

programaInstrumentodegestinAprendizajedelaorganizacinRendicindecuentas

PERSONAL DEL PROGRAMA

Suelen tener preocupaciones prcticas sobre la gestin cotidiana del programa. Acostumbran a confiar en su experiencia e intuicin, y a menudo son escpticos sobre las aportaciones prcticas de una evaluacin externa.

DecisionescorrectivasAprendizajedelaorganizacinRendicindecuentas



/ 20 /

ORGANISMOS FINANCIADORES Y SUPERVISORES DE TERCEROS

Quedan fuera de la operacin directa del programa y, por tanto, tienen un inters genrico por saber cmo funcionan las cosas sobre el terreno.

Decisionessobrelafinanciacindeprogramas

Instrumentodegestin

BENEFICIARIOS DIRECTOS

Tienen inters en disponer de un acceso gil a servicios pblicos de calidad y adecuados a sus necesidades y, en los casos en que existe la posibilidad de elegir, en conocer la efectividad de programas y de proveedores concretos.

Ejerciciodederechosdeaccesoyprestacin adecuada de los servicios pblicos

Enlamedidadeloposible,posibilidadde comparar y escoger entre prestadores de servicios

GESTORES Y PERSONAL DE OTROS PROGRAMAS

Se interesan por las conclusiones que puedan extraer para mejorar sus programas (aplicar una idea o iniciar un programa similar).

Conocimientoaplicadosobrelaspolticas pblicas

UNIDADES DE PROGRAMACIN

Requieren indicaciones sobre qu direccin deben seguir los nuevos programas y qu deben evitar para mejorar el diseo de los programas nuevos.

Conocimientoaplicadosobrelaspolticas pblicas

CIENTFICOS SOCIALES

Quieren extraer conclusiones generales en el mbito del anlisis de polticas pblicas y sobre cmo los seres humanos responden a las intervenciones pblicas.

Conocimientobsicosobrelaspolticas pblicas

UNIDADES DE EVALUACIN Y ANLISIS

Su razn de ser es realizar o impulsar anlisis y evaluaciones; eventualmente puede darse el efecto perverso de que realizar evaluaciones se convierta en un fin en s mismo.

Generacindeconocimientorelevantesobre polticas y programas para la toma de decisiones

Contribuicinalaprendizajedelaorganizacin

GRUPOS DE REPRESENTACIN DE COLECTIVOS O INTERESES ESPECFICOS Y CIUDADANA EN GENERAL

Su razn de ser es la defensa de los derechos y los intereses especficos de los distintos colectivos a los que se dirigen las intervenciones pblicas, ver si son tenidos en cuenta, si obtienen los efectos esperados y con qu grado de eficiencia lo logran.

Conocimientodelmodusoperandi,los efectos y la eficiencia de las intervenciones pblicas

Influenciaenlatomadedecisiones

Fuente: adaptacin de Weiss (1998)

/ 21 /

Cuando la evaluacin tiene mltiples audiencias, los propsitos pueden ser diversos. En rigor, puede que no se excluyan mutuamente, pero es difcil que una nica evaluacin sea capaz de cubrir satisfactoriamente los propsitos de todas las partes interesadas.

A menudo esta decisin no presenta ningn problema, ya que la audiencia prioritaria ser la propia unidad promotora, la cual habr iniciado la evaluacin precisamente porque tiene necesidades de informacin y propsitos que quiere satisfacer. En otras ocasiones, es posible que el promotor de la evaluacin sea una unidad de anlisis que ha detectado una necesidad de informacin para un propsito concreto y quiere dirigir la evaluacin a una unidad directiva o gestora.

No obstante, se dan situaciones en que la iniciativa nace sin ningn propsito en el horizonte, o con un propsito formal (como pueda ser el cumplimiento de una obligacin legal) que concede la oportunidad de incorporar un propsito prctico en la evaluacin. En estos casos, el promotor puede hacer una exploracin para identificar las decisiones que debern tomarse en un futuro prximo. Si existe la posibilidad de que la evaluacin aporte algo a una decisin relevante, es preferible prestar atencin a este propsito. De no ser as, quizs haya personas o unidades especialmente preocupadas por encontrar maneras de mejorar el rendimiento de su programa o poltica, o con ms sensibilidad hacia lo que puede aportarles la evaluacin, a las cuales es necesario dar prioridad.

Si, por el contrario, el problema es que las decisiones que esperan informacin y las partes interesadas en la evaluacin son mltiples, habr que negociar las prioridades entre los propsitos de todas ellas, de manera que sea posible transmitir al evaluador una indicacin clara sobre el objetivo principal que debe tener.

Dar prioridad a un nico propsito aumenta las opciones de que el resultado de la evaluacin sea de calidad y adecuado a las necesidades de quien debe utilizarla. Por supuesto, eso no significa que los resultados de la evaluacin no puedan llegar a otras audiencias, que podrn utilizarla a su conveniencia, ni que no deban incorporarse otros puntos de vista al anlisis, ms all del enfoque del mismo promotor o de la audiencia prioritaria.

PASO 5: INVENTARIAR LOS RECURSOS PARA LA EVALUACIN

Necesariamente, el proyecto de evaluacin deber pasar por la criba de la disponibilidad de recursos. El dinero, el tiempo, los conocimientos de los evaluadores, los datos y el apoyo por parte del personal del programa y de la organizacin impondrn restricciones a nuestra propuesta de evaluacin, y lo que idealmente nos gustara obtener de la evaluacin deber ser ponderado con lo que es posible, con los recursos de los que disponemos.



/ 22 /

Como es lgico, el rigor y la profundidad de la evaluacin sern proporcionales a los recursos y al tiempo invertidos y, en lo que se refiere a recursos, ms suele querer decir mejor. Al margen de esto, a menudo ser necesario adaptar las expectativas a los recursos, de manera que el reto de la planificacin de la evaluacin consistir en acotar la evaluacin sin perder ningn aspecto sustancial.

Este paso consiste en recopilar informacin sobre los recursos disponibles para tener todos los elementos con los que poder planificar adecuadamente la evaluacin.

A) LA FINANCIACIN. La financiacin es un recurso determinante, sobre todo para acceder a la experiencia, poder generar datos en caso de que sea necesario y reducir el tiempo que tardan los resultados de una evaluacin en estar disponibles. Para planificar el alcance y la duracin de la evaluacin, ser imprescindible conocer, aunque slo sea de manera orientativa, la financiacin disponible.

B) LA EXPERIENCIA. La experiencia en evaluacin resulta difcil de definir e identificar. El anlisis y la interpretacin de los resultados exigen cierto dominio de las tcnicas de investigacin cualitativa y cuantitativa propias de las ciencias sociales, mientras que el conocimiento del sector de la intervencin que quiere evaluarse siempre resulta til para entender el contexto y enfocar la evaluacin hacia la produccin de resultados relevantes. Adems, no existe un perfil profesional de evaluador bien definido.

Por otra parte, el tipo de capacidades requeridas vara segn el tipo de evaluacin. En las evaluaciones de impacto de tipo cuantitativo, la evaluacin puede ser tcnicamente compleja, requerir un diseo y unos mtodos analticos sofisticados y exigir la participacin de especialistas con conocimientos muy especficos (generalmente estadsticos o econmetras). En contextos organizativos complejos, en los que la identificacin de preguntas de evaluacin o el equilibrio entre propsitos distintos resultan complicados, la participacin de evaluadores experimentados es muy recomendable. En cambio, otras actividades y proyectos de evaluacin los pueden desarrollar fcilmente personas con menos experiencia y conocimientos tcnicos.

La concrecin de las necesidades de experiencia debera incluir una mnima orientacin sobre la importancia que puede tener el anlisis cuantitativo o el conocimiento del sector de la poltica en la evaluacin que queremos iniciar.

Identificar e involucrar a las personas o las instituciones que presentan las capacidades ms adecuadas para nuestra evaluacin ser el paso siguiente, teniendo en cuenta que la experiencia puede ser un recurso difcil de encontrar.

/ 23 /

C) EL APOYO DEL PERSONAL DEL PROGRAMA. Un recurso intangible, pero extremadamente importante, es el apoyo y la cooperacin de los gestores y el personal del programa. La predisposicin a responder preguntas y hacer aportaciones a los evaluadores, a participar en entrevistas o grupos de discusin, a facilitar el acceso a personal, beneficiarios, instalaciones u otros componentes del programa y, muy especialmente, facilitar el acceso a las bases de datos y registros administrativos tienen una influencia muy considerable sobre lo que la evaluacin puede llegar a conseguir.

En este sentido, es necesario tener en cuenta que los evaluadores solicitan el acceso a archivos informticos, a personal o a instalaciones que, por una parte, requieren la atencin y el tiempo del personal y perturban su actividad cotidiana, y por otra, pueden implicar el escrutinio de archivos, actividades o procedimientos que habitualmente quedan dentro del mbito interno de operaciones del programa.

Por consiguiente, es importante recordar que el acceso a la informacin muy pocas veces es automtico y que pueden surgir problemas, desde pequeos retrasos en el acceso hasta personal abiertamente reticente a colaborar, problemas que pueden comprometer seriamente el calendario previsto y la calidad de la evaluacin.

Afortunadamente, la cooperacin y el apoyo no son recursos fijos, sino que tanto el promotor de la evaluacin como los evaluadores tienen a su alcance herramientas para atender las objeciones de los cooperantes necesarios de la organizacin y motivar su apoyo. Exponer desde un principio los propsitos y el proyecto de evaluacin a las personas a las que se solicita colaboracin, abrir la propuesta a sus observaciones y aportaciones, negociar el momento y la forma de acceso a la informacin para minimizar el conflicto con la actividad rutinaria del programa o la organizacin y mantener un retorno peridico de los resultados a medida que se desarrolla la evaluacin son factores que tienden a facilitar la cooperacin, si bien no pueden garantizarla.

Por si acaso, tambin es recomendable que el promotor establezca de antemano el procedimiento para resolver posibles dificultades en el acceso a la informacin, tanto con los evaluadores como con los jefes de las unidades responsables de la informacin necesaria para la evaluacin.

D) LA INFORMACIN Y LAS BASES DE DATOS. Las evaluaciones suelen tratar, al menos en parte, con informacin cuantitativa sobre la que se realizan anlisis estadsticos. Esto quiere decir que un recurso importante para las evaluaciones son los datos, los cuales o bien existen ya antes de la evaluacin (normalmente en registros administrativos) o bien deben crearse expresamente para realizarla (por ejemplo, con una encuesta). Crear datos nuevos siempre es una posibilidad y ofrece la ventaja de que se pueden recoger los



/ 24 /

que ms interesen para el propsito de la evaluacin. No obstante, es necesario tener en cuenta que el coste econmico puede ser elevado y que, en cualquier caso, obtenerlos requiere bastante tiempo.

En cambio, los datos que ya existen suelen ser el resultado de los registros administrativos

del programa y, ms excepcionalmente, de sistemas de monitorizacin con fines de evaluacin. Estos datos determinarn, en buena medida, el enfoque de la evaluacin y las preguntas de evaluacin que podrn ser respondidas. A efectos de conocer la disponibilidad:

1) El primer paso es confeccionar una lista con las bases de datos existentes que pueden ser relevantes para la evaluacin, con una descripcin sucinta de la informacin que contienen y el nombre de la unidad o la persona que las gestiona y las custodia.

2) Una vez registrada la existencia de las bases de datos, el paso siguiente es conocer su estructura y caractersticas para determinar cul es la utilidad potencial para la evaluacin. Existen tres alternativas de acceso preliminar a las bases de datos que son muy tiles para disear la propuesta de evaluacin:

Una inspeccin preliminar in situ de las bases de datos permite hacerse una idea de la informacin que contienen y de sus caractersticas.

La estructura de la base de datos con una muestra de unos pocos casos. El libro de cdigos de la base de datos (que contenga, para cada tabla, la definicin

de las variables y de los valores vlidos posibles para cada variable) y un anlisis de frecuencias.

E) EL TIEMPO. El tiempo es uno de los recursos ms valiosos para realizar una evaluacin, aunque existe cierta tendencia a subestimarlo, con la vana esperanza de que un conjunto extenso de preguntas de evaluacin pueda abordarse en pocos meses. Para realizar una previsin realista del tiempo que hay que dedicar a la evaluacin debemos tener en cuenta lo siguiente:

Las fases preliminares a la evaluacin requieren tiempo para reflexionar, prever y negociar intereses en la evaluacin y las predisposiciones a la cooperacin.

Como ya hemos comentado, un problema recurrente es que el acceso a los datos necesarios para hacer el anlisis requiera ms tiempo del previsto, de manera que si el calendario es ajustado, podra quedar poco tiempo para actividades que deberan ejecutarse sin una prisa excesiva: el anlisis, la interpretacin de resultados y la redaccin de los informes.

/ 25 /

Es probable que surjan problemas y obstculos imprevistos: personas con funciones clave con reticencias a colaborar, datos que requieren un procesamiento previo muy complicado, diferencias entre actores sobre las preguntas de evaluacin que hay que resolver, perodos de sobrecarga de trabajo en la gestin del programa que aconsejan retrasar el momento de dedicar tiempo a los evaluadores, etc.

Por ltimo, si el programa objeto de la evaluacin es relativamente nuevo o el sistema de informacin del programa es reciente, es posible que sea necesario dejar transcurrir un perodo de tiempo relativamente largo antes de poder identificar los impactos de inters, especialmente si necesitan tiempo para aparecer o consolidarse (por ejemplo, si el programa tiene como objetivo que los participantes encuentren trabajo, habr que dejar transcurrir unos cuantos meses antes de poder medir el outcome de inters).

En la prctica, la decisin respecto a la previsin de tiempo debera representar un equilibrio entre las necesidades del evaluador de garantizar la solidez del anlisis y las recomendaciones, y el horizonte temporal dentro del cual los resultados son correctos y relevantes para la organizacin que encarga la evaluacin.



/ 26 /

3. LA EVALUACIN ES VIABLE?

Hasta aqu hemos dado por hecho que cualquier intervencin pblica es susceptible de ser evaluada. Sin embargo, existen ciertas circunstancias que comprometen la evaluabilidad de la intervencin hasta el punto de que resulta recomendable no dedicar recursos a evaluarla. En este punto del anlisis de la intervencin y del contexto de la evaluacin ya debera ser posible detectarlo (Wholey [et l.], 2004).

Cuando las actividades o productos vinculados a la poltica o al programa son muy diversos, inestables o poco concretos, de manera que resulta difcil definir en qu consiste la poltica o el programa (problemas a la hora de definir las actividades y/o los productos).

Cuando nos encontramos con que existen versiones muy distintas sobre los objetivos estratgicos que el programa debe conseguir (problemas a la hora de definir los objetivos/impactos previstos).

Cuando la teora del cambio parezca incoherente o extremadamente poco realista. Las probabilidades de que la intervencin logre sus objetivos son remotas (problemas a la hora de identificar hiptesis plausibles que unan las actividades y los productos con los objetivos estratgicos).

Cuando no exista ningn uso previsto para la informacin que puede generar la evaluacin (problemas para identificar el propsito de la evaluacin).

Cuando los recursos disponibles (financiacin, capacidades, apoyo del personal, informacin y tiempo) no permitan dar una respuesta mnimamente slida a las preguntas de evaluacin ms relevantes.

/ 27 /

4. LAS PREGUNTAS DE EVALUACIN

La esencia de la evaluacin es dar respuesta a preguntas sobre el funcionamiento y el rendimiento de los programas y las polticas pblicas. Por tanto, toda evaluacin incluye un conjunto de preguntas de evaluacin que son el ncleo sobre el que gira toda la evaluacin, tanto en la fase de planificacin como en la de anlisis, interpretacin de resultados y redaccin del informe. Toda insistencia en la importancia de este paso es poca; escoger y concretar las preguntas de evaluacin es un momento crtico en el que hay que ser especialmente selectivo y cuidadoso: slo obtendremos las respuestas que nos interesan si antes hemos hecho las preguntas que nos interesan.

Las preguntas de evaluacin se derivan del propsito para el que hacemos la evaluacin. Si queremos rendir cuentas a la ciudadana, necesitamos determinar qu preguntas son relevantes para demostrar el valor social de un programa. Si debemos tomar una decisin, es necesario que imaginemos cul es el tipo de informacin que nos servir mejor para ponderar los pros y los contras de cada opcin.

Sin embargo, podra pensarse que, una vez decidido su propsito, formular preguntas es un procedimiento relativamente rutinario, pero muy pocas veces las primeras preguntas que nos planteamos son directamente utilizables como preguntas de evaluacin. Aunque constituyen un primer paso, a menudo son poco concretas, poco relevantes o imposibles de responder. Formular las preguntas de evaluacin requiere una reflexin atenta y un proceso de elaboracin que proponemos que se estructure en los tres pasos siguientes:

1) Identificacin de la familia y del tipo de pregunta de evaluacin, cuyo resultado ser un inventario del tipo de preguntas que nos parecen interesantes.

2) Seleccin de las preguntas de evaluacin, que dar lugar a un conjunto de las preguntas ms relevantes, pero demasiado inespecficas todava.

3) Concrecin de las preguntas seleccionadas, cuyo resultado ser una primera versin del conjunto de preguntas de evaluacin.

Seguir estos tres pasos nos permitir contemplar el abanico de preguntas posibles, ejercer el proceso de elaboracin de las mismas y obtener una primera versin de preguntas con la que orientar al evaluador sobre nuestros intereses. En cualquier caso, recomendamos que la reflexin definitiva sobre las preguntas de evaluacin se realice conjuntamente entre los promotores de la evaluacin y los evaluadores. Unos aportarn el criterio sobre qu informacin es la realmente relevante para el propsito de la organizacin; los otros, los conocimientos para seleccionar y confeccionar preguntas que permitan generar las respuestas ms importantes y slidas posibles con los recursos de los que se dispone. El resultado de esta reflexin debera ser una lista breve de preguntas que, aunque pueda sufrir modificaciones, ser una referencia en el diseo de la evaluacin y la metodologa.



/ 28 /

4.1 INVENTARIO DE LAS PREGUNTAS DE EVALUACIN INTERESANTES

El conjunto de posibles preguntas de evaluacin que pueden resultar relevantes para evaluar la variada gama de intervenciones pblicas es inmenso. En cualquier caso, existen preguntas tipo, segn la tipologa de enfoque de la evaluacin, que pueden servir de referencia para pensar qu preguntas pueden tener inters para nuestro caso (adaptacin de Rossi [et l.], 2004):

A) NECESIDAD DE LA INTERVENCIN

Cul es la naturaleza y la magnitud del problema que queremos mitigar? Cules son las previsiones de futuro respecto a la naturaleza y la magnitud del problema? Cules son las caractersticas de la poblacin que tiene el problema? Qu otros problemas tiene la poblacin objetivo? Qu necesidades concretas tiene la poblacin objetivo? Qu servicios pueden satisfacer estas necesidades? Qu frecuencia y duracin del servicio necesitan? Qu se necesita para poder proporcionar este servicio?

B) DISEO DE LA INTERVENCIN

Cules son los objetivos del programa y cmo se espera que los logre? Las hiptesis del modelo son realistas? La teora es coherente con el conocimiento existente? Cul es la mejor forma de proporcionar el servicio previsto? Qu recursos son necesarios y apropiados para implantar el programa? Los criterios de seleccin de los participantes son los adecuados para cubrir la poblacin

objetivo del programa?

C) IMPLEMENTACIN/PROCESO

Se han conseguido los objetivos operativos? Las actividades son coherentes con los objetivos del programa? Los servicios previstos se proporcionan a la poblacin prevista? Hay alguna parte de la poblacin objetivo a la cual no llega el programa? Una vez en el programa, los beneficios completan el ciclo del servicio? Los clientes estn satisfechos con el servicio? Las funciones administrativas, organizativas y de personal se gestionan adecuadamente?

/ 29 /

D) IMPACTO

El programa consigue sus objetivos? El problema o la situacin que se quera arreglar ha mejorado? Los impactos se mantienen con el tiempo? Tiene el programa efectos colaterales (positivos o negativos) sobre los beneficiarios o

sobre la sociedad? Los impactos varan segn el tipo de beneficiario o segn el lugar, el tipo de operador u

otro componente del programa?

E) EFICIENCIA

Se utilizan los recursos de forma eficiente? Es razonable el coste en relacin con la magnitud de los impactos obtenidos? Existen maneras alternativas de conseguir impactos similares con un coste ms bajo?

Fuente: adaptacin de Rossi [et l.] [2004]

4.2 SELECCIN DE LAS PREGUNTAS DE EVALUACIN MS RELEVANTES

Es conveniente hacer una seleccin entre los centenares de preguntas de evaluacin posibles para evitar una sobrecarga de preguntas, ya que cada pregunta que incluyamos en la lista llevar asociada la responsabilidad de responderla: cada respuesta implica disear y ejecutar un anlisis especfico.

Esta sobrecarga de preguntas es idiosincrtica de cada evaluacin: depende tanto del tipo de preguntas como de los recursos disponibles. En general, diremos que la primera seleccin de preguntas de evaluacin no debera incluir, en principio, ms de tres preguntas principales. Si nos interesan ms, la cuestin est en determinar los criterios con los que priorizar unas preguntas sobre las otras.

El primer criterio debera ser la satisfaccin del uso potencial que queremos darle a la evaluacin. Como se dice en ingls: make choices on the basis of likely use. En este paso ser de especial utilidad haber clarificado el propsito de la evaluacin: si hay una decisin importante en el horizonte, cul es la pregunta ms relevante para ayudarnos a tomarla? Si los beneficiarios son la audiencia prioritaria de la evaluacin, cules son sus preferencias? Si hace poco tiempo que hemos puesto en prctica un programa nuevo, qu aspecto de su implementacin nos preocupa ms o tenemos indicios de que puede estar fallando?



/ 30 /

Adems del propsito especfico de la evaluacin, existen criterios generales que nos pueden ayudar a seleccionar las preguntas:

Las incertidumbres en el conocimiento preexistente: hay preguntas que son especialmente relevantes porque ayudan a clarificar incertidumbres o controversias o a rellenar vacos flagrantes de informacin. Para detectar estas cuestiones, suele ser til investigar los antecedentes del tipo de programa o poltica pblica a evaluar y la revisin de las evaluaciones previas sobre el propio programa, en caso de que las haya. Asimismo, resulta til identificar, dentro de la organizacin, los aspectos de funcionamiento o rendimiento de la intervencin sobre los que existe ms controversia.

Las hiptesis crticas de la teora del cambio: la construccin de la teora del cambio nos puede ayudar a detectar hiptesis particularmente crticas en el diseo de la intervencin, ya sea porque ocupan una posicin clave en la cadena causal o porque existen dudas de que sean realistas o de que se estn cumpliendo. En estos casos, un criterio de relevancia es preguntarse si las hiptesis crticas se demuestran ciertas.

La jerarqua de las preguntas de evaluacin: los tipos de evaluacin se construyen unos sobre otros. Determinar si el diseo de un programa es adecuado exige tener conocimiento sobre la necesidad que ha motivado el programa. Las preguntas sobre la implementacin se refieren a cmo se est llevando a la prctica el diseo, por lo que es necesario saber cul es ese diseo. Las preguntas sobre los impactos de un programa, por su parte, requieren conocer previamente qu es el programa en la prctica. En ltimo lugar, es necesario conocer los impactos antes de poder estimar si los costes asociados son razonables o no y realizar las consideraciones oportunas. En este sentido, el error ms habitual consiste en centrar la atencin en los impactos de forma prematura, cuando la informacin disponible sobre el proceso de implementacin todava es insuficiente. Para evitarlo, debemos cuestionarnos lo que ya sabemos y lo que no sabemos antes de determinar en qu nivel podemos ubicar nuestras preguntas de evaluacin sobre la base de este conocimiento. Esto no quiere decir que sea necesario disponer de evaluaciones previas, pero s que el problema est bien descrito y se haya comprendido bien, que la teora del cambio sea slida y conocida y que tengamos conocimientos suficientes sobre la implementacin de las actividades y los servicios antes de preguntarnos si el programa debe lograr los impactos previstos. Cuanto ms estable, maduro y rutinario sea un programa, ms fcil ser subir de nivel.

La posibilidad de responder las preguntas: una pregunta puede responderse cuando identifica dimensiones observables del programa de las que es factible obtener informacin. Puede ser interesante saber si los usuarios del servicio estn satisfechos, pero si la informacin no se recoge de forma habitual y no existen recursos para hacer una encuesta ad hoc, no podremos obtener una respuesta creble. El inventario de recursos

/ 31 /

disponibles para la evaluacin deber permitirnos descartar determinadas preguntas que, a pesar de ser interesantes y relevantes, no pueden ser respondidas por falta de tiempo, datos o capacidades.

El criterio profesional de los evaluadores: en caso de contar con un evaluador experto externo, una vez que le hayamos hecho el encargo de servir un propsito concreto, ser conveniente dejarle margen para que aplique su criterio, conocimientos y experiencia para seleccionar y formular las preguntas que mejor sirvan al propsito que se le encarga.

4.3 LA FORMULACIN DE LAS PREGUNTAS DE EVALUACIN

Una vez seleccionadas, las preguntas debern ser formuladas con precisin, brevedad y claridad, para asegurarse de que sean relevantes y razonables y, sobre todo, para que puedan ser respondidas. La precisin de las preguntas, adems, ayuda al evaluador a acotar el diseo del anlisis para darles respuesta.

El proceso de formulacin de preguntas suele comenzar con preguntas relativamente genricas (La poltica mejora la competitividad de las explotaciones agrcolas? La implementacin de la sexta hora escolar se adecua al diseo?), que van concretndose hasta conseguir que hagan referencia a aspectos observables y formulados en trminos suficientemente concretos y mensurables para que pueda obtenerse una informacin relevante sobre su estado. Las preguntas necesitan ser refinadas siempre que:

impliquen trminos ambiguos abiertos a distintas interpretaciones (por ejemplo: integracin de los inmigrantes, satisfaccin con el programa, inclusin social, competitividad econmica, rendimiento acadmico, etc.);

invoquen dimensiones no observables (sensibilidad del programa a las circunstancias personales de los participantes, imagen de la ciudad al mundo, etc.).

El ejemplo siguiente ilustra el proceso de posible concrecin de la pregunta de evaluacin para el programa de centros de bienvenida del Departamento de Educacin.



/ 32 /

Integracin es una dimensin poco concreta. Puede referirse al rendimiento escolar del nio, a su satisfaccin con la experiencia escolar, a la satisfaccin de sus padres, a la red de amistades con nios nativos, etc.

El trmino rendimiento puede hacer referencia a alguna materia en concreto o a varias, y puede medirse de formas distintas.

La prueba puede realizarse en momentos distintos, es previsible que el impacto del programa sobre el rendimiento pueda requerir un tiempo.

El programa de centros de bienvenida representa una estrategia innovadora y experimental dirigida a facilitar la integracin de los nios recin llegados con dicultades especiales en el sistema educativo de Catalua. Como el programa es experimental, el propsito de la evaluacin es comprobar si el programa efectivamente mejora la integracin en relacin con las aulas de acogida dentro de centros educativos ordinarios, para decidir si se ampla a toda Catalua.

EL PROGRAMA MEJORA LA INTEGRACIN DE LOS NIOS RECIN LLEGADOS EN EL SISTEMA ESCOLAR?

EL PROGRAMA INCREMENTA EL RENDIMIENTO ESCOLAR DE LOS NIOS PARTICIPANTES?

EL PROGRAMA INCREMENTA LAS CALIFICACIONES EN UNA PRUEBA ESTANDARIZADA DE LECTURA EN CATALN?

EL PROGRAMA INCREMENTA LAS CALIFICACIONES EN UNA PRUEBA ESTANDARIZADA DE LECTURA EN CATALN AL CABO DE UN AO?

/ 33 /

5. LA GESTIN DE LA EVALUACIN

5.1 UNA EVALUACIN EXTERNA O INTERNA?

A grandes rasgos, existen dos formas de encargar una evaluacin:

Encargrsela a una persona o unidad de la propia organizacin (ya sea preexistente como una unidad de anlisis o incorporada expresamente para encargarse de la evaluacin).

Encargrsela a una organizacin externa (una consultora privada, un departamento universitario o centro de investigacin, una organizacin sin nimo de lucro, un investigador a ttulo individual), ya sea mediante contratacin directa o por concurso.

La bibliografa sobre la evaluacin de polticas pblicas no es concluyente respecto a cul de las dos alternativas es preferible. Las caractersticas y el contexto de cada evaluacin determinan las ventajas y los inconvenientes de cada opcin, por lo que es necesario ponderarlas en cada caso particular y decidir cul es la mejor solucin.

Para ayudar a tomar dicha decisin, la tabla siguiente expone las posibles ventajas e inconvenientes de cada una de las dos opciones, segn distintos criterios de valoracin.

CRITERIO EVALUACIN INTERNA EVALUACIN EXTERNA

INMEDIATEZ En principio, el evaluador est preparado para asumir el encargo en cualquier momento. No obstante, en pocas ocasiones una unidad es lo bastante grande o especializada para asumir evaluaciones complejas, o bien desempea funciones de monitorizacin que pueden ser difciles de compatibilizar con la evaluacin.

El procedimiento de seleccin y contratacin puede requerir bastante tiempo, especialmente si se trata de un concurso pblico. Es necesario planificar la evaluacin con meses de antelacin.

CONOCIMIENTO DE LA ORGANIZACIN Y DEL PROGRAMA

El evaluador conoce la organizacin, sus programas y polticas, los distintos actores y sus motivaciones.

El evaluador necesita tiempo para llegar a adquirir un buen conocimiento.

ACCESO A LA INFORMACIN Y A LAS BASES DE DATOS

El evaluador suele conocer las fuentes de informacin formales e informales y tiene acceso directo a ellas.

El evaluador necesita tiempo para acceder a las fuentes de informacin y conocer sus potencialidades y limitaciones. El promotor a menudo debe gestionar activamente el proceso de acceso de los evaluadores a la informacin y bases de datos.



/ 34 /

FLEXIBILIDAD Los recursos de conocimiento son los propios del personal de la unidad de anlisis.

Existe una variedad de opciones y de capacidades y experiencia entre las cuales hay que elegir la ms adecuada.

REPUTACIN (confianza del personal del programa y de los administradores respecto a la capacidad de los evaluadores)

Depende de la posicin y del reconocimiento de los miembros de la unidad de anlisis dentro de la organizacin.

El reconocimiento pblico del evaluador puede incentivar la cooperacin y el uso de las conclusiones.Pero tambin es posible que el evaluador sea considerado como demasiado terico y ajeno al programa.

OBJETIVIDAD (condiciones que minimizan tanto las desviaciones del evaluador como las suspicacias hacia los resultados)

Independientemente de la integridad de los evaluadores, es ms difcil que sean considerados imparciales por todas las partes, ya que potencialmente pueden tener inters en complacer a superiores o compaeros.

Es ms fcil que sean considerados como independientes, ya que no tienen ningn inters directo en el programa.Sin embargo, los evaluadores pueden establecer relaciones con uno de los actores y pueden tener inters en complacer al cliente para obtener futuros contratos.

POTENCIAL DE UTILIZACIN DE LOS RESULTADOS

Los evaluadores permanecen en la organizacin una vez terminada la evaluacin y es posible que tengan acceso continuado y directo a los decisores, gestores y al personal, y que puedan difundir mejor las conclusiones y recomendaciones tanto de manera formal como informal.

Existe el riesgo de que los evaluadores tengan pocas oportunidades de comunicacin de los resultados y las conclusiones, ms all del informe y el acto de presentacin.A pesar de ello, a veces el prestigio del evaluador puede facilitar un acceso directo e influyente a los decisores.

AUTONOMA Los evaluadores pueden tener dificultades para concebir recomendaciones ms all de las rutinas de funcionamiento a las que estn habituados.Pueden sentirse incmodos si tienen que oponerse a la cultura corporativa dominante en la organizacin o proponer cambios que afecten a las condiciones laborales de los trabajadores del programa.

El evaluador externo puede tener una perspectiva ms amplia y alejada del statu quo actual del programa.Adems, puede tener ms autonoma para presentar propuestas.

Fuente: adaptacin de Weiss (1998)

/ 35 /

5.2 CMO DEBE SER LA RELACIN ENTRE EL EVALUADOR Y LA ORGANIZACIN QUE ENCARGA LA

EVALUACIN?

Existen tres grandes formas de concebir la relacin entre el evaluador y la organizacin, segn el propsito y el enfoque de la evaluacin (Rossi [et l.], 2004):

1) La evaluacin independiente. En el caso ms habitual, el promotor de la evaluacin transmite el encargo, los propsitos y las indicaciones al evaluador y espera que ste funcione de forma independiente y asuma plena responsabilidad sobre el diseo, la ejecucin, la redaccin del informe y la comunicacin de los resultados.

2) La evaluacin participativa implica un esquema de trabajo de mayor colaboracin entre el evaluador y el promotor, que puede tomar parte directamente en el diseo, la implementacin, el anlisis y la comunicacin de resultados. Normalmente se constituye un equipo de evaluacin mixto, del que el evaluador puede ser el lder, facilitador o, simplemente, el consultor que resuelve dudas tcnicas. Es ms habitual cuando los evaluadores son internos y se tiende a incorporar en el equipo de evaluacin a los usuarios potenciales de la evaluacin, para potenciar su utilizacin.

3) La evaluacin empoderadora funciona de forma similar a la participativa, pero pretende que los participantes adquieran la capacidad de hacer evaluaciones por su cuenta. Por tanto, el propsito de la evaluacin no es solamente informativo, sino tambin formativo. Habitualmente incorpora actores con poca capacidad de influencia sobre el programa, como, por ejemplo, beneficiarios, para que puedan aumentar su conocimiento sobre el programa y mejorar su capacidad de influencia.

En sntesis, la eleccin del modelo de relacin entre evaluador y organizacin plantea un dilema entre preservar la independencia y la objetividad del evaluador y potenciar la utilizacin de los resultados a travs de la participacin y apropiacin del proceso por parte de los usuarios potenciales. El propsito de la evaluacin deber servir de gua para escoger la mejor alternativa.

El caso ms habitual es aquel en que el promotor encomienda a un equipo de evaluadores externos el diseo y la ejecucin de una evaluacin, en el mbito de una relacin de tipo independiente. En vista de las ventajas que implica este modelo en trminos de independencia, autonoma, objetividad y flexibilidad, se trata de compensar las limitaciones. Esto es, sobre todo, encontrar una forma de funcionamiento que facilite la relacin de los evaluadores con la organizacin, de modo que la evaluacin no se convierta en una actividad aislada e inconexa, con poca capacidad de influencia.



/ 36 /

En este sentido, es mejor evitar que los evaluadores reciban el encargo y entreguen el informe a una sola unidad o persona de la organizacin, y hay que intentar articular una o dos estructuras ad hoc de seguimiento de la evaluacin que: a) garanticen que las preguntas de evaluacin estn orientadas a las necesidades de la organizacin; b) faciliten el acceso a los datos y a otras fuentes de informacin que requieren los evaluadores; y c) se aseguren de que los resultados son presentados y comunicados de manera que puedan ser utilizados de forma efectiva.

Para constituir estas comisiones, la decisin fundamental es el nivel de la estructura de la organizacin en la que deben constituirse. Los criterios que hay que tener en cuenta para dicha decisin son fundamentalmente dos:

1) Quin puede utilizar los resultados y recomendaciones de la evaluacin? El promotor de la evaluacin debera intentar ubicar la evaluacin en una posicin del organigrama en consonancia con su propsito. Si las preguntas de evaluacin se orientan a proporcionar informacin para grandes decisiones sobre el programa o poltica (continuar, reformar, ampliar, cancelar, etc.), la evaluacin debera rendir cuentas al nivel de direccin. Si, por el contrario, no se ha cuestionado el diseo del programa, sino que la evaluacin est orientada a cuestiones sobre la implementacin o sobre la efectividad relativa de los componentes del programa, es preferible que el evaluador interacte y rinda cuentas a los gestores del programa que tienen ms capacidad para inducir cambios operativos sobre el mismo.

2) Quin puede facilitar el desarrollo de la evaluacin? El promotor de la evaluacin debe intentar, adems, que la evaluacin disponga de una estructura de relacin estable entre los evaluadores y las unidades de la organizacin con responsabilidades sobre los recursos, datos o personas a los que los evaluadores necesitan tener acceso, para poder negociar y planificar conjuntamente dicho acceso.

Estos dos criterios pueden apuntar a los mismos niveles de la organizacin, pero no necesariamente. Si no es el caso, puede resultar conveniente constituir dos estructuras distintas.

1) Un grupo de direccin de la evaluacin, formado por la direccin poltica y tcnica de la organizacin y el equipo de evaluadores, que se rena al inicio de la evaluacin para expresar los propsitos de la misma, seleccionar las preguntas de evaluacin y validar el enfoque metodolgico y, al final, para escuchar y deliberar sobre las respuestas obtenidas para sus preguntas a lo largo de la evaluacin y sobre las recomendaciones que se deriven de ella.

/ 37 /

2) Un grupo de seguimiento, que se rena de forma ms frecuente a lo largo de todo el proceso de evaluacin y que incorpore, adems de la expresin de propsitos y la recepcin y deliberacin de los resultados, la negociacin y la planificacin del proceso de evaluacin.

Finalmente, segn la magnitud del programa, de los recursos de la evaluacin y de la sofisticacin del diseo, puede ser conveniente constituir un pequeo grupo de asesores, independiente de los dos grupos de trabajo anteriores. Dicho grupo puede estar formado tanto por evaluadores y acadmicos con conocimientos tcnicos que puedan contribuir a sugerir preguntas relevantes sobre el programa y a mejorar tcnicamente el diseo como por gestores de polticas pblicas similares que hayan vivido un proceso de evaluacin y puedan aportar recomendaciones basadas en su experiencia.

El grupo asesor puede: a) contribuir en el diseo de la propuesta de evaluacin; b) ejercer de consultor puntual en el proceso de ejecucin de la evaluacin; c) realizar una crtica constructiva del informe de evaluacin; d) hacer recomendaciones sobre la mejora del programa o poltica basadas en los resultados de la evaluacin; y e) dirimir entre evaluadores y promotores criterios enfrentados sobre una cuestin relativa a la evaluacin. Establecer desde el comienzo un procedimiento para resolver el conflicto de criterios, aunque a menudo no se utilice y pueda considerarse una predisposicin negativa, permite resolver de forma ordenada cualquier diferencia de interpretacin.



/ 38 /

6. CUADROS DE SNTESIS DE LA GUA METODOLGICA

CINCO PASOS PREVIOS PARA ENFOCAR LA EVALUACIN

Como se ha indicado a lo largo de la gua, el diseo de la evaluacin depende de las caractersticas de la intervencin y de su contexto. Por tanto, los cuestionarios siguientes no pretenden ser un protocolo para proceder con el diseo de una evaluacin, sino una lista de comprobacin de las cuestiones que no deben olvidarse cuando se planifica una evaluacin.

PASO 1: ANLISIS PRELIMINAR DE LA INTERVENCIN

DESCRIBIR LA TEORA DEL CAMBIO

1. Qu objetivos estratgicos (impactos) quiere conseguir el programa?

2. Qu hace el programa o qu tiene previsto hacer (actividades y resultados)?

3. Por qu se supone que con lo que hace el programa se conseguirn los objetivos

estratgicos (relacin actividades-productos-impactos)?

IDENTIFICAR LA FASE EN LA QUE SE ENCUENTRA EL PROGRAMA

Planificacin

Primeras fases de implementacin

Fase madura

Terminado

DESCRIBIR LOS CAMBIOS QUE HA SUFRIDO LA INTERVENCIN

1. Cambios pasados?

2. Cambios previstos?

/ 39 /

IDENTIFICAR EVALUACIONES Y ESTUDIOS PREVIOS

PASO 2. DESCRIPCIN DEL CONTEXTO INSTITUCIONAL Y ORGANIZATIVO

QUIN ES QUIN EN EL ENTORNO DE LA INTERVENCIN?

(direccin poltica, direccin tcnica, diseo, gestin, provisin del servicio, anlisis,

mantenimiento y custodia de las bases de datos, participacin como beneficiario o influencia

externa sobre la intervencin, etc.)

PASO 3. IDENTIFICACIN DEL PROPSITO DE LA EVALUACIN

Ayuda a la toma de decisiones

Contribucin al aprendizaje de la organizacin

Uso como instrumento de gestin

Rendicin de cuentas a la ciudadana

Conocimiento bsico sobre las polticas pblicas

Cumplimiento de un requisito formal

DESCRIPCIN DEL PROPSITO

(qu decisin, requisito legal, etc.):

PASO 4. IDENTIFICACIN DE LOS DESTINATARIOS PRINCIPALES DE LA EVALUACIN



/ 40 /

PASO 5. INVENTARIO DE LOS RECURSOS DE LA EVALUACIN

FINANCIACIN APROXIMADA?

TIPO DE EXPERIENCIA REQUERIDA?

APOYO DEL PERSONAL DEL PROGRAMA?

Qu personas tienen una posicin clave para facilitar el acceso a la informacin?

Cul es la predisposicin inicial de estas personas hacia la evaluacin?

INFORMACIN Y BASES DE DATOS?

Lista de bases de datos y otras fuentes de informacin existentes y relevantes para la

evaluacin:

TIEMPO DISPONIBLE PARA LA EVALUACIN?

Fecha en que la evaluacin deber estar terminada y motivo de la fecha lmite:

/ 41 /

TEST DE EVALUABILIDAD DE LA INTERVENCIN

Las respuestas al cuestionario Pasos previos para enfocar la evaluacin, adems de orientar al promotor y a los evaluadores sobre el programa y su contexto, tambin constituyen un test de evaluabilidad de la intervencin.

7 a guia practica como iniciar una evaluaciÃ³n

Documents