Prof. Tamyko YsaInstitut de Direcció i Gestió Pública

(ESADE)Tamyko.ysa@esade.edu

Evaluación de políticas públicas

Definición evaluaciónJoint Committee Standard Education

Recoger y analizar sistemáticamente una información para poder determinar el valor o mérito de una intervención

Definición evaluaciónXavier Ballart

Producción de información que sirva a los gestores públicos para tener una idea sobre la calidad de los servicios que están produciendo, en función de lo que se estime como valor.

Evaluación como técnica que busca producir información útil a las Administraciones públicas para mejorar:– Los procesos de decisión y planificación– El funcionamiento y la gestión de las operaciones diarias– Los resultados finales en relación a los recursos invertidos

Propósitos de la evaluación

Comprensión, ilustración (enlightenment)

Comprensión, ilustración (enlightenment)

Rendimiento de cuentas(accountability)

Rendimiento de cuentas(accountability)

Mejora(improvement)

Mejora(improvement)

•Aceptación por la institución de la responsabilidad de evaluarse a sí misma•Garantía y comprobación de seriedad y eficacia en la utilización de fondos públicos•Cómo se gasta+ justificación en términos de resultados obtenidos= costo/eficacia•Exigencia de responsabilidades (y sanciones)•Comparar programas (assessment)

Propósitos de la evaluación

Ilustración , comprensión (enlightenment)Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el programa. La evaluación suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervención.

La retroalimentación o mejora (improvement)Es una manera de recibir “feedback” sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de aprendizaje de la propia intervención.

El control de responsabilidades y rendimiento de cuentas (accountability)“Rendir cuentas” en la acepción más flexible del término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad social y política, especialmente si las actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente tienen derecho a saber en qué y cómo se está empleando el dinero público.

El cliente público: el ciudadano

CIUDADANOCIUDADANIA

CONTRIBUYENTE ELECTOR

USUARIO SÚBDITO

©Serra

Autoavaluació organitzativaModel conceptual de la qualitat del servei

Servei esperat

Servei percebut

Biaix 5

Percepcions dels directiussobre les expectatives dels usuaris

Biaix 1

Especificacions de laqualitat del servei

Prestació del servei Comunicació externaals usuaris

Biaix 2

Biaix 3

Biaix 4

Avaluació dela satisfacció Cartes

de serveis

Anàlisi de lesexpectatives

Queixes isuggeriments

Autoavaluacióorganitzativa

Modelo para la evaluación

Fines yobjetivos

Gestión del programaDistribución de servicios

Clientes (principio)

Cambio

Clientes (final)

Decisiones políticas EVALUACIÓN

Mejora continuaBucle de la calidad (Edward Deming)

P lan ificac ió nM e jo ra

M ed ic ió n Acc ió n

M E JO R A Y AP R E N D IZAJE

E XC EL E NC IA

BUCLE DE LA MEJORA

Análisis de causalidadLa intervención procura conseguir

cambios

PROGRAMA,

SERVICIO

CAMBIOS EN LA REALIDAD

EVALUACIÓN

Razones para evaluar

1. Los procesos sociales sobre los que se quiere influir se conocen sólo parcialmente

2. La información es imperfecta: base de la definición de problemas y elección de alternativas

3. Condicionamientos políticos= búsqueda de consenso y soluciones de compromiso

4. Desviación de objetivos (ie conocimientos y habilidades de la organización)

5. Impactos imprevistos de las políticas

Cómocapacidad para evaluar

Objetivos claros Objetivos poco claros

Medios conocidos

Medios no conocidos

Los objetivos en el ámbito público

RECURSOSINPUT

PRODUCTOSOUTPUT

RESULTADOOUTCOME

ECONOMIAEFICACIA

IMPACTO

PROCESOS

EFICIENCIA

OBJETIVOS

EFECTIVIDAD

VALORPÚBLICO

BENEFICIO

©Serra

Mejora sociosanitaria de la población

Toma de conciencia

Riesgo

Habilidades para la vida

Control de epidemias

Atención primaria

Diferencia entre OUTCOMES y OUTPUTS

Fases de la evaluación:proceso sistemático

5. OPERACIONALIZACIÓN DE CRITERIOS A INDICADORES

2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DECONTEXTO

3. NECESIDADES INFORMATIVAS

4. CRITERIOS DE VALOR, PREGUNTAS RELEVANTES

6. DISEÑO METODOLÓGICO

7. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

8. TRABAJO DE CAMPO

9. DATOS

10. INTERPRETACIONES

12. RECOMENDACIONES

1. MOTIVACIÓN PARA EVALUAR

13. COMUNICACIÓN DE RESULTADOS

11. JUICIOS

+

- + +

Al menos un objetivo intermedio (output) negativo

Esquema sintético de efectos de una intervención

-

+ + +

Objetivo final (outcome) negativo y

objetivos intermedios (outputs) positivos

Esquema sintético de efectos de una intervención

+

- - -

Objetivo final (outcome) positivo y

objetivos intermedios (outputs) negativos

Esquema sintético de efectos de una intervención

++ + +

Todos los objetivos (outcome y outputs)

positivos

Esquema sintético de efectos de una intervención

-

- - -

Esquema sintético de efectos de una intervención

Todos los objetivos (outcome y outputs)

negativos

Análisis posibles con la evaluaciónSe ajusta el programa o dispositivo a las necesidades prioritarias de la población. Si no es así cuáles son las dificultades con las que se encuentra

Se explicita el análisis de causalidad que sustenta la intervención que a veces está implícito.

El programa contribuye a lograr los cambios deseados .

Se constata la congruencia del modelo, ¿es lógico?

– Análisis de la coherencia interna.

– Revisión de sus componentes: ¿son necesarios? ¿son suficientes?

¿Implementación correcta?

¿ Recursos adecuados?

¿Cambio de política –policy shift?

¿Policy shift?

Revisión del estado del problema:– Nueva política– Continuación de política existente– Revisión de política– Terminación de la política

5 tradiciones en evaluación (X. Ballart)1-Tradición filosófica

Idea del juicio de valor

Evaluador-juez finalista Evaluar en base a necesidades sociales y no en función de los objetivos de la Administración, (“Goal-Free” Scriven)

– efectos reales y no supuestos: intencionados o no– Nivel operativo: identificación efectos, determinación

criterios, qué necesidades valorar– Imposición encubierta preferencias evaluador

5 tradiciones en evaluación (X. Ballart)2-Tradición positivista

Evaluación como “técnica”para el análisis de causalidad básica

Evaluador-metodólogoEvaluar efectos/objetivos para los financiadores(en base a diseños que incluyen series temporales – antes/después de la intervención - y grupos de comparación).

5 tradiciones en evaluación (X. Ballart)3- Tradición del control de gestión

Idea de gestionar por resultados

Evaluador – controller internoEvaluar es contar actividad, producto, y su relación con recursos(en base a indicadores y sistemas de control de gestión)

5 tradiciones en evaluación (X. Ballart)4- Tradición constructivista

Idea de prestar un servicio a los principales actores implicados en un programa o política

Evaluador – consultor - mediador – animador –relatorEvaluar es compromiso:

– Mediar entre las distintas visiones que puedan tener sobre un mismo programa o política distintos actores

– Fortalecer la capacidad de autoevalaución de los participantes

– Proporcionar asistencia técnica – Impulsar la capacidad de relaciones públicas

5 tradiciones en evaluación (X. Ballart) 5- Tradición de la evaluación basada en la

teoría del programaTradición de la evaluación basada en

la teoría del programa

Idea de avanzar más allá del positivismo y de los indicadores Evaluador – analista Evaluar es comprobar que la teoría del programa se realiza en la práctica(en base a recoger datos a lo largo del curso de un programa con el propósito de responder a distintas cuestiones sobre la medida en que se van cumpliendo los pasos necesarios hasta alcanzar el resultado previsto).

Seguim

ControlSeguimiento del uso

de recursos

SupervisiónCumplimiento de objetivos

Seguimiento Acompañamiento Asesoramiento

Procesos de evaluaciónCalidad de la política