Metodologías y estudios de Metodologías y estudios de caso en la evaluación de caso en la evaluación de

proyectos de inversión pública proyectos de inversión pública en educación y saluden educación y salud

Facultad de Economía Facultad de Economía Universidad de los AndesUniversidad de los Andes

BogotáBogotáAbril 27 de 2005Abril 27 de 2005

Raúl Castro RRaúl Castro R..

ContenidoContenido

• Introducción• Marco Gasto de Mediano Plazo (MGMP)• Análisis Costo-Beneficio (ACB)• Análisis Costo-Eficiencia (ACE)• Análisis Función de Producción• Análisis Costo-Utilidad (ACU)• Evaluación de impacto ex-post• Programa Familias en Acción• Consideraciones distributivas de los

proyectos

INTRODUCCIONINTRODUCCION

Proyecto de InversiónProyecto de Inversión

• Un proyecto de inversión es una función de producción que tiene asociados beneficios y costos.

Ciclo del proyecto de inversión• Generación y análisis de la idea• Preinversión (formulación y evaluación

ex–ante)• Inversión, operación, monitoreo y

seguimiento (evaluación ex–post).

MARCO GASTO DE MEDIANO PLAZO (MGMP)

Presupuesto por resultados Presupuesto por resultados y marco y marco de gasto de de gasto de

mediano plazo (MGMP)mediano plazo (MGMP)  Principales problemas en la

asignación del gasto público:1. Incertidumbre sobre la restricción

presupuestal (ingresos)2. Deficiente información 3. Falta de orientación eficiente del

gasto público 

Presupuesto y MGMPPresupuesto y MGMP

• Construcción de un presupuesto orientado a resultados

• Construcción de un marco de gasto de mediano plazo (MGMP)

• Modernización de las instituciones• Información apropiada y útil

ANALISIS COSTO BENEFICIO ANALISIS COSTO BENEFICIO (ACB)(ACB)

Análisis Costo Beneficio Análisis Costo Beneficio (ACB)(ACB)

Procedimiento para comparar asignaciones de recursos alternativos y proporcionar una respuesta acerca de cual de ellas es posible. Específicamente se pretende encontrar el mejor uso alternativo de los recursos, es decir encontrar la alternativa que Maximice

(VP B - VP C)

Sujeto a: Q (.) = Q*

Implica conocer beneficios y costos en términos monetarios

Procedimiento Procedimiento Metodológico delMetodológico del ACB ACB

• Una sociedad, conjunto de individuos M = { 1,2,…..m}

• Conjunto de alternativas sociales X• Relación de preferencias de cada agente individual

( función de bienestar individual)>i • Regla de elección colectiva (ordenamiento social) Resultado: • Dar respuesta sobre la contribución al bienestar

social o total (BN) de cada una de las alternativas sociales (Δq) como función del de los cambios en el bienestar de cada individuo (i) a través del tiempo (J) [VCi,J (Δq)]

BN = VP[VCi,j (Δq)]

Valoración de Costos Valoración de Costos SocialesSociales

• El costo relevante en el análisis económico es el costo de oportunidad: beneficio (ingreso) sacrificado en el mejor uso alternativo de los recursos.

• Es importante destacar la importancia de consecución de la información de costos sin y con proyecto, dada que esta es la base de comparación para derivar los costos incrementales de oportunidad respectivos.

Métodos de Valoración de Beneficios (I)

• Métodos basados en valores de mercado• Técnicas en las cuales se utilizan valores de mercado

de bienes y servicios:• • Métodos que utilizan directamente precios de

mercado• • Cambio en productividad• • Precios Cuenta de eficiencia (costo de oportunidad)• Técnicas en las cuales los gastos actuales o

potenciales son utilizados para valorar costos:• • Método de costo-efectividad• • Gastos defensivos o preventivos• • Costos de reubicación• • Costos de reposición

Métodos de Valoración de Beneficios

(II)• Métodos basados en preferencias

reveladas• • Costo de viaje• • Precios hedónicos• • Método de bienes sustitutos• Métodos basados en preferencias

declaradas• • Valoración contingente• Otros métodos de valoración• • Transferencia de valor

Valoración ContingenteValoración Contingente

El método de valoración contingente consiste en crear un mercado hipotético y obtener mediante una encuesta la máxima DAP en valor monetario que el entrevistado otorga al bien que se está valorando en cuestión, o a una modificación en la calidad o cantidad del mismo.

En la encuesta, después de proporcionar la información específica sobre la finalidad del estudio y la situación que se va a valorar, se pregunta al encuestado por su DAP respecto del bien objeto de análisis.

Valoración ContingenteValoración ContingenteLa Disponibilidad a Pagar (DAP) estimada es un valor que depende de características observables y no observables, es decir, desde el punto de vista estadístico es una variable aleatoria, y por lo tanto para estimarla se pueden usar métodos estadísticos paramétricos, no paramétricos y/o semiparamétricos.

Precios HedónicosPrecios Hedónicos

Se basa en la idea de que a los precios se los puede entender como precios compuestos, en los que es factible determinar los precios implícitos de ciertas características del activo (que son justamente las que determinan su valor, son sus atributos).

Si el producto A y el producto B solo difieren en una cierta característica, y en donde A presenta una mayor cantidad de cierto atributo con respecto a B. Al conocerse los precios de mercado de A y B se puede obtener la disponibilidad a pagar por una unidad adicional del atributo que los diferencia.

PA – PB = DMAP

Objetivos Precios Objetivos Precios HedónicosHedónicos

• Intenta descubrir todos los atributos de un bien que explican su precio.

• Determinar los precios implícitos de cada característica o atributo.

• Estimación de los impactos, por ejemplo, de una Externalidad sobre la valoración implícita de la educación.

Precios Hedónicos: Precios Hedónicos: Valoración años Valoración años de vida de vida

adicionalesadicionales

• Por ejemplo el valor de incrementar los años de vida (ΔV) estaría dado por los incremento en los salarios (ΔW); ponderado por la su respectiva probabilidad de muerte φ:

ΔV = ΔW / φ

ANALISIS COSTO ANALISIS COSTO EFECTIVIDAD (ACE)EFECTIVIDAD (ACE)

Análisis Costo Efectividad Análisis Costo Efectividad (ACE)(ACE)

• Fundamento económico del análisis costo-efectividad:– Minimización de costos dada una restricción de producción – Definición del problema dual de maximización de los beneficios netos

sujeto a una función de producción (restricción tecnológica)

• En este sentido, la función de costos definida para vectores de cantidades (x), precios de insumos (w) y un nivel de producción (f(x) = y), es el mínimo valor de la función:

n

iiixwxC

1

)(

Sujeto a:

yxf )(

ACEACE

• Se puede establecer un principio fundamental sobre el que descansa el análisis costo-efectividad:

Dado un limitado monto de recursos, debería asignárseles de forma tal que permitan obtener el mayor número de resultados o beneficios al menor costo posible con unas consideraciones tecnológicas dadas.

• El ACE implica comparar costos con los productos del proyecto o con los beneficiarios atendidos

Reforma educativa vs. Reforma educativa vs. Televisión educativaTelevisión educativa

• Los costos de implementación de la televisión educativa fueron calculados por estudiante o beneficiario. El costo del programa sin televisión (sin TVE) fue de 16 dólares y el costo del programa con televisión (con TVE) de 22 dólares.

• La efectividad (Δbeneficios) se midió como la diferencia de las medias de los test realizados al comienzo y al final del año escolar en las asignaturas seleccionadas.

Los Costos Unitarios dentro Los Costos Unitarios dentro del ACEdel ACE

• El análisis costo-eficiencia en su versión de costos unitarios es muy útil para comparar la eficacia de las inversiones en los proyectos sociales y de infraestructura dentro de los países y entre países.

• C/B = Min (VPC)/Núm de beneficiarios = [∑ Ci/(1+r)t]/Número de beneficiarios

• C/P = Min (VPC)/Número de productos = [∑ Ci/(1+r)t]/Número de productos

• También se utiliza en el anterior caso el mínimo costo anual equivalente por beneficiario o por producto (CAE/B):

• CAE/B= CAE/ Número de beneficiarios (o numero de productos).

Construcción de Construcción de Indicadores Indicadores

Costo-EficienciaCosto-Eficiencia• La idea es:

Que los indicadores de la evaluación económica de los proyectos de una muestra representativa -VPN, relación B/C y TIR-, se relacionen con indicadores costo eficiencia -costos por beneficiario, costo por producto y/o costo por componente del proyecto-

• Con el fin de:– Generar indicadores de fácil manejo,– Representativos y – De proyectos que tienen viabilidad (los

mejores).

Metodología de Metodología de Construcción ICE Construcción ICE (I)(I)

• El fin de esta etapa es:

Construir un modelo econométrico que relacione indicadores CB y CE con el propósito de predecir resultados correctos de indicadores costo-eficiencia.

Metodología de Construcción Metodología de Construcción ICE (II)ICE (II)

• Se construirán intervalos de confianza para– Analizar la variabilidad y el margen de

error de las predicciones anteriores – Mejorar la eficacia del modelo

• Y en lo posible se pretende– Realizar análisis de probabilidad – Determinar rangos de indicadores costo

eficiencia•Rangos en los que los proyectos sean

financiera y económicamente viables.

Metodología de Construcción Metodología de Construcción ICE (III)ICE (III)

• Es decir:

Encontrar valores costo-eficiencia por debajo de los cuales, a nivel de probabilidad previamente determinado, se espera que los proyectos presenten o VPN positivos o relaciones (B/C) mayores que uno o TIRs mayores que la TSD

Aplicación de ICE : Aplicación de ICE : EducaciónEducación Rural, Altiplano, Rural, Altiplano,

ConstrucciónConstrucción

VP Excedente Neto/alumno (En US$) vs VP Costos OM/Alumno (En US$)

-30

-20

-10

0

10

20

30

40

0 10 20 30 40 50

VP Costos de OM/Alumno (En US$)

VP

Exc

eden

te

Net

o/A

lum

no

(E

n U

S$)

La ecuación estimada es: 

VP Exc = 60.93 – 17.47 ln (VPCOMA)Est: “t”: (6.13) (-5.23)

 R2-Adj. = 0.42

F = 27.36DW = 1.43

n = 37

Valores calculados para ICEValores calculados para ICE

• Valor actual de los costos por beneficiario (en dólares)

VAC/Beneficiario

TIPO Max Min Max Min

Construcción 462,79 309,94 554,40 484,37Ampliación o Refacción 180,52 129,83 451,72 301,54

Altiplano

Urbano Rural

FUNCION DE PRODUCCIONFUNCION DE PRODUCCION

Análisis Función de Análisis Función de ProducciónProducción

• El análisis de impacto permite establecer cual es el programa más efectivo para alcanzar un único objetivo. Este método puede ser entendido de manera similar a una función de producción.

Q = f (F, L)

En donde el producto (Q) es el indicador que se desea afectar y los insumos (F,L) son las diferentes alternativas que se podrían utilizar para conseguir ese objetivo.

Análisis de impacto: Análisis de impacto: Mortalidad Infantil *Mortalidad Infantil *

Se parte de una relación lineal entre la mortalidad infantil del niño j en la región i (Sij ) y un proceso productivo (h) que trasforma los programas de salud (xij), públicos o privados  

Sij = h [xij] + eij

*Torche (1997)

Resultados Mortalidad Resultados Mortalidad InfantilInfantil

• El coeficiente del orden de nacimiento resultó estadísticamente significativo (entre menores hijos tiene el hogar, menor es la mortalidad) y con signo positivo. (17.27)

• La distribución de leche a mujeres embarazadas contribuye a la disminución de la mortalidad. (-2.88)

• Este tipo de estimaciones puede llevar a resultados contradictorios debido a problemas de multicolinealidad y simultaneidad

Análisis Costo Utilidad Análisis Costo Utilidad (ACU)(ACU)

• Si los indicadores costo efectividad aplicados a los proyectos de salud logran capturar solo una parte de los beneficios generados es necesario recurrir a otra clase de indicadores. El análisis costo utilidad (ACU) relaciona los costos con una medida ponderada de los beneficios, logrando reflejar en su totalidad los cambios en el bienestar que experimentan los individuos.

      Indicador años de vida Indicador años de vida ajustadosajustados por calidad por calidad

(AVAC)(AVAC)• Este indicador evalúa la importancia relativa

de los problemas de salud a partir de la cuantificación de la vida saludable perdida, como consecuencia de enfermedades, discapacidades o por la muerte.

• La ventaja del AVAC como medida de resultado radica en que esta puede captar simultáneamente tanto las ganancias derivadas de la reducción de la morbilidad ( calidad de salud) como los beneficios obtenidos por disminuciones en la mortalidad ( años de vida ganados).

Intervención quirúrgica Intervención quirúrgica renalrenal

Intervención quirúrgica Intervención quirúrgica renalrenal

• Sin la intervención, la calidad de salud del individuo se deterioraría según la trayectoria de la situación sin programa, y de esta forma se presume que la persona moriría en el momento 1. Con la intervención, esta persona viviría más tiempo y fallecería en el momento 2. Al dividir el área en dos partes, A y B, la parte A corresponde a la cantidad de AVAC ganadas por una mejora en su calidad de vida, y la parte B corresponde a las AVAC ganadas como consecuencia del aumento de su tiempo de vida.

[f(xcon) – f(xsin)]dx = F (xcon) - F(xsin) = A + B

Método de producción netaMétodo de producción neta

El valor de seguir viviendo (VV) es la

diferencia en valor presente (a una tasa r) del valor de la producción del individuo en cada periodo (VQt) y el valor del consumo (VCt) desde hoy hasta un horizonte de tiempo dado (t), ponderado por una probabilidad de estar vivo en t dado que se esta en 0 (P).

VV = Pt (VQt – VCt) / (1+r)t

EVALUACION DE IMPACTO EVALUACION DE IMPACTO EX-POSTEX-POST

Evaluación de impacto ex–Evaluación de impacto ex–

postpost• Estas evaluaciones consisten en las

comparaciones entre grupos de tratamiento (beneficiarios) y grupos de control (no beneficiarios) para medir los impactos atribuibles a la política, programa o proyecto de inversión.

• Dos son los problemas fundamentales en estas evaluaciones. El primero elegir el grupo de control con el cual realizar la comparación y el segundo garantizar que los beneficios recibidos por la población objetivo sean los atribuidos al proyecto.

Identificación del grupo de Identificación del grupo de controlcontrol

• Diseños experimentales (basados en la selección aleatoria de los beneficiarios)

• El análisis de los diseños no experimentales, implica la determinación de la situación sin proyecto y la construcción de un grupo de control

Estimador antes y despuésEstimador de sección cruzadaEstimador diferencia en diferenciaMatching

Análisis de impactoAnálisis de impacto

La ecuación utilizada para evaluar el impacto La ecuación utilizada para evaluar el impacto del proyecto (del proyecto () sobre la variable de respuesta ) sobre la variable de respuesta

en el momento i (Yi), parte de definir un en el momento i (Yi), parte de definir un término independiente (término independiente () que expresa el ) que expresa el

valor de la variable resultado en ausencia de valor de la variable resultado en ausencia de otros efectos. El parámetro (otros efectos. El parámetro () corresponde a ) corresponde a

un efecto específico (T) del grupo de un efecto específico (T) del grupo de tratamiento y recoge las diferencias entre el tratamiento y recoge las diferencias entre el

grupo de tratamiento y el de control, grupo de tratamiento y el de control, finalmente finalmente es un efecto temporal (t) común es un efecto temporal (t) común

a los dos grupos, el de control y el de a los dos grupos, el de control y el de tratamiento.tratamiento.

Yi = + Ti + ti + (Titi) + i

Estimador Diferencia en Estimador Diferencia en DiferenciaDiferencia

• El estimador de diferencias en diferencias se define como la diferencia en el resultado promedio del grupo de tratamiento antes y después del tratamiento, menos la diferencia en el resultado promedio del grupo de control antes y después del tratamiento

MatchingMatching

• Busca comparar un beneficiario directo del programa con una persona que no

haya sido beneficiaria pero que tenga las mismas características. Se considera que

el grupo de control es adecuado sí se observa que tiene características

similares, las cuales se miden a través de una distancia métrica.

Identificación de los beneficios del proyecto

¿cuáles son los efectos reales del proyecto sobre los beneficiarios ?

• Comportamiento de la variable Y en función de un vector X de variables explicativas, u un factor aleatorio que recoge los efectos de variables no observables y P es una variable dicotómica que es igual a 1 cuando se realiza el proyecto y 0 cuando no.

PROGRAMA FAMILIAS EN PROGRAMA FAMILIAS EN ACCIONACCION

Familias en AcciónFamilias en Acción**

• Es un programa social implementado en Colombia que consiste en el otorgamiento de subsidios a la educación y la salud condicionados por la asistencia, a clases en el primer caso y a controles de talla y peso en el segundo.

• El subsidio fue de $46,500/mes por núcleo familiar en el caso de salud, $14,000/mes por niño de primaria entre los 7-11 años (aprox.) y $28,000/mes por niño de bachillerato entre los 12 y los 17 años.

• *DNP-BM-BID (2004)

Impacto sobre la asistencia Impacto sobre la asistencia escolar escolar del Programa del Programa

Familias en AcciónFamilias en Acción

Resultados Programa Resultados Programa Familia en AcciónFamilia en Acción

• los mayores efectos del programa se obtuvieron sobre los niños mayores de las áreas rurales.

• La estimación de diferencias en diferencias muestra que el incremento en la asistencia escolar causado por el programa pasó del 5% al 12% desde el momento en que se realizó la primera encuesta hasta el primer seguimiento.

• En la estimación por matching este porcentaje también se incrementó desde 11.13% hasta 20.05%.

Impacto del Programa Impacto del Programa Familias en Familias en Acción sobre la Acción sobre la ocurrencia de enfermedadocurrencia de enfermedad

Resultados Programa Resultados Programa Familias en AcciónFamilias en Acción

• La única variable significativa cuando se estimó a través de PSM o pareo, es la probabilidad de sufrir EDA. El parámetro estimado indica que el programa ha reducido esta probabilidad en cerca del 10%.

Subestimación de resultados• Los municipios de tratamiento llevan poco

tiempo en el programa.• Los municipios de control estaban enterados

que serían los próximos beneficiarios.

CONSIDERACIONES CONSIDERACIONES DISTRIBUTIVASDISTRIBUTIVAS

Consideraciones distributivas

BN (Δq) = U1 VC1(Δq)+ … + UnVCn(Δq)

VARIANTES MAS DIFUNDIDAS DEL ACB

1. Cambios en los beneficios netos de los beneficiarios: ACB- Eficiencia

Análisis de eficiencia ui = uj

Criterio de Hicks y Kaldor: si los que ganan pueden compensar potencialmente a los que pierden y a un así mejoran su nivel de bienestar entonces la acción es beneficiosa para la sociedad.

2. Cambios en los beneficios netos de los beneficiarios: ACB- Social

Análisis “social” ui ¥ uj

Consideraciones Consideraciones distributivas de los distributivas de los

proyectosproyectos

2.1. Necesidades Básicas 2.1. Necesidades Básicas InsatisfechasInsatisfechas

Conclusión Aspectos distributivos

La alternativa de análisis distributivo consiste en no solamente calcular los beneficios y los costos como valoraciones de variaciones en el consumo o de disponibilidad de recursos, si no también calcular los cambios monetarios (variaciones en beneficios netos) equivalentes a los cambios en el bienestar individual de TODOS los beneficiarios (afectados) involucrados en el programa, política o proyecto, independiente del juicio de valor que posteriormente se adopte.