metodología de la evaluación ex post

7/25/2019 Metodologa de la Evaluacin Ex Post

1/20

Metodologa deevaluacin ex post

David Medianero Burga

RESUMEN

El presente artculo ofrece una sntesis de la metodologa de evaluacin ex postempleada por el autor en la evaluacin del II Programa de Inversiones Socialesy de Infraestructura contra la Pobreza (en adelante, el Programa), ejecutado por

el MEF, con apoyo financiero de la Corporacin Andina de Fomento (CAF). Elobjetivo de dicha accin fue evaluar los niveles de pertinencia, eficacia, eficiencia,impacto y sostenibilidad de los proyectos de inversin pblica conformantes delPrograma. A tal efecto, el marco metodolgico adoptado tom en consideracinque el objeto de una evaluacin consiste en determinar si los proyectos generanlos efectos deseados en las personas e instituciones a los cuales estn dirigidos,de conformidad con los lineamientos establecidos en los documentos de preinversin y evaluacin ex ante aprobados por las instancias correspondientes.En general, la metodologa utilizada en la presente evaluacin est orientada a

establecer conclusiones vlidas respecto al desempeo de los proyectos en lorelativo a los criterios de pertinencia, eficacia, eficiencia, sostenibilidad e impacto.Esta metodologa es replicada en situaciones similares, razn por la cual se brindaesta breve sntesis.

Palabras clave: Evaluacin, eficiencia, productividad, metas, impacto.

Pensamiento Crtico N. 13, pp. 71-90


2/20

Pensamiento Crtico N. 13

72

ABSTRACT

This article provides a synthesis of ex post evaluation methodology used by the

author in the evaluation of the Second Social Investment Program Infrastructureand Poverty (hereinafter the Program), executed by the MEF, with financial supportfrom the Corporacin Andina de Fomento (CAF). The aim of this action was toassess the levels of relevance, effectiveness, efficiency, impact and sustainability ofpublic investment projects making up the program. To this end, the methodologicalframework adopted took into consideration that the object of an evaluation is todetermine if the projects generate the desired effects on individuals and institutions

which are run in accordance with the guidelines established in the pre-investmentdocuments and appraisal approved by the official agencies. In general, themethodology used in this evaluation is oriented to draw valid conclusions aboutthe performance of projects with regard to the criteria of relevance, effectiveness,efficiency, sustainability and impact. This methodology may be replicated in similarsituations, that is why this brief summary is provided.

Keywords: Evaluation, efficiency, productivity, goals, impact.

1. Marco de la evaluacin

El objetivo del Programa fue contribuir con la poltica del Gobierno Nacional de

lucha contra la pobreza a travs de proyectos de inversin social y de infraestructura quepermitieran mejorar las condiciones de vida de la poblacin y propiciaran la generacinde oportunidades de desarrollo econmico y social. El Programa adopt un enfoquede desarrollo humano integral, enmarcado en el proceso de descentralizacin del pas.En el contrato de prstamo se asume que la ejecucin de inversiones sociales y deinfraestructura beneficiar a la poblacin marginada del pas, al favorecer objetivosespecficos en sectores tales como agricultura, educacin, energa, saneamiento, salud,transportes y vivienda. Igualmente, se espera que la concentracin de inversiones endiferentes sectores de una misma regin, tenga un impacto geogrfico adecuado que

favorezca el crecimiento econmico y la inclusin social, fortaleciendo y profundizandoel proceso de descentralizacin regional que implementa el Per.

En la realizacin del estudio el marco metodolgico adoptado parte de laconsideracin de que el objeto de la evaluacin consiste en determinar si los proyectoshan generado los efectos deseados en las personas e instituciones a los cuales estuvieron


3/20


73

dirigidos, de conformidad con los lineamientos establecidos en los documentos de preinversin y evaluacin ex ante aprobados por las instancias correspondientes. En talperspectiva, se busc determinar la medida en que los proyectos lograron generar loscambios deseados en la poblacin objetivo y se buscar, asimismo, comparar, en lamedida de lo posible, cul habra sido la situacin de la poblacin si los proyectos nose hubieran ejecutado. Por otra parte, la evaluacin permiti arribar a conclusionesfundamentales respecto al desempeo de los proyectos en lo relativo a los criterios depertinencia, eficacia, eficiencia, sostenibilidad e impacto.

2. Cadena de resultados

En el contexto de la evaluacin mencionada, se adopt el enfoque de gestin porresultados, sustentado en el concepto de cadena de resultados, el cual, a su vez, tomacomo punto de partida el marco lgico de una intervencin. Tomando como punto departida el marco lgico de un proyecto, el propsito y dems objetivos concurrentespueden ser visualizados y conceptualizados en forma interrelacionada de la siguientemanera:

Los impactos se encuentran localizados en la filas del fin del marco lgico.

Los efectos se encuentran localizados en la fila del propsito.

Los productos, localizados en la fila de los componentes, se refieren a los productosentregados por el proyecto a la poblacin beneficiaria o, en trminos amplios, alpas.

Los procesos se encuentran localizados en la fila de las actividades. Estn asociadosa las actividades y se expresan en metas fsicas y financieras.

Como se muestra en el Grfico 2, el marco lgico establece la jerarqua de objetivosy sus correspondientes indicadores para los tres niveles de resultados: productos, efectose impactos. Despus de culminada la ejecucin de un proyecto, debe realizarse elanlisis de los resultados del mismo. En esta etapa, a travs del marco lgico, se puededeterminar la pertinencia, eficacia, eficiencia, coherencia y sostenibilidad del proyecto.Para ello ser necesario relacionar entre s las distintas filas y columnas del marco lgico,


4/20


74

especialmente aquellos casilleros relacionados a los objetivos del proyecto. En todos loscasos, se espera que la evaluacin proporcione a la institucin ejecutora y al conjuntode involucrados del proyecto, informacin confiable que permita extraer lecciones sobreaspectos clave de la promocin del desarrollo que permita elevar la calidad de las futurasintervenciones.

Grfico 1. Marco lgico y evaluacin de resultados.

En el contexto de una evaluacin ex post, el concepto de cadena de resultadoses un elemento fundamental. Es un enfoque que tiene por fundamento la idea de queel empeo en alcanzar los resultados previstos debe guiar la estrategia de ejecucinde los procesos. Para asegurar que se alcancen los resultados se debe supervisarpermanentemente la ejecucin del proyecto, comparando las metas planeadas con lasmetas efectivamente obtenidas, tanto a nivel fsico-tcnico como a nivel financiero. Lacadena de resultados muestra la relacin causal entre costos, actividades, productos,efectos directos y el impacto de largo plazo. La razn en que se sustenta la gestin

basada en los resultados es que la estrategia de ejecucin se debe centrar en el impacto,efectos directos y productos previstos, y que sobre esta base se debern determinar lasactividades y recursos necesarios para alcanzarlos.

En el contexto de un sistema de monitoreo y evaluacin, se entiende porindicadores a los instrumentos utilizados para evaluar el grado de cumplimiento de los


5/20


75

resultados previstos. Asi, puede ser necesario analizar varios indicadores para evaluar sise ha logrado un determinado resultado. Como puede observarse en el Grfico 2, existeuna interaccin entre los resultados y los procesos.

Los resultados son los logros esperados con la ejecucin de los procesos en unorden sucesivo y de creciente importancia.

Los procesos denotan a las actividades que deben realizarse para la obtencin delos resultados previstos, lo que implica el consumo de determinados recursos, los cualesen trminos monetarios representan los costos del proyecto.

En general, en el marco del enfoque de gestin por resultados, se pueden identificartres niveles de resultados: resultados de primer, segundo y tercer nivel; productos, efectose impactos, respectivamente.

Grfico 2. Cadena de resultados y evaluacin.


6/20


76

Los resultados de primer nivel se refieren a los efectos directos del proyecto.Corresponden al efecto que los productos generan en las familias, grupos, comunidadeso instituciones despus de la ejecucin de las actividades. Medir los efectos directossignifica analizar los cambios habidos en el comportamiento de las familias y los cambiosen el desempeo de la poblacin beneficiaria e instituciones. Estos cambios son muyespecficos en cada contexto y dependen de las caractersticas y objetivos del proyecto.Se puede recurrir a diversos mtodos para medir esos cambios: estudios, enfoquesparticipativos, encuestas basadas en cuestionarios, debates temticos en grupos, etc.En el marco de una evaluacin ex post, los indicadores de producto pueden ayudar aevaluar el nivel de eficacia fsica y financiera de los proyectos.

Los resultados de segundo nivel se refieren a los indicadores de propsito oindicadores de efecto. En el marco de una evaluacin ex post, los indicadores de efectopueden facilitar el anlisis de eficacia e impacto. Los resultados de segundo nivel sepueden medir mediante una combinacin flexible de mtodos pertinentes para cadaproyecto, en funcin del contexto local, regional y nacional. Se pueden utilizar datos einformacin, tanto de carcter cualitativo, como de carcter cuantitativo.

Los resultados de tercer nivel corresponden al impacto del proyecto. En el marcode una evaluacin ex post, se utilizan ciertos indicadores clave en el contexto de la

estrategia de desarrollo del pas, tales como, por ejemplo, la tasa de incidencia de lapobreza, equidad social y equidad de gnero. Estos indicadores se pueden complementarcon otros, tales como el incremento de la calidad de vida y el mejoramiento de lagobernabilidad del pas; de este modo, ayudar a evaluar la pertinencia y el impacto delos proyectos.


7/20


77

Terminologa de la cadena de resultados

Insumos.Recursos financieros, humanos y materiales necesarios para realizarlas actividades y conseguir los productos previstos de un proyecto. Pueden serexpresados nicamente como metas financieras o costos.

Actividades.Medidas adoptadas o tareas realizadas para conseguir un productoespecfico empleando los recursos asignados.

Productos.Resultados inmediatos, tangibles o intangibles, que se producen gra-cias a la ejecucin de las actividades.

Efectos.Resultados generados por los productos entregados por el proyecto enel bienestar de la poblacin beneficiaria.

Impactos.Resultados positivos y negativos a largo plazo producidos por un pro-yecto en el bienestar de la poblacin beneficiaria y/o el pas.

3. Criterios de evaluacin

Todo proyecto se realiza con algn objetivo. La evaluacin de resultados permitedeterminar en qu grado se logra el objetivo o cambio deseado. Generalmente, se buscaun cambio en las condiciones de vida de la poblacin, en trminos de ingresos, accesoa servicios o ejercicio de derechos polticos. Este tipo de evaluacin busca determinar lamedida en la que se ha logrado el resultado deseado en la poblacin objetivo. Al evaluarlos resultados de un proyecto, a fin de determinar si el diseo y la gerencia del mismofueron adecuados, se ponen nfasis en cinco aspectos importantes:

Pertinencia. Grado en el cual el objetivo del proyecto es consistente con lasprioridades de desarrollo de la poblacin y las polticas de la entidad ejecutora y elorganismo financiador.

Eficacia. Grado en el cual se logran las metas fsicas y financieras de un proyecto.En general, la eficacia es la verificacin del cumplimiento de los objetivos de unaintervencin.


8/20


78

Eficiencia.Anlisis de los resultados con relacin al costo; es decir, anlisis de latransformacin de los insumos en productos mediante la realizacin de determinadasactividades.

Impacto. Valoracin socioeconmica global, incluyendo los efectos positivos y ne-gativos, tanto aquellos que son deseados y estaban previstos, como los no previstosy no deseados.

Sostenibilidad. Apreciacin de la capacidad para mantener los impactos positivosdel proyecto por un largo periodo de tiempo. Anlisis sobre si el efecto global, en tr-minos, por ejemplo, la reduccin de la pobreza, es positivo tambin en el largo plazo.

Estos criterios estn estrechamente relacionados al enfoque del marco lgico. As,la pertinencia alude a la relacin del propsito con las prioridades de desarrollo; laeficacia a la relacin entre los productos y el propsito; la eficiencia es una comparacinde los insumos con los productos; el impacto establece relaciones entre las variablescontrolables por el proyecto y el fin; y, por ltimo, la sostenibilidad analiza la interaccinentre el fin y los supuestos al mismo nivel. Cabe reiterar que en la evaluacin ex-post sesuele convenir que el concepto de resultado abarca tres niveles de la columna de objetivosdel marco lgico: productos (o componentes), efectos (propsito) e impactos (fin). En

ocasiones se suele diferenciar a la evaluacin de resultados del anlisis de impactos conla intencin de estimar cualitativa y cuantitativamente la incidencia del proyecto sobredeterminados aspectos o reas del desarrollo. A este anlisis se le denomina evaluacinde impacto. Para medir los resultados (detectar un cambio), idealmente es necesariocontar con datos sobre la poblacin beneficiaria antes y despus de la intervencin.Alternativamente, es posible fijar una meta ideal y compararla con la meta realmentelograda al final de la ejecucin del proyecto. Sin embargo, estos cinco criterios son decarcter general y, si bien constituyen la base fundamental sobre la cual se aborda lapresente evaluacin, deben ser operativizados a travs de la recopilacin de informacin

sobre los indicadores correspondientes.

Anlisis de pertinencia

Por pertinencia se entiende la apreciacin global sobre si el proyecto se condicecon los objetivos de desarrollo del pas, as como con las necesidades y prioridades


9/20


79

locales. Permite contar con una referencia slida para gobernantes y funcionariospblicos acerca de la continuacin, reformulacin o finalizacin de una intervencin.La pertinencia es un tema relevante dentro de la evaluacin y debe estar presente desdelas etapas iniciales de planificacin y a lo largo de todo el ciclo del proyecto.

El anlisis de pertinencia es una cuestin de direccin del proyecto con relacin acon su propsito. Por otro lado, implica observar los cambios sociales e institucionalesque puedan haber ocurrido durante la ejecucin del proyecto y evaluar hasta qu puntoesto puede alterar la lgica del Programa. Cabe indicar que determinados cambiosen las condiciones externas podran disminuir el grado de prioridad del proyecto oerosionar su fundamento lgico. Por ello, el anlisis de pertinencia implica decisiones del

ms alto nivel sobre la conclusin o continuacin de los proyectos y, en este ltimo caso,sobre posibles cambios en la estrategia y metodologas de ejecucin. En el contextodel Programa materia de evaluacin, el anlisis de pertinencia fue orientado de modoque se pudiera verificar la utilizacin de los recursos en la atencin a las poblaciones ensituacin de pobreza, e implic realizar las acciones siguientes:

Anlisis de pertinencia

Anlisis de los niveles de pobreza de las zonas de intervencin delPrograma.

Anlisis de los niveles de desarrollo de la infraestructura en las zonas deintervencin del Programa.

Anlisis de la vigencia de las modalidades de ejecucin del Programa.

Anlisis de eficaciaEl anlisis de eficacia de un proyecto consiste en la medicin del grado de avance

en el logro de sus objetivos y metas, o bien de la probabilidad de que se logre al trminodel periodo previsto de ejecucin. La eficacia implica una apreciacin del grado en quese logra el propsito o se espera alcanzarlo. Establecer la eficacia es parte esencial de laevaluacin y la informacin necesaria para llevarla a efecto es provista por las unidades


10/20


80

ejecutoras correspondientes o, alternativamente, por la informacin de los sistemasfiscales, tales como el SIAF.

La determinacin de la eficacia presupone que el propsito del proyecto ha sidodefinido operacionalmente y de manera no ambigua, de forma tal que es posible unaverificacin razonablemente vlida. Sin embargo, con frecuencia no se da esto: losobjetivos pueden estar formulados de manera poco clara y ser demasiado generales.En tales casos se debe resaltar esa debilidad; el equipo de evaluacin tiene queoperacionalizar los objetivos sobre la base de la documentacin existente del proyecto,para determinar qu se ha logrado realmente.

Usualmente, un proyecto de inversin pblica es slo uno de los muchos factoresque pueden contribuir al logro de los objetivos de desarrollo de un pas. Por lo tanto, elequipo de evaluacin ha fijado su atencin sobre las causas de la eficacia (o de la faltade sta), especialmente en qu grado se han alcanzado los productos esperados, y siestos son suficientes o si se deben hacer cambios en el diseo del proyecto para asegurarun nivel ptimo de eficacia en un tiempo determinado. Sin embargo, es igualmenteimportante determinar minuciosamente los factores externos (supuestos) que tambininfluyen sobre las probabilidades de xito del proyecto. En el contexto del Programamateria de evaluacin, el anlisis de eficacia, tomando como base la informacin del

SIAF, implic realizar las acciones siguientes:

Anlisis de eficacia

Comparacin de las metas fsicas programadas con las metas fsicasejecutadas.

Comparacin de las metas financieras programadas con las metasfinancieras ejecutadas.

Verificacin de la calidad de los productos generados, a travs deintercambios de informacin y entrevistas con el personal de lasunidades ejecutoras.


11/20


81

Anlisis de eficiencia

Por eficiencia se entiende el grado en el que los resultados del proyecto se han

logrado mediante el uso ptimo de los recursos. Asimismo, el anlisis de eficienciacomprende la evaluacin de la calidad de la ejecucin del presupuesto asignado alproyecto. En otras palabras, el anlisis de eficiencia consiste en determinar el grado enel que los diversos insumos se convierten en productos de manera econmica. De allque una forma universal de operativizar el anlisis de eficiencia sea a travs del clculode la ratio costo-efectividad.

La eficiencia es, por otra parte, una forma de expresar la productividad del procesode implementacin; esto es, el grado en que los productos logrados derivan de un uso

eficiente de los recursos financieros, humanos y materiales. La mayor dificultad paramedir la eficiencia radica en determinar el estndar de comparacin o lnea de corte.Esto depender del tipo de proyecto, de las circunstancias locales y de otros factores.El estndar difcilmente est predeterminado. Por lo tanto, en la prctica depende delequipo de evaluacin especificar contra qu estndar se va a medir.

En otras palabras, el anlisis de eficiencia en su forma operativa de medicin deproductividad consiste en establecer una relacin cuantitativa entre un indicador deresultado (como, por ejemplo, el nmero de beneficiarios o el quantum de productosentregados a la poblacin) y un indicador de los costos o insumos utilizados por elproyecto. En el contexto de la presente evaluacin, este ha sido el enfoque adoptado, eimplico la realizacin de las tareas siguientes:

Anlisis de eficiencia

Estimacin de la eficacia fsica, en tanto sta representa un indica-dor de resultado.

Estimacin de la eficacia financiera, en tanto sta representa unindicador de insumo (costos) de un proyecto.

Relacin entre ambos indicadores, a fin de tener una aproximacinal concepto de eficiencia o productividad.


12/20


82

Anlisis de impacto

El impacto de un proyecto son las consecuencias que ste genera en la sociedad, tanto

las previstas como las no esperadas, sean positivas o negativas. Para ello, se debe tomarcomo punto de partida el fin y el propsito del proyecto, pero este proceso va mucho msall de establecer si los resultados se han logrado. Este tipo de evaluacin con frecuenciarequiere de investigaciones que abarcan un mayor campo de estudio. La eficacia es uncriterio de evaluacin estrecho, ya que el propsito del proyecto indica solamente losefectos positivos esperados por las partes involucradas. A diferencia de esto, el concepto deimpacto es mucho ms amplio porque incluye las consecuencias positivas y negativas, tantolas previstas como las no esperadas. En la determinacin de impactos el punto de partidadebe ser el propsito del proyecto en la forma en que ha sido definido, as como el grado

de eficacia alcanzado, y luego se debe analizar que otros efectos (positivos o negativos,previstos o no esperados) se han producido como resultado de la ejecucin del proyecto.

El impacto total es el resultado de condiciones causales complejas que puedenser difciles de analizar. Puede ser especialmente problemtico probar que los cambiosobservables son producidos por un determinado proyecto o accin de desarrollo. A finde comprender las conexiones causales, el evaluador puede necesitar emplear mtodosorientados al proceso, como la observacin de los participantes. En distintos momentospueden aparecer diferentes impactos. En el trabajo de evaluacin se debe poner atencintanto a los impactos de corto plazo como a los de largo plazo. Las evaluaciones deproyectos en implementacin igual pueden producir conclusiones valiosas aplicablesen el futuro a proyectos de desarrollo similares. En el contexto del Programa materia deevaluacin, el anlisis de impacto implic realizar las acciones siguientes:

Anlisis de impacto

Determinacin de los efectos de los proyectos sobre los niveles de

pobreza en las zonas de intervencin. Determinacin de los efectos de los proyectos sobre los niveles de

desarrollo de la infraestructura econmica y social en las zonas deintervencin.

Determinacin de la magnitud de la poblacin beneficiaria alcanzadapor los proyectos conformantes del Programa.


13/20


83

Grfico 3. Componentes de la evaluacin.

Anlisis de sostenibilidad

La sostenibilidad es una estimacin global sobre el grado en que los cambiospositivos producidos por los proyectos del Programa continuarn an despus que stoshayan concluido. Segn la OCDE1, la sostenibilidad es la prueba final del xito deun proyecto de desarrollo. As, la determinacin de la sostenibilidad de un proyectode desarrollo implica mucho ms que la respuesta a la pregunta sobre el logro de losobjetivos fijados: indica la probabilidad que los impactos positivos continen una vez que

hayan concluido las actividades del proyecto. En el contexto de la presente evaluacin,la sostenibilidad se define como la capacidad para generar beneficios duraderos, quepermanezcan vigentes incluso despus de que el proyecto haya concluido2. Los puntosclave a destacar en la definicin de sostenibilidad son los siguientes:

1 Organizacin para la Cooperacin y Desarrollo Econmico.2 Vase, Quality Assurance Group PIA/OPRE, Promoting Practical Sustainability. Australian Agency for

International Development (AusAID), Canberra, September 2000.


14/20


84

La atencin se centra en mantener el flujo de beneficios en lugar del mantenimientode la intervencin misma. Los proyectos, por definicin, no son sostenibles, ya queson acciones de carcter temporal, con fechas de inicio y trmino predeterminadasen los correspondientes estudios de pre inversin y los arreglos institucionales definanciacin.

El concepto de beneficio sostenible, por lo tanto, no necesariamente significa lacontinuidad de las actividades del proyecto, ms all de un periodo razonable detiempo.

El anlisis de sostenibilidad es, pues, un proceso encaminado a maximizar y dar

continuidad al flujo de beneficios para la poblacin. Debe ser un proceso permanentey debe ser actualizado segn las cambiantes circunstancias del entorno. Cabe destacar,sin embargo, que no existe una nica manera de lograr la sostenibilidad, sino que cadaproyecto debe definir su propia estrategia de sostenibilidad, segn las circunstanciasespecficas internas y externas. El anlisis de sostenibilidad de un proyecto consiste, pues,en determinar si ms all del logro de sus objetivos, es posible que los impactos positivoscontinen despus que el proyecto haya concluido. En el contexto del Programa materiade evaluacin, el anlisis de sostenibilidad ha implicado realizar las acciones siguientes:

Anlisis de sostenibilidad

Verificacin de la capacidad de las unidades ejecutoras para dar continuidad a laatencin de los usuarios.

Verificacin de las capacidades sociales e institucionales en las zonas de intervencinpara administrar los servicios que emergern con las obras de infraestructuraconstruidas y/o capacidades instaladas.

Verificacin de capacidades nacionales, especialmente fiscales, para cubrir los costosoperativos de los servicios relacionados a los proyectos ejecutados.

En general, en el marco de la presente evaluacin se ha recopilado informacincualitativa y cuantitativa sobre la ejecucin de los proyectos. A partir de dicha ejecucin


15/20


85

se han efectuado una serie de anlisis, con la finalidad de transformar la masa de datosobtenida en informacin real para la toma de decisiones.

4. ndice global de desempeo

Como ya ha sido sealado, el objetivo del estudio fue determinar la calidad delprograma de proyectos financiado por la CAF, a travs de cinco criterios de evaluacin:pertinencia, eficacia, eficiencia, impacto y sostenibilidad. Desde esta perspectiva,el desempeo de cada proyecto est determinado por su desenvolvimiento en cadauno de estos enfoques. Sin embargo, a los efectos de facilitar la interpretacin de losresultados de la evaluacin se construy un ndice a travs del cual son sintetizados los

resultados del anlisis del conjunto de criterios de evaluacin. A dicho instrumento se leha dado el nombre de ndice de Desempeo Global (IDG, en adelante), el cual sintetizalos cinco criterios de la evaluacin.

El IDG es una medida de resumen del desempeo de cada uno de los proyectos dela muestra del Programa. Por lo tanto, constituye el resumen de la aplicacin de los cincocriterios de evaluacin. Mide en forma general el aporte de las inversiones realizadas aldesarrollo del pas, particularmente al logro del objetivo esencial del Programa: disminuirlos niveles de pobreza mediante la dotacin de infraestructura econmico-social en los

territorios de menor desarrollo relativo del pas.

Para calcular el IDG fue necesario crear un ndice para cada uno de los criterios deevaluacin, dando lugar a los siguientes ndices: ndice de pertinencia, ndice de eficaciafsica, ndice de eficacia financiera, ndice de productividad (como representacin delcriterio de eficacia), ndice de impacto e ndice de sostenibilidad. En todos los casos, seha utilizado la informacin estadstica ms actualizada posible. Todos los indicadores sebasan en informacin estadstica cuantitativa, a excepcin del ndice de sostenibilidad,el cual se ha construido sobre la base de la opinin de los responsables de las unidades

ejecutoras correspondientes. En todos los casos se ha buscado expresar el ndice en unaescala de 1 a 10, que facilite la comparabilidad entre si y, por ende, la construccin delranking de proyectos en funcin del desempeo global.


16/20


86

Indicadores utilizados

Cabe destacar que los indicadores utilizados son de dos tipos: indicadores

cuantitativos (ndices de pertinencia, eficacia fsica, eficacia financiera, eficiencia eimpacto), e indicadores cualitativos (ndice de sostenibilidad, basado en la encuestarealizada). A su vez, cada indicador puede englobar una o ms variables. A continuacinse describen los indicadores y variables utilizados en la construccin del IDG.

Pertinencia. La aplicacin del criterio de pertinencia implic el uso de dosindicadores: tasa de pobreza y nivel de infraestructura. La tasa de pobreza utilizadarefleja el nivel de pobreza que se presenta en el mbito de ejecucin de cada proyectopara el ao 20073, periodo anterior a la ejecucin del Programa. Asimismo, el stock

de infraestructura mide el desarrollo del nivel de infraestructura en el mbito deejecucin de cada proyecto al ao 20074.

Eficacia fsica.Para operativizar el criterio de eficacia fsica se toma como referenciael ndice de eficacia fsica, calculado en unidades porcentuales, el cual expresa elgrado de cumplimiento de las metas fsicas establecidas en cada proyecto5.

Eficacia financiera.Para operativizar el criterio de eficacia financiera se tomacomo referencia el ndice de eficacia financiera, calculado en unidades porcentuales,el cual expresa el grado de cumplimiento de las metas financieras establecidas encada proyecto.

Eficiencia.El criterio de eficiencia ha sido operativizado mediante la frmula deproductividad, relacionando los valores representativos de las metas fsicas con losde las metas financieras.

3 En este caso, se calcul una tasa de pobreza promedio para cada proyecto en funcin a tasas de pobreza

distrital 2007 correspondiente a su mbito de ejecucin. Dichos clculos se basaron en los resultados delos Censos de Poblacin y Vivienda 2007, elaborado por el INEI.4 Para ello, se tom como referencia el ndice de infraestructura a nivel departamental, elaborado por el

Consejo Nacional de Competitividad (CNC) al ao 2007. Se toma a dicha variable como proxy del nivelde desarrollo que se presenta en el mbito de cada proyecto.

5 Cabe mencionar que, los datos utilizados para calcular el nivel de avance fsico y financiero alcanzado porcada proyecto provienen de dos fuentes de informacin: la encuesta realizada a las 31 unidades ejecutorasque comprende la muestra y la revisin de la base de datos del Sistema Integrado de AdministracinFinanciera (SIAF) del MEF.


17/20


87

Impacto.La aplicacin del anlisis de impacto se realiz recurriendo al diferencialde las tasas de pobreza 2007 y 2008, a nivel departamental. Ha sido imposible queeste anlisis se realice a nivel distrital, debido al hecho de que el INEI, la fuenteoficial de este tpico, slo publica cifras de pobreza a nivel regional para el 2008.6Dichas variables se expresan en unidades porcentuales.

Sostenibilidad.La sostenibilidad ha sido medida a travs de un ndice de sostenibili-dad global construido en el contexto del presente estudio7. Este ndice comprende a suvez tres dimensiones de sostenibilidad: general, social y econmico-financiera. La soste-nibilidad general se refiere a la permanencia de los beneficios directos de los proyectos.La sostenibilidad social se refiere a los cambios en el mejoramiento de la calidad de vida

de la poblacin beneficiaria. Por ltimo, la sostenibilidad econmico-financiera se refiereal desempeo financiero de los proyectos en el futuro cercano.

Grfico 4. Metodologa del ndice de desempeo global.

NDICES

Proyecto A

Proyecto B

Proyecto C

Proyecto D

Proyecto EPertinencia

Eficaciafsica

Eficaciafinanci

era

Eficiencia

Impacto

Sostenibilidad

NDICE DEDESARROLLOGLOBAL

6 El indicador global de desempeo utiliza, en el criterio de impacto, el diferencial de tasa de pobrezadepartamental. Sin embargo, tambin se ha realizado una evaluacin de impacto a nivel distrital. Paraello, se tom en 2007 la tasa de pobreza promedio calculada en el anlisis de pertinencia, y para el 2008,se utiliz como variable proxy de la tasa de pobreza distrital a la tasa de pobreza departamental 2008. Apesar de las limitaciones metodolgicas del caso, se opt por utilizar el anlisis de impacto departamental.Cabe indicar que, ambas metodologas muestran resultados similares.

7 El ndice se basa en los resultados obtenidos de la encuesta realizada a las diferentes unidades ejecutoras(31).


18/20


88

Con base en ello, se jerarquizaron los proyectos de acuerdo al desempeo global,dando lugar a un ranking de proyectos en funcin del IDG. El ndice al ser una medidade los proyectos sobre una escala de 0 a 1, permite obtener, asimismo, la calificacinpromedio del Programa en su conjunto. Una calificacin mayor al 0,5 estara indicandoun desempeo positivo del Programa, y en la medida que el puntaje promedio suba,esto debera interpretarse como un mejoramiento del desempeo de la cartera ensu conjunto. En cambio, una calificacin promedio menor al 0,5 significara un bajodesempeo global del Programa.

Estandarizacin de valores

A fin de hacer comparables todas las medidas relacionadas a los criterios deevaluacin, se ha realizado un trabajo de estandarizacin de valores. A tal efecto, se hautilizado dos metodologas: el mtodo de los valores lmite y el mtodo de puntuacionesz. Finalmente, se opt por los resultados que emergen del primero de los mtodosmencionados.

Mtodo de valores lmite. El procedimiento de construccin de cada ndiceha implicado la realizacin de tres pasos: (a) identificacin de indicadores vlidos y dela fuente de informacin correspondiente; (b) determinacin de los valores mnimos y

mximos, llamados genricamente valores lmite, para cada uno de los indicadores (enel caso de los ndices de eficacia fsica, eficacia financiera y eficiencia esto no ha sidonecesario ya que de modo natural estn expresados en tanto por uno); (c) Clculo delndice de cada proyecto, mediante la aplicacin de la formula siguiente:

valor real - valor mnimo

ndice =valor mximo - valor mnimo

El desempeo de cada proyecto desde cualquiera de los criterios de evaluacin,se expresa como valor entre 0 y 1. Sobre esta base se procedi al clculo del IDGcomo simple promedio de los ndices de los componentes. Finalmente, los proyectosfueron ordenados de mayor a menor, en funcin del valor de sus respectivos ndicesagregados.


19/20


89

El Grfico 5 muestra la escala de medicin de cada uno de los ndices.

Grfico 5. Construccin de ndices.

Lmite del valor mximo

Valor del indicador

Lmite del valor mnimo

Indicadorndice delcomponente

1,00

0,900

0,800

0,700

0,600

0,500

0,400

0,300

0,200

0,100

0

Valor delndice

Mtodo de puntuaciones z. Alternativamente, se ha construido un rankingde proyectos mediante la aplicacin de la metodologa estadstica conocida comopuntuaciones z. Las puntuaciones z son transformaciones que se pueden hacer a losvalores o las puntuaciones obtenidas, con el propsito de analizar su distancia respecto ala media, en unidades de desviacin estndar. Una puntuacin z nos indica la direcciny el grado en que un valor individual obtenido se aleja de la media, en una escalade desviacin estndar. Las puntuaciones z constituyen el mtodo ms comnmenteutilizado para estandarizar la escala de una variable medida en un nivel de intervalos8.

Dicha metodologa permite uniformizar las variables o indicadores representativosde cada criterio y formar un slo ndice, el cual, a su vez, puede permitir jerarquizarel desempeo de los proyectos dentro del Programa en una suerte de ranking de losmismos.

8 Vase: Metodologa de la investigacin, Roberto Hernndez y otro. Mc Graw Hill, Mxico 2006.


20/20


90

5. Fuentes de informacin

Las fuentes de informacin utilizadas para la operativizacin del clculo de los

indicadores han sido tanto de orden primario como secundario. La fuente primariaes la encuesta realizada en el marco del presente estudio, en tanto que las principalesfuentes secundarias han sido: Ministerio de Economa y Finanzas (SIAF y Banco deProyectos), INEI (Perfil de Pobreza 2004-2008 y otros informes de pobreza). Los datosde infraestructura se han obtenido de Per Compite, un rgano de la Presidencia delConsejo de Ministros.

Grfico 6.Criterios de evaluacin y fuentes de informacin.

metodología de la evaluación ex post

Documents