criterios de evaluaciÓn de programas -...

1

UNIVERSIDAD DE BELGRANOFacultad de Derecho y Ciencias Sociales

Facultad de Estudios para Graduados

Jornadas de reflexión académica “Ciudadanía y Calidad Democrática”Octubre de 2000.

CRITERIOS DE EVALUACIÓNDE PROGRAMAS

Autor: Dra. Gloria Edel Mendicoa∗∗

I. CONSIDERACIONES INTRODUCTORIAS

Nada debería ser más importante para políticos y planificadores sociales, que el momento de

detenerse para considerar los problemas que envuelven a la sociedad, y encontrar alternativas que

expliquen y den soluciones dignas y nobles.

La realidad social no es satisfactoria y la posibilidad de hacerle frente tiene cada vez más

restricciones, debido al crecimiento de las demandas - crecimiento de las carencias que generan

necesidades -. A su vez la incapacidad de ser resueltas por la libre y espontánea voluntad o

posibilidades de la comunidad, crece, a la par que crece también la misma incapacidad por parte del

Estado, lo que indica que ese déficit se transforma en el más claro indicador del deterioro de cuya

responsabilidad nadie puede excluirse.

Ante este diagnóstico que no se resuelve y sobre el que "se debe actuar" aparecen elementos que son

capaces de movilizar

• las capacidades desaprovechadas hasta ahora, representadas tanto por la comunidad y los

mismos programas en marcha - antiguos o nuevos - que desde cada sector desde donde se

∗∗

2

instrumenten apuntan a lo mismo, pero que al ser incompletos, a veces superpuestos y hasta

competitivos, fallan y no logran los niveles de cobertura y eficiencia necesaria y buscada; y,

• la conciencia sobre la necesidad de cambio que nos compromete, lo que se observa a través de

las experiencias de, a veces, quienes instrumentan las políticas y los reclamos de los destinatarios,

principalmente de esa multitud de desatendidos.

Lo más importante es que se hace necesario instalar un serio debate sobre el diseño del gastos

público, para que la inversión social deje de caer en términos porcentuales calculados sobre el total de

los recursos, todo ello como un medio de fortalecer el perfil social de las políticas públicas. Ante el

problema, la búsqueda de opciones es imprescindible, identificando oportunidades - aprovechando

recursos subutilizados -, ensayar nuevas estrategias que más que recursos presupuestarios, exigen

"inteligencia" concertada y aprovechamiento pleno de las capacidades.

Así la elaboración de bases metodológicas para la identificación de prioridades en todo el proceso de

gestión: investigación, diseño, instrumentación y evaluación. Detenidos en este último

aspecto, éste es uno de los momentos del proceso, que encuentra mayor complejidad; el que hace

que al final de cuentas el sentido de la política no encuentre cauce; es lo que evidencia que el proceso

de la planificación social en nuestros países haya sido débil y hasta inexistente.

También es, su recurrente omisión, no tener en cuenta que los "integrantes interrelacionados de toda

política son: la existencia de una situación problemática, para cuya modificación en el sentido

deseado se elige y efectúa un determinado curso de acción, que produce ciertos resultados más o

menos diferentes de los deseados y, en consecuencia, obliga a revisar el curso de acción elegido"

(Luis Aguilar Villanueva, 1991).

I.1..- Alcances y contenidos del tema

Por las razones expuestas, el criterio para elaborar esta propuesta ha motivado un conjunto de

interrogantes en la investigación sobre políticas sociales, ¿qué es lo que interesa conocer? ¿cuáles son

los aspectos cruciales de la Planificación de las Políticas? Es decir: hay que llegar a los aspectos

centrales de su contenido, poniendo atención a la política social y a su objeto de acción como un

sistema dinámico que responde a dos preguntas básicas: ¿Cómo actuar? y ¿con quién actuar?

El objeto de análisis es el programa y/o proyecto, y respecto a éstos, los resultados. Ello se

desprende del criterio que alude a la comparación que los beneficios y costos de una determinada

inversión pueda tener sobre el ámbito donde se implementa aquél.

En otras palabras: un programa y/o proyecto responde, es de suponer, a un conjunto de supuestos,

que son sujetos de medición previa a través de las variables que se detecten, las cuales en el proceso

planificador actuarán como determinantes, en el sentido de justificar la intervención, y los resultados

son los efectos que se persiguen para la intervención aludida.

No se desconocen los diferentes tipos de evaluación, lo que no será reseñado en esta propuesta, no

obstante se menciona, siguiendo la tipologías de evaluaciones (véase anexo) elaborada por

Francisco Alvira Martín (1991) las que en rápida síntesis se destacan: la

• Evaluación de necesidades

3

• Evaluación de diseño/conceptualización del programa

• Evaluación de la evaluabilidad

• Evaluación de la implementación

• Evaluación de la cobertura

• Monitorización y seguimiento del programa

• Evaluación de impacto

• Evaluación de los resultados

• Evaluación económica

Los tipos de evaluación indicados tienen importancia por sí mismos, sin embargo el concepto que en

este caso se “elige”, es el denominado evaluación clave, determinada por la Evaluación de Resultados,

considerando de este modo que los resultados constituyen la evidencia empírica de la intervención

realizada.

En esta perspectiva, y tomando como premisa fundamental que las Políticas Sociales y la

substanciación de las mismas en programas y proyectos, llaman a la lucha contra la pobreza, exige

que esta última, tomada como Unidad de Análisis Central, se la perciba en estrecha relación con

acciones que articulan tres vértices: la intervención multidimensional y las acciones integradas; el

sistema de implementación y la participación de los afectados, centrando los objetivos en el sujeto.

Desde esta concepción, la estructura de la propuesta se orienta a tener en claro dos ejes claves: el

carácter de la evaluabilidad y la evaluación por resultados, sobre la cual debe preverse el sistema de

indicadores apropiados.

Así el análisis que se seguirá, toma como criterios de referencia:

• La multidimensionalidad e interconexión de Problemas. Es vista como una hipótesis en la que

el problema, sujeto de una acción social, no puede “aislar” un elemento específico sobre el

que operar.

• La intervención y las fases que la componen. La estrategia deberá ser evaluada como un

sistema que integre las distintas fases en las dimensiones socio-económicas, los protagonistas

y los espacios. Se dirige hacia la estructura como una pluralidad, que mide el conjunto de

recursos, las lógicas y los espacios de intervención y las diferentes organizaciones que

participan: públicas, no gubernamentales, privadas y ciudadanas.

• Las externalidades o efectos que la Intervención provoca. El Resultado de la Política y sus

efectos. La contrastación empírica de los supuestos contenidos en el diseño de la Política.

Llegar a este punto de la evaluación implica haber traspasado la “evaluación de la

evaluabilidad” y justificar la “evaluación de los resultados”.

• La calidad de los logros. Se avanza en una posición netamente subjetiva respecto de la

relación demanda-satisfacción, que supera el resultado de la meta alcanzada, (Ej. Reducción

de la Insatisfacción) para orientarse al carácter de la satisfacción.

Antes de profundizar en estos ejes, cabe hacer mención a algunas definiciones básicas que se insertan

en todo proceso de evaluación, y que es necesario recogerlos para precisar una estructura de

lenguaje que sea comprensible a todos.

4

Así entonces, la evaluación, y conforme lo estamos adelantando, puede asumir diferentes

procedimientos y más aún si se los compara con los intereses del sector privado, lo cual insertado en

ese esquema, en opinión de Nasir y Reinaldo Sapag Chain (1998, 3ra. Edición), las preferencias de los

consumidores en el mercado da origen al interés social.

Por su parte y como señalan los autores, pueden ser diferentes los procedimientos si por ejemplo, se

inserta en el esquema de interés privado y que las preferencias de los consumidores en el mercado da

origen al interés social.

En cambio desde una perspectiva social, la colectividad se ve compensada directa e indirectamente

por la asignación de recursos que se materializa mediante un criterio de asignación (que respete

prioridades sociales de inserción)...”

La evaluación social y de mercado toman criterios similares en cuanto a lo procedimental, pero difiere

en la valoración de las variables que son determinantes para los costos y beneficios que se deriven.

La evaluación privada claro está, trabaja con el criterio de precios de mercado. La evaluación social lo

hace con “precios sombra o sociales”. Estos con el fin de medir el efecto de implementar un proyecto,

tiene en cuenta lo que es denominado efectos indirectos o externalidades que los proyectos

generan sobre la comunidad (ejemplo: contaminación o redistribución).

Los beneficios directos se miden por el aumento que el proyecto provocará en el ingreso (del ámbito

jurisdiccional donde se inserte) mediante la cuantificación monetaria del producto (por ej. vivienda:

tomará el valor del mercado). De igual forma corresponde a las compras de insumos, donde el precio

se establece por un factor que incorpore las distorsiones de los mercados de bienes y servicios.

Los costos y beneficios indirectos corresponden a los cambios que provoca la ejecución del proyecto

en la producción y consumo de bienes y servicios que se relacionan con el mismo.

Los beneficios y costos intangibles si bien no se cuantifican, deben considerarse cualitativamente, en

consideración a los efectos que la implementación del proyecto tenga sobre la comunidad.

Por último, las denominadas externalidades, son los efectos positivos o negativos, que sobrepasan la

institución inversora.

II.- LA EVALUACIÓN COMO PARTE DEL PROCESO PLANIFICADOR

II.1.- Su inserción dentro del proceso

El estudio de Programas y/o Proyectos reconoce dos momentos: Formulación y Preparación y la

Evaluación.

La primera tiene por objeto definir todas las características que tengan algún grado de efecto en la

situación problema a tratar y que es objeto de indagación y ejecución.

La segunda, con metodologías específicas busca determinar los resultados, en función de valores

cuantitativos y cualitativos, del proyecto.

Esquema N° 1: Momentos del proceso planificador

5

FORMULACIÓN Y PREPARACIÓN EVALUACIÓN

Investigación Planificación Ejecución

Qué características

tiene la situación

problema

Qué se quiere hacer Qué se hace Qué diferencia hay entre lo

previsto y los resultados

Conocimiento Conocimiento + Acción Acción + Conocimiento

Estudio de la Realidad Estudio técnico o de

factibilidad

Estudio de la

Organización

Estudio de la Rentabilidad.

Análisis cualitativo.

Sensibilización

II.2.- Nivel en el cual se inscribe

En una visión dinámica el Esquema que se presenta nos permite plantear una perspectiva de la

Evaluación atravesando el proceso por el cual los indicadores dejarán de tener una posición estática

para transformarse en dinámicos y cambiantes según la instancia en la que se encuentre el proceso

planificador.

Esquema N° 2: Etapas del proceso de planeamiento de la gestión del desarrollo.

Visión dinámica

I

D

E

A

S

NIVEL

POLÍTICO

(decisional)

MODELO NORMATIVO EJECUCIÓN

C O N T R O L

PRO-

CE-

SOS

NIVEL

TÉCNICO

(planeamiento)

(proyectivo)

EVALUACIÓN CONOCIMIENTO PLANIFICACIÓN

FE-NÓ-

ME-

NOS

NIVEL

EMPÍRICO

(Operativo)

SITUACIÓN PROBLEMA SOLUCIÓN

Fuente: Mendicoa, Gloria. “La Planificación de las Políticas Sociales”. Espacio Edit., Bs.As., 1997.

El objeto de análisis son las propuestas que integran los Programas y la relación de éstas y los niveles

de igualdad y equidad que, se supone, aquellos deben mejorar.

6

II.3.- Los diferentes criterios de Evaluación

Existen diferentes criterios en el proceso de evaluación. Según Francisco Alvira Martín (op.cit.) se

puede apreciar en las fases de una evaluación que existe un procedimiento que mantiene una

estructura tradicional, a cargo de un sujeto evaluador y en otro sentido, sin perder la rigurosidad,

propia de un proceso de investigación, no impide que se encuentren involucrados en dicho proceso

decididores e interesados y la aplicación de los resultados en la toma de decisión.

Los esquemas que se exponen dan cuenta de las diferencias:

Esquema N° 3: Fases de una evaluación (A)

1. Familiarización con el programa

2. Decisión sobre la viabilidad de la evaluación

3. Determinación del tipo de evaluación

3.1. Funcionamiento del programa (implementación/monitorización)

3.2. Efecto sobre la sociedad/comunidad (impacto)

3.3. Resultados/efectos del programa (resultados)

3.4. Consideración de beneficios y costes (coste/beneficio/utilidad)

4. Diseño/proyecto de la evaluación

5. Relevamiento de la información

6. Análisis de datos/informe

Fuente: Francisco Alvira Martín. “Metodología de la Evaluación de Programas”. Centro de

Investigaciones Sociológicas. Madrid 1991.

Esquema N° 4: Fases de una Evaluación (B)

7

Identificación de partes interesadas

Organización de un grupo de trabajo con ellas

Delimitación de preguntas y temas de evaluación

Puede identificarse cómo se utilizarán

las respuestas a esta pregunta

No Buscar nuevas

preguntas y

temas

Dada la utilización prevista, vale la pena

hacer la evaluación

Toma de decisiones sobre diseño, métodos y medición

1. Los métodos son adecuados para las preguntas de la evaluación

2. Los resultados que se obtengan tendrán credibilidad

3. Los métodos a utilizar están dentro del presupuesto

4. Los resultados obtenidos se utilizarán

Relevamiento de información/datos

Análisis de datos

Involucramiento del grupo de trabajo en el análisis

Decisión sobre cómo utilizar y aplicar los hallazgos

Decisión sobre difusión de hallazgos

8

Fuente: Francisco Alvira Martín (op. cit.)

III.- LOS ASPECTOS CONSTITUTIVOS DE LA EVALUACIÓN.

EVALUACIÓN DE LA EVALUABILIDAD Y EVALUACIÓN DE

RESULTADOS

Para insertarse en el proceso de evaluación, sostenemos los principios de multidimensionalidad y

horizontalidad acerca del objeto que viabiliza la intervención y de la misma forma respecto del proceso

que la evalúa. No se “aíslan” aspectos puntuales, todos alcanzan el mismo nivel de significación.

Saber si el programa/proyecto es evaluable es la primera instancia que se exige, para lo cual nos

posicionamos en el modelo de una investigación aplicada. Sigue un proceso que comprende en

nuestra propuesta dos cuestiones principales: alcances de la Evaluación y Resultados del

Programa/Proyecto.

Ambas fases se desarrollan a continuación procurando ofrecer desde las variables que las

caracterizan, un conjunto de indicadores (básicamente cualitativos) que nos orienten hacia una mayor

precisión.

III.1. Alcances de la Evaluación

Surge de la necesidad de responder principalmente las siguientes preguntas: ¿están bien definidos los

objetivos y efectos deseados?; ¿se puede prever la organización de un sistema de indicadores para

medir consecución de los objetivos? ¿qué mecanismos existen para lograr dichos objetivos?

Responder a estos interrogantes, entre otros, nos deriva al siguiente esquema en donde se aprecia

que la Evaluación de la Evaluabilidad debe entendérsela en dos submomentos: la formulación de la

propuesta y el funcionamiento del programa.

Esquema N° 5: Una Evaluación de la Evaluabilidad

Objeto 1.

Objetivos

del

programa

2. Activida-

des progra-

madas

3.

Discre-

pancias

lógicas

4. Campo 5. Discre-

pancias

empíricas

6. Opciones de

evaluación/ges

tión

TAREAS -Revisión

de

documento

s

-

Entrevistas

-

Descripción

de

relaciones

entre

inputs,

-Examen

de

supues -

tos no

válidos,

relacione

-

Exploració

n y

descripción

de

activida-

-Compara-

ción de

actividade

s reales

con las

progra-

-Examen de

las

discrepancias

de "3" y "5" e

iden-tificación

de cau-sas,

9

a personas

clave

-

Entrevistas

a partes

interesadas

actividades

y outputs,

explicitand

o las

relaciones

causales

s

causales

no

lógicas,

etc.

des que

realmente

ocurren

-Identifica-

ción de in-

dicadores

disponibles

de

resultados

esperados

madas discrepancias y

proponer solu-

ciones

-Revisar

opciones

iniciales

PRODUCTO

S

-Informe

de

objetivos

del

programa y

grado de

consenso

-Informe

de

necesidade

s de

informa-

ción de

per-sonas

clave

-

Descripción

narrativa

del

programa

-Modelos

lógicos de

inputs/outp

uts

-Modelos

de

funcionami

ento

-Informe

sobre los

aspectos

del pro-

grama

que

parezcan

implausi-

bles

-Informe

sobre

observa-

ciones de

campo

-Informe

sobre

indicadore

s

-Informe

sobre

discre-

pancias

sig-

nificativas

-Sugerencias

de opciones

factibles para

gestiones

Fuente: Francisco Alvira Martín (op.cit.)

A) Acerca de la Evaluación del Proyecto que se presenta:

Se trata de analizar lo que comúnmente es conocido como el "Proyecto" el cual sigue una secuencia

formal, que define las diferentes instancias que deben ser luego implementadas y evaluadas

consecuentemente. El Proyecto, incluso, debe ser considerado como una parte del proceso que tiene

un destinatario: la institución (gubernamental, no gubernamental), la cual permitirá, según sea la

evaluación, su ejecución posterior y responsable de la inversión.

La evaluación que en este sentido se realiza tiene que ver con:

A.1. La elaboración de un Marco Teórico que señale:

- Identificación de los responsables

- Antecedentes y justificación

- Definición del problema sujeto de la intervención

10

- La elaboración de los propósitos, entendidos en

FINES

OBJETIVOS

METAS

- claridad conceptual

- congruencia con la necesidad de

intervención

- factibilidad

- aceptabilidad

- cuantificación: determinación en

cifras de los fines y objetivos

A.2. La elaboración de un Marco Procedimental:

ACTIVIDADES Y

ASIGNACIÓN DE RECURSOS

- Detalle de los pasos y medios

y/o instrumentos para su

alcance

- Logros esperados

A.3. La elaboración de las Previsiones Presupuestarias, especificadas en el detalle de:

Partidas

asignadas según

su

PRIORIDAD

NECESIDAD

ALCANCE

para medir COSTO-

BENEFICIO

A.4. La determinación de los Instrumentos de Control y Seguimiento:

. calendarización y

. formas de coordinación y supervisión

B. El funcionamiento empírico del programa

Esta instancia se la considera superadora en tanto haber traspasado el nivel teórico (los supuestos

comprendidos en la formulación de la propuesta) para insertarse en el campo fáctico a fin de “medir”

desde la práctica cotidiana la relación entre el modelo retórico y su funcionamiento del modelo

evaluable. Concretamente se debe contrastar: Especificación de los objetivos y nivel de medición, es

decir el grado de satisfacción a la necesidad planteada, en función de indicadores standard.

Las políticas sociales se aplican dentro de marcos institucionales en los que no se encuentra resuelto

todavía la idea de un proceso planificador a través del cual, la instrumentación y evaluación de

aquellas se plantee desde una perspectiva integral y medible.

Desde esta afirmación, a los programas y proyectos sociales hay que examinarlos en el marco de su

aplicación. En este caso, ¿cuál es el que le otorga viabilidad y se constituye como el más deseable?

¿Cuál es el ámbito de gestión en el que el proyecto se diseña, y cuál es el de operacionalización?

11

En la Argentina, por ejemplo, las Políticas Sociales se generan en el nivel central y pueden incluir en

ocasiones iniciativas de los gobiernos provinciales, pero no se condice el nivel en el cual se “decide” su

implementación con el orden local (unidad de ejecución), el cual no tiene desarrollo propio y se

encuentra condicionado por las partidas presupuestarias.

Esta situación se encuentra determinada en principio por dos razones:

- la posición relativa del nivel local dentro del conjunto de la administración pública;

- el carácter universal que siguen detentando las políticas que configura un modelo de gestión,

reforzado en la lógica de la visión centralizada.

Por lo tanto, en un proceso de evaluación, estos aspectos deben contemplarse, porque un análisis del

marco institucional y de la gestión donde se substancia la política a través de los programas y

proyectos, resulta determinante en el cumplimiento de los objetivos. Concretamente, uno de los

aspectos que menos se tiene en cuenta en el estudio y evaluación de proyectos es el que se refiere a

los factores propios de la actividad ejecutiva de su administración: organización, procedimientos

administrativos y legales (Sapag Chain, op.cit.).

B.1. El funcionamiento de los objetivos

B.1.1. De los objetivos generales:

Una parte esencial en la verificación del alcance de los objetivos y metas que se han propuesto en la

fase técnico-organizacional.

Se reclama (Ignacio Pons, 1993, pág.17) que aquellos hayan alcanzado la delimitación de todos y

cada uno de los pasos del programa: contenidos; metodología; técnicas; análisis de los resultados y la

propia evaluación.

Por lo tanto en un sistema de clasificación de indicadores los objetivos a evaluar se resumen en:

VARIABLE DIMENSIONES INDICADORES (definiciones de medición)

OBJETIVOS

GENERALES

CONGRUENCIA

FACTIBILIDAD

COMPATIBILIDAD

PARTICIPACIÓN

LEGALY LOGÍSTICA

Nivel de cumplimiento entre problema, su jerarquía

y lo que se espera

Nivel de aceptación (destinatarios y responsables)

Grado de relación costo-beneficio

Nivel de armonización funcional y temporal

Implicación de las personas (beneficiarios) con el

programa

Grado de alcance según recursos

Nivel de ajuste a la capacidad, habilidad y actitud

del personal

Nivel de correspondencia con la legislación y

normativas institucionales

12

CUANTIFICACIÓN Medida específica de valoración

La obtención de metas

B.1.2. De los objetivos específicos:

Derivados de los generales, deben evaluarse los mismos requisitos funcionales agregándose la

sincronización de los niveles de concreción temporal, temático y estratégico.

Variable Dimensiones Indicadores

Objetivos

específicos

Organizacional

Territorial

Temporal

Poblacional

Valorativo

Cumplimiento de las responsabilidades

Zona geográfica de aplicación

Etapas o pasos de aplicación

Grupos o localidades receptoras

Asignación de prioridades

B.2. Sobre la metodología que se instrumenta

Descripción de la misma y acceso y formas de utilización, midiendo su fiabilidad y los procedimientos

instrumentados.

Variable Dimensión Indicadores

Pautas

Metodológicas

Pautas de selección de

beneficiarios

Grado de consistencia entre objeto de intervención

y destinatarios con los beneficiarios reales

Criterios de prioridad en

la definición del objeto

Grado de correspondencia entre las prioridades

demandadas y la decisión político-institucional

Marco jurídico instituc. Elementos logísticos

Actividades, relación

entre las mismas, niveles

de causalidad y

asociación. Relación de

dependencia temporal.

Verificación de responsabilidades por actividad

Coordinación intra e interinstitucional

Tiempo de desarrollo de cada actividad

Relación entre tiempo previsto y margen de

deslizamiento

Modelo de intervención Estrategias utilizadas: participativas, no

participativas, otras

Rol del usuario político; del decididor; del técnico;

del administrador

Calendarización Criterios de seguimiento adoptados en las

diferentes fases. Plazos de entregas finales;

parciales; etc.

B.3. La Institución responsable y su gestión

13

Sobre la base del modelo de política instrumentada, ¿cuál es el marco disponible para aplicar Políticas

Sociales, a través de programas y proyectos?


Ámbito

Institucional

Estrategias y Tácticas

institucionales

Carácter de la cobertura

Capacidad de Autonomía y Autarquía

Práctica de ejecución

Límites de diferenciación territorial y social

Vinculación con otras organizaciones

Racionalidad del Gasto

Sustentabilidad del Programa y uso de recursos:

fiscales, privados, monitoreo. Percepción del

impacto de otras políticas

Sistema Informático Registro de Datos

Análisis de situación

Determinación de tendencia

B.4. Los Recursos. La relación costo-beneficio.

“La realización de un proyecto tiene siempre un impacto sobre la economía del país y del área en que

se localiza...” (Ilpes, 1991).

La determinación de los costos se encuentra asociada a la toma de decisiones que condicionan la

preparación. Como es sabido existen distintas conceptualizaciones y clasificaciones de costos que

intervienen en aquellas.

Es una aproximación relativa al conjunto de indicadores que definen la relación costo-beneficio, en

función de los cambios económicos y sociales que se plantean entre las metas y el significado que el

proyecto tiene para las partes involucradas.

La sistematización de la información financiera requiere la identificación de:

a) Las inversiones del proyecto, que pueden clasificarse en terrenos, obras físicas, equipamiento,

capital de trabajo, insumos, personal, otros.

b) Los ingresos se desprenden de los precios y demanda proyectada, que se calculan en el estudio

de factibilidad según el tipo de proyecto y de los estudios técnico y organizacional.

Los costos de operación se calculan teniendo como referencia los estudios anteriores y sobre el

impuesto a la ganancia (estructura del gasto público: el % de aplicación según funciones de las

Políticas Sociales; precios de los servicios sociales, considerados como pagos de transferencia; costo

de oportunidad).

14

La evaluación se realiza sobre la estimación del flujo de costos y los beneficios.

¿Qué es lo que interesa discernir en los Programas Sociales? Del largo debate que se lleva haciendo

acerca de la evaluación social se aprecia que de las definiciones alcanzadas, existe un eje vinculante.

“La evaluación social mide el impacto que el proyecto tiene sobre el bienestar de la comunidad...

Utiliza las herramientas del análisis económico para comparar costos y beneficios expresados en

términos monetarios, y permite racionalizar la toma de decisiones en materia de inversión pública...”

(Cohen y Franco, 1991).

De allí que suceda en el sector público la evaluación de un proyecto sea positiva, mientras que para el

sector privado, la misma sea negativa en tanto pérdida de ganancias que se pretenda alcanzar.

No obstante son considerados un conjunto de tópicos, inevitables de ser citados que contribuyen a la

evaluación del proyecto en tanto relación costo-beneficio, para cuya elaboración se ha tenido en

cuenta la tradicional guía de Evaluación de Proyectos, mediante el análisis de costos y beneficios

sociales (NNUU, 1978).

¿Qué es lo que el evaluador debe observar en la evaluación de los Proyectos, según los recursos y la

asignación presupuestaria, que se demanda?

Una aproximación sobre el tema, la ofrecen los siguientes ejes que no serán detallados:

Cálculo de rentabilidad

Beneficio neto

Repercusión sobre ahorro e inversión

Repercusión en la distribución del Ingreso

Relación valores sociales y económicos

Fuente: "Guía para la Evaluación Práctica de Proyectos. El análisis de costos-beneficios". NNUU.

1978. Cap. I.

Desplegadas las variables anteriores en un conjunto de indicadores sobresale:

Rentabilidad del

Proyecto

Valor neto: ingresos netos y capital invertido

Tasa interna de retorno: tasa de actualización entre ingresos y costos

según

Corrientes temporales

Sensibilidad del Proyecto: advertir sobre las variaciones de los resultados

esperados, frente a modificaciones de los

elementos que lo componen

En base a Ilpes, "Guía de Presentación de Proyectos" (op.cit.)

Beneficios del

Proyecto (x)

Valor de desecho: medido en términos contables; valor de los activos; valor

Económico

Políticas de Precios

15

Análisis de Rentabilidad

En base a Sapag Chain, N. Y R. (op.cit.)

(x) Definidos como algo más que el simple ingreso por venta del producto o servicio que elaborará la

empresa. En la Evaluación "Social", los tópicos de carácter económico no tendría lugar en tanto se

alcance a resolver el problema por el cual se lleva a cabo dicho programa y/o proyecto.

Repercusión

sobre ahorro

Porcentaje con que el valor social de inversión supera al valor de consumo

En base a Ilpes, "Guía de Presentación de Proyectos" (op.cit.)

Distribución de

Beneficios

Cálculo de repercusión neta en grupos y/o lugar

Determinación factores de ponderación (procedimiento del valor crítico

entre "inversión" y "consumo")

Repercusión sobre Ingreso Regional

Repercusión sobre Ingreso público o privado

En base a "Guía para la Evaluación Práctica de Proyectos. El análisis de costos-beneficios". NNUU.

(Op.Cit.).

Relación Valores

Sociales y

Económicos

Valor de Eficiencia: consecuencias económicas en relación a factores

Políticos y decisionales

Valor Social del ingreso: los beneficios o externalidades tangibles e

intangibles (ver acápite siguiente)

En base a "Guía para la Evaluación Práctica de Proyectos. El análisis de costos-beneficios". NNUU.

(Ídem).

III.2. La Evaluación de los Resultados

Es el momento de la gestión en el cual se evalúa la transformación de lo que el nivel retórico se

propuso con los efectos concretos que la realidad empírica demuestra.

Posicionados en la analogía que el proceso de planificación sigue los pasos del proceso de

investigación, se han planteado hasta aquí los diversos momentos lógicos que aquél reclama para

averiguar en esta etapa ¿qué sucede en la realidad?

Es la decisión de la evaluación convertida en acción. Cabe hacer notar que las hipótesis, enmarcadas

en los objetivos, examinados a través de una formulación que los ubique en un adecuado contexto,

permiten interrogar aspectos de la realidad que parecen fundamentales.

Por lo expuesto, la evaluación de los resultados debe ser aplicada en el continuum de la ejecución, por

las múltiples decisiones que significan los ajustes a una realidad que cambia permanentemente.

Esta etapa analizada por sí misma, exige de la observación de las relaciones entre los componentes

del proceso. El resultado es mostrar las relaciones alcanzadas en los enunciados (expuestos en los

16

objetivos) con los logros específicos y de ambos a su vez en la unidad destinataria. El resultado

permite revisar la validez interna del diseño y la ejecución, a través de las variables implicadas en el

programa, en resultado, las traducidas en el momento de la intervención y las que pueden actuar

desde una posición exógena o externa.

Del conjunto de variables citadas y su relación con el ámbito de aplicación, los indicadores

emergentes se derivan en los acápites siguientes.

III.2.1. La realidad, objeto de Intervención

Implica identificar concretamente el grupo receptor de la Política, su localización y tamaño.

Deberá demostrar la congruencia entre el diagnóstico, realizado al comienzo del proceso, razón de la

formulación y ejecución y percibir en el resultado los siguientes parámetros de medición:

El problema objeto (de investigación e intervención): Es la categoría que involucra los hechos sociales

y sus formas de medición. Asimismo se deriva de los enunciado de solución y el carácter que se

espera de la misma: en tanto parcialidad o totalidad. Determina el modelo de programación y el

sistema de valoraciones respecto de las prioridades que se asignarán a la solución prevista y

alcanzada.

Los indicadores plausibles de demostración y factibles de ser sugeridos:

Realidad

Carencias manifiestas

Precariedad social

Situaciones personales

Índice de Bienestar-Malestar

III.2.2. Rol del Beneficiario

Definido el problema, la posición de los involucrados -usuarios del proyecto- no siempre es

suficientemente resuelto. En principio el destinatario no siempre es el que revela una necesidad, la

cual se expresa como una demanda social. Ligado a la redefinición del concepto de riesgo, los

involucrados con el mismo, no encuentran canales para orientar aquellas. Por lo tanto son categorías

orientadoras:


Rol del Beneficiario Inclusión Autoidentificación del beneficiario

Inserción de la comunidad

Actitud frente a los resultados

Percepción de la

Satisfacción

Inclusión en el contexto

Grado de valoración del problema

17

III.2.3. Sobre las Externalidades e impactos del Proyecto

La evaluación de los resultados y en particular los efectos/impactos se constituyen en las acciones

finales que surgen del trazado de la política. En palabras de Steven Kelman (1992) es la evaluación de

la política en el “mundo real”, es el resultado del compromiso, de quien diseña e instrumenta la

intervención, en la gente. Siguiendo esta concepción, el proceso del trazado de la política se evalúa

según dos patrones: “la capacidad de producir buenas políticas y los efectos menos tangibles”.

La evaluación del proyecto sobre la base de sus externalidades, se configura como la más importante

en esta fase del proceso, y a la par la más débil en la determinación de la delimitación de indicadores

que permitan su medición.

El éxito se encuentra en la convergencia interparadigmática, (cuanti-cualitativa), desde el punto de

vista del procedimiento metodológico, que orientará la medición buscando las valoraciones de las

siguientes dimensiones:


Externalidades Eficacia Beneficio alcanzado de la población

destinataria

Efecto multiplicador

Redistribución del costo localizado

Distribución Capacidad de integración o inclusión

Grado de cobertura

Relación del gasto y acciones de integración

Transferencia alcanzada

Replicación Capacidad de multiplicación del ingreso

Beneficios redistributivos netos

Particularizando en el impacto y conforme con lo indicado por el BID (1997), “efectos e impactos del

proyecto tienen que ver tanto con las consecuencias planificadas como con las imprevistas del mismo.

Particularizando en el impacto, se relaciona con las consecuencias planificadas y/o imprevistas a nivel

de los fines que se persiguen”.

Para tal fin se ordenan las dimensiones escogidas que, siguiendo la bibliografía consultada, se

sintetizan:

18


Impacto Impacto Económico Repercusión en el mercado y costo de vida

Capacidad de disponer y movilizar recursos

financieros

Generación de desarrollo tecnológico

Generación de una gestión rentable

Impacto Social Carácter de las Relaciones Humanas

Integración de las políticas; la gestión y la

satisfacción de la demanda:

Rol del sujeto social en el grupo y la comunidad

Impacto Político Alcance de Legitimidad de la fuerza política

Recomposición de Roles en el contexto político

institucional

Impacto Ambiental Relación con el hábitat

IV. La calidad, eje de análisis y control

El concepto de calidad, en opinión de Ignacio Pons (1993) “es muldimensional y relativo. Su definición

no se caracteriza desde la ciencia o la técnica sino que se determina también mediante opciones

centradas en valores sociales”.

Para evaluar la calidad de un programa surgen los siguientes sistemas de indicadores:


Calidad Valoración científico-

técnica

Competencia de profesionales

Aceptabilidad personal

Adecuación cuantitativa a los objetivos y

características y condiciones del programa

Valoración de

satisfacción

Aptitud y actitud frente a los resultados

Organización, asignación y redistribución de

funciones

Articulación de funciones con los decididores y

técnicos

Funcionamiento de estructuras físicas

Alcance de recursos

Sistema de incentivos relacionados con la calidad del

resultado

19

Cuando se habla de la Calidad de un programa/proyecto se mide su eficiencia en términos de

objetivos-actividades-resultados.

La instrumentación de las Políticas Sociales puede verse afectada por la eficiencia con que se utilizan

los recursos, o la organización del sistema político administrativo que lo ejecute o el grado de

relevancia que adquiere la aplicación de técnicas de gestión más innovadoras.

Es aceptada así la afirmación que el “rol de las organizaciones del sector público, los proveedores de

servicios sociales y los usuarios conducen a significativas diferencias en la calidad, cantidad y eficacia

de los servicios sociales” (BID; 1996).

La Evaluación de Resultados adoptada en esta propuesta, sin perder de vista los otros tipos

evaluativos, se constituye en una opción probable de éxito, por cuanto se mide el efecto-impacto y la

calidad de los mismos, cuando el producto ya está alcanzado. De todas formas es la combinación de

enfoques y las técnicas de medición, que propicia la articulación interparadigmática o la triangulación

metodológica la que ayudará a tener la amplitud de la medición con resultados diversos, para permitir

conclusiones más seguras y especialmente menos rígidas.

V. EL INFORME DE LA EVALUACIÓN

El punto de partida para iniciar una evaluación y desarrollar con ella un planteo de correcciones y

ajustes y resultados alcanzados, es la presentación formal a través de un documento escrito. Como

toda investigación que se precie de tal, su propósito formal es alcanzar conocimiento, y este hacerlo

explícito, exponerlo y transferirlo.

Por tal razón se estima importante agregar un punto final que presente los elementos básicos que

deben contemplarse en un Informe de Evaluación, los que se presentan simplificadamente en el

esquema continuo:

• Nombre del Programa/Proyecto que se evalúa

• Institución de aplicación del Programa/Proyecto

• Institución y/o grupo que elabora la evaluación

• Propósito de la evaluación y/o estudio

• Límites de la evaluación: marcos teóricos y empíricos

• Definición de los términos

• Supuestos y expectativas del tema

• Importancia de la evaluación (justificación)

• Aportación al campo del conocimiento y/o sector del que

depende el Programa/Proyecto

• Diseño metodológico implementado

• Calendarización y presupuesto aplicado

• Anexos: Bibliografía; Estadísticas; otros

• Índice

20

VI. RESUMEN GENERAL DE LA PROPUESTA

El esquema que se presenta contiene los aspectos tratados precedentemente que a modo de síntesis

y conclusión general se reseña.

U. de

aná-

lisis

Objeto de

eva-

luación

Variables Dimensiones Indicadores

Eva-

lua-

ción

de la

Eva-

luabi-

lidad

Diseño Identificación

Antecedentes

y Justificación

Problema

Objetivos y

Metas

Actividades y

Recursos

Presupuesto

Instrumentos

de control y

seguimiento

Funciona

miento

empírico

del

Programa

/Proyecto

Objetivos

Generales

Congruencia

Factibilidad

Compatibilidad

Participación

Nivel de cumplimiento entre

problema, su jerarquía y lo que

se espera

Nivel de aceptación

(destinatarios y responsables)

Grado de relación costo-

beneficio

Nivel de armonización funcional

y temporal

Implicación de las personas

(beneficiarios) con el programa

21

Legal y Logística

Cuantificación

Grado de alcance según

recursos

Nivel de ajuste a la capacidad,

habilidad y actitud del personal

Nivel de correspondencia con la

legislación y normativas

institucionales

Medida específica de valoración

La obtención de metas

Objetivos

Específicos

Organizacional

Territorial

Temporal

Poblacional

Valorativo

Cumplimiento de las

responsabilidades

Zona geográfica de aplicación

Etapas o pasos de aplicación

Grupos o localidades receptoras

Asignación de prioridades

Pautas

Metodológicas

Pautas de Selección

de destinatarios y

beneficiarios

Criterios de prioridad

en la definición del

objeto

Marco Jurídico Instit.

Actividades, relación

entre las mismas, ni-

veles de causalidad y

asociación. Relación

de dependencia tem-

poral

Grado de consistencia entre

objeto de intervención y

destinatarios con los

beneficiarios reales

Grado de correspondencia entre

las prioridades demandadas y la

decisión político-institucional

Elementos logísticos

Verificación de responsabilida-

des por actividad

Coordinación intra e interinsti-

tucional

Tiempo de desarrollo de cada

actividad

Relación entre tiempo previsto y

margen de deslizamiento

22

Modelo de

intervención

Calendarización

Estrategias utilizadas: participa-

tivas; no participativas; otras

Rol del usuario político; del

decididor; del técnico; del

administrador

Criterios de seguimiento

adoptado en las diferentes

fases. Plazos de entregas

finales; parciales; etc.

Ámbito

Institucional

Estrategias y Tácticas

institucionales

Carácter de la cobertura

Capacidad de Autonomía y

Autarquía

Práctica de ejecución

Límites de diferenciación

territorial y social

Vinculación con otras

organizaciones

Racionalidad del Gasto

Sustentabilidad del Programa y

uso de recursos: fiscales,

privados, monitoreo. Percepción

del impacto de otras políticas

Sistema Informático Registro de Datos

Análisis de situación

Determinación de tendencia

Recursos Rentabilidad del

proyecto

Beneficios

Distribución

Relación valores

Valor neto

Tasa interna de retorno

Sensibilidad del proyecto

Valor de desecho

Políticas de precios

Cálculo de repercusión neta

Factores ponderados

Ingreso regional

Ingreso público

Valor de eficiencia

23

sociales y

económicos

Valor social de ingreso

Eva-

lua-

ción

de los

resul-

tados

La

realidad

Carencias

manifiestas

Precariedad

social

Situaciones

personales

Índice de

bienestar-

malestar

Beneficia-

rio

Inclusión Autoidentificación

Inserción de la

comunidad

Actitud

Percepción de

la satisfacción

Inclusión en el

contexto

Grado de valoración

del problema

Externa-

lidades

Eficacia Beneficio

Efecto multiplicador

Redistribución del

costo local

Distribución Integración e

inclusión

Grado de cobertura

Relación del gasto y

acciones de

integración

Transferencia

alcanzada

Replicación Capacidad de

multiplicación del

ingreso

Beneficios

redistributivos netos

Impacto Económico Repercusión en el

mercado y costo de

vida

24

Social

Político

Ambiental

Capacidad de

disposición y

movilización de

recursos financieros

Generación de

desarrollo

tecnológico

Generación de

gestión rentable

Carácter de las

relaciones humanas

Integración de las

políticas, la gestión y

la satisfacción

Alcance de la

legitimidad del

decididor

Recomposición de

roles (político-

institucional)

Hábitat

Calidad Científico-

técnico

Valoración de

la satisfacción

Profesionales

Personal

Adecuación

cuantitativa de

objetivos,

características y

condiciones

Actitud y aptitud

frente a los

resultados

Organización,

asignación y

redistribución de

funciones

Articulación entre

25

decididores y

técnicos

Alcance de recursos

Sistema de incentivos

BIBLIOGRAFÍA

Aguilar Villanueva, Luis. "Problemas Públicos y Agenda de Gobierno". Estudio Introductorio. Edit.

Porrúa. México. 1991.

Alvira Martín, Francisco. "Metodología de la Evaluación de Programas". Centro de Investigaciones

Sociológicas (CIS). Cuadernos Metodológicos. 2. Madrid. 1991.

BID. "Progreso Económico y Social en América Latina". Informe 1996.

BID. "Evaluación: Una herramienta de gestión para mejorar el desempeño de los Proyectos". 1997.

Cohen, E. Y Franco, R. "La Evaluación de Proyectos". Ilpes-ONU. CIDES. Grupo Editor

Latinoamericano. Bs.As. 1988.

ILPES. "Guía para la presentación de Proyectos". Siglo XXI. México. 1995 (22da. Edición)

Kelman, Steven. "La Política Pública en el Estado moderno". Gela. Bs.As. 1992.

Mendicoa, Gloria. "La Planificación de las Políticas Sociales. Estudio de un caso para su análisis y

evaluación". Espacio Edit. Bs.As. 1997.

Mendicoa, Gloria. "Indicadores Sociales. Bases para la Instrumentación de Políticas". Espacio Edit.

Bs.As. 1998.

Naciones Unidas. "Pautas para la Evaluación de Proyectos". N.Y. 1972.

Pichardo Muñiz, Arlette. "Evaluación del Impacto Social". Humanitas. Universidad Nacional de Costa

Rica. Bs.As. 1993.

Pons, Ignacio. "Programación de la Investigación Social". CIS. Cuadernos Metodológicos. 8. Madrid.

1993.

26

Sapag Chain, Nair y Sapag Chain, Reinaldo. "Preparación y Evaluación de Proyectos". Mc Graw Hill.

Colombia. 1998. 3ra. Edición.

EL INDICADOR SOCIAL

‘Es la medida estadística de un concepto o de una dimensión de un concepto, o de una

parte de aquella, basado en un análisis teórico previo e integrado en un sistema

coherente de medidas semejantes, que sirva para describir el estado de la sociedad y la

eficacia de las políticas sociales”

(Fuente: “Proyecto Doris” (Dossiers Régionaux et indicateurs sociaux; Gobierno de

Quebec).

“El indicador es el resultado de un proceso. Se llega al mismo a través de un recorrido que

implica al investigador ahondar en los conceptos teóricos, definiéndolos, produciendo así

su transformación en conceptos específicos a fin de comprender y explicar la realidad”

( Lazarsfeld)

TIPOLOGIA DE EVALUACIONES

. Evaluación de necesidades

. Evaluación de diseños/ conceptualización del programa

. Evaluación de la evaluabilidad

. Evaluación de la implementación

27

. Evaluación de la cobertura

. Monitorización y seguimiento del programa

. Evaluación del impacto

. Evaluación de los resultados

. Evaluación económica

CRITERIOS DE REFERENCIA EN EL ANALISIS

. LA MULTIDIMENSIONALIDAD E INTERCONEXION DE PROBLEMAS. Es vista como una

hipótesis en la que el problema, sujeto de de una acción social, no puede “aislar” un elemento

específico sobre el que operar.

. LA INTERVENCION Y LAS FASES QUE LA COMPONEN. La estrategia deberá ser evaluada

como un sistema que integre las distintas fases en las dimensiones socioeconómicas, los protagonistas

y los espacios. Se dirige hacia las estructura como una pluralidad, que mide el conjunto de recursos,

las lógicas y los espacios de intervención y las diferentes organizaciones que participan.

. LAS EXTERNALIDADES O EFECTOS QUE LA INTERVENCION PROVOCAN. La contrastación

empírica de los supuestos contenidos en el diseño de la Política. Implica haber traspasado la

“evaluación de la evaluabilidad” y justificar la “evaluación de los resultados”.

28

. LA CALIDAD DE LOS LOGROS. Se avanza en una posición netamente subjetiva respecto de la

demanda-satisfacción, que supera el resultado de la meta alcanzada para orientarse al carácter de la

satisfacción.

criterios de evaluaciÓn de programas -...

Documents