Indicadores de Impacto de Políticas Públicas de apoyo

a la PYME

Indicadores de Impacto de Políticas Públicas de apoyo

a la PYMEOctubre 2006Montevideo - Uruguay

Índice

1. FUNDES

2. ¿Qué entendemos por evaluación?

3. Un modelo de evaluación

4. Reflexiones finales

1. FUNDES

2. ¿Qué entendemos por evaluación?

3. Un modelo de evaluación

4. Reflexiones finales

Misión

PyME

FUNDES promueve e impulsa el desarrollo competitivo de la

PyME en América Latina

FUNDES: Cuatro niveles de acción

Perspectiva Sistémica

NivelMeta

Nivel Macro

Nivel Meso

Nivel Micro• Capacitación• Asistencia técnica y

facilitación del acceso al financiamiento

• Asociatividad• DEL y encadenamientos

productivos

• Fomento del espíritu emprendedor.

• Promoción de alianzas, implementación de programas de vinculación a nivel regional y sectorial.

• Identificación de obstáculos, investigación,desarrollo e implementación de propuestas, cabildeo.

FUNDES en América Latina

FUNDES

10 países

Más de 250 empleados

Alrededor de 400 consultores / facilitadores

México

El Salvador

Panamá

ColombiaCosta Rica

Bolivia

Chile

Guatemala

Venezuela

Argentina

Nuestros Antecedentes en Evaluación

• En 1995 se hizo la evaluación de nuestro programa de garantías

• En el 2000 se efectuó una evaluación de impacto de nuestros programas de formación

• En el 2001 se llevó a cabo un proyecto con el BID para desarrollar una guía para evaluar políticas de fomento que culminó en el documento: • “Guía de Valoración de Políticas de Fomento”

• En el 2002 se efectuaron evaluaciones de algunos de nuestros programas en la productividad

• En el 2005 se solicitó a CEPAL una evaluación del aporte de nuestros programas en el desarrollo de la pyme

1. FUNDES

2. ¿Qué entendemos por evaluación?

3. Un modelo de evaluación

4. Reflexiones finales

Algunas preguntas motivadoras

• Que entendemos por evaluación de impacto

• Como la diferenciamos de una evaluación de resultados, el monitoreo, etc.

• ¿Que necesitamos para desarrollar un sistema de evaluación que funcione?

La necesidad de entender la evaluación

• Generalmente hablamos de “tener impacto”

• Ejemplo: la empresa aumentó sus ventas, redujo sus costos, aumento su empleo, etc.

• Pero, ¿respecto a que?• La misma empresa en el pasado • Otra empresa como ella

• Esas dos respuestas son diferentes

• El asunto es que al evaluar hablamos de “comparar”• Sea a la misma empresa respecto a su situación anterior, es

decir, antes de una intervención• Con otra empresa como ella (comparable) que no haya

recibido tal intervención

• El primer caso refiere a un “resultado”• El segundo caso se refiere al “impacto”

Señalando resultados

• Las instituciones que participan en el fomento con frecuencia muestran resultados de este tipo:

• Invertimos Z miles de dólares en programas de fomento

• Con esos Z miles de dólares atendimos a N miles de empresas

• Las empresas atendidas son ahora mas competitivas • Antes vendían 100, ahora venden 120• Antes solo el 10% exportaba, ahora lo hace el 20%• Los salarios aumentaron en un 5%

• Hasta este punto, aún no sabemos si los programas de fomento tienen algo que ver con los resultados

• Tenemos que poder asociar los resultados con los objetivos del programa

¿Como se expresa la evaluacievaluacióón de impacton de impacto?

TiempoGrupos

Antes Después

Con intervención X X´

Sin intervención Y Y´

• El impacto Z de la intervención puede expresarse como:

• Z= (X’-X) – (Y’-Y)

• Z>0 es lo esperado si la intervención es exitosa• X’- X representa los cambios producidos en el grupo intervenido como consecuencia

de la misma• Y´- Y representa los cambios producidos en el grupo sin intervención, como resultado

de la incidencia de las variables del entorno. • X’-Y’ son las diferencias finales entre el grupo intervenido y el sin intervención. Sin

diferencias iniciales, las diferencias finales serían igual al impacto.• X-Y son las diferencias iniciales entre el grupo con Proyecto y sin Proyecto que deben

ser minimizadas.• La diferencia (X’-X) – (Y’-Y) elimina toda incidencia del entorno quedando sólo la

diferencia imputable a la intervención.

La necesidad de Información

• Cualquiera que sea el concepto usado, es claro que se requiere de INFORMACIÓN:

• De la empresa X que es sujeta de intervención• Antes de la intervención• Después de la intervención

• De la empresa Y que no es sujeta de intervención• Antes de la intervención en X• Después de la intervención en X

• Por lo tanto, cualquier tipo de evaluación requiere de información ex – ante y ex – post

• Lo anterior supone la existencia de un sistema de información

1. FUNDES

2. ¿Qué entendemos por evaluación?

3. Un modelo de evaluación

4. Reflexiones finales

Lo primero, crear cultura

• Los cambios de gobierno implican “recrear” muchas instituciones

• La inestabilidad de los equipos es un obstáculo a la creación de una cultura organizacional

• Son pocas las instituciones concientes de la necesidad de evaluarse permanentemente • Muchos programas e intervenciones se hacen “sin información”

• Tener información confiable y oportuna nos permite: • Monitorear procesos • Señalar resultados• Evaluar impacto

• La evaluación sirve para mejorar y focalizarnos

• Tomar decisiones • Sobre productos• Sobre procesos

• Necesidad de sensibilizar a los equipos sobre el verdadero significado de la evaluación

Un sistema de información

• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:

• Al inicio, antes de que la empresa sea sujeta de una “intervención”

• Durante o al fin de la intervención

• Luego de la implementación de las acciones recomendadas en la intervención

Requerimientos de información,al inicio

• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:

• Al inicio, antes de que la empresa sea sujeta de una “intervención”

• ¿Como saber si la empresa mejoró o no si no sabemos como entró al programa?

• Información útil para identificar empresas “comparables” que no hayan sido sujetas a una intervención

Un ejemplo de información de entrada

I.- Datos Identificación:• Nombre empresa• Nombre empresario o representante / género • Datos de contacto (dirección completa, teléfono, fax, email, Web)• Sector CIIU• Clasificación de empresa por tamaño

II.- Datos de la empresa:• Número de jefaturas total en la empresa • Estructura de la propiedad (familiar o no)• Ventas en monto • Empleo promedio • Salarios totales • Distribución de las ventas:

• Gran • Pyme • Micro • Consumidor final • Gobierno • Extranjero

III.- Otros datos relevantes• Año de fundación de la empresa• Años de experiencia laboral del dueño• Años de experiencia empresarial del dueño• Años de escolaridad formal del dueño

Requerimientos de información,durante o al fin

• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:

• Durante o al fin de la intervención

• Establece una primera percepción respecto del éxito de la intervención

• Encuesta de satisfacción

• Se observan cambios cualitativos que son antesala del impacto • Mejoras en las relaciones laborales• Cambios en la gestión• Incorporación de nuevas estrategias• Definió roles y responsabilidades específicas• Incorpora nuevas partes al proceso productivo

Requerimientos de información, luego de la implementación

• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:

• Luego de la implementación de las acciones recomendadas en la intervención

• Se establece al impacto en función del objetivo de la herramienta sobre las variables definidas:

• Costos• Ventas• Salarios• Etc.

Los tipos de resultados o “impactos”

• Cambios cualitativos al interior de la empresa:• Cambios en la forma de organización• Cambios en las relaciones:

• Con colaboradores• Con clientes • Con proveedores

• Cambios en el proceso productivo• Cambios en la gestión de la empresa

• Resultados económicos de las empresas (respecto de empresas no intervenidas “comparables”)• Mejoras en productividad • Reducción de costos • Empleo • Salarios • Internacionalización

• Resultados agregados• A nivel de la eficacia del instrumento de política • Crecimiento de la productividad • Participación del sector en la actividad económica

Los componentes del sistema

Percepción Resultados Impacto

Los componentes del sistema

Percepción Resultados Impacto

Recoge la percepción del cliente, sea durante la intervención o inmediatamente terminada la misma.

Los componentes del sistema

Percepción Resultados Impacto

Recoge resultados asociados al cambio en la empresa respecto de su desempeño previo / obtiene información asociada al cumplimiento de la promesa u objetivo principal de las herramientas utilizadas.

Los componentes del sistema

Percepción Resultados Impacto

Medición de los cambios concretos en la empresa sobre la base de un conjunto de indicadores definidos, respecto de otras que no pasaron por la intervención.

Elementos a considerar

• EL modelo se puede quedar en cualquiera de las tres etapas

• Calidad y consistencia de la información disponible: de un buen levantamiento al inicio depende la certeza del resultado final

• La metodología depende del tipo de intervención de que se trata

• En el caso de la evaluación de impacto; la calidad de la base de datos del grupo de control (los no intervenidos)

• El período necesario para poder evaluar el impacto (variable según el tipo de intervención)

• La independencia del evaluador

• El poder de modificar el programa según los resultados obtenidos

Elaboración propia con base en J.M. Benavente: Evaluaciones de Impacto de programas públicos

1. FUNDES

2. ¿Qué entendemos por evaluación?

3. Un modelo de evaluación

4. Reflexiones finales

Algunas reflexiones

• ¿Siempre se debe medir impacto?• Es lo deseable• Pero los recursos disponibles son escasos y estas

evaluaciones son costosas• Se debe elegir

• ¿Qué hacer si no contamos con información de base?• Construirla!• Sino, nos quedamos a nivel de la encuesta de satisfacción

• Contar con un sistema de información es la base• Puede ser pequeño, sencillo• Al ser uniforme permite comparar• Es el punto de partida de todo

• Claridad de los objetivos de una intervención• El cliente debe estar claro de ello antes de la intervención• Es lo que se evalúa primero, luego los beneficios asociados

Para que nos sirve la evaluación

• No debemos temerle a la evaluación• Su fin no es echar gente (o no debería serlo)

• La evaluación sirve para mejorar y focalizarnos

• Para lograr una mejora continua en productos y procesos

• Tomar decisiones sobre el manejo de los recursos

• Evaluar sobre los objetivos que el cliente quiere lograr

• Para hacer de la institucionalidad un ente que aprende tanto de sus aciertos como de sus errores

¡¡ Gracias !Gracias !

FUNDES promueve e impulsa el FUNDES promueve e impulsa el desarrollo competitivo de la PYME desarrollo competitivo de la PYME

en Amen Améérica Latinarica Latina

ÁÁrea de Investigacirea de InvestigacióónnFUNDES Internacional FUNDES Internacional

www.fundes.orgwww.fundes.org