ii seminario internacional de seguimiento y evaluación · internacionalización de las empresas...

II Seminario Internacional de Seguimiento y Evaluación

“Construyendo una cultura de Seguimiento y Evaluación de la Gestión Estratégica”

“¿En qué consiste el seguimiento de la política pública en los programas de apoyo a la internacionalización de la empresa?”

Joaquín María Núñez Varo ICEX-España, Exportación e Inversiones

DEPARTAMENTO DE EVALUACIÓN

II Seminario Internacionalde Seguimiento y EvaluaciónCoorganizado por el CEPLANy el Ministerio de Economía y Finanzas de Perú

¿En qué consiste el monitoreoen los programas de apoyo a la internacionalización de la empresa?

Lima, 11 de noviembre de 2014

Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES

«Nuestras ideas deben ser tan amplias como la naturaleza si aspiran a interpretarla»


Ministerio de Economía y Competitividad

Secretaría de Estado de Comercio

ICEX

El ICEX

5


Plan estratégico del ICEX

6

TransparenciaEficacia

Eficiencia

Evaluación continua de la calidad y del impacto de

los programas

Valores


• ICEX España Exportación e Inversiones tiene como misión promover la internacionalización de las empresas españolas para contribuir a su competitividad y aportar valor a la economía en su conjunto, así como atraer inversiones exteriores a España.

• Tras una reflexión llegamos a la conclusión de que la misión del ICEX es en realidad ofrecer apoyo al proceso de internacionalización de la empresa española.

Misión del ICEX

Promover es iniciar o impulsar una cosa o un proceso, procurando su logro.

7


Diseño de evaluación

8

Empresa con potencial de internacionalizaciónBeneficiarioApoyoTratamiento

Proceso de internacionalización

Resultado



9

Empresa con potencial de internacionalizaciónBeneficiarioApoyoTratamiento

Producto

Proceso de internacionalización

Resultado

Impacto



10

Características de la empresaBeneficiarioInstrumentos de apoyo del ICEX TratamientoServicio prestado o producto entregado(Cuestionario de calidad y satisfacción)Producto

Mejora de competitividad(mayor valor añadido de la oferta española)ExportaciónInversión exteriorCuenta de pérdidas y gananciasEmpleo de calidad

Resultado

Retorno de inversión pública vía impuestosImpacto


Beneficiarios

11

Tipología de empresa (clusterización)Diferentes poblaciones por programa

Matriz de transiciones

Capacidad de internacionalización (indicador sintético calculado de forma

empírica)

¿Quiénes son?


• Años de experiencia en el mercado internacional

• Cifra de negocios• Países con presencia comercial• Países con implantación productiva• Número de empleados• Número de empleados dedicados a labores de

I+D+i

• Certificados de calidad y de responsabilidad social de validez internacional (ISO, Global Compact, etc.)

• Marcas internacionales• Índice de solvencia• Índice de reputación

corporativa• Cuota de exportación• Estructura corporativa

Beneficiarios: datos

12


Beneficiarios: clusterización

13

Tasas de respuestaMínima: 35%Máxima: 60%

Tipologías coherentes con los logros mostrados (clústeres de

aprovechamiento)

MuestraClasificación


Beneficiarios: modelo de clasificación

14

ConjuntoEstadístico Entrenamiento Test Validación

N 461 348 343MISC 0 0.00575 0.00583ROC 1 1 1GINI 1 1 1GAIN 297.414 304.651 294.253LIFT 3.97414 4.04651 3.94253KS 1 1 1AIC 88.9321SBC 331.799

Población objetivo: Participantes en Ferias de Pabellón OficialModelo de clasificación: Regresión logísticaVariable objetivo: Clúster de aprovechamiento Variables explicativas: Características de empresa


Beneficiarios: matriz de transición

• Matriz de transición P(clúster2014│clúster2013)

15

Clúster FPO (2014)Clúster_FPO (2013) 1 2 3 4 5

1 93.65% 1.59% 0.00% 1.59% 3.17%2 1.71% 96.58% 0.00% 0.85% 0.85%3 20.00% 21.54% 29.23% 4.62% 24.62%4 11.59% 11.59% 0.00% 34.78% 42.03%5 3.76% 4.51% 2.26% 0.75% 88.72%

• Matriz de probabilidades inversas P(clúster2013│clúster2014)Clúster FPO (2013)

Clúster_FPO (2014) 1 2 3 4 51 80.82% 1.37% 8.90% 5.48% 3.42%2 1.40% 79.02% 9.79% 5.59% 4.20%3 0.00% 0.00% 86.36% 0.00% 13.64%4 6.45% 3.23% 9.68% 77.42% 3.23%5 2.38% 0.60% 9.52% 17.26% 70.24%

Población objetivo: Participantes en Ferias de Pabellón Oficial


Tratamiento

16

¿En qué consiste?¿Es un apoyo puntual o

un acompañamiento continuado?

¿Cómo nos usan las empresas?¿Siguen alguna estrategia?

Apoyo público a la internacionalizaciónAnálisis secuencial


Tratamiento: efectividad

• ¿Tendrá el mismo resultado acudir a un seminario sobre el calzado en Alemania que acudir 6 años seguidos a la feria más importante de calzado en Alemania?

17


Tratamiento: datos

18

BeneficiariasTipo de actividad

Fecha de actividadPaís de actividad

No elegibles (empresas que han solicitado apoyo pero no han

recibido tratamiento)

ProcesoPosible contrafactual


Tratamiento: duración

Clúster Planes PGEN PSECGeneral 2.02

(1.98 , 2.07)3.09

(3.05 , 3.14)3.17

(3.12 , 3.22)Clúster_aprovechamiento_PGEN

PG1 4.25(3.79 , 4.71)

2.57(2.28 , 2.87)

4.52(3.93 , 5.10)

PG2 3.76(3.31 , 4.21)

2.44(2.17 , 2.71)

4.04(3.41 , 4.68)

PG3 3.69(3.16 , 4.22)

2.66(2.24 , 3.08)

3.87(3.07 , 4.66)

PG4 4.42(3.91 , 4.94)

2.31(2.00 , 2.63)

4.90(4.24 , 5.55)

PG5 4.18(3.76 , 4.6)

2.41(2.16 , 2.67)

4.74(4.20 , 5.27)

Clúster Planes PGEN PSECClúster PSEC

PS1 6.51(6.05 , 6.97)

3.04(2.44 , 3.63)

6.28(5.82 , 6.75)

PS2 3.35(2.94 , 3.76)

2.20(1.66 , 2.75)

3.12(2.71 , 3.52)

PS3 4.38(4.07 , 4.70)

2.47(2.06 , 2.88)

4.34(4.03 , 4.66)

PS4 6.00(5.63 , 6.38)

2.65(2.23 , 3.06)

5.91(5.53 , 6.29)

PS5 5.59(5.18 , 6.00)

2.60(2.19 , 3.00)

5.54(5.12 , 5.95)

PS6 2.79(2.42 , 3.16)

2.06(1.57 , 2.55)

2.57(2.20 , 2.94)

PS7 3.12(2.71 , 3.52)

2.11(1.41 , 2.81)

3.02(2.62 , 3.42)

PS8 3.28(2.88 , 3.67)

1.76(1.32 , 2.20)

3.15(2.76 , 3.55)

PS9 6.94(6.53 , 7.34)

3.20(2.75 , 3.65)

6.74(6.32 , 7.16)

PS10 6.50(5.92 , 7.08)

2.52(2.04 , 3.00)

6.43(5.84 , 7.02)

19

Datos: Participación en actividades de PGEN y PSEC entre 2003 y 2013Técnica: Test de diferencias de mediasVariable de estudio: Permanencia en Planes Variable de clase: Clústeres de aprovechamiento


Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.

Tratamiento: control PSEC

20



Tratamiento: control PGEN

21



Tratamiento: PSEC

22



Tratamiento: PGEN

23


Probabilidad de mostrar un determinado grado de aprovechamiento para una permanencia de 7.12 años según grupo de comparación.

Tratamiento: comparación para 7.12 años

24


DatosParticipación en programas ICEX con apoyo económico entre 2003 y 2013 por NIF Tamaño del fichero582 345 registrosTotal de secuencias28 231 secuenciasTécnicaAnálisis secuencial

Tratamiento: patrones genéricos

25


Producto

26

AsesoramientoInformación

Agenda de contactosIntermediación

Servicio integral de logísticaAlerta temprana

Apoyo económico

Calidad y satisfacción (Certificación ISO)Valor añadido (cadena de valor pública)

¿Qué ofrecemos?


• Valoración clientes 2013

Producto: calidad y satisfacción

Instrumento Nº participaciones Valoración mediaCAUCE 80.803 consultas 7,89 / 10Aula Virtual 4.588 altas 72,07% contenidos de interésPasaporte al Exterior 21.717 accesos 65,66% acorde a expectativas Seminarios sectoriales de mercados 1.333 asistentes 8,30 / 10CONECTA con el mercado 647 entrevistas contratadas 8,60 / 10Servicios Personalizados 3.849 servicios 7,84 / 10Pabellones Oficiales 2.018 expositores 88% valoración excelente/bienFerias de Participación Agrupada 2.669 expositores 85% valoración excelente/bienMisiones de inversores 49 8,4 / 10Encuentros empresariales 64 8,1 / 10Foros de inversión y cooperación empresarial

104 4,5 / 5

Partenariados 109 4,37 / 5

27


Producto: preferencias

28

Preferencias de apoyo parasuperar barreras de mercado

¿Realmente piden lo que necesitan?

¿Qué nos piden?¿Qué necesitan?


Producto: análisis de preferencias

29

ProgramaPlanes SectorialesTécnicaEscalamiento multidimensionalVariablesPreferencias de apoyo


Producto: análisis de necesidades

30

Clúster: PSEC 8Descripción: Ocasionales, sobre todo industriales, con experiencia media, pero escasa proyección internacional (pocos países, cuota baja…). Baja facturación, en general estable, con ISO e I+D+i.

Diagnóstico: Potencial de crecimiento, si asumen la exportación como su palanca de crecimiento.

Conclusiones y recomendaciones: Las preferencias de clúster casan con el reconocimiento en adicionalidad, y resulta significativo que sea el único clúster que aparece en instrumentos de trading. La combinación de acciones presenciales clásicas con instrumentos nuevos de operativa comercial puede aportarles negocio y nuevas ideas.

AdicionalidadEntrada_mercados

Nuevas_ideasBeneficios

Efecto_perdidas_gananciasEntrada_mercados


Resultado

31

Mejora de la competitividadConsolidación del proceso de

internacionalizaciónExportación

Valor añadidoMejor calidad en el empleo

Problema de la atribuciónNecesidad de contrafactual

¿En qué incidimos?¿Cómo lo medimos?


Resultado

• ¿La asistencia a un seminario sobre el mercado de Kazajistán es la única causa del incremento de la exportación en ese año o en el futuro en todo el mundo?

32

• ¿La participación puntual en una feria en México es la causa única del total de la exportación de una empresa en ese mismo año o en algún año posterior?

• No parece que tomando cada participación en un instrumento de forma aislada permita inferir una relación causa-efecto entre la participación en dicha actividad y los resultados medidos.

• Intervenciones puntuales y aisladas

• Acompañamiento continuado


Resultado: diseño de la evaluaciónSegmentación:

Clusteres de empresa

Fase del programa

Tiempo transcurrido desde finalización

Expectativas Logros Resultados

Impactos

Valor añadido:BeneficiosAdicionalidad

Servicios club PIPE

Programa de seguimiento

33

ProgramaPIPE


Resultado: diseño cuasiexperimental

2006 2007 2008 2009 2010 2011 2012NRAND O1 X X O2 O3NRAND O1 X X O2 O3NRAND O1 X X O2 O3

NRAND (NON-RANDOM): autoselección, asignación no aleatoria al grupo de estudioX: aplicación de tratamiento: programa PIPEO: observación de variables

O1: expectativas antes de entrar en el programaO2: logros tras salir del programaO3: impactos, resultados y valor añadido del programa

EMPRESA ANTESExpectativas

PROGRAMA PIPEValor añadido:

Beneficios

Adicionalidad

EMPRESA DESPUÉSLogros

Resultados

Impactos

34

Programa: PIPE

Contrafactual: Falso contrafactual (pregunta implícita)

Técnica de evaluación del impacto: Regresión logística sobre variables de impacto y resultado


Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE

TOD

AS

LAS

EMPR

ESA

S

Clú

ster

1

Clú

ster

2

Clú

ster

3

Clú

ster

4

Clú

ster

5

P. P

IPE

cerr

ado

P. S

egui

mie

nto

en c

urso

P. S

egui

mie

nto

final

izad

o

Tres

año

s de

spué

s (2

009)

Dos

año

s de

spué

s (2

010)

Un

año

desp

ués

(201

1)

No

lo u

tiliz

aron

En n

ada

Esca

sam

ente

De

algu

na m

aner

a

Bas

tant

e

En g

ran

med

ida

Fue

deci

sivo

Cambios de comportamiento

Introduccion_mejoras XMayor_confianza X X XGasto_I_D X XDpto_Internacional

Cambio_cultura X X X X X

Nuevas habilidades

Nuevas_ideasEstrategia_marketing X X X X X XHabilidades_investigacionIntangibles

Operativa comercial

Entrada_nuevos_mercados X X X X X X XCartera_clientes X X X XEfecto_facturacion XEfecto_personal XEfecto_perdidas_ganancias

Logros

Diagnostico_LConsultoria_LColaborador_L XPromocion_L X X X X X X X X XClubPIPE_L X XInstituciones_L X X X X X

Resultado: valor añadido

Adicionalidad: ¿El apoyo prestado por ICEX le ha permitido lograr resultados que por sí solo no le hubiera sido posible conseguir?35

Programa:PIPETécnica:Regresión logísticaVariables explicativas:Variables de impacto y resultadoVariable objetivo:ADICIONALIDAD de la política pública


Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE

TOD

AS

LAS

EMPR

ESA

S

Clú

ster

1

Clú

ster

2

Clú

ster

3

Clú

ster

4

Clú

ster

5

P. P

IPE

cerr

ado

P. S

egui

mie

nto

en c

urso

P. S

egui

mie

nto

final

izad

o

Tres

año

s de

spué

s (2

009)

Dos

año

s de

spué

s (2

010)

Un

año

desp

ués

(201

1)

No

lo u

tiliz

aron

En n

ada

Esca

sam

ente

De

algu

na m

aner

a

Bas

tant

e

En g

ran

med

ida

Fue

deci

sivo

s

Cambios de comportamiento

Introduccion_mejoras X X XMayor_confianza X X XGasto_I_D X XDpto_Internacional X X XCambio_cultura X

Nuevas habilidades

Nuevas_ideas XEstrategia_marketingHabilidades_investigacionIntangibles

Operativa comercial

Entrada_nuevos_mercados X X XCartera_clientes X X X X X XEfecto_facturacion X X X X X XEfecto_personal X X XEfecto_perdidas_ganancias X X X

Logros

Diagnostico_L X X X X X X X X X X X XConsultoria_L XColaborador_L X XPromocion_L X X X X X X X X X X X X X XClubPIPE_L XInstituciones_L X X

Resultado: valor añadido

Beneficios: Valore si los beneficios que le ha supuesto la participación en el Programa PIPE son mayores al coste de su participación.36

Programa:PIPETécnica:Regresión logísticaVariables explicativas:Variables de impacto y resultadoVariable objetivo:BENEFICIOS de la política pública


Impacto

37

El impacto debe medirse en los propios beneficiarios.

Ver en qué hemos sido útiles para las empresas tres años después de realizada la intervención puede ser una primera apreciación del impacto de la política

pública.

¿Podemos refinar este enfoque?

Podemos y debemos

Cadena de valor pública


• Pensamos que el mejor indicador a largo plazo de las políticas públicas en apoyo de la internacionalización de la empresa es el retorno de la inversión pública vía impuestos asociado a aquellos impactos de nuestro apoyo atribuidos a las empresas mediante técnicas de evaluación.En una reunión en Viena el pasado enero, el UKTI británico expuso idéntica opinión.

Impacto a largo plazo

38


Planeamiento estratégicoPresupuesto por resultados

Características de las empresasActividades de promoción comercial (con o sin ICEX)

Cuenta de pérdidas y ganancias detalladaExportación desglosada por TARIC y país

Inversión directa por tipo y paísEstructura corporativa

Fase de seguimiento

Fase de evaluación

Seguimiento y evaluación

39


Modelos de aprovechamiento para cada empresa

Tipología de empresaDatos de posicionamiento internacional

Itinerarios de empresaCalidad y satisfacción explícitos

(encuestas)Calidad y satisfacción implícitos

(análisis de redes sociales) ¿Nos quedamos ahí?Sistema de recomendación

Más allá de la evaluación

40


Más allá de la evaluación

• Es posible el diseño e implementación de un sistema de recomendación que proponga de manera anticipada las actividades e instrumentos de apoyo (sean productos o servicios) que la Secretaría de Estado esté llevando a cabo o vaya a llevar a cabo y puedan ser de su interés.

41

• El proyecto, todavía una mera propuesta en el ICEX, sería una aplicación natural al poder analizar con técnicas de minería de datos y de optimización matemática no lineal sujeta a análisis de coste-beneficio el gran volumen de datos surgido de la monitorización sistemática de todas las variables expuestas.

Joaquín María Núñez VaroAnalista del Departamento de EvaluaciónICEX España Exportación e [email protected]

¡Gracias por su atención!

902 349 000www.icex.es

[email protected] “Medir para conocer”

ii seminario internacional de seguimiento y evaluación · internacionalización de las empresas...

Documents