hexagon (2012) evaluación de impacto de reforma de compras publicas de ecuador
TRANSCRIPT
Evaluación de
Impacto de la
Reforma
SISTEMA NACIONAL
DE CONTRATACIÓN
PÚBLICA
(y Modelo Econométrico)
INCOP / HEXAGON GROUP
2007-2008 VS 2009-2010
Quito, Abril 2012
LÍDER CONSULTOR
ECON. ROBERTO SALAZAR C.
INDICE
Contexto Estratégico
Objetivos
Hipótesis
Metodología
Resultados
Conclusiones
Recomendaciones
Tiempo Estimado de Presentación: 60 minutos
Preguntas y Discusión: 30 minutos
Contexto
Estratégico
Fuente: Plan Estratégico INCOP 2009-2012 (Dic, 2008)
Objetivos Presentar el Informe Final de Evaluación
Internacional Independiente realizado por Hexagon Group en términos cuanti y cualitativos
Presentar información primaria levantada con INCOP, proveedores del Estado, y Entidades Públicas.
Mostrar análisis y conclusiones sobre el Sistema Nacional y el Portal de Compras Públicas y su impacto socio-económico observable.
Hipótesis
Metodología Revisión de evaluaciones previas (OECD-DAC/BID) e
informes (INCOP) y Diseño Cuasi Experimental (situación antes vs después del portal de compras públicas: 2007/2008 vs 2009/2010)
Contrastación Cuanti-Cualitativa: Cuantitativa:
Marco muestral: proveedores y entidades permanentes (cruce Contratanet/Portal);
Encuestas a proveedores y entidades;
Modelización econométrica (modelos tipo logit).
Cualitativa: Talleres con proveedores y entidades (por separado);
Estudios de caso de herramientas permanentes: consultoría (cd, lc, cp), cotización y licitación
Resultados tras contraste de
información cuanti y cualitativa
ITEM IMPACTO
POSITIVO
IMPACTO
NEUTRO
IMPACTO
NEGATIVO
INDETERMINADO
Institucionalidad+
Ahorro +
Transparencia + + + +
Calidad + + + +
Oportunidad +
Equidad + + +
Crecimiento + + +
Otros (Varios) + + +
Diseño Muestral
MUESTREO ENTIDADES
TOT TOTAL Gr Me Mi+Pe Gr+Me TOTAL Sect. Prior. Otro
185 717 519 1631 1236 2867 1714 1153
a 95% 95% 95% 95% 95% 95% 95% 95%
k 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96
N 185 717 519 1,631 1,236 2,867 1,714 1,153
p 15% 15.0% 15.0% 15.0% 15.0% 15.0% 15.0% 15.0%
q 85% 85.0% 85.0% 85.0% 85.0% 85.0% 85.0% 85.0%
e 5.3% 6.6% 7.9% 6.0% 5.0% 3.9% 5.6% 5.3%
n 91 98 69 126 167 293 141 152
dif 0 0 0 0 0 0 0 0
n para 10% 39 46 45 48 47 139 48 47
MODELO 0 MODELO 1 MODELO 2 MODELO 3 MODELO 4 MODELO 5
PROVEEDORES
Resultados: Cuadros Entidades
OPORTUNIDAD
Resultados: Cuadros Entidades
AHORRO
Resultados: Cuadros Entidades
EFICACIA Y EFICIENCIA
Resultados: Cuadros EntidadesEFECTIVIDAD: AHORRO, TIEMPO Y CALIDAD
Calidad
Frecuencia PorcentajeVálidos
Porcentaje
Acumulado
Porcentaje
Sí ha disminuido la calidad 47 51.1 51.1 51.1
No ha disminuido la calidad 36 39.1 39.1 90.2
Al contrario, ha mejorado la calidad 9 9.8 9.8 100.0
Total 92 100.0 100.0
PROBIT p21 (Institucionalidad) = f ( dp8(0 1):
dummy de sector estratégico; dp33: dummy
de mejora de calidad; p16_15: dummy de
Ahorro con subasta inversa)
/LOG NONE /MODEL LOGIT (ENTIDADES)
SECTOR LB E[] UB LB E[] UB
NO EST. NAC. 0 0 1 0 1 2
EST. NAC 0 1 1 0 1 3
B0+B1B0
Donde: LB=Mínimo; UB=Máximo; E[]: Valor Esperado. En Intervalo de Confianza
B0: Situación sin ningún atributo=1; B0+B1: Situación con todos los atributos =1 (todas las dummies).
Números representan saltos positivos o nulos (categóricos) e.g. 3 saltos sería un paso desde nulo,
pasando por bajo y medio, a alto…
Resultados: Cuadros Proveedores
AHORRO, POR TAMAÑO
¿Ahorro o Gasto? MiPe MeGr PROM.
Insumo de oficinas (papel, copias, tinta, etc) 6% -2% 2%
Movilización y visitas a entidades 10% 13% 11%
Comunicación (llamadas, conferencias, correos, otros) 51% 33% 42%
Compras de bases 81% 72% 77%
gastos legales (notarización de documentos requeridos, y otros) 44% 13% 29%
gastos de representación y presupuesto de relaciones públicas 70% 40% 55%
TOTAL 54% 23% 39%
Resultados: Cuadros Proveedores ATRIBUTOS VARIOS POR TAMAÑO Y SECTOR
ATRIBUTO EVALUADO EN PROVEEDORES MiPe y No Est MiPe y Est MeGr y No Est MeGr y EstPROMEDIO
SIMPLE
TRANSPARENCIA -1% 4% 19% 16% 9%
ETICA 13% -2% 16% 13% 10%
OPORTUNIDAD 25% 39% 51% 44% 40%
EQUIDAD -5% 2% 8% 2% 2%
AHORRO 19% 39% 34% 38% 32%
CALIDAD 5% 20% 1% 4% 8%
No Elusión de Procedimientos 19% 25% 30% 38% 28%
Coordinación Interinstitucional (Entre Entidades) 21% 37% 32% 33% 31%
TOTAL (PROMEDIO SIMPLE) 12% 21% 24% 24% 20%
Resultados: Cuadros Proveedores
OPORTUNIDAD
PROVEEDORES Cross Tabs
Ahorro/ Calidad/Equidad
Negativo Neutro Positivo
Negativo 9.9% 5.1% 2.0% 17.1%Neutro 7.5% 20.5% 5.8% 33.8%Positivo 10.2% 12.6% 26.3% 49.1%
27.6% 38.2% 34.1% 100.0%
P31: El uso del portal como parte del
SNCP ¿qué tipo de resultados ha dado En
cuanto a: CALIDAD?
P31: El uso del portal como parte
del SNCP ¿qué tipo de resultados
ha dado En cuanto a:AHORRO?
TOTAL
FILA
TOTAL COLUMNA
Negativo Neutro Positivo
Negativo 12.6% 3.4% 1.0%
17.1%Neutro 9.2% 20.1% 4.4% 33.8%Positivo 7.2% 16.7% 25.3% 49.1%
29.0% 40.3% 30.7% 100.0%
TOTAL
FILA
P31: El uso del portal como parte del
SNCP ¿qué tipo de resultados ha dado En
cuanto a: EQUIDAD?
P31: El uso del portal como parte del
SNCP ¿qué tipo de resultados ha
dado En cuanto a:AHORRO?
TOTAL COLUMNA
Negativo Neutro Positivo
Negativo 11.3% 2.7% 1.4%
15.4%Neutro 12.3% 22.5% 5.8% 40.6%Positivo 5.5% 15.0% 23.5% 44.0%
29.0% 40.3% 30.7% 100.0%
P31: El uso del portal como parte del
SNCP ¿qué tipo de resultados ha dado En
cuanto a: EQUIDAD?
P31: El uso del portal como parte del SNCP
¿qué tipo de resultados ha dado En cuanto
a: Cumplimiento de normas vigentes (no
elusión de procedimientos)?
TOTAL
FILA
TOTAL COLUMNA
Negativo Neutro Positivo
Negativo 18.4% 4.4% 1.4%
24.2%Neutro 7.8% 26.3% 7.2% 41.3%Positivo 2.7% 9.6% 22.2% 34.5%
29.0% 40.3% 30.7% 100.0%
P31: El uso del portal como parte del
SNCP ¿qué tipo de resultados ha dado En
cuanto a: EQUIDAD? TOTAL
FILAP31: El uso del portal como
parte del SNCP ¿qué tipo de
resultados ha dado En cuanto a:
TRANSPARENCIA?
TOTAL COLUMNA
PROVEEDORES Cross Tabs
No Elusión/Equidad/Transparencia
Negativo Neutro Positivo
Negativo 8.2% 4.1% 2.4%
14.7%Neutro 3.1% 16.0% 11.3% 30.4%Positivo 5.8% 13.7% 35.5% 54.9%
17.1% 33.8% 49.1% 100.0%
P31: El uso del portal como parte del
SNCP ¿qué tipo de resultados ha dado En
cuanto a:AHORRO? TOTAL
FILAP31: El uso del portal como
parte del SNCP ¿qué tipo de
resultados ha dado En
cuanto a: OPORTUNIDAD?
TOTAL COLUMNA
PROVEEDORES Cross Tabs
Oportunidad/Ahorro
Modelo de
Probabilidad
de Aumento
de Ventas
Variable Estimador
Transform.
No Estrat.
Transform.
Estrat.
Sig.
(Prob. Error)
Aumento L 0.350 23% 24% 0%
Aumento K 0.092 21% 23% 2%
Mayor Especialización 0.292- 20% 21% 0%
Acceso a Oportunidades 0.248 22% 24% 0%
Precio 0.113- 21% 22% 0%
Calidad 0.138 22% 23% 0%
TOTAL 129% 136%
En este caso, se concluye que lasempresas que manifiestan haberaumentado sus factores de trabajo ocapital, su especialización, observadooportunidades de acceso, ajustado sus
precios como respuesta a la reforma, asícomo realizado cambios estratégicos entérminos de calidad, podrían tenerretornos de entre 20% a 23% enincrementos en su probabilidad de vendermás con la reforma, si son proveedores desectores no estratégicos, mientras quepodrían haber incrementado entre 21% a24% si proveen a sectores estratégicos delEstado. En cada variable.En su conjunto, una empresa que ha respondido positivamente en todos los puntos anteriores, podría haber incrementado su probabilidad de ventas, en la situación “con” versus la situación “sin” portal en un 129%, si es proveedor de sectores no estratégicos, y de 136% si es proveedor de sectores estratégicos.
ANALISIS ADICIONALESCuantitativos
Oferta y Demanda: P5¿Qué porcentaje de sus ventas totales se dirige al sector público?
Frecuencia Porcentaje % Válidos % Acumulado
0 a 20% 74 25.3 25.3 25.3
21 a 40% 49 16.7 16.7 42.0
41 a 60% 45 15.4 15.4 57.3
61 A 80% 69 23.5 23.5 80.9
Más de 80% 56 19.1 19.1 100.0
Total 293 100.0 100.0
P10: Cuál fue el presupuesto asignado a su Entidad en estos años (en millones de US$) 2007 al 2010
PRESUPUESTO
ASIGNADOMILLONES US$
2007 2008 2009 2010
Diferencia PP
2010 – 2007
0 a 5 46 37.0 33.7 27.2 -18.5
6 a 10 11 16.3 14.1 14.1 3.3
11 a 20 7 4.3 7.6 13.0 6.5
21 a 50 12 15.2 15.2 10.9 -1.1
51 a 100 9 10.9 12.0 14.1 5.4
101 a 200 2 2.2 3.3 4.3 2.2
201 a 500 4 2.2 2.2 3.3 -1.1
Más de 500 10 12.0 12.0 13.0 3.3
Total 100 100.0 100.0 100 0.0
VENTAS EMPRESAS: Sin Portal
(07/08)
Con Portal
(09/10)
Con vs Sin
(Difer. PP)
TAC Ventas Gral. 2.46 2.76 0.30
TAC Vtas Sec.Pub. 2.26 2.58 0.32
Diferencial (%) 7%
P19: % del total de ventas realizado al sector público de Ecuador (en
particular): 2007/2008 vs 2009/2010
VENTAS AL S. PUBLICO 2007/2008 2009/2010 Diferencia PP
0 a 20% 43.0 37.5 -5.5
21 a 40% 13.3 16.7 3.4
41 a 60% 18.8 13.7 -5.1
61 a 80% 10.9 16.75.8
Más de
80%
14.0 15.4
1.4
Total 100.0 100.0 0.0
P14.2: # Días(cal) para realizar CCPP (Licitación): 2007/08 vs 2009/10
DIAS
CALENDARIO2007/2008 2009/2010
Difer. PP
Con vs Sin
Portal
No Usa Esta
Herramienta
64.1 50.0 -14.1
Entre 7 y 15 1.1 1.1 0.0
Entre 16 y 30 8.7 22.8 14.1
Entre 31 y 45 6.5 18.5 12.0
Entre 46 y 60 7.6 3.3 -4.3
Más de 60 12.0 4.3 -7.6
Total 100.0 100.0 0.0
P21: ¿Con qué frecuencia participó su empresa en procesos de contratación pública?
(2007-2010)
PARTICIPACION EN SNCP:
2007 2008 2009 2010
Difer. PP:
2010-2007
Alta 14.7 17.7 30.0 38.6 23.9
Media 27.3 37.9 38.9 30.4 3.1
Baja 33.4 32.4 27.6 28.7 -4.8
NO ha
Participado
24.6 11.9 3.4 2.4 -22.2
Total 100.0 100.0 100.0 100.0 0.0
P22: Grado de crecimiento de sus oportunidades de participar en procesos
de contratación pública: 2007-2010
OPORTUNIDADES
SNCP 2007 2008 2009 2010 2010-2007
muy alto 2.0 2.4 1.7 3.4 1.4
alto 9.6 10.9 18.8 23.5 14.0
medio 20.1 30.0 39.6 35.2 15.0
bajo 36.5 41.6 33.1 31.7 -4.8
nulo 31.7 15.0 6.8 6.1 -25.6
Total 100.0 100.0 100.0 100.0 0.0
P23: Con respecto al total de procesos en que participó,
¿% de procesos adjudicados? 07-08 vs 09-10
2007-2008 2009-2010
Diferencia
PP
Más de
60%
6 7
0.68
46 a 60% 9 101.37
31 a 45% 9 101.02
16 a 30% 15 21 6.48
0 a 15% 62 52-9.56
Total 100 1000.00
CUALITATIVO
TALLERES Y CASOS
TEMA PUNTAJE (%)
1. 4.1 esquema normativo para la Contratación Pública 59 (94%)
2. 6.2 Sistemas para mejorar la calidad de los bienes, servicios y obras (garantías técnicas, pliegos claros, etc.)
59 (94%)
3. 1.3 Se observa ahorro por una optimización del presupuesto institucional (mejores precios)
57 (90%)
4. 6.1 calidad de los bienes y servicios provistos 56 (89%)
5. 2.1 La reforma institucional ha generado oportunidades para micro, pequeños y medianos oferentes
56 (89%)
6. 2.4 La introducción del portal ha contribuido al incremento en el número de proveedores (más ofertas = más alternativas para contratar)
56 (89%)
TOOLKIT ENTIDADES
951955940954941944952953957946948956949950942943947945964958939962961963960938
INTERESES ENTIDADESPARA/DESDE EL INTERES DEL PAIS
3.2 Mejora en el nivel de Transparencia por calidad de
información
75%
2.3 La reforma institucional ha promovido las oportunidad para
las ofertas de origen nacional
75%
6.3 Criterios de adjudicación (calidad/precio) 74%
5.2 Procesos culminados exitosamente (tiempo/costo/calidad) 73%
2.4 La introducción del portal ha contribuiddo al incremento en
el número de proveedores (mas ofertas = mas alternativas para
contratar)
72%
3.3 Mejorar la ética por vía del desarrollo de capacidades en
departamentos y funcionarios
71%
1.2 El ahorro depende dela Reducción / aumento en Tiempo
(elaboración de pliegos, búsqueda de ofertantes, pasos del
proceso de contratación, firma de contratos, etc.)
71%
2.1 La reforma institucional ha generado oportunidades para
micro, pequeños y medianos oferentes
70%
3.6 Transparencia se da por igualdad de trato de partícipes 70%
2.10 Sectorialización Territorial de Proveedores 69%
3.5 La transparencia se ha visto mejorado por la existencia de
modelos obligatorios de pliegos (bases)
68%
1.1 El ahorro obedece a una reducción (o aumento) en costos
administrativos (publicaciones, bases de proveedores propias,
comunicación, insumos y movilización)
68%
6.1 calidad de los bienes y servicios provistos 67%
5.1 Mejoras en el proceso por uso de herramientas electrónicas
(cumplir con los plazos establecidos)
67%
3.4 El portal ha contribuido a reducir los niveles de
discrecionalidad institucional del contratante
67%
3.1 La transparencia es producto de la disponibilidad de
información completa para todos los partícipes del mercado
67%
2.11 Asegurar que proveedores sorteados participen
efectivamente
67%
6.2 Sistemas para mejorar la calidad de los bienes, servicios y
obras (garantías técnicas, pliegos claros, etc.)
66%
2.2 Existe un incremento en oportunidades para oferentes
locales (mismo cantón)
66%
4.1 esquema normativo para la Contratación Pública 65%
1.3 Se observa ahorro por una optimización del presupuesto
institucional (mejores precios)
65%
7.2 Aumento / disminución de RR.HH. para dedicado a compras
públicas
64%
5.12 Capacitación en manejo de normativa 64%
2.13 Capacitación a proveedores para generar oferta 63%
5.11 Disponibilidad de Items 62%
5,10 Calendario inflexible 62%
7.1 departamentos especializados de compras públicas (mejor
perfil de RR.HH.)
56%
TOOLKIT PROVEEDORES
TEMA PUNTAJE (%)
1. 4.10 Agregado Nacional comprobable y exigible 32 (59%)
2. 4.1 Menos espacios para actos de corrupción 32 (59%)
3. 2.2 Estrategias de oferta (precios / calidad / servicio) 31 (57%)
4. 2.4 Igualdad de condiciones 31 (57%)
5. 3.4 ahorro por procesos más éticos y transparentes 30 (56%)
6. 4.4 Reglas de juego claras (criterios de evaluación y adjudicación de ofertas)
30 (56%)
INTERESES PROVEEDORES
RECOMENDACIONES FINALES
OBTENIDAS A PARTIR DE ESTUDIOS DE
CASO:
En la elaboración de pliegos.
Preguntas y respuestas.
Reglamentos de calificación claros y
conocidos por todos.
Publicar obligatoriamente en el portal
los resultados completos de los
procesos.
Publicar obligatoriamente el texto de
los contratos suscritos.
Negociación en consultoría
Resoluciones
Recomendaciones Finales Se puede ver que existe aumento de proveedores, por lo tanto aumento de oportunidades
de negociación con el estado principalmente de las micro y pequeñas empresas. Los proveedores utilizan estrategias de precio y calidad con la finalidad de aumentar sus ventas.
Existen en todos las herramientas evidencia de transparencia. Existe apertura de los procesos y esto permite que todos puedan ver cómo y en qué se invierten los recursos del Estado.
Es necesario desarrollar un control de calidad por parte de INCOP, para asegurarse que las rebajas en los presupuestos no estén ligados a la reducción de calidad de los productos ofertados.
La capacitación junto con la consultoría son herramientas básicas para poder seguir desarrollando la institucionalidad y normativa de la entidad en función de las falencias encontradas.
Un potencial camino puede ser el desarrollo de la cadena de valor, y el premio a proveedores responsables, así como un refuerzo de la capacitación a pequeños y micro proveedores, con la finalidad de brindar apertura a proveedores locales que permitan minimizar los costos de contratación.
La evidencia muestra una valoración positiva del sistema por sus actores permanentes, sobre todo en términos de apreciación de la reforma, y de las oportunidades que esta brinda, tanto para mejorar la eficacia en las entidades, como las ventas en los proveedores, es primordial continuar trabajando en función de dar un servicio diferenciado y eficiente por medio del portal y así encontrar beneficios netos para el país y lo proveedores del estado.
Implementación de estrategias que permitan desarrollar el resto de herramientas que el portal ofrece, para obtener un porcentaje de ahorro en términos nominales y medidos en tiempo.
Establecer un precio base, con respecto a los costos reales de bienesy no utilizar los Presupuesto Referencial en base a cotizaciones enviadas por proveedores, que muchas veces no participan en el proceso y que rebajan costos por medio de la disminución de calidad de sus productos y que a largo plazo termina siendo un gasto mayor para la entidad que los contrata.
Las nuevas herramientas que brinda el portal han causado un mayor impacto, este cambio se ha podido evaluar por las experiencias antes y después del portal. Ya que existe un incremento en el uso de la herramienta de Subasta Inversa, y esta ha proporcionado ahorro en términos económicos, es importante recalcar que la disminución en la calidad de los productos no se ha podido evidenciar, la calidad se ha mantenido, aunque INCOP no posee controles rigurosos respecto a la calidad de los productos.
Los Resultados muestran que existe impacto en institucionalidad al comparar los datos del modelo econométrico, los talleres que se realizaron y la información con la que cuenta INCOP en su portal de compras públicas, existe un incremento en el uso del portal y en la disponibilidad de este mismo, aumentando así la agilidad de los procesos.
La parte normativa ha permitido que el sistema de contratación pública se desarrolle con eficiencia lo que nos demuestra que esta fase está superada y que ha tenido un impacto en el sistema de compras públicas de INCOP.
Se observa un sistema joven, que muestra posibles impactos a mediano y largo plazo generados debido al cambio en la tecnología de compras públicas, probablemente aún no son observables y lo cual, los cambios reales, netos, en ahorro, crecimiento económico, y desarrollo social deberían ser aun constantes, debido al proceso de consolidación. Se mostraran diferenciales posiblemente positivos, pero no explicables por relaciones claras de dependencia de los elementos de la reforma.
No se observa diferencias significativas entre entidades pertenecientes a sectores estratégicos vs no estratégicos en función de lo que determina el modelo econométrico.
Al parecer, la evidencia podría sugerir que en el caso de empresas medianas y grandes, el portal tiene un efecto neutro, mientras que en micro y pequeñas empresas, hay efectos en términos de especialización y aumento de personal para servir procesos de compra pública que conducirían, a la final, a un cambio en ventas.