evaluación del impacto del componente de asistencia ... · 3.6 recomendaciones de política...

Evaluación del Impacto del Componente de Asistencia Técnica y Capacitación

En el marco del Proyecto de Consolidación e Inclusión Financiera del Sector de Ahorro y

Crédito Popular

Préstamo 8107-MX del Banco Mundial

Informe de resultados

Septiembre 14, 2016

Bosque de Duraznos 127 4° Piso

Bosques de las Lomas, México, D. F. 11700

Tel.: 5245-8423 www.spectron.com.mx

1

Índice

Resumen Ejecutivo ........................................................................................................................................................ 2

1 Introducción............................................................................................................................................................ 5

2 Descripción del Programa ...................................................................................................................................... 7 2.1 Periodo 2003-2008: Proyectos globales ..................................................................................................... 7 2.2 Periodo 2009-2015: Proyectos individuales ............................................................................................... 7

3 Enfoque Analítico Cuantitativo ............................................................................................................................ 10 3.1 Introducción al enfoque analítico cuantitativo ......................................................................................... 10

3.1.1 Experimento vs técnicas cuasi experimentales ............................................................................ 10 3.1.2 Técnica de Diferencias en Diferencias ........................................................................................ 10

3.2 Métodos, técnicas y datos ........................................................................................................................ 12 3.2.1 Especificación econométrica de diferencias en diferencias ......................................................... 12 3.2.2 Métricas de interés ....................................................................................................................... 14

3.3 Procesamiento de información ................................................................................................................. 16 3.3.1 Fuentes de datos .......................................................................................................................... 16 3.3.2 Valores faltantes, observaciones repetidas y observaciones atípicas ........................................... 17 3.3.3 Robustez y distintas sub muestras de análisis .............................................................................. 19

3.4 Resultados ................................................................................................................................................ 20 3.4.1 Estadísticas descriptivas .............................................................................................................. 20 3.4.2 Estimaciones de impacto ............................................................................................................. 28

3.5 Análisis costo-beneficio ........................................................................................................................... 37

3.6 Recomendaciones de política pública ...................................................................................................... 39

4 Enfoque Analítico Cualitativo .............................................................................................................................. 41 4.1 Introducción al enfoque cualitativo .......................................................................................................... 41 4.2 Métodos, técnicas y datos ........................................................................................................................ 41

4.2.1 Fase 1 del trabajo de Campo: Diagnóstico exploratorio .............................................................. 41 4.3 Resultados ................................................................................................................................................ 42

4.3.1 Percepción sobre la problemática del componente ...................................................................... 43 4.3.2 Percepción sobre la problemática de la Regulación y la Normatividad....................................... 43 4.3.3 Lo que corresponde a la problemática del Entorno. .................................................................... 44

4.4 Recomendaciones para mejorar la operación del componente................................................................. 45

4.4.1 Lo que corresponde al Componente. ........................................................................................... 46 4.4.2 Lo que corresponde a las regulaciones y normas. ......................................................................... 47 4.5.3. Lo que corresponde al Entorno .................................................................................................... 47

5 Conclusiones ........................................................................................................................................................ 49

2

Resumen Ejecutivo

En 2001, el Congreso de la Unión aprobó el marco regulatorio para el sector de ahorro y crédito

popular, integrado por la Ley de Ahorro y Crédito Popular (LACP) y la Ley Orgánica del Banco

del Ahorro Nacional y Servicios Financieros, Sociedad Nacional de Crédito (BANSEFI), ambas

leyes se publicaron en el Diario Oficial de la Federación en junio del 2001. A partir de esa fecha

BANSEFI ha establecido programas de apoyo para el fortalecimiento de las sociedades

integrantes del sector de ahorro y crédito popular, para que estén en posibilidades de cumplir con

los requerimientos del marco normativo y, de forma simultánea, aprovechar las ventajas que les

ofrece operar como intermediarios regulados y supervisados para diversificar y expandir sus

operaciones.

Originalmente con recursos del préstamo 7132-ME del Banco Mundial, en 2002 se iniciaron los

procesos de adquisiciones para la asignación de seis contratos en igual número de regiones, para

brindar asistencia técnica a las sociedades y federaciones del sector de ahorro y crédito popular.

Con ello, se brindó asistencia técnica a las sociedades y federaciones del sector de ahorro y

crédito popular que voluntariamente decidieron participar, mediante el desarrollo,

implementación y seguimiento de planes de trabajo específicos para cada institución con el fin de

poder incorporarse y subsistir dentro del nuevo marco legal y, en su caso, obtener la autorización

de la Comisión Nacional Bancaria y de Valores para operar como Entidad de Ahorro y Crédito

Popular en el marco de la LACP. En el caso de sociedades cuya autorización no fuera en

principio viable, se buscó asesorarlas para tramitar su salida ordenada del sistema, con el apoyo

del Fideicomiso que sería administrado por el Fondo para el Fortalecimiento de Sociedades y

Cooperativas de Ahorro y Préstamo y de Apoyo a sus Ahorradores (Fideicomiso Pago).

Desde 2009 el Programa de Asistencia Técnica y Capacitación1 tiene como misión contribuir a

que las sociedades y organizaciones que integran el Sector de Ahorro y Crédito Popular y

Cooperativo que operan dentro del marco legal , puedan contratar servicios de asistencia técnica

y capacitación especializada que les ayuden a cumplir con la legislación aplicable, operar como

entidades financieras reguladas, así como mejorar su situación operativa y financiera y su oferta

de servicios y productos financieros.

En este informe presentamos los efectos atribuibles al Componente considerando distintas

muestras de sociedades y organizaciones del sector de ahorro y crédito popular para las que

1 El programa forma parte de una estrategia sectorial “Programa F035 del BANSEFI” cuya fuente de financiamiento son recursos

fiscales del Gobierno Federal con financiamiento parcial del Préstamo 8107-MX de Banco Mundial y que aglutina además al

Programa de Asistencia Técnica a las Microfinanzas Rurales (PATMIR); la Estrategia Comercial L@ Red de la Gente; Programa

Integral de Inclusión Financiera (PROIIF); Corresponsales Bancarios; Educación Financiera Infantil, e Infraestructura Bancaria.

3

contamos con información para el periodo 2003-2015. Mediante un enfoque cuasi experimental,

usando una especificación econométrica de diferencias en diferencias, evaluamos el impacto del

Componente en dos periodos administrativos: 2003-2010 y 2011-2015.

Encontramos impactos positivos y estadísticamente significativos para cinco métricas de interés

de un total de nueve métricas analizadas. En el periodo 2011-2015 el Componente resultó en un

incremento promedio de 28.6% en el número de sociedades autorizadas, de 1.71 sucursales

adicionales por beneficiario, de 28.3% en el número de socios, de 33.1% en los activos promedio

y de 30.9% en la captación. En relación con la situación contrafactual el impacto anterior

equivale a 97 sociedades autorizadas adicionales de un total de 201 sociedades, 582 sucursales

adicionales, 1.5 millones de socios adicionales, activos adicionales por 22 mil millones de pesos

y captación adicional por más de 16 mil millones de pesos.

En el marco del Componente se entregaron apoyos entre 2011 y 2015 a entidades de ahorro y

crédito popular autorizadas por CNBV, sociedades en proceso de autorización, sociedades de

nivel de operaciones básico (que no requieren autorización), así como a organismos de

integración por un monto total de 119.8 millones de pesos. Al combinar el costo total con las

estimaciones de impacto del Componente calculamos un costo promedio por cada sociedad

adicional autorizada de 1.2 millones de pesos, un costo por sucursal adicional de 206 mil pesos,

un costo por socio adicional de 77 pesos, un costo por cada peso adicional de activos de 0.5

centavos y un costo por cada peso adicional de captación de 0.7 centavos. Si bien, los objetivos

del Programa son el fortalecimiento de las sociedades y el cumplimiento regulatorio.

En el caso de las cuatro razones financieras evaluadas (morosidad, capitalización, cobertura y

ROA), no encontramos evidencia de una mejora significativa como resultado del Componente.

Sin embargo, es conveniente mencionar que esos resultados difícilmente son concluyentes por el

número relativamente pequeño de observaciones. Lo anterior es atribuible a que las sociedades

autorizadas por la CNBV son las únicas obligadas a reportar esos indicadores. Adicionalmente,

las razones financieras no necesariamente reflejan mejoras en el desempeño o la salud financiera

de una entidad de una manera inequívoca.

Los resultados del impacto del programa deben ser tomados con cautela ya que no provienen de

una evaluación experimental en la que los apoyos fueron asignados aleatoriamente. En principio,

es posible que los resultados incluyan sesgos de magnitud y dirección desconocidas derivados de

la selección y la autoselección de las entidades en su participación en el Componente. No existe

una forma infalible de medir si nuestro enfoque de Diferencias en Diferencias identifica los

verdaderos parámetros de interés. Sin embargo, en nuestra opinión el enfoque que adoptamos es

el que mejor se adapta a los datos existentes.

4

La valoración cualitativa basada en entrevistas a profundidad a una muestra de 30 intermediarios

financieros del sector que recibieron los apoyos entre 2011 y 2015 en cinco Regiones del país,

sugiere que la percepción de las sociedades beneficiarias es favorable al Componente, a los

efectos de éste en el desempeño de las sociedades del sector y a los responsables de la operación

del Componente. Los beneficiarios señalan que difícilmente hubieran contado con recursos para

pagar por si mismos el apoyo técnico y la capacitación que recibieron.

Sin embargo, los beneficiarios de manera reiterada mencionaron que uno de los aspectos que

más les afecta en sus finanzas, es el retraso de hasta tres meses en los reembolsos de los pagos

por los servicios contratados. A pesar de la percepción positiva del programa, los entrevistados

señalan necesidades y prioridades que no están cubiertas por los apoyos o que se encuentran

insuficientemente atendidas, así como áreas de oportunidad para simplificar el cumplimiento con

la regulación. Finalmente, la valoración cualitativa pone énfasis en los retos que enfrentan los

beneficiarios que operan en entornos con altos grados de inestabilidad e inseguridad que, aunque

son exógenos al programa, deben ser considerados en el diseño de políticas públicas para el

sector.

5

1 Introducción

Uno de los objetivos del Programa Nacional de Financiamiento del Desarrollo 2013-2018

consiste en fomentar la inclusión, educación, competencia y transparencia de los sistemas

financiero, asegurador y de pensiones para incrementar su penetración y cobertura, a la vez que

mantengan su solidez y seguridad. Entre las estrategias previstas para lograr dicho objetivo se

encuentran: ampliar la cobertura del sistema financiero hacia un mayor número de personas y

empresas en México, en particular para los segmentos de la población actualmente excluidos; así

como mantener la estabilidad que permita el desarrollo ordenado del sistema financiero. Un

componente estratégico de esta política, es el fortalecimiento y desarrollo del Sector de Ahorro y

Crédito Popular y Cooperativo (en adelante “el sector”).2

Por tal motivo, el Banco del Ahorro Nacional y Servicios Financieros, Sociedad Nacional de

Crédito, Institución de Banca de Desarrollo (en adelante “BANSEFI”), ha implementado un

programa para que las sociedades y organizaciones del sector que operan dentro del marco legal

aplicable (en adelante “las sociedades”) puedan contratar servicios de asistencia técnica y

capacitación especializada (en adelante “los apoyos”) que les ayuden a cumplir con la legislación

aplicable, operar como entidades financieras reguladas, mejorar su situación operativa y

financiera y los servicios y productos financieros que ofrecen a sus socios y clientes.3

El enfoque principal de los apoyos ha sido contribuir para que las sociedades del sector

fortalezcan su operación y en su caso, estén preparadas para lograr su autorización ante la

Comisión Nacional Bancaria y de Valores (CNBV) al cumplir los requisitos formales, operativos

y financieros aplicables para el sector.4 Además, para aquellas sociedades que no lo logren ser

autorizadas, se busca apoyarlas para su salida ordenada.

Con lo anterior en mente, el objetivo de la evaluación de impacto que se establece en los

Términos de Referencia correspondientes (TdR)5 es estimar el impacto atribuible al Componente

de Asistencia Técnica y Capacitación (en adelante “el programa”) sobre las sociedades que han

2 Lineamientos de operación del Programa para que las/los integrantes del sector de ahorro y crédito popular y cooperativo

accedan a los Apoyos de Asistencia Técnica y Capacitación del Banco del Ahorro Nacional y Servicios Financieros, Sociedad

Nacional de Crédito, Institución de Banca de Desarrollo, a fin de promover su fortalecimiento y adecuación al marco Jurídico

aplicable. BANSEFI, 2016. 3 Términos de Referencia para la Evaluación del Impacto del Componente de Asistencia Técnica y Capacitación en el marco del

Proyecto de Consolidación e Inclusión Financiera del Sector de Ahorro y Crédito Popular. Préstamo 8107-MX del Banco

Mundial. Febrero 9, 2016 4 Presentación BANSEFI: Apoyos de Asistencia Técnica y Capacitación para el fortalecimiento del Sector de Ahorro y Crédito

Popular y Cooperativo. 10ª Convención Nacional de L@Red de la Gente. Cancún Quintana Roo, 4 al 7 de diciembre de 2013. 5 Términos de Referencia para la Evaluación del Impacto del Componente de Asistencia Técnica y Capacitación en el marco del


Mundial. Febrero 9, 2016

6

recibido los diversos apoyos.6 Para ello se analizan los dos periodos de la operación del

programa: el primero, de 2003 a 2015 y el segundo de 2011 a 2015. Para el primer periodo se

busca identificar la variación en los principales indicadores de las sociedades del sector, esto es,

encontrar si existe una variación en las métricas de interés que en principio pudiera ser atribuible

al programa. Para el segundo periodo se busca estimar los efectos atribuibles al programa tanto

en el estatus regulatorio como en el desempeño de las sociedades del sector que recibieron los

apoyos en ese periodo incluyendo una estimación del costo beneficio del programa. Aunque el

programa también incluye apoyos para federaciones, confederaciones y otras organizaciones

relacionadas con la operación del sector, el alcance de la evaluación establecido en los TdR se

restringe a las sociedades.

Adicionalmente, este reporte presenta los resultados de una valoración cualitativa realizada con

el objetivo de conocer las opiniones de los beneficiarios sobre la pertinencia de los apoyos, así

como sobre el proceso para obtenerlos. Con ello se busca poner en contexto los resultados de la

evaluación de impacto para informar las recomendaciones generales de política pública que

pudieran ser pertinentes para el sector.

Conforme a los objetivos anteriores, el reporte presenta por separado la metodología y resultados

de la evaluación de impacto (enfoque analítico cuantitativo) y la metodología y resultados de la

valoración cualitativa (enfoque analítico cualitativo). En ambos casos se presentan

recomendaciones generales basadas en los hallazgos correspondientes a cada enfoque analítico.

6 La descripción de los requisitos y procedimiento aplicables puede consultarse en los Lineamientos de Operación del Programa

publicados por BANSEFI en 2016.

7

2 Descripción del Programa

El programa busca apoyar a las sociedades del sector ubicadas en cualquier región del país para

que cuenten con recursos que les permitan contratar servicios de asistencia técnica y capacitación

especializada que les ayuden a cumplir con la regulación, a fortalecer su operación y a apoyar su

transformación en entidades financieras reguladas, lo que a su vez les permita mejorar los

servicios y productos financieros que ofrecen a sus clientes y socios.7

La población objetivo del programa incluye tanto a las sociedades, como a federaciones,

confederaciones y otros organismos reconocidos dentro del marco legal aplicable. Como se

mencionó anteriormente, la evaluación de impacto realizada se refiere únicamente a las

sociedades del sector.

Los apoyos del programa consisten en subsidios otorgados a través de BANSEFI para que las

sociedades contraten servicios de asesoría técnica y capacitación para mejorar su cumplimiento

regulatorio, sus procesos, su operación, sus productos y sus servicios.

Los TdR establecen que el periodo relevante para la evaluación del programa corresponde al

lapso de 2003 a 2015. Aunque el programa ha tenido ajustes continuos, los TdR establecen que

dentro de ese lapso el programa ha operado en dos grandes etapas:

2.1 Periodo 2003-2008: Proyectos globales

La primera etapa del programa transcurrió de 2003 a 2008 y se caracterizó por la

implementación de proyectos globales, donde BANSEFI contrató a consultores internacionales

que atendieron a un grupo de sociedades que voluntariamente decidieron participar, para su

diagnóstico y el establecimiento de un plan de mejora conforme al marco regulatorio aplicable

que les permitiera fortalecer su operación, adecuarse al marco regulatorio y normatividad

aplicable y, en su caso, prepararse para buscar la autorización ante la CNBV. Durante esta etapa,

BANSEFI designó a las sociedades beneficiarias, a los consultores que les brindarían apoyo, así

como los temas específicos que serían apoyadas por los consultores.

2.2 Periodo 2009-2015: Proyectos individuales

En términos generales, la segunda etapa del programa se distingue de la primera etapa en que las

sociedades que voluntariamente decidieron participar fueron quienes contrataron al consultor de

su elección de entre los que integraban el padrón de prestadores de servicios calificados por

7 Términos de Referencia para la Evaluación del Impacto del Componente de Asistencia Técnica y Capacitación en el marco del


Mundial. Febrero 9, 2016. p.3

8

BANSEFI (los consultores calificados).8 A grandes rasgos, las sociedades sometieron a revisión

de BANSEFI una propuesta para la contratación de un consultor calificado para una asesoría y/o

capacitación específica. Las propuestas fueron analizadas por un grupo de trabajo designado ex

profeso para evaluar la elegibilidad de las solicitudes de apoyo con base en los lineamientos de

operación del programa, sobre el monto de los apoyos, los rubros específicos para su aplicación

y el consultor propuesto por la sociedad para brindar el apoyo.9

Cada sociedad beneficiaria pudo solicitar en cada ejercicio fiscal uno o varios apoyos en los

rubros específicos aplicables en función de su estatus regulatorio y de su nivel de operaciones

hasta por el monto máximo establecido para cada tipo de apoyo en los lineamientos de operación

publicados por BANSEFI para cada ejercicio fiscal en que ha estado vigente el programa.

Aunque los rubros y los montos de los apoyos para los proyectos individuales varían en cada

ejercicio fiscal de 2009 a 2016, en términos generales se trata de subsidios de entre 15,000 y

300,000 pesos por proyecto para contratar servicios de asistencia técnica y capacitación

destinados a, proyectos de desarrollo institucional, profesionalización del personal, pago de

procesos de evaluación, así como fortalecimiento de procesos de organización, seguimiento y

administración de los créditos otorgados por las sociedades, mejora de cumplimiento de diversos

aspectos normativos y en su caso, a la autorización de las sociedades ante la CNBV. Para las

sociedades que no logran ser autorizadas por la CNBV, el programa también incluye apoyos para

asesoría durante su proceso de salida ordenada a través de fusiones, transferencia de activos y

pasivos y liquidación.10

Aunque las dos etapas de operación del programa corresponden a los periodos 2003 a 2008 y

2009 a 2015, los TdR establecen periodos de análisis distintos. Para el periodo 2003 a 2015 los

TdR requieren revisar la variación en los principales indicadores de las sociedades lo cual

permite establecer el margen para el impacto del programa. Para el periodo 2011 a 2015, los TdR

requieren una evaluación a profundidad sobre los efectos atribuibles al programa, así como una

estimación de la relación costo beneficio del propio programa y una valoración cualitativa sobre

la percepción del personal de las sociedades sobre la calidad de los apoyos recibidos y su

impacto en el desempeño de las sociedades. Dado que el periodo correspondiente a los apoyos

individuales inició en 2009, el segundo periodo de análisis requerido en los TdR (2011 a 2015)

8 El padrón de prestadores de servicios fue publicado cada ejercicio fiscal en el portal de internet de BANSEFI. 9 Lineamientos de operación del Programa para que las/los integrantes del sector de ahorro y crédito popular y cooperativo

accedan a los Apoyos de Asistencia Técnica y Capacitación del Banco del Ahorro Nacional y Servicios Financieros, Sociedad

Nacional de Crédito, Institución de Banca de Desarrollo, a fin de promover su fortalecimiento y adecuación al marco Jurídico

aplicable. BANSEFI, 2016. 10 Términos de Referencia para la Evaluación del Impacto del Componente de Asistencia Técnica y Capacitación en el marco del


Mundial. Febrero 9, 2016. p.8.

9

no incluye el primer año en que inicio la etapa de apoyos individuales del programa. Sin

embargo, el ejercicio fiscal 2010 sí está incluido ya que se toma como punto de partida al

considerar el ejercicio fiscal 2011.

10

3 Enfoque Analítico Cuantitativo

3.1 Introducción al enfoque analítico cuantitativo

3.1.1 Experimento vs técnicas cuasi experimentales

El estándar de oro para medir el impacto de una política pública es un experimento o “prueba de

control aleatorizado”. La esencia de un experimento es que, dentro de un conjunto de sujetos

elegibles para recibir un “tratamiento”, se determina al azar cuáles lo reciben y cuáles no. De esa

forma se evitan sesgos por selección o autoselección para recibir el tratamiento. Quién recibe el

tratamiento y quién se queda sin él solamente depende de la suerte. Posteriormente, al comparar

el comportamiento de quienes recibieron el tratamiento y quienes no lo recibieron, se obtienen

estimaciones insesgadas del impacto del tratamiento. La única diferencia entre quienes recibieron

el tratamiento y quienes no lo recibieron es el tratamiento. En todas las demás características,

tanto observables como no observables, el grupo tratado y el no tratado son ex ante idénticos.

Es inusual hacer evaluaciones de impacto mediante experimentos. Existen restricciones legales

que impiden que los programas públicos excluyan al azar a sujetos igualmente elegibles para

recibir beneficios. Cuando no es posible recurrir a un experimento, una opción para estimar el

impacto de una intervención son las técnicas cuasi experimentales.

Las técnicas cuasi experimentales utilizan variaciones en la asignación del tratamiento que bajo

algunas condiciones pueden asemejarse a un experimento. Si bien no proveen estimaciones con

la misma validez que las provenientes de un experimento, en muchos casos son la única opción

factible.

En el caso del programa no fue posible estimar el impacto mediante un experimento. La

intervención ocurrió en el pasado, entre 2003 y 2015. La asignación del tratamiento no fue

aleatoria, esto es, el programa no excluyó a sociedades igualmente elegibles para recibir apoyos.

Lo único que podemos hacer para medir el impacto es utilizar técnicas cuasi experimentales. De

entre las diversas posibilidades que analizamos optamos por emplear la técnica de Diferencias en

Diferencias.

3.1.2 Técnica de Diferencias en Diferencias

El programa estuvo funcionando durante el periodo 2003-2015. Durante esos años cientos de

sociedades estuvieron operando, algunas fueron creadas en periodos intermedios y otras dejaron

de operar a lo largo del programa. En principio es posible seguir a cada una de esas sociedades a

través de los años. Podemos saber si recibieron apoyo del programa y cuándo. También podemos

saber cómo evolucionaron las métricas de interés antes de recibir el apoyo y después de recibir el

11

apoyo. Incluso podemos distinguir los periodos administrativos de interés para la evaluación:

2003-2010 y 2011-2015.

La mejor forma de explicar el enfoque de Diferencias en Diferencias en este contexto es

mediante una analogía. Supongamos una población de niños para quienes seguimos su desarrollo

físico mediante su estatura. Algunos de esos niños padecen desnutrición. Por esa razón el

gobierno implementa una política pública que consiste en otorgarles complementos vitamínicos.

La “teoría de cambio” es que con los complementos vitamínicos los niños van a crecer más en

promedio. Supongamos que unos niños reciben el tratamiento antes que otros, y que algunos

niños nunca lo reciben.

Si tuviéramos información anual de la estatura de cada niño y también de si recibió el

tratamiento, podríamos comparar las estaturas antes y después de recibir el tratamiento y entre

niños que recibieron el tratamiento antes, después o nunca. La siguiente gráfica muestra la

trayectoria de crecimiento hipotéticas de tres niños. El niño A recibió el tratamiento en el tercer

año del programa. El niño B recibió el tratamiento en el quinto año del programa. En contraste,

los niños C y D nunca recibieron el tratamiento. Las trayectorias de la estatura de los niños C y D

proveen contrafactuales para los niños A y B, porque C y D no transitaron de no tomar

complementos vitamínicos a tomar complementos vitamínicos. Sabemos que A y B no son

idénticos a C y D. Quizás el niño D no los tomó porque algo le impidió hacerlo. Quizás el niño D

no los tomó porque no estaba desnutrido. Sin embargo, la comparación en las trayectorias es la

que nos permite identificar el impacto del tratamiento.

Ejemplo de la aplicación del enfoque de Diferencias en Diferencias

1 2 3 4 5 6 7

A B C D

Esta

tura

Año del programa

También la comparación entre sujetos tratados en distintos momentos es valiosa. Por ejemplo, el

niño A recibió el tratamiento antes que el niño B. Si el tratamiento tiene un impacto, entonces el

12

niño A debería acelerar su crecimiento antes que el niño B. Eso es lo que muestra la gráfica. Los

saltos denotados por las líneas punteadas con los cambios consistentes con la teoría de cambio.

En el caso del programa, tenemos que durante el periodo 2003-2015 unas sociedades tuvieron

apoyo antes que otras. Algunas no tuvieron apoyo nunca—porque no lo quisieron o porque algo

se los impidió—. En términos generales la situación es análoga al caso hipotético de la gráfica

anterior. Si seguimos una métrica de interés de las sociedades, en principio podemos analizar la

evolución de esa métrica antes y después de recibir el apoyo, tanto entre las sociedades que

recibieron el apoyo en distintos años, así como entre las sociedades que recibieron apoyo y las

sociedades que no recibieron apoyo.

3.2 Métodos, técnicas y datos

3.2.1 Especificación econométrica de diferencias en diferencias

La forma en que implementamos el enfoque de Diferencias en Diferencias es mediante una

regresión con “efectos fijos” para cada año y para cada sociedad. La especificación que usamos

es la siguiente:

ititititit xwy

Donde yit es la métrica de interés para la sociedad i en el año t, α es una constante, θt es un efecto

fijo para el año t y ηi es un efecto fijo para la sociedad i. Las variables wit y xit indican cuándo

recibió apoyo la sociedad i. El coeficiente β es el impacto en la métrica de interés de haber

recibido apoyo en el periodo 2003-2010, y el coeficiente γ es el impacto de haber recibido apoyo

en 2011-2015. La suma β + γ es el impacto del apoyo para las sociedades que recibieron apoyo

tanto en 2003-2010 como en 2011-2015. El término de error está denotado por εit, y lo

suponemos independiente entre sociedades pero no necesariamente entre años para la misma

sociedad.

13

En principio, para cada sociedad observamos dos vectores cada uno con trece valores, de 2003 a

2015, de la forma:

11

11

11

01

01

01

01

01

01

01

00

00

00

20152015

20142014

20132013

20122012

20112011

20102010

20092009

20082008

20072007

20062006

20052005

20042004

20032003

ii

ii

ii

ii

ii

ii

ii

ii

ii

ii

ii

ii

ii

xw

xw

xw

xw

xw

xw

xw

xw

xw

xw

xw

xw

xw

En ese caso ilustrado para fines explicativos, en el periodo 2003-2010 la sociedad i comenzó a

recibir apoyo en 2006. Antes de 2006 los valores de wit son iguales a cero. A partir de 2006, los

valores de wit son iguales a uno. En el periodo 2011-2015 la sociedad i comenzó a recibir apoyo

en 2013. Antes de 2013 los valores de xit son iguales a cero. A partir de 2013, los valores de xit

son iguales a uno.

Los efectos fijos para cada año en nuestra especificación econométrica capturan cambios en las

condiciones agregadas del sector (regulación, tecnología disponible, demanda) y también de la

economía (inflación, crecimiento, tasas de interés, tipo de cambio). Los efectos fijos para cada

sociedad capturan heterogeneidad entre sociedades que está fija a través del tiempo. Algunos

ejemplos de esas características podrían ser el tipo de población atendida, la situación geográfica

y el tipo de industrias en las zonas en las que operan las sociedades.

Nuestra especificación econométrica no considera efectos compuestos de un mayor número de

eventos de apoyo a una misma sociedad, ni de mayores montos de esos apoyos. En otras

palabras, en la regresión no hay consideraciones sobre cuántas veces una sociedad recibió apoyo

ni sobre el monto del apoyo. Tratamos de la misma forma una sociedad que recibió apoyo en

varios eventos a través del tiempo que una sociedad que recibió una sola vez. También tratamos

idénticamente a sociedades independientemente de los montos de apoyo que cada una recibió.

La razón por la que optamos por no diferenciar por frecuencia de los eventos de apoyo y de su

monto es porque hay un problema potencial de “endogeneidad”. Las sociedades que reciben

14

apoyo más frecuentemente pueden ser las que enfrentan más dificultades y por lo tanto tienen

una menor probabilidad de terminar siendo autorizadas. Si ese fuera el caso, la mayor frecuencia

podría estar asociada a una menor probabilidad de no ser autorizada, sin que esa asociación tenga

una interpretación causal. Algo similar podría ocurrir con el monto del apoyo. También podemos

pensar en el caso opuesto. Las sociedades con mayor probabilidad de ser autorizadas pueden

anticipar mayores beneficios de recibir el apoyo y pueden ser las que lo soliciten más

frecuentemente y en mayor cuantía. En ese caso, la asociación con la probabilidad de ser

autorizada sería positiva pero tampoco sería causal. Para evitar sesgos de magnitud y dirección

desconocidas en las estimaciones del impacto decidimos dejar fuera del análisis la frecuencia de

los apoyos y su monto.

Finalmente, para hacer inferencia estadística utilizamos errores estándar robustos agrupados por

sociedad.

3.2.2 Métricas de interés

En esta sección describimos las métricas sobre las que los TdR requieren estimar el impacto del

programa en el periodo 2011-2015, tanto sobre la autorización de sociedades ante la CNBV,

como sobre los indicadores operativos y razones financieras de las sociedades.

3.2.2.1 Sociedades autorizadas

Los TdR requieren estimar el impacto del programa sobre el número de sociedades que obtienen

autorización por parte de la CNBV. Como mencionamos anteriormente, la autorización de

sociedades por parte de la CNBV constituye uno de los principales objetivos del programa. A

diferencia del resto de las métricas de interés, el seguimiento de cuántas sociedades lograron ser

autorizadas por la CNBV no depende de la información reportada por las sociedades.

Aunque los TdR mencionan como un indicador de interés a las sociedades en proceso de salida

ordenada, es difícil darle una interpretación apropiada a ese estatus. De acuerdo con la

información más reciente del estatus regulatorio de las sociedades, 116 deberían sujetarse a un

proceso de salida ordenada. Nuestra interpretación es que no debería contarse como un “éxito”

una salida ordenada si no podemos verificar esa salida en los hechos. Esa valoración está basada

en lo que vemos en los datos entre 2012 y 2013. En ese lapso, 158 sociedades pasaron de tener

una calificación con letra a estar “fuera de la ley”. En otras palabras, no es claro si efectivamente

dejaron de operar o mantuvieron operando al margen de la ley. Por esa razón no consideramos

apropiado tomar como estatus final (y por tanto como un resultado del programa) las

calificaciones con letra que en principio deberían conducir a una salida ordenada.

15

3.2.2.2 Indicadores operativos

El siguiente cuadro muestra los indicadores operativos sobre los que los TdR requieren

estimaciones de impacto del programa, así como su definición tomada de los reportes

regulatorios de las sociedades autorizadas por la CNBV y de los registros administrativos que

nos compartió BANSEFI.

Definición de los Indicadores operativos

Indicadores operativos Definición

Sucursales Número de sucursales

Socios Número de socios

Activos Activos totales en pesos

Captación Captación tradicional en pesos

3.2.2.3 Razones financieras

El siguiente cuadro muestra las razones financieras sobre las que los TdR requieren estimaciones

de impacto del programa, así como su definición tomada de los reportes regulatorios de las

sociedades autorizadas por la CNBV y de los registros administrativos que nos compartió

BANSEFI.

Definición de las Razones financieras

Razones financieras Definición

Índice de morosidad Cartera de crédito vencida (saldo a fin de mes) /

Cartera de crédito total (saldo a fin de mes)

Índice de capitalización Capital neto / Requerimiento total de capital por riesgos

Índice de cobertura Estimaciones preventivas para riesgos crediticios (saldo a fin de mes) /

Cartera de crédito vencida (saldos a fin de mes)

ROA Resultado neto acumulado (flujo 12 meses)/

Saldo del activo total (promedio 12 meses)

3.2.2.4 Rangos para las razones financieras

A diferencia de los indicadores operativos en los que un incremento puede interpretarse como

una mejoría operativa, la interpretación de las razones financieras está sujeta a consideraciones

ad hoc sobre el rango deseable desde el punto de vista del regulador (CNBV) y del operador del

programa (BANSEFI). Existen dos fuentes que establecen criterios sobre los rangos objetivo

para las razones financieras consideradas para la evaluación.

16

La primera fuente es la metodología acordada con el Sector en 2006, para dar seguimiento a las

sociedades con prórroga condicionada para lograr la autorización ante la CNBV en el periodo de

transición.11

La segunda fuente es la parametrización del resultado de los indicadores relevantes

que se utilizan en el Sistema de Monitoreo Financiero, el cual da seguimiento al comportamiento

de las sociedades que participan en el Programa de Asistencia Técnica a las Microfinanzas

Rurales, PATMIR.12

Con base en los rangos aplicables a las sociedades bajo distintos criterios,

BANSEFI nos indicó que para efectos de la evaluación, los rangos para cada razón financiera de

interés son los que se muestran en el siguiente cuadro.

Rango objetivo de las razones financieras

Razones financieras Fuente 1 Fuente 2

Índice de morosidad Menor o igual a 10% Menor o igual a 7%

Índice de capitalización Mayor o igual a 100% Mayor o igual a 110%

Cobertura Mayor o igual a 90% Mayor o igual a 100%

ROA Mayor o igual a 0 Mayor o igual a 5%

3.3 Procesamiento de información

3.3.1 Fuentes de datos

De conformidad con nuestra propuesta de trabajo, solicitamos a BANSEFI los datos con los que

cuenta sobre el sector. BANSEFI puso a nuestra disposición la información en varios archivos de

MS Excel. En esos archivos encontramos un identificador numérico único para cada sociedad

(“id caja”) que nos permite vincular la información de los distintos archivos a través del tiempo.

Los archivos contienen información sobre las métricas mencionadas en la sección previa para el

periodo 2003-2015. En total observamos 1,280 sociedades distintas en todo el periodo. Sin

embargo, no todas las sociedades que se observan son relevantes para efectos de la evaluación de

impacto. No todas las sociedades existieron durante todo el periodo y no todas forman parte de la

población objetivo del programa. En particular, la Ley establece que las sociedades con nivel de

operaciones básico no requieren ser autorizadas para realizar operaciones de ahorro y crédito,

siempre que no rebasen el equivalente a 2.5 millones de UDIS en sus activos totales. No

obstante, el programa contempla apoyos para que este tipo de sociedades adopten sanas prácticas

en su operación.

Como se explica en las siguientes secciones, en distintas especificaciones econométricas

utilizamos distintos grupos de comparación. En cada caso, las tablas correspondientes a cada

11 Metodología y criterios para la evaluación y clasificación de las sociedades de ahorro y crédito popular en prórroga

condicionada. BANSEFI, junio 16, 2006. 12 Sistema de monitoreo financiero BANSEFI, Informe de indicadores. Agosto 24, 2016.

17

especificación econométrica indican el número de sociedades y de observaciones que fueron

consideradas. Como discutimos en la sección 3.3.3, estimar el impacto usando el mayor número

de sociedades disponible nos permite verificar la robustez de las sub muestras de análisis que

corresponden a los objetivos del programa y de la evaluación de impacto. En términos llanos,

utilizar toda la información disponible nos permite comprobar qué tan sensibles son los

resultados obtenidos a la sub muestra de sociedades que se considere para estimar el impacto.

3.3.2 Valores faltantes, observaciones repetidas y observaciones atípicas

El panel de datos proporcionado por BANSEFI nos permite aprovechar toda la información

disponible aun cuando no tengamos series completas para cada sociedad y aun cuando la muestra

de interés para la evaluación esté acotada a un subconjunto del universo de sociedades para las

que se cuenta con información. Con datos para trece años (2003-2015) y 1,280 sociedades, en

principio podríamos tener 16,640 observaciones para efectuar nuestras estimaciones. Sin

embargo, no contamos con información en todos los años para todas las sociedades, sobre todo

cuando se trata de datos sobre razones financieras para las que la información disponible se

concentra en el periodo 2006-2015.13

Como comentamos en la sección anterior, no todas las

sociedades iniciaron desde 2003 ni todas tuvieron la obligación de reportar datos. De acuerdo

con lo informado por la Unidad Responsable en BANSEFI, las sociedades autorizadas son las

únicas que están obligadas a reportar las razones financieras de interés. Sin embargo, como se

explicó anteriormente el número potencial de observaciones se utiliza como una referencia para

ilustrar la información disponible para nuestras estimaciones y para comprobar la robustez de las

mismas.

En los datos encontramos observaciones repetidas en la información operativa. Por ejemplo, el

número de socios es exactamente el mismo en varios años seguidos. Lo mismo ocurre con la

cifra de activos y de captación. Ante nuestra pregunta expresa, BANSEFI comentó que para fines

de generar reportes del sector se imputan valores cuando hay información faltante. La

imputación utiliza el último valor reportado conocido.14

Aunque no se cuenta con un registro de

qué valores fueron imputados en los datos que nos compartió BANSEFI, podemos distinguir esas

observaciones repetidas para excluirlas del análisis. Solamente intentamos identificar

observaciones repetidas en tres variables: número de socios, activos y captación.

13 La Unidad Responsable en BANSEFI indicó que algunas sociedades dejaron de reportar información derivado del

incumplimiento a la normatividad aplicable y adquirir el estatus: “fuera de ley”. Asimismo, nos informó que las sociedades nivel

básico no reportaron información financiera sino hasta fecha reciente en que empezaron a ser evaluadas por el Comité de

Supervisión Auxiliar. 14 La Unidad Responsable en BANSEFI indicó que la imputación tuvo lugar principalmente en aquellas sociedades que salieron

del sector por incumplimiento y en sociedades nivel básico que no reportaron en algún periodo.

18

Los datos sobre las razones financieras en algunos casos presentan valores que aunque pueden

ser contablemente correctos, no tienen una clara interpretación económica y podrían sesgar las

estimaciones. Esos valores atípicos son demasiado altos o demasiado bajos (negativos).

Utilizamos reglas de dedo para determinar qué observaciones eran extremas. Para el índice de

morosidad utilizamos un valor máximo de 50%. Para el índice de capitalización usamos un valor

máximo de 2,000%. Para el índice de cobertura usamos un valor de 500%. Para ROA usamos un

valor de 100%.

El cuadro siguiente presenta un resumen de la importancia de las observaciones faltantes, las

observaciones repetidas y las observaciones atípicas. Si todas las sociedades identificadas en el

periodo hubieran operado todos los años del periodo y hubieran reportado información completa

en todos los años, podríamos contar con 16,640 observaciones (trece para cada una de las 1,280

sociedades). Sin embargo, el número de observaciones con valores reportados como porcentaje

del número potencial (columna A) se ubica entre 11.7 y 46.1%. En las razones financieras

observamos más valores faltantes: solamente contamos con 12% o menos de los valores

potenciales.15

Importancia de las observaciones faltantes, repetidas y atípicas

Métrica de interés Observaciones con

valores, % del

número potencial

Observaciones con

valores excluyendo

repeticiones, % del

número potencial

Observaciones

atípicas, % del

número potencial

A B C

Sucursales 45.9 45.9 0.00

Socios 46.1 30.2 0.00

Activos 45.6 32.0 0.00

Captación 38.3 29.6 0.00

Índice de morosidad 11.9 11.9 0.38

Índice de capitalización 12.0 12.0 0.33

Cobertura 11.7 11.7 0.09

ROA 12.0 12.0 0.16 El número potencial de observaciones es 16,640.

La columna B muestra el porcentaje de las observaciones que no son repetidas. En otras

palabras, la columna B indica el porcentaje de observaciones potenciales con las que nos

quedamos una vez que eliminamos las observaciones repetidas. Las únicas métricas afectadas

son: número de socios, activos y captación. En esos tres casos el porcentaje se reduce a un nivel

por debajo de 35%.

Finalmente, la columna C muestra el número de observaciones atípicas como porcentaje del

número potencial de observaciones. Para las cuatro métricas en las que definimos observaciones

15 Ver nota al pie número 13.

19

atípicas encontramos que menos de 0.5% de las observaciones potenciales son atípicas. Sin

embargo, C divido por A indica que el número relativo de observaciones con valores atípicos no

es despreciable: se ubica entre 0.8 y 3.2%.

Para nuestro análisis vamos a excluir las observaciones repetidas. Sin embargo, a petición de

BANSEFI vamos a analizar si los resultados son sensibles a la inclusión de las observaciones

repetidas. En cuanto a las observaciones atípicas, vamos a probar varias formas de tratarlas y

analizar si los resultados son consistentes.

3.3.3 Robustez y distintas sub muestras de análisis

La técnica cuasi experimental que empleamos depende enteramente de la comparabilidad de las

sociedades. Esa comparabilidad no es verificable. No podemos saber si las sociedades no

apoyadas son un grupo de control apropiado para las sociedades apoyadas. Tampoco podemos

saber si las sociedades apoyadas antes son un buen grupo de control para las sociedades

apoyadas después. Lo más que podemos hacer con los datos disponibles es utilizar distintas

muestras para analizar si los resultados se modifican cuando usamos distintos grupos de

sociedades para la estimación del impacto del programa.

Comenzamos estimando el impacto con el mayor número de sociedades disponible. Dados esos

resultados, procedemos con estimaciones para distintas sub muestras. Las comparaciones son

informativas de la robustez de los resultados. Si varían poco entre sub muestras, diríamos que

son robustos. El cuadro siguiente presenta las muestras o sub muestras que consideramos.

Sub muestras para análisis de robustez

Muestra o sub muestra Explicación

A. Todas las sociedades Esta muestra constituye nuestra estimación base. Con ella comparamos

las demás estimaciones.

B. Sociedades que en algún momento

recibieron apoyo

Se excluyen las sociedades que nunca recibieron apoyo. Esas sociedades

podrían ser fundamentalmente diferentes de las sociedades que sí

recibieron apoyo. De ahí la importancia de probar este escenario.

C. Sociedades que observamos en algún

año sin apoyo

Se excluyen las sociedades que recibieron apoyo desde 2003. Esta sub

muestra es relevante porque si una sociedad recibió apoyo en 2003, en

ningún año la observamos sin apoyo y por lo tanto no tenemos un antes y

un después del apoyo.

D. La intersección de B y C, esto es, las

sociedades que recibieron apoyo pero

no en 2003

Esta sub muestra está compuesta exclusivamente de sociedades que a lo

largo del periodo 2003-2015 observamos tanto con apoyo como sin

apoyo. En ese sentido son las más comparables. La diferencia es

solamente el año en que recibieron apoyo—no si lo recibieron—.

E. Las sociedades que nunca tuvieron

estatus regulatorio “básica”

Conforme la regulación, las sociedades con nivel de operaciones básico

no requieren ser autorizadas..

F. Las sociedades que eventualmente

fueron autorizadas

Esas sociedades probablemente reportaron información más completa y

de mayor calidad. Esto puede incrementar la precisión de las

estimaciones.

20

3.4 Resultados

3.4.1 Estadísticas descriptivas

En esta sección presentamos en primer lugar el número de sociedades que recibieron apoyo en

las dos etapas del programa. Como explicamos en la sección anterior, el periodo en que las

sociedades recibieron apoyo es útil para la estrategia de identificación del impacto del programa.

En segundo lugar, describimos la evolución de las métricas de interés para las sociedades durante

el periodo de análisis con el objetivo de ilustrar si existe margen para atribuirle al programa un

impacto positivo sobre las métricas de interés. Puesto de otra forma, si no observamos mejoras

en un indicador durante el periodo de análisis, el impacto factible del programa sobre ese

indicador quedaría restringido en el mejor de los casos a estimar en qué medida el programa

logró evitar que un indicador empeorara.

Como explicaremos con detalle en la siguiente sección, en el periodo 2003-2011 existen 1,280

sociedades que reportaron información. Sin embargo, dicha información presenta carencias

importantes, atribuibles en buena medida a que únicamente a partir de que se autorizan por

CNBV tienen las sociedades la obligación de reportar sus indicadores. Con excepción del

número de sociedades autorizadas, ninguna métrica presenta datos completos en ningún año para

las 1,280 sociedades en el panel de datos. Para la mayoría de las métricas se cuenta información

para un número muy reducido de sociedades y ese número varía significativamente cada año y es

diferente para cada métrica. Al no contar con un panel balanceado, no es posible seguir de

manera convencional la evolución de las métricas de interés. Ante ello, la alternativa es hacer

estimaciones que necesariamente están sujetas a objeciones metodológicas y a problemas de

interpretación.

Con el objetivo de dar seguimiento a las métricas de interés, optamos por construir índices para

cada métrica (excepto para el número de sociedades autorizadas) mediante estimaciones

econométricas incorporando efectos fijos por sociedad y por año, de acuerdo con la siguiente

fórmula:

ititity

Donde yit es la métrica de interés para la sociedad i en el año t, α es una constante, θt es el efecto

fijo para el año t y ηi es el efecto fijo para la sociedad i. El término de error es υit. El índice para

la métrica de interés se define como las estimaciones de los efectos fijos θt. Su valor solamente

es relevante en términos relativos, esto es, en comparaciones a través del tiempo.

21

El único caso en el que no requerimos hacer estimaciones es el número de sociedades

autorizadas. La razón es que ese número no depende de que cada sociedad reporte cada año si ha

sido autorizada.

3.4.1.1 Sociedades apoyadas

La siguiente gráfica muestra el número acumulado de sociedades que solicitaron y recibieron

apoyo en cada año. Entre 2003 y 2011 recibieron apoyo (al menos una vez) 577 sociedades.

Entre ellas, 529 recibieron apoyo entre 2003 y 2010. Entre 2011 y 2015 recibieron apoyo (al

menos una vez) 48 sociedades que no habían recibido apoyo en el periodo anterior (2003-2010)

y 291 sociedades que sí recibieron apoyo en el periodo anterior.

Número acumulado de sociedades apoyadas según el periodo en que lo recibieron

3.4.1.2 Estatus regulatorio

Durante el periodo de análisis se distinguen seis estatus regulatorios entre las 1,280 sociedades

que integran el panel de datos disponible.16

La siguiente gráfica muestra el número de sociedades

en cada estatus regulatorio. Como puede verse en la siguiente gráfica, las primeras sociedades

fueron autorizadas por la CNBV en 2006. A partir de ese año, el número de sociedades

autorizadas creció cada año hasta el final del periodo de análisis con excepción de 2015, año en

que el número de sociedades autorizadas permaneció sin cambio respecto del año anterior.

Durante el periodo relevante observamos un total de 201 sociedades que lograron la autorización

de la CNBV.17

De acuerdo con la legislación vigente, las sociedades que se encontraban en el

16 Aunque las bases de datos proporcionadas por BANSEFI incluyen un número mucho mayor de estatus regulatorios, éstos

fueron agrupados conforme a su interpretación económica con base en los objetivos del programa en acuerdo con la unidad

responsable de BANSEFI. 17 Según la Unidad Responsable de BANSFI, las 201 sociedades autorizadas representan el 86% de los socios y el 89% de los

activos totales del Sector.

22

periodo de transición y que no fueron autorizadas por la CNBV (o que no se encuentra en

proceso de ser autorizadas por CNBV), tendrían que ser emplazadas a un proceso de salida

ordenada si su nivel de operación rebasa los límites establecidos para continuar operando en el

nivel básico.18

El contar con una calificación A-D es un estatus temporal (periodo de transición)

que corresponde a sociedades con prórroga condicionada a ser autorizadas.

Número de sociedades por estatus regulatorio


i. Sucursales

Como puede verse en la gráfica siguiente, el número de sociedades con información en cada año

va de 345 a 962 sociedades. Aunque la información faltante impide seguir de manera

convencional el número promedio de sucursales, el índice en el panel derecho de la gráfica

sugiere que hubo un incremento sostenido durante el periodo.

18 La Unidad Responsable de BANSEFI, señala que las sociedades básicas pueden continuar operando siempre que no rebasen el

equivalente a 2.5 millones de UDIs en activos totales. Solo si rebasan ese límite deben solicitar autorización a la CNBV.

23

Información sobre número de sucursales

Número de sociedades con información

sobre número de sucursales

Índice de número de sucursales

ii. Socios

Como puede verse en la siguiente gráfica, el número de sociedades con información en cada año

va de 102 a 557 sociedades. El índice en el panel derecho de la gráfica sugiere que ese número

incrementó sostenidamente durante el periodo.

Información sobre número de socios


sobre número de socios

Índice de número de socios

iii. Activos



convencional el monto promedio de los activos, el índice en el panel derecho de la gráfica

sugiere que incrementó sostenidamente durante el periodo.

24

Información sobre activos


sobre activos

Índice de activos

(en miles de pesos)

iv. Captación



convencional el promedio de captación, el índice en el panel derecho de la gráfica sugiere que

incrementó sostenidamente durante el periodo.

Información sobre captación

Número de sociedades con información sobre captación Índice de captación (en miles de pesos)


i. Índice de morosidad


va de cero a 358 sociedades. Aunque la información faltante impide seguir de manera

25

convencional el Índice de morosidad, el índice en el panel derecho de la gráfica sugiere que

durante el periodo tuvo un comportamiento mixto.

Información sobre Índice de morosidad


sobre el Índice de morosidad Índice del

Índice de morosidad

ii. Índice de capitalización



convencional el Índice de capitalización, el índice en el panel derecho de la gráfica sugiere que

durante el periodo tuvo un comportamiento mixto (con fluctuaciones hacia arriba y hacia abajo).

En 2010 se observan valores atípicos. Como mencionamos antes, a petición de BANSEFI vamos

a probar varias formas de tratar las observaciones atípicas y analizar si los resultados son

consistentes.

26

Información sobre Índice de capitalización


sobre el Índice de capitalización Índice del

Índice de capitalización

iii. Índice de cobertura



convencional el Índice de cobertura, el índice en el panel derecho de la gráfica sugiere que

durante el periodo tuvo un comportamiento mixto (con fluctuaciones hacia arriba y hacia abajo).

Información sobre cobertura

Número de sociedades con información sobre cobertura Índice de cobertura

iv. ROA



27

convencional el ROA, el índice en el panel derecho de la gráfica sugiere que durante el periodo

tuvo un comportamiento mixto (con fluctuaciones hacia arriba y hacia abajo).

Información sobre ROA

Número de sociedades con información sobre ROA Índice de ROA

3.4.1.5 Rango de las razones financieras

Estimar el impacto del programa en las razones financieras requiere la consideración de los

rangos objetivo que se consideran para cada una de esas razones. La existencia de observaciones

atípicas en las razones financieras requiere un tratamiento especial de los datos. Una de las

consideraciones fundamentales para elegir qué tratamiento es más apropiado darle a las

observaciones atípicas es la medida en que dicho tratamiento afecta las estimaciones de impacto.

Como explicamos más adelante, se probaron distintas alternativas que fueron acordadas con la

unidad responsable de BANSEFI.

3.4.1.6 Indicadores del Project Appraisal Document (PAD)19

Los TdR mencionan que se requiere mostrar la evolución de varios indicadores del PAD del

Banco Mundial para el periodo 2003-2015. El cuadro siguiente muestra los indicadores que la

Unidad Responsable en BANSEFI puso a nuestra disposición para tal efecto.

Como puede observarse en el cuadro, sólo encontramos datos para los indicadores del PAD a

partir de 2005. Los datos muestran incrementos sostenidos en el número de sociedades

certificadas por la CNBV y en el número de sociedades fusionadas o liquidadas. En la sección de

indicadores relativos a desempeño financiero, el cuadro muestra incrementos sostenidos en la

capitalización de las sociedades certificadas, en el número de clientes y en el número de puntos

de acceso. El índice de morosidad promedio muestra un comportamiento mixto.

19 PAD: Project Appraisal Document.

28

Los indicadores intermedios reflejan la actividad en el segundo periodo de operación del

programa con proyectos individuales. Aproximadamente dos terceras partes de las sociedades

recibieron asistencia técnica y capacitación para mejorar su operación y una tercera parte para

certificarse.

Indicadores del PAD 2003-2015

2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

PDO1. # de entidades autorizadas por la CNBV (acumulado) 3 18 48 77 86 98 106 113 178 192 195

PDO2. # de sociedades fusionadas o liquidadas (acumulado) 3 4 6 11 11 13 13 26 30 34

Desempeño financiero de las entidades autorizadas

PDO3a. % de entidades autorizadas con un índice de capitalización ≥ 150%

85.7 85.8 90.2 86.4 89.7

PDO3b. Índice de Morosidad promedio

de las entidades autorizadas

7.1 6.8 6.5 6.8 6.3

PDO4. # de clientes de las entidades autorizadas,

cifras en miles (acumulado)

6,104 6,358 7,399 8,231 9,004

PDO5. # de puntos de acceso (sucursales) que ofrecen las entidades autorizadas (acumulado)

1,925 2,164 2,745 2,989 3,006

Indicadores intermedios

INT1. Sociedades que recibieron asistencia técnica y

capacitación para certificarse (acumulado)

116 172 173 184 184

INT2. Entidades autorizadas que recibieron asistencia técnica y capacitación para mejorar su operación (acumulado)

71 82 92 156 161

INT3. Número de sociedades apoyadas para salida ordenada

(acumulado)

1 1 4 5 5 5 6 23 34 46

En términos de la evaluación de impacto los incrementos en los indicadores del PAD constituyen

en principio el espacio para conjeturar que puede haber un impacto atribuible al programa. Por

ejemplo, si no existiera un incremento en el número de sociedades certificadas por la CNBV no

existiría un margen para poder conjeturar que existe un impacto positivo del programa en el

número de sociedades certificadas.

3.4.2 Estimaciones de impacto

En esta sección presentamos las estimaciones del impacto de haber recibido apoyo del programa

en las métricas de impacto. Para obtener las estimaciones utilizamos el enfoque de Diferencias

en Diferencias descrito anteriormente. Con el propósito de analizar la robustez de los resultados

usando la muestra completa (columna A en los cuadros siguientes), para cada una de las métricas

de impacto usamos las cinco sub muestras adicionales mencionadas antes (B a F).

3.4.2.1 Estatus regulatorio

Los resultados en la columna A (con la muestra completa) en el cuadro siguiente indican un

impacto positivo y estadísticamente significativo del apoyo en la probabilidad de que la sociedad

que lo recibe sea autorizada. Las estimaciones del impacto son positivas para el apoyo en el

periodo 2003-2010, y también para el periodo 2011-2015. El apoyo en 2003-2010 está asociado

con un incremento de 0.066 en la probabilidad de ser autorizada. El apoyo en 2011-2015 está

29

asociado con un incremento de 0.286 en la probabilidad de ser autorizada. Para las sociedades

que recibieron apoyo en ambos periodos, el incremento total en la probabilidad de ser autorizada

es de 0.352.

Impacto del apoyo en la probabilidad de que una sociedad sea autorizada

Muestra

A B C D E F

Apoyo 2003-2010 0.066 0.012 0.117 0.095 0.073 0.226

Valor p 0.012 0.682 0.000 0.002 0.012 0.000

Apoyo 2011-2015 0.286 0.248 0.191 0.184 0.287 0.110

Valor p 0.000 0.000 0.000 0.000 0.000 0.001

R cuadrada 0.64 0.63 0.63 0.63 0.64 0.71

Observaciones 16,640 7,501 12,870 3,731 14,170 2,613

Sociedades 1,280 577 990 287 1,090 201

Los coeficientes significativos al 95% de confianza aparecen en negritas

Los resultados usando las sub muestras en B a F no cambian demasiado. Si bien las estimaciones

puntuales varían, el signo y la significancia no lo hacen. Solamente en un caso (columna B) el

apoyo en 2003-2010 pierde significancia. Este resultado es favorable al primer objetivo de

desarrollo del proyecto mostrado en el tablero de indicadores del PAD.


El cuadro siguiente muestra los resultados para los indicadores operativos. En resumen,

encontramos un impacto positivo del apoyo en 2011-2015 en el número de sucursales (columna

A), pero esa estimación no es robusta a la muestra utilizada.

El impacto en el número de socios es positivo y significativo para el apoyo en ambos periodos.

El apoyo en 2003-2010 está asociado a un incremento de aproximadamente 27% en el número de

socios. El apoyo en 2011-2015 está asociado a un incremento de aproximadamente 28% en el

número de socios. El resultado cualitativo se mantiene en varias sub muestras, pero no en todas.

30

Impacto del apoyo en los indicadores operativos

Muestra

A B C D E F

Número de sucursales

Apoyo 2003-2010 -0.066 -0.157 -0.406 -0.899 -0.017 0.604

Valor p 0.933 0.837 0.766 0.546 0.985 0.814

Apoyo 2011-2015 1.718 1.481 2.542 2.020 1.264 -2.033

Valor p 0.043 0.098 0.230 0.347 0.177 0.447

R cuadrada 0.92 0.92 0.93 0.93 0.92 0.92

Observaciones 7,635 5,696 4,274 2,335 6,561 2,267

Sociedades 1,023 557 735 269 880 201

Número de socios

Apoyo 2003-2010 0.271 0.273 0.541 0.543 0.297 0.821

Valor p 0.036 0.029 0.083 0.070 0.028 0.005

Apoyo 2011-2015 0.283 0.348 0.440 0.557 0.269 -0.043

Valor p 0.003 0.000 0.017 0.003 0.007 0.801

R cuadrada 0.90 0.87 0.85 0.77 0.90 0.88

Observaciones 5,019 4,139 2,426 1,546 4,652 2,004

Sociedades 1,003 554 716 267 880 199

Activos

Apoyo 2003-2010 0.587 0.597 0.836 0.844 0.650 0.972

Valor p 0.000 0.000 0.056 0.043 0.000 0.007

Apoyo 2011-2015 0.331 0.469 0.439 0.684 0.335 0.044

Valor p 0.000 0.000 0.009 0.000 0.000 0.775

R cuadrada 0.92 0.92 0.89 0.88 0.92 0.91

Observaciones 5,330 4,418 2,568 1,656 4,943 2,108

Sociedades 992 547 710 265 863 199

Captación

Apoyo 2003-2010 0.798 0.812 0.004 0.054 0.841 0.920

Valor p 0.000 0.000 0.993 0.888 0.000 0.009

Apoyo 2011-2015 0.309 0.420 0.487 0.655 0.279 -0.058

Valor p 0.010 0.000 0.032 0.003 0.030 0.828

R cuadrada 0.91 0.90 0.87 0.85 0.91 0.87

Observaciones 4,926 4,315 2,163 1,552 4,591 2,015

Sociedades 864 535 578 249 766 189


El impacto en el monto de los activos es positivo y significativo en ambos periodos. El apoyo en

2003-2010 está asociado a un incremento de aproximadamente 59% en los activos. El apoyo en

2011-2015 está asociado a un incremento de aproximadamente 33% en los activos. El resultado

cualitativo se mantiene en todas las sub muestras, salvo en la F para el apoyo en 2011-2015.

El impacto en el monto de la captación es positivo y significativo. El apoyo en 2003-2010 está

asociado a un incremento de aproximadamente 80% en la capación. El apoyo en 2011-2015 está

asociado a un incremento de aproximadamente 31% en la captación. El resultado cualitativo se

mantiene en las demás sub muestras, salvo en C y D para el apoyo en 2003-2010 y en F para el

apoyo en 2011-2015.

Como dijimos antes, en los datos compartidos por BANSEFI encontramos observaciones

repetidas que entendemos son el resultado de imputar valores con base en los valores reportados

previamente. Esas observaciones fueron excluidas del análisis. Sin embargo, a petición de

BANSEFI presentamos las estimaciones incluyéndolas en la muestra. Las únicas métricas

31

afectadas por las observaciones repetidas son el número de socios, el monto de los activos y el

monto de la captación. El cuadro siguiente presenta las estimaciones que resultan de incluir las

observaciones repetidas. Aunque hay variaciones con respecto a las estimaciones que obtenemos

al dejar fuera las observaciones repetidas, los resultados son esencialmente los mismos.

Impacto del apoyo en los indicadores operativos incluyendo observaciones repetidas

Muestra

A B C D E F

Número de socios

Apoyo 2003-2010 0.240 0.229 0.411 0.326 0.252 0.714

Valor p 0.032 0.037 0.070 0.141 0.035 0.012

Apoyo 2011-2015 0.341 0.352 0.558 0.581 0.316 0.078

Valor p 0.000 0.000 0.000 0.000 0.000 0.498

R cuadrada 0.92 0.88 0.89 0.80 0.91 0.88

Observaciones 7,664 5,746 4,321 2,403 6,718 2,280

Sociedades 1,003 554 716 267 880 199

Activos

Apoyo 2003-2010 0.498 0.498 0.546 0.455 0.560 0.885

Valor p 0.000 0.000 0.090 0.132 0.000 0.006

Apoyo 2011-2015 0.364 0.428 0.519 0.617 0.349 0.041

Valor p 0.000 0.000 0.000 0.000 0.000 0.736

R cuadrada 0.94 0.92 0.92 0.89 0.93 0.91

Observaciones 7,585 5,638 4,287 2,340 6,584 2,272

Sociedades 992 547 710 265 863 199

Captación

Apoyo 2003-2010 0.748 0.757 -0.033 -0.013 0.774 0.986

Valor p 0.000 0.000 0.924 0.970 0.000 0.004

Apoyo 2011-2015 0.390 0.434 0.571 0.630 0.348 0.007

Valor p 0.000 0.000 0.000 0.000 0.000 0.973

R cuadrada 0.92 0.90 0.90 0.86 0.92 0.87

Observaciones 6,377 5,333 3,120 2,076 5,757 2,140

Sociedades 864 535 578 249 766 189



Los cuadros siguientes presentan las estimaciones del impacto del apoyo en las razones

financieras de las sociedades. Como mencionamos antes, existen observaciones atípicas que

pueden sesgar los resultados. Por esa razón adoptamos distintas estrategias para lidiar con los

valores atípicos.

Para cada una de las cuatro razones financieras, los cuadros siguientes presentan cinco conjuntos

de resultados. En el primero están los resultados sin manipulación de las observaciones atípicas.

En el segundo están los resultados si para cada sociedad eliminamos las observaciones más alta y

más baja de la muestra (a sugerencia de BANSEFI). En tercer lugar están los resultados

eliminando las observaciones que son económicamente anómalas. Con base en su valor,

decidimos dejarlas fuera: índice de morosidad superior a 50%, índice de capitalización superior a

2,000 %, índice de cobertura mayor a 500% y ROA mayor a 100%. En los últimos dos conjuntos

32

de resultados la variable dependiente es la probabilidad de que la razón financiera se ubique en

un rango favorable.

En resumen, no encontramos una mejora significativa en las razones financieras como resultado

del apoyo.20

Sin embargo, es conveniente mencionar que esos resultados difícilmente son

concluyentes por dos razones. En primer lugar, contamos con información de esas razones

solamente para un subconjunto pequeño de las sociedades que es atribuible en buena medida a

que solo las sociedades autorizadas están obligadas a reportar dicha información. En segundo

lugar, las razones financieras no necesariamente reflejan cambios en un sentido claramente

interpretable. Por ejemplo, el índice de morosidad antes de recibir apoyo podría ser

artificialmente bajo como resultado de prácticas contables cuestionables—e.g. otorgar un crédito

adicional para cubrir uno que ha llegado a su vencimiento y no ha sido pagado—. Después de

recibir apoyo, una sociedad podría haber mejorado sus prácticas y haber reportado

apropiadamente el índice de morosidad conforme a la normatividad aplicable, el cual en

principio podría ser más alto.

Cabe mencionar que encontramos que el apoyo en 2011-2015 está asociado con una reducción

en la probabilidad de que el índice de morosidad sea inferior a 7%. También encontramos que el

apoyo en 2003-2010 está asociado con una reducción en el índice de cobertura una vez que

manipulamos las observaciones atípicas.

20 La Unidad Responsable en BANSEFI señala que el programa no estableció como objetivo primordial de los apoyos la mejora

de los indicadores financieros en cuestión. Sin embargo, reportamos el impacto estimado en esos indicadores en cumplimiento

con lo establecido en los TdR.

33

Impacto del apoyo en el índice de morosidad

Muestra

A B C D E F

Índice de morosidad

Apoyo 2003-2010 18.25 18.22 14.03 13.80 18.21 13.41

Valor p 0.064 0.064 0.184 0.187 0.064 0.150

Apoyo 2011-2015 -3.30 -3.55 -8.26 -9.88 -3.30 -3.25

Valor p 0.296 0.281 0.245 0.206 0.294 0.287

R cuadrada 0.54 0.54 0.60 0.59 0.51 0.38

Observaciones 1,984 1,956 694 666 1,929 1,315

Sociedades 431 423 182 174 406 197

Índice de morosidad excluyendo las obs. más baja y más alta para cada sociedad

Apoyo 2003-2010 -1.14 -1.11 -7.38 -7.15 -1.14 -1.11

Valor p 0.631 0.640 0.038 0.044 0.630 0.617

Apoyo 2011-2015 -1.89 -1.96 -4.73 -5.44 -1.89 -1.89

Valor p 0.395 0.393 0.400 0.382 0.393 0.360

R cuadrada 0.71 0.70 0.67 0.64 0.70 0.57

Observaciones 1,151 1,137 350 336 1,139 925

Sociedades 364 359 141 136 353 190

Índice de morosidad excluyendo observaciones por arriba de 50%

Apoyo 2003-2010 7.20 7.20 4.41 4.37 7.17 7.37

Valor p 0.086 0.087 0.320 0.329 0.089 0.102

Apoyo 2011-2015 0.98 0.88 0.86 0.27 0.99 1.05

Valor p 0.424 0.487 0.678 0.903 0.419 0.368

R cuadrada 0.65 0.66 0.70 0.70 0.63 0.50

Observaciones 1,920 1,894 654 628 1,874 1,294

Sociedades 427 419 179 171 405 197

Probabilidad de que Índice de morosidad sea menor a 10%

Apoyo 2003-2010 -0.180 -0.179 -0.048 -0.042 -0.181 -0.233

Valor p 0.536 0.538 0.877 0.893 0.533 0.483

Apoyo 2011-2015 -0.011 -0.007 -0.041 -0.020 -0.011 -0.013

Valor p 0.875 0.922 0.740 0.879 0.875 0.852

R cuadrada 0.54 0.54 0.56 0.56 0.53 0.43

Observaciones 1,984 1,956 694 666 1,929 1,315

Sociedades 431 423 182 174 406 197

Probabilidad de que Índice de morosidad sea menor a 7%

Apoyo 2003-2010 -0.076 -0.076 0.118 0.118 -0.076 -0.125

Valor p 0.670 0.670 0.578 0.579 0.667 0.543

Apoyo 2011-2015 -0.144 -0.142 -0.271 -0.251 -0.144 -0.145

Valor p 0.044 0.055 0.031 0.066 0.043 0.037

R cuadrada 0.50 0.50 0.58 0.58 0.50 0.45

Observaciones 1,984 1,956 694 666 1,929 1,315

Sociedades 431 423 182 174 406 197


34

Impacto del apoyo en el índice de capitalización

Muestra

A B C D E F

Índice de capitalización

Apoyo 2003-2010 -10,951 -11,066 -30,743 -32,058 -11,058 -14,870

Valor p 0.174 0.168 0.335 0.332 0.173 0.207

Apoyo 2011-2015 12,423 13,279 28,801 33,831 12,425 12,376

Valor p 0.384 0.388 0.405 0.405 0.382 0.370

R cuadrada 0.26 0.26 0.26 0.26 0.26 0.24

Observaciones 1,992 1,962 702 672 1,937 1,323

Sociedades 431 423 182 174 406 197

Índice de capitalización excluyendo las obs. más baja y más alta para cada sociedad

Apoyo 2003-2010

Valor p

Apoyo 2011-2015 -3,366 -3,438 -9,348 -9,984 -3,366 -3,391

Valor p 0.404 0.405 0.428 0.430 0.402 0.369

R cuadrada 0.37 0.37 0.40 0.41 0.37 0.37

Observaciones 1,157 1,141 356 340 1,145 932

Sociedades 363 358 141 136 352 190

Índice de capitalización excluyendo observaciones por arriba de 2,000%

Apoyo 2003-2010 -611 -611 -544 -542 -611 -715

Valor p 0.104 0.103 0.166 0.166 0.103 0.082

Apoyo 2011-2015 45 54 125 157 45 47

Valor p 0.405 0.317 0.304 0.204 0.401 0.367

R cuadrada 0.75 0.75 0.74 0.75 0.74 0.64

Observaciones 1,937 1,915 655 633 1,884 1,278

Sociedades 430 423 181 174 405 196

Probabilidad de que el índice de capitalización sea mayor a 100%

Apoyo 2003-2010 -0.149 -0.150 -0.111 -0.110 -0.146 -0.143

Valor p 0.174 0.171 0.280 0.275 0.179 0.231

Apoyo 2011-2015 0.027 0.028 0.102 0.115 0.027 0.026

Valor p 0.564 0.563 0.157 0.149 0.562 0.562

R cuadrada 0.51 0.52 0.63 0.64 0.49 0.31

Observaciones 1,992 1,962 702 672 1,937 1,323

Sociedades 431 423 182 174 406 197

Probabilidad de que el índice de capitalización sea mayor a 110%

Apoyo 2003-2010 -0.198 -0.201 -0.132 -0.139 -0.197 -0.194

Valor p 0.068 0.062 0.270 0.233 0.069 0.089

Apoyo 2011-2015 -0.004 0.006 0.037 0.071 -0.004 -0.005

Valor p 0.929 0.911 0.693 0.465 0.929 0.909

R cuadrada 0.52 0.53 0.62 0.64 0.50 0.35

Observaciones 1,992 1,962 702 672 1,937 1,323

Sociedades 431 423 182 174 406 197

35

Impacto del apoyo en el índice de cobertura

Muestra

A B C D E F

Índice de cobertura

Apoyo 2003-2010 -719.4 -722.3 -637.9 -646.9 -719.0 -824.5

Valor p 0.290 0.288 0.372 0.366 0.288 0.265

Apoyo 2011-2015 -36.3 -40.2 -86.0 -94.7 -36.3 -35.6

Valor p 0.320 0.282 0.454 0.433 0.318 0.318

R cuadrada 0.28 0.27 0.26 0.24 0.28 0.26

Observaciones 1,955 1,929 677 651 1,900 1,287

Sociedades 430 422 181 173 405 196

Índice de cobertura excluyendo las obs. más baja y más alta para cada sociedad

Apoyo 2003-2010

Valor p

Apoyo 2011-2015 -15.2 -14.7 -15.1 -14.0 -15.2 -15.2

Valor p 0.103 0.121 0.477 0.531 0.101 0.081

R cuadrada 0.61 0.60 0.71 0.71 0.60 0.54

Observaciones 1,125 1,113 336 324 1,113 900

Sociedades 359 355 137 133 348 186

Índice de cobertura excluyendo observaciones por arriba de 500%

Apoyo 2003-2010 -83.4 -83.3 -76.7 -76.3 -83.3 -102.5

Valor p 0.006 0.006 0.016 0.017 0.006 0.000

Apoyo 2011-2015 -11.7 -11.9 -17.7 -18.5 -11.7 -11.5

Valor p 0.197 0.204 0.387 0.399 0.195 0.188

R cuadrada 0.60 0.60 0.55 0.54 0.59 0.52

Observaciones 1,940 1,916 669 645 1,885 1,274

Sociedades 430 422 181 173 405 196

Probabilidad de que el índice de cobertura sea mayor a 90%

Apoyo 2003-2010 -0.500 -0.500 -0.447 -0.448 -0.502 -0.547

Valor p 0.000 0.000 0.012 0.011 0.000 0.000

Apoyo 2011-2015 -0.088 -0.110 -0.081 -0.131 -0.088 -0.089

Valor p 0.186 0.094 0.402 0.143 0.182 0.162

R cuadrada 0.55 0.54 0.55 0.55 0.54 0.41

Observaciones 1,955 1,929 677 651 1,900 1,287

Sociedades 430 422 181 173 405 196

Probabilidad de que el índice de cobertura sea mayor a 100%

Apoyo 2003-2010 -0.611 -0.612 -0.539 -0.538 -0.609 -0.669

Valor p 0.000 0.000 0.001 0.001 0.000 0.000

Apoyo 2011-2015 -0.103 -0.124 -0.024 -0.066 -0.103 -0.103

Valor p 0.146 0.077 0.810 0.504 0.144 0.127

R cuadrada 0.49 0.49 0.51 0.50 0.49 0.39

Observaciones 1,955 1,929 677 651 1,900 1,287

Sociedades 430 422 181 173 405 196


36

Impacto del apoyo en ROA

Muestra

A B C D E F

ROA

Apoyo 2003-2010 11.8 12.9 11.1 14.8 11.8 18.0

Valor p 0.550 0.521 0.611 0.513 0.548 0.352

Apoyo 2011-2015 4.6 6.7 9.7 14.5 4.6 4.4

Valor p 0.569 0.410 0.564 0.414 0.569 0.570

R cuadrada 0.35 0.35 0.34 0.34 0.34 0.34

Observaciones 2,002 1,973 716 687 1,947 1,330

Sociedades 431 423 182 174 406 197

ROA excluyendo las observaciones más baja y más alta para cada

Apoyo 2003-2010 27.7 27.6 23.9 23.5 27.6 27.6

Valor p 0.315 0.316 0.308 0.315 0.313 0.277

Apoyo 2011-2015 -4.7 -4.9 -10.3 -11.1 -4.7 -4.7

Valor p 0.207 0.200 0.231 0.227 0.205 0.173

R cuadrada 0.72 0.71 0.72 0.71 0.72 0.71

Observaciones 1,166 1,151 369 354 1,154 939

Sociedades 365 360 141 136 354 190

ROA excluyendo observaciones por arriba de 100%

Apoyo 2003-2010 -6.8 -6.8 -4.9 -4.9 -6.7 -1.9

Valor p 0.145 0.142 0.404 0.397 0.148 0.374

Apoyo 2011-2015 -0.4 -0.2 -0.5 -0.1 -0.4 -0.6

Valor p 0.816 0.898 0.912 0.975 0.815 0.741

R cuadrada 0.60 0.57 0.61 0.58 0.59 0.57

Observaciones 1,975 1,948 690 663 1,922 1,305

Sociedades 430 422 182 174 406 197

Probabilidad de que ROA sea mayor a 0%

Apoyo 2003-2010 -0.078 -0.077 -0.073 -0.072 -0.075 -0.047

Valor p 0.662 0.669 0.662 0.680 0.672 0.788

Apoyo 2011-2015 -0.028 -0.020 0.044 0.064 -0.028 -0.034

Valor p 0.681 0.769 0.690 0.568 0.677 0.593

R cuadrada 0.53 0.53 0.62 0.61 0.52 0.48

Observaciones 2,002 1,973 716 687 1,947 1,330

Sociedades 431 423 182 174 406 197

Probabilidad de que ROA sea mayor a 0.5%

Apoyo 2003-2010 0.108 0.110 0.130 0.136 0.111 0.147

Valor p 0.197 0.186 0.169 0.151 0.184 0.123

Apoyo 2011-2015 -0.126 -0.116 -0.079 -0.056 -0.126 -0.129

Valor p 0.119 0.165 0.465 0.614 0.117 0.098

R cuadrada 0.56 0.55 0.65 0.64 0.55 0.50

Observaciones 2,002 1,973 716 687 1,947 1,330

Sociedades 431 423 182 174 406 197

37

3.5 Análisis costo-beneficio

En concordancia con los requerimientos de los TdR, los datos que proporcionó BANSEFI se

refieren a los costos directos del apoyo para el periodo 2009-2015. Para calcular el costo

tomamos las transferencias directas que hizo BANSEFI y que aparecen en los datos indicadas

como:

1280

1

2015

2011i t

itcC

La cifra calculada de esta forma asciende a 119.8 millones de pesos. Esa cifra no incluye costos

indirectos en los que pudo haber incurrido BANSEFI o el Banco Mundial en la administración y

la operación del programa.

Para nuestro análisis de costo-beneficio, comenzamos suponiendo que Bk es el número de

unidades adicionales de la métrica de impacto k que generó el apoyo en 2011-2015. Entonces

podemos expresar el costo promedio de cada unidad adicional de la métrica de impacto k como:

kB

C

La forma en que calculamos Bk depende de la métrica de impacto que analicemos. En el caso del

número de sociedades autorizadas gracias al apoyo en 2011-2015 es:

NB

Donde N representa el número total de sociedades apoyadas en 2011-2015. El coeficiente es

la estimación del incremento en la probabilidad de que una sociedad sea autorizada asociado con

el apoyo 2011-2015. El número de sociedades apoyadas en 2011-2015 es de 339. La estimación

del incremento en la probabilidad de autorización es 0.286. Por lo tanto, el número de sociedades

autorizadas gracias al apoyo en 2011-2015 es 97.

Para medir el costo por unidad adicional en el caso de las sucursales, tenemos que el número de

sucursales adicionales generadas por el apoyo 2011-2015 es:

339B

Donde 339 es el número de sociedades apoyadas y es el incremento en el número de

sucursales derivado del apoyo en 2011-2015.

38

En el caso del número de socios, el monto de los activos y el monto de la captación debemos

utilizar una fórmula distinta. El impacto en esas tres variables fue estimado usando una

transformación logarítmica:

ˆ1

ˆ)exp(

339

1

2015

i

iyB

En este caso exp( ) indica la función exponencial y representa el coeficiente estimado. En este

caso usamos los valores de las métricas en 2015. La división entre 1 permite recuperar el

nivel contrafactual de la métrica de impacto en 2015, esto es, en ausencia del apoyo 2011-2015.

El siguiente cuadro muestra los resultados para las métricas de impacto. La última columna

muestra el costo por unidad adicional de cada una de las métricas de impacto. El costo por una

sociedad autorizada adicional es de 1.23 millones de pesos. El costo por una sucursal adicional

es de 206 mil pesos. El costo de un socio adicional es de 77 pesos. El costo de un peso adicional

de activos es de 0.5 centavos. Finalmente, el costo de un peso adicional de captación es de 0.7

centavos.

Análisis costo-beneficio del apoyo 2011-2015

Coeficiente

estimado del apoyo

2011-2015

Impacto en unidades

adicionales de la

métrica

Costo del apoyo

2011-2015

Costo por unidad

adicional

B C C ÷ B

Sociedades autorizadas 0.286 97 119,793,185 1,234,981

Número de sucursales 1.718 582 119,793,185 205,688

Número de socios* 0.283 1,552,674 119,793,185 77.15

Monto de los activos* 0.331 22,007,007,000 119,793,185 0.00544

Monto de la captación* 0.309 16,212,509,000 119,793,185 0.00739 * El coeficiente fue estimado usando el logaritmo natural de la métrica de impacto.

En esta sección no se incluye el análisis costo-beneficio para las razones financieras porque no

encontramos resultados de impacto que fueran robustos.

Tampoco se incluyen el análisis costo-beneficio por prestador de servicios debido a que la

estimación de impactos diferenciados por prestador de servicios presenta dos retos que a nuestro

juicio son insalvables. En primer lugar, la asignación de prestadores de servicios a sociedades

atendidas no es aleatoria sino determinada endógenamente—es probable que haya assortative

matching—. Con lo anterior, no hay una fuente de identificación que permita generar

contrafactuales. Por ejemplo, para una sociedad requerimos determinar el efecto de tener al

prestador de servicios A en lugar del prestador B. Solamente mediante esos contrafactuales

podríamos estimar impactos por prestador. En segundo lugar, la asignación de prestadores a

39

sociedades es endógena de manera dinámica; distintos prestadores pueden atender sucesivamente

a una misma sociedad.

Para ilustrar lo discutido en el párrafo anterior, en la gráfica siguiente mostramos el ejemplo de

una sociedad que que recibió servicios de cuatro prestadores distintos antes de ser autorizada. Sin

una estrategia de indentificación apropiada no es posible atribuirle a alguno de esos prestadores

de servicios la autorización.

Ejemplo de múltiples prestadores de servicios de una sociedad

autorizada en 2013

3.6 Recomendaciones de política pública

El análisis realizado y las limitaciones encontradas en los datos que están disponibles para las

sociedades del sector sugieren algunas recomendaciones generales para la eventual continuación

del programa o para el diseño de nuevos programas basados en la experiencia adquirida:

1. Objetivos y teoría de cambio: hacer explícitos los objetivos del programa con mayor

detalle y vincularos con una teoría de cambio explícita y también detallada permitiría

mejorar el diseño del programa para incrementar las posibilidades de impacto y su costo-

efectividad. Por ejemplo, podrían definirse detalladamente los objetivos generales de

fortalecer la operación de las sociedades, mejorar sus productos y servicios, así como

cumplir con la legislación aplicable. En ese sentido, recomendamos revisar la lógica del

componente haciendo explícita la cadena causal integrada por los insumos, actividades y

resultados esperados a corto y mediano plazo. Por ejemplo, si la teoría de cambio del

40

programa contempla un perfil de sociedad que tiene mayores posibilidades reales de

lograr ser autorizada, los recursos del programa podrían concentrarse en esas sociedades

discriminando a los perfiles que tienen pocas posibilidades de éxito. De manera dinámica

podría determinarse qué sociedades muestran el comportamiento en alguno de los

indicadores clave entre un año y otro para continuar siendo elegibles con el objetivo de

no seguir destinando recursos a sociedades sin posibilidades reales de éxito.

2. Entrega de datos: una vez que se tienen claras las métricas de impacto relevantes para un

programa es fundamental que los datos necesarios para construir esas métricas sean

recabados periódicamente y de manera directa. Idealmente, el proceso para obtener la

información requerida se integra a la operación del programa. Por ejemplo, condicionar la

entrega de los beneficios de un programa a que sus beneficiarios reporten puntual y

directamente a BANSEFI los datos requeridos permitiría evaluaciones continuas de alta

calidad y a bajo costo.

3. Evaluar de manera prospectiva: evaluar un programa después de haber sido

implementado impone limitaciones importantes para estimar adecuadamente su impacto.

Además de ofrecer ventajas técnicas para producir resultados confiables, una evaluación

prospectiva (experimental o cuasi experimental) bien diseñada permite incorporar “de

saque” en el despliegue del programa elementos de diseño, focalización y recopilación de

la información necesaria para evaluarlo. Una evaluación prospectiva incluiría idealmente

mecanismos para garantizar que los datos necesarios se recaban metódicamente y a bajo

costo. Por el contrario, una evaluación retrospectiva suele estar sujeta a las limitaciones

impuestas por información que suele ser incompleta e imprecisa.

41

4 Enfoque Analítico Cualitativo

4.1 Introducción al enfoque cualitativo

Debe considerarse que una aproximación cualitativa a la realidad, requiere de la incorporación y

el análisis de la experiencia concreta y subjetiva (percepción) de las personas que se estudian, en

su propio entorno social. De esta forma, la percepción se estudia en un sistema sociocultural o

grupo social, tomando en cuenta las experiencias conscientes e inconscientes de los actores

sociales que establecen relaciones interactivas recíprocas y que a partir de ahí generan procesos

cognitivos.

Para el caso que nos ocupa, el grupo social o sistema sociocultural se conformó por: los

miembros de las sociedades integrantes del sector, y por los prestadores de servicios que se

encuentran en el Padrón de BANSEFI.

Bajo esta lógica de análisis cualitativo, fue necesario utilizar en primer lugar una perspectiva

EMIC, que es el punto de vista de los actores estudiados en su entorno inmediato. Para este caso

concreto de estudio, la perspectiva EMIC (informantes clave) se tomó de los siguientes actores:

los miembros de las sociedades integrantes del sector—personal directivo y operativo de las

sociedades elegidas y de los prestadores de servicios que fueron elegidos para realizar la

intervención de campo.

La perspectiva EMIC, fue fundamental como experiencia vital de los actores que intervienen en

el proceso estudiado. La perspectiva ETIC o perspectiva analítica del investigador, se fue

incorporando conforme se avanzó en el análisis de los datos cualitativos que emergieron a lo

largo de la intervención.21

4.2 Métodos, técnicas y datos

4.2.1 Fase 1 del trabajo de Campo: Diagnóstico exploratorio

Apegándonos a los TdR se realizaron acercamientos con informantes claves de los dos grupos de

actores antes señalados mediante entrevistas a profundidad. Esta Fase 1 de la investigación de

campo, que se denominó Diagnóstico Exploratorio, fue el antecedente fundamental para la

Intervención de campo (Fase 2).

Los testimonios que aquí se captaron, las visiones personales incuantificables y las

preocupaciones y preguntas que surgieron de esta Fase Diagnóstica de Campo, fueron la materia

prima que sirvió para diseñar con precisión la estrategia de campo (Fase 2, intervención en cinco

21 Para una mejor comprensión de esta perspectiva metodológica de corte etnográfico, ver Anexo Metodológico 1.

42

regiones del país), y los instrumentos específicos para la intervención: cuestionarios y guías de

preguntas para los miembros de las Sociedades del Sector de Ahorro y Crédito Popular y

Cooperativo (SACPYCs) a 6 aspectos sobre los apoyos y operación del programa y a 4 aspectos

sobre la percepción de los prestadores de servicios de asistencia técnica y capacitación, en apego

a lo que establecen los TDR.

La aplicación del RAAP fue exitosa como técnica de evaluación rápida gracias a la inmersión de

los investigadores en el contexto, al apego a los Protocolos 1 y 2 en las entrevistas en

profundidad y en los Grupos de discusión, y al desarrollo exitoso de la fase exploratoria, a partir

de la cual se hizo una categorización anticipada de la problemática a estudiar.

Los datos documentales y de opinión obtenidos se trabajaron haciendo análisis comparativo por

Región; por nivel (básico, I, II, III, y IV), y analizando los distintos contextos que enfrenta cada

caso.

4.3 Resultados

En primer lugar, el estudio arroja una percepción positiva de los miembros de las SACPYCs

sobre la importancia del Componente para su desempeño. La percepción mayoritaria coincide en

señalar que se trata de un apoyo muy importante, “fundamental” y “necesario”, (73.4% de los

entrevistados), mientras que el 23.3 % lo calificó como “importante”. Solamente un caso

mencionó que le es indistinto el apoyo, pues consideró que es un proceso “burocrático y

tardado”.

De hecho, una gran mayoría de los entrevistados coincide en señalar que no hubiesen podido

cumplir con sus metas de no haber contado con los apoyos del Componente. Para una parte

importante de los miembros de las SACPYCs, las capacitaciones son caras y poco costeables en

términos de sus finanzas y muy importantes para su buen desempeño.

Es preciso señalar también, en este ámbito, el destacado papel que se asigna a los miembros

responsables del Componente por parte de la UR, a quienes de manera generalizada se les

percibe como personal eficiente, dispuesto a dar atención personalizada y siempre al tanto de lo

que sucede con el componente.

No obstante, lo anterior, los integrantes de las SACPYCs señalan una serie de necesidades y

prioridades que no están cubiertas o que están insuficientemente atendidas por los apoyos

actuales. A pesar de la diversidad de problemáticas y entornos encontrados en el estudio de

campo, el análisis comparativo por región y por nivel de las SACPYCs, permite agrupar la

percepción en tres rubros:

43

4.3.1 Percepción sobre la problemática del componente

Si bien el 73% de los casos percibe que el proceso para acceder a los apoyos no es complicado,

prácticamente todos los entrevistados opinan que el proceso es lento y tedioso porque está

sobrecargado de papeleo y trámites innecesarios desde la óptica del solicitante. En muchas

ocasiones, se repiten las carpetas de documentación para acceder a los apoyos y los formatos

cambian constantemente. Esto último implica que una vez que los operadores se han

familiarizado con los pasos a seguir y con los formatos, vuelve a haber cambios.

De manera coincidente, la percepción sobre los recursos que se obtienen del componente se

inclina a señalar que debería cambiar el sistema de reembolsos, pues la espera para obtenerlos

altera severamente las finanzas internas de las sociedades. Modificar el trámite de reembolso al

acortar el tiempo de recuperación y simplificar el mecanismo de reclamación del reembolso, se

perciben como opciones de solución viables por parte de los miembros de las SACPYCs.

Algunos de los entrevistados señalaron que sería deseable contar con más recursos, pues con los

apoyos con que cuentan no pueden cubrir sus necesidades de asistencia técnica y capacitación,

especialmente las sociedades más pequeñas, en niveles básico, I, y II.

En cuanto a los servicios de asistencia técnica y capacitación, la percepción de los miembros de

las SACPYCs nos permitió ubicar algunos problemas, como se puede ver en el Anexo 7. Se

señala con frecuencia, por ejemplo, que el Padrón tiene una rigidez que impide contratar otros

expertos locales no registrados que podrían ser más competitivos en precio. Ello es así pues

solamente se pueden contratar Servicios de Asistencia Técnica y Capacitación a partir de los

prestadores del Padrón de BANSEFI, por lo que el sistema se convierte en una limitante para la

libre elección.

De igual importancia es el señalamiento de que hay una serie de costos indirectos que elevan los

costos reales de la Asistencia Técnica y Capacitación, como son los gastos de traslado y viáticos,

que se suman al costo de los cursos o visitas del consultor. “Hay capacitadores que están tan

lejos que es carísimo acceder a ellos, aunque se sabe que son buenos”, comentan dos

entrevistados.

La percepción en este nivel coincide en buena medida con lo que captamos a través de la

intervención con los Prestadores de servicios, lo que refleja nuevamente la consistencia de los

datos obtenidos en campo. Para un mayor detalle, ver Anexo: Informe Prestadores de Servicios.

4.3.2 Percepción sobre la problemática de la Regulación y la Normatividad

El cumplimiento de las leyes y reglamentos se percibe por parte de los integrantes de las

SACPYCs como una barrera derivada de una sobrerregulación del sector; en algunos casos se

44

señalan cambios tan frecuentes en la regulación que difícilmente pueden atenderse en tiempo y

forma. Según algunos testimonios, se han registrado hasta 8 cambios en un mismo año.

Otro factor que aparece de manera frecuente en las entrevistas es el problema de los requisitos

crecientes que se piden a los ahorradores. La percepción de algunos miembros de las sociedades

coincidentemente señala que la inclusión se vuelve difícil, en la medida en que ya no se les

permite trabajar con negocios informales o con clientes que no cubran una cantidad importante

de requisitos que se han establecido recientemente.

De entre las cargas regulatorias existentes, una que genera mucha controversia es la que atañe al

combate al lavado de dinero. El contar con un Oficial de Cumplimiento certificado se percibe

como un costo alto para las sociedades más pequeñas. Para éstas, el curso PLD es un requisito

caro y complejo, sobre todo si se considera que hay entornos en los que no es posible cumplir

con lo que establece la norma, como es el nivel educativo que exige como mínimo licenciatura.

Debe señalarse aquí la coincidencia con la percepción expresada por los Prestadores de

Servicios, quienes argumentan que este requisito es poco probable que se cumpla. La norma de

acreditar el examen PLD en tan corto tiempo, expresan, es difícil de cumplir, lo que puede

repercutir en sanciones e incluso en el cese de operaciones (ver Anexo, Prestadores de

Servicios).

El proceso de autorización por parte de la CNBV se percibe (4 entrevistas de 30) como lento e

incierto, lo que genera una sensación de “estar en el limbo”, especialmente cuando se solicita y

documenta un cambio de nivel, que puede tardar mucho tiempo. Ello resulta en que las

sociedades del sector se vean obligadas a operar sin autorización. Las sociedades no saben con

precisión cuándo se les va a autorizar, y tampoco se establecen mecanismos de comunicación por

parte de la CNBV que den certidumbre a su estatus.

De forma concluyente se puede decir que hay una percepción en el sentido de que las normas y

regulaciones son excesivas cuando se trata de hablar de inclusión.

4.3.3 Lo que corresponde a la problemática del Entorno.

Es posible ubicar claramente que para algunas regiones hay entornos complicados por los niveles

de violencia o conflictividad social que se presentan en el contexto. Entornos con movimientos

sociales conflictivos que impactan la actividad económica local; disminuyen y ahuyentan a los

ahorradores e inhiben el proceso de captación de clientes, son señalamientos constantes en zonas

como el Sur (Oaxaca) y en el Norte (Chihuahua).

En los espacios rurales y alejados, por ejemplo, el dinero se maneja de mano en mano, a la

confianza; la inseguridad y el miedo hacen más difícil la inclusión de sectores importantes de

45

ahorradores potenciales. Los bloqueos a los que se han tenido que enfrentar algunas regiones del

país se señalan como un problema cuando se trata de cumplir y trasladar personal, capacitadores

y gente al campo.

Los entornos conflictivos se perciben como un elemento que reduce el margen de maniobra de

las sociedades, tanto en el cumplimiento de la norma como para tener un buen desempeño

financiero. En estos contextos, se argumenta que la complejidad económica dificulta la

posibilidad de enfrentar los costos de la capacitación y asistencia técnica y la inversión en nuevas

tecnologías. Ello es particularmente difícil para los niveles básico, I, y II, para quienes el

componente es indispensable y difícilmente pueden enfrentar los costos de dichos servicios con

recursos propios, si se ven afectadas las condiciones locales.

La alta rotación del personal derivada de los bajos sueldos y de la competencia que coopta al

personal capacitado con mejores sueldos, como algunos bancos, impacta el desempeño de las

SACPYCs en la medida en que no se puede tener personal estable y capacitado operando en el

sector y frente a cada salida de personal se tiene que reiniciar la curva de aprendizaje y

capacitación, con los costos que ello implica.

En síntesis, la percepción de las SACPYCs y de los Prestadores de Servicios es favorable al

Componente, a los efectos de éste en el desempeño de las sociedades del sector y a los

responsables de la operación del Componente. No obstante, todos los actores entrevistados

señalan necesidades y prioridades que no están cubiertas o que se encuentran insuficientemente

atendidas por los apoyos actuales.

Las sugerencias que de ello se derivan, así como las recomendaciones para el diseño de política

pública pueden ser consultadas de manera puntual en los anexos y sirven de base para lo que se

propone en el siguiente apartado.

4.4 Recomendaciones para mejorar la operación del componente

La información que aquí se resume, ayuda a determinar qué intervenciones e innovaciones

específicas se pueden desarrollar. El listado de Problemáticas/Hallazgos (Anexo 7), describe

cada uno de los problemas encontrados y sus posibles soluciones a nivel de acciones concretas

(ver Anexo 7: Problemáticas/Hallazgos).

A continuación, presentamos un resumen de las principales medidas a considerar mediante

acciones específicas. Su clasificación derivó de los tres ámbitos de análisis: el que corresponde al

Componente propiamente dicho, el que atañe a las reglamentaciones y normas de la CNBV, y el

que se refiere al entorno.

46

4.4.1 Lo que corresponde al Componente.

Se recomienda fortalecer y mejorar los procesos administrativos para hacerlos más eficientes y

cercanos a las necesidades de cada integrante del sector, considerando su nivel y la problemática

de la región o localidad. Los diagnósticos que han sido diseñados e implementados hasta ahora

se convierten en un instrumento fundamental para llevar a buen fin esta meta.

Habría que considerar las restricciones presupuestales, evaluando la pertinencia de mejorar el

sistema de ministración de los recursos que se asignan a las SACPYCs, tomando en cuenta el

señalamiento de algunos entrevistados de que el reembolso toma un tiempo prolongado. El

impacto que ello tiene en las finanzas internas de las sociedades es un factor a considerar.

Por lo que toca a los prestadores de servicios y al servicio que ofrecen a las SACPYCs se

sugiere:

Si bien la contratación de los servicios es responsabilidad de los beneficiarios de acuerdo a sus

necesidades, determinar mecanismos para depurar la lista de prestadores de servicios para que

solamente permanezcan los que ofrecen mejor calidad, atendiendo a la percepción de los

prestadores de servicios entrevistados en el sentido de que el padrón integra empresas y

organizaciones que ofrecen servicios de calidad desigual, debido a que los requisitos vigentes de

incorporación al padrón y la permanencia en éste no garantizan que se ofrezca un buen servicio.

En consecuencia, se recomienda tener mecanismos de selección y permanencia más rigurosos

que no se base sólo en el grado de satisfacción de los miembros de las sociedades, sino en una

evaluación directa y con mayores exigencias por parte de BANSEFI. Sería oportuno que estos

nuevos instrumentos de selección y seguimiento salieran de las mejores prácticas implementadas

por algunos prestadores de servicios.

Una de las mejores prácticas observadas en campo es la oferta integral de servicios que

comienzan por un diagnóstico sobre fortalezas y debilidades en cuanto a operación y observancia

de normativa del intermediario en cuestión. Como resultado del diagnóstico se elabora un plan

de mejora a corto y mediano plazo que incluye de manera conjunta capacitación y asistencia

técnica. El impacto de estos servicios no solamente incluye una encuesta de satisfacción, sino

que hace un seguimiento de su implementación con indicadores cuantificables. Este modelo que

incluye diagnóstico integral, capacitación y asistencia técnica, permite que se ofrezca un servicio

con pertinencia. Implementar un modelo de mejora continua, basado en un diseño integral,

redundaría en la optimización de estos apoyos. Un enfoque de esta naturaleza implica una visión

de largo plazo y poder establecer mecanismos de acompañamiento plurianuales.

La normativa de la profesionalización de un oficial de cumplimiento encargado de vigilar la

prevención de lavado de dinero, se percibe como un proceso que reviste una gran complejidad.

47

Algunos de los prestadores de servicio que ofrecen este tipo de capacitaciones, recién inician su

profesionalización en la materia. Se recomienda que el plan de capacitación profundice en esta

temática, diseñando curso de más largo alcance impartidos por expertos internacionales.

Derivado de las menciones de rotación de personal y directivos, podrían desarrollarse materiales

de inducción en determinados temas de necesidades frecuentes que puedan convertirse en videos

a difundir en Internet y que el componente se centre más en talleres de capacitación de nivel

intermedio y avanzado.

4.4.2 Lo que corresponde a las regulaciones y normas.

Dada la diversidad de entornos y problemáticas del país, se sugiere establecer marcos

regulatorios más flexibles que permitan operar a los integrantes de las SACPYCs en mejores

condiciones. Una evaluación más adaptada a los contextos específicos permitiría eliminar

restricciones innecesarias, o bien, ofrecer condiciones de operación más flexibles cuando se

enfrentan condiciones adversas como las que aquí se señalan: entornos violentos y conflictivos;

economías locales deprimidas, etc. Al mismo tiempo, podría haber una mejor consideración de

los perfiles de los usuarios de las SACPYCs, que son finalmente los que sostienen el desarrollo

de las sociedades.

Sería deseable también difundir de manera expedita y clara la información relativa a las normas

y regulaciones, haciendo tal vez más comprensiva su interpretación.

De igual forma, sería necesario desarrollar una comunicación entre los miembros de las

SACPYCs y las autoridades directamente implicadas en materia de aprobación para cambios de

nivel y evaluación de desempeño, con lo que se podría evitar la falta de coordinación en el

proceso.

4.5.3. Lo que corresponde al Entorno

Los problemas del Entorno no ofrecen ningún margen de maniobra a los responsables del

Componente, aunque son obstáculos reales para la operación de las SACPYCs. Bajo esa

consideración, las limitantes para proponer mejoras o innovaciones para la mejor operación del

sector son evidentes. No obstante, es posible detectar y abordar esos obstáculos reales para

facilitar el acceso a los apoyos cuando las circunstancias son una limitante, como es el caso de

los miembros de las SACPYCs que enfrentan contextos con altos grados de inestabilidad política

y violencia.

Por lo que se refiere a los bajos salarios y a la alta rotación del personal, se puede pensar en

proponer a las SACPYCs la elaboración de planes de retención e incentivos al personal

48

capacitado con lo que se evitaría el impacto que este problema tiene en el desempeño del

componente.

La falta de conectividad y el uso de tecnologías de información a la que constantemente se

refieren los entrevistados como una limitante real, podría mejorar si se establecen acuerdos de

coordinación con gobiernos locales y estatales, y con el sector privado, para mejorar en ese

ámbito.

Estamos ciertos de que todas estas medidas, aunque son una tarea enorme por resolver, se

pueden desarrollar paso a paso y se verán reflejadas en el fortalecimiento de las SACPyCs y

cumpliendo con su misión de promover el ahorro y la inclusión, lo cual redundaría en una

ampliación de la frontera de las entidades del sector.

49

5 Conclusiones

En este informe presentamos el análisis del Componente desde dos perspectivas: una cuantitativa

y otra cualitativa. Para el análisis cuantitativo consideramos una muestra de hasta 1,280

sociedades y organizaciones del sector de ahorro y crédito popular. Mediante un enfoque cuasi

experimental usando una especificación econométrica de diferencias en diferencias evaluamos el

impacto del Componente en dos periodos administrativos: 2003-2010 y 2011 a 2015. Probamos

distintas sub muestras para analizar la robustez de los resultados principales.

De un total de nueve métricas analizadas, encontramos impactos positivos y estadísticamente

significativos para cinco de ellas. En el periodo 2011-2015 estimamos un incremento promedio

de 28.6% en el número de sociedades autorizadas, de 1.71 sucursales adicionales por

beneficiario, de 28.3% en el número de socios, de 33.1% en los activos promedio y de 30.9% en

la captación. Tomando como referencia la situación contrafactual, los impactos anteriores

equivalen a 97 sociedades autorizadas adicionales, 582 sucursales adicionales, 1.5 millones de

socios adicionales, activos adicionales por 22 mil millones de pesos y captación adicional por

más de 16 mil millones de pesos.

Entre 2011 y 2015 se entregaron apoyos con un costo directo, sin tomar en cuenta los costos para

la administración y operación del programa, de 119.8 millones de pesos. Al ligar el costo total

directo con las estimaciones de impacto tenemos un costo promedio por cada sociedad adicional

autorizada de 1.2 millones de pesos, un costo por sucursal adicional de 206 mil pesos, un costo

por socio adicional de 77 pesos, un costo por cada peso adicional de activos de 0.5 centavos y un

costo por cada peso adicional de captación de 0.7 centavos.

No encontramos evidencia de una mejora significativa como resultado del Componente en el

caso de las cuatro razones financieras evaluadas (morosidad, capitalización, cobertura y ROA),.22

Sin embargo, esos resultados no son concluyentes en vista del número relativamente pequeño de

observaciones. Un grupo menor a 200 sociedades reportó regularmente información sobre las

razones financieras consideradas entre 2010 y 2015, lo cual está en línea con que las sociedades

autorizadas son las únicas obligadas a reportar dichas razones financieras. Por otro lado, las

razones financieras no reflejan inequívocamente mejoras en el desempeño o la salud financiera

de una entidad. Podemos plantear escenarios en los que un mejor desempeño o un mejor

seguimiento de normas contables más rigurosas podrían mover un indicador en un sentido

distinto al esperado.

22 Como discutimos en la sección correspondiente al impacto del programa en los indicadores financieros, la Unidad Responsable

en BANSEFI señala que en los lineamientos de operación del programa no considera como un objetivo primordial la mejora en

dichos indicadores.

50

Finalmente, en la medida en que nuestras estimaciones del impacto del programa no provienen

de una evaluación experimental en la que los apoyos se hayan asignado aleatoriamente, dichas

estimaciones deben ser tomados con cautela. Por ejemplo, es posible que los resultados incluyan

sesgos de magnitud y dirección desconocidas debido a la selección y a la autoselección de las

entidades participantes en el programa. No hay una forma infalible de determinar en qué medida

el enfoque de Diferencias en Diferencias que empleamos es capaz de identificar los verdaderos

parámetros de interés. Sin embargo, el enfoque que adoptamos es en nuestra opinión el que

mejor se adapta a las limitaciones que presentan los datos disponibles.

La valoración cualitativa basada en entrevistas a profundidad a una muestra de 30 intermediarios

financieros del sector que recibieron los apoyos entre 2011 y 2015 en cinco regiones del país

sugiere que la percepción de los beneficiarios es favorable al Componente, a los efectos de éste

en el desempeño de las sociedades del sector y a los responsables de la operación del

Componente. Los beneficiaros señalan que difícilmente hubieran tenido recursos para pagar por

si mismos el apoyo técnico y la capacitación recibidos. Sin embargo, los beneficiarios señalan

que el proceso para obtener los beneficios es lento y burocrático (7 de 30 casos), sobre todo en lo

que se refiere a los reembolsos de los pagos por los servicios contratados. A pesar de la

percepción positiva del programa, los entrevistados sugieren realizar el trámite de solicitud y

reembolso de manera más sencilla y expedita.

No cabe duda de que los datos obtenidos en campo, las críticas y señalamientos al Componente

constituyen áreas de oportunidad de cambio. Todos y cada uno de ellos fueron considerados en

páginas anteriores y pueden ser consultados de manera puntual en los Anexos de este informe

evaluación del impacto del componente de asistencia ... · 3.6 recomendaciones de política...

Documents