senado.clsenado.cl/site/presupuesto/2013/cumplimiento/protocolo 2013/ord... · matriz: los...
TRANSCRIPT
PROPUESTA DE DISEÑO DE EVALUACIÓN DE IMPACTO
ESTUDIO: ANÁLISIS DEL ESTADO DE IMPLEMENTACIÓN Y EL DISEÑO DE EVALUACIÓN DEL PROGRAMA "BARRIO EN PAZ", DE LA SUBSECRETARÍA DE
PREVENCIÓN DEL DELITO”
Matriz: Los Corcolenes 7322 A – La Reina. Estudios: Los Corteses 5815 B y D – Peñalolén, Santiago.
Teléfonos: (56 2) 356 2838 / 833 5240.
Fax: (56 2) 458 5516 – E‐mail: [email protected]
FICHA TÉCNICA DE LA CONSULTORÍA
TÍTULO DE LA CONSULTORÍA:
ANÁLISIS DEL ESTADO DE IMPLEMENTACIÓN Y EL DISEÑO DE EVALUACIÓN DEL PROGRAMA “BARRIO EN PAZ”, DE LA
SUBSECRETARÍA DE PREVENCIÓN DEL DELITO.
PALABRAS CLAVE:
Seguridad Ciudadana, Victimización, Temor, Delitos, Prevención Psico‐Social, Prevención Situacional, Espacio
Público.
FECHA DE PRESENTACIÓN DE INFORME:
Octubre de 2012.
CONTRAPARTE TÉCNICA DIPRES:
División de Control de Gestión Pública
EQUIPO PRINCIPAL DE TRABAJO, GUERNICA CONSULTORES:
María Pía Olivera Vidal (Jefa de Proyecto), Socióloga
Victor Maturana Waidele, Economista
Teresa Selamé, Socióloga
Marisol Saborido, Aquitecta
Rosa María Olave, Psicóloga
Juan Carlos Ruíz, Sociólogo
Humberto Zamorano, Economista
María Victoria Corvalán, Socióloga
Teresa Cáceres, Socióloga
Alicia Órdenes, Socióloga
Hernaldo Zamora, Economista
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
INDICE
I. OBJETIVOS DE LA CONSULTORÍA Y DEL INFORME ........................................................ 6
II. ANÁLISIS DE LA FACTIBILIDAD DE DESARROLLAR LA EVALUACIÓN DE IMPACTO DEL PROGRAMA BARRIO EN PAZ ........................................................................................ 6
II.1. La noción de Evaluación de Impacto y sus Requerimientos ............................................. 6
II.2. Condiciones del Programa Barrio en Paz .......................................................................... 7
II.2.1. EL ESTADO DE IMPLEMENTACIÓN ............................................................................ 8
II.2.2. PARTICULARIDADES DEL PROGRAMA ........................................................................ 8
II.2.3. LOS DATOS DE LOS QUE DISPONE EL PROGRAMA ...................................................... 10 II.2.3.A. LA LÍNEA DE BASE ........................................................................................................................ 10
II.2.3.B. ESTADÍSTICAS DE CASOS POLICIALES ................................................................................................ 15
II.2.3.C. LA ENCUESTA NACIONAL URBANA DE SEGURIDAD CIUDADANA (ENUSC) .............................................. 17
II.3. Metodologías Disponibles para Evaluar Impacto ........................................................... 18
II.4. Discusión de la Factibilidad de los Diseños Genéricos para Evaluar el Impacto de
Barrio en Paz .............................................................................................................................. 19
II.4.1. DISCONTINUIDAD EN LA REGRESIÓN ...................................................................... 20
II.4.2. VARIABLES INSTRUMENTALES ............................................................................... 20
II.4.3. GRUPO CONTROL POR MATCHING ......................................................................... 22
III. ELEMENTOS CENTRALES DE LA PROPUESTA PARA EVALUAR EL IMPACTO DE PROGRAMA BARRIO EN PAZ Y SUS SUBPROGRAMAS SOBRE LA POBLACION BENEFICIARIA ............................................................................................................ 22
III.1. DESARROLLO DEL DISEÑO PARA EL SUBPROGRAMA BARRIO EN PAZ RESIDENCIAL ...... 22
III.1.1. HIPÓTESIS DE TRABAJO EN BARRIO EN PAZ RESIDENCIAL ............................................ 22 A nivel de Resultados Finales o de Impacto (fin del programa): .................................................... 23 A nivel de Resultados Intermedios (propósito del programa):....................................................... 23
III.1.2. ELEMENTOS BÁSICOS DE DISEÑO, EVALUACIÓN DE IMPACTO CENTRAL O ‘AD HOC’, BARRIO EN PAZ RESIDENCIAL ............................................................................................. 24 1. Diseño General ...................................................................................................................................................... 24 2. Universo de Estudio, Unidad de Análisis y Unidad de Información ....................................................................... 25
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
3. Ámbito Geográfico ................................................................................................................................................ 25 4. Diseño Muestral .................................................................................................................................................... 25 5. Tamaño Muestral .................................................................................................................................................. 25 6. Horizonte de Evaluación y Delimitación del ‘Antes’ y ‘Después’ ........................................................................... 29 7. Dimensiones y Variables: Definiciones Básicas ..................................................................................................... 29 8. El Cuestionario de Línea de Base y sus Ajustes...................................................................................................... 31 9. Procedimiento o Pasos a Seguir en la Evaluación .................................................................................................. 34 10. Plazos Asociados a la Evaluación ........................................................................................................................... 35 11. Costos Asociados a la Evaluación .......................................................................................................................... 36 12. Validez de los Modelos Basados en Recordación .................................................................................................. 37
III.2. DESARROLLO DEL DISEÑO PARA EL SUBPROGRAMA BARRIO EN PAZ COMERCIAL ....... 37
III.2.1. HIPÓTESIS DE TRABAJO EN BARRIO EN PAZ COMERCIAL .............................................. 37 A nivel de Resultados Finales o de Impacto (fin del programa): .................................................... 38 A nivel de Resultados Intermedios (propósito del programa):....................................................... 38
III.2.2. ELEMENTOS BÁSICOS DE DISEÑO, EVALUACIÓN DE IMPACTO CENTRAL O ‘AD HOC’, BARRIO EN PAZ COMERCIAL, LOCATARIOS ............................................................................ 39 1. Diseño General ...................................................................................................................................................... 39 2. Universo de Estudio, Unidad de Análisis y Unidad de Información ....................................................................... 39 3. Ambito Geográfico ................................................................................................................................................ 40 4. Diseño Muestral .................................................................................................................................................... 40 5. Tamaño Muestral .................................................................................................................................................. 40 6. Horizonte de Evaluación y Delimitación del ‘Antes’ y ‘Después’ ........................................................................... 43 7. Dimensiones y Variables: Definiciones Básicas ..................................................................................................... 43 8. Dimensiones e Indicadores: El Cuestionario de Línea de Base y sus Ajustes ......................................................... 44 9. Plazos Asociados a la Evaluación ........................................................................................................................... 46 10. Costos Asociados a la Evaluación .......................................................................................................................... 47
IV. Los Estudios Complementarios y su Uso para Comparar y Validar Resultados de las Evaluaciones Centrales de Barrio en Paz Residencial y Comercial ............................. 48
IV.1. Evaluaciones Complementarias, Barrio en Paz Residencial ............................................ 50
IV.1.1. EVALUACIÓN COMPLEMENTARIA 1 (IMPACTO), EN BASE A DATOS ENUSC VERSIONES 2009
Y 2015 50 IV.1.1.A. PROCEDIMIENTO PARA ESTE ESTUDIO .............................................................................................. 51
IV.1.2. EVALUACIÓN COMPLEMENTARIA 2 (RESULTADOS BRUTOS), EN BASE A ENCUESTA DEL
SUBPROGRAMA (“LÍNEA DE BASE”) ...................................................................................... 52
IV.1.3. EVALUACIÓN COMPLEMENTARIA 3: ANÁLISIS DE LOS “CASOS POLICIALES” EN LOS MISMOS
PERÍODOS “ANTES” Y “DESPUÉS”, Y EN LOS MISMOS BARRIOS “TRATADOS” Y “CONTROLES” ............... 52
IV.2. Evaluaciones Complementarias, Barrio en Paz Comercial .............................................. 52
V. ANÁLISIS DE COSTO EFECTIVIDAD ............................................................................ 53
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
VI. ANEXOS .................................................................................................................... 55
VI.1. Antecedentes Generales acerca de la Primera Aplicación de la Encuesta Línea de
Base de Victimización y Percepción de Inseguridad .................................................................. 55
VI.2. Dimensiones y Variables de los Cuestionarios Utilizados durante la Primera Medición
orientada a establecer la Línea de Base de los Subprogramas, Base de los Instrumentos de
la Evaluación de Impacto Propuesta ........................................................................................ 60
1. Cuestionario Línea de Base, Barrio en Paz Residencial ......................................................................................... 60 2. Barrio en Paz Comercial (Locatarios) ..................................................................................................................... 65
VI.3. Módulo Adicional para la Evaluación de Impacto Propuesta, Barrio en Paz
Residencial ................................................................................................................................. 68
Módulo propuesto .......................................................................................................................... 68
VI.4. Antecedentes sobre Evaluaciones de Políticas y Programas de Seguridad Pública ....... 73
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
PROPUESTA DE DISEÑO DE EVALUACIÓN DE IMPACTO
El presente Informe, ha sido elaborado a partir de los requerimientos establecidos en los Términos Técnicos
de Referencia del proyecto “ANÁLISIS DEL ESTADO DE IMPLEMENTACIÓN Y EL DISEÑO DE EVALUACIÓN DEL
PROGRAMA ‘BARRIO EN PAZ’ DE LA SUBSECRETARÍA DE PREVENCIÓN DEL DELITO”, formulados por la
Dirección de Presupuestos, Ministerio de Hacienda.
I. OBJETIVOS DE LA CONSULTORÍA Y DEL INFORME
A modo de contexto, el objetivo general de la consultoría es realizar un análisis del estado de
implementación del programa Barrio en Paz y en base a éste, elaborar el diseño de evaluación de impacto
del programa y sus componentes.
A nivel de objetivos específicos, se propone:
1. Analizar el diseño vigente del programa y en función de ese diseño evaluar el estado de avance en
la implementación del mismo.
2. Cuantificar los niveles de producción de los componentes y otros resultados de corto plazo.
3. Analizar los sistemas de seguimiento y registro de información.
4. Cuantificar y analizar los costos de producción de los componentes y los gastos de administración
del programa.
5. Analizar y fundamentar la factibilidad de desarrollar el diseño de la evaluación de impacto del
Programa Barrio en Paz.
6. En caso de que sea posible, diseñar la evaluación de impacto del programa y de resultados o
efectos de sus principales componentes y diseñar la línea de base del programa como un todo y de
sus principales componentes, así como proponer una metodología y los indicadores para realizar un
análisis de costo efectividad del programa como un todo y para sus principales componentes.
Constituye objeto de este informe, el sexto objetivo específico: diseñar la evaluación de impacto del
programa y de los resultados de sus principales componentes, incluyendo el diseño de la línea de base y
del análisis de costo efectividad.
II. ANÁLISIS DE LA FACTIBILIDAD DE DESARROLLAR LA EVALUACIÓN DE IMPACTO DEL PROGRAMA BARRIO EN PAZ
II.1. LA NOCIÓN DE EVALUACIÓN DE IMPACTO Y SUS REQUERIMIENTOS
¿QUÉ ES EVALUAR IMPACTO?
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
Evaluar el impacto es testear si el hecho de aplicar un tratamiento (en este caso, un programa) a un grupo
de casos u objetivos de intervención (personas, empresas, grupos, territorios o –como en este estudio‐
barrios) genera por sí mismo ciertas consecuencias deseadas o temidas en la población tratada.
En este marco y acotando la discusión al Programa Barrio en Paz, evaluar el impacto es diferente a medir los
cambios en los barrios tratados, comparando la situación ‘antes’ de la intervención con la situación ‘después’
de la misma; y esto, porque lo que se busca con la evaluación de impacto es aislar el efecto del tratamiento
sobre los barrios intervenidos, de cualquier otra influencia que haya tenido lugar durante el período que
media entre el ‘antes’ y el ‘después’.
Así, no basta con medir los cambios en las variables de interés en los barrios tratados porque estos son
consecuencia combinada de múltiples influencias, entre ellas el tratamiento o Programa; y no se distingue en
este modelo su influencia de la de otros factores intervinientes. Una línea de base acotada a los barrios ‘con’
programa, acompañada de una o más mediciones de seguimiento posteriores al tratamiento, permite
estimar los cambios combinados de todas las influencias en cada uno de los barrios tratados o en el conjunto
de ellos, pero no permite, por si sola, estimar el impacto o efecto aislado del tratamiento, sobre los barrios
intervenidos por el Programa.
Es por ello que resulta indispensable diseñar una forma válida de estimar qué habría pasado en los mismos
barrios tratados, si no hubiera habido tratamiento en ellos. Estos cambios en las variables relevantes
durante el período de medición (después‐antes), en los barrios tratados si no hubieran sido tratados, es lo
que se conoce como contrafactual.
Para evaluar el impacto medio del programa sobre los barrios tratados –destacado en la literatura como
ATT (Average Effects of the Treatment on the Treated)‐ se requiere evaluar el cambio total efectivo y
promedio en los barrios tratados, y el cambio total que hubiera tenido lugar en los mismos barrios tratados
si no se hubiera aplicado el tratamiento; es decir, los cambios que se habrían dado en la situación
contrafactual. La media de la diferencia entre los cambios (después‐antes) en los barrios tratados, y los
cambios que habrían tenido lugar en esos mismos barrios si no hubieran sido tratados (situación
contrafactual), es el impacto medio del tratamiento en los barrios tratados (ATT).
Sin embargo, no es posible observar a un barrio tratado en su situación de no tratamiento. Es lo que se
conoce como el problema central de identificación: posterior al tratamiento, los barrios intervenidos se
pueden observar como tratados, y claramente no en la situación de no tratados. Lo inverso sucede con los
barrios no tratados. Después de la intervención, cada barrio sólo puede observarse en una de ambas
situaciones.
Así, si se quiere estimar el impacto medio sobre los tratados (ATT) es necesario simular la situación
contrafactual. Para ello, la metodología más usada es utilizar un grupo de control; es decir, un conjunto de
barrios que no hayan sido afectados por el programa, grupo que se selecciona intencionadamente para
que represente de la manera más fiel posible el estado que tendrían los barrios intervenidos, si no
hubieran recibido el tratamiento.
II.2. CONDICIONES DEL PROGRAMA BARRIO EN PAZ
Evaluar la factibilidad de diseñar y llevar a cabo una evaluación de impacto del Programa Barrio en Paz y,
posteriormente, definir qué tipo de evaluación resultaría más adecuado, requiere analizar a lo menos tres
aspectos:
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 8
a. el estado de implementación del programa, de modo de definir la oportunidad de una eventual
evaluación;
b. las características propias del programa, de modo de establecer las modalidades específicas de una
eventual evaluación;
c. los datos de los que dispone el programa respecto de la situación inicial o ex ante de los barrios
intervenidos y sus potenciales controles, de modo de analizar –posteriormente‐ las factibilidad o
imposibilidad, desde el punto de vista metodológico, de su utilización en una eventual evaluación
de impacto.
Aquí –a diferencia del objetivo del primer informe‐ la mirada se centra en el diseño de evaluación; vale decir,
ya no se revisa el diseño con el objetivo de verificar su madurez o coherencia interna, sino sólo a los efectos
de detectar si alguna de sus características tiene implicancias sobre los modelos de medición de impacto.
II.2.1. El Estado de Implementación Tal como se concluyó en el primer informe, el proceso de ajuste al modelo programático y la instalación
completa de Barrio en Paz, tendría lugar hacia fines del segundo semestre de 2012. Lo que en principio
permitiría evaluar al programa, en la fecha de finalización del período previsto (2010‐2014), incluyendo dos
años de madurez o funcionamiento ‘en régimen’, lo que se considera adecuado.
II.2.2. Particularidades del Programa
LOS SUBPROGRAMAS
Una primera característica relevante del programa, con consecuencias directas sobre un eventual diseño de
evaluación, remite a las diferencias entre ambos subprogramas, BP Residencial y BP Comercial, lo que torna
necesaria su evaluación independiente1. Baste reforzar que los ‘tipos’ de barrios que congrega cada
subprograma y su diseño de intervención concomitante, tienen marcadas similitudes intra‐grupo, y
diferencias entre‐grupos, en aspectos tales como tipo de barrio, tipo de delitos predominantes, actividades
claves incluidas en el tratamiento, indicadores con los cuáles evaluar resultados, formas de participación
ciudadana –entre otras: EJEMPLO CARACTERÍSTICAS “INTRA” Y “ENTRE” BARRIOS
ÁMBITOS BARRIO EN PAZ COMERCIAL BARRIO EN PAZ RESIDENCIAL
Tipo de barrio
Centros urbanos que concentran alto contingente de población flotante, establecimientos comerciales, servicios públicos y privados e interconexiones de transporte público.
Barrios residenciales* que presenten victimización por delitos (especialmente contra las personas y/o contra la propiedad); y/o violencia interpersonal (violencia intrafamiliar, violencia escolar, y violencia entre grupos de niños, adolescentes y jóvenes); y/o percepción de inseguridad; y/o actividades asociadas al tráfico de drogas.
1 Si bien en un primer momento se había considerado que el impacto medio del programa completo podría estimarse como la media
ponderada de los impactos de cada uno de los programas evaluados (de tal modo que las varianzas de los impactos estimados para
cada subprogramas fueran menores a las posibles en una evaluación de ambos subprogramas de manera agregada en una sola
estimación); una segunda mirada lo torna desaconsejable: las características de los subprogramas tienen consecuencias directas sobre
las posibilidades y restricciones metodológicas de una evaluación. Así por ejemplo, el concepto de “población flotante” de Barrio en Paz
Comercial y la imposibilidad asociada de referir a un universo específico desde el cual extraer probabilísticamente una muestra, ilustra
respecto a sus características específicas y no permite la adición de resultados.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 9
ÁMBITOS BARRIO EN PAZ COMERCIAL BARRIO EN PAZ RESIDENCIAL
Factores de riesgo
Situacional: aglomeración de personas, deterioro urbano, presencia de conductas antisociales, reincidencia, consumo excesivo de alcohol, etc.
Psico‐social: violencia intrafamiliar, violencia escolar, violencia entre grupos de niños, niñas, adolescentes y jóvenes en los espacios públicos; violencia vecinal y comunitaria; ausencia de apoyo a la reinserción social post‐penitenciaria o post registro de infracciones a la ley.
Situacionales: características físico ambientales.
Población objetivo
Locatarios y transeúntes Población residente.
Actividades clave
Operativos multisectoriales – Controles Policiales ‐ Proyectos Situacionales – Mesas Barriales
Mesas Técnicas – Proyectos Psico‐sociales y Situacionales – Actividades de Control
* Residencial: aquel territorio que se caracteriza por estar compuesto de agrupaciones de hogares‐viviendas, cuyos entornos se conforman con
calles, pasajes, equipamientos y espacios públicos entre otros, y cuya actividad principal es habitacional.
EXTERNALIDADES POSIBLES O EFECTOS EN OTROS BARRIOS
Centrando la atención en aquellas características del programa ‐y sus vertientes o subprogramas‐ con
implicancias probables sobre las evaluaciones de impacto, resulta conveniente tratar el tema de sus posibles
externalidades, positivas y/o negativas.
Es evidente que el comportamiento delictual considera en sus decisiones las ventajas y desventajas de los
potenciales territorios donde delinquir. Algunos de estos territorios son los barrios (ya sea residenciales o
comerciales) intervenidos. Cada uno de ellos, presenta ventajas y desventajas para delinquir; o –en el
lenguaje de la economía‐ costos y beneficios privados de delinquir. En esta perspectiva, incluso podría
interpretarse a las intervenciones de este programa (proyectos y operativos), como elementos que buscan
aumentar los costos o disminuir los beneficios para eventuales delincuentes que decidan operar en ese
barrio. También desde este enfoque puede plantearse que en tanto concentraban altas tasas de
victimización, los barrios seleccionados se eligieron por presentar condiciones relativamente más rentables
para la delincuencia. En este marco, si se interviene un barrio y se logra los objetivos perseguidos, puede
interpretarse como una disminución de la rentabilidad de delinquir en ese barrio, ya sea porque se ha
aumentado los costos o disminuido los beneficios locales de delinquir.
Al disminuir la rentabilidad de delinquir en ese barrio, aumenta la rentabilidad relativa de otros barrios, que
mejoran su atractivo en términos comparativos. Una decisión ‘racional’ de los delincuentes los impulsaría a
desplazar su zona de trabajo a otras que no tienen este tratamiento especial. Por ello puede decirse que –en
un grado no conocido‐ se debiera esperar algo de desplazamiento de la tasa de victimización a los barrios
que están inmediatamente ‘después’ ‐en un continuo de rentabilidad para la delincuencia‐ y en general a
cualquier otro barrio no especialmente intervenido.
Resulta claro en este marco que los beneficios sociales para el conjunto de la sociedad, podrían no ser los
mismos que los beneficios obtenidos por la población beneficiaria en estos barrios tratados. Y en
consecuencia, en tanto se trata de conocer los resultados de la intervención allí donde tengan lugar, y no
específicamente sobre un territorio acotado, a la estimación del beneficio en los barrios beneficiarios, habría
que restar los eventuales aumentos de delincuencia en otros barrios, a raíz del traslado de actividad
delictual desde los intervenidos.
Por esta razón, el modelo de evaluación de impacto que de manera frecuente se utiliza para los programas
sociales ‐es decir, el impacto medio del tratamiento sobre los tratados (ATT)‐ podría sobreestimar el impacto
social global del programa al no descontar los costos que pagaría el resto de la sociedad por recibir algo de
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
0
desplazamiento de delincuencia desde los barrios tratados. Ahora bien, no se conoce las dimensiones
relativas de estos probables efectos. Pudiera ser que el efecto desplazamiento fuera muy pequeño; aunque
se prevé que dependerá, en alguna medida, de las dimensiones de los efectos directos: sólo si se hace más
complicado delinquir en los barrios tratados, podrá esperarse desplazamiento de esta delincuencia hacia
otros barrios.
Concluyendo, y desde la perspectiva del eventual efecto negativo que podría tener el programa, si se quiere
estimar los impactos totales de cada subprograma a nivel nacional, hay que considerar tanto los efectos
positivos sobre los barrios tratados, como los potenciales efectos negativos sobre otros barrios como
producto del desplazamiento de la delincuencia desde los barrios intervenidos.
Adicionalmente, puede generarse un efecto positivo en el entorno inmediato al barrio. La mayor vigilancia
en un barrio tratado, implica mayor cercanía de la policía en el entorno de dicho barrio, lo que pudiera
disminuir la delincuencia también en esa zona cercana o de entorno.
En suma, cabe hipotetizar que las intervenciones de este programa pueden generar efectos negativos en
otros barrios por desplazamiento del delito hacia ellos (pudiendo concentrarse en algunos o diseminarse en
todos los barrios similares no‐tratados), y efectos positivos en el entorno de cada barrio.
A modo de cierre, puede ser discutible si esos posibles efectos en otros barrios deben llamarse
externalidades o simplemente efectos en otros barrios. Ello porque las externalidades son consecuencias
para terceros diferentes al ‘oferente’ y al ‘comprador. Y aquí no hay transacción alguna. Por lo que este
equipo considera pertinente hablar de posibles efectos indirectos en otros barrios.
II.2.3. Los Datos de los que Dispone el Programa
II.2.3.a. LA LÍNEA DE BASE2
Como ha sido referido en el primer Informe, el programa preveía “generar información fidedigna que de
cuenta de la situación inicial de los barrios que se intervendrán”, con el objetivo de evaluar su impacto,
hacia el fin de la intervención:
“Al término de las intervenciones que conforman el programa Barrio en Paz, se medirá
nuevamente los delitos (victimización) y la percepción de inseguridad en los barrios
seleccionados. Estas medidas posteriores a la intervención serán contrastadas con la línea base
o medida previa a la intervención. De esta manera, se podrá apreciar el impacto real del
2 En este apartado, se analiza las características de la “Línea de Base” o primera medición realizada por los subprogramas, sólo con el
objetivo de analizar la factibilidad de su uso como “T0” o “Medición Antes” de la Evaluación de Impacto en proceso de diseño por
parte de esta consultoría. No obstante, resulta necesario reforzar que a esta altura de la implementación, no corresponde la aplicación
de la “Línea Final”, en tanto el programa no ha egresado a ninguno de sus barrios –requisito de la evaluación final: “al término de las
intervenciones que conforman el programa Barrio en Paz Residencial, se medirán nuevamente los delitos (victimización) y la percepción
de inseguridad en los barrios mencionados” (…). “(…) la evaluación de impacto sólo podrá concretarse al término de la intervención en
cada barrio”. Programa Barrio en Paz Residencial, 2011. Página 51.
Si bien para Barrio en Paz Comercial el diseño prevé asimismo una segunda medición post‐egreso de cada barrio; en 6 casos se ha
llevado a cabo una evaluación intermedia –aspecto que está fuera del alcance de los objetivos de este informe.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
1
programa en términos de reducción de victimización (delitos y violencia) y disminución del
temor3”.
Ahora bien, en la línea de evaluar la factibilidad de uso de la “Línea de Base” como medición ex ante en una
evaluación de impacto, resulta necesario conocer y caracterizar la medición basal de la que se dispone,
principalmente en lo referido al alcance de la muestra, debido –como se ha adelantado y en función de los
requisitos metodológicos‐ a la necesidad de simular la situación contrafactual. La primera medición se
focalizó en los barrios intervenidos; así tuvo lugar en los 64 barrios comerciales; en la versión residencial, si
bien originalmente se preveía la medición del cuadrante completo –y su discriminación según sector
intervenido y no intervenido‐ restricciones presupuestarias determinaron la concentración de 31
mediciones de manera acotada para el barrio intervenido4.
TABLA Nº 1.
Alcance de la Muestra (Barrio o Cuadrante), según Subprograma
Subprograma
TotalBP
Residencial BP
Comercial
Alcance de la Muestra (Barrio o Cuadrante) Sector Intervenido N 31 60 92
% 62,0% 93,8% 80,7%
Cuadrante Completo N 19 0 18
% 38,0% ,0% 15,8%
Sin información* N 4 4
% 6,3% 3,5%
Total N 50 64 114
% 100,0% 100,0% 100,0%
* Nota: 1 barrio sin línea de base; 3 barrios sin variable “alcance”.
TABLA Nº 2. Distribución de la Muestra (Barrio o Cuadrante), según Barrio
Base: Total Barrios Residenciales con Muestra Extendida (personas de 15 años y más)
Segmento
Total Barrio Intervenido
Otro Sector del Cuadrante
Barrio
La Frontera 108 341 449
Los Nogales 790 357 1147
El Pinar 618 369 987
El Barrero 548 373 921
Sara Gajardo 602 371 973
San Gregorio 588 366 954
Confraternidad 394 375 769
Los Lebreles 197 369 566
Los Maitenes 192 366 558
Población María 736 354 1090
Cerro Dragón 471 365 836
Villas Progreso, Esperanza y Escondida 520 365 885
Gladys Marín 300 360 660
3 Subsecretaría de Prevención del Delito: Programa Barrio en Paz Residencial, Santiago de Chile, 2011.
4 En el caso de la población San Gregorio, no se llegó a acuerdo final con el alcalde, por lo que la incorporación del barrio en la primera
medición, no tuvo un correlato en intervención.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
2
Segmento
Total Barrio Intervenido
Otro Sector del Cuadrante
Llanos de Ollantay II 420 360 780
Montedónico 386 365 751
Manuel Rodríguez 340 360 700
Pedro del Río Zañartu 565 365 930
Plazas de Chivilcán 520 365 885
El Arenal, El Progreso y Paulo VI 450 360 810
Venezuela, Claudio Arrau y El Sueño de Todos 430 375 805
Total, N 9175 7281 16456
Total, % 55,8% 44,2% 100,0%
En este marco la Línea de Base, tal como fue aplicada, no permite la estimación del escenario
contrafactual, condición de la evaluación de impacto, debido a (i) la ausencia de medición en barrios
gemelos o de control, (ii) … incluso en los 19 barrios residenciales en los que se incorporó al cuadrante
completo, en tanto –tal como se consignó al analizar las particularidades del programa‐ la cercanía de estos
otros probables barrios permite hipotetizar posibles efectos indirectos del programa.
Descartando la Línea de Base como primera medición ó T0 en una evaluación de impacto, cabe no obstante
considerarla como una primera medición o T0 de cada barrio intervenido (no de los controles) y como un
importante elemento de monitoreo de la intervención, que permite evaluar el cambio desde ‘antes a
después’ (que, como se ha estipulado, es distinta de aquella ‘con ó sin’ programa). Con este alcance, cabe
analizar un segundo tipo de elementos: la oportunidad de la aplicación de las líneas de base; y sus
características (selección de la muestra; modalidad de aplicación; responsable; instrumento de medición;
base de datos).
En cuando a la oportunidad de la aplicación, tomando como proxy de inicio de cada subprograma
dos meses después de la fecha de convenio para Residencial, y la fecha de inicio de la fase 2 para Comercial,
una proporción de casos, principalmente en la versión Comercial, se aplicó ‘durante’ la intervención y no
como línea basal o ex ante. Vale decir, “junto con las actividades en terreno” o fase operativa.
“(…) en Barrio en Paz Residencial, está toda antes que empiece el programa. No se había
ejecutado ningún proyecto. En el caso de Comercial, ahí sí hay algunos barrios que empezaron
antes, pero no son muchos”.
“Son muy puntuales. Básicamente los pilotos que son como cinco. En Comercial hay diferencias
con Residencial no sólo por las bases sino por el proceso. En Residencial todo es licitado a
consultores, en cambio en Comercial es más complejo y descentralizado5”.
En tanto se observa diferencias entre lo declarado desde las coordinaciones y las fechas disponibles en
distintos registros, se hace necesaria, previa a su utilización como herramienta de monitoreo, la revisión
minuciosa de las fechas de inicio de la intervención y de aplicación de la encuesta de línea de base. En la
tabla siguiente, se relaciona la fecha de aplicación de la línea de base, con los proxy de inicio presentes en
los registros del programa:
5 Entrevista Patricia González, Departamento de Estudios, SPD.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
3
TABLA Nº 3. Relación Temporal entre Inicio de Intervención y Línea de Base (proxy Inicio: fecha Fase 2 ó Convenio + 2 meses), según Subprograma
Subprograma
TotalBP
Residencial BP
Comercial
Relación Temporal entre Inicio de Intervención y Línea de Base
Línea DESPUÉS de Inicio de Intervención
N 37 20 57
% 74,0% 31,7% 50,4%
Línea AL INICIO de Intervención N 0 19 19
% ,0% 30,2% 16,8%
Línea ANTES de Inicio de Intervención
N 13 24 37
% 26,0% 38,1% 32,7%
Total N 50 63* 113
% 100,0% 100,0% 100,0%
* 1 caso sin información.
En lo que hace a ciertas características de la aplicación, se aprecia diferencias resaltables:
BP Residencial muestra una mayor homogeneidad:
a) fue ejecutada por una empresa externa (Collect de manera independiente o asociada con la
Fundación Paz Ciudadana);
b) aplicando dos versiones de cuestionario sin cambios sustantivos; vale decir, homologables6; y
c) la información está reunida en dos bases de datos que, si bien requieren de un trabajo previo, son
factibles de unificar7.
BP Comercial, en cambio, exhibe diferencias que tornan difícil su estandarización:
a) fue ejecutada de manera externa sólo en 18 de los 64 casos; en el resto, la implementación estuvo
a cargo de las Gobernaciones, las que recurrieron a distintos actores y mecanismos de
levantamiento8;
b) las versiones del cuestionario no exhiben mayores diferencias; sin embargo, hay un problema en la
interpretación de algunos ítems derivada de la multiplicidad de ejecutores (gobernaciones) no
especializados, que ocasionó algunas pérdidas de ítems; y
c) las bases de datos (44 en total) requieren de un trabajo mayor de estandarización de campos,
códigos y categorías, antes de su unificación. Un número menor de variables, además, se ha
eliminado de algunas bases debido a dificultades de validación.
6 Las diferencias remiten básicamente a –por ejemplo‐ precodificación de consultas inicialmente realizadas de manera abierta.
7 Se trata de dos bases de datos.
8 “(…) en algunos lugares hicieron un convenio con universidades, en otros contrataron a empresas, en otro usaron empleados
municipales, o sea ahí se perdió un poco la pureza de la toma de terreno; en algunos lugares digitaron allá y analizaron allá, otros
lugares nos mandaron a nosotros todas las encuestas para digitarlas acá, analizarlas acá”. Martha Sepúlveda, Jefa Departamento de
Estudios SPD.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
4
TABLA Nº 4. ‐ Responsable Aplicación de Línea de Base, según Subprograma
Subprograma
TotalBP Residencial BP Comercial
Responsable Aplicación de Línea de Base Externa: Fundación Paz Ciudadana N 9 7 16
% 18,0% 10,9% 14,0%
Externa: Collect GFK N 41 11 52
% 82,0% 17,2% 45,6%
Subprograma N 42 42
% 65,6% 36,8%
Sin Información N 0 4 4
% ,0% 6,3% 3,5%
Total N 50 64 114
% 100,0% 100,0% 100,0%
TABLA Nº 5. ‐ Versión de Cuestionario Aplicada, según Subprograma
Subprograma
TotalBP Residencial BP Comercial
Versión de Cuestionario Aplicada Versión 1, Estudios SPD ("cuestionario locatarios")
N ‐‐‐‐‐‐‐‐ 42 42
% 65,6% 36,8%
Versión 2, Paz Ciudadana ("cuestionario locatarios I")
N ‐‐‐‐‐‐‐‐ 7 7
% 10,9% 6,1%
Versión 3, Collect ("cuestionario locatarios II)
N ‐‐‐‐‐‐‐‐ 11 11
% 17,2% 9,6%
Versión 1, Paz Ciudadana ("Cuestionario residencial III doc OFICIAL")
N 9 ‐‐‐‐‐‐‐‐ 9
% 18,0% 7,9%
Versión 2, Collect ("Cuestionario encuesta residencial I y II")
N 41 ‐‐‐‐‐‐‐‐ 41
% 82,0% 36,0%
Sin información ó sin encuesta Línea Base N 0 4 4
% ,0% 6,3% 3,5%
Total N 50 64 114
% 100,0% 100,0% 100,0%
TABLA Nº 6. ‐ Base de datos a la que corresponde, según Subprograma
Subprograma
TotalBP Residencial BP Comercial
Base de datos a la que corresponde
Subprograma, barrial ("LINEAS BASES APLICADAS POR SUBPROGRAMAS REGIONES 41 BARRIOS)
N ‐‐‐‐‐‐‐‐ 42 42
% 65,6% 36,8%
Paz Ciudadana ("LÍNEAS BASES LICITADAS, Base Locales Comerciales I")
N ‐‐‐‐‐‐‐‐ 7 7
% 10,9% 6,1%
Collect ("LINEAS BASES LICITADAS, Base consolidada medición I y II locales comerciales")
N ‐‐‐‐‐‐‐‐ 11 11
% 17,2% 9,6%
Paz Ciudadana ("Base residencial III") N 9 ‐‐‐‐‐‐‐‐ 9
% 18,0% 7,9%
Collect ("Base consolidada residencial I y II") N 41 ‐‐‐‐‐‐‐‐ 41
% 82,0% 36,0%
Sin información ó sin encuesta Línea Base N 0 4 4
% ,0% 6,3% 3,5%
Total N 50 64 114
% 100,0% 100,0% 100,0%
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
5
En relación a los tamaños muestrales y sus errores asociados9, los mismos son diversos tanto a
nivel BP Residencial como de la versión Comercial10. Por último ‐y tal como se ha adelantado‐ Barrio en
Paz Residencial originalmente preveía trabajar con una muestra mayor que incluyera en todos los casos
al cuadrante completo, con el objeto de tener parámetros de comparación. Restricciones
presupuestarias determinaron posteriormente una focalización acotada a los barrios intervenidos;
focalización que –como se verá más adelante‐ no tiene consecuencias sobre la ausencia de
contrafactual11.
Recapitulando, la Línea Basal o las Líneas de Base generadas por los subprogramas, aún cuando hubieran
sido adecuadamente aplicadas12, sólo permiten –una vez finalizada la intervención y levantada la Línea Final‐
hacer estimaciones sobre los resultados brutos generados en los barrios tratados. Estos resultados brutos
son la media de los cambios (‘después‐antes’) en las variables relevantes, producidos en los barrios
tratados durante el período transcurrido entre ambas mediciones13.
La limitación de estos resultados brutos es que aún cuando muestran lo sucedido en los barrios durante el
período, no estiman los resultados netos o impacto que generó el tratamiento propio del programa. No es
posible atribuir causalidad. Se conoce lo que cambió en los barrios ‐lo que es socialmente importante‐ pero
no puede aislarse los cambios debidos al tratamiento, de aquellos que se habrían generado de todos
modos sin tratamiento en los mismos barrios.
Con este alcance, se descarta la Línea de Base como “primera medición” o “T0” de la evaluación de
impacto, considerando –no obstante‐ necesarias las mediciones de seguimiento o finales previstas por el
programa, para estimar los cambios medios acaecidos en diversos lapsos de tiempo, al interior de los barrios
intervenidos.
II.2.3.b. ESTADÍSTICAS DE CASOS POLICIALES
Desde el Departamento de Estudios, y con el objeto de contribuir al monitoreo de los resultados del
subprograma BP Comercial, se recepciona mensualmente información proporcionada por Carabineros
respecto a “casos policiales”; es decir, estadísticas de denuncias y de detenciones por flagrancia.
Estos casos policiales a nosotros nos reportan una base mensual desde Carabineros, y
podemos llegar a sacar estadísticas a nivel de cuadrante. Hay región, comuna, y cuadrante,
9 Para un mayor detalle, Ver “Primer Informe, Análisis y Diseño de Evaluación Programa Barrio en Paz”.
10 Para BP Residencial, la muestra osciló en un rango de entre 116 y 787 hogares; con errores de entre 1.96% y 8.9%. Para BP Comercial,
entre 27 y 360 locatarios; y entre 38 y 389 transeúntes –para la aplicación por parte del subprograma‐ y un número fijo de 384
transeúntes para la aplicación licitada.
11 Se verá más adelante que aun habiendo mantenido el diseño inicial de cuadrante completo, la probabilidad de utilización de la línea
de base como medición 1 o “T0” no hubiera sido posible, en tanto el entorno no representa un adecuado contrafactual, en tanto
ámbito de influencia de la intervención.
12Cabe terminar de clarificar el tema de las fechas de aplicación relacionándolas con el inicio de la intervención, dadas las diferencias
registradas en la declaración de distintos informantes y en los registros escritos. Téngase en cuenta que si la medición hubiera sido
realizada una vez comenzado el tratamiento, el resultado bruto del programa podría ser subestimado.
13 O sea, remiten a la situación ‘antes‐después’ del programa pero no a la situación ‘con‐sin’ programa. Vale decir, no controla los
cambios derivados de otros factores.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
6
que es la unidad más pequeña (…). Tiene los datos del parte, en qué unidad policial se
registraron (…), el tipo de delito (…)”14.
Como primera actividad, Estudios localiza el cuadrante en el que está inserto el barrio intervenido, de modo
de obtener una primer caracterización del sector en función del perímetro mayor al cual corresponde. Como
segunda actividad, se ha venido realizando de manera gradual un proceso de georeferenciación a partir de
las direcciones presentes en las denuncias, partes y detenciones.
A la fecha –septiembre de 2012‐ se dispone de la información ‘bruta’ de Carabineros, no georeferenciada,
para la totalidad de las regiones y comunas, desde el momento ‘antes’ del programa en implementación;
concretamente, se dispone de información ‘bruta’ de casos policiales desde el año 2009 en adelante. El
proceso de georeferenciación ya realizado, en cambio, está acotado a un período posterior y sólo a barrios
del Subprograma Comercial15; específicamente, a 22 barrios priorizados por comercial, para los que se
releva información trimestral. Si bien el proceso de georeferenciación para la totalidad de los barrios se
revela como realizable, implica una muy considerable inversión en términos de tiempo y dedicación de
personal específico.
Por otra parte, la denuncia de un delito se produce cuando se cumple al menos las siguientes condiciones:
o El potencial denunciante estima que hubo un delito.
o El potencial denunciante estima que al hacer la denuncia podrá recuperar el bien afectado, recibir
algún otro beneficio (por ejemplo cuando hay seguros), o cooperará en producción de
consecuencias para el victimario.
o El potencial denunciante estima que al hacer la denuncia no corre riesgos de ser agredido por los
victimarios o sus cercanos.
o El potencial denunciante estima que los trámites que deberá realizar desde la denuncia no implican
gran costo.
Como es posible observar, se requiere no sólo de la existencia de un delito, sino también de otras
condiciones que limitan notoriamente la denuncia de delitos; es decir, hay un sesgo de selección en el acto
de denunciar.
Es por ello es que a veces una alta tasa de denuncia puede asociarse a una alta tasa de delitos, pero en otros
casos una baja tasa de denuncias puede esconder una alta tasa de delitos acompañada de miedo o
desconfianza en la denuncia y el sistema de persecución penal –y no corresponder a una baja tasa de
delitos.
14 Alejandra Martínez, Departamento de Estudios. Subsecretaría de Prevención del Delito.
15 Se trata de un proceso complejo: “Ellos tienen un cierto tipo de estandarización, pero tampoco es igual a la cartografía que tenemos
nosotros porque ellos tienen otra cartografía; son maestros antiguos y cada comisaría que ingresa el parte tiene la libertad de escribirla
como quiera (esquina tanto, al lado del supermercado, etc.). ‘Alameda’ (a secas) no nos sirve, porque nosotros tenemos Bernardo
O’Higgins. Además, tenemos que decirle de qué comuna. Concatenamos la comuna, se le hace un resumen por comuna y por calle, lo
subimos a una base de datos ‐porque hicimos un sistema que va registrando los errores con los cuales van escribiendo las direcciones,
por lo tanto si escribió Alameda, nosotros ya le dijimos que era Libertador Bernardo O’Higgins (…).Y están todos los que no los
recibimos escrito de alguna forma lo tenemos que escribir a mano, eso pasa mucho con los pasaje que escriben 3 con número, o letras,
o faltas de ortografía. El problema son los tiempos. Nosotros vamos priorizando por comuna. Gran Santiago es el que tiene información
más histórica porque es el que hacíamos siempre y después hemos ido incluyendo Gran Valparaíso, Gran Concepción, capitales
regionales, pero hacemos una priorización por comuna, porque no todo es para barrio (…)”. Alejandra Martínez, Dpto. de Estudios, SPD.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
7
En tanto se trata de información parcial que se comporta de manera no unívoca en la relación delito e
indicador –debido a que no recoge la llamada ‘cifra negra’ de la victimización y exhibe las paradojas
referidas respecto a su lectura‐ no sirve de parámetro para una evaluación de impacto para ninguno de los
subprogramas; aún cuando sí podría considerarse pertinente como información complementaria, con el
objetivo de explorar en la relación entre victimización y percepción de inseguridad (a abordar en la
evaluación de impacto), y el comportamiento de las tasas policiales –denuncias y detenciones por
flagrancia16.
II.2.3.c. LA ENCUESTA NACIONAL URBANA DE SEGURIDAD CIUDADANA (ENUSC)
La ENUSC es fruto del convenio suscrito entre la Subsecretaría de Prevención del Delito del Ministerio del
Interior y Seguridad Pública, y el Instituto Nacional de Estadísticas. Sus objetivos se orientan a:
1) Obtener información a nivel nacional, regional y comunal sobre la percepción de inseguridad y la
victimización de personas y hogares.
2) Caracterizar las situaciones en las que se producen los delitos.
3) Caracterizar la reacción y percepción de la ciudadanía frente al delito.
Si bien se trata de una encuesta con representatividad a nivel regional y no comunal ni barrial, podría haber
constituido sólo para el caso de BP Residencial una alternativa al modelo cuasi‐experimental basado en
recordación, en el caso de haber presentado suficiente número de casos en los barrios tratados y en otros
factibles de representar la situación contrafactual17. Requisito que el trabajo de georeferenciación de la
encuesta ENUSC 2010, realizado por el Departamento de Estudios de la Subsecretaría de Prevención del
Delito sobre una muestra del 78% de los barrios correspondientes al subprograma, mostró como
insuficiente: de los 39 barrios residenciales analizados, nueve (23% del total) concentra 20 o más
encuestados; veintitrés barrios (59% del total) presenta un número insuficiente de entre 1 y 19
entrevistados; y siete barrios (18% del total), no se encuentran presentes en la muestra ENUSC. De manera
detallada:
TABLA Nº 7. ‐ Muestra ENUSC 2010 presente en Barrios del Subprograma BP Residencial – Nº de Casos
Base: total barrios analizados (78% del total)
Nº de orden Barrio Comuna Nº de encuestas Resultado agregado
1 Villa Nuevo Amanecer Linares 52
Entre 20 y 52 casos: 23%
2 El Cortijo Conchalí 39
3 Raul Rettig Alto Hospicio 38
4 Altos de Aconcagua Los Andes 32
5 Villa Cardenal Silva Henríquez Cerrillos 27
6 Simón Bolivar Quinta Normal 22
7 Lagos de Chile Los Angeles 21
8 EL Pinar San Joaquín 20
9 Villa Primavera ‐ Jorge Alesandri II La Pintana 20
16 El analizar conjuntamente las tasas de “casos policiales” (denuncia y flagrancia) en los momentos ‘antes’ y ‘después’ de la
intervención (2009 y 2015 respectivamente), y los indicadores de temor y victimización (derivados de la evaluación de impacto),
permitiría ahondar en estas relaciones, estableciendo –por ejemplo‐ cómo se mueve la tasa de casos policiales en los barrios, ante un
tratamiento eventualmente eficaz.
17 Las encuestas ENUSC se aplican anualmente desde el año 2006; por lo que el período ‘antes’ del programa ‐2010‐ está representado.
La muestra asciende, para el año 2009 –momento ‘antes’ del subprograma‐ a 25.933 casos; incluyendo 311 comunas acotadas a zonas
urbanas; cobertura que congrega a 11.593.139 personas.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
8
Nº de orden Barrio Comuna Nº de encuestas Resultado agregado
10 Población Manuel Rodriguez Osorno 19
Entre 1 y 19 casos: 59%
11 Parque de Los Barrios San Fernando 15
12 Quinta etapa Cardenal Silva HenrIquez Arica 14
13 La Farfana Maipú 13
14 Población San Luis Talca 9
15 Antonio Varas Puerto Montt 8
16 Nororiente Tierras Blancas Coquimbo 7
17 Confraternidad San Bernardo 6
18 Los Maitenes Pedro Aguirre Cerda 6
19 Glorias Navales Vina del Mar 6
20 El Barrero Huechuraba 5
21 Escritores de Chile (Unidad Vecinal 3 y 4) Recoleta 5
22 Huamachuco 3 (ex Fresia) Renca 5
23 Los Nogales Estacion Central 5
24 Reina María Independencia 5
25 Villa Diego Portales Lo Prado 5
26 Unidad Vecinal 13 San Felipe 5
27 Luis Cruz MartInez Chillán 5
28 Manuel Rodriguez Curicó 5
29 Plazas de Chivalcán Temuco 4
30 La Bandera (Unidad Vecinal 7) San Ramón 1
31 Sara Gajardo Cerro Navia 1
32 Sector El Cristo Quilicura 1
33 Comunidad de la Cruz Rancagua 0
No representados: 18%
34 Montedónico Valparaíso 0
35 Gladys Marin Calama 0
36 Cerro Dragon Iquique 0
37 Villas El Progreso, Esperanza y Escondida Antofagasta 0
38 Pedro del Rio Zañartu Concepción 0
39 Llanos de Ollantay II Copiapó 0
Total 426 100%
En función del acotado número de barrios del subprograma Residencial representados en la encuesta ENUSC
con un tamaño muestral suficiente, la probabilidad de basar la evaluación de impacto del subprograma
Residencial en esta encuesta nacional, no resulta viable. No obstante, a partir del análisis se recomienda –
como se verá más adelante‐ la posibilidad de trabajar con la ENUSC, datos 2009 / 2015, en una evaluación
acotada a algunos barrios y complementaria, que servirá de parámetro de validación de los resultados
obtenidos con el diseño cuasi‐experimental con recordación que se propondrá como evaluación central.
II.3. METODOLOGÍAS DISPONIBLES PARA EVALUAR IMPACTO
Entre las metodologías para evaluar impacto, hay una que es la ideal y paradigmática: el diseño
experimental. Se trata de la única que bien aplicada genera estimaciones cuya validez es plena. Sin
embargo, no siempre es posible aplicar este diseño; en especial cuando –como en este caso‐ ya se ha
realizado la selección de los barrios a tratar.
El requisito central del diseño experimental es la asignación estrictamente aleatoria de los casos (en este
caso barrios) a la categoría de “intervenidos por el programa” o, alternativamente, a la categoría de “no
tratados” (barrios control). Estos últimos representan la situación contrafactual, para cada momento del
tiempo, respecto a cómo habrían estado los barrios tratados, de no haber sido incluidos en el tratamiento.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 1
9
La gran ventaja del diseño experimental es que la asignación aleatoria de los casos preseleccionados a las
categorías de “tratados” o “controles”, asegura que estas dos poblaciones sean estadísticamente iguales.
Sin asignación aleatoria a estos dos grupos, corresponde la utilización de los llamados diseños cuasi‐
experimentales, más complejos en términos de la construcción de la situación contrafactual.
Específicamente, en el marco de estas metodologías, es posible evaluar el impacto a través de –
principalmente:
a) Discontinuidad en la regresión, que requiere del programa que se utilice una discontinuidad en la regla
de asignación del tratamiento al grupo de beneficiarios, ya que la misma será utilizada como asignación
aleatoria en un vecindario para estimar el impacto del programa.
b) Identificación de efectos causales por medio de variables instrumentales, que con el objetivo de evitar
los sesgos que genera el hecho de que hay variables que afectan tanto a la participación en el programa
como al resultado de este, buscan una variable fuertemente asociada a la participación, pero que no
afecte los resultados; por lo tanto, que no esté correlacionada con el error.
c) Construcción artificial de grupos de control vía procedimientos de “matching”, o emparejamiento con
los tratados, que corrige las diferencias observables entre el grupo de ‘tratados’ (beneficiarios del
programa) y el grupo de ‘control’ (no beneficiarios, buscando para cada ‘tratado’ “a la unidad muestral
más parecida de la muestra de no beneficiarios”18.
II.4. DISCUSIÓN DE LA FACTIBILIDAD DE LOS DISEÑOS GENÉRICOS PARA EVALUAR EL IMPACTO DE BARRIO EN PAZ
Dado lo avanzado del programa, el hecho de que no se ha utilizado un criterio de asignación aleatoria al
tratamiento, y especialmente debido que no se ha decidido ampliar su aplicación a un número importante19
de nuevos barrios a intervenir, no existen las condiciones básicas para utilizar diseños experimentales para
evaluar el impacto de los subprogramas.
Sin embargo, no es posible descartar que en el futuro se tome una decisión diferente y se opte por
incorporar un número importante de nuevos barrios a cualquiera de ambos subprogramas. En ese caso,
resultaría factible desde el punto de vista técnico implementar una evaluación de impacto con un diseño
experimental20, para el o los subprogramas con barrios en incorporación. Lo que se estaría midiendo –cabe
precisar‐ es el impacto en ese grupo de barrios (no en todos los intervenidos) y con un diseño diferente o
modificado de la modalidad de selección, que permitiera la asignación aleatoria a las categorías de tratados
o de controles.
Descartado entonces el diseño experimental, a continuación se analiza la probabilidad de evaluar impacto a
través de tres tipos de diseños cuasi‐experimentales: discontinuidad en la regresión; variables
instrumentales; y grupo de control construido mediante “matching”.
18 DIPRES. Anexo Metodología de Evaluación de Impacto.
19 Para BP Comercial, se prevé la incorporación de aproximadamente 8 nuevos barrios, y no se dispone de un número suficiente de
territorios con las mismas características como para realizar una selección aleatoria inicial. En el caso de BP Residencial, no se ha
informado sobre la eventual incorporación de nuevos barrios.
20 La importancia de esta posibilidad radica –como se ha referido‐ en que se trata del diseño ideal para medir válidamente el impaccto.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
0
II.4.1. Discontinuidad en la regresión
En relación a la opción de utilizar la metodología de identificación de impactos por medio de discontinuidad
de la regresión:
“La principal característica que debe presentar un programa para hacer uso de esta metodología es
que se utilice una discontinuidad en la regla de asignación del tratamiento al grupo de
beneficiarios, ya que ésta será utilizada como una asignación aleatoria en un vecindario para
estimar el impacto del programa.
La intuición que está detrás de esto es que los individuos que están justo arriba del corte utilizado
para asignar el tratamiento, son muy parecidos a los individuos que han sido clasificados justo por
debajo del corte. Por lo tanto, para la evaluación de impacto se compararán los resultados
obtenidos entre ambos grupos de individuos tratados y no tratados.
Cabe destacar que para poder utilizar esta metodología de evaluación debe ser posible ordenar a
los beneficiarios y no‐beneficiarios en base a un índice construido a partir de variables objetivas y
cuantificable.”.
(DIPRES: Anexo Metodología de Evaluación Impacto, Mayo 2009).
En este marco, si los barrios tratados hubieran sido elegidos en función de un valor mínimo definido como
crítico (por ejemplo, la tasa de victimización, o un índice delictual agregado), se podría aplicar este diseño.
Sin embargo, la metodología utilizada para la selección de barrios tratados, no ha cumplido con esta
condición:
No se dispuso de un marco completo de barrios pre‐seleccionados, cada uno con el valor del
indicador para la elegibilidad ya estimado.
No se definió un valor (umbral) de ese indicador sobre el cual el barrio sería ‘tratado’.
Por el contrario, la selección de los barrios no se ciñó a un criterio estricto y estandarizado, sino
que consideró diversas características, incluyendo algunas totalmente independientes de la
victimización ‐como la pertenencia a una provincia, o el nivel de intervención barrial‐ y otras
subjetivas ‐como la opinión de los alcaldes sobre sus problemas de seguridad o la optimización de la
distribución de recursos.
En función de lo expuesto, no es posible utilizar discontinuidad en la regresión para estimar el impacto.
II.4.2. Variables Instrumentales
Cuando hay variables claves que inciden en la participación en el programa y afectan también el resultado
potencial de un individuo, y esas variables clave no se incluyeron como explicativas, el término de error de
la ecuación explicativa incluye tanto el error puro como el efecto de esa o esas variables no incluidas en la
explicación. Lo que produce un sesgo, de dimensión y sentido no conocido en las estimaciones del impacto;
es decir, genera estimaciones erróneas del impacto.
El caso de Barrio en Paz es uno de los programas que sufre de este sesgo de selección. Hay variables que
incidieron en la selección y muy probablemente en el resultado o impacto, como por ejemplo: (a) interés del
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
1
alcalde en mejorar la seguridad en su comuna; (b) preferencia del alcalde de que participe un barrio y no
otro; (c) capacidad de organización de un barrio y por tanto capacidad para lograr una intervención; (d)
acceso del barrio a mostrar su inseguridad en medios de comunicación; entre otras.
En ese caso, en la ecuación que se estima, T indica participación (1) o no (0) en el programa; es decir, toma
valor 1 para los tratados y 0 para los controles; es el coeficiente que debiera estimar el impacto. Y la
matriz X incluye todas las variables pre‐tratamiento que se están usando para controlar; el vector
contiene los coeficientes de las variables de control. Sin embargo, hay una (o más) variables claves que no se
observaron o que no son observables, y que resulta(n) importantes para tomar la decisión de participar,
afectando también el resultado. En esa ecuación es el término de error.
(3) En este caso, hay una correlación entre el T y que hace inconsistentes y sesgados los resultados.
Para evitar este error hay que limpiar la correlación entre T y y aislar la variación de T que no está
correlacionada con . Para eso se utilizan las variables instrumentales, cuando se cuenta con ellas.
Básicamente, una variable instrumental es una variable (que se llamará z) que cumple con dos condiciones:
(a) Está correlacionada con T y (b) No está correlacionada con .
Si se tiene esa variable o es posible construirla, habría que estimar un LOGIT o PROBIT21 que explique T por
la variable instrumental “z” y otros regresores. Y de allí se obtiene la T predicha para cada caso . Luego, hay
que estimar la ecuación de impacto (3) pero reemplazando T por , es decir, estimar:
Con esto, intuitivamente, se ha “limpiado” la variable T de su correlación con . Los coeficientes resultantes
ahora son insesgados; entre ellos, el coeficiente que mide el impacto.
Esto solo se puede lograr cuando se cuenta con esa variable instrumental que claramente está
correlacionada con T pero que no está correlacionada con el error (o el resultado) de cada caso.
Ahora bien: este equipo no ha identificado para ninguno de los subprogramas, alguna variable instrumental
que pueda cooperar a identificar los impactos y que permita aplicar esta metodología. Por lo tanto, se
descarta esta posibilidad de utilizar la variables instrumentales para evaluar el impacto del programa y sus
subprogramas.
Cabe destacar que esta metodología se ha usado en otros estudios similares en otros países. En particular
ver Worrall and Kovandzic (2010)22; Vollaard and Koning (2009)23 y Braakmann (2012)24. Sin embargo, estos
diseños no son aplicables al caso en análisis.
21 Se usan estos procedimientos debido a que T es una variable dicotómica (0,1)
22 Worrall and Kovandzic : “Police levels and crime rates: An instrumental variables approach. Social Science Research 39 (2010) 506–
516
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
2
II.4.3. Grupo control por matching
En cuanto a la factibilidad de realizar una evaluación de impacto para cada uno de los subprogramas
(residencial y comercial) con un diseño cuasi‐experimental a través de la construcción artificial de grupos de
control vía procedimientos de “matching”, o emparejamiento con los tratados, cabe consignar lo siguiente:
Para estimar los impactos de cada subprograma es necesario contar con:
Una muestra aleatoria de barrios tratados (u optar por el censo de ellos25); y
una cantidad idealmente mayor a la de los barrios tratados, de barrios que puedan ser potenciales
controles de esos sectores intervenidos.
Esta metodología, diseño cuasi‐experimental con grupo de control vía matching, es factible de aplicar para
evaluar los impactos de ambos subprogramas.
III. ELEMENTOS CENTRALES DE LA PROPUESTA PARA EVALUAR EL IMPACTO DE PROGRAMA BARRIO EN PAZ Y SUS SUBPROGRAMAS SOBRE LA POBLACION BENEFICIARIA
Del análisis previo se desprende la factibilidad de realizar una evaluación de impacto para cada
subprograma, utilizando para ello un diseño cuasi‐experimental, basado en la construcción de un grupo de
control artificial, por la vía de “matching” fundado en el puntaje de propensión de cada barrio a ser
intervenido. El diseño prevé la estimación de la situación inicial de cada barrio (tratado y potencial control),
utilizando la capacidad de recordación de la población entrevistada26.
Cabe advertir ‐antes de proceder al detalle de cada uno de los modelos‐ que no será posible estimar el
impacto en los transeúntes de los barrios Comerciales, debido a la dificultad de encuestar transeúntes que
también lo hayan sido en el momento ‘antes’, y que por lo tanto, puedan recordar ese momento previo. Por
lo que la evaluación se acotará exclusivamente al universo de locatarios.
III.1. DESARROLLO DEL DISEÑO PARA EL SUBPROGRAMA BARRIO EN PAZ RESIDENCIAL
III.1.1. Hipótesis de Trabajo en Barrio en Paz Residencial
A partir del objetivo principal del Subprograma BP Residencial, a saber,
23 Vollaard and Koning: The effect of police on crime, disorder and victim precaution. Evidence from a Dutch victimization Survey.
International Review of Law and Economics 29 (2009) 336–348 24 Braakmann: How do individuals deal with victimization and victimization risk? Longitudinal evidence from Mexico. Journal of
Economic Behavior & Organization xxx (2012) xxx– xxx
25 Siempre es mejor usar el censo debido a que se cuenta con mayor tamaño muestral y sin riesgo de error muestral.
26 Sin embargo, en el caso de la versión Comercial, las características del subprograma y parte de su población objetivo, imponen
ciertas restricciones que se abordarán más adelante.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
3
Disminuir la victimización por delitos, violencia interpersonal, percepción de inseguridad y
actividades asociadas al tráfico de drogas en barrios focalizados.
Y de sus objetivos específicos, orientados a reducir los factores de riesgo que incrementan esa
posibilidad, e identificados como violencia intrafamiliar; violencia escolar; violencia entre grupos de niños,
niñas, adolescentes y jóvenes en los espacios públicos; violencia vecinal y comunitaria; ausencia de apoyo a
la reinserción social post‐penitenciaria o post‐registro de infracciones a la ley por parte de adultos y/o
niños(as) y adolescentes; así como las características físico‐ambientales de un determinado entorno.
… Las hipótesis de causa efecto de la evaluación propuesta, pueden resumirse de la siguiente forma:
A nivel de Resultados Finales o de Impacto (fin del programa27):
(a) La participación de los barrios focalizados en el Subprograma BP Residencial, tiene un impacto
estadísticamente significativo, en algunas de las siguientes dimensiones de la vulnerabilidad social de
sus habitantes:
1. Una disminución en la tasa de victimización28 barrial29 de los hogares de los barrios focalizados, en
relación a la que tendrían si su barrio no hubiese participado en el Subprograma.
2. Una disminución en la tasa de percepción de inseguridad en sus barrios30, de los residentes en los
hogares de los barrios focalizados, en relación a las que tendrían si su barrio no hubiese participado
en el Subprograma.
A nivel de Resultados Intermedios (propósito del programa)31:
27 La Matriz de Marco Lógico propuesto por esta consultoría –a partir del cual, en asociación con los objetivos referidos y derivados de
distintos documentos‐ se derivan las hipótesis de causalidad, considera:
Fin: Contribuir a la disminución del delito y de la percepción de inseguridad, que afectan el bienestar social.
Propósito: Reducir los factores de riesgo que inciden en los niveles de victimización y en la percepción de inseguridad, presentes en los
barrios.
Componente: Intervención preventiva y de control, sobre los factores de riesgo que incrementan la probabilidad de victimización por
delitos (especialmente contra las personas y/o contra la propiedad), violencia interpersonal (especialmente violencia intrafamiliar,
violencia escolar y violencia entre grupos de niños, adolescentes y jóvenes), percepción de inseguridad y actividades asociadas al tráfico
de drogas, en barrios residenciales focalizados.
28 Algún miembro del hogar fue víctima de algún delito en su barrio, durante los últimos 12 meses.
29 Victimización en sus propios barrios.
30 Percepción de probabilidad de ser víctima de algún delito en su barrio, en los próximos 12 meses.
31 Factores de riesgo, factores protectores, y estrategia del Subprograma: “La aplicación del Programa Barrio en Paz Residencial sobre
los cuatro problemas de seguridad pública señalados (victimización por delitos –especialmente contra las personas y/o contra la
propiedad‐, violencia interpersonal –especialmente violencia intrafamiliar, violencia escolar y violencia entre grupos de niños,
adolescentes y jóvenes‐, percepción de inseguridad y actividades asociadas al tráfico de drogas), se realizará mediante la intervención
sobre factores de riesgo que incrementan la probabilidad de que estos problemas se produzcan en los barrios, así como a través del
fortalecimiento de condiciones protectoras que contribuyan a la disminución de dicho riesgo”. Barrio en Paz Residencial, página 7.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
4
(b) La participación de los barrios focalizados en el Subprograma BP Residencial, tiene un impacto
estadísticamente significativo, en algunas de las siguientes dimensiones32 de la vulnerabilidad social de
sus habitantes:
1. Una disminución en los niveles de violencia intrafamiliar de los hogares de los barrios focalizados,
en relación a los que tendrían si su barrio no hubiese participado en el Subprograma.
2. Una disminución en los niveles de violencia escolar al interior de los hogares de los barrios
focalizados en las escuelas de sus propios barrios, en relación a los que tendrían si su barrio no
hubiese participado en el Subprograma.
3. Una disminución en los niveles de conflictos vecinales o comunitarios en los barrios focalizados,
en relación a los que tendrían si su barrio no hubiese participado en el Subprograma.
4. Un aumento en el capital social de los hogares de los barrios focalizados en sus propios barrios, en
relación al que tendrían si su barrio no hubiese participado en el Subprograma.
5. Un aumento en los niveles de participación social de los hogares de los barrios focalizados, en
relación al que tendrían si su barrio no hubiese participado en el Subprograma (número de ‘tipos’
de organización en las que participa entrevistado).
6. Un mejoramiento de las características físico‐ambientales relacionadas con la seguridad en los
barrios focalizados, en relación a las que tendrían si su barrio no hubiese participado en el
Subprograma (características físicas del ambiente –lugares seguros/peligrosos; presencia,
efectividad y valoración de control policial).
III.1.2. Elementos Básicos de Diseño, Evaluación de Impacto Central o ‘Ad Hoc’, Barrio en Paz Residencial
Para evaluar las hipótesis planteadas, el diseño de evaluación propuesto, considera los siguientes
elementos:
1. DISEÑO GENERAL
La propuesta final considera un diseño cuasi‐experimental, basado en la construcción de un grupo de
control artificial33 por la vía del matching, fundado en el puntaje de propensión de cada barrio a ser
intervenido. Prevé la estimación de la situación inicial de cada barrio, utilizando la capacidad de recordación
de la población entrevistada.
Vale decir, considera la aplicación de un mismo instrumento de recolección de información (cuestionario de
Línea de Base del Subprograma con algunos ajustes), a dos grupos de hogares ‐barrios intervenidos y barrios
no intervenidos o de control; y en una sola aplicación (‘después’ del Subprograma, ya que el horizonte de
evaluación considera el período 2010‐2014 y no se dispone de Línea de Base para el grupo de control).
32 Para la mayor parte de las dimensiones y variables consideradas como indicadores de resultados intermedios ‐violencia intrafamiliar,
violencia escolar, conflictos vecinales o comunitarios, capital social, integración al barrio y niveles de participación social‐ se propone
una formulación específica en el apartado correspondiente al cuestionario.
33 Ver DIPRES: Anexo Evaluación Impacto.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
5
La medición del impacto se realiza a través de doble diferencias: la primera, corresponde al cambio entre el
‘antes’ y el ‘después’ del tratamiento; y la segunda, a la diferencia entre hogares de barrios tratados y de
barrios controles matcheados con los primeros. Se trata, en razón del diseño del programa, de una
comparación entre barrios –no entre hogares.
2. UNIVERSO DE ESTUDIO, UNIDAD DE ANÁLISIS Y UNIDAD DE INFORMACIÓN
UNIVERSO DE ESTUDIO
El universo de estudio está constituido por todos los hogares34 que habitan las viviendas particulares
ocupadas de los barrios focalizados o intervenidos por el Subprograma en las 13 regiones del país en las que
tiene presencia35.
UNIDAD DE ANÁLISIS Y DE INFORMACIÓN
La unidad de análisis son los hogares referidos; y la unidad de observación, los miembros del hogar de 15
años y más.
3. ÁMBITO GEOGRÁFICO
La cobertura geográfica de la encuesta es Nacional Urbana (focalizada en las 13 regiones intervenidas por el
Subprograma).
4. DISEÑO MUESTRAL
Multietápico, probabilístico hasta la etapa de selección de los sujetos a entrevistar (Tabla Kish).
ETAPAS UNIDADES DE MUESTREO PROCESO
UNIDAD PRIMERA ETAPA Sectores de Empadronamiento Censal: manzanas (áreas urbanas)
Selección aleatoria sobre –idealmente‐ Marco Muestral Maestro (MMM), con probabilidad de selección proporcional al número de viviendas y manzanas.
UNIDAD SEGUNDA ETAPA Viviendas particulares ocupadas (se encuesta a una persona por cada hogar de la vivienda).
Sorteo aleatorio simple (urbano) desde MMM (ó in situ con tabla aleatoria a sector empadronado).
UNIDAD TERCERA ETAPA Persona de 15 años y más. Sorteo aleatorio simple a través de aplicación Tabla Kish entre los personas de 15 años y más.
5. TAMAÑO MUESTRAL
Para la determinación del tamaño muestral, vale decir, del número de barrios tratados y de barrios
potenciales controles a incorporar; así como del número de viviendas y personas a encuestar en cada barrio;
deben ser considerados los siguientes aspectos:
El Poder estadístico que se desea. En la presente evaluación, se propone un 80%.
34 Se trata de hogares y no de viviendas, en tanto se presume que al interior de un hogar sus integrantes se informan mutuamente
acerca de los problemas de seguridad que viven. Lo que podría no suceder al interior de viviendas formadas por más de un hogar.
35 El Subprograma no ha intervenido Aysén ni Magallanes.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
6
La diferencia socialmente relevante de detectar en los cambios, en las variables de resultado claves;
en este caso, en el cambio (después‐antes) de la tasa de victimización media barrial. En las
aproximaciones que se presentan, se ha considerado un 5% de baja en la tasa como impacto
mínimo del programa que podría detectarse con este poder estadístico; es decir que si la tasa inicial
es de 30%36, la misma habría bajado a un 20% en promedio en los barrios tratados. Como es
natural, si se quisiera detectar impactos menores, habría que considerar un mayor tamaño
muestral.
La tasa de victimización general inicial (p): para este cálculo, se ha utilizado dos estimaciones
diferentes:
o La primera, corresponde a la tasa media nacional obtenida en las ENUSC 2005 a 2011, que
alcanza al 34%: en este marco, se calcula el tamaño muestral para una hipótesis de disminución
de un 5%, desde el 37% inicial, a un 32% final neto en los barrios tratados.
o La segunda, corresponde a la media simple de las tasas medias de victimización obtenidas en
una muestra de 19 barrios tratados, que alcanza al 17.5%.
Como es natural, si se quisiera detectar impactos menores al 5%, habría que considerar un mayor
tamaño muestral.
El porcentaje de significación estadística exigido al estudio. En las estimaciones que se presenta a
continuación, se considera un 5% unilateral para considerar significativa la diferencia entre tratados
y controles.
Considerando las condiciones referidas, se trata de definir –como se ha comentado‐ dos tamaños
muestrales: aquel relativo al número de barrios (tanto de tratados como de controles ya seleccionados
como tales), y aquel atingente al número de hogares a encuestar en cada barrio (se trate de ‘tratado’ o
potencial control)37. El número de encuestas a aplicar debe considerar que se requiere una tasa superior a 1
de potenciales controles sobre controles efectivos.
Por ello, para dimensionar los costos de esta propuesta resulta necesario considerar la tasa de barrios
potenciales controles que se seleccionará sobre el número de barrios tratados que se debe encuestar. Esta
propuesta sugiere inicial e idealmente una tasa de 2: vale decir, que si los barrios tratados presentes en la
muestra ascendieran a 40, los barrios potenciales controles en los que habría que identificar y encuestar a
una muestra de su población ascenderían a 80 (40 x 2=80 barrios38). Cabe precisar que la tasa de 2
potenciales controles sobre cada tratado no tiene fundamento estadístico y depende en gran medida de la
calidad de la selección de los barrios potenciales, pudiendo en consideración de razones de costo,
disminuirse a una más accesible tasa de 1.539 o 1.2.
36 A modo de ejemplo, en BP Residencial, la tasa máxima de victimización se sitúa en 25.4% en Cerro Dragón, Iquique.
37 El método requiere contar con un número importante de barrios potenciales controles. A través del matching se seleccionará los
barrios controles que se usarán para estimar impacto. El tamaño muestral que se estima aquí es el de tratados y el de barrios controles
efectivos.
38 Como esta tasa es alta y conlleva costos importantes asociados; se considera que podría bajarse hasta 1.5, razonablemente.
39 En el Segundo Informe ya se había aconsejado una tasa de 2, en atención a estas consideraciones. Sin embargo, desde las
observaciones de contraparte se sugirió a este equipo elevar la tasa a 3, como situación deseable –lo que se deja abierto. Interesa
destacar que esta selección –se trate de dos o de tres barrios potenciales controles por cada tratado‐ sólo tiene costos económicos y no
de carácter político, en tanto no inhibe el eventual ingreso de los barrios al programa: las consultas remiten a ‘lo que ya pasó’, y no a
una situación futura (recordación).
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
7
Ahora bien, para estimar el tamaño muestral se ha seguido el siguiente razonamiento:
Las variables principales que interesan son el impacto medio en los barrios tratados; es decir, la diferencia
entre el cambio medio (después‐antes) en los tratados y aquel equivalente de los controles pareados. Y este
cambio es en variables de proporción (como las tasas de victimización).
El cambio medio en cada barrio se estimará como la media del cambio en los hogares encuestados en ese
barrio. Y la varianza de dicho cambio medio dependerá del numero de encuestados en dicho barrio, así
como de la varianza del cambio registrado en cada hogar.
Debido a que el resultado de cada hogar antes y después solo puede ser 0 o 1 (fue víctima o no en ese año),
el cambio en el hogar solo puede tomar valores ‐1, 0 o 1. Es decir, se trata de una distribución trinomial.
Para lograr una aproximación al tamaño muestral se supondrá que la media inicial de las variables de
victimización son iguales en ambos grupos (barrios tratados y barrios controles pareados a ellos). De esta
manera, el impacto es la diferencia simple entre dos proporciones: la tasa después en tratados menos la tasa
después en controles. Este supuesto permite usar las características de la varianza de una distribución
binomial.
Lo que se estima es una serie de combinaciones de tamaño muestral en cada barrio y de tamaño muestral
en número de barrios. Para ello se fija un número de encuestas por barrio (por ejemplo 30 encuestas). Ese
número permite estimar la varianza muestral de la proporción media de cada barrio (es decir de la tasa de
victimización media de cada barrio) a través de la conocida fórmula:
Donde:
Varianza de la proporción p (antes) en la muestra de cada barrio
Error estándar de p inicial (antes) en la muestra de cada barrio
Probabilidad de victimización (cualquiera)
Probabilidad de no victimización (cualquiera)
Numero de encuestas en cada barrio, ya sea tratado como potencial control
Con estos datos y su complemento (q) se estima la varianza de la media de la proporción de cada barrio con
nb cantidad de hogares encuestados en cada barrio (se ha usado población infinita). Y la conclusión obtenida
es que conviene aplicar 30 encuestas por barrio para aumentar la eficiencia del resultado.
Para el siguiente paso –tal como ha sido referido en referencia a la hipótesis de baja de un 5%‐ se utiliza dos
alternativas para el p inicial (tasa de victimización general): la media de las ENUSC 2005‐2011 (37%) y la
media de la misma tasa obtenida derivadas de una muestra de las líneas de base aplicadas en 19 barrios
tratados (17,5%.).
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
8
Luego, usando la siguiente fórmula40:
Donde:
Valor de z para una significación estadística de . Para las estimaciones se consideró
una significación de 5%; es decir, un z de 1,645 debido a que es de una cola.
Valor de z para un poder estadístico de . Para las estimaciones se consideró un
poder estadístico de 80%; es decir un z de 0,842
El error estándar o varianza muestral de las medias de cada barrio. Depende del número de
encuestas en cada barrio.
El valor socialmente relevante para la diferencia entre tratados y controles (impacto). Se ha
considerado como cambio relevante d=0,1 en las tasas de victimización41 y d=0,05. Si se
quisiera detectar con ese poder una variación menor, habría que subir el tamaño muestral.
Estas simulaciones generan las siguientes combinaciones de tamaño muestral en cada barrio y tamaño
muestral de barrios tratados.
Para la detección de una disminución del 5%
(Base: victimización alternativas ENUSC ó Muestra Líneas de Base BP Residencial)
Tasa de victimización inicial escogida
Encuestas por barrio
Numero de barrios
Encuestas en tratados (subtotal)
Tasa potenciales controles / tratados
Encuestas Totales (tratados y potenciales controles) total
42
ENUSC 30 37 1.110 2 3.330
Muestra Línea Base
30 31 930 2 2.790
Finalmente, y considerando que para el universo de 50 barrios intervenidos por el subprograma, el
tamaño muestral con 5% de error muestral con 95% de confianza, es de 37 o 31 barrios
alternativamente, se propone la realización de 3.330 ó 2.790 encuestas –según se asuma el dato inicial
ENUSC o Línea de Base.
Sin embargo razones de costo –en tiempo y recursos económicos‐ asociadas a la necesidad de evaluar
dos subprogramas distintos de forma independiente (BP Residencial y BP Comercial), sugieren la
posibilidad razonable de disminuir estas dimensiones a través de dos mecanismos: el poder estadístico,
y la tasa de barrios potenciales controles sobre barrios tratados. A modo de ejemplo, una disminución
en esta última a una tasa de “1.5” controles por cada tratado, reduce la muestra –con tasa inicial
40 Pita Fernández S. Unidad de Epidemiología Clínica y Bioestadística. Complexo Hospitalario Juan Canalejo. A Coruña. Cad Aten
Primaria 1996; 3: 138‐14. Actualización 06/03/2001.
http://campus.easp.es/Abierto/file.php?file=%2F7%2FDeterminacion_tama_o_muestral.pdf
41 Interesa destacar que esta decisión no tiene fundamento estadístico, sino político‐técnico: ¿qué cambio es técnica y socialmente
relevante?
42 Esta columna indica número total de encuestas que implica el diseño. Supone que aparte de los barrios tratados se encuesta 2 veces
esa cantidad de barrios para que operen como potenciales controles. Esta tasa de 2, puede bajarse a 1.5 o, eventualmente, a 1 –aún
cuando se desaconseja.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 2
9
ENUSC‐ a 2.775 casos; y una disminución a una tasa de “1.2”, concentra la muestra en 2.442 casos –lo
que se considera de mayor viabilidad.
6. HORIZONTE DE EVALUACIÓN Y DELIMITACIÓN DEL ‘ANTES’ Y ‘DESPUÉS’
La propuesta contempla la evaluación de todo el primer período de funcionamiento del Subprograma desde
sus inicios, 2010‐2014. Lo que implica, en función del análisis realizado en relación a los niveles de avance
del estado de implementación y los supuestos de finalización del período de ajuste y desarrollo del modelo,
la inclusión de dos años de funcionamiento en régimen.
En función de lo anterior, considerando como horizonte de evaluación a un año después de finalizada la
intervención, se sugiere como momento ‘antes’ a diciembre de 2009; y como momento ‘después’, a
diciembre de 2015 (un año después de finalizado el Subprograma, de acuerdo a lo establecido en sus
documentos oficiales).
7. DIMENSIONES Y VARIABLES: DEFINICIONES BÁSICAS
Las dimensiones y variables claves de la evaluación, derivadas de las hipótesis centrales relacionadas con los
objetivos del subprograma, se definen conceptualmente como sigue:
A nivel de Resultados Finales o de Impacto:
Victimización: acaecimiento real de hechos de violencia43 y despojo (amenaza objetiva).
Percepción de inseguridad: probabilidad atribuida a la ocurrencia de hechos de violencia y despojo
(amenaza subjetiva).
A nivel de Resultados Intermedios:
Violencia intrafamiliar: todo maltrato que afecte la vida o la integridad física o psíquica entre las personas
que mantienen una relación de familia o parentesco, señalada en la ley 20.066 (SERNAM44). La violencia
siempre es una forma de ejercicio del poder, ya sea físico, económico, psicológico, etc (Corsi45).
Violencia escolar: cualquier tipo de violencia que se da en contextos escolares. Puede ir dirigida hacia
alumnos/as, profesores/as o propiedades. Estos actos tienen lugar en instalaciones escolares (aula, patio,
lavabos, etc), en los alrededores del centro y en las actividades extraescolares. El término acoso (bulling)
43 Violencia: uso o amenaza de uso de la fuerza, física o psicológica, con el fin de causar daño o doblegar la voluntad. O: toda acción u
omisión intencional que, dirigida a una persona, tiende a causarle daño físico, psicológico, sexual o económico, y dirigida a objetos o
animales, tiende a dañar su integridad (Informe violencia entre compañeros de escuela, op cit).
Despojo: acto de privar ilegítimamente a una persona física o jurídica de su patrimonio.
Informe Nacional de Desarrollo Humano 2005, Venciendo el Temor: (In)seguridad Ciudadana y Desarrollo Humano en Costa Rica.
PNUD, 2005.
44 http://www.slideshare.net/Alhejandro/violencia‐intrafamiliar‐sernam‐presentation
45 Corsi, Jorge: “Violencia familiar. Una mirada interdisciplinaria sobre un grave problema social”. Editorial Paidos, Buenos Aires, 1994.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
0
hace referencia a un comportamiento repetitivo de hostigamiento e intimidación, cuyas consecuencias
suelen ser el aislamiento y la exclusión social de la víctima46 47.
Conflictos vecinales y/o comunitarios: corresponden a toda situación en la que dos o más vecinos se
encuentran en oposición ya sea por desacuerdos entre sus expectativas, objetivos e intereses y/o sobre el
modo de cumplirlos. A la vez, se define como vecinos a dos o más personas que viven relativamente cerca o
dentro de la misma comunidad, o que comparten intereses u objetivos comunes dentro de un espacio
geográfico delimitado. Este tipo de conflictos, desde un punto de vista de respuesta institucional, puede
estar asociado a una jurisdicción de policía local, civil o incluso penal, o puede no tener respuesta
institucional alguna48.
Capital social: mecanismos que cohesionan a las comunidades y que se refieren tanto a percepciones como
a prácticas sociales, cuyas consecuencias trascienden el desempeño económico49.
Participación social: es la actividad organizada, racional y consciente, por parte de un determinado grupo
social, con el objeto de expresar iniciativas, necesidades o demandas, de defender intereses y valores
comunes, de alcanzar objetivos económicos, sociales o políticos y de influir, directa o indirectamente, en la
toma de decisiones para mejorar la calidad de vida de la comunidad50.
46 Serrano Sarmiento, Ángela; Iborra Marmolejo, Isabel. Informe sobre violencia entre compañeros en la escuela. España, 2005. Centro
Reina Sofía para el Estudio de la Violencia. Serie Documentos 9.
47 Otra definición de “violencia escolar”, concordante con la citada, especifica: es un comportamiento ilegítimo que implica el uso y
abuso de poder o la fuerza de una persona en contra de otra o de sus bienes. Es un problema que se da en la interacción entre los
miembros de la comunidad escolar. Segundo Estudio Nacional sobre Violencia en Establecimientos Escolares, MINEDUC, 2009.
48 Informe Final Estudio Cuantitativo y Cualitativo de los Conflictos Vecinales y/o Comunitarios, y de las alternativas disponibles para su
Resolución. Ministerio de Justicia, Chile, página 7.
Cabe precisar que el Ministerio de Justicia y los planes de mediación comunitaria y justicia vecinal, los conceptos de conflictos vecinales y conflictos comunitarios se utilizan indistintamente, siguiendo a Cox y Faundez, es factible realizar la siguiente distinción:
Definición conceptual: ”entenderemos lo “vecinal” como lo relativo a los vecinos en tanto personas naturales o familias que residen en una unidad vecinal (territorio) y lo “comunitario” como lo relativo a la comunidad y, por ende, a las personas y grupos que hacen parte de la comunidad y (aunque no exclusivamente como se desprende de lo anterior) a las organizaciones comunitarias, sean territoriales, como las juntas de vecinos, o funcionales (como puede ser un club de adultos mayores).Así, un conflicto será vecinal si atañe a vecinos (los actores son personas naturales o familias) y se da por tanto en un nivel interpersonal, intragrupal o intergrupal, pero no tiene mayores ecos o repercusiones en la comunidad”.
“Casos típicos serían los de violencia intrafamiliar o los de controversias o riñas entre vecinos colindantes. Sin embargo, esta calificación requiere de un profundo análisis, principalmente de las causas, pues puede ocurrir que sea la falta de una adecuada ordenanza municipal, por ejemplo, la que desate múltiples dificultades entre vecinos cambiando el carácter del conflicto de vecinal a comunitario. Un conflicto será comunitario si, cualquiera sea su nivel, sus causas están enraizadas en la comunidad tal como la hemos definido (tejido socio‐cultural‐ideológico), o su desarrollo involucra a la comunidad, o sus consecuencias afectan a la comunidad. Del mismo modo, si los actores son organizaciones comunitarias, sea el conflicto interno de una organización o entre varias; o si no todos los actores son organizaciones comunitarias, pues puede ocurrir que una empresa privada o una entidad estatal afecten los intereses de una junta de vecinos u otras personas u organización de la comunidad. De cualquier modo, si los intereses afectados u objetos en disputa son de o afectan a la comunidad, será un conflicto comunitario.” Cox Urrejola, Sebastián; Faundes Merino Juan Jorge: Gestión Colaborativa de Conflictos para la Convivencia Comuntaria, Corporación ONG FORJA, 2008. Página 23.
49 Otras definiciones de capital social aluden a: (i) desde una perspectiva de las condiciones estructurales, capital social es el “agregado de los recursos reales o potenciales ligados a la posesión de una red durable de relaciones más o menos institucionalizadas de reconocimiento mutuo”. Y (ii) para Coleman, “los recursos socio–estructurales que constituyen un activo de capital para el individuo y facilitan ciertas acciones de individuos que están adentro de esa estructura”. Como otras formas de capital, señala Coleman, el capital social es productivo, posibilitando el logro de ciertos fines que no serían alcanzables en su ausencia.
50 Habitat International Coalition. El camino posible. Producción social del hábitat en América Latina. Mayo 2012.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
1
8. EL CUESTIONARIO DE LÍNEA DE BASE Y SUS AJUSTES
El cuestionario aplicado por el Subprograma durante el levantamiento de su Línea de Base, da cuenta de las
necesidades de evaluación derivadas de los objetivos del mismo, y de las hipótesis planteadas al inicio. No
obstante, se requiere la incorporación de algunos ajustes, y la inclusión de un número de preguntas
adicionales, en la siguiente dirección:
Victimización: los cuestionarios aplicados durante la primera medición tendiente a establecer la
Línea de Base del Subprograma, no dan cuenta precisa de la tasa de victimización en el barrio. Esto, por
cuanto la consulta por “dónde ocurrió” el delito –genérica y asociada a delitos para la versión aplicada
por Collect; y sólo diferenciada por delitos en la versión de Paz Ciudadana‐ se realiza sólo en función del
“último delito”. Por lo tanto, la probabilidad de perder casos en los cuales el delito en el barrio sí
ocurrió, a uno o varios miembros del hogar, pero cuya ocurrencia no fue “la última”, es elevada.
En consecuencia, en relación a la consulta por victimización, se propone incluir una segunda consulta
focalizada exclusivamente en el barrio, manteniendo la genérica:
o Durante los últimos 12 meses ¿usted o algún miembro de su hogar fue víctima de algún delito?
(actual p31 cuestionario aplicado por Collect).
o Sólo si respondió sí: Y durante los últimos 12 meses ¿usted o algún miembro de su hogar fue
víctima de algún delito en su barrio? (nueva pregunta).
Percepción de inseguridad: el cuestionario aplicado por Paz Ciudadana no consulta
específicamente por la percepción de inseguridad en el barrio; en cambio el aplicado por Collect sí lo
recoge. Claramente la recomendación apunta a seguir por esta línea, manteniendo la consulta p.20 del
cuestionario Collect:
o ¿Cree usted que será víctima de algún delito en los próximos 12 meses en su barrio?
Tipo de delitos y factores de riesgo: los cuestionarios de Línea de Base consultan por un número
importante de delitos, a saber: robo de vehículos u objetos en el vehículo; robo en la vivienda; robo por
sorpresa; asalto; hurto; lesiones; delitos económicos; sobornos; y robos en locales comerciales. Sin
embargo, no consulta por uno de los problemas de seguridad enunciados como básicos por el
subprograma y que constituye, además, parte de los factores de riesgo considerados: la violencia
intrafamiliar51 –como constitutiva de la violencia interpersonal. En esta línea, se recomienda la inclusión
de ítems que indaguen sobre actitudes hacia la violencia doméstica, entendiendo que las actitudes son
predisposiciones a la acción; que en la secuencia de cambio ‘actitudes – comportamiento’, el primer
impacto en la línea de tiempo probablemente corresponderá a las primeras; y cautelando, además, la
dificultad de referir a situaciones de violencia en el ámbito privado durante el proceso de entrevista
domiciliaria, lo que pudiera introducir sesgos y/o subdeclaración en la consulta directa52. En esta línea,
51 Se considera ‘factores de riesgo en la familia’ a –por ejemplo‐ el maltrato infantil o las actitudes parentales favorables hacia el abuso
de drogas y el comportamiento violento. Programa Barrio en Paz Residencial, 2011. Subsecretaría de prevención del Delito, Ministerio
del Interior, página 13.
52 Uno de los objetivos con que se utiliza las escalas de actitud, remite a su capacidad como técnica indirecta de acercamiento a temas
sensibles o de difícil manejo a través de otras técnicas de recolección de información.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
2
la Evaluación de Impactos Tempranos de Colombia53, muestra un mix de afirmaciones interesantes
(continuo acuerdo‐desacuerdo), tomadas del cuestionario del Estudio Multicéntrico de Actitudes y
Normas Culturales frente a la Violencia en Ciudades Iberoamericanas54:
o Para educar a los niños, es necesario el castigo físico.
o Existen situaciones en las cuáles se justifica que un hombre le de una cachetada a la esposa.
o Un hombre tiene derecho a golpear a su mujer, si ésta le ha sido infiel.
o A tu hermano menor, le dirías: si alguien te golpea, golpéalo tú también.
Otros factores de riesgo: asimismo, los cuestionarios de la línea de base no dan cuenta de otros dos
importantes factores de riesgo que se recomienda incorporar55 56: la violencia escolar, y los conflictos
vecinales y/o comunitarios. En la misma línea anterior, se sugiere agregar consultas referidas a
actitudes, y consultas de tipo indirecto (constatación de prevalencia), solicitando grado de acuerdo. A
modo de ejemplo:
o Hay problemas que sólo se solucionan a golpes (violencia social, actitud).
o Si las autoridades fallan, la gente tiene el derecho a tomar justicia por su propia cuenta
(violencia social, actitud).
o Puede estar justificado que un alumno raye el coche de un profesor que le ha suspendido
(violencia escolar, actitud)
o En la clase hay niños que muestran comportamientos intimidatorios sobre los demás –
amenaza, asustan, mandan (violencia escolar, comportamiento nivel establecimiento).
o Ordene, en función de su frecuencia, los tres comportamientos que se dan en la escuela con
más asiduidad57 entre los alumnos58 (violencia escolar, comportamiento nivel establecimiento).
o En este barrio, se puede confiar en las personas (conflictos vecinales, valoración nivel barrio).
Prevalencia de tipos y espacios de violencia: para la consulta directa por el tipo de violencia
personal y/o familiar ‘vivida’ (y no ejercida –por la escasa probabilidad de respuesta insesgada), se
recomienda asimismo la inclusión de consultas del tipo:
53 Evaluación de Impactos Tempranos, Programa de Convivencia y Seguridad Ciudadana, Santiago de Cali. Secretaría de Gobierno,
Convivencia y Seguridad. Unidad Coordinadora Municipal. Julio de 2005. Programa de Apoyo a la Convivencia Ciudadana. Alcaldía de
Santiago de Cali.
54 Para la medición de resultados intermedios, la propuesta considera la utilización –ajustada‐ de ítems ya probados por investigaciones
previas. En este caso, se trata del Proyecto Activa de la Organización Panamericana de la Salud; así como elementos –ajustados‐ de la
escala de la Universidad Complutense de Madrid “Adolescencia, Violencia y Género” de María Paz Toldos Romero. Ver en Anexo
propuesta inicial de indicadores.
55 Si bien la Línea de Base no incorpora estas dimensiones, los instrumentos de entrada y salida, generados con el objetivo de controlar
el paso por la propia intervención, incorporan formularios de encuestas: (a) para el caso de la Violencia Escolar, ver OOTT Prevención de
la Violencia Escolar (página 29 en adelante); (b) para la Violencia Comunitaria, ver OOTT Proyectos de Convivencia Escolar (Encuesta
Factores Protectores, página 41 en adelante).
56 Los módulos propuestos como parte integrante de esta propuesta (ver anexo), incorporan consultas del cuestionario de entrada y
salida de la “Encuesta de Factores Protectores”; no así de la “Encuesta de Violencia Escolar”, dado que esta última está dirigida a
recoger prevalencia de conflictos de manera más directa (se considera valiosa, pero menos pertinente para esta encuesta genérica de la
Evaluación de Impacto).
57 Insultos; Robos; Amenazas; Agresiones; Intimidaciones; Humillaciones; Aislamiento; Acoso Sexual; etc.
58 De alumnos a profesores; de profesores a alumnos.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
3
o Con qué frecuencia ha visto como una persona pegaba o dañaba físicamente a otra persona
en: (a) el colegio; (b) su barrio; (c) otros barrios; (d) su casa.
o Con qué frecuencia le han pegado o dañado físicamente a alguien de su grupo familiar en: (a)
el colegio; (b) su barrio; (c) otros barrios; (d) su casa.
o Con qué frecuencia le han pegado o dañado físicamente a usted en: (a) el colegio; (b) su barrio;
(c) otros barrios; (d) su casa.
Finalmente, dos aspectos considerados factores protectores, no están presentes en los
cuestionarios de Línea de Base y se considera pertinente incorporar –o desarrollar con mayor
profundidad; a saber: el desarrollo de capital social; y los niveles de participación social en general;
con consultas de tipo:
Capital social:
o La gente del barrio haría poco por ayudarme o ayudar a mi familia si nos pasara algo. Y/o
o Ante alguno de los siguientes problemas ¿cuenta en el barrio con amigos o vecinos que puedan
ayudarlo? (no cuenta con nadie; cuenta con algún vecino o amigo/a; cuenta con varios vecinos
o amigos/as)
Si alguien de su familia tiene un accidente doméstico
Si necesita una pequeña ayuda en plata (para alguna compra diaria, locomoción o
similar)
Si necesita dejar a los niños solos (sólo a las familias con niños menores)
Participación social:
o Los vecinos de este barrio tienen interés por participar en las organizaciones del barrio (juntas
de vecinos, juntas de vigilancia, otras –acuerdo/desacuerdo; comportamiento nivel barrial).
o Los vecinos de este barrio tienen interés por participar en las actividades del barrio (reuniones,
eventos de recreación, etc.; comportamiento nivel barrial).
o ¿Participa usted en alguna de las siguientes organizaciones? Mencione todas las que
corresponda (comportamiento nivel personal).
En Anexo (VI.3), se presenta una propuesta de módulo a incorporar, a fin de complementar el instrumento
encuesta de la Línea de Base del subprograma. Cabe destacar que para la elaboración de este módulo, se ha
revisado una batería de encuestas en el ámbito (tanto de elaboración propia como provenientes de otras
fuentes), con el objetivo de tomar y/o ajustar indicadores ya probados59. Entre estos, algunos ítems del
instrumento de entrada y salida de la “Encuesta de Factores Protectores”, del propio subprograma.
Por último, en tanto se ha consignado al inicio que se trata de la aplicación de un mismo instrumento, a dos
grupos de hogares –barrios intervenidos y barrios no intervenidos o de control‐, y en una sola aplicación,
cabe consultar los ítems clave referidos a las variables de impacto en el momento ‘antes’ del inicio de la
intervención; vale decir, diciembre de 2009.
59 Entre otros, Proyecto Piloto Reducción del Temor en Victimas y Residentes de Conjuntos Habitacionales –GUERNICA Consultores,
Universidad Alberto Hurtado; Estudio de Conductas, Clima Escolar y Convivencia en los Centros Educativos de Cantabria; Encuesta de Cohesión Social: una mirada a los consejos vecinales de desarrollo de la Región Metropolitana. Cuadernos de Barrio Nº 2. Universidad Diego Portales, Ministerio de Vivienda y Urbanismo; Elaboración y validación de un cuestionario para medir la exposición a la violencia en infancia y adolescencia. Izaskun Orue y Esther Calvete. Universidad de Deusto, España, 2010; Cuestionario para alumnos de E.S.O. sobre violencia escolar; Estudio Multicéntrico de Actitudes y Normas Culturales frente a la Violencia en Ciudades Iberoamericanas; Proyecto Activa de la Organización Panamericana de la Salud; Adolescencia, Violencia y Género, María Paz Todos Romero, Universidad Complutense de Madrid.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
4
9. PROCEDIMIENTO O PASOS A SEGUIR EN LA EVALUACIÓN
En términos de fases o pasos a seguir, se contempla como mínimo:
1) Diseñar una muestra intencionada de barrios potencialmente controles60
El procedimiento que se detalla a continuación, tiene por objetivo generar una muestra artificial de
barrios que podrán, en una fase posterior, ser seleccionados como controles efectivos de los barrios
tratados. Incluye:
a) Estudiar los rangos que tienen los barrios tratados de Barrio en Paz Residencial en las variables
clave, evaluadas al inicio del subprograma (a través de las líneas de base, los diagnósticos y otras
fuentes):
i) Tamaño del barrio (área, población y otras características sociales que presentan globalmente).
ii) Características sociales.
iii) Variables de victimización, de percepción de inseguridad y tasas de casos policiales. Los
criterios de selección que ha utilizado el programa para llevar a cabo la selección, pueden ser
utilizados con estos fines; sin embargo, lo que reviste especial interés son las características de
los casos seleccionados efectivamente.
Es importante resaltar que interesa la distribución del valor de estas variables en los diversos
barrios intervenidos y no sólo la media que presenten. Esto porque interesa orientar la búsqueda
de barrios potenciales controles que cubran todo el rango de barrios tratados a evaluar.
b) Construir polígonos de barrios potenciales controles, en base a mapas de las ciudades donde se
interviene y de otras afines a ellas, intencionando la inclusión de barrios de características similares
a todo el rango de barrios tratados. Las condiciones de inclusión de barrios potenciales control, son:
i) No ser ‘tratados’.
ii) No estar contiguos a los ‘tratados’ (se propone al menos el tamaño medio de un barrio como
distancia mínima entre ellos). Esto para evitar la contaminación por efectos indirectos. Una
distancia superior otorga mayor seguridad de falta de efectos indirectos por cercanía61.
iii) Que reflejen la diversidad del rango de características de los barrios tratados; con probabilidad
de compartir parte de esas características.
2) Definir los tamaños muestrales, es decir, el número de barrios tratados que formarán parte de la
muestra, así como el número de barrios potenciales controles. Asimismo, definir el tamaño muestral de
60 Se trata de una muestra especialmente construida con este fin, llamada asimismo “ad hoc”. En tanto muestra intencionada,
claramente no es probabilística.
61 El equipo consultor no ha encontrado estudios que identifiquen el área de cercanía que puede verse influida indirectamente. Por
tanto no es factible fundar esta sugerencia en datos empíricos. Tampoco ha resultado posible acceder a datos generales relativos al
tamaño físico de los barrios actualmente en intervención –información de relevancia.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
5
viviendas62 a encuestar en cada barrio. Todo ello con el fin de obtener una evaluación con suficiente
poder estadístico, sobre las variables claves de impacto.
3) Extraer las muestras aleatorias de viviendas –primero‐ y de personas a encuestar, tanto en barrios
tratados como potenciales controles.
4) Aplicar a las muestras seleccionadas dentro de los barrios tratados y sus potenciales controles, una
encuesta de las siguientes características:
a. Que incluya o contenga preguntas sobre características sociales y de seguridad, ya
contempladas en las líneas de base del Subprograma (aplicación del mismo cuestionario, con
inclusión eventual de alguna de la ENUSC63).
b. Que consulte estos datos para la fecha de aplicación de la encuesta (2015) y pida recordar el
dato para 2009 (año definido como ANTES).
5) Ejecutar el proceso de matching y la revisión de su calidad:
a. Estimar la ecuación de participación y generación de puntajes de propensión a participar64.
b. Revisar el soporte común y el balance del puntaje obtenido y buscar eventualmente
especificaciones alternativas o evaluaciones adicionales de la calidad de este puntaje.
c. Realizar el proceso de matching y evaluación de su calidad.
6) Estimar los Impactos mediante indicadores de dobles diferencias: Cambio en Tratados ‐ Cambio en
Controles:
10. PLAZOS ASOCIADOS A LA EVALUACIÓN
Para el desarrollo de la evaluación de impacto propuesta, se estima un plazo global de 12 meses, derivados
de la sucesión de actividades que a continuación se detalla en la Carta Gantt:
Orden Actividad Meses
1 2 3 4 5 6 7 8 9 10 11 12
1 Afinamiento o ajuste metodológico
2 Aplicación, transcripción y análisis de entrevistas
3 Geoferenciacion de Barrios Tratados (polígonos)
4 Caracterización de Barrios Tratados (Líneas de Base): Rangos que presentan en diversas variables
62 Como se ha referido, la propuesta sugiere entrevistar a la totalidad de hogares presentes en cada vivienda (una encuesta por hogar).
63 Sólo en el caso de decider realizar un estudio complementario a partir de esta encuesta nacional.
64 Para todos los barrios encuestados (tratados y potenciales controles).
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
6
Orden Actividad Meses
1 2 3 4 5 6 7 8 9 10 11 12
5 Taller de expertos de seguridad en terreno (policías y similares): ¿Qué barrios podrían ser similares al rango de los tratados? Recepción de sugerencias
6 Definición de posibles polígonos aproximados de barrios potenciales controles (1a aproximación)
7 Taller de Expertos: validación de polígonos aproximados de potenciales barrios controles (fijación de límites; polígonos a excluir; polígonos a agregar; etc.)
8 Definición final de tamaño muestral de barrios potenciales controles y de la tasa Post Controles/Tratados, a encuestar)
9 Definición definitiva de polígonos de barrios potenciales controles
10 Definición de número de encuestas por barrio (tratados y potenciales controles)
11 Definición de cuestionario (en base a cuestionario Línea de Base; considerando ajustes propuestos, e incorporación de período ‘antes’ ‐2009‐ y después (momento de aplicación, 2015).
12 Pre‐test
13 Aplicación de cuestionario en terreno, supervisión
14 Confección de Base de Datos y Digitación
15 Validación de Base de Datos
16 Análisis descriptivo
17 Búsqueda de ecuación de participación apropiada y testeo de ella (propensity score)
18 Matching
19 Estimación de los Impactos
20 Interpretación de Resultados y Redacción de Informe final
11. COSTOS ASOCIADOS A LA EVALUACIÓN
Una primera aproximación a los costos de una evaluación de impacto como la propuesta, asciende a $
109.750.000.‐ para un total de 2.775 encuestas (tasa controles por tratado = 2); ó $ 103.756.000.‐ para un
total alternativo de 2.442.‐ encuestas (tasa controles por tratado = 1.2), según el siguiente detalle:
a) Honorarios Profesionales
Nº Profesionales 1 2 3 4 5 6 7 8 9 10 11 12
Meses totales
(meses por persona(s))
Honorarios / mes ($M)
Costo honorarios (sin encuestas)
1 Jefe de Proyecto 12 1.300 15.600
2 Profesional experto en seguridad ciudadana
8 1.000 8.000
3 Economista experto en Impacto 9 1.000 9.000
4 Asistente econometría 3 600 1.800
5 Geógrafos Georeferencistas (2) 10 700 7.000
6 Cartógrafos (2) 12 700 8.400
7 Asistentes de Investigación (2) 12 500 6.000
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
7
Nº Profesionales 1 2 3 4 5 6 7 8 9 10 11 12
Meses totales
(meses por persona(s))
Honorarios / mes ($M)
Costo honorarios (sin encuestas)
8 Director de Terreno 5 800 4.000
Subtotal 59.800
b) Encuestas y Costo Total Nota: el costo unitario de la encuesta, incluye todos los gastos del proyecto, los viáticos, traslados, impresión, fotocopias,
curriers, honorarios de 13 jefes regionales de terreno, encuestadores, digitadores, validadores, etc.
Encuestas Barrios Tratados 990 990
Tasa Controles / Tratados 2 3
Total Encuestas 2.970 3.960
Costo Unitario encuesta ($M) 18 18
Costo Total Encuesta ($M) 49.950 43.956
COSTO TOTAL GENERAL (Honorarios + Encuestas) 109.750 103.756
12. VALIDEZ DE LOS MODELOS BASADOS EN RECORDACIÓN
Esta modalidad de evaluación ‐cuasi experimental y acotada a una sola medición a través de la capacidad de
recordación de la población‐ se ha aplicado previamente en distintas evaluaciones de impacto de
importantes programas sociales chilenos65, por lo que existe evidencia de su factibilidad (aún cuando
resulte preferible aplicar dos encuestas, una antes y otra después).
Por otra parte, se ha encontrado literatura proveniente principalmente desde la psicología, sobre la validez
de las preguntas de recordación. Esta indagación sobre victimización en la infancia o adolescencia, permite
afirmar que si bien es preferible la pregunta sobre el presente, en varios casos se ha podido comprobar que
la recordación de victimización es razonablemente buena. Ver por ejemplo, Hardt and Rutter (2004)66 y
Rivers (2001)67. Aún en este marco, no se puede afirmar con certeza que la recordación en estos temas
carezca de sesgo, motivo por el cual se propone la realización de estudios complementarios con el objetivo
de validar estos resultados (capítulo III).
III.2. DESARROLLO DEL DISEÑO PARA EL SUBPROGRAMA BARRIO EN PAZ COMERCIAL
III.2.1. Hipótesis de Trabajo en Barrio en Paz Comercial
A partir del objetivo principal del Subprograma BP Residencial, a saber,
65 Entre otras, las siguientes evaluaciones llevadas a cabo por GUERNICA Consultores: “Evaluación de Impacto del Fondo Solidario de
Vivienda I y II”, 2012. “Evaluación de Impacto de la Ley de Subcontratación sobre la Accidentabilidad y la Prevención de Riesgos en
Empresas de la Mutual de Seguridad”, 2011. “Evaluación de Impacto del Programa Mujeres Jefas de Hogar”, 2010. “Evaluación de
Impacto al Programa de Acceso al Financiamiento desarrollado por SERCOTEC”, 2010. “Evaluación de Impacto del Programa Servicios
Comunitarios”, 2009.
66 Hardt and Rutter: Validity of adult retrospective reports of adverse childhood experiences: review of the evidence. Journal of Child
Psychology and Psychiatry 45:2 (2004), pp 260–273.
67 Rivers, Ian: Retrospective reports of school bullying: Stability of recall and its implications for research. British Journal of
Developmental Psychology (2001), 19, 129–142
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
8
Contribuir a reducir los delitos de oportunidad (robo por sorpresa, robo con intimidación o
violencia, robo de vehículos o desde vehículos) y la percepción de inseguridad en los espacios
públicos de barrios comerciales de alta incidencia delictual.
Y de sus objetivos específicos, orientados por un lado a reducir los factores de riesgo que
incrementan esa posibilidad, e identificados principalmente en términos de características físico‐
ambientales de un determinado entorno (relativas tanto a las condiciones físicas como a las derivadas de las
acciones de control o de su ausencia); y por otro lado a trabajar sobre factores protectores tales como la
participación como mecanismo de fortalecimiento social.
… Las hipótesis de causa efecto de la evaluación propuesta, focalizada exclusivamente en locatarios68,
pueden resumirse de la siguiente forma:
A nivel de Resultados Finales o de Impacto (fin del programa69):
(a) La participación de los barrios focalizados en el Subprograma BP Comercial, tiene un impacto
estadísticamente significativo, en algunas de las siguientes dimensiones de la vulnerabilidad social de
sus locatarios:
1. Una disminución en la tasa de victimización70 de los locales y de los locatarios de los barrios
comerciales intervenidos, en relación a la que tendrían si su barrio no hubiese participado en el
Subprograma.
2. Una disminución en la tasa de percepción de inseguridad en sus barrios71, de los locatarios de los
barrios intervenidos, en relación a las que tendrían si su barrio no hubiese participado en el
Subprograma.
A nivel de Resultados Intermedios (propósito del programa72):
68 Tal como se ha hecho referencia, la imposibilidad de reconstruir el marco muestral de transeúntes del año 2009, la dificultad para
hallar transeúntes que lo hayan sido cinco años atrás, y la inexistencia de línea de base para un grupo de control, torna no realizable
una evaluación de impacto sobre los transeúntes para el período 2010‐2014.
69 La Matriz de Marco Lógico propuesto por esta consultoría –a partir del cual, en asociación con los objetivos referidos y derivados de
distintos documentos‐ se derivan las hipótesis de causalidad, considera:
Fin: Contribuir a la disminución del delito y de la percepción de inseguridad, que afectan el bienestar social.
Propósito: Reducir los factores de riesgo que inciden en los niveles de victimización y en la percepción de inseguridad, presentes en los
barrios.
Componente: Intervención preventiva, de control y de fortalecimiento social, sobre los factores de riesgo que incrementan la
probabilidad de delitos de oportunidad en espacios públicos (robo por sorpresa, robo con violencia o intimidación, robo de vehículos o
accesorios), violencia interpersonal, percepción de inseguridad y situaciones de desorden social, en barrios comerciales con alta
incidencia delictiva.
70 Local: En los últimos 12 meses ¿su local se ha visto afectado por alguno de estos actos delictivos? Locatario: Sin considerar los delitos
que le han ocurrido en su local ¿usted ha sido víctima de alguno de estos delitos en los últimos 12 meses en este sector (en este
barrio)? (Línea de Base Barrio en Paz Comercial, encuesta Locatarios 1).
71 Percepción de probabilidad de ser víctima de algún delito en su barrio, en los próximos 12 meses.
72 Factores de riesgo, factores protectores, y estrategia del Subprograma.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 3
9
(b) La participación de los barrios seleccionados en el Subprograma BP Comercial, tiene un impacto
estadísticamente significativo, en algunas de las siguientes dimensiones de la vulnerabilidad social de
sus locatarios:
1. Un mejoramiento en los niveles de relación o asociación entre locatarios en los barrios
focalizados, en relación a la que tendrían si su barrio no hubiese participado en el Subprograma.
2. Un aumento en los niveles de participación comunitaria de los locatarios de los barrios
focalizados, en relación al que tendrían si su barrio no hubiese participado en el Subprograma.
3. Un mejoramiento de las características físico‐ambientales relacionadas con la seguridad en los
barrios focalizados, en relación a las que tendrían si su barrio no hubiese participado en el
Subprograma (características físicas del ambiente –lugares seguros/peligrosos; presencia,
efectividad y valoración de control policial).
III.2.2. Elementos Básicos de Diseño, Evaluación de Impacto Central o ‘Ad Hoc’, Barrio en Paz Comercial, Locatarios
Con un diseño muy similar al detallado para la versión Residencial, la evaluación de las hipótesis planteadas
considera para Barrio en Paz Comercial, los siguientes aspectos:
1. DISEÑO GENERAL
La propuesta final considera un diseño cuasi‐experimental, basado en la construcción de un grupo de
control artificial por la vía del matching, fundado en el puntaje de propensión de cada barrio a ser
intervenido. Prevé la estimación de la situación inicial de cada barrio, utilizando la capacidad de recordación
de la población de locatarios entrevistada.
Vale decir –y tal como en la evaluación correspondiente al Subprograma Residencial‐ considera la aplicación
de un mismo instrumento de recolección de información (cuestionario de Línea de Base del Subprograma
con algunos ajustes), a dos grupos de locatarios ‐barrios intervenidos y barrios no intervenidos o de control;
y en una sola aplicación (‘después’ del Subprograma, ya que el horizonte de evaluación considera el período
2010‐2014 y no se dispone de Línea de Base para el contrafactual).
La medición del impacto se realiza a través de doble diferencias: la primera, corresponde al cambio entre el
‘antes’ y el ‘después’ del tratamiento; y la segunda, a la diferencia entre locatarios de barrios tratados y de
barrios controles matcheados con los primeros.
2. UNIVERSO DE ESTUDIO, UNIDAD DE ANÁLISIS Y UNIDAD DE INFORMACIÓN
UNIVERSO DE ESTUDIO
El universo de estudio está constituido por todos los comercios vigentes de los barrios intervenidos por el
Subprograma en las 15 regiones del país, y sus locatarios.
UNIDAD DE ANÁLISIS Y DE INFORMACIÓN
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
0
La unidad de análisis son los locales referidos; y la unidad de observación, los dueños, socios,
administradores, encargados de local o jefes de seguridad de los locales comerciales.
3. AMBITO GEOGRÁFICO
La cobertura geográfica de la encuesta es Nacional Urbana.
4. DISEÑO MUESTRAL
Multietápico, probabilístico en las primeras etapas, e intencional en la etapa de selección de los sujetos a
entrevistar.
ETAPAS UNIDADES DE MUESTREO PROCESO
UNIDAD PRIMERA ETAPA Sectores de Empadronamiento Censal: manzanas (áreas urbanas)
Selección aleatoria sobre –idealmente‐ Marco Muestral Maestro (MMM).
UNIDAD SEGUNDA ETAPA Viviendas particulares ocupadas. Sorteo aleatorio simple (urbano) desde MMM (ó in situ con tabla aleatoria a sector empadronado).
UNIDAD TERCERA ETAPA Dueños, socios, administradores, encargados de local o jefe de seguridad.
Selección intencionada, en ese orden.
5. TAMAÑO MUESTRAL
Tal como en el caso anterior, para la determinación del tamaño muestral, vale decir, del número de barrios
tratados y de barrios potenciales controles a incorporar; así como del número de locales a encuestar en
cada barrio; deben ser considerados los siguientes aspectos:
El Poder estadístico que se desea. Se propone 80%.
Diferencia socialmente relevante de detectar en los cambios en las proporciones claves; en este
caso, en el cambio (después‐antes) de la tasa de victimización media barrial. En las aproximaciones
que se presentan, se ha considerado un 10% de baja en la tasa como impacto del programa; es
decir que si la tasa inicial es de 40%, la misma habría bajado a un 30% en promedio en los barrios
tratados. Como se ha expresado previamente, si se quiere detectar impactos menores, habrá que
considerar un mayor tamaño muestral (la meta del subprograma y la propia estimación del cambio
por parte de sus gerencias, resulta de relevancia).
Porcentaje de significación estadística exigido al estudio. En las estimaciones que se presenta a
continuación, se considera un 5% unilateral para considerar significativa la diferencia entre tratados
y controles.
Considerando las condiciones referidas, se trata de definir –como se ha comentado‐ dos tamaños
muestrales: aquel relativo al número de barrios (tanto de tratados como de controles ya seleccionados
como tal), y aquel atingente al número de locales a encuestar en cada barrio (se trate de ‘tratado’ o
potencial control).
Por último, resulta necesario considerar la tasa de barrios controles que se seleccionará sobre el
número de barrios potencialmente controles que se debe encuestar. Esta propuesta sugiere idealmente
una tasa de 3: vale decir, que si los barrios tratados presentes en la muestra ascendieran a 40, los
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
1
barrios potenciales controles en los que habría que identificar y encuestar a una muestra de su
población ascenderían a 120 (40 x 3=120 barrios73). Sin embargo, el problema identificado de mayor
dificultad para detectar barrios potenciales controles –por la masividad del criterio de selección (un
barrio por provincia)‐ torna aconsejable redefinir tanto el poder estadístico como la tasa de barrios
controles por tratados, una vez realizado el análisis de barrios intervenidos. Concretamente, podrá
evaluarse considerar una tasa de 1.5 o incluso 1 barrio potencial control por cada tratado.
Ahora bien, retomando los parámetros más exigentes, para estimar el tamaño muestral se sigue el
siguiente razonamiento:
Para estimar el tamaño muestral se sigue el siguiente razonamiento:
Las variables principales que interesan son el impacto medio en los locatarios de los barrios tratados;
es decir, la diferencia entre el cambio medio (después‐antes) en los tratados y aquel equivalente de los
controles pareados. Y este cambio es en variables de proporción (como las tasas de victimización).
El cambio medio en cada barrio se estimará como la media del cambio en los locales encuestados en
ese barrio. Y la varianza de dicho cambio medio dependerá del número de locatarios encuestados en
dicho barrio, así como de la varianza del cambio registrado en cada local.
Debido a que el resultado de cada hogar antes y después solo puede ser 0 o 1 (fue víctima o no en ese
año), el cambio en el hogar solo puede tomar valores ‐1, 0 o 1. Es decir, se trata de una distribución
trinomial.
Para lograr una aproximación al tamaño muestral se supondrá que la media inicial de las variables de
victimización son iguales en ambos grupos (barrios tratados y barrios controles pareados a ellos). De
esta manera, el impacto es la diferencia simple entre dos proporciones: la tasa después en tratados
menos la tasa después en controles. Este supuesto permite usar las características de la varianza de una
distribución binomial.
Lo que se estima es una serie de combinaciones de tamaño muestral en cada barrio y de tamaño
muestral en número de barrios. Para ello se fija un número de encuestas por barrio (por ejemplo 50
encuestas). Ese número permite estimar la varianza de la proporción media de cada barrio (es decir de
la tasa de victimización media de cada barrio) a través de la conocida fórmula:
Donde:
Varianza de la proporción p (antes) en la muestra de cada barrio
Error estándar de p inicial (antes) en la muestra de cada barrio
Probabilidad de victimización (cualquiera)
Probabilidad de no victimización (cualquiera)
73 Tal como ya se planteó en relación al Subprograma Residencial, como esta tasa es alta y conlleva importantes costos –en tiempo y
recursos‐ se considera que podría bajarse, razonablemente, a dos.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
2
Numero de encuestas en cada barrio comercial, ya sea tratado como potencial control
En función del supuesto (exigente pero razonable) de p=q=0,5 ‐lo que genera la mayor varianza posible
en una binomial‐ se estima la varianza de la media de la proporción de cada barrio con cantidad de
locales encuestados en cada barrio (se ha usado población infinita).
Luego, usando la siguiente fórmula74:
Donde:
Valor de z para una significación estadística de . Para las estimaciones se consideró
una significación de 5%; es decir, un z de 1,645 debido a que es de una cola.
Valor de z para un poder estadístico de . Para las estimaciones se consideró un
poder estadístico de 80%; es decir un z de 0,842
El error estándar o varianza muestral de las medias de cada barrio. Depende del número de
encuestas en cada barrio.
El valor socialmente relevante para la diferencia entre tratados y controles (impacto). Se ha
considerado como cambio relevante d=0,1 en las tasas de victimización. Si se quisiera
detectar con ese poder una variación menor, habría que subir el tamaño muestral.
Estas simulaciones generan las siguientes combinaciones de tamaño muestral en cada barrio y tamaño
muestral de barrios comerciales tratados.
COMBINATORIAS ENCUESTAS Y NÚMERO DE BARRIOS
Encuestas por barrio
Numero de barrios
Encuestas en tratados (subtotal)
Encuestas Totales (tratados y potenciales
controles) total75
50 20 1.000 4.000
40 25 1.000 4.000
30 33 990 3.960
22 45 990 3.960
16 60 960 3.840
20 49 980 3.920
Finalmente, y considerando que para un universo de 64 barrios comerciales tratados el tamaño muestral
con 5% de error muestral y 95% de confianza es de 58 barrios, se señala como marco ‘ideal’ la alternativa de
60 barrios tratados, cada uno con 16 locales comerciales encuestados en su interior. Sin embargo, además
74 Pita Fernández S. Unidad de Epidemiología Clínica y Bioestadística. Complexo Hospitalario Juan Canalejo. A Coruña. Cad Aten
Primaria 1996; 3: 138‐14. Actualización 06/03/2001.
http://campus.easp.es/Abierto/file.php?file=%2F7%2FDeterminacion_tama_o_muestral.pdf
75 Esta columna indica número total de encuestas que implica el diseño. Supone que aparte de los barrios tratados se encuestan 3 veces
esa cantidad de barrios para que operen como potenciales controles. Esta tasa de 3, puede bajarse a 2.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
3
de las razones de costo especificadas en la evaluación del otro Subprograma –tiempos y recursos
económicos‐ la cobertura con tendencia universal derivada del criterio de selección (un barrio por
provincia), torna especialmente relevante la posibilidad de disminuir las dimensiones ‘ideales’ sugeridas, a
través de los dos mecanismos ya consignados: el poder estadístico, y la tasa de barrios potenciales controles
sobre barrios tratados. A modo de ejemplo, una disminución en esta última a una tasa de “1.5” controles
por cada tratado, reduce la muestra a 2.400 casos en 150 barrios –lo que todavía se considera riesgoso en
términos de factibilidad; aspecto que deberá evaluar el subprograma, pudiendo concluirse la inviabilidad de
una tasa como la sugerida e incluso dificultades en la obtención de un barrio potencial control por tratado (1
a 1).
6. HORIZONTE DE EVALUACIÓN Y DELIMITACIÓN DEL ‘ANTES’ Y ‘DESPUÉS’
La propuesta de evaluación para este Subprograma, contempla asimismo la globalidad del primer período
de funcionamiento, 2010‐2014, desde sus orígenes. Lo que implica, de manera concordante con lo
planteado para la versión Residencial y en función del análisis realizado en relación a los niveles de avance
del estado de implementación y los supuestos de finalización del período de ajuste y desarrollo del modelo,
la inclusión de dos años de funcionamiento en régimen.
En base a lo anterior, considerando como horizonte de evaluación a un año después de finalizada la
intervención, se sugiere como momento ‘antes’ a diciembre de 2009; y como momento ‘después’, a
diciembre de 2015 (un año después de finalizado el Subprograma).
7. DIMENSIONES Y VARIABLES: DEFINICIONES BÁSICAS
Las dimensiones y variables claves de la evaluación, derivadas de las hipótesis centrales relacionadas con los
objetivos del subprograma, se definen conceptualmente como sigue:
A nivel de Resultados Finales o de Impacto:
Victimización: acaecimiento real de hechos de violencia76 y despojo (amenaza objetiva).
Percepción de inseguridad: probabilidad atribuida a la ocurrencia de hechos de violencia y despojo
(amenaza subjetiva).
A nivel de Resultados Intermedios:
Relación o Asociación Comunitaria77: es el nivel de relación o contacto entre los miembros de una
determinada comunidad78. Surge como mecanismo de cooperación entre los locatarios que están
enfrentando un mismo proceso de inserción en el barrio comercial.
76 Violencia: uso o amenaza de uso de la fuerza, física o psicológica, con el fin de causar daño o doblegar la voluntad. O: toda acción u
omisión intencional que, dirigida a una persona, tiende a causarle daño físico, psicológico, sexual o económico, y dirigida a objetos o
animales, tiende a dañar su integridad (Informe violencia entre compañeros de escuela, op cit).
Despojo: acto de privar ilegítimamente a una persona física o jurídica de su patrimonio.
Informe Nacional de Desarrollo Humano 2005, Venciendo el Temor: (In)seguridad Ciudadana y Desarrollo Humano en Costa Rica.
PNUD, 2005.
77 Comunidad: conjunto de personas que comparten ciertas características o intereses y que viven en un área geográfica, dentro de una
sociedad mayor (Leahy, Cobb y Jones).
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
4
Participación Comunitaria o Social: es la actividad organizada, racional y consciente, por parte de un
determinado grupo social, con el objeto de expresar iniciativas, necesidades o demandas, de defender
intereses y valores comunes, de alcanzar objetivos económicos, sociales o políticos y de influir, directa o
indirectamente, en la toma de decisiones para mejorar la calidad de vida de la comunidad79.
8. DIMENSIONES E INDICADORES: EL CUESTIONARIO DE LÍNEA DE BASE Y SUS AJUSTES
El cuestionario aplicado por BP Comercial durante el levantamiento de su Línea de Base, da cuenta de las
necesidades de evaluación derivadas de los objetivos del mismo, y de las hipótesis referidas previamente;
vale decir, es absolutamente replicable. En este caso, tanto la victimización como la percepción de temor, a
nivel de locatario, están precisamente referidas al sector (el local, obviamente, no requiere especificación):
Victimización: los cuestionarios aplicados durante la primera medición tendiente a establecer la
Línea de Base del Subprograma, se focalizan en la tasa de victimización en el barrio, tanto para
locatarios como para locales comerciales:
o Locatarios: Sin considerar los delitos que le han ocurrido en su local ¿usted ha sido víctima de
alguno de esto delitos en los últimos 12 meses en este sector? Leer cada delito (p26
cuestionario “Locatarios 1”).
o Locales: En los últimos 12 meses ¿su local se ha visto afectado por alguno de estos actos
delictivos? Preguntar por cada delito (p15 cuestionario “Locatarios 1”).
Percepción de inseguridad: el cuestionario aplicado durante la generación de la línea de base,
recoge estos aspectos circunscritos al barrio:
o Locatarios: ¿Y usted cree que será víctima de un delito en los próximos 12 meses en este
sector? (p8 cuestionario “Locatarios 1”).
o Locales: ¿Cree que este local será objeto de algún delito en los próximos 12 meses? (p6
cuestionario “Locatarios 1”). ¿De qué delito cree usted que será objeto este local en los
próximos 12 meses? (Espontánea, escuchar y clasificar) (p7 cuestionario “Locatarios 1”).
Por otro lado y en la misma línea, el ‘desorden’ o la ‘conflictividad social’ como factor de riesgo, están
expresamente contenidos (p13 y p14 del cuestionario locatarios 1). Y al reverso, factores protectores como
indicadores de asociatividad (medidas conjuntas y coordinadas entre vecinos o locatarios), también se
encuentran presentes.
Desorden o conflictividad social: los cuestionarios aplicados durante la primera medición tendiente
a establecer la Línea de Base del Subprograma, indagan sobre un conjunto de aspectos que el programa
considera propios de “desorden social”80:
78 Asociar: juntarse, reunirse para algún fin.
79 Habitat International Coalition. El camino posible. Producción social del hábitat en América Latina. Mayo 2012.
80 Entendiéndolo como inclusivo tanto de actos netamente delictuales, como de situaciones de contexto que brindan un escenario
propicio al delito, desde lo que se conoce –destaca la coordinadora del subprograma‐ como la teoría de las “ventanas rotas”: “el auto
abandonado en el rico Palo Alto (California) fue desvalijado, igual que el abandonado en el Bronx de Nueva York, sólo cuando se le
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
5
o Usando la siguiente escala de respuesta ¿con qué frecuencia diría usted que suceden las
siguientes situaciones de desorden social en su barrio? ¿Me podría indicar con qué frecuencia
suceden las siguientes situaciones en este sector?81 (p13 y p14 cuestionario “Locatarios 1”).
En este caso, la consulta requiere de un pequeño ajuste, en tanto pregunta primero por
desorden social ‘en su barrio’, y a continuación precisa de manera adicional ‘en este sector’. La
propuesta considera la fusión de ambas afirmaciones, en una única relativa al sector específico
(vale decir, privilegiar la segunda formulación).
Relación o asociación comunitaria: explícitamente, la línea de base incluye consultas relativas a la
asociación instrumental entre vecinos y locatarios:
o En este sector ¿han tomado medidas entre los vecinos o locatarios para protegerse de la
delincuencia? (p37 cuestionario “Locatarios 1”).
o Del siguiente listado de medidas82 ¿me puede indicar cuáles han implementado entre los
vecinos o locatarios? Respuesta múltiple. Registrar una respuesta para cada alternativa. (p38
cuestionario “Locatarios 1”).
Participación comunitaria o social: a los efectos de incorporar la dimensión de participación directa
y formalizada o habitualizada, se propone la inclusión de un par de consultas, orientadas a pesquisar la
participación de los locatarios en las mesas público‐privadas del programa y/o en otras instancias
formales de asociación barrial:
o ¿Participa o participó usted, o algún representante del local, en alguna instancia formal de
asociación barrial en este sector?
(a) Mesa Público Privada del programa Barrio en Paz
1. Participó, pero ya no participa, en Mesa Público‐Privada del programa Barrio en Paz.
2. Participa actualmente en Mesa Público‐Privada del programa Barrio en Paz.
3. No participó ni participa.
(b) Otra instancia regular de participación 1. Participó, pero ya no participa, en otra instancia de asociación entre locatarios. ¿Cuál?
2. Participa actualmente en otra instancia de asociación entre locatarios. ¿Cuál?
3. No participó ni participa.
rompieron los cristales de las ventanas. Desorden llama a desorden, suciedad a suciedad, indisciplina y caos llaman a la anarquía y al
delito habitual” (La teoría de las Ventanas Rotas. Cuaderno de Bitácora. http://www.vmarbeloa.es/?p=6846).
81 Los aspectos considerados como desorden social, incluyen:
P13: adolescentes causando problemas; vandalismo o daño a su propiedad (incluyendo graffiti); presencia de mendigos/indigentes;
discriminación por apariencia física, religión, tendencia sexual, raza; balaceras (visto u oído); peleas callejeras con cuchillos; peleas
callejeras sin armas; vecinos ruidosos; prostitución; acumulación de basura; sitios eriazos descuidados; amenazas enre vecinos;
vehículos abandonados; comercio ilegal.
P14: consumo de drogas en las calles; venta de drogas en las calles; robos en las casas; robo de vehículos; robo de objeto de o desde su
vehículo; consumo de alcohol en las calles; asalto en las calles; venta de armas; personas portando armas en espacios públicos;
homicidios/asesinatos; robos a negocios; compra/venta de artículos robados.
82 Intercambio de números telefónicos entre los comerciantes; organizar turnos de vigilancia entre locatarios; sistema de alarma
comunitaria; contratar a una persona que vigile; contratar un sistema privado de vigilancia; han hablado con las policías para coordinar
medidas de seguridad; han hablado con agentes del municipio para coordinar medidas de seguridad; han acordado con los vecinos
llamar a la policía cuando ven que alguien del sector está en situación de riesgo; otra ¿cuál?
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
6
Finalmente, el cuestionario avanza incluso un poco más hacia el análisis a nivel de productos, con la consulta
concreta sobre el conocimiento de programas o proyectos orientados a contribuir a la seguridad ciudadana;
y sobre el accionar de las policías.
En suma, la recomendación en relación a esta evaluación remite a mantener el cuestionario en su
estructura y contenidos actuales, incorporando eventualmente algunos nuevos indicadores con el objetivo
de profundizar en la valoración del ‘tratamiento’ (participación en las mesas público‐privadas; valoración de
los operativos intersectoriales; etc).
9. PLAZOS ASOCIADOS A LA EVALUACIÓN
Así como en relación a la evaluación anterior, para el desarrollo de la evaluación de impacto del
Subprograma Comercial, se estima un plazo global de 12 meses, derivados de la sucesión de actividades que
a continuación se detalla en la Carta Gantt:
CARTA GANTT, EVALUACIÓN BARRIO EN PAZ COMERCIAL
Orden Actividad Meses
1 2 3 4 5 6 7 8 9 10 11 12
1 Afinamiento o ajuste metodológico
2 Aplicación, transcripción y análisis de entrevistas
3 Geoferenciacion de Barrios Tratados (polígonos)
4 Caracterización de Barrios Tratados (Líneas de Base): Rangos que presentan en diversas variables
5 Taller de expertos de seguridad en terreno (policías y similares): ¿Qué barrios podrían ser similares al rango de los tratados? Recepción de sugerencias
6 Definición de posibles polígonos aproximados de barrios potenciales controles (1a aproximación)
7 Taller de Expertos: validación de polígonos aproximados de potenciales barrios controles (fijación de límites; polígonos a excluir; polígonos a agregar; etc.)
8 Definición final de tamaño muestral de barrios potenciales controles y de la tasa Post Controles/Tratados, a encuestar)
9 Definición definitiva de polígonos de barrios potenciales controles
10 Definición de número de encuestas por barrio (tratados y potenciales controles)
11 Definición de cuestionario (en base a cuestionario Línea de Base; considerando ajustes propuestos, e incorporación de período ‘antes’ ‐2009‐ y después (momento de aplicación, 2015).
12 Pre‐test
13 Aplicación de cuestionario en terreno, supervisión
14 Confección de Base de Datos y Digitación
15 Validación de Base de Datos
16 Análisis descriptivo
17 Búsqueda de ecuación de participación apropiada y testeo de ella (propensity score)
18 Matching
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
7
Orden Actividad Meses
1 2 3 4 5 6 7 8 9 10 11 12
19 Estimación de los Impactos
20 Interpretación de Resultados y Redacción de Informe final
10. COSTOS ASOCIADOS A LA EVALUACIÓN
Una primera aproximación a los costos de una evaluación de impacto como la propuesta, asciende a $
103.000.000.‐ para un total de 2.400 encuestas (tasa controles por tratado = 2); ó $ 97.816.000.000.‐ para
un total alternativo de 2.112.‐ encuestas (tasa = 1.2), según el siguiente detalle:
c) Honorarios Profesionales
Nº Profesionales 1 2 3 4 5 6 7 8 9 10 11 12
Meses totales
(meses por persona(s))
Honorarios / mes ($M)
Costo honorarios (sin encuestas)
1 Jefe de Proyecto 12 1.300 15.600
2 Profesional experto en seguridad ciudadana
8 1.000 8.000
3 Economista experto en Impacto 9 1.000 9.000
4 Asistente econometría 3 600 1.800
5 Geógrafos Georeferencistas (2) 10 700 7.000
6 Cartógrafos (2) 12 700 8.400
7 Asistentes de Investigación (2) 12 500 6.000
8 Director de Terreno 5 800 4.000
Subtotal 59.800
d) Encuestas y Costo Total Nota: el costo unitario de la encuesta, incluye todos los gastos del proyecto, los viáticos, traslados, impresión, fotocopias,
curriers, honorarios de 13 jefes regionales de terreno, encuestadores, digitadores, validadores, etc.
Encuestas Barrios Tratados 960 960
Tasa Controles / Tratados 2 1.2
Total Encuestas 2.400 2.112
Costo Unitario encuesta ($M) 18 18
Costo Total Encuesta ($M) 43.200 38.016
COSTO TOTAL GENERAL (Honorarios + Encuestas) 103.000 97.816
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
8
IV. Los Estudios Complementarios y su Uso para Comparar y Validar Resultados de las Evaluaciones Centrales de Barrio en Paz Residencial y Comercial
Las evaluaciones de impacto en base al modelo cuasi‐experimental, pudieran ser acompañadas de tres
estudios complementarios83, que amplíen el análisis de sus resultados y/o den fundamento empírico al
supuesto central del diseño propuesto (a saber, aquel que afirma que las respuestas recordatorias no
implican un sesgo relevante):
1) Evaluación de impacto del subprograma BP Residencial a través de los datos de la Encuesta
Nacional Urbana de Seguridad Ciudadana (ENUSC) 2010, en al menos una muestra de los barrios
tratados (aquellos que resulten con un mínimo de 20 encuestados en la ENUSC). Esta evaluación es
recomendable porque puede validar o cuestionar el uso de información recordada en la evaluación
central. En efecto, la media en cada variable de resultados evaluada ‘antes’ en cada barrio donde se
pueda usar ambos métodos (ENUSC y recordación), estima el mismo parámetro del barrio en el
mismo momento; por tanto es capaz de estimar, a través de la aplicación de simples test de
hipótesis, el sesgo de recordación; y verificar, por ejemplo, la brecha específica entre estadígrafos ó
la discrepancia o sintonía en términos de tendencias.
La experiencia de este equipo consultor sugiere que la recordación funciona adecuadamente en
condiciones como éstas; no obstante, serán los datos empíricos propuestos los que permitan
concluir de manera unívoca sobre este aspecto.
2) Evaluación del cambio ‘Antes – Después’ de ambos subprogramas a través de los datos de sus
líneas de base y de los estudios de seguimiento de esta (intermedios y/o finales), tanto en función
de su objetivo original (conocer el cambio en la situación de seguridad en cada uno de dichos
barrios) como en relación a validar los resultados de la evaluación central basada en recordación.
3) Evaluación del cambio ‘Antes – Después’ de ambos subprogramas a través de los datos de los
“casos policiales”, en los mismos períodos ‘antes’ y ‘después’ y en los mismos barrios ‘tratados’ y
‘controles’, de modo de relacionar los resultados relativos a tasas de denuncia y detenciones por
flagrancia –por una parte‐ con aquellos derivados de la evaluación central de impacto por
recordación; vale decir, con los cambios relativos a percepción de temor y victimización –por otra;
indagando respecto al tipo de asociación que se da entre ambos tipos de variables.
Así, para los barrios tratados del subprograma Residencial, habrá tres estimaciones diferentes de los
mismos resultados o parámetros (las medias relevantes de los barrios tratados en la situación ‘antes’84):
La obtenida por recordación para cada barrio tratado (evaluación central o ‘ad hoc’ propuesta
previamente).
La obtenida de la línea de base para esos mismos barrios en fecha cercana o igual.
83 Cabe reforzar en el marco expuesto, que estos estudios complementarios son convenientes, pero no necesarios para las evaluaciones
de impacto propuestas.
84 Se hace referencia a la situación ‘antes’ y no a la de ‘después’, debido a que la primera es la que presenta problemas de recordación;
aún así, se dispondrá de tres estimaciones diferentes de la situación después.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 4
9
La obtenida de los encuestados de la ENUSC del año correspondiente ‐esta última sólo para
aquellos que tengan 20 o más encuestados internos.
En algunos de los barrios controles del subprograma Residencial habrá dos estimaciones de los mismos
parámetros en la situación antes: aquella generada por la evaluación central haciendo uso de la recordación
y aquella generada en base a datos de las diferentes versiones de la ENUSC85. También en este caso podrá
validarse la recordación por comparación con los resultados equivalentes de la línea de base
correspondiente.
En los barrios tratados por el subprograma Comercial solo habrá dos estimaciones del mismo parámetro, ya
que la ENUSC no podrá ser usada para ese subprograma (la definición de la población objetivo –locatarios y
transeúntes‐ no se corresponde con la característica central de la ENUSC como encuesta a hogares). Pero
aún en este caso podrá validarse la recordación, por comparación de resultados de la encuesta de
recordación con sus equivalentes de la línea de base correspondiente.
En suma, y de manera esquemática, la propuesta del equipo consultor contempla la sugerencia de adicionar
a la evaluación de impacto ya desarrollada previamente, los siguientes estudios complementarios:
TABLA Nº 8.
Propuesta de Evaluación
Subprogramas BP Residencial y BP Comercial
SUBPROGRAMA
EVALUACIÓN DE IMPACTO AD HOC ESTUDIOS COMPLEMENTARIOS
HORIZONTE DE
EVALUACIÓN Diseño Unidad de
Análisis
Unidad de
Observación Evaluación
Unidad de
Análisis y de
Información
BP
Residencial
Cuasi‐
experimental,
por
recordación
Hogares86 que
habitan las
viviendas
particulares
ocupadas.
Personas de 15
años y más
Evaluación de
Impacto
Complementaria,
a través de la
Encuesta ENUSC
Hogares que
habitan las
viviendas
particulares
ocupadas y
personas de 15
años y más.
Antes:
diciembre
2009.
Después:
diciembre
2015 (1 año
después de
finalizado).
Evaluación de
Resultados
Brutos, a través
de la encuesta
del Subprograma
(“Línea de Base”)
Hogares que
habitan las
viviendas
particulares
ocupadas y
personas de 15
años y más.
85 La propuesta de Evaluación Complementaria a partir de los datos ENUSC, requiere de una aplicación ENUSC 2015, en los mismos
barrios ‘tratados’ y en un número, a lo menos, igual al inicial (20 o más). Idealmente, la propuesta considera la posibilidad de
incrementar el número de encuestas por barrio intervenido.
86 Como se ha referido, la propuesta incluye la selección de viviendas y, a su interior, la realización de encuestas a todos los hogares
residentes en la misma.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
0
SUBPROGRAMA
EVALUACIÓN DE IMPACTO AD HOC ESTUDIOS COMPLEMENTARIOS
HORIZONTE DE
EVALUACIÓN Diseño Unidad de
Análisis
Unidad de
Observación Evaluación
Unidad de
Análisis y de
Información
Análisis de
Cambio en las
Tasas de Casos
Policiales
Estadísticas
policiales de
denuncias y de
detenciones por
flagrancia.
BP
Comercial
Cuasi‐
experimental,
por
recordación
Locatarios
* Nota: se
excluye a
transeúntes,
por
imposibilidad
de encontrar
transeúntes
‘eventuales’
que hayan
transitado en
período
‘antes’.
Dueños, Socios,
Administradores,
Encargados de
Local o Jefes de
Seguridad de los
Locales
Evaluación de
Resultados
Brutos, a través
de la encuesta
del Subprograma
(“Línea de Base”)
Locatarios:
Dueños, Socios,
Administradores,
Encargados de
Local o Jefes de
Seguridad de los
Locales. Antes:
diciembre
2009.
Después:
diciembre
2015 (1 año
después de
finalizado).
Transeúntes:
personas que se
trasladan por los
barrios
comerciales, de
manera habitual
o esporádica.
Análisis de
Cambio en las
Tasas de Casos
Policiales
Estadísticas
policiales de
denuncias y de
detenciones por
flagrancia.
IV.1. EVALUACIONES COMPLEMENTARIAS, BARRIO EN PAZ RESIDENCIAL
IV.1.1. Evaluación Complementaria 1 (Impacto), en base a datos ENUSC versiones 2009 y 2015
Tal como se ha consignado de manera previa, si bien se trata de una encuesta con representatividad a nivel
regional y no comunal ni barrial, algunos de sus datos pueden utilizarse para evaluar el impacto en algunos
barrios tratados; a saber, aquellos que presenten más de 20 casos encuestados en la versión ENUSC 2009 o
‘antes’.
Del proceso de georeferenciación llevado a cabo por el Departamento de Estudios de la Subsecretaría sobre
una muestra de 39 barrios, se arribó a un total de 9 barrios con entre 20 y 52 casos; vale decir, con un
número mínimo de encuestas. Y en tanto estos 9 barrios pueden considerarse una muestra aleatoria dentro
de los barrios tratados, debido a que el propio muestreo de la encuesta lo es, entonces se puede afirmar que
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
1
es factible estimar la situación ‘antes’ para una muestra de barrios tratados. Con mayor razón puede
seleccionarse una muestra de tamaño superior (en dos o tres veces) de barrios potenciales controles, con 20
o más casos encuestados en su interior.
Adicionalmente, resulta conveniente destacar que la media de cada variable evaluada en la línea de base de
cada barrio tratado, es también una estimación del mismo parámetro que el estimado por este método. La
diferencia radica en que usando los datos ENUSC, es posible también estimar el mismo dato, para barrios
potenciales controles.
Finalmente, resulta necesario insistir en que el objetivo especial de esta evaluación adicional de impacto ‐y
como se ha visto sólo posible para algunos barrios tratados‐ es testear si la recordación tiene un sesgo
relevante o no en estas variables; es decir, otorgar robustez a la evaluación de impacto central o ‘ad hoc’, y
en ningún caso sustituirla. Más aún, debido a que la muestra ENUSC con datos en los barrios residenciales
no es necesariamente representativa del universo del subprograma, no se trata de una evaluación del
impacto sobre los tratados, sino sólo sobre algunos de ellos; lo que refuerza su carácter complementario y
validador –y la excluye como posible evaluación central.
IV.1.1.a. PROCEDIMIENTO PARA ESTE ESTUDIO
Los pasos previstos y recomendados para la realización de este estudio complementario, incluyen:
1. Georeferenciación de los encuestados en las ENUSC correspondientes al momento ‘antes’ (2009),
de manera de determinar e identificar cuántos casos encuestados hay al interior de aquellos barrios
tratados seleccionados en la muestra de la evaluación de impacto central o ‘ad hoc’.
Específicamente se requiere que, para la ENUSC 2009, a cada encuestado se le agregue una variable
(‘dentro_tratados’) que contenga un “0” si el encuestado no está en ningún barrio tratado, o el
numero (código numérico único) del barrio tratado en cuyo interior vive.
2. Diseño de una muestra de barrios potenciales controles y determinación de número de casos
encuestados al interior de cada uno de ellos. Esta muestra deberá estar compuesta por barrios con
características de ‘potenciales controles’ que, además, tengan suficientes casos encuestados en su
interior (20 hogares encuestados en ENUSC 2009).
3. En base a los resultados previos, definición de la muestra de barrios tratados con los que resulta
factible realizar la evaluación de impacto complementaria (aquellos con 20 o más encuestas en su
interior en ENUSC 200987).
4. Proceso de matching:
a. Estimación de la ecuación de participación y generación de puntajes de propensión a
participar.
b. Revisión del soporte común y del balance del puntaje obtenido y eventual búsqueda de
especificaciones alternativas o evaluaciones adicionales de la calidad de este puntaje.
c. Proceso de matching y evaluación de su calidad.
87 El análisis presentado congrega a 39 de los 50 barrios, de los cuales sólo 9 presentan 20 casos o más.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
2
5. Aplicación de una nueva ENUSC 2015, que incluya una muestra igual o superior a la inicial 200988,
en todos los barrios tratados disponibles para esta evaluación y en aquellos barrios controles
emparejados (matcheados) con ellos.
6. Estimación de los impactos mediante indicadores de doble diferencias (Cambio medio en los
barrios tratados (DESPUÉS – ANTES) – Cambio medio en los barrios controles emparejados con los
tratados (DESPUÉS – ANTES)89.
IV.1.2. Evaluación Complementaria 2 (Resultados Brutos), en base a Encuesta del Subprograma (“Línea de Base”)
Este estudio tiene sus propios objetivos: conocer cuál es la evolución del cambio en las variables en cada
barrio tratado entre su fecha de línea de base y los diversos seguimientos y evaluación final. Sirve a los fines
de monitoreo al interior del propio barrio. Y como estimación de conjunto, permite evaluar los resultados
brutos; vale decir, aquellos que identifican el cambio entre el ‘antes’ y el ‘después’ del programa, sin
descontar los acaecidos por factores externos al mismo.
A las funciones definidas, esta propuesta otorga una tercera: la de servir de parámetro de comparación a los
resultados obtenidos por la evaluación central, a través de la aplicación de un test de medias entre la
diferencia ‘DESPUÉS‐ANTES’ de la encuesta por recordación y la diferencia ‘DESPUÉS‐ANTES’ de la encuesta
propia del subprograma, derivada de la línea de base90. Así, una diferencia no significativa, brindará robustez
a los resultados obtenidos.
IV.1.3. Evaluación Complementaria 3: Análisis de los “Casos Policiales” en los mismos períodos “Antes” y “Después”, y en los mismos barrios “Tratados” y “Controles”
Este estudio no es necesario para evaluar el impacto ni el cambio antes‐después. Se propone de manera
adicional, sólo con el fin de explorar en la relación entre las tasas de casos policiales (denuncias y
detenciones por flagrancia –basadas en registros administrativos) y las variables de resultado consideradas
en los mismos barrios ‘tratados’ y ‘controles’; específicamente, victimización y percepción del temor.
Sin embargo, claramente excede la necesidad de evaluación del propio subprograma, así como los términos
de esta consultoría91.
IV.2. EVALUACIONES COMPLEMENTARIAS, BARRIO EN PAZ COMERCIAL
Para el Subprograma Comercial, caben las recomendaciones relativas a los estudios complementarios,
realizadas para la versión Residencial, sólo en lo referente al estudio de Resultados Brutos o Cambios Antes
88 Como se ha consignado, 20 encuestas o más por barrio incorporado.
89 Impacto = (DespuésTr ENUSC 2015‐ AntesTr ENUSC 2009) ‐ (DespuésCr ENUSC 2015‐ AntesCr ENUSC 2009).
90 Comparación entre grupos ‘tratados’.
91 Entendiendo que es un insumo del que dispone el Departamento de Estudios de la Subsecretaría, la potencialidad de explorar en
estas relaciones, resulta recomendable.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
3
– Después (a través de la utilización de la Línea de Base ya aplicada y las mediciones de seguimiento,
intermedias y finales previstas por el Subprograma); y al análisis de los Casos Policiales. En el primer caso,
adicionando al objetivo de monitoreo en el propio barrio la posibilidad de brindar un parámetro de
comparación en la línea de otorgar robustez a los resultados derivados de la Evaluación de Impacto Central
o ‘Ad Hoc’ aquí propuesta. Y en el segundo, con miras a conocer la relación o asociación existente entre la
tasa de denuncia y las detenciones por flagrancia –por un lado‐ y las tasas de victimización y percepción de
temor –por otro.
Finalmente, la importancia de la evaluación de Resultados Brutos reviste interés particular en lo relativo a
transeúntes ‐parte de la población objetivo que por los motivos ya expuestos no puede ser abordada desde
la Evaluación de Impacto Central‐ aún cuando en este tipo de encuestas, sin marco muestral formal y cuyo
muestreo depende de la rigurosidad del comportamiento de los encuestadores, el error no muestral es
mayor al habitual.
V. ANÁLISIS DE COSTO EFECTIVIDAD
Se espera que la intervención de Barrio en Paz Residencial y de sus Subprogramas Residencial y Comercial,
genere efectos sobre una diversidad de variables. Sin embargo, son dos las dimensiones específicas de
impacto sobre la población tratada o beneficiaria –es decir, sobre la población que vive en los barrios
intervenidos‐ que se desprenden directamente de los resultados esperados a nivel de fin o propósito del
Programa: (a) la tasa general de victimización; y (b) la percepción de inseguridad. Se trata de dos resultados
perseguidos a un mismo nivel (no hay uno más importante que el otro; ni uno que explique necesariamente
al otro), y que no pueden –en consecuencia‐ ser separados ni observados de manera aislada en una
evaluación de desempeño. En consecuencia, el costo global de cada intervención –Residencial y Comercial‐
debe ser asociado al beneficio agregado o al ‘mix’ de impactos (victimización y percepción de inseguridad)92.
En este marco, el indicador de costo‐efectividad, se basa en tres valores previos:
i) El costo total del subprograma evaluado (C), generado por la sistematización de los costos del
programa.
ii) El impacto en la tasa de victimización.
iii) El impacto en la tasa de percepción de seguridad –expresadas, ambas, en puntos porcentuales
de baja de cada una; y presentadas de manera agregada.
A modo de ejemplo –hipotético‐ y partiendo de tres valores:
200.000.000.‐
5 puntos porcentuales de baja de la tasa de victimización.
2 puntos porcentuales de baja de la tasa de percepción de inseguridad.
200.000.‐ habitantes en barrios intervenidos.
92 Una alternativa utilizada por la Evaluación de Impactos Tempranos del Programa “Convivencia y Seguridad Ciuidadana” (Cali, 2005),
escogió la Valoración Contingente como alternativa para arribar a una medida económica de la valoración de beneficios sociales. Por
medio de esta, la población consultada reveló las preferencias hacia la problemática, la forma de intervención y, finalmente, la
valoración en términos monetarios de los cambios en el bienestar conseguidos. Así, el cálculo de los beneficios tuvo en cuenta tanto su
valor de uso como de existencia.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
4
Entonces, con los recursos invertidos por el Subprograma ($200.000.000.‐), se habrá logrado en promedio
un cierto cambio en las tasas observadas, en todos los barrios intervenidos.
Es decir, ($Costo agregado del programa) un impacto de en cierta cantidad de barrios con una cierta cantidad de habitantes definida.
Para construir el indicador de costo efectividad, hay que suponer que las relaciones son proporcionales; es
decir, que gastando el doble se genera el doble de impacto.
Se elige una de las dos dimensiones como variable unidad de comparación; por ejemplo,
(victimización) expresada en puntos porcentuales de baja. Así, considerando los supuestos, el Subprograma
implicó un costo de 200.000.000.‐ y generó una baja de 5 puntos porcentuales en la tasa de victimización y
una baja de 2 puntos porcentuales en la tasa de percepción de inseguridad. Y esto, sobre una población de
200.000 habitantes.
Para estandarizar, se usa una de estas tasas como unidad de comparación; en este caso la tasa de
victimización. En consecuencia se divide todos los datos que se suponen directamente proporcionales por el
cambio en esa tasa de comparación.
Eso implica (dividiendo por 5 –puntos porcentuales) que con $40.000.000.‐ el Subprograma habría generado
una baja de un 1 punto porcentual en la tasa de victimización general, más una baja de 0,4 puntos
porcentuales en la tasa de percepción de inseguridad en N barrios donde habitan 200.000 personas en total.
Una generalización adicional posible sería dividir el costo estimado resultante ($200.000.000.‐) por la
cantidad de habitantes beneficiados (200.000 habitantes), suponiendo nuevamente relaciones
proporcionales directas entre costo y sus impactos, lo que facilita la comparación con otros resultados.
Entonces se diría que con un gasto de $2.000.‐ por habitante, el Subprograma obtuvo una baja de un 1
punto porcentual en victimización, más una baja de 0,4 puntos porcentuales en la tasa de percepción de
inseguridad.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
5
VI. ANEXOS
VI.1. ANTECEDENTES GENERALES ACERCA DE LA PRIMERA APLICACIÓN DE LA ENCUESTA LÍNEA DE BASE DE VICTIMIZACIÓN Y PERCEPCIÓN DE INSEGURIDAD
El Departamento de Estudios y Estadísticas de la SPD ha puesto especial énfasis en que las intervenciones en
los barrios –Residencial y Comercial‐ comenzasen con la aplicación de la Encuesta Línea de Base de
Victimización y Percepción de Inseguridad. Ello, con el propósito de comparar estos resultados con una
eventual y posterior medición ex post y establecer de esa forma resultados intermedios –y eventualmente
finales. Como su nombre lo indica, la Encuesta proporciona información diagnóstica en momentos ex ante
sobre tasa de victimización barrial y niveles de percepción de inseguridad entre las poblaciones atendidas a
través de ambos Subprogramas del Programa Barrio en Paz.
Sin embargo, en el primer semestre 2011 la SPD no pudo contar con recursos propios suficientes para
realizar en un 100% el levantamiento de esta encuesta a través de una misma y formalizada metodología. La
resultante fue que mientras en los 50 barrios residenciales seleccionados una misma empresa especializada
aplicó el respectivo instrumento y procedió a su análisis, en el caso de los 64 barrios comerciales
intervenidos la situación fue diferente.
De hecho, entre un total de 64 barrios comerciales intervenidos por el Subprograma BP Comercial respecto
de los cuales se dispone de la información pertinente, en 19 de ellos la tarea de aplicación de la encuesta
recayó en la Fundación Paz Ciudadana y en los restantes 44 estuvo a cargo de las provincias (Gobernaciones)
o sobre algunos municipios. En estos casos, no se pudo garantizar los criterios estandarizados de la
aplicación externa93.
A continuación son descritas en forma sintética las principales características metodológicas que presentó el
proceso de levantamiento de la Primera Encuesta Línea de Base, tanto en el caso de los barrios que
conformaban el Subprograma BP Residencial como en el de aquellos intervenidos por BP Comercial. En
ambos casos los respectivos instrumentos fueron aplicados a muestras representativas de personas del
barrio de 15 años y más (páginas siguientes).
93 “(…) el instrumento está estandarizado, la capacitación fue estandarizada. Sí hay algunos vicios porque en algunos lugares hicieron un
convenio con universidades, en otros contrataron a empresas, en otros usaron empleados municipales. O sea, ahí se perdió un poco la
pureza de la toma de terreno. En algunos lugares digitaron allá y analizaron allá, otros lugares nos mandaron a nosotros todas las
encuestas para digitarlas acá, analizarlas acá. Finalmente, se recopiló todo acá y se analizó todo acá de nuevo. Y desde acá nacen todos
los indicadores, con todas las presentaciones del mismo tipo”. Martha Sepúlveda, Jefa del Departamento de Estudios, SPD (17 abril
2012).
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
6
TABLA Nº 9.
BARRIO EN PAZ RESIDENCIAL: CARACTERÍSTICAS METODOLÓGICAS DEL LEVANTAMIENTO LÍNEA BASE
PRIMERA APLICACIÓN ENCUESTA DE VICTIMIZACIÓN Y PERCEPCIÓN DE INSEGURIDAD
DESCRIPTORES DETALLE
1. % de barrios en los que fue aplicada la
encuesta LB respecto del total de barrios
intervenidos
100% (fue aplicada en 50 barrios sobre 50 barrios intervenidos)
2. Objetivos
Medir, a nivel barrial, variables de victimización de hogares y de personas, percepción de
inseguridad y evaluación del desempeño de las autoridades de control. Identificar factores y
variables independientes que ayuden a comprender las características de la inseguridad
objetiva y subjetiva en cada universo en que se aplican los cuestionarios. Definir
recomendaciones en base a los resultados obtenidos.
2. Entidad que aplicó la Encuesta LB
La División de Programas y Estudios de la SPD llamó a licitación para la aplicación de esta
Primera Encuesta Línea de Base. Fundación Paz Ciudadana y la Consultora COLLECT‐GFK, ya
sea en conjunto o por separado en algunos casos, aplicaron la Encuesta en el 100% de los
barrios residenciales.
3. Diseño Muestral
Muestreo Probabilístico por Conglomerados (utilizado en 10 barrios residenciales). El tipo de
muestreo corresponde a un diseño trietápico, expresado de la siguiente manera:
a) Unidad de Muestreo Primaria: Manzana (1);
b) Unidad de Muestreo Secundaria: Hogar (2);
c) Unidad de Muestreo Terciaria: Persona de 15 años o más.
El encuestador debía utilizar un mecanismo de salto sistemático cada 3 hogares, debiendo
completar cada manzana en un orden pre‐definido.
Otro tipo de diseño muestral utilizado corresponde a un Muestreo Probabilístico
Estratificado proporcional (utilizado en 40 barrios residenciales).
4. Tipo de Entrevistado Residentes permanentes del barrio respectivo de edad de 15 años o más
5. Tipo de Entrevista Encuesta presencial semi‐estructurada aplicada por un encuestador en el hogar, con uso de
tarjetas de apoyo.
6. Nº mínimo de hogares que
conformaron la muestra 116 hogares.
7. Nº máximo de hogares que
conformaron la muestra 787 hogares
8. Fecha de las primeras aplicaciones de
la Encuesta LB Agosto 2010.
9. Fecha de las últimas aplicaciones de la
Encuesta LB Octubre 2011.
10. Error Muestral Fluctúa entre 1,96% y 8,9%.
11. Entidad responsable de administrar
las bases de datos que contienen
resultados de la Primera Aplicación de la
Encuesta LB
El Centro Estratégico de Análisis de Delito (CEAD) y el Departamento de Estudios y
Estadísticas de la SPD mantienen bases de datos con resultados de la Primera Encuesta Línea
de Base en 50 barrios residenciales intervenidos.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
7
TABLA Nº 10.
BARRIO EN PAZ COMERCIAL: CARACTERÍSTICAS METODOLÓGICAS DEL LEVANTAMIENTO LÍNEA BASE –
PRIMERA APLICACIÓN ENCUESTA DE VICTIMIZACIÓN Y PERCEPCIÓN DE INSEGURIDAD ‐ ENCUESTA A LOCATARIOS
DESCRIPTORES DETALLE
1. % de barrios en los que fue aplicada la
encuesta LB respecto del total de barrios
intervenidos
64 barrios según el Subprograma, pero sólo se dispone de la respectiva información en
relación con 63 de ellos (el 98,4%). Respecto del barrio comercial Vega Libre de Angol no se
dispuso de la información pertinente.
2. Objetivos
Medir, a nivel de un determinado barrio comercial, el nivel de victimización de que han sido
víctimas los locatarios y quienes trabajan con él, así como la percepción que éstos tienen en
relación con la eventual variación que ha presentado la incidencia de la delincuencia en el
respectivo barrio.
3. Entidad que aplicó la Encuesta LB
Aplicación licitada: Fundación Paz Ciudadana y Consultora COLLECT‐GFK aplicaron la Encuesta
en el 30% de los barrios comerciales en los que se aplicó este instrumento (en 19 barrios
sobre 63).
Auto‐aplicación: en el restante 70% de los barrios en los que se aplicó el instrumento (44
barrios sobre 63), el levantamiento en terreno estuvo a cargo de diferentes instituciones,
tales como Gobernaciones, Municipios y Universidades.
4. Diseño Muestral
Aplicación licitada: Muestreo Probabilístico.
Auto‐aplicación (Aplicación por el mismo Subprograma –Gobernación u otros): Muestreo
Probabilístico.
5. Tipo de Entrevistado
Aplicación licitada: Dueños, Socios, Administradores, Encargados de Local, o Jefe de
Seguridad de los locales comerciales del sector comercial
Auto‐aplicación: Dueños, Socios, Administradores, Encargados de Local, o Jefe de Seguridad
de los locales comerciales del sector comercial
6. Tipo de Entrevista
Aplicación licitada: Encuesta personal cara a cara.
Auto‐aplicación: Encuesta personal cara a cara.
7. Nº mínimo de personas que
conformaron la muestra de
entrevistados
Aplicación licitada: 107 locatarios
Auto‐aplicación: 27 locatarios
8. Nº máximo de personas que
conformaron la muestra de
entrevistados
Aplicación licitada: 360 locatarios
Auto‐aplicación: 344 locatarios
9. Fecha de las primeras aplicaciones de
la Encuesta LB
Aplicación licitada: agosto 2010
Auto‐aplicación: octubre 2010
10. Fecha de las últimas aplicaciones de
la Encuesta LB
Aplicación licitada: junio 2011
Auto‐aplicación: julio 2011
11. Error Muestral Aplicación licitada: fluctúa entre 1,2% y 9%
Auto‐aplicación: fluctúa entre 0% y 14%
12. Entidad responsable de administrar
las bases de datos que contienen
resultados de la Primera Aplicación de la
Encuesta LB
Aplicación licitada: La División de Programas y Estudios de la SPD llamó a licitación para la
aplicación de la Encuesta Línea de Base en 18 barrios comerciales. Las bases de la licitación
señalaban que la encuesta LB debía aplicarse tanto a locatarios como a transeúntes –
habituales y esporádicos ‐, de cada barrio intervenido.
Las mismas entidades que se adjudicaron la licitación (Fundación Paz Ciudadana y Consultora
COLLECT‐GFK), efectuaron el procesamiento y análisis de los resultados y los entregaron a la
Unidad de Estudios, Información y Análisis (UEIA) de la SPD.
Auto‐aplicación: La Unidad de Estudios, Información y Análisis (UEIA) de la SPD efectuó el
procesamiento y análisis de los resultados.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
8
TABLA Nº 11.
BARRIO EN PAZ COMERCIAL: CARACTERÍSTICAS METODOLÓGICAS DEL LEVANTAMIENTO LÍNEA BASE –
PRIMERA APLICACIÓN ENCUESTA DE VICTIMIZACIÓN Y PERCEPCIÓN DE INSEGURIDAD ‐ ENCUESTA A TRANSEÚNTES
DESCRIPTORES DETALLE
1. % de barrios en los que fue aplicada la
encuesta LB respecto del total de barrios
intervenidos
En 63 de los 64 barrios intervenidos (98.4%), se realizó levantamiento de LB. El único barrio
que no dispone de línea de base es Vega Libre de Angol.94
2. Objetivos
Medir, a nivel de un determinado barrio comercial, el nivel de victimización de que han sido
víctimas los transeúntes habituales y esporádicos, así como la percepción que éstos tienen
en relación con la eventual variación que ha presentado la incidencia de la delincuencia en el
respectivo barrio.
3. Entidad que aplicó la Encuesta LB
Aplicación licitada: Fundación Paz Ciudadana y Consultora COLLECT‐GfK aplicaron la Encuesta
en el 30% de los barrios comerciales en los que se aplicó este instrumento (en 19 barrios
sobre 63).
Auto‐aplicación: en el restante 70% de los barrios en los que se aplicó el instrumento (44
barrios sobre 63), el levantamiento en terreno estuvo a cargo de diferentes instituciones,
tales como Gobernaciones, Municipios y Universidades.
4. Diseño Muestral
Aplicación licitada: Muestreo No Probabilístico por Cuotas. Cuotas según sexo: 50% mujeres y
50% hombres. Cuotas según tipo de transeúnte: 75% aprox. son transeúntes habituales y
25% son transeúntes esporádicos.
Auto‐aplicación: Muestreo No Probabilístico por Cuotas. Cuotas según sexo: 50% mujeres y
50% hombres. Cuotas según tipo de transeúnte: 75% aprox. son transeúntes habituales y
25% son transeúntes esporádicos.
5. Tipo de Entrevistado
Aplicación licitada: Personas de 15 años y más que al momento de la aplicación de la
Encuesta se encontraban transitando por el sector.
Auto‐aplicación: Aplicación licitada: Personas de 15 años y más que al momento de la
aplicación de la Encuesta se encontraban transitando por el sector.
6. Tipo de Entrevista
Aplicación licitada: Encuesta personal cara a cara.
Auto‐aplicación: Encuesta personal cara a cara.
7. Nº mínimo de personas que
conformaron la muestra de
entrevistados
Aplicación licitada: las Fichas Técnico‐metodológicas de cada una de las aplicaciones barriales
licitadas arrojan como resultado que fueron entrevistados 384 transeúntes que se
desplazaban en cada uno de los barrios intervenidos.
Auto‐aplicación: 38 transeúntes
8. Nº máximo de personas que
conformaron la muestra de
entrevistados
Aplicación licitada: las Fichas Técnico‐metodológicas de cada una de las aplicaciones barriales
licitadas arrojan como resultado que fueron entrevistados 384 transeúntes que se
desplazaban en cada uno de los barrios intervenidos.
Auto‐aplicación: 389 transeúntes.
9. Fecha de las primeras aplicaciones de
la Encuesta LB
Aplicación licitada: septiembre 2010.
Auto‐aplicación: octubre 2010.
10. Fecha de las últimas aplicaciones de
la Encuesta LB
Aplicación licitada: junio 2011.
Auto‐aplicación: julio 2011.
11. Error Muestral Aplicación licitada: Sin información.
Auto‐aplicación: Sin información.
94 A la fecha de realización de este informe (mayo 2012) no se dispuso de las bases de datos de los barrios Estación Central ni Centro de
Linares, por lo que se dio cuenta inicialmente de 61 barrios con línea de Base. A octubre de 2012, no se ha recibido las bases de datos
de las tres líneas de base adicionales (por lo que permanecen excluidas de algunos análisis).
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 5
9
DESCRIPTORES DETALLE
12. Procesamiento de la Información
Aplicación licitada: La División de Programas y Estudios de la SPD llamó a licitación para la
aplicación de la Encuesta Línea de Base en 18 barrios comerciales. Las bases de la licitación
señalaban que la encuesta LB debía ser aplicada tanto a locatarios como a transeúntes –
habituales y esporádicos ‐, de cada barrio intervenido.
Las mismas entidades que se adjudicaron la licitación (Fundación Paz Ciudadana y Consultora
COLLECT‐GFK), efectuaron el procesamiento y análisis de los resultados y los entregaron a la
Unidad de Estudios, Información y Análisis (UEIA) de la SPD.
Auto‐aplicación: La Unidad de Estudios, Información y Análisis (UEIA) de la SPD efectuó el
procesamiento y análisis de los resultados.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
0
VI.2. DIMENSIONES Y VARIABLES DE LOS CUESTIONARIOS UTILIZADOS DURANTE LA PRIMERA MEDICIÓN ORIENTADA A ESTABLECER LA LÍNEA DE BASE DE LOS SUBPROGRAMAS, BASE DE LOS INSTRUMENTOS DE LA EVALUACIÓN DE IMPACTO PROPUESTA
A continuación, se presenta de manera sintética las dimensiones y variables presentes en los cuestionarios
elaborados por los Subprogramas:
1. CUESTIONARIO LÍNEA DE BASE, BARRIO EN PAZ RESIDENCIAL
1. Características y percepción del Barrio
a. Tiempo de residencia
b. Satisfacción con el barrio de residencia
c. Motivo de permanencia en el barrio
2. Percepción de seguridad
a. Percepción de evolución de la delincuencia en el país (continuo aumento‐disminución).
b. Percepción de evolución de la delincuencia en la comuna (continuo aumento‐disminución).
c. Percepción de evolución de la delincuencia en el barrio (continuo aumento‐disminución).
d. Percepción de nivel de seguridad del barrio (continuo seguro‐inseguro
e. Percepción de causa principal de delincuencia en el país (2 menciones)
f. Evaluación sobre impacto de la delincuencia en la calidad de vida (continuo mucho nada)
g. Identificación de causas de delincuencia en el barrio (2 menciones)
h. Nivel de preocupación de ser víctima de delitos en el barrio (continuo preocupado‐no
preocupado)
i. Percepción probabilidad de ser víctima de delito, horizonte temporal 12 meses
(dicotómico)
j. Frecuencia de acciones de desorden social en el sector (continuo siempre‐nunca)
k. Frecuencia de acciones vinculado a delitos en el sector (continuo siempre‐nunca)
l. Evaluación de niveles de seguridad de espacios urbanos comunes (continuo seguro‐
inseguro)
m. Identificación espacial de lugares peligrosos atribuible a causales de delincuencia en el
barrio (abierta georrefenciada)
n. Motivos asociados a lugares identificados como inseguros (abierta)
3. Medidas de seguridad
a. Utilización de medidas de seguridad para protección frente a delincuencia, en horizonte
temporal últimos 12 meses (dicotómica).
b. Identificación de medidas de seguridad adoptadas (respuesta múltiple)
c. Tenencia de armas de fuego en el hogar (dicotómica)
d. Motivos asociados a presencia de armas de fuego en hogar (respuesta múltiple)
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
1
4. Victimización
a. Entrevistados o miembro del hogar ha sido víctima de delitos, horizonte temporal 12
meses (dicotómica).
b. Frecuencia de victimización para cada delito, horizonte temporal de 12 meses (número):
robo de vehículos u objetos en el vehículo; robo en la vivienda; robo por sorpresa; asalto;
hurto; lesiones; delitos económicos; sobornos; robos en locales comerciales.
c. Tasa de denuncias de total de delitos del que ha sido víctima (número)
5. Victimización por tipo de delito
a. Identificación de tenencia de vehículo motorizado (dicotómica)
b. Victimización: robo de objetos al interior de vehículo o partes del mismo (dicotómica)
c. Frecuencia de ocurrencia del delito (número)
d. Frecuencia de denuncia del delito (número)
e. Motivos de no denuncia del delito (2 menciones)
f. Identificación de lugar de ocurrencia del delito (continuo barrio‐comuna‐otra comuna)
g. Identificación de lugar de ocurrencia del delito al interior del barrio (abierta,
georeferenciado)
h. Percepción de identificación de responsables del delito asociado a lugar de residencia (del
sector, otro sector, no conoce)
i. Victimización: robo de vehículo motorizado (dicotómica)
j. Frecuencia de ocurrencia del delito (número)
k. Frecuencia de denuncia del delito (número)
l. Motivos de no denuncia del delito (2 menciones)
m. Identificación de lugar de ocurrencia del delito (continuo barrio‐comuna‐otra comuna)
n. Identificación de lugar de ocurrencia del delito al interior del barrio (abierta,
georeferenciado)
o. Percepción de posibilidad de identificación de responsables del delito asociado a lugar de
residencia (del sector, otro sector, no conoce)
p. Victimización: robo en vivienda (dicotómica)
q. Frecuencia de ocurrencia del delito (número)
r. Frecuencia de denuncia del delito (número)
s. Motivos de no denuncia del delito (2 menciones)
t. Percepción de posibilidad de identificación de responsables del delito asociado a lugar de
residencia (del sector, otro sector, no conoce)
u. Victimización: robo por sorpresa (dicotómica)
v. Frecuencia de ocurrencia del delito (número)
w. Frecuencia de denuncia del delito (número)
x. Motivos de no denuncia del delito (2 menciones)
y. Identificación de lugar de ocurrencia del delito (continuo barrio‐comuna‐otra comuna)
z. Identificación de lugar de ocurrencia del delito al interior del barrio (abierta,
georeferenciado)
aa. Percepción de posibilidad de identificación de responsables del delito asociado a lugar de residencia (del sector, otro sector, no conoce)
bb. Víctima de delito es el propio entrevistado (dicotómica)
cc. Frecuencia de ocurrencia del delito (número)
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
2
dd. Victimización: asalto (dicotómica)
ee. Frecuencia de ocurrencia del delito (número)
ff. Frecuencia de denuncia del delito (número)
gg. Motivos de no denuncia del delito (2 menciones)
hh. Identificación de lugar de ocurrencia del delito (continuo barrio‐comuna‐otra comuna)
ii. Identificación de lugar de ocurrencia del delito al interior del barrio (abierta,
georeferenciado)
jj. Percepción de posibilidad de identificación de responsables del delito asociado a lugar de
residencia (del sector, otro sector, no conoce)
kk. Víctima de delito es el propio entrevistado (dicotómica)
ll. Frecuencia de ocurrencia del delito (número)
mm. Tipo de amenazas recibidas durante asalto (dicotómica)
nn. Victimización: hurto (dicotómica)
oo. Frecuencia de ocurrencia del delito (número)
pp. Frecuencia de denuncia del delito (número)
qq. Motivos de no denuncia del delito (2 menciones)
rr. Víctima de delito es el propio entrevistado (dicotómica)
ss. Frecuencia de ocurrencia del delito (número)
tt. Victimización: lesiones (dicotómica)
uu. Frecuencia de ocurrencia del delito (número)
vv. Frecuencia de denuncia del delito (número)
ww. Motivos de no denuncia del delito (2 menciones)
xx. Identificación de lugar de ocurrencia del delito (continuo barrio‐comuna‐otra comuna)
yy. Identificación de lugar de ocurrencia del delito al interior del barrio (abierta,
georeferenciado)
zz. Percepción de posibilidad de identificación de responsables del delito asociado a lugar de
residencia (del sector, otro sector, no conoce)
aaa. Víctima de delito es el propio entrevistado (dicotómica)
bbb. Frecuencia de ocurrencia del delito (número)
ccc. Victimización: delitos económicos (dicotómica)
ddd. Frecuencia de ocurrencia del delito (número)
eee. Frecuencia de denuncia del delito (número)
fff. Motivos de no denuncia del delito (2 menciones)
ggg. Frecuencia de ocurrencia del delito (número)
hhh. Victimización: sobornos (dicotómica)
iii. Frecuencia de ocurrencia del delito (número)
jjj. Frecuencia de denuncia del delito (número)
kkk. Motivos de no denuncia del delito (2 menciones)
lll. Frecuencia de ocurrencia del delito (número)
mmm. Identificación de funcionario involucrado en delito (respuesta múltiple)
nnn. Victimización: Robo en local comercial (dicotómica)
ooo. Frecuencia de ocurrencia del delito (número)
ppp. Frecuencia de denuncia del delito (número)
qqq. Motivos de no denuncia del delito (2 menciones)
rrr. Frecuencia de ocurrencia del delito (número)
sss. Tenencia de local comercial funcionando al interior del hogar (dicotómica)
ttt. Victimización: Robo en local comercial (dicotómica)
uuu. Frecuencia de ocurrencia del delito (número)
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
3
vvv. Frecuencia de denuncia del delito (número)
www. Motivos de no denuncia del delito (2 menciones)
xxx. Percepción de posibilidad de identificación de responsables del delito asociado a lugar de residencia (del sector, otro sector, no conoce)
yyy. Víctima de delito es el propio entrevistado (dicotómica)
zzz. Frecuencia de ocurrencia del delito (número)
aaaa. Tipo de amenazas recibidas durante asalto (dicotómica)
bbbb. Resultado de lesiones producto del delito (dicotómica)
6. Medidas de prevención
a. Identificación de rutinas que se abandonan para evitar ser víctima de un delito
(dicotómica).
b. Medidas de seguridad de la vivienda (dicotómica)
7. Identidad barrial
a. Nivel de acuerdo con descripción de identidad de vecinos y características del barrio
(continuo acuerdo‐desacuerdo)
8. Evaluación de acciones y autoridades
a. Evaluación de desempeño de organismos e instituciones en temas de seguridad pública
(continuo malo‐bueno)
b. Evaluación positiva de Carabineros: justificación (2 menciones)
c. Evaluación negativa de Carabineros: justificación (2 menciones)
d. Percepción de conocimiento sobre acciones, planes o programas de seguridad de
Carabineros en el barrio (dicotómico)
e. Conocimiento sobre acciones, planes o programas de seguridad de Carabineros en el
barrio (respuesta múltiple, abierta)
f. Percepción sobre conocimiento del Plan Cuadrante ejecutado por Carabineros.
g. Ejecución de Plan cuadrante en la comuna (dicotómica)
h. Evaluación de presencia de Carabineros en el barrio, en horizonte temporal 12 meses
(continuo Aumento‐Disminución)
i. Frecuencia de presencia de Carabineros en el barrio (continuo frecuente‐nunca)
j. Tipo de vigilancia más frecuente en el sector
k. Evaluación del tipo de vigilancia que da mayor sensación de seguridad
l. Evaluación de probabilidad de realizar actividades conjuntas entre carabineros y vecinos el
barrio (dicotómic)
m. Evaluación de trabajo de Carabineros con comunidad del barrio (continuo Malo‐Bueno)
n. Conocimiento sobre programas o proyectos de seguridad en el barrio (dicotómico)
o. Identificación de nombres de programas de seguridad en el barrio (abierta)
p. Percepción de cambios en el barrio que contribuyen a disminución de delincuencia,
horizonte temporal de 12 meses (Continuo bastante‐ninguno)
q. Nivel de acuerdo con accionar de autoridades y policías en disminución de la delincuencia
en el sector (continuo Acuerdo‐Desacuerdo)
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
4
9. Prioridades a futuro
a. Índice de principales acciones a desarrollar para mejorar seguridad en el barrio (2
menciones)
b. Priorización e identificación de servicio estatal requerido en caso de ser víctima de delito.
(2 menciones)
2. Datos de Identificación entrevistado
a. Relación con Jefatura de Hogar
b. Nivel educacional del Entrevistado y Jefe de Hogar
c. Actividad principal del Entrevistado y Jefe de Hogar
d. Estado civil
e. Número de hijos
f. Tipología de la vivienda
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
5
2. BARRIO EN PAZ COMERCIAL (LOCATARIOS)
1. Características identificación del Locatario
a. Cargo de locatario
b. Edad de entrevistado
c. Tipología del local comercial según área de actividad económica
d. identificación del lugar de funcionamiento de local comercial
e. Horarios de funcionamiento, apertura y cierre del local
f. Identificación si lugar de residencia del locatario es el mismo barrio (mapa del sector)
g. Identificación lugar de residencia del locatario (abierta)
h. Tiempo de trabajo en el local comercial (continuo 1 año a más de 10)
i. Satisfacción con el barrio de residencia
j. Motivo de permanencia en el barrio
2. Percepción de seguridad
a. Percepción de evolución de la delincuencia en el país (continuo aumento‐disminución).
b. Percepción de evolución de la delincuencia en la comuna (continuo aumento‐disminución).
c. Percepción de evolución de la delincuencia en el barrio (continuo aumento‐disminución).
d. Reconocimiento de hechosque causen aumento de delincuencia en el sector (pregunta
abierta)
e. Nivel de preocupación de ser víctima de delitos en el sector (continuo muy preocupado no
preocupado)
f. Percepción de probabilidad que local comercial sea víctima de delito (dicotómica)
g. Tipos de delitos que cree será víctima el local comercial (respuesta abierta, mención
espontánea)
h. Probabilidad de ser víctima de delito en horizonte temporal 12 meses (dicotómica)
i. Nivel de peligrosidad del sector (continuo muy peligroso‐nada)
j. Existencia de lugares con mayor probabilidad de ocurrencia de delitos en el barrio
(dicotómica)
k. Identificación de lugares de mayor probabilidad de ocurrencia de delitos en el barrio
(abierta, georreferecniada)
l. Causas asociadas a sectores de mayor inseguridad (abierta)
m. Frecuencia de acciones de desorden social en el sector (continuo siempre‐nunca)
n. Frecuencia de acciones vinculado a delitos en el sector (continuo siempre‐nunca)
3. Victimización: Local comercial
a. Local comercial ha sido víctima de delitos, horizonte temporal 12 meses (dicotómica).
b. Frecuencia de victimización para cada delito, horizonte temporal de 12 meses (número)
c. Tasa de denuncia de cada delito del que ha sido víctima (dicotómico)
d. Identificación de delito más reciente del cual fue víctima el local comercial (respuesta
única)
e. Identificación del mes de ocurrencia último delito del que ha sido víctima el local comercial
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
6
f. Identificación del horario de ocurrencia último delito del que ha sido víctima el local
comercial
g. Percepción de probabilidad de reconocimiento de autores de último delito
h. Identificación de uso de armas en último delito por parte de victimarios (respuesta
múltiple)
i. Resultado de lesiones producto del último delito del que fue víctima (dicotómica)
j. Tasa de denuncia de último delito del que fue víctima (dicotómica)
k. Identificación de causas para no denuncia de delito del que fue víctima local comercial (2
menciones)
3. Victimización: Locatario
a. Locatario ha sido víctima de delitos, horizonte temporal 12 meses (dicotómica).
b. Frecuencia de victimización para cada delito, horizonte temporal de 12 meses (número)
c. Tasa de denuncia de cada delito del que ha sido víctima (dicotómico)
d. Identificación de delito más reciente del cual fue víctima (respuesta única)
e. Identificación del mes de ocurrencia último delito del que ha sido víctima el local comercial
f. Identificación del horario de ocurrencia último delito del que ha sido víctima el local
comercial
g. Percepción de probabilidad de reconocimiento de autores de último delito
4. Medidas de seguridad
a. Presencia de medidas de seguridad en local comercial (dicotómica).
b. Medidas de seguridad del local comercial (continuo Tiene‐No tiene)
c. Percepción de efectividad de las medidas de seguridad implementadas (dicotómica)
d. Percepción de importancia de contar con medidas de seguridad (dicotómica)
e. Accionar colectivo entre vecinos y locatarios para implementación de medidas de
seguridad (dicotómica)
f. Identificación de medidas de seguridad colectivas implementadas en el barrio (respuesta
múltiple)
g. Percepción de efectividad de las medidas de seguridad implementadas (dicotómica)
h. Percepción de importancia de contar con medidas de seguridad (dicotómica)
5. Evaluación
a. Percepción de conocimiento sobre programas de seguridad en el barrio (dicotómico)
b. Conocimiento sobre programas de seguridad en el barrio (dicotómico)
c. Identificación de nombres de programas de seguridad en el barrio (abierta)
d. Percepción de cambios en el barrio que contribuyen a disminución de delincuencia,
horizonte temporal de 12 meses (Continuo bastante‐ninguno)
e. Evaluación de presencia policial, horizonte temporal 12 meses (continuo Aumento‐
Disminución)
f. Nivel de acuerdo con accionar de autoridades y policías en disminución de la delincuencia
en el sector (continuo Acuerdo‐Desacuerdo)
g. Evaluación de desempeño de organismos e instituciones en el tema de seguridad pública
(continuo Malo‐Bueno)
h. Evaluación positiva de Carabineros: justificación (2 menciones)
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
7
i. Evaluación negativa de Carabineros: justificación (2 menciones)
j. Evaluación de trabajo de Carabineros con locatarios (continuo Malo‐Bueno)
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
8
VI.3. MÓDULO ADICIONAL PARA LA EVALUACIÓN DE IMPACTO PROPUESTA, BARRIO EN PAZ RESIDENCIAL
Tal como se ha referido en el cuerpo del informe, la propuesta considera la utilización del instrumento Línea
de Base diseñado y aplicado por cada subprograma. Sin embargo, en el caso de Barrio en Paz Residencial se
ha recomendado –además de los ajustes en la formulación de las variables principales, ya precisados en su
oportunidad‐ la incorporación de un nuevo módulo tendiente a recoger variables objetivo del subprograma
–como la violencia interpersonal‐ y algunos factores de riesgo y de protección, asimismo considerados por el
subprograma a nivel de propósito.
Se presenta a continuación una propuesta preliminar, basada en la siguiente estructura/embudo, desde lo
más genérico a lo más específico; desde lo más alejado del respondente, hasta el nivel de involucramiento
personal:
a. Actitudes y ‘percepción’ de comportamiento:
1. Violencia social (genérica)
2. Vida comunitaria: violencia, confianza social, asociatividad, capital social y
participación.
3. Violencia escolar.
4. Violencia doméstica.
b. Exposición familiar y personal a situaciones de violencia.
Módulo propuesto
PREGUNTAS ETIQUETA COD.
P. 1 EN ESTA ÚLTIMA PARTE VOY A CONSULTARLE POR ALGUNAS SITUACIONES VIVIDAS POR USTED O POR ALGÚN INTEGRANTE DE SU FAMILIA, REFERIDAS TANTO A DICIEMBRE DE 2015 (ESTE MOMENTO), COMO A DICIEMBRE DE 2009; ES DECIR, 6 AÑOS ATRÁS. LE PIDO QUE TRATE DE IDENTIFICAR ALGÚN ACONTECIMIENTO IMPORTANTE QUE LE HAYA SUCEDIDO EL 2009, PARA ASÍ PODER UBICARSE EN EL TIEMPO Y RECORDAR ESE DICIEMBRE DE HACE 6 AÑOS.
LE VOY A CONSULTAR TAMBIÉN –COMO LAS PERSONAS A VECES VAMOS CAMBIANDO CON EL TIEMPO- RESPECTO A SUS OPINIONES EN ESTOS DOS MOMENTOS, 2015 Y 2009:
VOY A LEER UNA SERIE DE AFIRMACIONES Y QUIERO QUE ME DIGA SI ESTÁ MUY DE ACUERDO (MA), ALGO DE ACUERDO (AA), ALGO EN DESACUERDO (AD) O MUY EN DESACUERDO (MD) CON CADA UNA DE ELLAS. Y LUEGO, LE VOY A PEDIR QUE RECUERDE LO QUE PENSABA O CREÍA HACE 6 AÑOS, EN DICIEMBRE DE 2009. Entregar Tarjeta Nº 1 P1
Actitudes hacia la violencia
social
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
MA AA AD MD MA AA AD MD HOY ANT
a. Hay problemas que sólo se solucionan a golpes 1 2 3 4 1 2 3 4 a.1/2
b. Si las autoridades fallan, la gente tiene el derecho a tomar justicia por su propia cuenta
1 2 3 4 1 2 3 4 b.1/2
c. Es correcto pegar a alguien que te ha ofendido 1 2 3 4 1 2 3 4 c.1/2
P. 2 VOY A LEER OTRA SERIE DE AFIRMACIONES QUE TIENEN QUE VER AHORA CON LA VIDA EN EL BARRIO, Y QUIERO QUE ME DIGA SI ESTÁ MUY DE ACUERDO (MA), ALGO DE ACUERDO (AA), ALGO EN DESACUERDO (AD) O MUY EN DESACUERDO (MD) CON CADA UNA DE ELLAS. ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 1 RECUERDE QUE LAS SITUACIONES PUEDEN HABER IDO CAMBIANDO…
P2
Vida comunitaria: violencia y confianza
social
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 6
9
PREGUNTAS ETIQUETA COD. PREGUNTAS ETIQUETA
MA AA AD MD MA AA AD MD HOY ANT
a. Este es un barrio unido 4 3 2 1 4 3 2 1 a.1/2
b. Algunas personas del barrio se apropian por la “fuerza” (de hecho) de espacios comunes, como plazas, veredas, esquinas
1 2 3 4 1 2 3 4 b.1/2
c. Las personas del barrio son de confiar 4 3 2 1 4 3 2 1 c.1/2
d. Algunas personas del barrio cobran “peaje” en las calles, plazas o parques
1 2 3 4 1 2 3 4 d.1/2
e. Los vecinos del barrio, generalmente colaboran entre sí 4 3 2 1 4 3 2 1 e.1/2
f. Algunas personas del barrio usan un lenguaje agresivo en la vía pública
1 2 3 4 1 2 3 4 f.1/2
g. En este barrio, lo mejor es no meterse con nadie 1 2 3 4 1 2 3 4 g.1/2
P. 3 ¿Y RESPECTO A ESTAS OTRAS? ¿QUÉ OPINA RESPECTO A LA PARTICIPACIÓN U ORGANIZACIÓN DE LOS VECINOS DEL BARRIO? ¿DIRÍA QUE NO SUCEDE NUNCA O CASI NUNCA (CN), CON POCA FRECUENCIA (PF), CON ALGUNA FRECUENCIA (AA) O CON MUCHA FRECUENCIA (MF)? ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 2 RECUERDE QUE LAS SITUACIONES PUEDEN HABER IDO CAMBIANDO… P3
Vida comunitaria: asociativ-
idad
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
Nunca Poco Algo Mucho Nunca Poco Algo Mucho HOY ANT
a. Los vecinos se organizan entre sí, para buscar soluciones a los problemas del barrio (entre ellos o con instituciones formales ‐ej. Municipio)
1 2 3 4 1 2 3 4 a.1/2
b. Los vecinos asisten a reuniones convocadas por organizaciones de distinto tipo
1 2 3 4 1 2 3 4 b.1/2
c. Los vecinos participan activamente en las organizaciones sociales del barrio (como junta de vecinos, club deportivo, etc)
1 2 3 4 1 2 3 4 c.1/2
P. 4 ¿Y USTED? ¿PARTICIPA ACTUALMENTE EN ALGUNA DE LAS SIGUIENTES ORGANIZACIONES? Mencione todas las que corresponda. ¿Y EN DICIEMBRE DE 2009? ¿PARTICIPABA EN ALGUNA? P4
Participac. social
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
NO participa PARTICIPA NO participaba PARTICIPABA HOY ANT
a. Organización de vecinos 0 1 0 1 a.1/2
b. Centro de madres 0 1 0 1 b.1/2
c. Grupo de mujeres 0 1 0 1 c.1/2
d. Club deportivo y recreativo 0 1 0 1 d.1/2
e. Agrupación cultural o de creación artística 0 1 0 1 e.1/2
f. Grupo de juegos, hobby o pasatiempos 0 1 0 1 f.1/2
g. Partido político 0 1 0 1 g.1/2
h. Grupo religioso o de iglesia 0 1 0 1 h.1/2
i. Grupo de salud o autoayuda 0 1 0 1 i.1/2
j. Organización del adulto mayor 0 1 0 1 j.1/2
k. Organización de personas con discapacidad 0 1 0 1 k.1/2
l. Centro de padres y apoderados 0 1 0 1 l.1/2
m. Sindicato 0 1 0 1 m.1/2 n. Cooperativa, taller productivo o microempresa 0 1 0 1 n.1/2 o. Otra ¿cuál? _____________________________________ 0 1 0 1 o.1/2
P. 5 ANTE ALGUNO DE LOS SIGUIENTES PROBLEMAS ¿CUENTA EN EL BARRIO CON AMIGOS O VECINOS QUE PUEDAN AYUDARLO(A)? DIGAME SI NO CUENTA CON NADIE, CUENTA CON ALGÚN VECINO O AMIGO, O CUENTA CON VARIOS VECINOS O AMIGOS EN ESTE BARRIO ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 3 RECUERDE QUE LAS SITUACIONES PUEDEN HABER IDO CAMBIANDO… P5
Vida comunitaria
: capital social
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
0
PREGUNTAS ETIQUETA COD. PREGUNTAS ETIQUETA
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
No cuenta
con nadie en barrio
Cuenta con algún vecino o amigo
Cuenta c/ varios
vecinos o amigos
No cuenta
con nadie en barrio
Cuenta con algún vecino o amigo
Cuenta c/ varios
vecinos o amigos
HOY ANT
a. Si alguien de su familia tiene un accidente doméstico 1 2 3 1 2 3 a.1/2
b. Si necesita una pequeña ayuda en plata (para alguna compra diaria, locomoción o similar)
1 2 3 1 2 3 b.1/2
c. Si necesita dejar a los niños solos (sólo a los que tienen hijos menores)
1 2 3 1 2 3 c.1/2
P. 6 ANTES DE CONTINUAR, CUÉNTEME SI EN SU HOGAR HAY NIÑOS EN EDAD ESCOLAR QUE CONCURRAN A ALGUNA ESCUELA BÁSICA DEL BARRIO:
Sí, hay niños en enseñanza básica en ESCUELAS DEL BARRIO……………………………………………. 1 continúe NO, no hay niños en el hogar ………. 5 a p.8
P6
NO, los niños que cursan enseñanza básica lo hacen en OTROS BARRIOS ………………………………….. 2 pase a p.8 No leer: no sabe / no responde ……… 99 a p.8
P. 7 Sólo para los que respondieron “sí” en pregunta anterior (p2): VOY A LEER OTRA SERIE DE AFIRMACIONES QUE TIENEN QUE VER AHORA CON LA VIDA ESCOLAR, Y QUIERO QUE ME DIGA SI ESTÁ MUY DE ACUERDO (MA), ALGO DE ACUERDO (AA), ALGO EN DESACUERDO (AD) O MUY EN DESACUERDO (MD) CON CADA UNA DE ELLAS. ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 1 P7
Violencia escolar
RECUERDE: sólo para hogares en los que residen niños que concurren a ESCUELAS BÁSICAS del BARRIO
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
MA AA AD MD MA AA AD MD HOY ANT
a. Puede estar justificado que un alumno raye el coche de un profesor que le ha suspendido
1 2 3 4 1 2 3 4 a.1/2
b. En la clase existen conflictos como peleas, insultos, amenazas, intimidaciones, etc.
1 2 3 4 1 2 3 4 b.1/2
c. En la clase hay niños que son dominantes y agresivos (pares) 1 2 3 4 1 2 3 4 c.1/2
d. En la clase hay niños que muestran comportamientos intimidatorios sobre los demás (dan temor)
1 2 3 4 1 2 3 4 d.1/2
e. En la clase hay niños que son agresivos con los profesores 1 2 3 4 1 2 3 4 e.1/2
f. En la clase hay profesores que humillan a algunos alumnos frente a sus compañeros
1 2 3 4 1 2 3 4 f.1/2
g. En la clase hay profesores que hacen muchas diferencias entre los alumnos, persiguiendo o maltratando a algunos
1 2 3 4 1 2 3 4 g.1/2
P. 8 ¿Y VIVEN EN SU HOGAR JOVENES EN EDAD ESCOLAR QUE CONCURRAN A ALGÚN LICEO DEL BARRIO?
Sí, hay jóvenes en enseñanza media en LICEOS DEL BARRIO…………………………………………………… 1 continúe NO, no hay jóvenes en edad escolar... 5 a p.10
P8
NO, los jóvenes que cursan enseñanza media lo hacen en OTROS BARRIOS …………………………. 2 pase a p.10 No leer: no sabe / no responde……… 99 a p.10
P. 9 Sólo para los que respondieron “sí” en pregunta anterior (p2): VOY A LEER OTRA SERIE DE AFIRMACIONES QUE TIENEN QUE VER AHORA CON LA VIDA ESCOLAR EN LOS ESTABLECIMIENTOS DE ENSEÑANZA MEDIA, Y QUIERO QUE ME DIGA SI ESTÁ MUY DE ACUERDO (MA), ALGO DE ACUERDO (AA), ALGO EN DESACUERDO (AD) O MUY EN DESACUERDO (MD) CON CADA UNA DE ELLAS. ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 1 P9
Violencia escolar
RECUERDE: sólo para hogares en los que residen niños que concurren a ESCUELAS BÁSICAS del BARRIO
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
MA AA AD MD MA AA AD MD HOY ANT
a. Puede estar justificado que un alumno raye el coche de un profesor que le ha suspendido
1 2 3 4 1 2 3 4 a.1/2
b. En la clase existen conflictos como peleas, insultos, amenazas, intimidaciones, etc.
1 2 3 4 1 2 3 4 b.1/2
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
1
PREGUNTAS ETIQUETA COD. PREGUNTAS ETIQUETA
c. En la clase hay jóvenes que son dominantes y agresivos (pares) 1 2 3 4 1 2 3 4 c.1/2
d. En la clase hay jóvenes que muestran comportamientos intimidatorios sobre los demás (dan temor)
1 2 3 4 1 2 3 4 d.1/2
e. En la clase hay jóvenes que son agresivos con los profesores 1 2 3 4 1 2 3 4 e.1/2
f. En la clase hay profesores que humillan a algunos alumnos frente a sus compañeros
1 2 3 4 1 2 3 4 f.1/2
g. En la clase hay profesores que hacen muchas diferencias entre los alumnos, persiguiendo o maltratando a algunos
1 2 3 4 1 2 3 4 g.1/2
P. 10 RETOMAN TODOS: EN RELACIÓN A ESTA OTRA SERIE DE AFIRMACIONES QUE TIENEN QUE VER AHORA CON LA VIDA DOMÉSTICA, CUÉNTEME SI ESTÁ MUY DE ACUERDO (MA), ALGO DE ACUERDO (AA), ALGO EN DESACUERDO (AD) O MUY EN DESACUERDO (MD). ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 1 P10
Violencia doméstica
AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
MA AA AD MD MA AA AD MD HOY ANT
a. Para educar a los niños, es necesario el castigo físico 1 2 3 4 1 2 3 4 a.1/2
b. Existen situaciones en las cuáles se justifica que un hombre le de una cachetada a la esposa
1 2 3 4 1 2 3 4 b.1/2
c. A su hermano menor, le diría: si alguien te golpea, golpéalo tú también
1 2 3 4 1 2 3 4 c.1/2
d. La violencia que se produce dentro de casa es un asunto de la familia y no debe salir de ahí
1 2 3 4 1 2 3 4 d.1/2
e. Un hombre tiene derecho a golpear a su mujer, si ésta le ha sido infiel
1 2 3 4 1 2 3 4 e.1/2
f. Existen situaciones en las cuales se justifica que una mujer le de una cachetada al esposo
1 2 3 4 1 2 3 4 f.1/2
g. Por el bien de sus hijos, aunque la mujer tenga que soportar la violencia de su marido o su compañero, conviene que no le denuncie
1 2 3 4 1 2 3 4 g.1/2
P. 11 FINALMENTE ¿CON QUÉ FRECUENCIA HA VISTO O HA SABIDO DE PRIMERA FUENTE CÓMO UNA PERSONA PEGABA O DAÑABA FÍSICAMENTE A OTRA (EN SU BARRIO, EN OTROS BARRIOS, EN LOS COLEGIOS O ESCUELAS DE SU BARRIO, Y EN SU CASA)? ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 2 RECUERDE QUE LAS SITUACIONES PUEDEN HABER IDO CAMBIANDO… P11
Prevalencia de tipos y
espacios de violencia
HA VISTO, HA SABIDO AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
Nunca Poco Algo Mucho Nunca Poco Algo Mucho HOY ANT
a. En su barrio 4 3 2 1 4 3 2 1 a.1/2
b. En otro(s) barrio(s) 4 3 2 1 4 3 2 1 b.1/2
c. En el colegio(s) de su barrio 4 3 2 1 4 3 2 1 c.1/2
d. En su casa 4 3 2 1 4 3 2 1 d.1/2
P. 12 ¿Y CON QUÉ FRECUENCIA HAN PEGADO O DAÑADO FÍSICAMENTE A UNA ALGUNA PERSONA DE SU GRUPO FAMILIAR (EN SU BARRIO, EN OTROS BARRIOS, EN LOS COLEGIOS O ESCUELAS DE SU BARRIO, Y EN SU CASA)? ¿Y EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 2 RECUERDE QUE LAS SITUACIONES PUEDEN HABER IDO CAMBIANDO… P12
Prevalencia de tipos y
espacios de violencia
A ALGUIEN DE SU FAMILIA AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
Nunca Poco Algo Mucho Nunca Poco Algo Mucho HOY ANT
a. En su barrio 4 3 2 1 4 3 2 1 a.1/2
b. En otro(s) barrio(s) 4 3 2 1 4 3 2 1 b.1/2
c. En el colegio(s) de su barrio 4 3 2 1 4 3 2 1 c.1/2
d. En su casa 4 3 2 1 4 3 2 1 d.1/2
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
2
PREGUNTAS ETIQUETA COD. PREGUNTAS ETIQUETA
P. 13 ¿Y CON QUÉ FRECUENCIA LE HAN PEGADO O DAÑADO FÍSICAMENTE A USTED (EN SU BARRIO, EN OTROS BARRIOS, EN LOS COLEGIOS O ESCUELAS DE SU BARRIO, Y EN SU CASA)? ¿Y QUÉ HUBIERA DICHO EN DICIEMBRE DE 2009? Entregar Tarjeta Nº 2 RECUERDE QUE LAS SITUACIONES PUEDEN HABER IDO CAMBIANDO… P13
Prevalencia de tipos y
espacios de violencia
A USTED AHORA (DICIEMBRE 2015) ANTES (DICIEMBRE 2009)
Nunca Poco Algo Mucho Nunca Poco Algo Mucho HOY ANT
a. En su barrio 4 3 2 1 4 3 2 1 a.1/2
b. En otro(s) barrio(s) 4 3 2 1 4 3 2 1 b.1/2
c. En el colegio(s) de su barrio 4 3 2 1 4 3 2 1 c.1/2
d. En su casa 4 3 2 1 4 3 2 1 d.1/2
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
3
VI.4. ANTECEDENTES SOBRE EVALUACIONES DE POLÍTICAS Y PROGRAMAS DE SEGURIDAD PÚBLICA
a) Estudios Sobre Barrios Y Violencia Realizados En Chile entre los Años 1997 Y 200895
I. HUGO FRÜHLING Y LUIS SANDOVAL (1997), “PERCEPCIONES DE INSEGURIDAD Y REALIDAD DELICTUAL EN TRES COMUNAS DE
SANTIAGO”.96
Ficha metodológica del estudio Nombre de la investigación Violencia Delictual a Nivel Local en el Gran Santiago: tres
comunas populares. Proyecto FONDECYT N°1940112 Período de ejecución 1996 y 1997 Objetivo general Identificar la opinión de los vecinos respecto de la
delincuencia y los organismos del Estado encargados de combatirla.
Territorio/ grupo estudio Comunas de La Pintana, Pedro Aguirre Cerda y Renca, seleccionadas a través de indicadores de pobreza (CASEN 1992) y denuncias por los delitos de robos, violaciones, homicidios y lesiones (Carabineros 1987‐1993). Las 3 comunas estaban rankeadas entre las 9 comunas con mayor porcentaje de pobreza de la región. La Pintana se ubicó en el rango de mayores denuncias, Renca en el rango intermedio y Pedro Aguirre Cerda en el de menos denuncias. Además, La Pintana y Renca contaban con el mayor porcentaje de personas condenadas de la RM ‐ Información de Gendarmería de Chile‐.
Metodología Combinación de técnicas cuantitativas y cualitativas: ‐ Entrevistas semi‐estructuradas a personas vinculadas a ONG, concejales y funcionarios municipales (individuales y grupales). ‐ Encuesta a al menos 1 dirigente por unidad vecinal, de todas las unidades de la comuna, dependiente del número de JJVV. ‐ Revisión histórica de poblaciones y proceso de erradicaciones.
II. RUBÉN SEPÚLVEDA, PATRICIO DE LA PUENTE, EMILIO TORRES Y RICARDO TAPIA (1999), SEGURIDAD RESIDENCIAL Y COMUNIDAD.97
Ficha metodológica del estudio Nombre de la investigación Factores incidentes en la seguridad ciudadana en hábitat
residenciales pobres. Evaluación y Propuesta. Proyecto FONDECYT 1940462‐94
Período de ejecución 1994 ‐1995 Objetivo general Orientada a conocer las características de las dinámicas
socio‐espaciales que desarrollan las comunidades para adaptarse a las contingencias que implican el vivir en un
95 Ver investigación Ana María Criado y Liliana Manzano, CESC, Universidad de Chile, 2008.
96 Hugo Frühling y Luis Sandoval (1997). Estudios Públicos Nº68, pp. 253‐306. Santiago de Chile
97 Rubén Sepúlveda, Patricio De La Puente, Emilio Torres y Ricardo Tapia (1999). Seguridad Residencial y Comunidad. Facultad de
arquitectura y urbanismo‐Instituto de la vivienda/ Facultad de Ciencias Sociales‐Departamento de Sociología. Universidad de Chile.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
4
medio ambiente potencialmente peligroso
Territorio/ grupo de estudio (universo)
Conjuntos habitacionales de viviendas sociales o que han sido intervenidos por el programa de mejoramiento de barrios de la ciudad de Santiago
Territorio seleccionado (muestra)
Villa Paula Jaraquemada y Villa Araucanía de Conchalí, y Los Quillayes sector 4 y sector 5B de La Florida. Sectores que calificaron con “muy alta vulnerabilidad” y “alta vulnerabilidad” en el índice construido para este estudio.
Enfoque metodológico Investigación multidisciplinaria que complementa teorías de la arquitectura y sociología, con un enfoque descriptivo, cualitativo y micro‐social
Metodología ‐ Información se recopiló mediante entrevistas semi estructuradas a vecinos de los sectores seleccionados y a observadores externos. ‐ Además se utilizó técnica discurso‐grama que reúne distintas estrategias metodológicas: entrevistas grupales o grupos de discusión, mapas mentales y planos de recorridos.
Procedimiento de selección de comunas y barrios (muestreo)
Para la selección de las comunas se diseñó un Índice de Vulnerabilidad Delictual, este incluyó los siguientes indicadores: denuncias por delitos contra las personas y la propiedad (1991‐1993), concentración de pobreza, desempleo, empleo informal, cantidad de viviendas sociales y número de proyectos postulados al subprograma de seguridad vecinal del Ministerio del Interior (1993‐1994). El índice se categorizó en 4 niveles: muy alto, alto, bajo y muy bajo, y en base a esto se jerarquizó a las comunas. A partir del índice y teniendo en cuenta la necesidad de comparar diversos contextos comunales se seleccionaron las comunas de Conchalí (con vulnerabilidad muy alta) y La Florida (de vulnerabilidad alta). En la segunda etapa se seleccionaron los conjuntos habitacionales a ser estudiados. Para ello se analizaron las características de la estructura físico espacial de los conjuntos de viviendas sociales, además del tiempo de antigüedad, consolidación de las organizaciones sociales, equipamiento, accesibilidad y disposiciones normativas urbano‐habitacionales, y se construyó una tipología de conjuntos habitacionales, con el fin de que los resultados del estudio permitieran generar recomendaciones aplicables a estos tipos. Además se consideró el grado de participación de las comunidades en proyectos de seguridad (subprograma de seguridad vecinal) puesto que ello expresaría un enfrentamiento al problema, cierto nivel de dinamismo y de vinculación de las organizaciones con el municipio. En base a estos criterios se seleccionaron dos sectores por comunas: Villa Paula Jaraquemada y Villa Araucanía de Conchalí y Los Quillayes sector 4 y Los Quillayes sector 5B de La Florida. Los conjuntos habitacionales de la comuna de Conchalí corresponden a una tipología de edificación en extensión, representativa de la conformación de la trama urbana en la periferia de la ciudad. Por parte de los informantes claves u observadores externos, la Villa
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
5
Paula Jaraquemada es percibida como segura y con capacidad de organización comunitaria, en cambio la Villa Araucanía es vista como un lugar inseguro y con una organización comunitaria incipiente. Los dos sectores (sector 4 y 5B) de La Florida pertenecen al mismo conjunto habitacional representativo de la tipología de edificación en bloque, solución más empleada en la década del ’90 en la Región Metropolitana. Mientras el sector 5B es percibido como seguro y con una organización activa el sector 4 es reconocido como inseguro.
III. JAIME SPERBERG Y BÁRBARA HAPPE (2000), “VIOLENCIA Y DELINCUENCIA EN BARRIOS POBRES DE SANTIAGO DE CHILE Y RÍO DE JANEIRO”98
Ficha metodológica del estudio Nombre de la investigación Violencia y delincuencia en barrios pobres de Santiago
de Chile y Río de Janeiro. Período de ejecución 1995 Objetivo general Análisis de la violencia y la criminalidad en dos barrios
pobres de Santiago de Chile y Río de Janeiro, por medio de la comparación de estos sectores en cuanto a la percepción de víctimas y victimarios, las estrategias de acción de los vecinos y el contexto político‐social en que se desenvuelven
Territorio/ grupo estudio Toma Esperanza (3 años de antigüedad) y Población Galvarino (24 años) de la comuna de Peñalolén de Santiago de Chile y las Favelas Minha Deusa (5 a 7 años de antigüedad) y Vidigal (54 años) de Río de Janeiro.
Metodología Encuesta. Entrevistas en profundidad a pobladores y favelados.
Dimensiones Económica; físico‐espacial; social; y la dimensión cultural
IV. CAMILO ARRIAGADA LUCO Y NELSON MORALES LAZO (2005) “POLÍTICA URBANA E INSEGURIDAD EN CHILE: UNA MIRADA DESDE LA
SEGREGACIÓN RESIDENCIAL Y LOS PROGRAMAS DE VIVIENDA SOCIAL”99. Ficha metodológica del estudio
Nombre de la investigación “Política Urbana e inseguridad en Chile: una mirada desde la segregación residencial y los programas de vivienda social”
Período de ejecución 2005 Objetivo general Conocer el nivel de segregación residencial y su
asociación con la distribución territorial de las denuncias de “delitos de mayor connotación social” (DMCS), en las principales ciudades chilenas.
Territorio/ grupo estudio Principales ciudades chilenas Metodología Elaboración de micro bases de datos con información de
fuentes secundarias: Denuncias de Carabineros y Policía de Investigaciones; Informe de DMCS del Ministerio del Interior (2004); Censo 2002, utilizando Distrito Censal por ser la escala más cercana al barrio; y Segunda Encuesta Nacional del Sistema de Medición de Satisfacción de Beneficiarios de Vivienda Básica SERVIU,
98 Jaime Sperberg y Bárbara Happe (2000). Nueva Sociedad Nº 169, pp. 44‐60.
99 Camilo Arriagada y Nelson Morales (2005). “Política urbana e inseguridad en Chile: una mirada desde la segregación residencial y los
programas de vivienda social”. Segundo simposio nacional de investigación sobre violencia y delincuencia, pp. 305‐324. Fundación Paz Ciudadana/ Instituto de Sociología PUC.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
6
aplicada en 81 conjuntos habitacionales del programa de vivienda básica SERVIU (del periodo 1999‐2000).
Muestra Encuesta MINVU 2086 casos
Referencia http://www.google.cl/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&cad=rja&ved=0CDIQFjAC&url=http%3A%2F%2Fwww.minvu.cl%2Fincjs%2Fdownload.aspx%3Fglb_cod_nodo%3D20070411164455%26hdd_nom_archivo%3DSatisfacci%25C3%25B3n%2520Residencial%2520Capital%2520Social.pdf&ei=ltxcUK‐XGOn10gG15oDICw&usg=AFQjCNHWvqhuGt_bxm6NHbrnYvMYJLPcVg
Indicadores e Índices
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
7
b) Evaluaciones de políticas y programas
Evaluación Plan Integral Barrio Seguro Organismo ejecutor Municipalidad de Peñalolén
Ámbito temático Prevención multiagenciada Objetivo general Mejorar las condiciones objetivas y subjetivas de seguridad de los habitantes del
barrio. Grupo/s objetivos/s Todas los familias habitantes de 5 Barrios focalizados Cobertura de beneficiarios 4.413 hogares de cinco barrios focalizados País, ciudad Chile, Santiago Cobertura territorial Municipal Fuente de financiamiento Municipal y Estado central
Evaluación y Resultados Su diseño de evaluación aborda el nivel de Resultados, en función del logro de los objetivos definidos en conjunto con la comunidad. Aplica encuestas de victimización a fin de caracterizar las percepciones y demandas de la ciudadanía de los barrios focalizados, como insumos para un adecuado diseño programático.
Componente/Dimensión Metodología Responsables
Prevención social
Realización Focus Group de Percepción de seguridad en cada uno de los sectores
Puente UC ‐ Comunidad
Fiscalización y Control Resultados de control y fiscalización Seguridad Ciudadana‐Operaciones‐ Comunidad
Prevención Integral Obras de prevención situacional terminadas
Dideco‐ Secplac‐DOM‐ Tránsito‐ Operaciones‐ Seguridad Ciudadana‐ Comunidad
Prevención Social Evaluación participativa de la intervención comunitaria
Seguridad Ciudadana‐ Comunidad
Prevención Social
Encuesta de satisfacción a los asistentes de la Mesa Barrial
Seguridad Ciudadana‐ Comunidad
Fiscalización y Control Realización de Encuestas de Victimización por Barrio.
Fundación Paz Ciudadana‐Seguridad Ciudadana
Año/País Programa Temática Datos Metodología de
evaluación
Componentes/Dimension
es/Variables
2001/Chile
Comuna Segura Compromiso 100
Fundación Paz Ciudadana. El programa principalmente persigue dos
El número total de comunas beneficiarias alcanzó a 12 y el de control a 82, todas ellas con
Evaluación del impacto mediante la aplicación de
técnicas estadísticas
Mide impacto que ha tenido el programa Comuna Segura sobre los índices de denuncias a nivel
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
8
Año/País Programa Temática Datos Metodología de
evaluación
Componentes/Dimension
es/Variables
objetivos. Primero, busca establecer un sistema de prevención y control de la delincuencia que incentive la participación de la comunidad a través de los concejos de seguridad ciudadana. La creación de estos concejos permitiría conocer las preocupaciones de los residentes en torno al tema de la seguridad y coordinar las distintas iniciativas que se promuevan en la comuna. El segundo objetivo, es crear un sistema de financiamiento que permita coordinar los medios existentes y entregar recursos a proyectos relacionados con este tema, mediante un fondo concursable. De esta manera se asegura la realización de acciones congruentes con la realidad comunal y niveles mínimos de capacidad y excelencia para conseguir el éxito de las
una población mayor a 70,000 habitantes criterio básico de selección para el programa.los criterios de selección para ser beneficiario del programa Comuna Segura incluyen el índice de pobreza y la tasa de robo con violencia por cada 100 mil habitantes de la comuna.
tanto paramétricas
como no
paramétricas.
Con el fin de analizar la robustez de los resultados se han implementado dos técnicas alternativas de evaluación del programa. En primer lugar, se realizan estimaciones paramétricas mediante un análisis de diferencias. En segundo lugar, se
implementan
estimadores no
paramétricos del
tipo matching.
comunal. En particular, se ha evaluado el impacto sobre los siguientes delitos: hurtos, robo con violencia, robo con fuerza, delitos de mayor connotación social, delitos contra las personas, lesiones, homicidios, violación y violencia intrafamiliar.
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 7
9
Año/País Programa Temática Datos Metodología de
evaluación
Componentes/Dimension
es/Variables
propuestas.
Año/País Programa Temática Datos Metodología de
evaluación Componentes/Dimensio‐
nes/Variables
2009‐2012 Chile
Proyecto Anillos: “Crimen y Violencia Urbana. Aportes de la teoría ecológica al diseño de políticas públicas” (Investigadores de CESC y de los Departamentos de Gobierno y Gestión Pública, de Economía y de Arquitectura de la Universidad de Chile. Instituciones Chilenas Asociadas: ‐ Carabineros de Chile ‐ Asociación Chilena de Municipalidades)
‐ Situación Delictual en Comunas del Gran Santiago DMCS Y Drogas en base a Estadísticas Policiales y Encuestas de Victimización
Este trabajo utiliza una encuesta a 5860 hogares del Gran Santiago de Chile. La encuesta fue aplicada entre agosto y octubre de 2010 en 242 barrios del Gran Santiago. En cada barrio, se encuestaron cerca de 24 a 25 hogares en promedio, seleccionados de manera aleatoria para obtener representatividad al interior del barrio. La muestra del estudio fue obtenida de la siguiente manera. Primero, se seleccionaron al azar 121 Unidades Vecinales(UV) sobre un universo de 885 UV en las 34 comunas urbanas de Santiago. Luego, por cada UV seleccionada se eligieron al azar 2 conjuntos residenciales de 6 manzanas censales en promedio, unidad que fue creada especialmente para efectos de este estudio, que recibió la denominación de MicroBarrios (MB). Para establecer el universo de MBs, se construyó una grilla de MBs sobre las 34 comunas urbanas de la ciudad, mediante un procedimiento de iteración matemática que respetó hitos urbanos relevantes
Se efectuó un análisis de índole multivariada en dos etapas. En primer lugar, se realiza un análisis de componentes principales, ya que esta técnica permite extraer nuevas dimensiones que reflejen información latente de las variables originales. Para efectuar este ejercicio, fueron separadas tres variables prioritarias para las políticas públicas de carácter territorial: la “victimización en el barrio”, la “victimización producto de uso de la fuerza y violencia en el barrio” y la “percepción de inseguridad en el barrio”.
VARIABLES EN ESTUDIO: 1.‐ Prioritarias para las políticas públicas: ‐ Victimización en el barrio (Dependiente) ‐ Victimización con fuerza o violencia en el barrio (Dependiente) ‐Percepción de inseguridad en el barrio (Dependiente) ‐Percepción de incivilidades en el barrio 2. Nuevos componentes (variables independientes): ‐Percepción de violencias en el barrio ‐Percepción de probabilidad de ser víctima de algún delito en el barrio ‐Percepción de ilícitos de drogas en el barrio ‐Percepción de confrontaciones violentas en el barrio ‐Percepción de desórdenes en el barrio ‐Apego a la legalidad ‐Control social informal ‐Ingresos mensuales del hogar ‐Promedio de años en el barrio
Determinantes individuales y del entorno residencial en la percepción de seguridad en barrios del gran Santiago
Este trabajo se basa en el método estadístico de Regresión Lineal Multivariada para analizar los principales determinantes de la percepción individual de seguridad en los entornos residenciales. Esta metodología se aplica con una perspectiva multinivel, es decir, considera tanto el nivel de ciertos
Tres grupos principales de variables que en principio influenciarían la percepción de seguridad de un individuo en su barrio (variable dependiente) por distintas vías: a) Variables sociodemográficas personales del individuo (sexo, edad, años de educación y nivel de ingresos del hogar) más las experiencias recientes de victimización personal (número de delitos de los que fue víctima la persona, diferenciado si éstos fueron en el sector residencial o
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 8
0
Año/País Programa Temática Datos Metodología de
evaluación Componentes/Dimensio‐
nes/Variables
(por ejemplo, ningún MB puede incluir una avenida o carretera importante que eventualmente signifique la división del barrio en dos conjuntos residenciales separados de facto). Así se conformó un universo de 8.206 MBs. En un tercer momento, por cada uno de los MBs seleccionados, se encuestaron cerca de 25 hogares, mediante un procedimiento de saltos aleatorios entre viviendas por calle. Cuando un hogar seleccionado aleatoriamente no pudo ser entrevistado, se reemplazó por otro seleccionado de manera aleatoria dentro del mismo MB, hasta alcanzar una meta referencial de 25 hogares por MB (o eventualmente hasta agotar los hogares del MB), meta que se cumplió en la gran mayoría de los casos, siendo el promedio resultante de hogares por MB de 24,2. En promedio, los MBs tienen cerca de 200 hogares y comprenden una población de 824 habitantes distribuidos en una superficie de 57.291 metros cuadrados.
determinantes individuales, como también el nivel de determinantes propios del entorno residencial del individuo.
fuera de él, en los últimos 12 meses). b) Variables sociales y territoriales del barrio: convivencia entre vecinos y los recursos asociados a ella (confianza, cohesión, contactos informales y control social informal). En segundo lugar, se agrupan variables tales como la evaluación que hacen los vecinos de la presencia de instituciones del Estado en el territorio (municipios, salud y educación). Finalmente, se agregan las variables señales de desorden físico y presencia de comercio de primera necesidad en el barrio. c) variables del barrio: tasa de victimización por delitos ocurridos adentro del territorio, percepción de violencia e incivilidades promedio de los habitantes del barrio.
Año/País Programa Temática Datos Metodología de
evaluación Componentes/Dimensiones/Variables
2005 Distritos de Convivencia y El diseño del Cada evaluación Los cuestionarios incluyen
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 8
1
Año/País Programa Temática Datos Metodología de
evaluación Componentes/Dimensiones/Variables
Colombia Paz: Evaluación de impactos tempranos Programa de Convivencia y Seguridad Ciudadana
Seguridad Ciudadana El Modelo Distritos de Paz, se encuentra definido así: “Escenario de intervención social, intersectorial focalizado con una concepción de estructuración del territorio como un proceso de construcción social, cultural y político de largo plazo”, que “involucra ingredientes administrativos, políticos y normativos, como la generación de imaginarios colectivos que dan sustento y vida a una ‘nueva’ entidad territorial.” De esta manera, en tanto escenarios de articulación y coordinación institucional y ciudadana, los Distritos de Paz se dividieron en “áreas prioritarias” o “subsistemas”: juventud, familia, justicia y seguridad ciudadana; y un quinto elemento que se presenta como “proyectos de ciudad”, que se orienta al tema de cultura ciudadana incluyente, pacífica y centrada en la participación, la
muestreo fue estratificado por distritos, tomando los 3 distritos de paz, cada uno como un estrato y el resto de Cali como un estrato adicional. Cada estrato se dividió en segmentos de 9 manzanas (tamaño promedio) y se tomaron al azar 50 segmentos en cada estrato. En cada segmento elegido, se entrevistó a 6 personas elegidas al azar entre aquellos que cumplieran los criterios de inclusión en la encuesta, para completar así una muestra de aproximadamente 300 personas por estrato ó distrito. La encuesta estuvo dirigida a hombres y mujeres mayores de 15 años, con 2 o más años de residencia en el distrito. Para la estrategia de
muestreo, se logró
unificar, gracias a los
marcos compartidos,
la evaluación de cinco
proyectos en una sola
encuesta general, que
contenía los módulos
necesarios para la
valoración de los
indicadores de
impacto temprano
esperados en cada
uno. Para los casos
especiales, se
diseñaron estrategias
de muestreo
separadas.
Fases de evaluación:
1.‐ Implementación
incluyó una serie de
etapas que se
desarrollaron de
acuerdo al tipo de
proyecto, calidad
de la información,
existencia de línea
de base, y de
grupos intervenidos
y de control
claramente
definidos. El
modelo incorporó
abordajes
cualitativos y
cuantitativos en
cada fase.
Fase evaluación:
1. Implementación:
Productos
esperados vs
entregados a través
de:
a. Construcción y
ajuste de las
matrices de marco
lógico de cada
proyecto
b. Identificación
línea de base
c. Evaluación de
coherencia e
implementación
2. Impacto:
Comparación de un
grupo intervenido
vs un grupo control
interno y grupo
control externo ,
midiendo:
a. Comparación
cambio indicadores
antes y después.
b. Comparación
grupos intervenidos
vs grupos no
intervenidos
3. Económica:
Análisis costo‐
las variables necesarias
para establecer la
exposición al programa, los
potenciales confusores de
la atribución del impacto al
programa, y las variables
para medir el impacto
alcanzado.
. Medición del impacto. El ejercicio de reconstrucción del marco lógico de cada proyecto, proporcionó, entre otros, los indicadores de impacto y una decisión sobre la metodología para medirlos uno a uno. . Medición de la exposición al programa. Se elaboraron conjuntos de preguntas que permitieran establecer la participación del entrevistado en actividades asociadas con la intervención. A partir de estas preguntas, se clasificó la exposición del individuo al programa y específicamente se determinó si fue intervenido ó no, en cada proyecto. . Medición de potenciales confusores. Se incluyeron además de las preguntas socio‐demográficas, algunas que dieran cuenta de la exposición del individuo a otras intervenciones hechas en la ciudad previo o durante el mismo periodo de evaluación. Se diseñaron en total
cuatro (4) instrumentos
para realizar la medición de
los impactos tempranos de
los proyectos: una encuesta
dirigida a población en
general, dos dirigidas a
jóvenes en contextos de
alto riesgo y una dirigida a
jóvenes organizados.
Informe final Alcaldía de
Cali CISALVA‐CIDSE
TERCER INFORME, ANÁLISIS Y DISEÑO EVALUACIÓN PROGRAMA “BARRIO EN PAZ” GUERNICA CONSULTORES
Página 8
2
Año/País Programa Temática Datos Metodología de
evaluación Componentes/Dimensiones/Variables
solidaridad y el sentido de pertenencia y apropiación del espacio público. Se espera se den las articulaciones a nivel de componentes y entre componentes. En principio, es notable el lugar que se le asigna al territorio en la conformación de los Distritos de Paz y, en especial, el propósito ambicioso de su formulación.
2.‐ Impacto
3.‐ Económica
beneficio de:
1. Identificación de
los impactos
2. Construcción de
escenarios
3.Diseño y
aplicación de
metodología de
valoración
Evaluación de Impactos
Tempranos Universidad del
Valle.
Se desarrollaron preguntas específicas para determinar los efectos atribuibles a las dos intervenciones y explorar todos los indicadores de impacto temprano. Para la construcción del instrumento de recolección se utilizó como base la Encuesta Activa la cuál fue desarrollada y validada por la Organización Panamericana de la Salud en varias ciudades de América Latina, entre ellas Cali‐ Colombia, con la participación de CISALVA, para medir comportamientos, habilidades y actitudes frente a la violencia. Esta encuesta se ha aplicado en diferentes momentos en la ciudad, monitoreando intervenciones‐ 1996, 2000 y 2004. El instrumento general
contó con cinco (5)
modulos:
(1) Cultura Ciudada –
cumplimiento de normas
civicas‐ trànsito;
(2) Modulo de percepción
de seguridad; (3) Violencia
Intrafamiliar; (4)Capital
social y participación
comunitaria y
(5) Oferta institucional para
la convivencia y prevención
y control de la violencia.