propuesta de modelo de evaluación para las...
TRANSCRIPT
UNIVERSIDAD DE MONTERREY
División de
Educación y Humanidades Maestría en Humanidades
Propuesta de Modelo de Evaluación para las
Organizaciones de la Sociedad Civil
PROYECTO DE INNOVACIÓN Y CAMBIO
QUE PARA OBTENER EL GRADO DE
MAESTRO EN HUMANIDADES
PRESENTA:
85966 Jessika Susana Hinojosa Romero
San Pedro Garza García, N.L. 9 de diciembre, 2014
ii
UNIVERSIDAD DE MONTERREY DIRECCIÓN ACADÉMICA DE HUMANIDADES
Como miembros de jurado de examen de maestría certificamos que hemos
leído y aprobado el Proyecto de Innovación y Cambio que presenta Jessika
Susana Hinojosa Romero y titulado Propuesta de Modelo de Evaluación para
las Organizaciones de la Sociedad Civil.
_________________________ Presidente: Dr.Javier José García y Justicia Fecha
__________________________ Sinodal: Mtra.Blanca María Maíz González Fecha
__________________________ Sinodal: Mtra.María Gloria Carvajal Rascón Fecha
iii
Dedicatoria
Este trabajo lo dedico con mucho cariño a todos los que me acompañaron en este
camino y muy especialmente a:
A Dios por darme esta vida, por haberme hecho como me hizo, por darme el don de
superación, por ser la fuente que me inspira y darme la fortaleza que necesito cada día.
A mis padres Gerardo y Teresa, por estar conmigo en cada momento, si bien mi
Papá ya no pudo estar presente en esta meta, no dudo que está orgulloso de mí y me sigue
acompañando.
A mi querido esposo Enrique, pieza clave de este logro, por su apoyo incondicional
en cada locura que quiero emprender, por ser siempre escucha y hombro apoyador, por su
motivación diaria a no darme por vencida, por contagiarme su entusiasmo y energía.
A mi hijo Samuel, quien a su temprana edad comprendió que mamá debía ir a la
escuela, quién me despedía con una sonrisa y me recibía con un gran abrazo, quién me
preguntaba si aprendí mucho en mi escuelita, quien durante los dos años que estudié se
comportaba cada vez más maduro.
iv
A mi hijo Esteban, quien me acompañó a cada clase mientras estaba en mi vientre,
quien me hizo más fuerte, quien me enseñó que hay tiempo para todo, quien al ver su cara
sólo puedo sonreír y creer que todo es posible.
A mi asesor de tesis Javier, quien sin duda fue un gran apoyo en la realización de
este proyecto, con su guía acertada y sus palabras de apoyo me motivaron cada día en llegar
a la meta.
A mis amigos y alumnos, de quienes siempre tuve palabras motivadoras que me
daban fortaleza, ayudándome a seguir creyendo en mí misma.
A todos ellos, gracias.
v
ÍNDICE
Página
ÍNDICE DE TABLAS
INTRODUCCIÓN 10
CAPÍTULO
I. ANÁLISIS DE ORGANISMOS ACREDITADORES 15
Filantrofilia 17
Gestión Social y Cooperación 25
Centro Mexicano para la Filantropía 33
Confío 45
The Standards for Excellence Institute 56
II. FUNDAMENTACIÓN TEÓRICA 63
Definición de Acreditación 63
Definición de Certificación 64
Definición de Evaluación 65
Organismos mexicanos que otorgan acreditación y/o certificación 65
Concepto de Evaluación 67
Evaluación del Impacto 70
Tipos de Evaluación 80
Tipos de Evaluación según el Propósito 81
Evaluación de resultados 81
Evaluación de objetivos 81
Evaluación de procesos 81
Tipos de Evaluación según los Actores 82
Evaluación externa 82
Evaluación interna 82
Evaluación mixta 82
vi
Evaluación participativa 82
Criterios de la Evaluación 83
Pertinencia 87
Dimensiones 88
Aspectos sustantivos 90
Preguntas clave 91
Obtención de información 92
Subcriterios 93
Apropiación 93
Alineamiento 95
Armonización 96
Coherencia 97
Participación 99
Eficacia 100
Aspectos sustantivos 101
Preguntas clave 103
Obtención de información 103
Subcriterios 104
Cobertura 104
Eficiencia 105
Aspectos sustantivos 106
Preguntas clave 108
Obtención de información 109
Impacto 110
Aspectos sustantivos 112
Preguntas claves 118
Obtención de información 109
Sostenibilidad 120
Factores 124
Políticas de apoyo 124
Factores institucionales 125
Factores socioculturales 126
Enfoque de género 127
Factores tecnológicos 129
Factores macroambientales 130
Factores económico-financieros 131
Preguntas clave 132
Obtención de información 134
Replicabilidad 137
vii
III. METODOLOGÍA DE LA INVESTIGACIÓN Y ANÁLISIS
DE LAS ORGANIZACIONES DE LA SOCIEDAD
CIVIL EN NUEVO LEÓN 140
Selección de los informantes 140
Planteamiento de la investigación 141
Nombre de las organizaciones 141
Representatividad 143
Encuesta aplicada 143
Análisis de las Organizaciones de la Sociedad Civil
en Nuevo León 144
IV. MODELO DE EVALUACIÓN PARA ORGANIZACIONES DE LA
SOCIEDAD CIVIL 149
Ventajas del Modelo 150
Propuesta del Modelo de Evaluación para OSC´s 150
ANEXO A: Encuesta 165
REFERENCIAS 166
viii
Índice de Tablas y Figuras
Tabla Página
1. Concentrado de organismos evaluadores 16
2. Área de rubros de evaluación en desarrollo institucional 19
3. Indicadores de impacto social 20
4. 10 indicadores del CEMEFI 38
5. Principios y buenas prácticas de Confío 49
6. Costos por acreditación completa 60
7. Cuotas anuales 60
8. Principios de evaluación según la Cooperación Española 73
9. Conceptos de criterios de evaluación 84
10. Obtención de fuentes 134
11. Criterios de evaluación 139
12. Datos básicos de las Organizaciones de la Sociedad Civil 141
13. Sugerencias de evaluación 147
14. Modelo de Evaluación 153
15. Medición del área de consolidación institucional 156
16. Medición del área de impacto social 157
17. Puntaje del área de consolidación institucional 159
18. Puntaje del área de impacto social 161
ix
Figura Página
1. Logo Filantrofilia 17
2. Fases del proceso de Filantrofilia 21
3. Logo Gesoc 25
4. Modelo de Estimación de Valor Social 28
5. Variables y su ponderación 30
6. Escala de calificación por variable 31
7. Logo CEMEFI 33
8. Logo del distintivo de CEMEFI 37
9. Niveles de acreditación 40
10. Logo del procedimiento del CEMEFI 41
11. Logo Confío 47
12. Logo del distintivo Confío 47
13. Logo Standards for Excellence Institute 56
14. Sostenibilidad 122
15. Encuesta 143
16. Gráfico de evaluación del área de consolidación institucional 160
17. Gráfico de evaluación del área de impacto social 162
18. Concentrado de consolidación institucional 163
19. Concentrado de impacto social 163
Introducción
Parte del interés en trabajar esta propuesta es debido a que mucho de mi trabajo se
ha desarrollado con las Organizaciones de la Sociedad Civil, iniciando primeramente desde
que era estudiante de licenciatura ya que mi servicio social lo realicé apoyando al
Departamento de Prácticas de Institución de la Facultad de Trabajo Social de la
Universidad Autónoma de Nuevo León en donde las alumnas realizaban sus prácticas
sociales en las OSC´s, al terminar mi licenciatura comencé a trabajar en esta Universidad
de Monterrey en el Área de Servicio Social en donde las opciones para que los estudiantes
realicen servicio social son las mismas Organizaciones de la Sociedad Civil pero en
actividades de índole social, asimismo dentro de esta misma Área nos encargábamos de
brindar capacitación y/o formación a las mismas en diversas especialidades según sus
necesidades; y por último al laborar durante un tiempo en la Comisión Estatal de Derechos
Humanos de Nuevo León directamente como responsable de su capacitación en materia de
Derechos Humanos, de esta forma percibí más de cerca la necesidad de estos organismos
por estar mejor preparados y por contar con certificaciones, acreditaciones o evaluaciones
que avalen o respalden su trabajo.
Al revisar los datos estadísticos en relación a estas las organizaciones de la
sociedad civil, en Nuevo León según la Secretaría de Desarrollo Social (2012) existen 630
organizaciones registradas en dicho organismo, variando a 651 las registradas ante el SAT
en el 2014, cabe aclarar que a la fecha, el directorio está en actualización en la página de la
11
Secretaría de Desarrollo Social, otro dato interesante es que el SAT registra 126 OSC´s
duplicadas.
Considerando la labor que realizan, dichas instituciones han expresado la necesidad
de contar con organismos calificados que reconozcan el trabajo social que estas desarrollan
a través de una certificación, acreditación o evaluación, y que a su vez les permita adquirir
el estatus de OSC acreditada que muchas de las veces requieren para ser destacadas por su
profesionalismo y/o seriedad, sin dejar de lado su impacto comunitario y/o social.
Aunque a nivel nacional se cuente con organismos como Filantrofilia, GESOC, y el
CEMEFI que acreditan a las OSC´s, tienen la limitante de que éstas se enfocan, según
palabras de los mismos responsables de dichas instituciones, en hacer un mero trámite
administrativo en donde sólo se llenan formatos y se elaboran documentos para cumplir con
la acreditación o evaluación según sea el caso, dejando de lado la evaluación real de su
trabajo en campo, de su impacto en la comunidad.
Planteamiento de la Investigación
Objetivo General. Proponer un modelo integral de evaluación para las
Organizaciones de la Sociedad Civil.
Objetivos Específicos. Los objetivos específicos de este trabajo son:
Realizar un análisis de organismos acreditadores o evaluadores de las
organizaciones de la sociedad civil.
12
Analizar las acreditaciones o conocimientos que tienen las organizaciones de la
sociedad civil en Nuevo León.
Elaborar la propuesta del modelo de evaluación.
Preguntas de investigación. Entre las preguntas que se quieren plantear para esta
investigación se encuentran principalmente:
¿Cómo están funcionando los organismos certificadores, evaluadores o
acreditadores?,
¿Cuál es el proceso que estos realizan?,
¿Cuál es el alcance de cada uno de los organismos?,
¿Qué es lo que están tomando en cuenta al momento de evaluar?,
¿Qué les está funcionando?,
¿Qué áreas deben mejorar en sus procesos?,
¿Qué es lo que no están considerando en su evaluación?,
¿Qué áreas son las más importantes a considerar al momento de evaluar las OSC´s?
¿Cómo elaborar una propuesta de modelo de evaluación?
¿Qué teoría revisar como fundamentación teórica al modelo?
¿Qué instituciones estarían interesadas en evaluarse?
¿Qué les gustaría a las instituciones que contemplara la evaluación?
13
Alcances y limitaciones
Esta investigación, tiene como propósito sólo realizar la propuesta del Modelo de
Evaluación una vez que se tenga el análisis de los organismos acreditadores o evaluadores
de organizaciones de la sociedad civil y una vez conociendo la percepción de ellas sobre
dichos organismos, por lo que tiene como limitación que dicho Modelo no estará
desarrollado, como comúnmente se debe realizar un proceso de evaluación, sino sólo
quedará en propuesta, sin embargo, la propuesta tratará de ser lo más clara y completa
contando con sus indicadores, una escala de evaluación, así como algún ejemplo graficado.
Proceso y/o estructura de la investigación
Para dar inicio a este trabajo es importante resaltar el proceso que se llevó a cabo
para la culminación del mismo. Al iniciar el tema se tuvo entrevistas con personal experto
en acreditaciones y certificaciones quienes de alguna forma fueron pieza clave al darle la
verdadera estructura a este trabajo y al aclarar dudas sobre dichos conceptos por lo que este
trabajo quedó como una evaluación de las organizaciones de la sociedad civil y no en
certificación o acreditación como fue la idea principal.
Comenzaremos con el Capítulo I correspondiente al Análisis de Organismos
Acreditadores, en este apartado se seleccionaron cuatro organismos que en México evalúan
o acreditan a las Organizaciones de la Sociedad Civil, los cuales fueron Filantrofilia, Gesoc,
Cemefi y Confío. Para tener además un conocimiento de organismos internacionales, se
escogió a The Standards for Excellence Institute perteneciente a Estados Unidos, con estos
14
cinco organismos se realiza un análisis completo de cada uno de ellos, en donde se detallen
aspectos tales como su descripción general, antigüedad, proceso o forma de operar, cuántas
y cuáles OSC´s llevan evaluadas, su costo y por último se realiza una conclusión
destacando sus principales fortalezas y debilidades.
En el Capítulo II revisaremos la Fundamentación Teórica que da sustento a este
trabajo, por lo que podemos destacar que nuestra teoría está relacionada principalmente con
los conceptos de evaluación, abarcando desde su definición, los tipos de evaluación, la
evaluación del impacto y muy especialmente los criterios de la evaluación, parte primordial
para elaborar el modelo.
Continuamos con el Capítulo III sobre la Metodología de la Investigación y el
Análisis de las Organizaciones de la Sociedad Civil en Nuevo León. En este apartado se
presentan los resultados de una encuesta aplicada a algunas OSC´s con el objetivo de saber
si conocen a los cuatro organismos evaluadores en México, descritos en el Capítulo 1, saber
además si poseen alguna evaluación o acreditación con ellos, y muy especialmente conocer
si están interesadas en evaluarse por otro organismo en Nuevo León, entre otras cosas.
Por último, en el Capítulo IV se presenta la propuesta del Modelo de Evaluación,
destacando las áreas a evaluar, sus dimensiones, sus indicadores, la escala de evaluación y
sus ventajas, entre otros aspectos.
15
Capítulo I
Revisión de Organismos Acreditadores
En este apartado revisaremos a detalle cinco organismos que actualmente están
trabajando muy de cerca con las Organizaciones de la Sociedad Civil, al ofrecerles algún
tipo de distintivo a través de su evaluación y/o acreditación. Los organismos a revisar son:
Filantrofilia, GESOC, CEMEFI y Confío por parte de México, y The Standar for
Excellence Institute de Estados Unidos.
Se seleccionaron cuatro de México principalmente, por ser los más importantes y
conocidos, y porque de alguna forma son los únicos cuatro que ofrecen el objetivo de la
investigación, y en lo que respecta al organismo de Estados Unidos, por ser uno de los más
importantes e influyentes y por tener un gran número de organizaciones acreditadas, sin
embargo cabe destacar que al ser de otro país varían muchos de los parámetros en
comparación con los de México.
Dentro de cada organismo analizado se contemplan aspectos tales como una
descripción general de la institución, su antigüedad, su proceso o forma de operar para
llevar a cabo la evaluación o acreditación, cuántas y cuáles OSC´s han evaluado, el costo
que manejan por su distintivo y por último se realiza una conclusión a cada una ellas como
parte de reconocer sus fortalezas y/o debilidades dentro de su proceso.
Antes de analizar a detalle cada instancia, se agrega un cuadro comparativo que nos
permite visualizar de manera concentrada las principales características de cada uno:
16
Tabla 1:
Concentrado de Organismos Evaluadores, Fuente: Elaboración propia.
INSTANCIA FILANTROFILIA GESOC CEMEFI CONFÍO SEI
Servicio que
ofrecen
Calificación Social Evaluación Acreditación Evaluación Acreditación
Nombre de su
evaluación
Desarrollo
Institucional e Impacto
Social
Modelo de
Estimación de
Valor Social
Institucionalid
ad y
Transparencia
OSC analizada Acreditación y
reconocimiento
a Normas para
la Excelencia
Duración de
proceso
De 1 a 2 meses No
especificado
No
especificado
3 meses De 6 a 18
meses
Duración de su
acreditación/ev
aluación
1 año No
especificado
No
especificado
2 años 3 años
Número de
indicadores a
revisar
2 áreas con 7
indicadores
6 variables 10 indicadores 9 principios de
transparencia y
buenas prácticas y
36 subprincipios
6 principios
rectores y 27
áreas temáticas
Costo No especificado No
especificado
puesto que lo
absorbe Monte
de Piedad
$3,500.00 $950.00 $250 a $30,000
dolares
17
Figura 1. Logo de Filantrofilia
Filantrofilia
Se describen como la primera calificadora social en Latinoamérica, (Filantrofilia,
s.f.), sin embargo no tiene acreditación por ninguna instancia como evaluadora.
Descripción de la Institución. Filantrofilia en su página web
(www.filantrofilia.org) nos dice que es una asociación civil que tiene como misión
maximizar el impacto de la filantropía en México mediante la calificación,
profesionalización, promoción y canalización de recursos a las organizaciones sin fines de
lucro. Mencionan que cuentan con una metodología innovadora única en su tipo y permite a
las organizaciones sociales cuantificar su impacto social y conocer su nivel de desarrollo
institucional en comparación con las mejores prácticas internacionales.
Trabaja estrechamente con diferentes tipos de organizaciones para que juntos puedan
construir una nueva cultura filantrópica, ellos visualizan un país en el cual las
organizaciones sociales sean verdaderos motores de cambio positivo, y donde las personas,
organizaciones y empresas tengan la confianza de realizar donativos con base en
información clara y transparente.
A su vez, Filantrofilia se financia a través de donativos por parte de su consejo
directivo y otras organizaciones filantrópicas, así como mediante cuotas de recuperación
cubiertas por las organizaciones participantes.
18
Antigüedad. Filantrofilia ha estado calificando a las organizaciones desde el año
2010 por lo que a la fecha cuenta con cuatro años de antigüedad.
Proceso o forma de operar. El proceso de calificación dura entre 4 y 8 semanas
dependiendo de la complejidad, disponibilidad de la información y ubicación geográfica de
la organización a calificar. Durante ese tiempo, se asigna un equipo de evaluadores quienes
entrevistan, encuestan y estudian los documentos necesarios para completar un análisis del
impacto social y el desarrollo institucional. El proceso consta de 6 fases y utilizan como
base un scorecard con más de 110 aspectos basados en las mejores prácticas del sector
social internacional.
Filantrofilia menciona que a diferencia de otros distintivos y acreditaciones, ellos
realizan una calificación a profundidad por un grupo de especialistas del sector social
basados en las mejores prácticas internacionales. Y se consideran la única organización en
México que evalúa el desarrollo institucional y cuantifica el impacto social. Ellos destacan
que el gran valor de la calificación es que ayudan a la organización para que, una vez
calificada, se fortalezca, promueva y genere más recursos con mayor impacto.
Ellos cuentan con una propia categorización de las organizaciones, al llamarles de
primer piso a todas las organizaciones sociales operativas y de segundo piso a las
instituciones donantes.
Las áreas que se evalúan en desarrollo institucional son: Gobierno y estrategia,
Generación de ingresos, Comunicación, Administración y Operación.
19
Tabla 2:
Áreas y rubros de evaluación en desarrollo institucional
ÁREA RUBRO
Gobierno y Estrategia Misión, Visión, Estrategia y Planeación
Liderazgo del Consejo
Liderazgo y Estructura de la Dirección
Generación de
Ingresos (fondeo)
Recaudación de Fondos
Mercadotecnia, Comunicación y Relaciones Públicas
Administración Finanzas
Recursos Humanos
Tecnologías de la Información
Legal
Y a su vez, los indicadores de impacto social son: Alcance, Eficacia, Eficiencia y
Retorno social sobre inversión como se pueden visualizar a continuación:
Tabla 3:
Indicadores de Impacto Social
INDICADOR DESCRIPCIÓN
Eficacia Porcentaje de éxito de las acciones de la organización para
llevar a cabo su misión
Eficiencia La manera en que se utilizan los recursos disponibles para
20
llevar a cabo su misión
Alcance El número de beneficiarios directos e indirectos en un
determinado lapso.
Retorno Social sobre
Inversión (RSOI)
El impacto económico que tienen las acciones de la
organización en la sociedad mexicana en un determinado lapso
de tiempo.
En cuanto a evaluar a las instituciones donantes o de segundo piso, les permite
identificar el nivel de relevancia (factor x) de los donativos otorgados a las organizaciones
operativas beneficiadas. En este caso el proceso es diferente, varía en tiempo y duración ya
que es necesario calificar a un grupo representativo de organizaciones beneficiadas. Otra de
las ventajas que ellos mencionan es que les permitirá generar información para otorgar
donativos de manera más eficaz, optimizando el impacto social.
Figura 2. Frases del proceso de Filantrofilia
21
A continuación describiremos las fases que Filantrofilia maneja:
1.- Diagnóstico inicial
El equipo evaluador recopila información administrativa, legal, financiera y operativa que
le permite conocer el panorama general de la organización y sus programas de atención.
2.- Análisis de resultados operativos
Se analizan los resultados operativos de la institución de forma profunda y se identifican los
principales indicadores para evaluar el impacto social de sus programas.
3.- Encuestas a beneficiarios
A través de una encuesta, ellos conocen la percepción de los beneficiarios con respecto a
los servicios otorgados por la institución.
4.- Evaluación de Desarrollo Institucional
Se realizan entrevistas a los integrantes de los órganos de gobierno, equipo directivo y
operativo clave para profundizar en el conocimiento de la organización.
5.- Determinación de la Calificación
Se analiza toda la información obtenida por diversos medios y se determina su calificación
en comparación con las mejores prácticas institucionales y basados en evidencia.
6.- Presentación de la Calificación y Recomendaciones Estratégicas
Al finalizar el proceso de calificación se hace una presentación con los integrantes del
órgano de gobierno y equipo operativo de la organización, con el objetivo de dar a conocer
los resultados obtenidos y las recomendaciones emitidas por el equipo evaluador.
Costos. Lo manejan como modelo de sustentabilidad económica en la cual las
organizaciones calificadas aportan una cuota de recuperación hacia el costo total del
22
proceso de calificación. La aportación solicitada varía dependiendo del tamaño y
complejidad de la organización. Sin embargo también cuentan con un programa especial
llamado “Amigos de Filantrofilia” para generar fondos que permitan becar o subsidiar a las
organizaciones sociales, para esto hay que pedir una solicitud la cual debe ser aprobada por
el comité de becas. Además cuenta con alianzas estratégicas con diversas instituciones
donantes, las cuales cubren muchas de las veces los costos parciales o totales de los
servicios de calificación.
Organizaciones Evaluadas. Hasta la fecha Filantrofilia lleva evaluadas más de 250
organizaciones y por mencionar algunas destacan: Fundación Pro niños de la Calle,
SELIDER, VETSA, CreeSer, Ciudad de los Niños de Monterrey, Casa Paterna la Gran
Familia, Asociación Mexicana para la Audición, Alianza Anticancer Infantil, entre otras.
Conclusión. Filantrofilia sin duda tiene una estrategia muy interesante al mencionar
que no sólo evalúan la parte del desarrollo institucional como la gran mayoría de las
instancias lo hacen, sino además contemplan el impacto social, y esta es una de sus
mayores fortalezas ya que son pocas las instancias que están ofreciendo el servicio como tal
de evaluar el impacto social, sin embargo, al ver los indicadores de este último rubro así
como un ejemplo de acreditación a una OSC a la cual tuve acceso, se puede observar
claramente que esta parte de impacto comunitario queda completamente vacía, no destaca
ni evalúa realmente lo que la organización está haciendo en la comunidad y el verdadero
impacto que se está generando.
23
Al destacar Filantrofilia insistentemente que es la única instancia que contempla el
impacto comunitario, tiene mucho más que ofrecer, por lo cual necesita urgentemente
revisar sus indicadores y ofrecer este verdadero servicio. Lo que están entregando a las
organizaciones como parte de su evaluación en el área de impacto social, deja mucho qué
desear, no ofrecen evaluación real, como se mencionó anteriormente, de cómo la institución
está en esa parte, es sorprendente ver los entregables de Desarrollo Institucional y sólo una
hoja de Impacto Social, cuando ellos mismos mencionan que sus indicadores son:
eficiencia, eficacia, alcance y retorno social sobre inversión. Filantrofilia entrega resultados
muy cuantitativos, que al final son números que no reflejan el verdadero impacto, son los
número que vemos en todas partes.
Otro dato interesante de su proceso es que ofrece una escala de calificación, lo cual
significa que cualquier institución puede iniciar proceso y terminarlo para obtener una
calificación aunque esta no sea muy buena y no refleje su impacto social, con este aspecto
pierde un poco de credibilidad ya que se contrapone con lo que ofrecen y al momento de
querer revisar la calificación de alguna organización aparece como calificación pendiente y
en esta categoría puede durar hasta años, lo que representa por una parte credibilidad de la
organización al estar en el proceso de evaluación de Filantrofilia, pero por otro lado no hay
la verdadera transparencia ya que sólo aparece el nombre no los resultados, entonces, nos
hace suponer que cualquier organización inicia su proceso de evaluación, aparece su
nombre en la página web de Filantrofilia, cualquier le puede donar, pero no nos ofrece
información confiable de esa OSC. Considero que es importante para ellos determinar bien
sus criterios de Impacto Social y no considerar sólo la parte cualitativa.
24
Figura 3. Logo Gesoc
Gestión Social y Cooperación A.C. (GESOC)
GESOC otorga una evaluación, esta instancia tampoco cuenta con una acreditación
que la respalde como evaluadora, sin embargo cabe destacar que tiene el apoyo de Nacional
Monte de Piedad.
Descripción de la Institución. GESOC (www.gesoc.org.mx) es un organismo de la
sociedad civil que tiene como misión ser especializado en la generación de evidencia y
soluciones metodológicas útiles y robustas para que las iniciativas sociales de gobiernos,
OSC´s y empresas, maximicen el valor público que producen a favor del desarrollo social,
con apego a los principios de transparencia, rendición de cuentas y respeto a los derechos
humanos, implementación y evaluación de proyectos.
Para llevar a cabo su misión, GESOC enfoca su trabajo en cuatro líneas estratégicas
que atienden los retos clave que enfrentan los sectores gubernamental, empresarial y de
sociedad civil para incrementar su capacidad para agregar valor social:
Gestión basada en evidencia y orientada a resultados;
Transparencia y rendición de cuentas;
Responsabilidad social y realización de los derechos; y
Colaboración inter-organizacional para el desarrollo.
25
GESOC además aborda estas líneas Estratégicas de Incidencia a partir de dos Líneas
de Acción que también son transversales a los sectores gubernamental, empresarial y de
sociedad civil:
Iniciativas de investigación y evaluación
Iniciativas de monitoreo y formación de capacidades
A su vez definen que para incidir en el valor social de las OSC´s, tienen como
propósito trabajar para beneficio de otras OSC´s al incrementar los estándares de
profesionalización y rendición de cuentas de los resultados e impactos obtenidos por éstas,
para contribuir al mejoramiento de los programas y proyectos de intervención social.
Algunos ejemplos sobre su trabajo con OSC´s se describen a continuación:
Investigación sobre prácticas de evaluación de las OSC´s en México (2011).
Evaluación externa del programa “Crea tu espacio” de SERAJ-UNICEF (2010).
Reporte de investigación Voces de los niños: percepciones y significados de la
pobreza (2009).
Evaluación de resultados e impactos de programas institucionales de 12 fundaciones
y OSC´s operativas que abordan distintas temáticas sociales, ambientales y
económicas.
Diseño e implementación de sistemas de seguimiento y evaluación de 14
fundaciones y OSC´s operativas.
Evaluación de capacidad organizativa de 9 fundaciones y OSC´s.
26
Diseño metodológico de la investigación sobre las características del fenómeno de
callejarización de niñas, niños, adolescentes y jóvenes de la Ciudad de México.
Manual de evaluación para organizaciones de la sociedad civil (2011).
Manual Construyendo Capacidades Básicas para Organizaciones de Base (2009).
Modelo y talleres de incidencia en políticas públicas para OSC´s (2010).
GESOC menciona además ser parte de:
Global Reporting Initiative
Red de OSC´s de Latinoamérica y el Caribe para la Gestión por Resultados en
Desarrollo del BID
Integrante del Consejo de Sociedad Civil (CONSOC) para México del BID
Comité de Seguimiento y Evaluación del Programa de Derechos Humanos del
Distrito Federal
El Colectivo por la Transparencia
Observatorio ciudadano “Gastar Mejor”
Red por la Rendición de Cuentas
Y del Centro Mexicano para la Filantropía (CEMEFI)
Cabe destacar que GESOC ha sido reconocida por el Consejo Nacional de Ciencia y
Tecnología (CONACYT), quien le concedió la constancia de inscripción al Registro
Nacional de Instituciones y Empresas Científicas y Tecnológicas bajo el número
2010/13567, el 9 de noviembre de 2010. Asimismo, GESOC se hizo acreedora al primer
lugar en la edición 2012 del Premio a la Innovación en Transparencia para la Mejora de
27
Gestión Institucional convocado por el Banco Mundial y el Instituto Federal de Acceso a la
Información por el proyecto “Índice de Desempeño de los Programas Públicos Federales,
INDEP 2011.
Antigüedad. Fue fundada en la Ciudad de México en el año 2006 por seis
profesionales con amplia experiencia en investigación y gestión para el desarrollo, análisis
de políticas públicas e implementación y evaluación de proyectos.
Proceso o forma de operar. Su evaluación la realizan a través del Modelo de
Estimación de Valor Social, el cual es una herramienta desarrollada por ellos para evaluar y
facilitar la rendición de cuentas sobre la contribución que realizan las OSC´s a la resolución
de problemas públicos. Permite estimar en qué medida la gestión de las organizaciones está
orientada a producir resultados e impactos relevantes, sin embargo no es método de
evaluación de impactos como ellos mismos lo mencionan.
El Modelo de Estimación de Valor Social es un acercamiento gradual al
mejoramiento de las intervenciones sociales y lo podemos observar:
Figura 4. Modelo de estimación de valor social
28
Permite estimar la capacidad de gestión mostrada por la OSC en la resolución del
problema público (de sus programas o proyectos).
Enfocado en la intervención social, no en la institucionalidad.
Puede valorar y reconocer la contribución social de todo tipo de instituciones.
Algunas ventajas que considera tiene su Modelo son:
Es altamente sensible al contexto de implementación.
Compara cómo las instituciones están haciendo uso de su dinero, pero requiere
evidencia para poder evaluar cuáles componentes de su intervención resultan más
rentables desde el punto de vista social.
Identifica medidas puntuales para la mejora de la gestión.
Puede ser usado como línea base, para monitorear la capacidad programática.
Permite clasificar/categorizar apoyos de donantes a Instituciones.
Las variables que GESOC utiliza en su modelo son las siguientes:
Pertinencia 20%. Que el diseño cuente con todas las previsiones necesarias y que el
problema social al que está dirigido haya sido analizado y delimitado.
Eficiencia 10%. La adecuada y oportuna aplicación de recursos humanos,
financieros, materiales, etc. para el cumplimiento de actividades
29
Atribución 20%. Consistencia de la intervención y alcance de la implementación
para tener efectos atribuibles a la institución.
Evaluabilidad 20%. Beneficios y efectos que se están registrando, sistematizando,
valorando, etc., metas cumplidas, productos, resultados, impactos.
Sostenibilidad 10%. Potencial para permanencia, expansión o replicabilidad.
Valor por dinero 20%. Uso de la inversión social realidad, comparada con proxys de
gasto social público (programas federales y locales).
Figura 5. Variables y su ponderación
30
Figura 6. Escala de calificación por variable
Costos. Realizan una sesión previa con las instituciones a evaluar, comentándoles
que el costo lo absorbe Nacional Monte de Piedad
Organizaciones evaluadas. A la fecha GESOC lleva 76 organizaciones evaluadas,
aunque cabe mencionar además que no todas cumplen con sus 9 principios y 36
subprincipios. Algunas de las instituciones que podemos mencionar son: Formación y
Desarrollo Familiar A.C., Fundación Tarahumara José A. Llaguno A.B.P., La Casa del
Voluntario de Chihuahua A.C., Un Sueño Realizado A.C., entre otras.
Conclusión. GESOC cuenta con una carta de presentación bastante atractiva al
detallar sus publicaciones nacionales e internacionales y estar en la vanguardia de los
estándares internacionales, podemos decir que de las cinco instancias a evaluar en esta
investigación, Gesoc es quien cuenta con un mejor modelo, ya que considera la parte
31
institucional y la parte social mucho más completa, con un Modelo más estructurado, con
indicadores mejor definidos y con variables más aplicables, Gesoc sin duda está muy bien
preparada para todo lo que está por venir en materia de las organizaciones de la sociedad
civil y de igual manera está muy actualizada, si bien le falta mucho por desarrollar en el
área de evaluación social ya que sigue quedando algo vacía, no dudo que en poco tiempo lo
desarrollen, tienen las herramientas, la metodología y el personal capacitado para llevarlo a
cabo, la desventaja que principalmente tiene es que Gesoc es de las menos conocidas, por
lo tanto de las menos buscadas por las organizaciones para evaluarse.
32
Figura 7. Logo CEMEFI
Centro Mexicano para la Filantropía (CEMEFI)
Sin duda CEMEFI es uno de los más conocidos a nivel nacional; aunque en realidad
ellos otorgan una acreditación, en varios comunicados, ya que organizaciones que los
nombran, especifican que otorga una certificación, cabe destacar que CEMEFI no tiene una
acreditación como instancia acreditadora o certificadora, además ofrecen el término
distintivo a su proceso de acreditación.
Descripción de la Institución. El CEMEFI como lo especifican en su página de
internet (www.cemefi.org) es una asociación civil, una institución privada no lucrativa, sin
ninguna filiación a partido, raza o religión, su sede se encuentra en la Ciudad de México y
su ámbito de acción abarca todo el país.
Tiene como misión promover y articular la participación filantrópica, comprometida
y socialmente responsable de los ciudadanos, organizaciones sociales, y empresas, para
alcanzar una sociedad más equitativa, solidaria y próspera.
33
Sus objetivos son:
Mejorar el entendimiento y la percepción del gobierno, tomadores de decisiones y
del público en general sobre las actividades, características y valor social producido
por las organizaciones del sector y por el CEMEFI.
Avanzar el conocimiento disponible del sector y generar información estratégica
que sirva para defender y avanzar sus intereses comunes.
Contar con mecanismos e instrumentos efectivos de vinculación, articulación y
formación de alianzas entre los actores del sector filantrópico y de éstos con otros
sectores.
Incrementar las donaciones de tiempo y dinero, particularmente las relacionadas con
la inversión social de largo plazo.
Incrementar el número de empresas con una gestión socialmente responsable; y
coadyuvar para que la responsabilidad social empresaria (RSE) se traduzca en
prácticas de responsabilidad social que contribuyan a la resolución de problemas
públicos prioritarios para el país.
Mejorar el proceso de generación, identificación, sistematización y adopción de
modelos y herramientas orientadas a fortalecer institucionalmente las
organizaciones según estándares de buenas prácticas.
A su vez asume como compromisos institucionales:
Respeto a la persona humana. Reconoce el valor absoluto de todos los seres
humanos independientemente de su condición de género, determinación racial o
situación social, económica, política o religiosa.
34
Promoción de la participación voluntaria. Reconoce en los ciudadanos el derecho y
la responsabilidad sobre el conjunto social por lo que promueven la participación de
las personas y las organizaciones sociales en el desarrollo de la sociedad.
Búsqueda de una sociedad más equitativa. Reconoce la necesidad de promover
relaciones sociales e institucionales que favorezcan una sociedad que potencie el
desarrollo humano con oportunidades para todo.
Fomento de la cultura democrática. Reconoce a la democracia como el modo de
organización social que mejor posibilita el diálogo y participación entre los distintos
actores sociales para la búsqueda y el logro del bien común.
Y en lo que respecta a sus principios institucionales podemos mencionar:
Respeto. Actitud que reconocer al otro en su valor y en sus diferencias.
Servicio. Actitud que permite responder oportuna y profesionalmente a las tareas,
los retos y las demandas de personas e instituciones.
Promoción. Actitud que anima e impulsa a personas y organizaciones a la búsqueda
de soluciones
Colaboración. Actitud que valora la construcción de soluciones e interacción con
otros. Sabe aportar y recibir. Valora el desempeño profesional del otro.
Transparencia. Actitud de dar cuenta de nuestra actuación a la estructura interna y al
conjunto social.
Congruencia. Actitud de desempeño personal e institucional acorde con los valores
adoptados.
35
Como órgano colegiado de autoridad cuenta con la Asamblea General de Asociados
que está integrada por 197 miembros, de los cuales 93 son asociaciones y fundaciones, 45
personas y 59 empresas. A su vez, esta Asamblea delega las responsabilidades de la
dirección y administración de la institución en un Consejo Directivo que está conformado
por 49 personas.
Cuenta con 222 miembros entre asociaciones, empresas, fundaciones y personas,
asimismo, están afiliadas al CEMEFI 469 instituciones de asistencia y promoción, y 11
personas de toda la República Mexicana. Además 18 dependencias gubernamentales e
instituciones internacionales son usuarios de sus servicios.
Antigüedad. El CEMEFI fue fundado como asociación civil en diciembre de 1988
y su proceso de acreditación inició en noviembre de 2004 cuando el Cemefi propuso un
modelo para que las OSC´s pudieran llevar a cabo un autodiagnóstico de su gestión
institucional, el manejo de sus recursos y sus procesos de información pública; pero fue a
inicios del 2005 cuando se realizó la etapa inicial de este proceso, primeramente como un
servicio dirigido a los miembros del Cemefi, más adelante este proceso despertó el interés
de otras organizaciones del sector.
36
Figura 8. Logo del distintivo CEMEFI
Proceso o forma de operar. El distintivo que CEMEFI ofrece se titula
Acreditación de los Indicadores de Institucionalidad y Transparencia, y tiene como objetivo
impulsar la profesionalización del sector, y aumentar la transparencia y la rendición de
cuentas de las organizaciones de la sociedad civil para fomentar la confianza de las
entidades donantes (empresas, fundaciones y particulares) y así, incrementar las donaciones
y las colaboraciones.
CEMEFI maneja su acreditación a través de 10 indicadores, los cuales los describe
como un conjunto de diez referencias objetivas, no controversiales y de fácil comprobación,
que reflejan el nivel de desarrollo institucional de la organización y que le permite a
cualquier persona, empresa o institución conocer con certeza algunas características de una
organización privada, no lucrativa y de servicios a terceros. CEMEFI considera que estos
indicadores son una fuerte importante de referencia sobre las organizaciones de la sociedad
civil mexicanas que proporciona información adicional para los donantes y usuarios, como
el grado de institucionalidad y transparencia de cada institución y la gestión de los recursos
privados que recibe.
37
Podemos observar los 10 indicadores:
Tabla 4:
Los 10 indicadores del CEMEFI
Los 10 Indicadores
INDICADOR Y DESCRIPCIÓN REFERENCIA COMPROBATORIA
1. Constitución Legal ante Notario Público
Al constituirse formalmente ante notario público
se especifica la personalidad jurídica, figura legal,
objetivos y estatutos y naturaleza privada, no
lucrativa y de servicios a terceros a la institución.
Copia simple del Acta Constitutiva registrada ante
Notario Público.
2. Autorización de la SHCP como Donataria
Carta-Oficio otorgada por la Secretaría de
Hacienda y Crédito Público (SHCP) reconociendo
que la institución cumple con los requisitos legales
para recibir la exención de impuestos y la
autorización como donataria autorizada.
Copia de la última publicación de la autorización
de la SHCP en el Diario Oficial de la Federación.
3. Misión, Visión y Objetivos
La misión expresa el sentido último o razón de ser
de la institución.
La visión es la descripción de lo que se desea
lograr en términos de posicionamiento e impacto
de la organización en el mediano y largo plazo.
Los objetivos son los resultados que se proponen
alcanzar a través de una serie de acciones definidas
mediante un proceso de planeación y evaluación.
Documento público en el que se expresa la misión,
visión y objetivos, asumidos por el Consejo
Directivo o Patronato.
4. Domicilio y teléfono verificables
Lugar donde se ubica físicamente la oficina de la
institución. Este indicador nos ayuda a asegurar y
verificar la existencia física de la organización.
Copia del último comprobante de domicilio a
nombre de la organización (predial, agua, luz o
contratos de arrendamiento o comodato) y copia
del último recibo telefónico.
5. Informe anual de resultados y ejercicios de recursos
Consiste en un ejercicio de rendición de cuentas
mediante el reporte de actividades y resultados
alcanzados por la organización. Permite conocer la
relación costo-beneficio de los servicios que
ofrece, así como el origen y destino de los recursos
al incluir la información financiera de la
organización y, en su caso, la dictaminación de la
misma.
Documento público en el que se informe sobre los
resultados de su trabajo que incluya los estados
financieros de la organización, dictaminados por
auditores externos, de acuerdo a las disposiciones
fiscales vigentes.
6. Consejo Directivo o Patronato diferente al equipo profesional
38
El Consejo Directivo o Patronato, como instancia
responsable del gobierno de la organización, debe
estar integrado mayoritariamente por personas
voluntarias distintas de los integrantes del equipo
profesional.
La clara distinción entre el órgano de gobierno y el
equipo operativo se establece para evitar conflictos
de intereses, asegurar la profesionalización del
personal, cuidar la eficiencia y eficacia de la
institución y establecer las políticas y mecanismos
necesarios para la transparencia de la organización.
Lista de los miembros del Consejo Directivo o
Patronato y lista de los miembros del equipo
operativo firmadas por el Presidente del Consejo o
Patronato, o por el Director.
7. Personal profesional contratado en nómina
Tener miembros del personal contratado en
nómina es cumplir con las obligaciones de ley,
refleja el compromiso de la institución con el
personal que labora en la organización al
reconocer los derechos laborales y prestaciones
que les otorga la ley (Seguro Social, Infonavit,
etcétera).
Copia del último pago mensual patronal o de la
constancia de alta al IMSS y al INFONAVIT.
8. Colaboradores voluntarios en los programas
Se refiere a las personas comprometidas con la
causa y con la organización que colaboran con el
trabajo de la misma, sin recibir una remuneración
financiera. Agregando valor a esa causa, con su
aportación de tiempo y talento.
Lista de colaboradores voluntarios del año en
curso, firmada por el Presidente del Consejo,
Patronato o por el Director.
9. Más de tres años de operación
La permanencia en el tiempo refleja compromiso y
capacidad de respuesta a las necesidades y
problemática que atiende en el entorno en que se
ubica.
Copia de los estados financieros de los últimos tres
años, dictaminados por auditores externos.
10. Más de tres fuentes distintas de ingreso
Para asegurar la sustentabilidad financiera de la
organización es conveniente que sus recursos
provengan de diferentes fuentes: cuota, servicios,
donaciones privadas (de particulares, fundaciones,
empresas), del gobierno, internacionales, etcétera.
Copia del Presupuesto anual del año en curso,
indicando las diferentes fuentes de ingresos y sus
porcentajes respectivos.
Estos indicadores operan como un proceso institucional de autoevaluación y
autoregulación voluntario, verificado y acreditado por ellos mismos, a través de los
documentos comprobatorios.
39
Ellos ofrecen 3 niveles de esos 10 indicadores como se pueden observar en la
siguiente figura:
Figura 9. Niveles de acreditación
40
Figura 10. Logo del procedimiento CEMEFI
En cuanto al procedimiento para obtener la acreditación consta de cinco pasos
que se describen a continuación:
1. Autodiagnóstico
La organización inicia el proceso realizando un autodiagnóstico con base en el formato
elaborado por ellos mismos para tal fin. Una vez detectados los indicadores que sí
cumple, recaba fotocopias de los documentos que sirven como referencias
comprobatorias de cada uno de los indicadores que se considera que puede acreditar.
2. Envío de documentación
La organización envía a Cemefi la siguiente documentación:
a) Una carta manifestando su interés en participar en el proceso de acreditación
de los Indicadores de Institucionalidad y Transparencia.
b) El formato de autodiagnóstico debidamente llenado y un listado de los
documentos que acompaña como referencia comprobatoria de cada
indicador.
c) El comprobante de pago del proceso de acreditación.
41
d) Una carpeta que integre las referencias comprobatorias por cada indicador,
enlistando los documentos que envía.
3. Revisión de documentación
Una vez recibida la información, el Cemefi revisará los documentos y referencias
comprobatorias enviadas y en un plazo de dos semanas, le comunicará a la organización
el estatus de su proceso y, en su caso, el nivel de Institucionalidad y Transparencia que
ha alcanzado. En caso de que la documentación enviada no permita corroborar el
cumplimiento del indicador del cual es referencia:
a) El Cemefi enviará a la organización una carta de retroalimentación,
señalando si existe algún documento faltante o si es necesario el envío de
mayor información; asimismo, ofrecerá orientación con respecto a la
implementación de acciones de mejora que permitan a la organización
alcanzar algún(os) indicador(es).
b) La organización enviará al Cemefi las respuestas, aclaraciones y/o
documentos que hagan falta para acreditar los indicadores respectivos en
orden a completar el proceso de acreditación.
4. Constancia de Acreditación
Cemefi enviará a la organización una Constancia de Acreditación, señalando el nivel de
Institucionalidad y Transparencia que la organización ha alcanzado con base a los
indicadores de la tabla anteriormente presentada:
Nivel básico: si cubre los primeros indicadores
42
Nivel medio: si cubre en seis y ocho indicadores entre éstos los primeros cinco.
Nivel óptimo: si cubre nueve a diez indicadores, incluidos todos los anteriores.
5. Distintivo de Institucionalidad y Transparencia
En este último se paso se llega en caso de alcanzar el nivel óptimo y consta de:
a) El Cemefi enviará a la organización, además de la Constancia de Acreditación,
el logotipo Distintivo de Institucionalidad y Transparencia y el manual de uso
del mismo. A partir del momento de su recepción, la organización podrá hacer
uso del distintivo en su papelería institucional.
b) En una ceremonia pública, el Cemefi hará entrega de las Constancias de
Acreditación de Nivel Óptimo de Institucionalidad y Transparencia a las
organizaciones que hayan alcanzado ese nivel.
Costos. El Cemefi maneja un costo para la acreditación de $3,500.
Organizaciones Evaluadas. El Cemefi lleva a la fecha cerca de 672 organizaciones
de la sociedad civil que han sido evaluadas, y podemos mencionar: Asociación Pro
Autismo A.C., Comunidad Down A.C., Fundación Teletón México A.C., Effeta A.B.P.,
Instituto Nuevo Amanecer A.B.P, Luz de Vida I.A.P., Niños de la Calle I.A.P, entre otros,
aunque cabe destacar que solamente son 22 de Nuevo León.
Conclusión. A pesar de ser muy famosa como instancia acreditadora, al revisar sus
indicadores vemos que queda muy vacío su proceso de acreditación, ya que contempla
43
aspectos muy básicos con las que todas las organizaciones de la sociedad civil deben
contar, por lo cual no ofrece nada relevante, si bien su acreditación se llama Distintivo de
Institucionalidad y Transparencia, vemos que sólo revisa la parte de institucionalidad y al
contar además con 3 niveles, básicamente asegura a todos su constancia de acreditación, lo
cual no representa seriedad, ya que los 5 requisitos que pide para alcanzar el nivel básico y
los indicadores que debe cubrir la organización como se especificó en el apartado de
proceso, son indicadores con las que toda organización cuenta, por lo cual no representa un
criterio selectivo para otorgar la constancia, de ahí parte que el Cemefi cuente con un alto
número de instituciones acreditadas.
Su acreditación no evalúa niveles de impacto social o comunitario, se contemplan
exclusivamente en la parte institucional y/o en cumplir requisitos que toda Organización de
la Sociedad Civil debe tener, así que de todas las instancias que ofrecen acreditación o
evaluación, Cemefi es quien tiene la menos selectiva, la menos requisitosa y la menos
evaluativa ya que solamente es ir palomeando si cuenta con eso o no. Y por otro lado es la
más famosa organización y de quien la mayoría de las OSC´s quieren tener acreditación.
44
Figura 11. Logo Confío
Confío
Su nombre completo es Confío, Construyendo Organizaciones Civiles
Transparentes A.C. con sede en Chihuahua, Chihuahua.
Descripción de la Institución. Es una organización legalmente constituida en
México, no lucrativa, que cuenta con un consejo directivo comprometido e independiente,
conformado por instituciones y personas que la describen con gran calidad moral y
reconocimiento a nivel nacional e internacional, y que busca que las organizaciones puedan
darse a conocer como transparentes y con buenas prácticas a fin de ser más confiables. Se
definen también, como un vínculo entre las organizaciones civiles que realizan actividades
de beneficio social y/o medio ambiente y donantes, al brindarles una serie de herramientas
y posibilidades para donar responsablemente, además de la certeza que brinda el contar con
información objetiva sobre las OSC´s; y por último es una organización apoyada por
instituciones donantes locales y nacionales que visualizan la tendencia de la transparencia
como clave para la sustentabilidad del sector.
45
Tiene como misión generar confianza en las organizaciones de la sociedad civil
mediante la promoción de su transparencia para lograr una mayor participación social.
Confío tiene una herramienta de rendición de cuentas basada en la Fundación Lealtad en
España, este modelo de análisis ofrece a particulares y donantes empresariales, información
independiente, objetiva y homogénea sobre las OSC para apoyarles a decidir con cuál
colaborar y de esta manera orientarles sobre el seguimiento de sus donativos.
Confío es miembro de ICFO (International Committee on Fundraising
Organizations), la asociación de evaluadores nacionales independientes para OSC que
agrupa a 16 oficinas en 14 países y que en conjunto analizan a más de 4000 organizaciones.
Entre otras de las funciones que realiza Confío, están el llevar a cabo talleres por
toda la república mexicana para promover la transparencia y buenas prácticas y realizar
investigaciones y publicaciones de distribución gratuita para conocer la realidad del sector
y fomentar la cultura de la transparencia.
El principal beneficios que Confío menciona que tienen las organizaciones, es que
al hacer pública su información se coloca en un escaparate que le permite darse a conocer a
los donates como una OSC transparente con buenas prácticas y esto se traduce en más y
mejores apoyos.
Confío establece que sus principios de transparencia y buenas prácticas no
constituyen ninguna normativa legal ni un sistema de calificación de las OSC´s, ya que
46
ellos destacan que no pretender otorgar una calificación a las organizaciones que han sido
analizadas.
Antigüedad. Confío surge como una iniciativa en el 2009 del Centro para el
Fortalecimiento de Organizaciones Civiles A.C., pero en junio de 2010 se constituye
legalmente como Construyendo Organizaciones Civiles Transparentes A.C., por la
Fundación del Empresariado Chihuahuense A.C. y la Fundación Telefónica México A.C.,
después se integra al proyecto el Tecnológico de Monterrey Campus Chihuahua como otro
propulsor del modelo. En el 2011 nace Confío y en enero de 2012 es aceptado en el
International Committee on Fundraising Organizations (ICFO).
Proceso o forma de operar. Confío establece primero como requisito para ser
analizadas por ellos, que deben de cumplir ciertos criterios como lo son: realizar
actividades de beneficio social, tener dos años ininterrumpidos de operación y contar con
estados financieros de los últimos dos ejercicios contables.
Para formalizar la colaboración se firma un acuerdo antes de iniciar el análisis.
Figura 12. Logo del distintivo Confio
47
Confío otorga el uso exclusivo de un sello a las organizaciones de la sociedad civil
(OSC) que analiza, para reforzar la confianza de los donantes en éstas, y mostrar el
compromiso de la OSC con la transparencia. El sello comunica de forma clara y precisa que
ha pasado por el proceso completo de análisis.
El sello de OSC analizada contribuye, como ellos mismos lo mencionan, a
promover la donación responsable, que consiste en informarse para donar antes de realizar
la aportación, y posteriormente, para comprobar el trabajo de la OSC y el impacto de ésta.
Confío se basa en 9 Principios de Transparencia y Buenas Prácticas Los Principios
de Transparencia y Buenas Prácticas de las organizaciones de la sociedad civil (OSC) son
recomendaciones de Confío en materia de transparencia e institucionalidad. Se trata de
indicadores basados en estándares internacionales definidos por ICFO (International
Committee on Fundraising Organizations) adaptados al contexto mexicano, que dan
respuesta a las demandas de información de los donantes (particulares o institucionales)
sobre las OSC.
Confío cuenta con un modelo en el que pueden participar todas las organizaciones
civiles mexicanas que lo deseen, ellos establecen que es gracias a la activa colaboración de
expertos en filantropía, donantes, auditores, contadores y, por supuesto, representantes de
OSC.
48
Los 9 principios son:
1.- Principio de Funcionamiento y Regulación del Órgano de Gobierno.
2.- Principio de Claridad y Divulgación de la Misión.
3.- Principio de Planeación y Seguimiento de Actividades.
4.- Principio de Comunicación e Imagen Fiel en la Información.
5.- Principio de Transparencia en el Financiamiento.
6.- Principio de Pluralidad en el Financiamiento.
7.- Principio de Control en la Utilización de los Fondos.
8.- Principio de Presentación de los Estados Financieros y cumplimiento de las
Obligaciones Legales y Fiscales.
9.- Principio de Promoción del Voluntariado.
A su vez, cada principio cuenta con la descripción de sus buenas prácticas, las
cuales podemos ver en la siguiente tabla:
Tabla 5:
Principios y buenas prácticas de Confío.
1.- Principio de Funcionamiento y Regulación del Órgano de Gobierno.
a) El órgano de gobierno está constituido por un mínimo de 5 miembros
b) El órgano de gobierno se reúne por lo menos 4 veces al año, con la
asistencia física o videoconferencia de sus integrantes. Asistirán la mayoría
de los miembros al menos a una reunión durante el año.
c) Cada uno de los miembros del órgano de gobierno asiste en persona o por
49
videoconferencia, al menos a una de las reuniones realizadas durante el año.
d) Los miembros del órgano de gobierno se renuevan con cierta regularidad.
e) Sólo un número limitado de los miembros del órgano de gobierno recibe
ingresos de cualquier tipo, procedente tanto de la propia organización como
de otras entidades vinculadas. Este porcentaje es inferior al 40% de los
miembros.
f) La organización pone a disposición del público información sobre los
integrantes del órgano de gobierno y del equipo directivo.
g) La organización lleva un registro adecuado de las reuniones de su órgano de
gobierno.
h) La presidencia y la dirección de la organización son ocupadas por personas
distintas sin relación de parentesco.
2.- Principio de Claridad y Divulgación de la Misión
a) La misión es el objeto esencial de la organización, lo cual se refleja en las
actividades que ésta realiza debiendo perseguir fines de beneficio social.
b) Todos los miembros de la organización, incluidos los voluntarios, conocen la
misión y ésta se encuentra a disposición del público.
3.- Principio de Planeación y Seguimiento de Actividades.
a) La organización cuenta con un plan estratégico y/o un plan operativo anual del cual
tiene conocimiento el órgano de gobierno.
50
b) Durante los últimos dos años, los programas muestran congruencia al seguir una
línea de trabajo encaminada hacia el logro de la misión.
c) La organización cuenta con sistemas formalmente definidos de control y
seguimiento interno de la actividad y de avances sobre las metas.
d) La organización cuenta con sistemas formalmente definidos de control y
seguimiento de sus beneficiarios
e) La organización pone a disposición de los donantes informes sobre los avances y
resultados de los proyectos que financian.
4.- Principio de Comunicación e Imagen Fiel en la Información
a) Las actividades de comunicación, procuración de fondos e información pública
reflejan de manera fiel la misión y la realidad de la organización y no inducen a
error.
b) La organización elabora un informe anual de actividades que pone a disposición de
sus públicos de interés.
c) Los estados financieros auditados se encuentran a disposición del público en
general.
d) La información de la organización se encuentra disponible en los sitios de los
registros oficiales
e) La organización cuenta con correo electrónico institucional
5.- Principio de Transparencia en el Financiamiento
51
a) La organización facilita información sobre sus principales fuentes de
financiamiento, de origen público como privado, y las cantidades aportadas por las
mismas.
b) La organización lleva un registro de los ingresos y costos de las actividades de
procuración de fondos.
6.- Principio de Pluralidad en el Financiamiento
a) La organización realiza actividades para la diversificación de fuentes de
financiamiento tanto públicas como privadas.
b) Ninguno de los donantes de la organización aporta más del 50% de los ingresos
totales de la entidad de forma continua durante los últimos años.
7.- Principio de Control en la Utilización de los Fondos
a) La organización elabora un presupuesto anual para el año siguiente del cual tiene
conocimiento el órgano de gobierno
b) Se conoce el ejercicio de los recursos de la organización por cada programa y/o
proyecto
c) La organización respeta la voluntad de sus donantes estableciendo los controles que
le permiten comprobar el destino de los donativos etiquetados o de uso restringido.
d) La organización tiene un nivel razonable de recursos disponibles respecto a sus
gastos. En caso de contar con efectivo restringido, este será aprobado por el órgano
de gobierno.
52
e) La organización presenta una estructura financiera equilibrada durante los últimos
dos años.
f) En caso de contar con inversiones financieras estas siguen criterios de prudencia
razonable.
g) Las inversiones en instituciones no financieras están directamente relacionadas con
la consecución de la misión y son autorizadas por el órgano de gobierno.
8.- Principio de Presentación de los Estados Financieros y cumplimiento de las
Obligaciones Legales y Fiscales
a) Los estados financieros auditados y sus notas se elaboran conforme a las Normas de
Información Financiera Mexicanas y se presentan en el órgano de gobierno
b) La organización acredita el cumplimiento de todas sus obligaciones legales y
fiscales en estados financieros auditados por contador público registrado.
c) La contabilidad y la auditoria de estados financieros se llevan a cabo por personas
y/o despachos sin vinculación alguna
9.- Principio de Promoción del Voluntariado
a) La organización cuenta con voluntarios en sus actividades.
b) La organización define las actividades que pueden realizar los voluntarios.
Como se mencionó en un inicio ellos no establecen calificación, sólo analizan a las
organizaciones de la sociedad civil tomando en cuenta los anteriores principios y buenas
prácticas, ellos una vez analizada la organización entregan un reporte de análisis de
53
evidencia documental entregada por éstas; la información de dichos reportes está agrupada
por temáticas ligadas a la gobernanza, el objeto de la asociación, la planificación y el
control de fondos, el cumplimiento de normatividad legal y fiscal y el voluntariado.
Costos. Ellos establecen que el costo de la elaboración de los reportes es cubierto
con donativos, sin embargo solicitan una aportación única de $950 pesos como cuota
simbólica de inscripción y como parte de la corresponsabilidad que tienen las
organizaciones.
Organizaciones Evaluadas. Confío lleva aproximadamente 51 OSC´s analizadas, y
podemos mencionar por ejemplo: Centro Humano de Liderazgo A.C., Fundación Casa
Alianza México I.A.P., Casa del Voluntariado de Chihuahua A.C., Un Sueño Realizado
A.C., Dignifica tu Vida I.A.P., entre otras.
Conclusión. Confío es de las instancias menos conocidas y su capacidad de análisis
está muy limitado, aunque ellos mismos establecen que no otorgan calificación, sino sólo el
logotipo de distinción OSC analizada, se trata más que nada de un trámite administrativo en
el que la OSC reúne la documentación solicitada para ser revisada, y como se describió en
sus principios estos van acorde a su nombre sobre Transparencia y Buenas Prácticas, mucha
de la papelería que deben reunir es sobre estados financieros, por lo cual lo que ellos
buscan es esa transparencia en el manejo de recursos. Asimismo establecen que no realizan
trabajo de campo para verificar la información, sino por el contrario, confían plenamente
que lo que se está entregando es real.
54
Otra de las desventajas de Confío, es que esa parte que ellos revisan ya la están
considerando otros organismos, aunque el costo es accesible para ser analizada, no está
aportando nada extra.
55
Figura 13. Logo Standards for Excellence Institute
The Standards for Excellence Institute
Este organismo de Estados Unidos está dirigido principalmente a las organizaciones
no gubernamentales de ese mismo país, ofreciéndoles una acreditación y reconocimiento.
Descripción de la Institución El instituto como lo establece en su página web
(http://www.standardsforexcellenceinstitute.org/ ) es una iniciativa nacional creada para
promover los más altos estándares de ética, eficacia y rendición de cuentas en la
gobernabilidad sin fines de lucro, la gestión y las operaciones, y para ayudar a que todas las
organizaciones sin fines de lucro reúnan estos altos índices de referencia.
Algunos de los mayores beneficios de la acreditación y el reconocimiento que ellos
ofrecen son:
Fortalecer su liderazgo
Involucrar a su consejo de administración
Obtener una comprensión más profunda de su organización
Preparación para las transiciones
Mejorar la toma de decisiones
56
Minimizar el riesgo
Fortalecer la evaluación
Facilitar la captación y desarrollo de recursos
Antigüedad. Según registros opera desde 1998.
Proceso. Las organizaciones pueden elegir uno de los dos caminos hacia la
excelencia como ellos le llaman:
Aplicación Completa: organizaciones Normas Acreditadas se someten a un proceso
de revisión independiente de tres etapas que confirma que han demostrado que
cumplen todos los puntos de referencia de las Normas para el código de la
Excelencia. Esta es la mejor opción para las organizaciones que ya cumplen con
todos o la mayoría de los puntos de referencia.
Grados de la aplicación: la organización de normalización reconocida, se someten a
varios niveles de revisión independiente (revisión del personal, revisión por pares, y
una revisión por el Comité Nacional de Normas de Ética) para confirmar que han
cumplido algunos de los puntos de referencia en las Normas para el código de la
Excelencia. Esta es la mejor opción para las organizaciones que pueden tener más
trabajo que hacer o si necesita más el apoyo del Instituto para cumplir con todos o la
mayoría de los puntos de referencia. Los niveles de reconocimiento son:
Normas Básicas: (Standards Basics)El enfoque de los puntos de referencia en este
nivel es de alrededor de cumplimiento legal y regulatorio. Los solicitantes se
someterán a una revisión del personal antes del reconocimiento en el nivel básico.
57
Normas Básicas mejoradas: ( Standards Basics Enhanced) Estos valores de
referencia se centran en la profundización y mejora de la gobernanza y las
prácticas de gestión. Los solicitantes aportarán una solicitud actualizada y
someterse a una revisión del personal y una revisión por el Comité de Normas
Internacionales de Ética.
Normas acreditado: (Standards for Excellence) En el nivel final, al igual que con
la plena acreditación, las organizaciones deben demostrar que cumplen todos los
criterios de referencia en el código. Los solicitantes aportarán una solicitud
actualizada y deberán someterse a un proceso de revisión de tres etapas que
incluye una revisión del personal, revisión por pares, y una revisión por el
Comité de Normas Internacionales de Ética.
En cuanto al procedimiento de las organizaciones:
1.- Inicia con una autoevaluación, se crea una cuenta en el sitio web para darles
acceso a la autoevaluación, este documento les ayudará a identificar las áreas de
crecimiento y elegir qué proceso de aplicación es el adecuado para la organización.
2.- La organización debe demostrar que cumple con todas las normas de puntos de
referencia mediante la solicitud de acreditación que consta de preguntas que se
responden con un sí o no y demostrar evidencia, es decir copia de los documentos
descritos.
3.- Las organizaciones que no cumplan con los puntos de referencia de normas
como se indica en el código y la aplicación, pueden ser asignados a un nivel más
bajo de reconocimiento o que su solicitud sea denegada.
58
4.- Durante el proceso que dura entre 6 y 18 meses, el solicitante debe estar
preparado para responder a las solicitudes de personal y otros críticos para
proporcionar información adicional o aclaraciones dentro de los plazos establecidos.
5.- Se procede a evaluar por medio de expertos a cada organización, las cuales son
evaluadas conforme a sus circunstancias de manera individual.
6.- Solicitudes aprobadas son acompañadas a menudo por designaciones tales como
elogios (por particularmente excelentes prácticas), observaciones (recomendaciones
sobre las áreas para fortalecer la organización que vaya más allá de los requisitos
del código) o expectativas (áreas para fortalecer la organización con el fin de
mantener la acreditación o el reconocimiento). Los solicitantes que se les niega la
aceptación recibirán retroalimentación sobre los requisitos que se deben cumplir
para reconsiderar su aprobación. El apoyo y los recursos necesarios también son
proporcionados por el personal para ayudar a la organización a cumplir los puntos
de referencia adicionales.
Aunque no detalla los indicadores a evaluar, solo menciona que son 6 principios
rectores y 27 áreas temáticas las que se revisan.
Costos. Los costos varían para cada organización que desee acreditarse y dependerá
del presupuesto de dicha organización y si es o no miembro del instituto, un ejemplo de las
cuotas en dólares serían:
59
Tabla 6:
Costos por acreditación completa
Presupuesto Cuota miembro Cuota no miembro
Menos de $250,000 $250 $900
$250,000 a $500,000 $450 $1,350
$500,000 a $1,000,000 $700 $2,500
$1 a $3 millones $1,500 $4,500
$ 3 a $5 millones $2,000 $5,250
$5 a $10 millones $3,000 $10,000
$10 a 50 millones $6,000 $21,000
$50 millones y más $9,000 $30,000
Los costos arriba mencionados son por estar acreditados, la acreditación del sello
dura 3 años y las organizaciones tienen que pagar una cuota de licencia cada año que están
certificados, se renueva la acreditación cada 3 años y después cada 5 años
Las cuotas anuales en dólares son las siguientes:
Tabla 7:
Cuotas anuales
Presupuesto Cuota miembro Cuota no miembro
Menos de $250,000 $250 $300
$250,000 a $500,000 $350 $600
60
$500,000 a $1,000,000 $700 $1,500
$1 a $3 millones $1,500 $2,250
$ 3 a $5 millones $1,750 $3,500
$5 a $10 millones $2,250 $4,500
$10 a 50 millones $3,000 $8,500
$50 millones y más $4,000 $17.000
Organizaciones acreditadas. A la fecha el Instituto lleva 187 organizaciones
acreditadas, de las cuales podemos mencionar: Alzheimer´s Association, Artemis Center,
BrightFocus Foundation, Cancer Patient Services, The Center for Families, Crossroads
Community, Families helping Families, Humanim, Mosaic Community Services, entre
otros.
Conclusión. Hacer un análisis de una instancia internacional a veces resulta difícil,
es otro tipo de contexto, de cultura, de situaciones, de organizaciones que evalúan y qué
decir del costo que manejan, costos que en México serían casi imposibles de cubrir. Sin
embargo es interesante destacar la forma tan organizada que tienen de llevar a cabo sus
acreditaciones, estableciendo niveles y costos según el tipo de organización.
De esta forma cerramos el capítulo 1 con la revisión antes presentada de los
organismos evaluadores y concluyo destacando las principales fortalezas de cada uno de los
organismos:
61
Filantrofilia:
Atractivo nombre de su evaluación.
Bien desarrollados sus indicadores.
Gesoc
Sus indicadores están bien fundamentados.
Establecen un proceso más claro de los criterios a evaluar.
CEMEFI
Instancias fuertes que apoyan al centro.
Alto nivel de difusión.
Confio
Bien detallados sus principios de transparencia.
Miembro de ICFO (International Committee on Fundraising Organizations).
The Standards for Excellence Institute
Acredita grandes organizaciones y fundaciones
No acreditan a todos, es decir pueden negar la acreditación sin darle una calificación
menor como en el caso de los organismos mexicanos.
62
Capítulo II
Fundamentación Teórica
En este capítulo abordaremos el sustento teórico de nuestro trabajo. Para comenzar
es importante definir los términos de acreditación, certificación y evaluación ya que se
encontró diferencia entre ellos; de igual manera los conceptos anteriores no fueron fáciles
de encontrar, ya que tienen más uso en sistemas de calidad, sistemas educativos o bien en
la industria alimentaria. Asimismo conoceremos brevemente los organismos en México
responsables de brindar la acreditación y/o certificación.
Por otro lado y como nuestro modelo corresponde a una evaluación de las
Organizaciones de la Sociedad Civil, profundizaremos principalmente en conceptos que
definan evaluación, analizaremos el concepto de evaluación del impacto, revisaremos
además algunos tipos de evaluación y su alcance, detallaremos indicadores de la evaluación
y por último definiremos sus criterios.
Comencemos con las definiciones de acreditación, certificación y evaluación.
Definición de Acreditación.
Al carecer de una definición de acreditación por instancias mexicanas, se tuvo que
recurrir a una internacional. La Acreditación según el Organismo Hondureño de
Acreditación (2014) es el proceso mediante el cual una organización independiente y con
63
autoridad para ello, evalúa una entidad que presta un servicio, y le otorga un
reconocimiento formal de su capacidad técnica y confiabilidad para realizar estos servicios.
Por lo que la acreditación se refiere haber cumplido los requisitos y ser revisado por
una organización que verifica que se han cumplido dichos requisitos y se tiene la
calificación técnica para prestar un servicio con ética. Entre las características de la
acreditación se encuentran: 1) la demostración de competencia con base a criterios
reconocidos internacionalmente, 2) reconocimiento de tercer parte (realizado por un
organismo de acreditación) y 3) se acreditan tareas específicas realizadas por la
organización. La acreditación viene siendo el grado más alto, ya que se considera que está a
un nivel superior que la Certificación, inclusive se espera que los organismos de
certificación estén acreditados como tal.
Definición de Certificación
En cuanto al término certificación, sucedió lo mismo que con el término
acreditación, no hay instancias que ofrezcan una definición completa al término, así que se
recurrió a la Organización de las Naciones Unidas para la Alimentación y la Agricultura
(2012) y ésta especifica que es el procedimiento mediante el cual un organismo da una
garantía por escrito, de que un producto, un proceso, o un servicio, están conforme a los
requisitos especificados.
64
Definición de Evaluación
En lo que respecta a la evaluación, la Universidad Nacional Autónoma de México
(2008) la define como un proceso que genera resultados a corto y mediano plazo, cuyo
sentido es emitir juicios de valor, documentados e informados, con base en mediciones,
análisis, diagnósticos y estudios útiles para la toma de decisiones. Esta perspectiva resalta
el carácter estratégico de la evaluación como un instrumento al servicio de la planeación y
la formulación de decisiones institucionales.
Cabe mencionar que en este último concepto profundizaremos más adelante por ser
la parte relevante de nuestro modelo.
Organismos Mexicanos que Otorgan el Estatus de Acreditadoras y/o Certificadoras
Se identificaron además organismos mexicanos encargados de regularizar el tema
de las certificaciones y acreditaciones, encontrando al Instituto Mexicano de Normalización
y Certificación A.C. (IMNC) quienes trabajan con expertos en diferentes ámbitos para
concentrar el conocimiento sobre las mejores prácticas que las organizaciones requieren a
través de la elaboración de Normas Mexicanas (NMX). Además IMNC ofrece la
certificación en sistemas de gestión de Responsabilidad Social IQNet SR10, de igual
manera ofrece el Diplomado en Responsabilidad Social y dentro del mismo el ISO
26000:2010.
65
La Entidad Mexicana de Acreditación (EMA) es quien se encarga de certificar a las
instancias certificadoras, sin embargo cabe destacar que los organismos objetos de estudio
que a continuación describiremos no están ni acreditados ni certificados por las instancias
antes mencionadas. Es importante mencionar además que esta entidad no posee una
definición completa del término acreditación.
Y por último se encuentra el Consejo Nacional de Normalización y Certificación de
Competencias Laborales (CONOCER) es una entidad de Gobierno Federal que depende de
la Secretaría de Educación Pública (SEP), Conocer promueve y coordina el Sistema
Nacional de Competencias de las personas, es quien emite las reglas de operación y
normatividad para que las personas se puedan evaluar, además autoriza soluciones de
evaluación en tres niveles: Entidad de Certificación y Evaluación, Organismo Evaluador y
Centro de Evaluadores.
Al inicio de la investigación, y antes de definir los términos se tuvo asesoría con una
personas encargada de certificar empresas socialmente responsables, esta persona
argumentó que actualmente existe mucha confusión entre lo que es una acreditación, una
certificación y una evaluación, mencionó además, que es común ver organismos que
dedican a cualquiera de los 2 conceptos anteriores sin realmente estar calificados para ello,
asimismo comentó que entre esa confusión es fácil ofrecer por ejemplo una certificación,
cuando en realidad es una evaluación.
Se descubrió además a partir de esta investigación, que para ofrecer una
acreditación o certificación es muy importante tener el aval como EMA, IMNC, sin
66
embargo para efectuar una evaluación, aunque también se puede tener un aval, no es tan
indispensable, además permite tener la libertad de establecer los propios parámetros de
operación, por lo que el enfoque que se dará al presente trabajo será de una evaluación por
lo mismo profundizaremos en sus conceptos a continuación.
Concepto de Evaluación
La Organización para la Cooperación y Desarrollo Económico (OCDE, 2010)
entiende la evaluación como la determinación del valor e importancia de una intervención
de esta naturaleza. Por su parte, el Comité de Ayuda al Desarrollo (CAD) de la OCDE la
define como una “apreciación sistemática y objetiva de un proyecto, programa o política en
curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es
determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el
impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar
información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso
de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al
proceso de determinar el valor o la significación de una actividad, política o programa. En
algunos casos, la evaluación entraña la definición de normas adecuadas, el examen de los
resultados en función de esas normas, una apreciación de los resultados efectivos y
previstos y la identificación de lecciones pertinentes” (OCDE/DAC, 2002).
Por su parte la Comisión Europea (2012) señala que la evaluación es una valoración
profunda de una intervención en curso o finalizada. Valora la pertinencia, la eficiencia, la
67
eficacia, el impacto, la sostenibilidad y por ende, analiza los objetivos y estrategias
escogidos para una intervención, las lecciones aprendidas y la identificación de
recomendaciones útiles para futuras intervenciones u otras en curso.
También podemos mencionar que la Cooperación Española (2013) entiende que la
evaluación es un proceso sistemático y planificado de obtención de información con el
objetivo de analizar, interpretar y valorar de manera crítica y objetiva una intervención,
política o estrategia de cooperación para el desarrollo, incluyendo su diseño, su puesta en
práctica, su estructura de gestión y sus resultados.
Desde la perspectiva propuesta por el Sistema de Información, Monitoreo y
Evaluación de Programas Sociales de la UNESCO (SIEMPRO) (1999) la evaluación se
concibe en el marco de lo que domina Gestión Integral de Programas Sociales orientada a
resultados, por lo que tiene un carácter permanente y sistemático que debe operar como un
proceso de aprendizaje institucional, para generar información relevante que permita la
toma de decisiones con el propósito de mejorar la calidad y la eficiencia de los resultados, y
por esto mismo el SIEMPRO (1999) concibe la evaluación de programas sociales como “un
proceso permanente y continuo de indagación y valoración de la planificación, la ejecución
y la finalización del programa social, este proceso que se inicia en el mismo momento de
identificar el problema que da origen al programa y acompaña toda la vida del mismo hasta
finalizar su ejecución”
Según Ross (2012) una evaluación global se define como una evaluación que
incluye la supervisión, evaluación de los procesos, evaluación de costos – beneficios y
68
evaluación de impacto; sin embargo, cada uno de estos es muy diferente entre sí. La
supervisión ayudará a evaluar si un programa se está implementando de acuerdo a lo
planificado. Un sistema de supervisión de programas permite una retroalimentación
constante sobre el estado en que se encuentra la implementación e identifica los problemas
específicos a medida que surgen. La evaluación de los procesos está relacionada más bien
con la forma en que funcionan y se centra en los problemas de la entrega de servicios. En
las evaluaciones de costos – beneficios o eficacia en función de los costos, se estiman los
costos ya sean monetarios o no, de los programas, en particular su relación con respecto a
sus alternativos de los mismos recursos y a los beneficios que produce el programa.
Scriven (1967) por su parte, citado por Guerra-López (2007) menciona que el
propósito fundamental de la evaluación es la determinación del valor del programa o
solución, el propósito y valor último, de determinar este valor, consiste en la toma de
decisiones generadas a partir de la información recabada que de alguna forma conlleva a un
mejor desempeño tanto en programas como en organizaciones.
Por último Rossi y Freeman (1985, citado por Frías y Corral 2000) definen a la
evaluación como la aplicación sistemática de los procedimientos de las ciencias sociales
para medir la conceptualización, el diseño, la implementación y la utilidad de los
programas sociales de intervención, dicho con otras palabras, la evaluación es la medición
de la pertenencia de los programas de intervención mediante métodos científicos.
69
Evaluación del Impacto
Es importante destacar que la utilidad de los modelos de evaluación, depende
enteramente de la situación con la que confrontamos, lo que funciona en una organización,
no necesariamente funciona en otra, y lo que funcionó para nosotros en el pasado, no
necesariamente funcionará en el futuro. Sin embargo es importante tener en cuenta lo que
define cada uno de esos funcionamientos.
Revisando los indicadores con los que están trabajando las instituciones que ofrecen
modelos de evaluación y/o acreditación, y considerando que dejan muchos huecos al no
darle importancia a la parte social, nuestro modelo le dará mucha más relevancia al impacto
social y/o comunitario.
Para Ross (2012) una evaluación de impacto identifica de manera sistemática los
efectos tanto positivos como negativos y estos sean esperados o no, sobre alguna institución
y a su vez generados por un programa de desarrollo social. Esta evaluación de impacto es
diferente de las evaluaciones de procesos, gestión y resultados, ya que determina la
causalidad entre la intervención y sus efectos observados. De esta forma permite
comprender la magnitud de los cambios generados por dicha acción sobre el bienestar y
sobre todo sobre el impacto social. La evaluación de impacto también nos permite
retroalimentar y mejorar la efectividad de los programas sociales, comparándolos con
intervenciones alternativas. Sus resultados proveen información para la toma de decisiones
relacionadas con mantener, ampliar, reorientar o eliminar un programa existente, o de
alguna forma proponer alguna nueva política pública. Y por último la evaluación del
70
impacto tiene como objetivo determinar en forma general si el programa produjo los
efectos deseados en las personas, hogares e instituciones y si estos efectos son atribuibles a
su intervención, también permiten examinar consecuencias no previstas en los
beneficiarios, ya sean positivas o negativas.
Para Pichardo (1993) la evaluación de impacto social propone la construcción de
una tipología para medir el impacto social de los programas según el nivel donde se
registren, con la finalidad de tener parámetros referenciales de opciones significativas de lo
que puede considerarse como impacto.
Por otro lado Matos (2005) menciona que existen diversas metodologías para
evaluar el impacto de los programas sociales, estas se basan en la construcción de grupos de
comparación o control. Los grupos de comparación son grupos de individuos, núcleos
familiares o comunidades que ostentan las mismas características socioeconómicas,
demográficas y de ubicación geográfica de los beneficiarios, pero que no hacen parte de los
programas. En las evaluaciones de impacto se realizan mediciones de línea de base (antes
del inicio de los programas) y otras posteriores con los grupos relacionados de tal forma
que se pueden medir las variaciones de los efectos generados por los programas en el
tiempo. Matos (2005) establece de igual forma que la evaluación de impacto incluye el uso
de encuestas directas aplicadas a los distintos actores involucrados en la ejecución de los
programas y de información secundaria. Igualmente incluye métodos cualitativos como las
entrevistas a profundidad, los grupos focales, la observación no participante y la revisión
documental, todos estos proveen información a profundidad que permite entender los
procesos y condiciones detrás de los impactos observados, así como la percepción y
71
prioridades de los individuos acerca de su bienestar, debido a esto, las evaluaciones de
impacto demandan un esfuerzo considerable de levantamiento y manejo de información,
destinación de tiempo y recursos. Por lo regular sus resultados se obtienen en el mediano y
largo plazo.
Por su parte el Comité de Ayuda al Desarrollo [CAD] de la OCDE elaboró los
Estándares de Calidad de la Evaluación de Desarrollo (2010) como orientaciones de las
buenas prácticas en materia de evaluación. Tienen como objetivo incrementar la calidad de
los procesos y productos de la evaluación del desarrollo ya que busca reforzar el proceso de
evaluación para mejorar los resultados. Estos estándares están organizados bajo el esquema
de un proceso de evaluación típico: definición de objetivo, planificación, diseño,
aplicación, información y uso de los resultados y lecciones que cabe extraer de ellos.
De igual forma el CAD menciona que estos estándares contribuyen a configurar
evaluaciones realizadas de acuerdo con los Principios de Evaluación de la Ayuda al
Desarrollo (1991) de esta forma destaca que mientras los estándares son una guía para la
realización de evaluaciones e informes, los principios por su parte se centran en la gestión e
institucionalización de los sistemas de evaluación, sin embargo también destacan que
dichos principios sólo son pautas u orientaciones.
72
A continuación destacaremos algunos de los elementos que estos principios remiten:
La imparcialidad y la independencia de la función de evaluación respecto de los
gestores de la ayuda y de los proyectos, lo que pasa por una adecuada estructura de
gestión de evaluaciones en los sistemas de cooperación.
La credibilidad de los resultados, haciendo el proceso de evaluación lo más
transparente y abierto posible, velando por la calidad de los informes y por la
experiencia de los equipos de evaluación.
La utilidad de los hallazgos, que han de ser percibidos como relevantes y
comunicados de manera clara y concisa.
La participación de donantes y socios a lo largo de todo el proceso de evaluación,
que ha de estar reflejada en los asuntos de interés a evaluar.
El establecimiento de un programa de evaluaciones que contemple todas las
categorías de actuaciones y los momentos en los que los resultados han de estar
disponibles para la retroalimentación de la calidad de ayuda.
Tabla 8:
Principios de Evaluación según la Cooperación Española
Independencia
Garantiza la diferenciación orgánica de la evaluación y que la validación de
informes no recaiga en los agentes encargados del diseño o la gestión de las
intervenciones evaluadas.
Las unidades y equipos de evaluación han de trabajar con libertad y sin injerencias
y no serán objeto de presiones con el fin de modificar el contenido de sus informes
73
o valoraciones.
Imparcialidad
Los equipos de evaluación han de ser seleccionados con la debida congruencia,
contar con conocimientos y experiencia suficientes y encontrarse libres de sesgos.
Las unidades y equipos de evaluación deberán comunicar previamente los posibles
conflictos de intereses, prestarán un trato respetuoso y no discriminatorio a todas
las personas y colectivos implicados, y desempeñarán sus tareas con integridad y
honestidad.
Transparencia
Los planes de evaluación han de ser públicos.
Los equipos de evaluación han de ser contratados con base a criterios y
procedimientos claros.
Los principales productos de las evaluaciones han de ser accesibles y difundidos a
todas las partes interesadas a través de medios adecuados.
Credibilidad y Utilidad
Las evaluaciones deben responder a la diversa necesidad de información, llevarse a
cabo en los momentos oportunos, y realizarse de una forma sistemática y
metodológicamente robusta, de tal modo que los hallazgos y recomendaciones
resulten fundados.
Los equipos de evaluación recibirán la cooperación oportuna y se garantizará el
acceso a toda la información disponible que resulte necesaria para el ejercicio de su
labor.
Los productos de las evaluaciones deberán reconocer sus propias limitaciones,
74
reflejar las diferentes visiones sobre el objeto de evaluación y mostrar una imagen
equilibrada que permita apreciar sus logros y fortalezas, así como sus posibles
debilidades.
Con el objetivo de mejorar los procesos y los productos del proceso evaluativo, los
ejercicios de evaluación se someterán a controles de calidad.
Para incrementar la apropiación y el uso de los resultados, se fomentará la
incorporación de los actores implicados en las estructuras de gobernanza de las
evaluaciones, y la comunicación de los hallazgos y recomendaciones se realizará
de forma clara, concisa y concreta, utilizando formatos adaptados a las diferentes
audiencias.
Eficiencia
Se optimizarán los recursos disponibles y se asegurará un equilibrio razonable
entre los medios requeridos para llevarlas a cabo y la previsible utilización de sus
resultados.
Participación y refuerzo de capacidades
Se habilitarán los espacios y estructuras necesarios para promover una adecuada
participación de los principales interesados.
Se potenciará la utilización de los sistemas de evaluación de los países socios y se
apoyará el desarrollo de capacidades locales.
Coordinación y complementariedad
Se promoverá el intercambio de información, la coordinación, la armonización y la
búsqueda de complementariedades.
Se procurará reducir los costos de transacción y evitar duplicidades y se fomentará
75
una división del trabajo acorde con las respectivas ventajas comparativas.
Siempre con el objeto de evaluación, el contexto, el momento y los recursos
disponibles permiten asegurar la calidad global de los procesos, se impulsarán
evaluaciones conjuntas , tomando como referencia el Manual de Gestión de
Evaluaciones Conjuntas del CAD.
Por otro lado están los estándares elaborados por el Comité Conjunto de Estándares
para la Evaluación de la Educación (2004) que son una referencia internacional muy
utilizadas para medir la calidad de una evaluación. Estos se agrupan en normas referidas a
la utilidad, factibilidad, conveniencia y exactitud de la evaluación:
Utilidad. Que la evaluación sirva a las necesidades prácticas de información de
usuarios previstos.
Factibilidad. Que la evaluación sea realista, prudente, diplomática y frugal.
Conveniencia. Que la evaluación sea llevada a cabo legalmente, éticamente y con el
debido respeto por el bienestar de los involucrados en la evaluación, así como de los
afectados por sus resultados.
Exactitud. Que la evaluación revele y transmita información técnicamente adecuada
sobre las características que determinan el valor o mérito del programa que está
siendo evaluado.
Y por su parte, la Agencia Austriaca para el Desarrollo (2009) señala la necesidad de
advertir sobre aquello que excede el mandato de una evaluación:
76
Una evaluación no tiene que tomar decisión sobre la continuación de un proyecto o
programa. Las evaluaciones sólo tienen el mandato para dar recomendaciones y
presentar observaciones.
Una evaluación no debe ser usada para justificar las decisiones ya tomadas.
Una evaluación no es un instrumento de gestión de crisis.
Sin embargo podemos darnos cuenta ante la postura de esta Agencia, sobretodo el punto
uno, en la actualidad vemos que los proyectos o programas continúan de acuerdo a su
evaluación, un proyecto que en su evaluación no funciona, tiene una enorme probabilidad
de que no continúe.
Pasando al tema sobre la ética en la evaluación CIDEAL (2013) nos dice que la
adecuada ejecución de una evaluación está sumamente relacionada con la toma de
decisiones que sistemáticamente reflejen la ética y los valores del evaluador. Si ciertas
normas éticas o de comportamiento no son respetadas, la credibilidad y la calidad de la
evaluación podrían deteriorarse.
En los documentos que regulan la evaluación es muy común establecer las premisas
básicas de comportamiento ético y profesional de parte del equipo evaluador.
Habitualmente en el entorno de la Cooperación Española son las siguientes:
Anonimato y confidencialidad.- la evaluación debe respetar el derechos de las
personas a proporcionar información asegurando su anonimato y confidencialidad.
77
Responsabilidad.- cualquier desacuerdo o diferencia de opinión que pudiera surgir
entre los miembros del equipo o entre éstos y los responsables en relación con las
conclusiones y/o recomendaciones debe ser mencionada en el informe. Cualquier
afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre
ella.
Integridad.- los evaluadores tendrán la responsabilidad de poner de manifiesto
cuestiones no mencionadas específicamente en los términos de referencia, si ello
fuera necesario para obtener un análisis completo de la intervención.
Independencia.- el equipo evaluador deberá garantizar su independencia de la
intervención evaluada, no estando vinculado con su gestión o con cualquier
elemento que la compone.
Incidencias.- en el supuesto de aparición de problemas durante la realización del
trabajo de campo o en cualquier otra fase de la evaluación, estos deberán ser
comunicados inmediatamente a la unidad encargada. De no ser así, la existencia de
dichos problemas en ningún caso podrá ser utilizada para justificar la no obtención
de los resultados acordados.
Convalidación de la información.- corresponde al equipo evaluador garantizar la
veracidad de la información recopilada para la elaboración de los informes, y en la
última instancia será responsable de la información presentada en la evaluación.
Pasando a otra perspectiva, podemos tomar como referencia los cinco Principios
Rectores de la Asociación Americana de Evaluación (2004) elaborados con la finalidad de
orientar sobre la conducta del evaluador y sus competencias como investigador:
78
Investigación sistemática. Los evaluadores llevan a cabo investigaciones
sistemáticas basadas en datos acerca de lo que se está evaluando.
Competencia. Los evaluadores proporcionan un rendimiento competente a los
grupos interesados.
Integridad/honestidad. Los evaluadores garantizan la honestidad y la integridad de
todo el proceso de evaluación.
Respeto a las personas. Los evaluadores respetan la seguridad, la dignidad y la
autoestima de los informantes, los participantes del programa, los clientes y los
otros grupos de interés con los que interactúan.
Responsabilidades para el bienestar general y público. Los evaluadores articulan y
tienen en cuenta la diversidad de intereses y valores que pueden estar relacionados
con el bienestar general y público.
Y por su parte la Sociedad Canadiense de Evaluación (2004) en sus Pautas para la
Conducta Ética aborda la importancia de:
La competencia en la prestación del servicio.
La integridad en las relaciones con las partes interesadas.
La responsabilidad por el desempeño y el producto de la evaluación.
Y por último respecto a la ética de la evaluación, podemos mencionar a la Agencia
Noruega de Desarrollo (1997) añade que el respeto y la sensibilidad cultural, valora el
anonimato y la confidencialidad de las fuentes, centra la evaluación en las funciones de las
79
personas y no en las personas mismas, y sugiere compartir los resultados de la evaluación
con los involucrados.
Pasando al punto de la evaluabilidad que se refiere a las posibilidades de ser evaluada,
el mismo Comité de Ayuda al Desarrollo [CAD] (2010) lo entiende como una medida para
que una actividad o programa pueda evaluarse de manera creíble y confiable.
Aunque en primera instancia se cree que todo puede ser evaluado, el CAD establece que
hay que reconocer que el alcance y los recursos para una evaluación están condicionados
por el propio diseño de la intervención, sus sistemas de seguimiento, sus necesidades, las
preocupaciones, los resultados esperados y el clima organizacional. Por lo que la decisión
final de evaluar deberá ser tomada después de valorar las condiciones existentes para
incrementar la posibilidad del uso de los resultados de la evaluación. Sin embargo conviene
destacar en esta investigación que partiremos del postulado de que todas las organizaciones
de la sociedad civil son evaluables.
Tipos de Evaluación
En lo que respecta a las tipologías de la evaluación y por la naturaleza de nuestro
trabajo, nos interesa principalmente los tipos de evaluación según el propósito y según los
actores; de los tipos de evaluación según el propósito se desprende la evaluación de
resultados, de objetivos y de procesos, y según los actores; la evaluación externa, interna,
mixta y participativa, a continuación veremos cada una:
80
Tipos de evaluación según el propósito.
Evaluación de resultados. Según el CIDEAL (2013) evaluar con base a resultados
significa atender a los productos concretos que el proyecto entrega y sus efectos en las
condiciones de vida de los destinatarios. Supone valorar la adecuación y calidad de los
bienes y servicios que genera el proyecto y sus resultados en las personas. Este análisis a su
vez implica un correcto diseño en donde los resultados hayan sido definidos en modo
operacional a través de indicadores, para evaluar la eficacia y en donde los recursos tengan
una clara expresión en el presupuesto, para evaluar la eficiencia.
Evaluación de objetivos. Por otro lado Larrú (2007) la define como una evaluación
que se realiza dentro del marco analítico para la intervención y del compromiso asumido en
relación con la asignación de recursos para tal intervención, y a su vez puede afirmarse que
esta evaluación tiene un punto fuerte en el control de las operaciones y la rendición de
cuentas.
Evaluación de procesos. Rossi (1999) nos menciona que la evaluación de procesos
analiza la efectividad de las operaciones del programa, su implementación y la entrega de
servicios, esta evaluación por otro lado nos ayuda a determinar si los servicios y metas
están alineados apropiadamente; si los servicios están siendo entregados a los destinatarios,
como se pretendía y qué tan bien está organizado el servicio de entrega, a evaluar la
efectividad de la gestión y qué tan efectivamente se están usando los recursos del programa.
81
Tipos de evaluación según los actores.
Evaluación externa. Este tipo de evaluación como su nombre lo dice, es realizada
por evaluadores externos, tiene como ventaja principal mayor objetividad, pues se supone
que el evaluador debe tener carácter independiente; por otro lado, facilitaría una mirada
externa de la que se puede recuperar el conocimiento sistematizado de otras experiencias
previas; teóricamente este evaluador aportaría mayor objetividad y rigurosidad en la
valoración de los resultados de la intervención.
Evaluación interna. Esta evaluación es realizada por los propios responsables de la
gestión del proyecto y tiene como principal desventaja el riesgo de un posible sesgo
generado por tratarse de los mismos que ejecutan el programa. Clarke (1999) menciona que
las principales ventajas de la evaluación interna son que los evaluadores conocen el
proyecto y pueden o no, estar interesados en implementar las medidas que sus informantes
detallan.
Evaluación mixta. Este tipo de evaluación es también conocida como evaluación
interna dirigida, y es una combinación de las evaluaciones externas e internas, este tipo de
evaluación busca articular ambas perspectivas recuperando ventajas de ambas y
minimizando las desventajas asociadas a cada una de ellas, tales como el costo de las
evaluaciones externas y la imparcialidad de las evaluaciones internas.
Evaluación participativa. Normalmente este tipo de evaluación es interna en el que
la responsabilidad es compartida por los beneficiarios, por lo regular está asociada a
82
metodologías del tipo investigación – acción. Revollo y Colás (2002) dicen que la
participación de los involucrados implica una democratización en la que el evaluador
democrático reconoce el pluralismo de valores y persigue que se expresen los diferentes
intereses en la formulación de un tema. El evaluador intercambia información entre grupos
que deseen conocimientos recíprocos y establece una negociación periódica entre los
responsables políticos y los participantes del programa, y por otro lado Osuna y Márquez
(2000) establecen que la evaluación participativa permite satisfacer las exigencias de
información y transparencia de cuantos actores participan en el proceso, es aquella en la
que las peticiones, demandas, asuntos y cuestiones planteadas por los implicados se
convierten en foco organizativo.
Criterios de la Evaluación
Otra cosa muy importante a revisar es definir los criterios de evaluación, los
componentes o criterios de la evaluación pueden ser vistos como las principales
dimensiones que definen la calidad de una intervención y forman uno de los elementos
fundamentales que permiten mostrar la evaluación como una apreciación sistemática y
objetiva. Los criterios de evaluación contribuyen a orientar el análisis hacia los aspectos
más relevantes que resultan significativos a la hora de analizar intervenciones.
Aunque los criterios de evaluación no son inmutables y aparecen continuamente propuestas
para incluir nuevos criterios o matizar los que ya existen; hay un consenso generalizado
acerca de cinco grandes criterios: pertinencia, eficacia, eficiencia, impacto y sostenibilidad,
que son los que aquí vamos a tratar de manera breve, para esto utilizaremos una tabla de
83
definiciones de los principales conceptos antes mencionados, apoyando las definiciones
tomaremos como referencia a la Comisión Europea (2006), al Comité de Ayuda al
Desarrollo [CAD de la OCDE] (2002) y al Programa de Naciones Unidas para el Desarrollo
(2002).
Tabla 9:
Conceptos de los criterios de evaluación
CONCEPTO PERTINENCIA
Comité de
Ayuda al Desarrollo
(CAD)
“Medida en que los objetivos de una intervención para
el desarrollo son congruentes con los requisitos de los
beneficiarios, las necesidades del país, las prioridades globales
y las políticas de los asociados y donantes”.
Programa De
Naciones Unidas para
el Desarrollo (PNUD)
“Grado en que los objetivos de un programa o proyecto
siguen siendo válidos y adecuados según lo planificado
originariamente o según las modificaciones posteriores
introducidas debido a la evolución de las circunstancias en el
contexto inmediato y el ambiente externo de dicho programa o
proyecto.
Comisión
Europea (CE)
“Medida en que los objetivos de la intervención son
congruentes con las necesidades de los beneficiarios, las
necesidades del país, las prioridades globales de los asociados y
las políticas de la Comisión Europea”
CONCEPTO EFICACIA
84
Comité de
Ayuda al Desarrollo
(CAD)
“Medida en que se lograron o se espera lograr los
objetivos de la intervención para el desarrollo, tomando en
cuenta su importancia relativa”
Programa De
Naciones Unidas para
el Desarrollo (PNUD)
“Grado en que se logra un efecto en materia de
desarrollo mediante intervenciones. Grado en que un programa
o proyecto logra sus resultados planeados, es decir, objetivos,
propósitos y productos, y en qué medida contribuye a los
efectos”
Comisión
Europea (CE)
“Medida en que se lograron o se espera lograr los
objetivos de la intervención para el desarrollo, tomando en
cuenta su importancia relativa.”
CONCEPTO EFICIENCIA
Comité de
Ayuda al Desarrollo
(CAD)
“Medida en que los recursos/insumos, (fondos, tiempos,
etc.) se han convertido económicamente en resultados”.
Programa De
Naciones Unidas para
el Desarrollo (PNUD)
“Transformación optima de insumos en productos”
Comisión
Europea (CE)
“Medida en la que se obtuvieron los resultados y/o
efectos deseados con la menor cantidad de recursos posible
(fondos, habilidades técnicas, tiempo, costos administrativos,
etc.”.
CONCEPTO IMPACTO
85
Comité de
Ayuda al Desarrollo
(CAD)
“Efectos de largo plazo positivos y negativos, primarios
y secundarios, producidos directa o indirectamente por una
intervención para el desarrollo, intencionalmente o no”.
Programa De
Naciones Unidas para
el Desarrollo (PNUD)
“Efecto global y a largo plazo de una intervención. El
impacto es el resultado final o a largo plazo, atribuible a una
intervención para el desarrollo.”
Comisión
Europea (CE)
“Efectos a largo plazo, ya sean positivos o negativos,
primarios o secundarios, producidos directa o indirectamente
por la intervención, intencionalmente o no”.
CONCEPTO SOSTENIBILIDAD/VIABILIDAD
Comité de
Ayuda al Desarrollo
(CAD)
“Continuación de los beneficios de una intervención
para el desarrollo después de concluida. Probabilidad de que
continúen los beneficios en el largo plazo. Situación en la que
las ventajas netas son susceptibles de resistir los riesgos con el
correr del tiempo”.
Programa De
Naciones Unidas para
el Desarrollo (PNUD)
“Capacidad de perduración de resultados positivos de
proyectos o programas después que ha terminado la
cooperación técnica canalizada a través de dicho programa o
proyecto. La sostenibilidad estática es el flujo continuo de los
mismos beneficios, activados por el programa o proyecto
terminado, hacia los mismos destinatarios; la sostenibilidad
dinámica es el uso o adaptación de resultados de programas o
proyectos a un contexto diferente o a un entorno cambiante por
86
parte de los destinatarios originales u otros grupos”.
Comisión
Europea (CE)
“Grado en que los efectos positivos derivados de la
intervención continúan una vez que se ha retirado la ayuda
externa”.
Revisaremos por separado de manera breve cada uno de esos indicadores.
Pertinencia. El criterio es también denominado como relevancia, se presenta según
CIDEAL (2013) como un criterio de evaluación básico, de carácter multidimensional y
dinámico que analiza la adecuación de la intervención al contexto en que la misma se
ejecuta, tomando como referencia las necesidades de la población meta, su concordancia
con las políticas públicas de desarrollo y prioridades del donante y su eventual
coordinación y complementariedad con otras intervenciones en la misma zona, sector o
población.
Como se mencionó en la tabla de definiciones y según el CAD la pertinencia se
define como la medida en que los objetivos de una intervención para el desarrollo son
congruentes con los requisitos, las necesidades del país, las prioridades globales y las
políticas de los asociados y donantes.
Sin embargo el estudio de la pertinencia en una intervención va más allá de sólo
analizar su grado de adecuación, la pertinencia deberá determinar también si esa
87
adecuación al contexto continúa siendo válida una vez finalizado el proyecto o programa, y
si éste ha sabido adaptarse a los eventuales cambios de la misma. Es muy frecuente que
proyectos con una alta pertinencia en su inicio, por diversas circunstancias, dejen de tenerla
total o parcialmente transcurrido un cierto tiempo.
Dimensiones del criterio de Pertenencia. La pertenencia se entiende como un
criterio básico, por ello la evaluación de intervenciones suele comenzar siempre por el
análisis de la misma ya que un proyecto o programa, independientemente de otros factores,
nunca debería llevarse a cabo sin cumplir con este criterio, dado que cuestionaría
globalmente su sentido y utilidad.
El criterio de Pertenencia interrogaría a la intervención sobre las siguientes dimensiones:
1. Necesidades y prioridades de los usuarios a los que se dirige la intervención.
Parece obvio que cualquier proyecto debe dar respuesta, en primer lugar, a las necesidades
más sentidas por los beneficiarios o usuarios locales a los cuales va dirigido. Esas
necesidades y prioridades deben ser establecidas por ellos mismos, desde su propia
percepción, siendo esencial su participación proactiva desde el primer momento, en la
propia concepción e identificación de la intervención. Si la participación no es la adecuada,
incluso cuando los resultados y objetivos del proyecto coincidieran con las prioridades del
usuario, se podría debilitar en gran medida su grado de apropiación de los mismos.
Cualquier intervención que no responda de manera significativa a las prioridades
establecidas por los usuarios a través de procesos participativos difícilmente podría
considerarse pertinente.
88
2. Adecuación a las políticas púbicas a nivel local y/o nacional. La Pertinencia debe
establecer el nivel de concordancia del proyecto o programa con las estrategias y políticas
públicas, ya sean de ámbito nacional, regional y/o local, que afecten a los usuarios o al
sector de la intervención y si éstas han sido adecuadamente contempladas y valoradas. Un
proyecto será tanto más pertinente cuanto más se inscriba, adecúe y complemente las
actuaciones de las instituciones públicas locales.
No obstante, pueden darse cierto tipo de intervenciones que no respondan a prioridades
expresas establecidas por las políticas públicas locales, (por ejemplo, actuaciones de apoyo
al fortalecimiento de organizaciones de la sociedad civil), sin que ello suponga per se un
detrimento de la pertinencia. En este caso, el análisis debe centrarse en si la concepción y el
diseño de la intervención ha tenido en cuenta esta circunstancia, su justificación y como ha
sido enfrentada y resuelta.
3. Prioridades y políticas de los donantes, tanto del financiador y/o ejecutor como del resto
de actores de la Cooperación Internacional presentes en el ámbito y zona de intervención.
En el primer caso, porque todo proyecto debería evitar convertirse en una acción puntual,
inscribiéndose en un nivel de intervención más amplio fruto de una apuesta estratégica, y
en el segundo, porque igualmente, se reforzaría la creación de sinergias mediante la
armonización con las intervenciones de otros sectores.
89
4. Adecuación de los componentes técnicos y resultados a los problemas y carencias
identificadas así como a las capacidades de los usuarios a quienes va dirigida la
intervención.
Aspectos sustantivos. La pertinencia debe valorar los mecanismos y el nivel de
participación de la población meta que deben haber propiciado y permitido la incorporación
de sus valoraciones y propuestas tanto en el momento de la identificación como en el
diseño y la ejecución. Especialmente relevante, en este sentido, es el análisis del
diagnóstico realizado, (árbol de problemas, etc.), y del análisis de alternativas, verificando
que la escogida sea la que mejor responda a las prioridades de los beneficiarios,
poniéndolas en relación con las capacidades del proyecto y el contexto en que éste va a ser
ejecutado. No debemos perder de vista, que pueden existir diferencias, a veces muy
notorias, entre el grupo que conforma la población meta. Dichas diferencias tendrían que
haber sido contempladas por la intervención, estableciendo los mecanismos precisos para la
asunción de las mismas.
Otro de los aspectos sustantivos de la pertinencia, es su carácter multidimensional y
dinámico. El análisis de los distintos factores que deben ser tenidos en cuenta puede arrojar,
en algunos casos, respuestas no coincidentes e incluso contradictorias sí, por ejemplo, las
prioridades del donante no coinciden con la de los socios locales o éstas con las de los
usuarios. Por otro lado, el contexto, la realidad, cambia constantemente y será tarea de la
pertinencia analizar con la adecuación de la intervención si la misma ha ido variando desde
la identificación hasta su finalización. Ya hemos comentado, pero merece la pena insistir en
ello, que un proyecto puede haber sido altamente pertinente en su identificación de diseño
90
pero haber dejado de serlo total o parcialmente durante su ejecución. Resulta fundamental,
por tanto, constatar si han existido cambios en el contexto entre el momento en que se
identificó a la intervención y el momento en que se realiza la evaluación.
Por último, la pertinencia debe estudiar en qué medida la intervención centra sus
actuaciones en las causes de la problemática y carencias detectadas y no en sus efectos,
aspecto este esencial para diferenciar un proyecto de desarrollo de otro meramente
asistencial. Una intervención que actúe únicamente sobre los efectos de una determinada
realidad no podría considerarse pertinente, desde una óptica de desarrollo, ya que su
potencial transformador de dicha realidad sería prácticamente inexistente. Esta afirmación,
evidentemente, no invalida la pertinencia en actuaciones, por definición, de carácter
asistencial, como la ayuda humanitaria, al menos en la fase de emergencia de la misma.
Preguntas clave. A la hora de analizar la pertinencia de una intervención, la
evaluación debería responder a una serie de preguntas clave de control. Se exponen a
continuación un listado de las mismas, que de manera genérica y sin pretender un carácter
exhaustivo, tienen en cuenta las principales dimensiones de este criterio:
¿El proyecto constituye una respuesta adecuada al problema y/o necesidades
identificadas en el diagnóstico de la situación?
¿Otra solución habría sido más adecuada frente al problema identificado?
¿Cómo han participado los beneficiarios en la identificación, diseño y ejecución del
proyecto?
¿Responde el proyecto a las prioridades de la institución financiadora?
91
¿Responde el proyecto a las prioridades de las políticas de desarrollo del socio local
(Gobierno, institución, etc.)?
Constituye el proyecto una prioridad para el grupo beneficiario?
Están bien definidos los beneficiarios del proyecto y forman estos un colectivo
prioritario?
¿Hay correspondencia entre el objetivo del proyecto y el problema que se pretende
resolver?
¿El objetivo general es justificación suficiente para la realización del Proyecto?
¿Está el proyecto conectado con otras intervenciones en la zona, generando
sinergias, complementariedades y evitando solapamiento?
¿Ha sabido de cambios en las prioridades y necesidades inicialmente detectadas?,
¿ha sabido el Proyecto adaptarse a las mismas?, ¿cómo?
Los resultados y soluciones técnicas propuestas son adecuados a los problemas
identificados y a las capacidades de los ejecutores y usuarios?
¿Estaban bien identificadas las condiciones previas?, ¿se han cumplido?, ¿en qué
medida?, ¿Dicho cumplimiento posibilitaba iniciar la intervención con las
adecuadas garantías?
Obtención de información. A la hora de realizar el análisis sobre la pertinencia de
una intervención se pueden obtener datos relevantes consultando las fuentes siguientes:
Documentos de planificación y programación de donantes y socios locales, tales
como planes de desarrollo, estrategias sectoriales, prioridades geográficas, etc.
Documentos de diagnóstico de la realidad. muchos de ellos generadores durante la
fase de identificación del proyecto, (análisis de implicados, definición de
92
beneficiarios, árbol de problemas y objetivos, análisis de alternativas, etc.) pero
también diagnósticos posteriores que pudieran estar disponibles.
Documento de diseño del proyecto y, específicamente, su matriz de planificación.
Documentación generada por las herramientas e instrumentos utilizados por la
intervención para la generación de procesos participativos con usuarios y socios
locales, (talleres, reuniones, etc.)
Documentación de otros proyectos que se llevan a cabo en la misma zona o con los
mismos colectivos.
Subcriterios afines al de Pertinencia. Se exponen a continuación los principales
sub criterios que analizan aspectos específicos contemplados de forma conjunta por el
criterio de pertinencia, los cuales son, apropiación, alineamiento, armonización, coherencia
y participación, definiremos cada uno de ellos:
Apropiación. Para la Cooperación Española (2007) la apropiación tiene que ver con
hasta qué punto las instituciones de los países socios ejercen un liderazgo efectivo sobre sus
políticas y estrategias de desarrollo, lo que implica la coordinación de las actuaciones de los
donantes. Como podemos observar, la definición hace referencia a la apropiación con
respecto a políticas, estrategias y/o planes de desarrollo y siempre en función de
instituciones de carácter público. Ahora bien, el concepto puede ser utilizado igualmente en
intervenciones más específicas, como programas y proyectos, y es extensible, no sólo a los
socios locales, públicos o no, sino también a los usuarios a los que se dirigen.
93
La apropiación haría referencia de forma específica a tres de las cuatro dimensiones
presentes en el criterio de pertinencia: apropiación por parte de la población meta de la
intervención y de los socios locales respecto a objetivos y resultados e, igualmente, de las
soluciones técnicas implementadas, Para que se produzca una apropiación efectiva de una
determinada intervención no bastaría únicamente con que ésta respondiera a las prioridades
de usuarios y socios locales sino que, además, dicha intervención debería implicar, desde su
misma identificación, a los actores citados de forma proactiva, para que fuera “sentida” por
los mismos como propia. En otras palabras, este subcriterio precisaría de una concepción y
desarrollo endógeno de las intervenciones. Para ello es esencial que en las distintas fases
del programa o proyecto se articulen mecanismos participativos que otorguen un papel de
liderazgo protagónico a los actores locales.
Algunas de las preguntas a las que la evaluación debería dar respuesta desde la
perspectiva de la apropiación serían las siguientes:
¿En qué medida han participado las instituciones locales en el diseño de la
intervención?
¿En qué medida participan las instituciones locales en la aplicación y gestión de la
intervención?
¿En qué medida participan las instituciones locales en el seguimiento de la
intervención?
¿En qué medida participan las instituciones locales en la evaluación de la
intervención?
¿En qué medida han participado los beneficiarios en todo el proceso?
94
¿En qué medida los resultados de la intervención han sido incorporados y asumidos
tanto por la población meta y/o las instituciones locales usuarios de los mismos.
¿En qué medida los objetivos de la intervención son asumidos y valorados tanto por
la población meta y/o las instituciones locales.
Alineamiento. Al igual que la apropiación, aparece contemplado como uno de los
principios básicos de la Declaración de París la cual dice que los donantes basan su apoyo
en estrategias, instituciones y procedimientos nacionales de desarrollo de los países. El
alineamiento se traduce, por tanto, en la utilización prioritaria de las estrategias,
diagnósticos y recursos del socio local empleando los del donante únicamente cuando ello
fuera imprescindible, desligando la ayuda y reduciendo los costos de transacción. En el
caso de una intervención concreta, como un proyecto, se requeriría la inserción del mismo
en el marco estratégico del socio local, siendo éste quien realizaría la gestión de sus
diferentes fases y procesos de acuerdo a sus propios procedimientos y con aquellos recursos
humanos y técnicos presentes en el mercado local. El Alineamiento supondría, asimismo, el
reforzamiento implícito de las capacidades procedimentales y de gestión de los socios
locales, y/o explícito, articulando medidas concretas en este sentido, si fuera necesario para
un desarrollo adecuando la intervención.
Algunas de las preguntas a las que la evaluación debería dar respuesta desde la
perspectiva del Alineamiento serían las siguientes:
95
¿Se adaptaron los procedimientos presupuestarios y administrativos de la
intervención a los de las instituciones locales?
¿Se han tenido en cuenta las estrategias y programas de desarrollo del país socio?
¿La intervención incluye medidas específicas para fortalecer las capacidades de las
instituciones locales?, ¿Se ha logrado?
¿En qué medida las entidades ejecutora y donante de la intervención han sido
transparentes con las instituciones y los socios locales?
¿Se ha priorizado en la intervención el empleo de recursos locales tanto humanos
como materiales?, ¿en qué medida?
Armonización. Tercer principio básico de la Ayuda recogido por la Declaración de
París, (OCDE, 2005) según el cual establece que las acciones de los donantes son más
armonizadas, transparentes y colectivamente eficaces.
La armonización se refiriere específicamente a la tercera dimensión del criterio de
Pertinencia, y valora la coordinación entre donantes para evitar la dispersión de
actuaciones, aprovechar las ventajas comparativas de cada uno y establecer un programa de
ayuda más estable y predecible para el socio local, coordinando y simplificando los
procedimientos tanto como sea posible.
En el ámbito de una intervención del tipo proyecto, la armonización busca la
creación de sinergias, complementariedades y una división del trabajo con otras
intervenciones realizadas en la misma zona, sector y/o con idéntica población meta. A esto
se trata de evitar llevar a cabo intervenciones aisladas, puntuales, de escaso impacto que
96
pudieran, incluso, solaparse con otras de distintos donantes, algo que, por desgracia, ha sido
una de las deficiencias más recurrentes de la Cooperación internacional para el Desarrollo
como ellos mismos lo han externado.
Las fuentes de información básica para la obtención de datos sobre la armonización
serían los documentos de estrategia y programación de otros donantes, documentos de otras
intervenciones en el mismo sector, zona, población meta, etc. Posibles acuerdos y
convenios establecidos con otros actores de cooperación, etc.
Alguna de las preguntas a las que la evaluación debería dar respuesta desde la
perspectiva de la armonización propuestas por MAEC (2007) son las siguientes:
¿Existen otras entidades gestoras y organismos donantes que operan en el mismo
territorio, sector o población objetivo?
¿Se han establecido mecanismos de coordinación, intercambio de información, etc.
Con estas entidades?, ¿de qué tipo?, ¿a que ámbitos alcanzan?
¿Qué resultados ha tenido esta coordinación?
Coherencia. El criterio de coherencia analiza el nivel de solidez de la intervención
tanto en lo que respecta a la idoneidad de su estructura interna como en su relación con las
estrategias del donante y/o otras actuaciones semejantes. Puede además, ser analizado
desde una doble perspectiva:
97
La coherencia interna pretendería verificar el grado de articulación y equivalencia
entre los objetivos y resultados de la intervención y los instrumentos y herramientas
propuestos para conseguirlos así como su adecuación a los problemas identificados.
Se centraría, pues, en la necesaria relación lógica existente entre los diferentes
componentes del diseño de la intervención. En este sentido se trataría de un criterio
que podríamos definir como mixto, tomando elementos de varios de los criterios
tradicionales propuestos por el CAD como la propia Pertenencia, la Eficacia, la
Eficiencia, etc. La fuente de información básica para obtener datos sobre la
coherencia interna sería la revisión de la matriz de planificación del Proyecto y, de
forma muy específica, de su primera columna, la lógica de intervención.
La coherencia externa compartida parte de su ámbito de investigación con la
armonización y respondería, asimismo, a la dimensión tercera de la Pertinencia, en
cuanto al grado de concordancia del modelo lógico de la intervención y las
prioridades y políticas del donante, así como su compatibilidad con otras estrategias
y programas con las que pudiera tener sinergias y complementariedades. Sus fuentes
básicas de información serían los documentos de estrategia y programación del
donante y de otros donantes, así como documentos de otras intervenciones en el
mismo sector, zona, población, meta, etc. Y posibles acuerdos o convenios
establecidos con éstas.
Se proponen, a continuación, algunas preguntas que la evaluación podría tratar de
responder para analizar la coherencia de una intervención:
98
¿Se corresponden los problemas identificados con los objetivos propuestos?
¿Se ha definido correctamente la estructura de objetivos, resultados y actividades de
la intervención?
¿Son adecuadas las actividades programadas para lograr los objetivos de la
intervención?
¿Complementa la intervención a otras estrategias o programas aplicados en el
mismo territorio, sector o población meta por el donante, otros donantes y el país
socio?
¿Se aprovecharon las posibles sinergias que se hubieran podido establecer entre
estos programas y la intervención?
Participación. El análisis de la participación se centraría en determinar si se han
definido de manera clara y específica los diferentes actores afectados por la intervención,
(población meta, socios locales, etc.), así como su implicación en las diferentes fases de
planificación y ejecución de la misma, valorando cuál ha sido su incidencia real en la toma
de decisiones, ya desde el mismo momento de su identificación.
La evaluación debe considerar y valorar la pertinencia y operatividad de los
distintos mecanismos y canales de participación dispuestos por la intervención, así como el
efecto que los mismos hayan podido producir en el empoderamiento de los actores locales.
Fuentes de información primaria para determinar este criterio partirían de la documentación
generada por el propio proyecto en sus distintas fases. Se trata de verificar, en primer lugar,
si se ha realizado adecuadamente el análisis de participación y como se ha articulado éste
posteriormente a través de la documentación generada por los procesos de identificación,
99
diseño, seguimiento, etc.) por ejemplo, talleres de problemas y objetivos, comisiones y
gestión y seguimiento, etc.)
Para indagar sobre el nivel de participación en una intervención se podrían proponer las
siguientes preguntas:
¿Se ha delimitado claramente quiénes van a participar en el proyecto, y cómo?
¿Qué actores han participado en cada fase de la intervención?, ¿en qué medida?
¿Han sido eficaces los canales de participación establecidos?
¿La intervención incluye medidas específicas orientadas al empoderamiento de las
personas beneficiarias y las organizaciones locales?
¿Se ha logrado este empoderamiento?
Eficacia. La OCDE (2002) define este criterio como medida en que se lograron o
se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su
importancia relativa. La eficacia trata, por un lado, de estimar el grado de alcance del
objetivo específico u objetivo del proyecto para lo que, necesariamente, deberemos
contemplar el cumplimiento de los resultados y, por otro, de determinar las causas que han
llevado o no al alcance de dicho logro.
Una valoración adecuada de este criterio de la eficacia nos obliga a diferenciar
entre las causas internas y externas que han contribuido a la consecución de los resultados y
del objetivo específico, lo que posibilitará determinar cuál ha sido la aportación real del
100
proyecto al logro de los mecanismos. Asimismo, es muy conveniente que éste tenga un
único objetivo específico, ya que con ello facilita en gran medida su análisis. Las
intervenciones con varios objetivos son de más difícil evaluación ya que su nivel de
cumplimiento podría ser muy dispar.
Aspectos sustantivos. Para poder establecer una valoración sobre el grado de
cumplimiento del objetivo especifico es necesario que éste haya sido definido de forma
precisa y concreta, caracterizando claramente tanto aquello que se desea alcanzar como la
población meta a la que se dirige el proyecto. Es relativamente frecuente que su
formulación responda a soluciones de consenso, alcanzadas previamente entre los actores
participantes en la intervención para atender a sus diferentes intereses. En estos casos
podemos encontrarnos con objetivos vagos, declarativos, que plantean problemas
metodológicos muy serios para su constatación. Cuando esto ocurre, la propia evaluación
puede verse obligada a fijar el objetivo específico rediseñando adecuadamente el proyecto.
Existen cuatro factores importantes que influyen en la determinación de la eficacia de
una intervención:
La calidad y coherencia de la lógica de intervención, verificando si el cumplimiento
de los resultados puede garantizar la consecución del objetivo específico. Es preciso
recordar en este punto que dicho objetivo nunca debe ser una mera adición de los
resultados esperados.
El análisis de los mecanismos de ejecución que puede proporcionar información
importante sobre las razones de un determinado logro por parte del proyecto.
101
La población meta a la cual va dirigida la intervención, analizando su acceso a los
beneficios, en forma de mejoras en las condiciones de vida, bienes y servicios,
proporcionados por el objetivo específico y los resultados. Este acceso debería
desglosarse por sexo, nivel socioeconómico, etnia, edad, etc. Este aspecto es de
suma relevancia, lo que ha dado lugar a un sub criterio, la cobertura, que será
analizado más adelante. En cualquier caso la participación activa de la población
meta en todas las fases del ciclo del proyecto es una primera garantía de la Eficacia
del mismo.
La fase de la intervención en que se realice la evaluación de la eficacia definirá un
tanto su sentido. Un análisis anterior a la ejecución se basaría en la calidad de la
lógica de intervención contenida en el diseño. En el caso de una revisión en un
momento temporal en el que todavía no se ha alcanzado el objetivo específico, (por
ejemplo, una evaluación intermedia), se puede estudiar la eficacia en función de los
resultados que hayan sido logrados y aquellos que se espera alcanzar con un
razonable nivel de certidumbre, valorando si, en conjunto, nos permiten esperar la
consecución del objetivo específico. En el caso de una evaluación final o ex post se
examinará directamente el nivel de logro de los resultados y del objetivo específico.
Para la medición de los resultados y del objetivo específico es necesario contar con
herramientas de calidad como diagnósticos, líneas de base, indicadores y fuentes fiables de
verificación.
La existencia de líneas de base donde obtener información veraz sobre la situación de la
población beneficiaria con anterioridad a la ejecución del proyecto es un instrumento muy
102
valioso a la hora de medir la eficacia. Sin embargo, suele ser frecuente que este tipo de
información no pueda conseguirse sino de forma parcial y disgregada, siendo la propia
evaluación quien tenga que elaborar este diagnóstico inicial.
Preguntas clave. Para el examen de la eficacia algunas de las preguntas clave de
control que podríamos realizar serían las siguientes:
¿Tiene la intervención un único objetivo específico?
¿El objetivo específico ha sido formulado con precisión y dispone de indicadores
operativos y fuentes de verificación fiables que permitan valorar su logro?
¿Es posible alcanzar, tal como ha sido enunciado, el objetivo específico?
¿Los resultados han sido formulados de forma concreta y medible?
¿Los resultados son medios suficientes y necesarios para el logro del objetivo
específico?
¿Los factores externos que afectan a los resultados tienen una probabilidad
razonable de cumplimiento?
¿Cuáles son los factores, internos y/o externos al proyecto, que más incidencia han
tenido en el logro el objetivo específico?
Obtención de información. Entre otros elementos, a la hora de valorar la eficacia
deberemos referenciarnos a:
La definición del objetivo específico, ya que solamente podremos hacer una
valoración ajustada sobre la eficacia si éste se ha formulado de forma precisa,
103
concretando mediante indicadores verificables objetivamente y fuentes de
verificación.
Examen de los resultados para comprobar si son suficientes en el logro del objetivo
específico o si se precisarían nuevos resultados para garantizar su consecución,
valorando la lógica interna del proyecto.
El análisis de la incidencia de los factores externos en la consecución del objetivo
específico mediante el análisis de las hipótesis entre los resultados y objetivos
específicos, verificando la probabilidad de su cumplimiento.
Subcriterios afines al de Eficacia. Se expone a continuación el principal subcriterio
de la eficacia que es la cobertura.
Cobertura. La Metodología de la Evaluación de la Cooperación Española (2001) la
define como la medida en que la misma está alcanzando la población o el área a la que
pretendía llegar y se centra en el análisis de los colectivos beneficiarios y en la valoración
de su adecuación a los destinatarios, indagando en los factores causales de los posibles
sesgos hacia determinados colectivos o en las barreras de acceso.
Las distintas características socio-económicas, culturales, de género, etc. pueden
influir en la distribución y acceso a los beneficios de una intervención por parte de los
distintos colectivos que integran la población meta de la misma. Incluso, por diversas
causas, grupos no contemplados por ésta podrían recibir dichos beneficios en detrimento de
los usuarios naturales del proyecto. En el diseño de intervenciones que consideran a los
104
colectivos metas como grupos homogéneos, sin tener en cuenta sus diferencias internas,
suele estar el origen de esta distribución no prevista y/o deseada de sus beneficios. El
subcriterio de cobertura introduciría la diversificación de estos colectivos en la evaluación.
En este sentido, la cobertura analizará si, durante las fases de identificación, diseño
y ejecución, sectores de la población meta han quedado excluidos o relegados del proyecto
cuando, por sus objetivos, no deberían haberlo sido y si existen colectivos aun de forma
explícita o implícita han sido incluidos sin que puedan ser considerados como parte de
dicha población meta.
Eficiencia. La OCDE (2002) define a la eficiencia como la medida en que los
recursos/insumos, (fondos, tiempo, etc.), se han convertido económicamente en resultados
o de otra forma dicho como la medida en la que se obtuvieron los resultados y/o efectos
deseados con la menor cantidad de recursos posible (fondos, habilidades técnicas, tiempo,
costos administrativos, etc.). Relaciona, por tanto, los logros obtenidos por una
intervención con los recursos utilizados en la consecución de los mismos, indicando la
productividad del proyecto o programa. Al hablar de los recursos debemos referirnos a
todos aquellos insumos utilizados, sean del tipo que sean, (materiales, humanos,
financieros, técnicos, etc.), así como el periodo de tiempo empleado en la ejecución. Nos
encontramos, ante un criterio de valoración esencialmente económico.
105
Por otro lado, existen dos perspectivas que CIDEAL (2013) menciona como
complementarias a la hora de valorar la eficiencia de una intervención dependiendo de
cómo focalicemos el análisis:
a) Partiendo de los resultados, verificar cómo se podrían conseguir éstos con los
mínimos recursos posibles, esto es, al más pequeño costo.
b) Dados unos recursos disponibles, preguntarnos si con los mismos podrían haberse
alcanzado resultados más ambiciosos que los logrados.
Independientemente de la perspectiva elegida, una intervención alcanzaría su
eficiencia máxima cuando ningún uso alternativo de los recursos empleados por la misma
pudiera producir más y mejores resultados. La eficiencia no sería un criterio absoluto sino
comparativo, (una intervención es más o menos eficiente con respecto a algo), que se
establecería siempre en función de otras eventuales propuestas de asignación de recursos,
ya sean estas reales, (estableciéndose con otras intervenciones similares), o teóricas, con
base a una hipotética intervención donde la utilización de los insumos se realizará bajo
criterios de optimización en su empleo. Esta comparación permite el análisis de algunos
aspectos básicos que afectarían a la eficiencia como las soluciones técnicas adoptadas,
(¿existen otras mejores y de menor costo?), la procedencia de los recursos, (los equipos y
materiales empleados, ¿han sido adquiridos en el mercado local o importados?, los recursos
humanos, ¿Fueron personal local o expatriado?, ¿por qué?), etc.
Aspectos sustantivos. Dadas sus características, el análisis de este criterio se
centrará, fundamentalmente, sobre la fase del ciclo de gestión del proyecto relativa a la
106
ejecución. A este respecto, la eficiencia debe valorar la rapidez y agilidad de la intervención
y, fundamentalmente, el costo de la misma en función de los resultados obtenidos.
Especialmente relevante es, en este sentido, el análisis del desempeño presupuestario,
(utilizando diversos indicadores como, por ejemplo, la relación entre costos directos e
indirectos, comparación entre gastos ejecutados y programados, inversiones en capacitación
sobre costos totales de personal, etc.), la cantidad de bienes y servicios producidos y
entregados por el proyecto y la calidad de los resultados y/o productos o de la prestación de
servicios, (en términos referidos a aspectos como el nivel de satisfacción de los usuarios de
la intervención, facilidad en el acceso a los mismos, etc.).
El indicador de eficiencia más común es el costo unitario de producción, que
relaciona los costos directos e indirectos en que se incurre para producir un bien y/o
servicio con la efectiva consecución del mismo. No podemos olvidar, además, la dificultad
añadida que supone la asignación de los costos indirectos a los resultados y productos de la
intervención que, generalmente, se prorratean entre los mismos. Siendo por tanto, como ya
hemos comentado, la valoración del criterio de eficiencia fundamentalmente económica,
surge la dificultad, sin embargo puede resultar tremendamente difícil establecer un valor
económico para determinados resultados, productos y servicios como, por ejemplo, la
generación de procesos de igualdad de género. En este sentido, si bien los recursos y costos
se miden por unidades monetarios en las herramientas mas comúnmente usadas para
evaluar la eficiencia, los logros también pueden hacerlo del mismo modo, (análisis costo-
beneficio), o bien expresarse por unidad de resultados, (análisis costo-efectividad; por
ejemplo número de empleos creados), de acuerdo a su función de utilidad, (análisis costo-
utilidad) o al consumo de determinados bienes o servicios, (análisis costo-impacto).
107
El tipo de análisis a emplear dependerá de las características de la intervención, (ya
se trate ésta de un proyecto de tipo productivo, social, de refuerzo institucional, etc.), y de
las preguntas que orienten la evaluación. Hay que tener en cuenta que, a pesar de tratarse de
herramientas muy potentes que proporcionan valiosa información para la toma de
decisiones, se trata también de métodos costosos tanto en recursos como en habilidades por
lo que, en ocasiones, su utilización puede verse restringida, sobre todo en intervenciones de
bajo presupuesto.
Preguntas clave. A la hora de analizar la eficiencia de una intervención, la
evaluación debería responder a una serie de preguntas clave de control. Exponemos a
continuación un listado de las mismas que, de manera genérica y breve tienen en cuenta los
principales componentes de este criterio:
¿Los medios e insumos para la ejecución del proyecto están bien descritos y son
necesarios para la realización de las actividades?
¿Está bien definido el presupuesto? ¿Los costos previstos se encuentran claramente
justificados y son razonables?
¿Todas las actividades son esenciales para la consecución de los resultados?
¿Se encuentran bien definidos los resultados?
¿Cuentan los resultados con indicadores objetivos y con fuentes de verificación
operativas?
¿Podrían alcanzarse esos resultados incurriendo en un menor costo?
¿Podrían alcanzarse esos resultados en un tiempo más corto?
108
¿Está bien definido el cronograma, la secuencia y la duración de las actividades?
¿Los tiempos de ejecución de las actividades resultan adecuados?
¿Ha existido la suficiente flexibilidad para adaptarse a entornos cambiantes en la
ejecución de las actividades?
¿Los factores externos situados al nivel de las actividades tienen una probabilidad
aceptable de cumplimiento?
Obtención de información. A la hora de realizar el análisis sobre la eficiencia de
una intervención se pueden obtener datos relevantes consultado las fuentes siguientes:
Cronograma del proyecto: proporciona información sobre la duración total del
proyecto y de cada una de sus actividades. Nos puede permitir, además, identificar
posibles inconsistencias en la secuencia de actividades, así como tiempos de espera
o tiempos muertos que retrasen la ejecución.
Presupuesto del proyecto: como hemos señalado, para poder valorar la eficiencia el
presupuesto debe contener el detalle adecuado de todos los recursos en unidades y
valores unitarios. Sería deseable que el presupuesto estuviera desglosado por
actividades y, por agregación, por resultados (de manera que podemos comparar
éstos con los recursos necesarios para su obtención).
Indicadores de resultados y sus fuentes de verificación: si la eficiencia consiste en
valorar el costo en que se incurre para la obtención de resultados, éstos últimos
deberán estar inequívocamente precisados a través de sus correspondientes
109
indicadores, en los que se exprese la cantidad, calidad, plazo de entrega, etc. del
resultado en cuestión.
Organigrama y asignación de responsabilidades en el proyecto, en los que podemos
valorar la mayor o menos agilidad en la toma de decisiones, los aspectos de
coordinación de la ejecución, etc.
Los procedimientos de gestión, su agilidad y operatividad, etc.
Las hipótesis entre actividades y resultados, valorando la probabilidad de
cumplimiento de las mismas.
Impacto. El criterio de Impacto para el CAD (2012) tiene por objeto el análisis de
todos aquellos efectos que hayan sido provocados por una intervención más allá de los
objetos planeados por la misma. Pudiendo tener efectos positivos o negativos, previstos o
no previstos, implicando tanto a la población meta como a otros colectivos y, en general, al
contexto donde se ha ejecutado el proyecto. De igual forma el CAD (2012) que el impacto
son los efectos de largo plazo positivos y negativos, primarios y secundarios, producidos
directa o indirectamente por una intervención para el desarrollo, intencionalmente o no.
El Impacto es un criterio bastante amplio al entrar a valorar cualquier cambio significativo
que la intervención haya podido producir en la realidad, sea del tipo que sea: económico,
político, técnico, social, ecológico, de género, etc. Debido a este multidimensionalidad
podría considerarse como el criterio más difícil de medir, pero absolutamente central en las
evaluaciones ex post ya que nos permite preguntarnos si el proyecto produjo o no cambios
y, en caso afirmativo, cuál fue su magnitud y a qué áreas afectaron, especialmente en el
110
medio y largo plazo. Precisamente por esta característica, algunas entidades llaman
evaluaciones de impacto, a las realizadas ex post.
Con el Impacto se busca identificar los efectos netos producidos por el proyecto, es
decir, comprobar la relación de causalidad existente entre ambos una vez identificadas y
relegadas aquellas consecuencias originadas por otras actuaciones, ya sean intrínsecas al
colectivo analizado o generadas por factores externos al mismo y a la intervención
evaluada.
El Impacto contempla el análisis de diversos efectos que se explican a
continuación:
Efectos previstos y no previstos. El impacto no se limita a valorar los resultados y
objetivos esperados por la intervención sino que tiene que considerar también los
aspectos no contemplados en la planificación. Por ello va más allá de la
intencionalidad de la intervención, analizando todas sus implicaciones posibles.
Efectos positivos y negativos: Evaluar las consecuencias de la intervención más allá
de su intencionalidad implica abordar también posibles efectos no deseados o
perjudiciales que pueden haberse producido. Identificar los efectos positivos y
negativos es una de las tareas básicas de la valoración del impacto de una
intervención.
111
Efectos sobre el contexto. El impacto también implicará identificar cualquier
consecuencia de la intervención sobre el contexto en un sentido general, abarcando
las instituciones, el contexto político, social, económico o cultural.
Efectos sobre la población. No se limitaría a evaluar las consecuencias de la
intervención sobre la población meta, sino que se interrogaría sobre cualquier efecto
producido en la población en general. Al analizar los efectos sobre la población es
necesario desagregarla en base a diferentes parámetros como su condición social,
género, si se trata de población meta o no, etc.
Efectos directos o indirectos. El impacto no sólo se refiere a las relaciones de
causalidad más claras y aparentes, sino también a posibles efectos indirectos,
secundarios o colaterales que pueda haber generado una intervención.
Efectos a corto, medio y largo plazo. Aunque por lo general los efectos de una
intervención se producen y aprecian fundamentalmente a medio o largo plazo, el
impacto engloba las consecuencias de un proyecto en todas sus escalas temporales.
Efectos locales, regionales o nacionales. Se deben abordar las consecuencias de la
intervención en todas sus posibles escalas territoriales y en todos los espacios en los
que pueda haber tenido algún tipo de influencia.
Aspectos sustantivos. Para determinar el impacto de una intervención debemos
comparar cómo era la situación concreta de una realidad, con el estado presente de la
misma, pero diferenciando, cuáles han sido los cambios o transformaciones producidos en
ella por la intervención y cuáles han tenido su origen en otra serie de factores que puedan
112
estar incidiendo en la dicha realidad. No se trata de comparar una realidad antes y después
de la intervención sino esa misma realidad con y sin intervención.
El problema de la “atribución”, es decir, en qué medida las transformaciones
observadas en una realidad son consecuencia de lo efectivamente ejecutado o de cambios
en el entorno, presenta una gran complejidad. Si el impacto de la intervención es positivo,
parte del mismo podría explicarse por la evolución favorable de otros factores del entorno
tal y como se recoge en el siguiente gráfico:
Es posible, asimismo, que aunque el proyecto tenga un impacto positivo, éste no
compense el efecto negativo provocado por una evolución desfavorable del entorno:
Será necesario, por tanto, comparar la realidad que existe y existiría con y sin
proyecto respectivamente, Para ello se puede recurrir a diversas técnicas de investigación
social con diferentes grados de formalidad en la recopilación de la información y, en
consecuencia con niveles muy dispares en cuanto al manejo de datos o las necesidades de
tiempo y recursos financieros y humanos. En cualquier caso, no puede perderse de vista que
la evaluación está supeditada al objetivo de aprendizaje y no a un estudio de la realidad
como fin en sí mismo.
El CIDEAL (2013) sugiere agrupar estas técnicas en tres grandes categorías:
Técnicas experimentales, semi-experimentales y no experimentales.
113
Técnicas experimentales: requieren el establecimiento, con anterioridad a la
ejecución de la intervención de al menos dos grupos de análisis entre los potenciales
beneficiarios, uno de los cuales es sometido a la misma, (grupo meta o experimental),
mientras que el otro queda excluido, (denominado grupo de control), formado por
individuos con características similares al del grupo de beneficiarios efectivos. Para
asegurar la validez de la información obtenida, los grupos deben ser equivalentes, lo que se
asegura a través de la asignación aleatoria de individuos y en una cantidad que asegure su
representatividad estadística. Es necesario, igualmente, controlar la tasa de abandonos en
ambos grupos ya que una diferencia significativa entre ambos podría perjudicar muy
seriamente la validez de los datos obtenidos.
Los diseños experimentales deben realizar una medición de la variable de impacto
tanto del grupo meta como de control en la situación con proyecto, Además, con relativa
frecuencia, los diseños experimentales también realizan una medición de la variable del
impacto en la situación sin proyecto, una vez realizada la selección aleatoria, pero antes de
iniciar la ejecución del programa. Esta medición ex - ante se considera la línea base de la
evaluación. Con este procedimiento se intenta asegurar que las diferencias encontradas
entre los dos grupos serían consecuencia, casi con toda probabilidad, de la intervención
ejecutada.
Técnicas semi-experimentales: También se selecciona un grupo de control o grupo
testigo, con la diferencia de que en este caso, no se hace de manera aleatoria como lo
menciona sino que se recurre a un colectivo con características similares al de los
114
destinatarios de la intervención, una comunidad cercana, por ejemplo, (método de pareo).
El pareo se puede realizar por individuo o por grupo. Cuando se utiliza el pareo por
individuo se busca que para cada beneficiario del grupo de tratamiento sea comparable con
un no beneficiario en el grupo de comparación. Por su parte, el pareo por grupo es menos
exigente, requiere que el grupo de tratamiento y comparación sean en promedio iguales.
Aunque el pareo por individuo es estadísticamente más deseable que el pareo por grupos,
en general las evaluaciones de impacto utilizan más el método agregado, por grupos.
Cuanto mayor sea la homogeneidad conseguida entre los dos grupos mayor será
también la validez de los datos obtenidos. Hay que evitar, en cualquier caso, que los grupos
puedan contaminarse es decir, que haya individuos que pasen de un grupo a otro o que
conozcan su condición de grupo testigo, para que eso no modifique en alguna medida sus
actitudes y comportamientos. También es deseable, para que los resultados sean
significativos, que el grupo de control no reciba algún tipo de ayuda externa.
La utilización del método de pareo ofrece al menos dos ventajas en la estimación
del impacto. En primero lugar, los grupos meta y de control no tienen necesariamente que
conformarse antes de iniciar la ejecución del proyecto, como si lo deberían de hacerlo en el
caso del diseño experimental. Utilizando estimaciones de la probabilidad de participación
en el programa, estos grupos se pueden conformar a partir de información sobre la situación
con proyecto de los individuos que participaron y no participaron en la intervención. Esta
flexibilidad es especialmente importante cuando la decisión de realizar la evaluación de
impacto se toma una vez el programa ha iniciado su operación. La segunda ventaja, es que
115
el método de pareo no exige que se restrinja el ingreso al proyecto a individuos que son
parte de la población objetivo de la intervención, por ejemplo, de forma usual se
seleccionan áreas geográficas en donde la intervención no se va a ejecutar.
Aunque este grupo de técnicas es más utilizada en proyectos de desarrollo que las
anteriores, también presentan una serie de problemas considerables: su costo sigue siendo
elevado tanto en recursos como en el tiempo que precisan para su implementación,
(requieren múltiples observaciones y un importante esfuerzo de planificación previa de las
evaluaciones) y la fiabilidad de los datos no están alta como la obtenida con las técnicas
puramente experimentales debido sobre todo a la potencial existencia de diferencias no
observables entre los grupos meta y de control, que podrían generar un “sesgo de
selección”. Su uso, por ello, no es muy frecuente y suele estar restringido a intervenciones
de gran envergadura y proyectos piloto importantes de los cuales se desee extraer un
aprendizaje lo más fundamentado posible.
Técnicas no experimentales: en la práctica se trata de técnicas más empleadas que
las puramente experimentales en las evaluaciones de proyectos de cooperación para el
desarrollo, ya que utilizan métodos menos costosos y más sencillos para la estimación de
sus efectos. De forma resumida, intentarían elaborar una reconstrucción hipotética de qué
hubiera ocurrido con la realidad y los colectivos implicados de no haberse realizado la
intervención. Las técnicas no experimentales más frecuentemente utilizadas son:
116
a) Series temporales. Si se cuenta con información sobre indicadores de cambio en un
conjunto de períodos previos y posteriores al proyecto, es posible hacer un análisis
de series temporales, para extraer conclusiones sobre los efectos imputables al
mismo. Para ello, se pueden contribuir gráficos sobre la base de mediciones
periódicas efectuadas “antes”, “durante” y “después” de la realización del proyecto.
Aunque no se trata de una técnica de alta fiabilidad, (en el caso de la tasa de empleo
juvenil del gráfico, por ejemplo, su aumento podría ser debido en parte o en su totalidad a
factores ajenos a la intervención), suelen ser empleadas frecuentemente en las evaluaciones.
b) “Antes-después”, (sin grupo de comparación): Se efectúa una medición “antes” de
que el proyecto sea ejecutado y se comparan los valores obtenidos con los
resultados derivados de levantar una línea de comparación, “durante” la operación o
“después” que el proyecto ha concluido. Es una técnica limitada puesto que no
permite eliminar los efectos debido al contexto y, por tanto, tampoco es posible
determinar qué cambios son atribuidos exclusivamente a la intervención.
En muchas ocasiones, sin embargo, ninguna de las técnicas antes descrita puede ser
utilizada debido a diversos factores, (tiempo y costos son los más comunes). En estos casos,
el análisis del impacto dependerá fundamentalmente del sentido común del equipo
evaluador y de las propias apreciaciones de los actores implicados. Aunque esto pueda
acarrear una evidente falta de “cientificidad”, no por ello pueden considerarse como menos
útiles los resultados de estas evaluaciones. Si bien los evaluadores no deben renunciar a los
117
componentes de objetividad, racionalidad y solidez científica en sus indagaciones, han de
ser los suficientemente flexibles para adaptarse a las características y circunstancias de cada
evaluación, obteniendo la información, si es preciso, a través de métodos cualitativos y/o
participativos sin que la subjetividad en su interpretación puedan distorsionar en exceso sus
conclusiones.
Por otro lado, la complejidad de este criterio hace que, comúnmente, sea demasiado
ambicioso plantear una evaluación general del impacto, abordando de forma global y
exhaustiva todas y cada una de las consecuencias de una intervención. Por ello, suele ser
más práctico centrarse en una o varias categorías concretas de efectos, (por ejemplo sobre
el medio ambiente, género, etc). En estos casos la definición de las dimensiones a analizar y
el enfoque del análisis del impacto son usualmente determinadas en función de los intereses
de los actores involucrados en la intervención, (beneficiarios, agente financiador, etc.). La
orientación de este enfoque es también muy útil a la hora de obtener enseñanzas y un
aprendizaje efectivo de la intervención evaluada.
Preguntas clave. Para valorar el impacto de una intervención la evaluación deberá
responder a una serie de preguntas clave de control. Exponemos a continuación un listado
básico de las mismas que, de manera genérica y sin pretender un carácter exhaustivo, tienen
en cuenta los principales componentes de este criterio:
¿Ha contribuido la intervención a alcanzar el objetivo global propuesto?
¿Se han analizado y previsto posibles efectos positivos del proyecto en el contexto
de la intervención?
118
¿Se han detectado efectos negativos provocados por el proyecto en el contexto de la
intervención?
¿Se ha logrado el impacto positivo sobre los beneficiarios?
¿Se han producido impactos positivos no previstos sobre los beneficiarios?
¿Se han producido impactos negativos no previstos sobre los beneficiarios?
¿Hay algún otro colectivo que puede verse afectado de forma negativa por el
proyecto?
¿El objetivo general cuenta con indicadores y fuentes de verificación que permiten
valorar su nivel de logro?
¿Existe una relación lógica entre los objetivos específicos y general? ¿Tiene el
proyecto altas probabilidades de contribuir significativamente al logro del objetivo
general?
¿Las hipótesis que afectan al objetivo general tienen un grado razonable de
probabilidad de cumplimiento?
¿Se han realizado actividades dirigidas a la sensibilización sobre el objeto de
intervención?
Obtención de información. Dada la amplitud de aspectos que analizaría el criterio
Impacto, es más difícil establecer una serie de fuentes de información específicas que
permitan la obtención de información. No obstante, las indagaciones podrían comenzar por
una serie de documentos que han de estar presentes en la identificación y el diseño:
-Enunciado del objetivo específico y general, verificando si están definidos de manera
precisa, y si el primero puede contribuir significativamente a la consecución del segundo.
119
En el caso del objetivo general nos preguntaríamos, además, si cuenta con indicadores
verificables objetivamente y fuentes fiables para su comprobación.
-Los indicadores indirectos de resultados o del objetivo específico, que podrían constituirse
en efectos o impactos positivos. (Por ejemplo, en un proyecto que mejore los ingresos de
una comunidad de campesinos, la reactivación y potenciación del mercado y los
comerciantes locales podría formularse como un indicador indirecto y ser valorado como
un impacto positivo sobre otro colectivo distinto al de los beneficiarios directos).
-Las hipótesis entre el nivel del objetivo específico y del objetivo general, así como las
ramas medios-fines complementarias a la estrategia del proyecto seleccionada, y que
pueden identificarse en el árbol de objetivos.
-El análisis de participación, específicamente en lo relativo a los beneficiarios indirectos y
los colectivos que puedan verse perjudicados por la intervención.
-Asimismo, a menudo es necesario tratar de apreciar el efecto sentido por los beneficiarios
y otros colectivos, que no siempre coincide con el efecto buscado.
Sostenibilidad. En el marco de la evaluación de intervenciones de desarrollo
sostenibilidad y viabilidad se consideran términos sinónimos. Y la OCDE (2002) los
define como la continuación de los beneficios de una intervención para el desarrollo
después de concluida., la probabilidad de que continúen los beneficios en el largo plazo y la
situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del
tiempo. Estos términos están referidos, por tanto, a la permanencia de los efectos positivos
alcanzados por un proyecto, específicamente por su objetivo específico y general, yendo
más allá de su mera consecución al interrogarse sobre un horizonte temporal más amplio
que comenzaría con la finalización de la intervención, la retirada del apoyo externo y la
120
verificación de si ésta ha generado procesos de desarrollo endógenos, autónomos y
localmente gestionados.
La sostenibilidad es uno de los factores críticos de las intervenciones de desarrollo,
siendo relativamente frecuente que proyectos que han entregado correctamente sus
resultados, e incluso alcanzado el objetivo específico, presenten una mediocre
perdurabilidad de los mismos, llegando a desaparecer, con el tiempo, la mayor parte de los
logros obtenidos. Ello es debido a diversos factores, entre ellos la doble paradoja que
presenta la sostenibilidad de las intervenciones de desarrollo; por un lado se pretende que
una serie de actuaciones acotadas, tanto temporal como beneficios para sus destinatarios,
(paradoja tiempo-efecto). Igualmente, se intentan producir procesos de desarrollo
autónomos a partir de la utilización de recursos-proyecto, originando un cierto nivel de
dependencia de los mismos que entra en contradicción, precisamente, con esa autonomía
que se pretende lograr, (paradoja dependencia-autonomía).
El siguiente gráfico elaborado por CIDEAL (2013) muestra los posibles escenarios
que puede presentar la sostenibilidad de una intervención una vez finalizada la misma y
retirado el apoyo financiero y técnico externo. Si se consigue, tras la conclusión del
proyecto, el mantenimiento en el tiempo o, de forma óptima, la mejora de los logros
alcanzados, nos encontraríamos ante una situación de sostenibilidad.
Por el contrario, si dichos logros presentan un declive paulatino más o menos
acusado, la sostenibilidad estaría en entredicho y las actuaciones no habrían servido para
generar una dinámica de desarrollo duradera. Como ya hemos comentado, se trataría de uno
121
de los factores que más preocupan de las intervenciones y, tal vez, el elemento crucial en el
que muchas de ellas fracasan.
Figura 14. Sostenibilidad, Fuente: CIDEAL (2013)
La perdurabilidad en el tiempo de los logros alcanzados por una intervención,
también tiene una relación directa con las capacidades de la población meta y/o de las
instituciones locales para asumir por sí solas su mantenimiento. En este sentido, la
evaluación debe preguntarse si han sido tenidas en cuenta las posibilidades técnicas,
Fin del Proyecto
Sostenible
Objetivo Específico
Resultado Insostenible Flujo de Beneficios (impacto)
Resultado
Resultado
Tiempo
122
económicas, de gestión, etc. locales existentes para hacerse cargo de su gestión una vez
finalizado y retirado el apoyo externo o si, en su caso, se han desarrollado mecanismos para
potenciar y obtener las mismas.
Por otro lado, la sostenibilidad se relaciona con un adecuado diseño del proyecto
que haya tenido en cuenta los pertinentes estudios de factibilidad. Asimismo, es necesario
respetar en todo momento el derecho de los colectivos destinatarios a decidir el modelo de
desarrollo que desean. El fracaso en la sostenibilidad de las intervenciones puede
explicarse, en muchos casos, por la falta de participación y protagonismo de la población
meta en las distintas fases del ciclo de gestión de las intervenciones, desde su diseño hasta
la transferencia de las mismas.
A la hora de valorar la sostenibilidad es necesario tener en cuenta la naturaleza de
cada intervención. Los criterios utilizados para analizar la viabilidad de un proyecto de
naturaleza económico-productiva, basados fundamentalmente en la capacidad del mismo
para generar sus propios recursos y el compromiso de los actores locales en su
mantenimiento, serán necesariamente distintos de otro de carácter social, sanitario,
educativo, etc. donde los recursos han de ser continuamente suministrados, preferentemente
por instituciones locales en función de su engarce en determinadas políticas públicas.
Finalmente, las intervenciones precisarán, ya desde su diseño, de la formulación de
mecanismos de salida y transferencia, acodados y pactados con los actores involucrados,
que garanticen el adecuado traspaso de las mismas a los agentes e instituciones locales.
123
Los factores de sostenibilidad
Más allá de estos elementos que se pueden considerar internos a la intervención, la
sostenibilidad también se ve afectada en gran medida por el contexto donde se lleva a cabo,
caracterizado por múltiples elementos sociales, políticos, económicos que interactúan entre
si. En este sentido, y a finales de la década de los 80, el Comité de Ayuda al Desarrollo,
(CAD), de la OCDE, identificó y sistematizó aquellos factores, (elementos contextuales),
que más podían influir en las posibilidades de viabilidad de un proyecto. Estos factores,
(primero cinco que posteriormente se ampliaron a siete), fueron asumidos por la comunidad
de donantes que los incorporaron, como un apartado específico, (denominado análisis o
estudio de viabilidad), en el diseño de sus intervenciones.
Aunque, dependiendo de la naturaleza del proyecto, no todos los factores puedan
considerarse determinantes o tener el mismo peso en el análisis, la evaluación debe
considerar, en todo caso. La “pertinencia de la intervención con respecto a ellos en el
momento en que fue concebida la acción, los posibles cambios que se hayan producido
durante la ejecución del proyecto y el estado en que se encuentren en el momento de
realizar la evaluación, con vistas al diseño de nuevas intervenciones” (MAEE, 1998)
Estos factores, que también reciben el nombre de factores de desarrollo o de calidad,
son los siguientes:
Políticas de apoyo. Cualquier intervención de desarrollo debería ser identificada,
diseñada y ejecutada teniendo en cuenta, fundamentalmente, las prioridades y estrategias
124
políticas de los receptores pero también de los donantes, inscribiéndose en las mismas. De
otro modo es muy posible que se generen conflictos que pondrían en cuestión su
sostenibilidad. Se trata de un factor esencial que aparece ampliamente recogido en los
principios de apropiación y alineamiento de la calidad de la Ayuda.
En función del proyecto, estas políticas de apoyo deben ser analizadas en sus
distintos niveles; nacional, departamental y local, llegando incluso al regional si su
naturaleza así lo precisara, tanto en lo que se refiera a instituciones de carácter público
como a otras organizaciones, sindicales, sociales, religiosas, etc., que pudieran verse
involucradas en las actuaciones.
La adecuada inserción en las prioridades políticas de los agentes participantes en la
identificación y el diseño de una intervención no garantiza completamente que ésta se
mantenga en el tiempo, dada la lógica variabilidad de las mismas, por lo que será necesario
analizar si las actuaciones han sabido reconducirse para evitar posibles contradicciones,
pérdidas de apoyo, etc.
Factores institucionales. Analizaría la capacidad de los destinatarios y los actores
locales para gestionar y dar continuidad a los logros obtenidos por la intervención,
garantizando que la organización que se ocupará de ello puede realizar estas tareas con
solvencia. Esto depende de diversos elementos que deben ser considerados; compatibilidad
de los objetivos con las prioridades de la organización, una estrategia clara, personal estable
adecuadamente formado y motivado, recursos financieros suficientes y asegurados,
125
vínculos y alianzas con otras organizaciones y, fundamentalmente, con los beneficiarios,
etc.
Es de destacar la necesidad de que el proyecto utilice, en la medida de lo posible, las
instituciones y entidades ya presentes en el terreno, evitando la creación de organizaciones
paralelas aunque ello suponga incorporar actuaciones de fortalecimiento directo de las
mismas. La debilidad de las instituciones actúa como un freno al desarrollo, por lo que es
muy frecuente encontrar en los proyectos, componentes de fortalecimiento institucional
como medio para procurar su sostenibilidad, ya sea a través de la capacitación de sus
miembros, la asistencia técnica e incluso el equipamiento.
Factores socioculturales. Para dotar a la intervención de unas adecuadas garantías
de sostenibilidad, ésta debe ser compatible y lo más cercana posible a la cultura local, así lo
afirma el CIDEAL (2013). Los proyectos y programas deben ser diseñados en función de
las características culturales de los colectivos meta, de otra forma es muy difícil que pueda
darse, por parte de los mismos, la apropiación efectiva de los logros y efectos positivos de
sus actuaciones. Este factor de desarrollo analiza, por tanto, la inserción e integración de
una intervención de desarrollo en la comunidad local ya que, si bien la misma puede ser
tolerada e incluso aceptada durante el proceso de ejecución, es mucho más complejo, una
vez retirado el apoyo externo, mantener dicha aceptación si no está adaptada a su contexto
sociocultural.
126
Conceptualmente, se trataría de asegurar el derecho de los receptores de la
intervención para definir su propio modelo de desarrollo. En este sentido, es básica la
articulación de canales de participación de todas las fases del ciclo del proyecto lo que
produce, además, un sentimiento de corresponsabilidad sobre los éxitos y fracasos del
mismo. Esta participación debe verse reflejada, igualmente, en algún tipo de aportación
directa de los beneficiarios a la intervención ya que ello suele considerarse como un
elemento muy positivo de cara a la sostenibilidad.
Asimismo, la evaluación deberá asegurar si el proyecto ha beneficiado a los
colectivos más vulnerables y la manera en que ha influido en las relaciones entre los
distintos grupos locales contribuyendo a mejorar sus relaciones económicas, de poder,
evitando el peligro de percibirlos y tratarlos como un grupo homogéneo. Para ello puede ser
recomendable revisar el análisis de participación efectuado en la fase de identificación y
realizar uno nuevo donde se reflejen los cambios producidos en los colectivos, instituciones
y todos aquellos actores locales que de manera directa o indirecta puedan afectar la
viabilidad.
Enfoque de género. Este factor hace referencia a las consecuencias de una
intervención sobre las relaciones de género, poniendo énfasis en la consideración de las
mujeres como beneficiarias de los procesos de crecimiento económico y social mediante el
empoderamiento y el fomento de la igualdad. La relación entre los sexos sería una de las
variables fundamentales para explicar la desigualdad en una comunidad y entre distintas
sociedades, por ello, cualquier actuación de desarrollo debería contemplar las estrategias
redistributivas de los beneficios y las relaciones de poder entre hombres y mujeres.
127
La diferencia de género, (división sexual del trabajo, acceso y control sobre recursos
y beneficios, relaciones de subordinación, toma de decisiones, etc.), implica la adopción de
una visión correcta del colectivo beneficiario que impida su percepción como un grupo
homogéneo, (algo que ya vimos en los factores socioculturales), ya que los efectos e
incidencia de la intervención serán inevitablemente distintos para hombres y mujeres. En
consecuencia el enfoque de género debe estar integrado en todas las fases del ciclo del
proyecto, considerando las diferencias de género en la totalidad de elementos que
conforman la lógica de intervención, (objetivos general y específico, resultados y
actividades), así como en los indicadores y factores externos.
La evaluación deberá interrogarse sobre la adopción efectiva de este enfoque por
parte de la intervención y estimar el impacto diferenciado que la misma ha tenido en los
hombres y mujeres del grupo meta. En concreto, elementos esenciales que deberían
incorporarse al análisis serían:
Participación de hombres y mujeres en las distintas fases del ciclo del proyecto,
desde la identificación a la propia evaluación.
Percepción, acceso y papel que juegan las mujeres en la distribución de los logros
obtenidos por el proyecto.
Distribución y acceso por género a los recursos y a la toma de decisiones.
Relaciones de poder y subordinación en las instituciones locales implicadas en la
intervención.
128
Mejora de las condiciones de vida de las mujeres considerando múltiples aspectos
tanto en el hogar como en la vida comunitaria: productivos, reproductivos, de
representación, etc.
Por último, habrá que destacar de cara a la sostenibilidad, el papel crucial de las
mujeres tanto desde el punto de vista educativo como económico, esencial sobre todo en
familias de bajos ingresos.
El enfoque de género superaría, en cualquier caso y a pesar de su evidente
trascendencia sobre la sostenibilidad, el estricto ámbito de ésta abarcando otros criterios
como la pertinencia, el impacto, etc.
Factores tecnológicos. Este factor analizará la adecuación de las soluciones técnicas
seleccionadas por la intervención a los conocimientos y capacidades locales y del entorno.
No se referiría únicamente al equipamiento utilizado sino, también, a las garantías de
mantenimiento del mismo a largo plazo, a los procedimientos empleados por el proyecto,
así como a las potenciales transformaciones culturales, sociales, económicas y ambientales
que cualquier incorporación tecnológica conlleva.
Elementos a valorar serían la utilización de producción local, la generación de
capital y valores añadidos (autonomía nacional y/o local, desarrollo tecnológico posterior,
etc.), la energía requerida, reducción de desigualdades a diversos niveles, (ocupacionales,
de grupos de edad, de género, etc.) y si ayuda a facilitar la realización de trabajos duros,
arriesgados o rutinarios.
129
Los factores tecnológicos no deben ser valorados únicamente desde el punto de
vista de los “expertos” sino, fundamentalmente, incorporando la perspectiva de los
destinatarios sobre su utilidad y conveniencia.
Es especialmente importante analizar la disponibilidad local de repuestos para los
equipos utilizados, la capacidad y medios del personal encargado de su manejo y
mantenimiento y los costos que ello implica. En este sentido, la tecnología incorporada a
través de la intervención debe ser asumible y sostenible por el colectivo receptor sin
generar fenómenos de dependencia externa.
Factores medioambientales. Consideraría la utilización de recursos naturales que
impacten el medioambiente de la intervención. Un uso de dichos recursos de manera no
sostenible, puede producir un efecto de desarrollo a corto plazo, pero a medio o largo plazo
pondría en riesgo la sostenibilidad de esos logros, así como una pérdida en la calidad de
vida de la población.
El concepto de desarrollo sostenible, implica la comprensión de las consecuencias
sobre el medio de las actuaciones emprendidas y el respeto a la equidad generacional, esto
es, satisfacer las necesidades humanas actuales sin poner en riesgo los recursos que
generaciones futuras precisarían para hacerlo. Un crecimiento económico inmediato,
basado en la explotación exhaustiva de recursos naturales, iría en contra de la concepción
global del fenómeno del desarrollo.
130
En el análisis convendría distinguir entre los componentes que se refieren directamente
a la sostenibilidad, (consumo de recursos), de aquellos otros relacionados con el impacto de
la intervención sobre el medio. Algunos de los aspectos básicos a considerar desde el punto
de vista de un análisis medio ambiental son:
La conservación de la base de recursos naturales y su gestión futura.
La protección de entornos, tanto naturales como creados por el hombre,
especialmente lo más vulnerables (suelos susceptibles de erosión o inundación,
áreas en proceso de deforestación, bosques tropicales, áreas costeras, paisajes
únicos desde un punto de vista natural o cultural, etc.).
La defensa de la biodiversidad.
La promoción y uso de energías renovables
La disminución de la polución y la emisión de agentes contaminantes.
Las actuaciones para reducir los impactos negativos sobre la atmósfera y el cambio
climático.
Factores económico-financieros. Analizaría las posibilidades de sostenimiento
económico de la intervención una vez retirado el apoyo externo, ya que una de las
dificultades más notables para su sostenibilidad es la obtención de un flujo continuo de
recursos financieros que pueda garantizar la continuidad de sus operaciones. En este
sentido, el análisis financiero de los medios requeridos para cubrir el costo de las mismas,
el mantenimiento y la depreciación de las inversiones es una medida directa de la
viabilidad.
131
En el trabajo de evaluación se utilizan diversos tipos de análisis económico-
financieros dependiendo de la naturaleza de la intervención. Tres de los más comunes son
el de viabilidad financiera, el análisis costo beneficio y el análisis costo-eficacia.
La viabilidad financiera es el análisis más sencillo, aplicable a una gran cantidad de
proyectos tanto productivos como sociales. Se trata de estimar los costos reales
relacionándolos con los recursos financieros que se encuentran (o encontrarán),
disponibles a medio y largo plazo.
El costo eficacia valorará los costos del proyecto en relación con el número de
usuarios, actuaciones similares, etc. Se tratará de un análisis comparativo para
considerar si podrían haberse alcanzado resultados similares a un costo menor sin
incidencia negativa sobre los mismos.
El análisis costo-beneficio se utiliza fundamentalmente en intervenciones cuya
utilidad puede medirse en términos monetarios. Está especialmente recomendado
para proyectos de tipo productivo pero su aplicación es problemática en otro tipo de
actuaciones de carácter social. La pregunta que debería responder este tipo de
análisis es si el valor de rentabilidad de la intervención, su beneficio, justifica
suficientemente los costos en que se incurre. En este tipo de análisis es esencial la
consideración del factor tiempo y si influencia sobre el valor del dinero.
Preguntas clave. Para valorar la sostenibilidad de una intervención la evaluación
deberá responder a una serie de preguntas clave de control. Exponemos a continuación un
132
listado básico de las mismas que, de manera genérica y sin pretender un carácter
exhaustivo, tienen en cuenta los principales componentes de este criterio:
¿Qué estrategias de transferencia ha previsto la intervención?
¿Qué resultados y beneficios tienen potencial para mantenerse a largo plazo una vez
concluida la intervención? ¿Cuáles no? ¿Por qué?
¿Cuenta el proyecto con un apoyo político suficiente?
¿La organización que debe gestionar el proyecto tiene capacidad para llevarlo
adelante?
¿Los beneficiarios se encuentran integrados en la intervención porque ésta responde
a intereses claramente expresados por ellos?
¿La participación de los beneficiarios ha sido la necesaria en todas las fases de la
intervención?
¿Se adapta el proyecto a la realidad sociocultural de la población meta?, ¿se han
tenido en cuenta sus especificidades culturales?
¿Afecta el proyecto de manera positiva a los colectivos de mujeres?
¿Contribuye el proyecto a generar procesos de igualdad en el acceso a los recursos y
en la toma de decisiones?
¿La tecnología transmitida por el proyecto puede ser asumida por los beneficiarios
y/o la organización encargada de la gestión?
¿El proyecto realiza un manejo adecuado de los recursos ambientales?
¿Se ha previsto cómo se conseguirán los recursos imprescindibles para hacerse
cargo de los gastos de funcionamiento y mantenimiento una vez que concluya la
fase de ejecución?
133
Obtención de información. A la hora de realizar el análisis sobre la sostenibilidad de
una intervención se pueden obtener datos relevantes para cada uno de los factores
consultando las fuentes que propone Gómez (2003):
Tabla 10:
Obtención de fuentes de información del factor de sostenibilidad
Políticas de apoyo Condiciones previas en la matriz
de planificación
Documentos (cartas, presupuestos,
acuerdos, etc.) que acreditan el
apoyo al proyecto y se suelen
incluir en anexo al documento de
proyecto.
Hipótesis específicas sobre el
contexto político y
macroeconómico
Aportación local acreditada
documentalmente y contemplada
en el presupuesto
Factores tecnológicos Garantía de existencia de
134
repuestos accesibles,
conocimientos técnicos,
habilidades, personal cualificado,
etc.
Actividades específicas
(formativas o de asistencia
técnica) para crear esas
capacidades.
Factores medio-ambientales Estudios específicos
medioambientales
Actividades o resultados
específicos referidos a la
protección del medio ambiente
Indicadores referidos al impacto o
viabilidad desde el punto de vista
ambiental
Aspectos socioculturales Identificación y diseño
participativos (talleres, consultas
efectuadas, etc.)
Actas o memorias de reuniones
135
preparatorias del proyecto, cartas
de compromiso de los
beneficiarios
Contribuciones de los
beneficiarios (aportación de mano
de obra local de carácter
voluntario, contribuciones
dinerarias o en especie, etc.)
Enfoque de género Objetivo, resultados o actividades
específicas referidos a las mujeres
Indicadores desagregados por sexo
Aspectos institucionales Objetivo específico (proyecto de
refuerzo institucional) de mejora
de la capacidad de gestión.
Resultados específicos
(componentes de refuerzo
institucional) referidos a la mejora
en las capacidades de gestión.
Actividades formativas, de
asistencia técnica, equipamiento,
infraestructura, etc. que mejoren la
136
capacidad institucional y de
gestión.
Factores económico-financieros Indicadores específicos referidos a
la capacidad de gestión
Hipótesis relativas a la capacidad
institucional
Mecanismos de generación de
ingresos por el propio proyecto,
por venta de bienes o prestación
de servicios.
Compromiso de entidades locales
de asumir los costos tras la
finalización (condiciones previas)
Un último factor a revisar, pero que queda un poco fuera de los 5 criterios anteriormente
descrito es el de replicabilidad.
Replicabilidad. En este concepto Gómez y Sainz (2008) nos dicen que en la
replicabilidad se está haciendo referencia a la capacidad que posee un proyecto para genera
conocimientos que puedan ser utilizados de forma positiva en otras intervenciones o
proceso de desarrollo. De alguna forma establecen que esta transferencia de conocimientos
y de saber hacer, es un riesgo de prácticamente todos los proyectos.
137
Estos autores establecen que todos los proyectos deben ser considerados como
experiencias piloto que persiguen la replicabilidad de los procesos que ayudan a fortalecer.
No se trata sólo de lograr los objetivos propuestos, sino de indicar los caminos y vías que
permitan la mejora de las condiciones de vida de los colectivos beneficiarios.
A la hora de valorar la replicabilidad es necesario considerar los procesos inducidos
por el proyecto, el intercambio de experiencias, los canales de difusión de los
conocimientos, los componentes formativos, etc.
Por su parte el CIDEAL (2013) establece que la replicabilidad es la capacidad de
una intervención para procurar conocimientos, habilidades, etc, que puedan ser
aprovechados en otros proyectos y/o generar procesos autónomos de desarrollo, ya sea por
las personas implicadas directa o indirectamente.
De igual forma admite que cada proyecto precisa ser el producto de una análisis
específico sobre un determinado contexto, también es cierto que todos, en mayor o menor
medida, producen conocimientos y enseñanzas que deben ser transmitidas y aprovechadas,
bien por otras actuaciones similares. Lo que busca es crear una cultura del desarrollo que
podría considerarse el fin último de cualquier proyecto.
A modo de resumen se presenta la siguiente tabla en donde muestra de manera
gráfica los criterios y principios de la evaluación y los organismos que los contemplan:
138
Tabla 11:
Criterios de Evaluación, Fuente: Elaboración propia.
Cooperación
Española
Comité
Conjunto de
Estándares para
la Evaluación
de la Educación
Comité de
Ayuda para el
Desarrollo
Comisión
Europea
Programa de
Naciones Unidas
para el Desarrollo
Independencia
Imparcialidad
Transparencia
Credibilidad y
Utilidad
Eficiencia
Participación y
refuerzo de
capacidades
Coordinación y
Complementariedad
Factibilidad
Conveniencia
Exactitud
Pertinencia
Eficacia
Impacto
Sostenibilidad
139
Capítulo III
Metodología de la Investigación y Análisis de las Organizaciones de la Sociedad Civil
en Nuevo León
Una vez revisada la teoría correspondiente a la evaluación y muy especialmente a la
evaluación de impacto y sus indicadores, en este capítulo detallaremos la metodología de
investigación utilizada y el proceso de construcción de la misma.
La selección de los informantes
La selección de los informantes se realizó tomando como base el contacto que la
Universidad de Monterrey a través de su Centro para la Solidaridad y la Filantropía tiene
con algunas organizaciones de la sociedad civil en donde sus estudiantes realizan el
servicio social, dicho Centro reúne de manera bimensual a dichas organizaciones para
brindarles alguna capacitación, dar información relevante y conocer de cerca el trabajo de
los alumnos. De esta manera se acudió a una de esas reuniones para aplicar una encuesta al
100% de los asistentes y que más delante se describirá, tanto su enfoque como sus
resultados.
Para la revalidación de los datos encontrados en la encuesta anteriormente
mencionada, se tuvo platica informal con dos miembros de organizaciones de la sociedad
civil que poseen al menos una evaluación de los organismos descritos en el capítulo I, el
asesor del presente trabajo quien es de las pocas personas en Nuevo León experto en el
tema de las organizaciones y fue pieza clave como informante y por último la propia
140
investigadora de esta trabajo, quien gran parte de su experiencia laboral ha sido en el
trabajo directo con las OSC´s.
Planteamiento de la Investigación
Número y nombre de las organizaciones de la sociedad civil y algunas otras
instancias gubernamentales que participaron. Se describen a continuación a modo de
resumen los datos básicos de las organizaciones de la sociedad civil que participaron como
informantes.
Tabla 12:
Datos básicos de las organizaciones de la sociedad civil
CATEGORÍA EDUCACIÓN
Escuela Nogalar
Valia
Organización Educativa
CORDEM A.B.P.
Instituto Nacional de Educación para Adultos
Formando Emprendedores A.B.P.
Museo del Acero A.C.
Asociación de Radios Universitarias por México
CATEGORÍA DISCAPACIDAD
Puertas Abiertas A.B.P.
141
EFFETA A.B.P.
Centro Regiomontano de Educación Especial A.C.
Unidos Somos Iguales A.B.P.
Programa de Integración Social y Educativa UDEM
Taller de Expresión y Desarrollo Integral A.C.
Centro Pedagógico Cometa A.C.
Centro Ocupacional Logros A.C.
CATEGORÍA SALUD
Comenzar de Nuevo A.C.
Fundación Luca A.C.
CATEGORÍA ASISTENCIAL
Acuerdos de Familia A.C.
Aguilas Guadalupanas
DIF NUEVO LEÓN
Infamilia San Pedro
FILIOS A.B.P.
Alianza de Ministerios de Misericordia A.C.
Centro de Adaptación y Atención al Menor A.C.
CATEGORÍA DESARROLLO SOCIAL
Secretaría de Desarrollo Social y Humano San Pedro
Centro de Salud y Desarrollo UDEM
142
La finalidad de esta encuesta es únicamente conocer su opinión respecto a los organismos
que aquí se mencionan, le agradecemos su valiosa colaboración.
1.- Organización que representa
2.- Marque por favor con una X si conoce alguna (s) de las siguientes organizaciones:
FILANTROFILIA CEMEFI CONFIO GESOC OTRA/ Cuál?
3.- Sabía usted, que las instancias antes mencionadas son evaluadoras de OSC´s?
Sí No
4.- Su organización cuenta con alguna evaluación/acreditación por parte de alguna de ellas?
Sí No
*si su respuesta es no, favor de pasar a la pregunta 7
¿Cuál(es)?
5.- ¿Qué beneficios le dio a su organización el contar con la evaluación?
6.- ¿Qué aspectos considera le faltó evaluar?
7.- Si conociera alguna instancia en N.L. que otorga una evaluación a las Organización de la
Sociedad Civil comprometida con la Comunidad, ¿le interesaría?
Sí No
8.- ¿Qué le gustaría que contemplara dicha evaluación?
Gracias por su tiempo
Representatividad. Se siguió un criterio de representatividad y no de
proporcionalidad estadística para obtener la información correspondiente al análisis de las
organizaciones de la sociedad civil; como se detalló anteriormente en la forma en que se
aplicó la encuesta es importante destacar que además de las OSC´s, también se
consideraron en el estudio algunas instancias de gobierno y programas sociales de la misma
Universidad de Monterrey ya que están involucrados en proyectos de impacto social, por lo
que las 27 organizaciones que respondieron la encuesta se consideró como un número
óptimo, ya que como se vio en el cuadro de datos de las organizaciones, representan
además diversas categorías
Encuesta aplicada. La encuesta aplicada fue una elaboración propia que nos
permitiera arrojar la información correspondiente al conocimiento de las instancias
evaluadoras y conocer además si están acreditadas por ellas, el ejemplo de la encuesta se
puede revisar con mayor claridad en el apartado de anexos.
Figura 15 Encuesta
143
Análisis de las Organizaciones de la Sociedad Civil en Nuevo León
Se aplicó una encuesta a 27 organizaciones, cabe destacar que dos son programas
propios de la Universidad de Monterrey y cuatro son instancias de gobierno.
Uno de los primeros cuestionamientos de la encuesta era saber si conocen a
cualquier de las cuatro instancias evaluadoras de las organizaciones de la sociedad civil y
que se describieron en el capítulo I, y las cuales son Filantrofilia, Cemefi, Gesoc y Confío,
de primer instancia podemos mencionar que 12 de los entrevistados no conocen a ninguna
de ellas lo que representa el 44 % y el resto , 56% sí las conoce, aunque cabe destacar aquí
que sólo es sí las conoce, no a lo que se dedican o su trayectoria, por lo que aunque sólo
hayan escuchado hablar de la institución se considera como afirmativa la respuesta. La más
mencionada fue Filantrofilia, con 13 menciones, le siguió Cemefi con 10, posterior Gesoc
con 4 menciones y por último Confío con 2 menciones.
Nuestra siguiente pregunta fue, sobre si conocía que esas instancias se encargan de
evaluar organizaciones de la sociedad civil, a lo que el 63% de los encuestados mencionó
que desconocía ese aspecto, y por otro lado sólo el 37% sí lo sabía.
La siguiente pregunta fue si su institución cuenta con alguna acreditación o
evaluación por parte de alguna de estas cuatro instancias, a lo que el 78% respondieron que
no cuentan con ninguna evaluación de parte de ellas y sólo el 22% afirmó contar con
alguna evaluación. Al revisar qué instancias los han evaluado descubrimos lo siguiente: el
144
48% ha sido evaluado por Filantrofilia, el 37% por el Cemefi, el 14% por Confío, el .07%
por Gesoc y el .03% por otra instancia del mismo Gobierno. Aunque cabe destacar que
dentro de los que mencionaron que no, se encuentran los organismos de gobierno y los
proyectos sociales propios de la Universidad de Monterrey, que por su naturaleza no serían
candidatos a evaluarse por dichas instancias. Las organizaciones que respondieron que sí
cuentan con una evaluación, se les preguntó además qué beneficios le dio el contar con
dicha evaluación y a manera de resumen esto fue lo que respondieron:
Les ayuda a encontrar áreas de oportunidad, que están en pro de la
profesionalización, que son una organización al día en cuanto a la rendición de cuentas y
transparencia, tener a la mano la información cuantitativa para mostrar a sus benefactores,
les da una base para mejorar, generar transparencia, lograr donativos, darse a conocer, de
igual forma también una mención en que han recibido materiales de capacitación y de
desarrollo institucional.
De esta información que nos proporcionaron vemos que los principales beneficios
que ellos encuentran al tener sus acreditaciones y/o evaluaciones es profesionalizarse para
detectar sus áreas de oportunidad y mejorar sus procesos, algo que destacan mucho es sin
duda el apartado de los donativos, ya que tienen claro que mientras más transparencia
manejen lograrán mejores donativos.
En esta misma línea se preguntó a quienes cuentan con una evaluación, sobre los
aspectos que consideran les faltó evaluar, aunque sólo hubo tres menciones, una
organización mencionó que le faltó evaluar la parte emocional, sin darnos más datos,
145
podemos interpretarlo como una carencia de una evaluación más integral que contemple
todas las áreas, y no sólo la administrativa para presentar las áreas de oportunidad.
Una penúltima pregunta y muy importante para nuestra investigación ya que le dará
el sentido de todo nuestro trabajo es que si existiera alguna instancia en Nuevo León que
evaluara a las organizaciones de la sociedad civil comprometidas con la comunidad,
estuvieran interesados en evaluarse con ellos?. Y se obtuvo como respuesta afirmativa un
93% de los encuestados, contra un 7% que establecieron que no les interesaría, cabe
destacar que este último porcentaje corresponde a dos organismos; uno de ellos justificó su
respuesta al mencionar que en este momento no, ya que actualmente acaban de recibir una
certificación por parte de la Procuraduría de la Defensa del Menor y la Familia de Nuevo
León, cumpliendo con la Ley de Instituciones Asistenciales que tienen bajo su guarda y
custodia a niños, niñas y adolescentes, por lo que al ser un centro de adopciones, deben
seguir esos lineamientos. Y la otra organización que respondió que no, fue un programa de
gobierno que consideramos que por su misma naturaleza y al estar enfocada la encuesta a
organización civil respondió que no.
Para finalizar la encuesta, se preguntó a todas las organizaciones que respondieron
que sí les interesaría evaluarse, qué aspectos les gustaría que contemplara dicha evaluación;
al revisar los comentarios destaca principalmente que contemple el impacto social aunque
este término se exprese con otras palabras, otros aspectos los podemos revisar en el
siguiente cuadro en donde se describe lo que siguieren y lo revisaremos desde el área en el
cual trabajan las osc´s son:
146
Tabla 13:
Sugerencias de evaluación
CATEGORÍA EDUCACIÓN
A qué capacidad (%) está la institución de lograr la misión a la que se dedica.
Las actividades que comprende nuestro programa educativo, si están encaminadas
verdaderamente al desarrollo de procesos que benefician el desarrollo de la comunidad desde
nuestras posibilidades.
Mejorar estrategias y programas.
La vinculación con donantes nacionales e internacionales. A partir de los resultados de la
organización, capacitación en las áreas de oportunidad detectadas.
El alcanza con la población en relación a la misión del museo.
Las mejoras emocionales de nuestras beneficiarias.
CATEGORÍA DISCAPACIDAD
Eficiencia.
Procesos de calidad, de operación administrativos y de transparencia.
Más sobre el impacto social.
Modelo de gestión orientado de centros educativos.
CATEGORÍA SALUD
Problemática nacional y regional, acciones de la OSC, impacto/resultados.
CATEGORÍA ASISTENCIAL
Evaluar programas basándose en el impacto.
Capacidad institucional para obtención de fondos, capacidad para desarrollar proyectos a
través del Marco Lógico.
147
El impacto de los proyectos sociales, la administración de los recursos humanos, la
administración de los recursos obtenidos.
Estructura organizacional.
CATEGORÍA DESARROLLO
Puntos de impacto y potencializadores.
El último comentario de la categoría educación, dice que contemple las mejoras
emocionales de las beneficiarias, esta misma OSC es quien tiene dos evaluaciones, una por
Filantrofilia y otra por el Cemefi y además destaca que les faltó considerar la parte
emocional, sin duda buscar medir el impacto social desde todas sus dimensiones.
148
Capítulo IV
Modelo de Evaluación de Organizaciones de la Sociedad Civil
Revisando los indicadores que están trabajando las instituciones que ofrecen
modelos de evaluación y/o acreditación que se describieron a detalle en el Capítulo I, y por
otro lado atendiendo los resultados reportados por las Organizaciones de la Sociedad Civil
en el Capítulo III, se presenta este Modelo de Evaluación que busca darle un mayor énfasis
al impacto comunitario por ser una de las áreas menos revisadas y de mayor necesidad.
Es importante destacar que nuestro modelo es una propuesta para una Evaluación de
Organizaciones de la Sociedad Civil con la finalidad de que se convierta en una
Certificación una vez que se cumpla con los requerimientos de que la instancia que adopte
el modelo esté acreditada para certificar organizaciones.
Aunado a esto se busca que dicho modelo sea flexible para cualquier organización
ya que reconocemos la individualidad y razón de ser de cada una.
Ventajas del Modelo de Evaluación
Este modelo es una herramienta para evaluar principalmente las grandes áreas que
cualquier OSC e inclusive cualquier organismo que maneje proyectos sociales. Iniciaremos
con las ventajas de este modelo:
149
No existe en Nuevo León ninguna instancia que esté ofreciendo este tipo de
evaluación.
Tiene un mayor valor en el rubro de Impacto Social.
No se trata de que la OSC reúna información y les genere más trabajo, sino el
hacer una documentación de sus procesos y servicios que están ofreciendo en la
comunidad, para precisamente detectar esas fortalezas en su relación con la
comunidad, o bien sus áreas de oportunidad.
Cualquier organismo de apoyo a la comunidad se puede evaluar, no solamente
las OSC´s, es decir, pueden integrarse además Fundaciones, Instancias
Gubernamentales, Proyectos Sociales de Universidades, etc.
Permitirá reconocer de manera clara las áreas de oportunidad que como
organización tiene para poder establecer acciones a seguir.
Propuesta del Modelo
El modelo que a continuación se presenta es una adaptación de García y Justicia
(2013) de uno de los mejores expertos en el tema y quien además en el asesor del presente
trabajo, se utilizó además el Modelo ESTELA de la Fundación CIDEAL, siguiendo además
los criterios revisados en el Capítulo II de la Fundamentación Teórica.
150
Este modelo cuenta con dos grandes áreas a revisar, categorizándolas en Evaluación
Interna: Consolidación Institucional y Evaluación Externa: Impacto Social, veamos la
explicación de cada una:
Área de Evaluación Interna: Consolidación Institucional. El análisis de esta
variable está en función de dimensionar las diferentes gestiones que realizan las
organizaciones de la sociedad civil, tanto para llevar a cabo su misión (razón de ser) como
alcanzar su visión. Se eligieron principalmente como dimensiones la gestión y planeación
de los procesos institucionales, la gestión y planeación de sus recursos financieros y la
gestión y planeación de sus recursos humanos, ya que se considera primordial que éstas tres
mencionadas conforman el desarrollo institucional, el cual es base para poder analizar la
segunda área.
La consolidación institucional es demás pieza clave en este modelo de evaluación,
ya que es la básica para alcanzar el impacto social, de esta forma al revisar lo que sucede al
interior organizacional de cualquier OSC será más sencillo hacer los ajustes necesarios para
cualquier área de oportunidad que se esté presentando en la siguiente área a evaluar.
Área de Evaluación Externa: Impacto Social. Como se mencionó en el Capítulo
de la Fundamentación Teórica el impacto es de los indicadores más difíciles de medir,
debido a su multiculturalidad y demás factores, sin embargo retomando la definición que da
el CAD (2012) en el que se refiere como el análisis de todos los efectos que han sido
151
provocados por una intervención más allá de sus objetivos planeados, pudieron tener
efectos positivos o negativos, en este modelo se pretende que esta área tenga un mayor peso
al ser considerada la parte medular del mismo, puesto que aquí se revisará los efectos que
cada organización tiene en la comunidad, en donde además analizaremos si está
cumpliendo la misión, ha alcanzado su visión y qué ha pasado en ese camino, de igual
forma y de mucha importancia es conocer además efectos que cada organización a través de
sus programas están produciendo una vez que terminan. La dimensión contemplada en esta
área es el impacto institucional en la comunidad.
152
Tabla 14:
Modelo de Evaluación de Organizaciones de la Sociedad Civil
MODELO DE EVALUACIÓN DE OSC´s
DIMENSIONES INDICADORES/CRITERIOS
ÁR
EA
DE
EV
AL
UA
CIÓ
N I
NT
ER
NA
CO
NS
OL
IDA
CIÓ
N I
NS
TIT
UC
ION
AL
EV
A
Gestión y
Planeación de sus procesos
institucionales
Planeación administrativa: adecuada labor
administrativa además de la planeación que realizan.
Eficiencia: en los resultados, aplicación de los
recursos materiales para el cumplimiento de sus actividades.
Transparencia: en el manejo de su información, ya
sea hacia el interior o al exterior.
Eficacia: en los procesos administrativos,
documentación de su labor.
Pertinencia: a las necesidades de la gente que
atiende la institución.
Gestión y
Planeación de sus recursos
financieros
Transparencia: en el manejo de cuentas.
Eficiencia: del personal asignado al área de
procuración de fondos y/o contable.
Eficacia: en el manejo de los recursos financieros.
Replicabilidad: del modelo económico.
Sostenibilidad: opción del autosustentamiento de la
organización.
Gestión y
Planeación de sus recursos
Pertinencia: contrato de personal adecuado a las
necesidades de los usuarios.
153
humanos Pertenencia: orgullo de pertenecer a la
organización.
Eficiencia: en sus recursos humanos, liderazgo y
capacidades administrativas de sus directivos y personal.
ÁR
EA
DE
EV
AL
UA
CIÓ
N E
XT
ER
NA
IMP
AC
TO
SO
CIA
L
Impacto Institucional en la
Comunidad
Replicabilidad: del modelo social que actualmente
trabajan, liderazgo institucional.
Reconocimiento: proyección en la comunidad, que
tanta influencia tiene a nivel comunitario, reconocimiento del
trabajo realizado.
Divulgación: de la labor de la institución
favoreciendo el desarrollo de sus proyectos.
Redes de desarrollo: intercambio de experiencias
con personas de otras instituciones afines para el desarrollo
mutuo, asimismo de redes gubernamentales y empresariales.
Atribución: consistencia de la intervención y
alcance de la implementación para tener efectos atribuibles a
la institución.
154
Escala de medición de los indicadores
Para poder ponderar adecuadamente cada uno de los indicadores se elaboró una
escala de medición en donde se están contemplando cuatro rúbricas para cada uno de ellos.
Cada rúbrica tiene un rango de entre 1 a 8 puntos como se explica a continuación:
Nivel de desarrollo bajo (1-2 puntos)
Nivel de desarrollo medio bajo (3-4 puntos)
Nivel de desarrollo medio alto (5-6 puntos)
Nivel de desarrollo alto (7-8 puntos)
La finalidad de concentrar la escala en 8 puntos es para que no existiera un nivel de
valoración medio, para que de alguna forma no sirviera como un espacio “cómodo” para
colocar aquellas valoraciones que no se tienen muy claras, de ahí que, sea necesario
ponderarse a una valoración más negativa o más positiva. Un espacio intermedio permite
una valoración neutra pero no aporta ninguna referencia al crecimiento, por lo cual se
consideró un rango de dos puntos en cada nivel.
Cuando se proceda a elaborar el vaciado de información una vez evaluada la
institución, se valora cada uno de los indicadores según el valor en esos cuatro niveles, al
tener dos puntos en cada nivel se asignará el puntaje más alto o más bajo según se
considere se ajuste a él.
155
Tabla 15:
Medición del Área de Consolidación Institucional
156
Tabla 16:
Medición del Área de Impacto Social
157
Procedimiento del llenado
Para evaluar a las Organización de la Sociedad Civil, se utilizará la escala de
medición de las dos áreas, cada una se debe llenar por separado, al iniciar con el área de
Consolidación Institucional en cada una de sus 3 dimensiones se revisa cada uno de los
criterios y según los indicadores y su escala se otorga un puntaje en la columna titulada
posición 1era, la siguiente columna se titula a desarrollar y es en donde especifica el
puntaje faltante para alcanzar el nivel optimo o deseado que son los 8 puntos en cada
criterio lo que nos da un total de 104 puntos, es importante mencionar que según los
resultados en esta última columna a desarrollar se darán las observaciones y sugerencias
que se requieren para llegar a alcanzar el nivel ideal.
Se muestra además dos columnas en donde visualizarán los resultados en una
segunda evaluación y el puntaje que le falta por desarrollar y, de esta manera se pueda
revisar el avance que la organización tuvo, ya sea si hubo una mejora o retroceso.
A continuación se presenta un gráfico que permite visualizar de una manera más
amena los resultados de la evaluación de la organización y lo que le falta por alcanzar.
Cabe destacar que los ejemplos aquí presentados de evaluación y sus gráficos, son
completamente ficticios, no corresponden a la evaluación de ninguna Organización, sólo
fue para fines ilustrativos del Modelo.
158
Tabla 17:
Puntaje del Área de Consolidación Institucional
POSICIÓN 1era A desarrollar POSICIÓN 2da A desarrollar
Planeación
administrativa4 4
Eficiencia 5 3
Transparencia 7 1
Eficacia 8 0
Pertinencia 7 1
Transparencia 7 1
Eficiencia 6 2
Eficacia 4 4
Replicabilidad 2 6
Sostenibilidad 2 6
Pertinencia 6 2
Pertenencia 5 3
Eficiencia 6 2
69 35
Gestión y
planeación de
los procesos
institucionale
s
Gestión y
planeación de
sus recursos
financieros
Gestión y
planeación de
sus recursos
humanos
159
Figura 16. Gráfico de Evaluación del Área de Consolidación Institucional
De la misma forma observamos el puntaje obtenido en el área de Impacto Social
012345678
Gestión y planeación de los procesos …
Gestión y planeación de los procesos …
Gestión y planeación de los procesos …
Gestión y planeación de los procesos …
Gestión y planeación de los procesos …
Gestión y planeación de sus recursos financieros …
Gestión y planeación de sus recursos financieros …
Gestión y planeación de sus recursos financieros …
Gestión y planeación de sus recursos financieros …
Gestión y planeación de sus recursos financieros …
Gestión y planeación de sus recursos humanos …
Gestión y planeación de sus recursos humanos …
Gestión y planeación de sus recursos humanos …
Posición Posición Ideal
160
Tabla 18:
Puntaje del Área de Impacto Social
POSICIÓN
1raA
desarrollar
POSICIÓN
2daA
desarrollar
Reconocimiento7 1
Replicabilidad 2 6
Divulgación5 3
Redes de
desarrollo 1 7
Atribución 3 5
18 22
Impacto Institucional
en la Comunidad
161
A continuación se presenta su gráfico
Figura 17. Gráfico de Evaluación del Área de Impacto Social
0
1
2
3
4
5
6
7
Impacto Institucional en la Comunidad Reconocimiento
Impacto Institucional en la Comunidad
Replicabilidad
Impacto Institucional en la Comunidad
Divulgación
Impacto Institucional en la Comunidad
Redes de desarrollo
Impacto Institucional en la Comunidad
Atribución
POSICIÓN 1ra A desarrollar
162
Una vez teniendo los resultados completos de las dos áreas a evaluar en las
Organizaciones, se presenta un gráfico concentrado que nos brinda un panorama general de
la institución, cuál es su posición y cuál es la posición ideal que le falta por alcanzar.
Tomaremos como base el mismo ejemplo de evaluación.
Figura 18. Concentrado de Consolidación Institucional
Figura 19. Concentrado de Impacto Social
163
Atendiendo a las limitaciones de la investigación que destacamos en el Capítulo I
en donde se mencionó que este Modelo sólo quedaría a nivel propuesta de evaluación y no
el desarrollo en sí, es importante destacar que su alcance se cumplió en su totalidad, sin
embargo, a futuro este proyecto puede tener una aplicación real y de mayor impacto al
pasar de un Modelo de Evaluación a una Certificación, siendo adoptado este Modelo por
alguna instancia que comparta el objetivo de trabajar en pro de la profesionalización de las
Organizaciones de la Sociedad Civil y cumpliendo claro está, con los requerimientos
necesarios para poder dar el grado de certificación.
164
Anexo A
Encuesta
La finalidad de esta encuesta es únicamente conocer su opinión respecto a los organismos
que aquí se mencionan, le agradecemos su valiosa colaboración.
1.- Organización que representa
2.- Marque por favor con una X si conoce alguna (s) de las siguientes organizaciones:
FILANTROFILIA CEMEFI CONFIO GESOC OTRA/ Cuál?
3.- Sabía usted, que las instancias antes mencionadas son evaluadoras de OSC´s?
Sí No
4.- Su organización cuenta con alguna evaluación/acreditación por parte de alguna de ellas?
Sí No
*si su respuesta es no, favor de pasar a la pregunta 7
¿Cuál(es)?
5.- ¿Qué beneficios le dio a su organización el contar con la evaluación?
6.- ¿Qué aspectos considera le faltó evaluar?
7.- Si conociera alguna instancia en N.L. que otorga una evaluación a las Organización de la
Sociedad Civil comprometida con la Comunidad, ¿le interesaría?
Sí No
8.- ¿Qué le gustaría que contemplara dicha evaluación?
Gracias por su tiempo
165
Referencias
Arredondo, M. & Sanz, B. (2007). Avances, desafíos y oportunidades en la evaluación de la
Cooperación Española para el desarrollo. En evaluación de la cooperación para el
desarrollo. (12ª ed.) Madrid: Colección Escuela Diplomática.
Cámara, L., Gómez, M. & Sainz, H. (2008). Fortalecimiento Institucional de Entidades de
Cooperación al Desarrollo. Madrid: Cideal.
Cemefi. (2014). Proceso de Acreditación. Centro Mexicano para la Filantropía.
Recuperado de http://www.cemefi.org/programas/indicadores-institucionalidad-y-
transparencia/proceso-de-acreditacion.html
Comisión Europea. (2006). Metodología de evaluación de la Ayuda Exterior de la
Comisión Europea. Guía para la evaluación de proyectos y programas.
Confío (2014) recuperado de http://confio.org.mx/inicio/logotipo-sello-de-osc-analizada-
por-confio-que-es/
Cooperación Austriaca para el Desarrollo. (2009). Guía de referencia para la evaluación de
proyectos y programas. Viena.
166
DGEI. (2014). Enfoque sobre la Evaluación Institucional. Dirección General de
Evaluación Institucional Universidad Nacional Autónoma de México. Recuperado de
http://dgei.unam.mx/?q=node/18
EMA. (2014). Acreditación. Acreditación y sus beneficios. Recuperado de
http://www.ema.org.mx/portal/index.php/Acreditacion/beneficios.html
Filantrofilia (s.f.). recuperado de http://www.filantrofilia.org.
Gesoc (s.f.). recuperado de http://www.gesoc.org.mx/site/?cat=5
Gómez, M., & Sainz, H. (2010). El ciclo del proyecto de cooperación al desarrollo. El
marco lógico en programas y proyectos: de la identificación a la evaluación. (8ª ed.)
Madrid: Cideal.
Hall, H. (2014). Institute Overhauls Accreditation Process for Nonprofit Accountability.
THE CHRONICLE OF PHILANTROPHY. Recuperado de
http://philanthropy.com/article/Institute-
Overhauls/146847/?cid=pw&utm_source=pw&utm_medium=en
Larrú, J. M. (2002). Razones para implantar un sistema de evaluación en las ONGD y sus
consecuencias. En Revista de Fomento Social, 57(228), 683-710.
167
Larrú, J. M. (2007). La evaluación del impacto: qué es, cómo se mide y qué está aportando
en la cooperación al desarrollo. En evaluación de la cooperación para el desarrollo. (12ª
ed.) Madrid: Colección Escuela Diplomática.
MAE & SECIPI. (1998). Metodología de evaluación de la Cooperación Española. Madrid:
Ministerio de Asuntos Exteriores.
MAEC & SECIPI. (2007). Manual de gestión de evaluaciones de la Cooperación
Española. Madrid: Ministerio de Asuntos Exteriores.
Medición de Impacto de ONG´s (2010). Evaluación de resultados: De las buenas
intenciones al impacto. Fundación Compromiso y Transparencia. Recuperado de
http://www.compromisoempresarial.com/rsc/2010/08/evaluacion-de-resultados-de-las-
buenas-intenciones-al-impacto/
Norma ISO 26000:2010 (2010). Modelo que proporciona las guías para el desarrollo de la
Responsabilidad Social en cualquier Organización. Responsabilidad Social. Recuperado de
http://www.globalstd.com/pdf/rs-iso26000-2010.pdf
OCDE. (1991). Comité de Ayuda al Desarrollo. Principles for Evaluation of Development
Assistance.
OCDE-CAD. (1995). Manual de la ayuda al desarrollo: principios del CAD para una
ayuda eficaz. Madrid, Ediciones Mundi-Prensa.
168
OCDE. (2002). Glosario de los principales términos sobre evaluación y gestión basada en
resultados. Principios de la propia Declaración de París.
OCDE. (2005). Declaración de París sobre la eficacia de la ayuda al desarrollo. Cideal.
OEDKE. (2004). Monitoring and Evaluation, some Tools, Methods & Approaches.
Operations Evaluation Department Knowledge Programs and Evaluation Capacity,
Development Group. Washington: The World Bank.
Oficina Regional para América Latina y el Caribe. (2013). Certificación y acreditación.
Depósito de Documentos de la FAO. Recuperado de
http://www.fao.org/docrep/004/ad094s/ad094s03.htm
ONNCCE. (2009). ¿Qué es la Certificación?. ONNCCE. Recuperado de
http://www.imcyc.com/ct2009/may09/publicidad/publicidad_onncce.pdf
Patton, M. Q. (1990). Qualitive Evaluation and Research Methods. California: Sage
Publications.
Ptrats, M. (2012). Marcos normativos de la rendición de cuentas de las organizaciones de la
sociedad civil en América Latina. Centro virtual para la transparencia y la rendición de
cuentas de la sociedad civil. Recuperado de http://rendircuentas.org/2012/04/marcos-
normativos-de-las-organizaciones-de-la-sociedad-civil-en-latinoamerica/
169
Programa Nacional de Desarrollo del Sector de la Educación. (2010). Plan Director de la
Sanidad y de los Asuntos Sociales. Ministerio de Sanidad y Asuntos Sociales.
Rodríguez, J. & Zeballos, M. (2007). Evaluación de Proyectos de Desarrollo Local.
Enfoques, Métodos y Procedimientos. Lima, Perú: DESCO.
Ross, G. (2012). Evaluación del Impacto en una Organización de la Sociedad Civil, para la
Mejora del Desempeño Humano y Social. Instituto Tecnológico de Sonora.. Recuperado de
http://www.itson.mx/publicaciones/Documents/tesis-
doct/evaluaciondelimpactoenunaorganizacion.pdf
SGS. (2014). Servicios por tipo Certificación. SGS. Recuperado de http://www.sgs.mx/es-
ES/Service-by-Type-Path/Certification.aspx
SGS (2014). Evaluación de Prestaciones para Ong´s. Sector Público. Recuperado de
http://www.sgs.mx/es-ES/Public-Sector/Monitoring-Services/NGO-Benchmarking.aspx
Standards for Institute excellence. (2014). Accreditation and Recognition Program..
Recuperado de http://www.standardsforexcellenceinstitute.org/dnn/Accreditation.aspx
UD-NORAD & IUDC-CEDEAL. (1997). Evaluación de proyectos de ayuda al desarrollo:
Manual para evaluadores y gestores. Madrid.