informe de evaluación - plan de choque de competencias

Informe de Evaluación - Plan de choque de Competencias Digitales Básicas
1
ÍNDICE
1.2. Objetivo, justificación y utilidad ....................................................................................... 6
1.3. Estructura del informe ...................................................................................................... 7
2. Descripción de la intervención ................................................................................................. 8
2.1. Análisis del contexto ......................................................................................................... 8
2.2. Plan de choque en formación de Competencias Digitales Básicas ................................ 10
2.3. Condicionantes y limitaciones evaluativas ..................................................................... 13
3. Consideraciones metodológicas ............................................................................................. 15
3.1. Análisis cuantitativo ........................................................................................................ 16
3.2. Análisis cualitativo ........................................................................................................... 18
4. Análisis e interpretación de los resultados e impactos ......................................................... 24
4.1. Análisis de la eficacia: Ejecución física ............................................................................ 24
4.2. Resultados tras la finalización del programa .................................................................. 28
4.3. Estimación del impacto del programa ............................................................................ 34
4.4. Resultados del cuestionario online ................................................................................. 47
4.5. Una mirada en el empleo. ............................................................................................... 51
5. Análisis cualitativo del Programa para el desarrollo de Competencias Digitales Básicas ... 54
5.1. Diseño del Plan de choque .............................................................................................. 54
5.2. Gestión del Programa ...................................................................................................... 56
5.3. Resultados percibidos a nivel cualitativo ....................................................................... 61
6. Conclusiones derivadas de la evaluación .............................................................................. 65
7. Recomendaciones y propuestas de actuación ...................................................................... 71
Anexos ......................................................................................................................................... 74
Anexo II. Cuestionario telefónico población usuaria ............................................................ 75
Anexo III. Cuestionario telefónico población general ........................................................... 79
Anexo IV. Cuestionario online ................................................................................................ 83
Anexo V. Agradecimientos ..................................................................................................... 84
2
Tabla 1. Ficha técnica de caracterización de la encuesta. ......................................................... 17
Tabla 2. Listado de personas participantes en las entrevistas realizadas. ............................... 21
Tabla 3. Personas participantes en el plan de choque, según Sexo, Edad y Nivel formativo. . 25
Tabla 4. Distribución de cursos y participantes, según Nivel del curso. ................................... 25
Tabla 5. Distribución de cursos y participantes según Zona geográfica. .................................. 26
Tabla 6. Distribución de cursos y participantes según Localidad. ............................................ 27
Tabla 7. Tipo de ayuda para la adquisición de conocimientos. ................................................ 28
Tabla 8. Lugar de conexión fuera del hogar. ............................................................................. 34
Tabla 9. Motivo de elección de gestión presencial en trámites con la Administración pública.
..................................................................................................................................................... 46
Tabla 10. Correos enviados y respuestas recibidas del cuestionario online. ........................... 47
Tabla 11. Población según estado en la Base de Datos del SNE-NL. ......................................... 53
3
Gráfico 1. Origen de la adquisición de conocimientos. ............................................................. 28
Gráfico 2. Valoración de la ayuda que supone el uso de Internet. ........................................... 29
Gráfico 3. Valoración del curso de Competencias Digitales Básicas. ........................................ 30
Gráfico 4. Aplicación de conocimientos adquiridos tras la realización del curso. ................... 31
Gráfico 5. Lugar de conexión a Internet. ................................................................................... 32
Gráfico 6. Dispositivos utilizados para conectarse a Internet. ................................................. 33
Gráfico 7. Caracterización como personas usuarias de Internet: Comunicación con familiares
y amigos y Búsqueda de información sobre temas de interés. ................................................ 36
Gráfico 8. Caracterización como personas usuarias de Internet: Búsqueda de empleo,
Utilización de servicios públicos digitales y Acceso a Redes Sociales. ..................................... 37
Gráfico 9. Caracterización como personas usuarias de Internet: Búsqueda de empleo,
Utilización de servicios públicos digitales y Acceso a Redes Sociales. ..................................... 38
Gráfico 10. Caracterización de la población según el uso que hace de Internet. ..................... 39
Gráfico 11. Porcentaje de mejora de CDB: Localizar información, Comunicarse a través de
Internet, Acceder y navegar en páginas web y Manejar un ordenador. .................................. 41
Gráfico 12. Porcentaje de mejora de CDB: Riesgos de Internet, Búsqueda o mejora de empleo
y Trámites online con la Administración pública. ..................................................................... 42
Gráfico 13. Porcentaje de mejora de CDB: Riesgos de Internet, Búsqueda o mejora de empleo
y Trámites online con la Administración pública. ..................................................................... 43
Gráfico 14. Valoración de Competencias Digitales Básicas. ...................................................... 45
Gráfico 15. Preferencia en la gestión de trámites con la Administración Pública. .................. 46
Gráfico 16. Nivel de conocimientos según competencia digital valorada. ............................... 48
Gráfico 17. Tipología de trámites con la Administración pública: Salud, Ayuntamiento y
Servicios Sociales de Base/Unidades de Barrio. ........................................................................ 49
Gráfico 18. Tipología de trámites con la Administración pública: Seguridad Social, Servicio
Navarro de Empleo y Servicio Público de Empleo Estatal. ........................................................ 50
Gráfico 19. Principal dispositivo de conexión a Internet. ......................................................... 51
Gráfico 20. Frecuencia de conexión a Internet. ......................................................................... 51
Gráfico 21. Población según estado en la Base de Datos SISPE del SNE-NL. ............................ 52
4
1. Introducción
El Informe de Evaluación del Plan de choque del Programa para el Desarrollo de Competencias Digitales Básicas presenta los resultados e impactos derivados de la ejecución de esa intervención durante el periodo que abarcan los meses de junio a octubre de 2020. Este programa de formación del Servicio Navarro de Empleo - Nafar Lansare (en adelante SNE-NL) aparece en un momento de elevada complejidad en tanto que se trataba de los primeros meses de la pandemia de enfermedad por coronavirus (COVID-191) y, por tanto, el contexto socioeconómico se definía por una elevada incertidumbre y un importante incremento del desempleo como consecuencia de la paralización repentina de la actividad económica y social. En esta situación, el Plan de choque puesto en marcha por el SNE-NL pretendía paliar el problema de carencias en cuanto a Competencias Digitales Básicas (en adelante CDB) observado durante los primeros meses de pandemia, que tenía como resultado la falta de acceso por parte de la población a muchos de los servicios digitales que en ese momento se ofrecían por parte del Gobierno de Navarra o de otras instituciones de la Administración pública central, como podían ser el Servicio Público de Empleo Estatal (en adelante SEPE) o la Tesorería General de la Seguridad Social.
1.1. Objeto y alcance
El objeto central de la evaluación es el Plan de choque del Programa para el Desarrollo de Competencias Digitales Básicas del SNE-NL. Este programa se articula a través de cursos de formación dirigidos a personas que quieren o necesitan reforzar sus capacidades en cuanto a conocimientos digitales en un nivel básico. Se trata, por tanto, de un programa enmarcado dentro de la oferta formativa del SNE-NL que se vincula, en este caso, a la mejora de la empleabilidad a través de la adquisición de Competencias Digitales Básicas. Sin embargo, como se detallará dentro de este informe de evaluación, esta intervención ha tenido efectos positivos más relevantes en cuanto a la reducción de la llamada brecha digital, que con relación a la mejora de la empleabilidad o el acceso al empleo de la población participante. Se trata de una situación lógica, que la evaluación ha venido a confirmar, atendiendo tanto a los contenidos y duración de los cursos como al contexto socioeconómico en el que se ha desarrollado.
El objetivo del SNE-NL con el lanzamiento y financiación de esta intervención era el de lograr una mejora en las competencias digitales de la población participante que tuviera un resultado positivo desde una doble perspectiva. Por un lado, mejorando la empleabilidad de personas desempleadas en un contexto actual donde el uso de tecnologías digitales es esencial en la práctica totalidad de los empleos que se generan. Por otra parte, reduciendo la brecha digital existente en esas personas, ya que ésta supone un condicionante en cuanto a su conexión con servicios esenciales de la Administración pública y tiene como resultado limitaciones en relación con su calidad de vida.
Hay que indicar como elemento clave para el desarrollo de este programa su implementación a través de ayuntamientos. Se trataba de una intervención del SNE-NL a la que podía adherirse cualquier municipio o entidad local de Navarra a través de la firma de un convenio con el ayuntamiento correspondiente. En este sentido, durante el informe se hablará en todo momento de ayuntamiento, ya que fueron las entidades con la que se suscribieron los acuerdos para participar en el Plan de choque. De forma concreta, las Agencias de Empleo del SNE-NL ejercían como elemento de intermediación, contactando con los ayuntamientos para
1 La pandemia de enfermedad por coronavirus (COVID-19) está ocasionada por el virus coronavirus de tipo 2 causante del síndrome respiratorio agudo grave (SARS-CoV-2). La Organización Mundial de la Salud (OMS) la reconoció como una pandemia global el 11 de marzo de 2020.
5
presentarles el programa, indicándoles que cualquier entidad local o municipio se podía adherir al programa y solicitar la impartición de cursos en su territorio. Con la firma del convenio, los ayuntamientos se comprometían a poner en disposición del SNE-NL las instalaciones y equipamientos necesarios para impartir la formación. Es conveniente indicar que las Agencias de Empleo tuvieron un papel destacado en esta primera fase del Plan de choque, gracias a su presencia en el territorio y conocimiento de la población a la que se dirigían.
Respecto de la infraestructura era necesario disponer de locales equipados (mesa, proyector/pizarra, wifi o cobertura móvil, ordenadores/tablets) y prestar apoyo logístico (limpieza, mantenimiento, etc.). Sin embargo, en el caso de aquellos ayuntamientos que no disponían de todo el equipamiento, pero tenían interés en esta formación, se formalizaba igualmente el acuerdo y se impartían los cursos, siendo el SNE-NL quien aportaba el equipo móvil necesario para realizar la formación de manera adecuada.
Además de lo anterior, el papel de los ayuntamientos ha sido clave en la implementación del programa en tanto que ellos también hacían difusión del programa, captación de personas interesadas en asistir a los cursos y colaboración para el seguimiento del alumnado. En ese sentido, como se verá a lo largo de la evaluación ha sido muy relevante la intervención de los Servicios Sociales de Base, y Unidades de Barrio en el caso de Pamplona, en el acceso al programa, definiendo en cierta manera los resultados que finalmente se han obtenido.
Además de los ayuntamientos, la intervención evaluada contó con la colaboración de la Federación Navarra de Municipios y Concejos (en adelante FNMC) y las direcciones generales del Gobierno de Navarra de Administración Local y Despoblación, de Telecomunicaciones y Digitalización, de Protección Social y Cooperación al Desarrollo, y la del Observatorio de la Realidad Social, de Planificación y Evaluación de las Políticas Sociales.
En cuanto a la delimitación del alcance de la evaluación, se indican a continuación qué dimensiones del objeto van a ser consideradas en cuanto a la institución que se ocupa de la gestión y aplicación del programa a evaluar, el ámbito sectorial, el área geográfica, el periodo de tiempo y la población beneficiaria.
Dimensión institucional: Se trata de un programa formativo del SNE-NL que se ha impartido en colaboración con 36 ayuntamientos de diferentes localidades de la Comunidad Foral de Navarra.
Dimensión sectorial: El Plan de choque del Programa para el Desarrollo de Competencias Digitales Básicas se encuentra dentro la oferta de formación profesional para el empleo del SNE-NL.
Dimensión geográfica: El ámbito geográfico al que se dirigía la intervención era la totalidad de la Comunidad Foral en el sentido de que cualquier ayuntamiento de Navarra podía solicitar participar en el programa.
Dimensión temporal: La duración del plan de choque fue de 5 meses, iniciándose las primeras acciones formativas durante el mes de junio de 2020 y finalizando en octubre de ese mismo año.
Población beneficiaria: La población destinataria de los cursos eran personas desempleadas, afectadas por ERTES y en mejora de empleo, con dificultades en cuanto a habilidades digitales relacionadas con la denominada brecha digital.
Para cerrar este apartado vinculado a la definición del objeto evaluado, se presenta a continuación un resumen de las principales características de los cursos de Competencias Digitales Básicas impartidos.
Objetivo del curso: Reforzar las Competencias Digitales Básicas a través de talleres prácticos para usar diferentes herramientas y conocer las oportunidades que brinda el entorno digital
6
de cara a encontrar un empleo y para facilitar gestiones personales. De forma complementaria, se pretendía alcanzar una mejora de la empleabilidad de estas personas a través de ese incremento de Competencias Digitales Básicas.
Duración: 25 horas, impartido en una semana en sesiones de 5 horas al día.
Contenido: Manejo del móvil, tablet y ordenador, dar de alta y gestionar una cuenta de correo electrónico, utilizar las conexiones a internet, solicitud on line de los principales servicios públicos de Navarra, videoconferencias y firma electrónica, redacción de textos o currículum, etc.
Ratio alumnado: 10-12 personas por aula.
Niveles formativos:
- Nivel 1 dirigido a personas sin experiencia en equipamientos y navegación.
- Nivel 2 focalizado en personas que ya disponen de nociones digitales básicas.
Metodología: Sesiones presenciales impartidas por un formador o formadora que además prestará asesoramiento tutorizado online al alumnado que lo solicite.
1.2. Objetivo, justificación y utilidad
Objetivo.
El objetivo principal de esta evaluación trata de estimar los resultados e impactos derivados de la implementación del Plan de choque en relación a las Competencias Digitales Básicas de la población beneficiaria.
Asimismo, más allá de su función como instrumento para la rendición de cuentas a través de la estimación de resultados e impactos, esta evaluación pretende servir como herramienta de aprendizaje identificando aspectos estratégicos clave de cara a la mejora en la implementación de posteriores ediciones de esta intervención pública o de otras cuya población destinataria, objetivos y contenidos sean iguales o similares.
Atendiendo a lo expuesto, los objetivos esenciales de la evaluación son los siguientes:
Estimar el impacto en la población usuaria de los cursos de Competencias Digitales Básicas a través de la comparación con un grupo de población no participante, haciendo uso de una metodología de evaluación de carácter cuasi experimental.
Identificar en qué medida la intervención diseñada por el SNE-NL es pertinente y coherente respecto a los problemas que pretende abordar y cómo afecta su gestión a los resultados obtenidos.
Valorar el impacto sobre la población participante desde una doble perspectiva: en relación a sus capacidades digitales y en el acceso a un empleo.
Analizar el grado de satisfacción de la población participante en los cursos de Competencias Digitales Básicas con la formación recibida.
Elaborar conclusiones y recomendaciones para la mejora en el diseño y gestión de programas de formación para el desarrollo de Competencias Digitales Básicas.
Utilizar la evaluación como herramienta de aprendizaje que aporta evidencias de cara a la mejora en el diseño, gestión y ejecución de intervenciones públicas similares en cuanto a objetivos, contenidos y población a la que se dirige.
7
Generar conocimiento para el impulso de evaluaciones desde una perspectiva didáctica, a modo de una evaluación formativa, con el objetivo de ofrecer un instrumento metodológico sobre planificación y evaluación de políticas públicas.
Justificación y utilidad.
Atendiendo al Decreto Foral 268/2019, de 30 de octubre, el Servicio del Observatorio de la Realidad Social (en adelante ORS) ejercerá, dentro del ámbito material de la investigación aplicada, la planificación y la evaluación de las políticas públicas de servicios sociales y empleo, así como el análisis de los procesos de transformación social y de los problemas sociales. Por tanto, el Observatorio cuenta con potestad normativa para evaluar la intervención en tanto que la entidad encargada de su diseño y gestión es el SNE-NL.
Además de lo anterior, el hecho de ser una intervención vinculada a paliar los efectos negativos derivados de la llamada brecha digital supone que la valoración de sus resultados e impactos se insertan dentro de las evaluaciones previstas por el ORS atendiendo a su carácter de transformación social.
En la actualidad, la eficiencia en la gestión pública se vincula a procesos de diseño e implementación de políticas basadas en la evidencia. En ese sentido, la evaluación se configura como una importante herramienta de apoyo en la toma de decisiones sobre este tipo de intervenciones, ya que la aplicación de metodologías experimentales, o cuasi experimentales como ocurre en este caso, permiten estimar de la manera más adecuada posible los impactos reales del programa evaluado e identificar sus potenciales ámbitos de mejora.
Por último, esta evaluación pretende aportar utilidad desde su concepción como herramienta de aprendizaje, presentándola a las diferentes unidades que conforman el Departamento de Derechos Sociales como un instrumento que supone una oportunidad de mejora de la calidad de la gestión pública y la rendición de cuentas ante la ciudadanía, insertado en un proceso de mejora continuo.
1.3. Estructura del informe
Este informe final de evaluación se articula a partir de siete capítulos que abarcan la totalidad de los elementos que conforman un proceso evaluativo y un octavo epígrafe de anexos que sirve de complemento a la información presentada a lo largo del documento.
El capítulo 1 tiene un objetivo introductorio del trabajo e incluye una descripción del objeto evaluado y su alcance, los objetivos de la evaluación, su justificación y utilidad y, por último, la estructura del documento. En el capítulo 2 se ofrece una descripción de la intervención evaluada, ampliando con aspectos estratégicos la información presentada en el capítulo inicial y detallando elementos que han supuesto condicionantes o limitaciones evaluativas.
A lo largo del capítulo 3 se recoge la síntesis metodológica y la descripción de las herramientas empleadas para el desarrollo de la evaluación. Dentro de este tercer apartado aparece de forma relevante el epígrafe donde se describe la metodología cuasi experimental aplicada en la estimación del impacto del programa en la población beneficiaria.
El bloque central del informe está conformado por los capítulos 4 y 5, donde se incluye el análisis de los aspectos cuantitativos y cualitativos de esta evaluación. En primer lugar, el cuarto epígrafe de este informe presenta la estimación de resultados e impactos obtenida a partir de la aplicación de una metodología evaluativa de carácter cuasi experimental. A continuación, el quinto apartado incluye los hallazgos identificados en la investigación cualitativa que ayudan a contextualizar de forma adecuada los resultados de carácter cuantitativo.
8
Para finalizar, los capítulos 6 y 7 incluyen las conclusiones obtenidas en la evaluación y las recomendaciones derivadas del análisis realizado. Se trata de reflexiones basadas en los resultados de la propia evaluación, en el proceso de triangulación efectuado y que pretenden servir a modo de orientación en la toma de decisiones por parte del Gobierno de Navarra.
A modo de cierre del documento se insertan los epígrafes correspondientes a los Anexos, en los que se incluyen los guiones utilizados para el desarrollo de las entrevistas en profundidad, los cuestionarios para la entrevista telefónica y el cuestionario de valoración online.
2. Descripción de la intervención
2.1. Análisis del contexto
La pandemia causada por el COVID-19 que se inició en marzo de 2020 supuso un cambio radical en el contexto social conocido hasta ese momento. El Real Decreto 463/2020, de 14 de marzo, por el que el Gobierno central declaraba el estado de alarma para la gestión de la situación de crisis sanitaria ocasionada por el COVID-19 y el Decreto-Ley Foral 1/2020, de 18 de marzo, a través del cual el Gobierno Foral aprobó medidas urgentes para responder al impacto generado por esa misma circunstancia, definieron un escenario donde la población se vio obligada a permanecer en sus casas sin poder salir excepto para realizar tareas esenciales y siempre de una forma controlada y regulada.
Al mismo tiempo, la relación de la ciudadanía con la Administración pública cambió totalmente debido a que la presencialidad en la atención y prestación de servicios públicos pasó a ser la excepción y no la norma. De este modo, a partir de ese momento la atención de forma virtual a través de Internet o el teléfono fue el método más usado a la hora de hacer gestiones con la Administración. Esta situación llegó a tal extremo que en muchos ámbitos como el del Empleo o los Derechos Sociales la atención pasó a ser virtual en su totalidad. De hecho, se dio el caso de que incluso la atención sanitaria en el ámbito primario se desarrollaba en la mayoría de los casos a través del teléfono.
Se produjo, por tanto, una situación donde la relación de la ciudadanía con la Administración pública se producía mayoritariamente desde los hogares, haciendo uso de Internet y de las nuevas tecnologías. En este contexto, desde los Gobiernos central y Foral se tomaron decisiones vinculadas en muchos casos a la prórroga automática de plazos finales en aquellos trámites administrativos que se encontraban abiertos, y a la ampliación de otros que estaban pendientes de realizarse. Esto se dio especialmente en el caso de los trámites con Hacienda y en el ámbito de los servicios públicos de empleo, debido a que la crisis socioeconómica derivada de la pandemia tuvo como resultado directo un rápido incremento del número de personas que pasaban a situación de desempleo, y de empresas que tenían dificultades para atender sus pagos, tanto a nivel de sueldos y salarios, como de proveedores y con la propia Administración.
Sin embargo, con el paso de las semanas se observó que la ampliación de los plazos y las prórrogas concedidas a nivel de trámites administrativos no serían una solución definitiva, pues nadie era capaz en ese momento de definir con precisión cuándo se podría volver a la presencialidad en la prestación de servicios por parte de las Administraciones públicas.
A la situación descrita se le unía otro condicionante muy importante como era la existencia de la llamada brecha digital. Este concepto se viene analizando desde los años 80 y se centra en la existencia de desigualdades en el acceso, uso o impacto de las nuevas Tecnologías de la Información y la Comunicación (en adelante TIC) en la población.
9
Si bien inicialmente el foco del análisis se posicionaba esencialmente en el acceso, más que en el uso, y además se vinculaba a niveles de renta y formación más bajos, los datos recopilados en los últimos años han puesto de manifiesto que no es así. El momento actual está definido por una penetración muy elevada y de carácter global de la telefonía móvil, además de por la capacidad de los proveedores de Internet de llevar la conexión a cualquier lugar del planeta. Sin embargo, aparecen diferencias importantes en cuanto a la calidad y velocidad de la conexión a Internet dependiendo de la zona o región, o de la capacidad económica de quien la contrata. Asimismo, la rápida evolución de los dispositivos de conexión y del software informático ha supuesto que, en muchos casos, las carencias en cuanto a conocimientos y habilidades digitales aparezcan de forma generalizada en cualquier sector de la población, independientemente de su nivel de renta y de estudios.
En ese sentido, durante el mes de mayo de este año 2021 se presentó un estudio promovido por el Colegio Oficial de Ingenieros Industriales de Navarra, la Fundación Industrial Navarra y la Fundación La Caixa que puso de manifiesto las brechas existentes en materia de competencias digitales, así como las necesidades formativas en ese sentido, atendiendo al marco DigComp2 de la Unión Europea. Este marco de competencias digitales DigComp es una herramienta definida para el desarrollo de la competencia digital de la ciudadanía en el ámbito de la Unión Europea. El marco incluye una descripción detallada de todas las habilidades necesarias para ser competente en entornos digitales. Además, describe esas competencias en términos de conocimientos, habilidades y actitudes, definiendo de forma concreta los niveles dentro de cada una de ellas.
Atendiendo al contexto anterior descrito, el Servicio Navarro de Empleo a través de su Servicio de Desarrollo de Competencias Profesionales decidió diseñar y poner en marcha un Plan de choque a través de un Programa de Desarrollo de Competencias Digitales Básicas, con el objetivo fundamental de atender desde la Administración pública de la Comunidad Foral las necesidades existentes en ese momento en cuanto a brecha digital.
Esencialmente se trataba de alcanzar un doble objetivo con la impartición de los cursos. Por un lado, conseguir que la ciudadanía no se quedara “desconectada” de la Administración pública, facilitándole la formación necesaria para poder interactuar de forma virtual a través de páginas webs, aplicaciones y del uso de otras herramientas como los certificados digitales, que son exigencias en muchos casos para la realización de determinados trámites. Por otra parte, estos cursos se insertaban dentro del programa de Formación para el Empleo del SNE-NL, por lo que se esperaba que tuvieran un resultado positivo en cuanto a la mejora de la empleabilidad de las personas participantes. Este último aspecto se consideraba necesario en tanto que el paro registrado3 en Navarra se había incrementado de forma considerable como resultado de aquellas personas que habían perdido su empleo.
De forma concreta, el SNE-NL dirigió su intervención a aquellas personas en situación de desempleo, Expediente de Regulación Temporal de Empleo (en adelante ERTE) o mejora de empleo, que necesitaban mejorar sus competencias digitales tanto para relacionarse con la propia Administración pública como para situarse en mejores condiciones de cara a acceder a un mercado laboral, que actualmente demanda un mínimo de competencias personales de carácter digital. En este sentido, una exigencia a la hora de acceder al curso era encontrarse inscrito/a dentro de la base de datos del SNE-NL, del mismo modo que ocurre con cualquier persona que quiera acceder a la oferta de Formación Profesional para el Empleo (en adelante FPE).
2 Marco Europeo de Competencias Digitales DigComp https://ec.europa.eu/jrc/en/digcomp 3 Entre marzo y abril de 2020 se registraron incrementos del paro registrado que a nivel intermensual fueron de más del 9% y en el periodo interanual superaron el 30%.
10
Asimismo, desde el equipo del Servicio de Desarrollo de Competencias Profesionales se consideraba en ese momento que, en muchos casos, las relaciones con la Administración pública a través de Internet y haciendo uso de las TIC no serían algo circunstancial y temporal. Es decir, aunque en muchos casos este proceso había surgido motivado por las restricciones de la pandemia, sería una situación que permanecería en el tiempo. Esto es así, en tanto que desde hace un tiempo se ha iniciado un proceso de trasformación digital en la sociedad que no es de carácter coyuntural, sino que de tipo estructural y permanecerá en el tiempo.
El tiempo ha venido a confirmar el supuesto anterior, constatando que la pandemia sólo fue el elemento que provocó un cambio que ha continuado después de los meses más complicados, y permanece tras el levantamiento del confinamiento y la vuelta a la presencialidad. Ejemplo concreto de esta situación son indicadores como que las reuniones de trabajo, tanto en el caso de empresas privadas como dentro de la Administración, siguen haciéndose a través de videollamada, que el teletrabajo se entiende ya como una medida de conciliación activa y que la atención en muchos ámbitos de la Administración pública se ofrece ahora tanto de forma presencial, como virtual a través de su página web o de aplicaciones de telefonía móvil.
Hay que mencionar que la implementación del Plan de choque se hizo con la participación de los ayuntamientos y de sus Servicios Sociales de Base o Unidades de Barrio (en adelante SSB/UB) en el caso de Pamplona. En ese sentido, si bien la iniciativa estuvo liderada y financiada por el SNE-NL, el acceso a la población beneficiaria de los cursos se realizó con la colaboración de las entidades locales, que tal y como se ha explicado en el apartado donde se describe el objeto de evaluación, facilitaban locales e infraestructuras para impartir la formación y gestionaban la difusión del programa y el acceso de la población interesada en participar.
Por último, es conveniente indicar que en el caso de Tudela se dio la circunstancia de que fue la Fundación Dédalo para la Sociedad de la Información la encargada de la gestión del Programa de Competencias Digitales Básicas. La Fundación Dédalo es una entidad sin ánimo de lucro que tiene como objetivo principal la promoción, el impulso y desarrollo de la sociedad de la información en el área geográfica de la Ribera de la Comunidad Foral de Navarra. Con ese objetivo realizan actividades en el ámbito de la ciudadanía, empresas, emprendedores y organizaciones, tal y como ocurrió en el caso de la intervención evaluada. Esta situación de intervención de la Fundación Dédalo solo se dio en Tudela, ya que en el resto de las zonas geográficas fue personal docente, que presta servicios de forma independiente y por cuenta propia, quien fue contratado por el Servicio Navarro de Empleo para la impartición de los cursos.
2.2. Plan de choque en formación de Competencias Digitales Básicas
El Servicio Navarro de Empleo ofrece a través de su portal de formación una amplia oferta de cursos4 de diferentes temáticas y de carácter gratuito dirigida a personas desempleadas. Sin embargo, además de su oferta formativa permanente que incluye formación en competencias digitales, el Plan de choque del Programa para el Desarrollo de Competencias Digitales Básicas se diseñó e implementó en junio de 2020 para atender la coyuntura concreta descrita en el epígrafe anterior. Esta intervención se efectuó a través de la impartición de cursos de formación de dos niveles:
Nivel 1, dirigido a personas sin experiencia en equipamientos y navegación en Internet.
Nivel 2, focalizado en personas con algunas nociones esenciales de Internet.
De forma concreta, se presentan a continuación dos tablas donde se incluye un resumen de los aspectos esenciales que definen cada uno de los niveles de la formación impartida.
4 Portal web donde se encuentra la oferta formativa del Servicio Navarro de Empleo - Nafar Lansare https://formacion.navarra.es/
11
Resultado esperado
Al finalizar el curso, el alumnado será capaz de desarrollar habilidades y destrezas para realizar trámites online de forma segura con las administraciones públicas en general. También, el alumnado será capaz de manejar y configurar diferentes plataformas de videoconferencia que le permitirán incorporarse al entorno de la formación online, así como del teletrabajo.
Requisitos Personas inscritas en el SNE-NL como Demandantes de Empleo (desempleadas o no). Dominio del idioma castellano hablado, leído y escrito.
Personas Destinatarias
Personas con escasas competencias digitales.
Personas con menor cualificación: desempleadas o trabajando hasta el decreto de alarma (en situación de ERTE).
Duración 25 horas.
Modalidad
Formación muy práctica orientada a destreza y reto personal.
Acceso a píldoras formativas para afianzar lo aprendido durante el curso.
Alumnado Entre 10 y 12 personas.
Información https://formacion.navarra.es/es/competencias-digitales-basicas
MÓDULO 1. AJUSTES BÁSICOS DE CONFIGURACIÓN PARA WINDOWS Y ANDROID.
UNIDAD 1. Descripción de diferentes dispositivos digitales.
MÓDULO 2. NAVEGACIÓN EN INTERNET Y TIPOS DE ARCHIVOS.
UNIDAD 1. El navegador.
UNIDAD 2. Navegar, buscar y filtrar datos, información y contenidos digitales.
UNIDAD 3. Trabajo con ficheros.
MÓDULO 3. VIDEOCONFERENCIA CON ZOOM.
UNIDAD 1. Configuración básica de Zoom.
UNIDAD 2. Iniciar una videollamada.
UNIDAD 3. Unirse a una videollamada.
UNIDAD 4. Seguridad y privacidad.
UNIDAD 5. Interpretar los posibles errores y mensajes del sistema.
MÓDULO 4. EL CORREO ELECTRÓNICO DE GMAIL Y LA AGENDA DE CONTACTOS GOOGLE CONTACTS.
UNIDAD 1. Crear una cuenta de GMAIL.
UNIDAD 2. Descripción general de la interfaz.
UNIDAD 3. La bandeja de entrada.
UNIDAD 4. Adjuntar un archivo.
UNIDAD 5. Administrar el correo con etiquetas.
UNIDAD 6. Uso de la barra de búsqueda.
UNIDAD 7. Descripción general de la interfaz de Google Contacts.
UNIDAD 8. Crear, editar, combinar y eliminar contactos.
UNIDAD 9. Contactos duplicados.
MÓDULO 5. LA NUBE DE GOOLGE DRIVE.
UNIDAD 1. Crear carpetas, organizarlas y eliminarlas.
UNIDAD 2. Descargar archivos, eliminarlos y renombrarlos.
MÓDULO 6. TRABAJO FIN DE CURSO.
Unidad 1. Asignación de un reto de producción de un trabajo de interés sustancial para cada persona (Curriculum, Formulario, Texto, Tramitación real...)
12
Resultado esperado
Al finalizar el curso, el alumnado será capaz de desarrollar habilidades y destrezas para realizar trámites online de forma segura con las administraciones públicas en general. También, el alumnado será capaz de manejar y configurar diferentes plataformas de videoconferencia que le permitirán incorporarse al entorno de la formación online, así como del teletrabajo.
Requisitos Personas inscritas en el SNE-NL como Demandantes de Empleo (desempleadas o no). Dominio del idioma castellano hablado, leído y escrito.
Destinatarios
Personas con menor cualificación: desempleadas o con trabajos, muy operativas hasta el decreto de alarma (en situación de ERTE).
Duración 25 horas.
Modalidad
Formación muy práctica orientada a destreza y reto personal.
Acceso a píldoras formativas para afianzar lo aprendido durante el curso.
Alumnado Entre 10 y 12 personas.
Información https://formacion.navarra.es/es/competencias-digitales-basicas
MÓDULO 1. NAVEGACIÓN EN INTERNET Y TIPOS DE ARCHIVOS.
UNIDAD 1. Navegar, buscar y filtrar datos, información y contenidos digitales.
UNIDAD 2. Evaluar datos, información y contenidos digitales.
UNIDAD 3. Descarga de archivos, apps y escaneo de códigos QR.
MÓDULO 2. SISTEMAS DE VIDEOCONFERENCIA Y TELETRABAJO.
UNIDAD 1. Equipamiento para la videoconferencia.
UNIDAD 2. Videoconferencias con Zoom.
UNIDAD 3. Otros sistemas para realizar videoconferencias.
MÓDULO 3. HERRAMIENTAS DE GOOGLE.
UNIDAD 1. El correo de Gmail.
UNIDAD 2. La agenda de contactos. Google Calendar.
UNIDAD 3. Utilidades avanzadas de Google Drive.
MÓDULO 4. TIPOS DE ACREDITACIONES DIGITALES.
UNIDAD 1. Sistema Cl@ve.
UNIDAD 3. Certificado digital.
UNIDAD 4, DNI electrónico.
MÓDULO 5. TRÁMITES FRECUENTES Y DESCARGA DE DOCUMENTOS ONLINE CON GOBIERNO DE NAVARRA Y OTRAS ADMINISTRACIONES PÚBLICAS.
UNIDAD 1. SNE-NL Gestión de las demandas, consulta de las ofertas de empleo y de la oferta formativa.
UNIDAD 2. SALUD ¿Cogemos una cita médica?
UNIDAD 3. HACIENDA Obtención del PIN.
UNIDAD 4. AYUNTAMIENTOS Padrón y otros trámites.
UNIDAD 5. DIRECCIÓN GENERAL DE TRÁFICO Consulta de puntos.
UNIDAD 6. SEGURIDAD SOCIAL Informe de vida laboral.
MÓDULO 6. SEGURIDAD DE LOS TRÁMITES ONLINE.
UNIDAD 1. Mecanismos que garantizan la seguridad en Internet.
UNIDAD 2. Contraseñas robustas y fuertes.
UNIDAD 3. Consejos para una navegación segura en internet.
UNIDAD 4. Estafas en internet, ¿cómo evito caer en la trampa?
MÓDULO 7. TRABAJO FIN DE CURSO.
Unidad 1. Asignación de un reto de producción de un trabajo de interés sustancial para cada persona (Curriculum, Formulario, Texto, Tramitación real...)
13
2.3. Condicionantes y limitaciones evaluativas
Los dos principales condicionantes que se han abordado por parte del equipo evaluador del Observatorio de la Realidad Social han estado vinculados, por un lado, a la carencia de un diagnóstico previo y a la existencia de una estrategia programática derivada del mismo. Y, por otro lado, a la selección de los grupos de población necesarios para la aplicación de la metodología de carácter cuasi experimental diseñada para la estimación del impacto de la intervención evaluada.
En el caso de la carencia de un diagnóstico y una estrategia programática asociada al mismo hay que indicar que no es algo exclusivo de esta intervención, sino que en ciertos casos esta es una limitación detectada durante el trabajo de evaluación. En el caso de la existencia de un diagnóstico, suele ocurrir que en determinados casos se implementan políticas públicas que no atienden a un análisis previo del contexto y de la población objetivo a la que se dirige, sino que se impulsan por diferentes motivos como pueden ser: responder a intereses políticos o técnicos, paliar un problema urgente o porque la intervención es continuación de programas anteriores. Asimismo, se dan casos en los que, existiendo un diagnóstico previo, éste no es adecuado o la estrategia definida no lo ha tenido en cuenta por diversos motivos, que pueden ir desde una mala planificación por parte del personal técnico que diseña el programa, hasta por la existencia de condicionantes derivados de su financiación por parte de otro órgano de la Administración o entidad de rango superior.
En el caso de este trabajo, si bien es cierto que no existía un diagnóstico realizado por parte del Servicio Navarro de Empleo, la realidad ponía de manifiesto la existencia de un problema de relevancia en la población relacionado con la brecha digital existente, que se puso especialmente de relieve con la “desconexión” por parte de la ciudadanía en sus gestiones y trámites administrativos con la Administración pública. Además, la labor permanente de prospección y análisis del mercado de trabajo que efectúa el SNE-NL, permitía efectuar una caracterización del contexto al que se dirigían, que se puede considerar como muy adecuada a tenor de los resultados derivados de la intervención evaluada.
Con relación a esta caracterización, el SNE-NL disponía de datos previos al inicio del Plan de choque como que el 70% de la población desempleada de Navarra cuenta con formación hasta primera etapa de secundaria, identificándose en ese sentido una cifra de 23.000 personas que no podían acceder a formación de certificado de nivel 2 por no tener las competencias requeridas. Por otra parte, el proyecto “El Empleo y la Formación Profesional”5, cuyo objetivo era identificar las competencias transversales que debe proporcionar el sistema de Formación Profesional para el Empleo de Navarra a la sociedad del futuro, había detectado la necesidad de fortalecer la autonomía digital de la ciudadanía. Hay que indicar que este análisis de la situación había sido confirmado, en el caso de las personas desempleadas, por el propio personal técnico de las Agencias de Empleo.
Por tanto, a falta de ese diagnóstico específico sobre el que diseñar el Plan de choque, el Servicio de Desarrollo de Competencias Profesionales del SNE-NL contaba con información suficiente para diseñar de manera adecuada la estrategia de actuación y los contenidos de un Programa de Desarrollo de Competencias Digitales Básicas. Además, el programa definido y sus contenidos formarían parte de un itinerario ampliado en el que se incluiría formación para el refuerzo de competencias personales básicas en los ámbitos de la lectura, escritura, matemáticas, etc., en el caso de que fuera necesario para la población beneficiaria. En relación con todo lo expuesto,
14
cabe mencionar que en todos los cursos de Formación Profesional para el Empleo del SNE-NL se están reforzando las competencias digitales de carácter transversal.
En cuanto a la elección de los grupos de población y las muestras necesarias para efectuar la evaluación de impacto, hay que indicar lo siguiente en cuanto al proceso de selección y las limitaciones asociadas al mismo.
En primer lugar, la población participante en los cursos ascendió a un total de 848 personas; sin embargo, antes del inicio de los cursos solo estaban inscritas 723 en la base de datos del Sistema de Información de los Servicios Públicos de Empleo (en adelante SISPE) del SNE-NL que fueron con las que se lanzó el diseño de los grupos de tratamiento y control necesarios para una evaluación de impacto como la realizada. Esta situación se produjo porque de cara al proceso de selección, y al posterior análisis estadístico comparativo, había que elegir una fecha concreta para extraer las muestras y se consideró el 30 de junio como la más adecuada, ya que era la fecha disponible más cercana al inicio de los cursos. Sin embargo, se daba la circunstancia de que las 125 personas restantes que participaron en el programa evaluado se interesaron en los cursos durante los meses de su ejecución (de julio a octubre) sin estar registradas en SISPE en ese momento, formalizando su inscripción en alguna fecha previa al curso al que asistieron, pero siempre posterior al 30 de junio.
La situación descrita es una limitación relativa, ya que finalmente lo relevante es que el grupo de comparación o control que se obtuvo a partir de una muestra de la población general era representativo y estadísticamente comparable con el grupo llamado de tratamiento que conformaban las personas usuarias del programa de Competencias Digitales Básicas. Por tanto, el grupo de comparación se extrajo de la base de datos completa y se vinculó directamente a las características de las 723 personas usuarias de los cursos inscritas el 30 de junio, garantizando en todo momento su comparabilidad.
En este punto es también interesante comentar la siguiente coyuntura derivada de la participación de los ayuntamientos en la gestión del programa. Si bien su actuación ha sido estratégica y ha resultado clave de cara a garantizar el éxito del programa en cuanto a su impartición y a la cobertura poblacional, el hecho de gestionar este tipo de formación principalmente a través de Servicios Sociales de Base genera en muchos casos un sesgo en la población destinataria. Este condicionante tiene como resultado que la población participante en los cursos no es representativa de la que existe en la base de datos completa del SNE-NL, siendo un ejemplo de esta situación lo siguiente:
- La distribución porcentual en cuanto a sexos en la base de datos SISPE a 30 de junio de 2020 era de 49,4% de hombres frente a 50,6% de mujeres. Sin embargo, la población usuaria del programa de Competencias Digitales Básicas se distribuía en un 39,3% de hombres y un 60,7% de mujeres.
- En cuanto a nivel formativo, encontramos que el grupo mayoritario en la base de datos global era el de primera etapa de educación secundaria con un 47,7% del total. Mientras que, en el caso de la población usuaria, aunque era el mismo grupo, este porcentaje ascendía al 59,6% del total.
En la presentación de resultados cualitativos se desarrolla esta situación con más detalle ofreciendo además información aclaratoria de cara a su explicación. Si bien esto no fue un condicionante a nivel técnico de cara al análisis cuasi experimental, se considera relevante su inclusión en este apartado con el objetivo de facilitar una mejor contextualización del proceso evaluativo realizado por parte del ORS.
Sin embargo, donde sí apareció una limitación del proceso de selección fue durante la realización de la encuesta. Si bien en el caso de la población usuaria (grupo de tratamiento) fue suficiente con las 723 personas disponibles para alcanzar 347 respuestas positivas, establecidas como
15
muestra representativa, en el caso de la población general (grupo de control o comparación) esa cifra no fue suficiente. En este sentido, para cada elemento de la población usuaria se había seleccionado el mejor par posible en la base de datos para estimar el impacto en base a la metodología diseñada. Sin embargo, con esos 723 pares pertenecientes a la población general no fue posible alcanzar las 347 respuestas positivas previstas. Para corregir esta situación lo que se hizo fue volver a buscar nuevos pares a modo de reservas, vinculados a aquellas personas contactadas que no habían respondido a la encuesta.
La solución técnica a esta situación resultó compleja, a la par que laboriosa, por las diferentes consultas que se hicieron a la base de datos SISPE y la aplicación de modelos estadísticos en el programa STATA6. Sin embargo, el trabajo realizado por el equipo evaluador del ORS consiguió reducir al mínimo el número de pares reservas de los originales, garantizando de la mejor manera posible la significatividad estadística de todo el proceso y la posibilidad de inferir al programa evaluado los efectos detectados en la población usuaria.
3. Consideraciones metodológicas
En el ámbito de la evaluación de impacto ha sido y es amplio el debate sobre la idoneidad o supremacía de unos u otros enfoques metodológicos, polarizando los planteamientos entre quienes optan por diseños experimentales/cuasiexperimentales o enfoques participativos y quienes proponen visiones contextualizadas (un diseño para cada caso), siendo ésta última donde se sitúa este proceso de evaluación de impactos del Plan de choque del Programa para el Desarrollo de Competencias Digitales Básicas del Servicio Navarro de Empleo – Nafar Lansare.
Para la evaluación de impacto del Plan de choque del Programa para el Desarrollo de Competencias Digitales Básicas del SNE-NL se ha recurrido a una metodología basada en la triangulación de:
Por tanto, desde este planteamiento apoyado en métodos mixtos, las cuestiones que concentran la atención del diseño metodológico de la evaluación de impacto es la delimitación de los impactos y, especialmente, el enjuiciamiento de su conexión causal con el proyecto de Competencias Digitales Básicas, es decir, poder determinar con el mayor rigor posible que esta intervención fue la causante, o que contribuyó, a la generación de dichos efectos e impactos. En este sentido, la aproximación metodológica más adecuada a las necesidades de información que se acordaron en las reuniones iniciales previas al lanzamiento del proceso evaluativo tuvieron como resultado el diseño y aplicación de una estrategia de métodos mixtos que combina aproximaciones cuantitativas y cualitativas.
6 STATA es un paquete de software estadístico que permite, entre otras funcionalidades, la gestión de datos, el análisis estadístico, el trazado de gráficos y las simulaciones.
Evaluación de impacto
16
Asimismo, en el caso del análisis de impacto cuantitativo se ha aplicado una metodología de carácter cuasi experimental fundamentada en el uso de la técnica Propensity Score Matching7 (en adelante PSM) para la selección de participantes y un análisis de impacto basado en el método de Diferencias en Diferencias8 (en adelante DiD). Estas técnicas estadísticas y su aplicación en esta evaluación se desarrollan dentro del epígrafe 3.3.
3.1. Análisis cuantitativo
Explotación de bases de datos
El análisis cuantitativo recoge una visión global de las principales variables incluidas en la base de datos de los cursos aportada por el Servicio Navarro de Empleo. Asimismo, también se han efectuado consultas al Sistema de Información de los Servicios Públicos de Empleo (SISPE) con un doble objetivo. Por una parte, efectuar consultas relativas a indicadores clave de cara a un análisis sobre la situación en cuanto al empleo de la población participante en los cursos. Por otro lado, para seleccionar a la población de los grupos de tratamiento y comparación de la evaluación del impacto.
El análisis en profundidad de los cursos impartidos ha perseguido realizar el tratamiento de la información disponible en las bases de datos de la forma más adecuada posible a los objetivos de la evaluación. Así, la explotación de los registros facilitados por el SNE-NL ha permitido analizar a la población usuaria atendiendo a sexo y edad, mientras que en cuanto a los cursos las variables utilizadas para el análisis han sido tipología del curso y zona geográfica de impartición.
Por otra parte, más allá de los datos específicos del Plan de choque ejecutado durante 2020, se han efectuado consultas a la base de datos SISPE que han permitido valorar los resultados de la participación en el curso con relación al empleo. En ese sentido, una vez definidos los dos grupos de población estadísticamente comparables que exigía el diseño de la metodología cuasi experimental aplicada para la estimación del impacto del programa, se efectuó una comparativa que atendía a su situación en los registros SISPE y que podía aportar una fotografía bastante adecuada de los resultados derivados del programa en cuanto al empleo.
Encuesta telefónica
Además del análisis de la base de datos facilitada por el Servicio Navarro de Empleo y las consultas efectuadas a SISPE, se lanzó un proceso de encuestación vinculado a la estimación del impacto del Plan de choque. La encuesta fue de tipo telefónico y se abordó a partir de un cuestionario dirigido a dos grupos de población:
Población Usuaria. Aquellas personas que habían participado en el curso de Competencias Digitales Básicas del Servicio Navarro de Empleo.
Población General. Aquellas personas que están registradas en la base de datos del SNE- NL pero que no habían participado en ningún curso del Plan de choque evaluado.
7 En evaluación de impacto, el pareamiento por puntaje de propensión o Propensity score matching (PSM) en inglés, es una técnica estadística de coincidencia que intenta estimar el efecto de una política, u otra intervención, atendiendo a las covariables que predicen que recibe el tratamiento. 8 Técnica cuasi-experimental utilizada en evaluación de impacto para medir el efecto de una intervención en un determinado período en el tiempo.
17
Se incluye a continuación una ficha técnica de caracterización del proceso de encuestación telefónica realizado.
Tabla 1. Ficha técnica de caracterización de la encuesta.
UNIVERSO Personas inscritas en el SNE-NL (SISPE) a 30 de junio de 2020. N %
TIPO DE POBLACIÓN General 347 50%
Usuaria 347 50%
SEXO Hombre 248 36%
Educación primaria 45 6%
1ª etapa educación secundaria. Orientación general 53 8%
1ª etapa educación secundaria. Orientación profesional 47 7%
Educación superior 55 8%
DISCAPACIDAD
Físicas 27 4%
Psíquicas 13 2%
Sensoriales 3 0%
Del lenguaje 1 0%
TAMAÑO DE LA MUESTRA
694 encuestas, 347 a población usuaria y 347 a la población general.
TIPO DE MUESTREO
En el caso de la población usuaria se extrajo una selección aleatoria de la población total participante en los cursos.
En cuanto a la población general se extrajo una muestra de SISPE que cumpliera con los criterios de pareamiento de la muestra de población usuaria.
UNIVERSO 723 personas (población usuaria) 2.123 personas (población general).
NIVEL DE CONFIANZA
4,8%
TÉCNICA Encuestas telefónicas nominales con 6 sustitutos para la muestra general y 2 sustitutos para la muestra a usuarios.
TRABAJO DE CAMPO Del 20 de mayo al 1 de junio de 2021.
DURACIÓN MEDIA DE LA ENTREVISTA
13 minutos.
18
Además de la caracterización técnica indicada, hay que mencionar que el cuestionario definido para el proceso se articuló a partir de cuatro bloques diferenciados:
Bloque 1. Caracterización de la persona usuaria de Internet.
Bloque 2. Conocimiento de los cursos de competencias.
Bloque 3. Conexión a Internet.
Bloque 4. Relación con la administración pública.
Por otra parte, gracias a la información contenida en la base de datos SISPE, se efectuaron una serie de consultas para caracterizar a la población entrevistada, que permitieron analizar los resultados de la encuesta atendiendo a las siguientes variables:
- Sexo. - Edad. - Nacionalidad. - Nivel formativo. - Tipo de discapacidad.
Dado que el elemento central de esta evaluación ha sido la aplicación de una metodología cuasi experimental para estimar el impacto del Programa de Desarrollo de Competencias Digitales Básicas, el proceso de selección de los dos grupos de población se describe al detalle dentro del epígrafe 3.3, en el que se desarrolla de manera específica la metodología aplicada. Asimismo, los cuestionarios utilizados en la encuesta se incluyen en los Anexos.
Cuestionario online
Por último, para finalizar la recopilación de información de carácter cuantitativo se hizo uso de la herramienta de encuestación online del Gobierno de Navarra. A través de la creación de formularios de consulta se envió durante el mes de junio, por medio de correo electrónico, un enlace a un cuestionario online de 4 preguntas cortas. Este proceso ha permitido obtener información atendiendo a una doble perspectiva:
Por una parte, la tasa de respuesta en sí misma ya es un indicador representativo de conexión digital.
Por otra parte, las respuestas obtenidas han aportado información referida a elementos estratégicos a nivel de competencias digitales como son:
Percepción del nivel de conocimientos digitales.
Elemento utilizado para conectarse a internet (Teléfono, tablet, ordenador…)
Frecuencia de conexión vinculada a la búsqueda de empleo.
Tipo de contacto con la Administración pública (Presencial, online, ambos…)
El cuestionario utilizado se inserta dentro de los anexos de este documento.
3.2. Análisis cualitativo
Para tener una visión completa del proyecto de Competencias Digitales Básicas, de sus contenidos y de los resultados iniciales que se alcanzaron, es conveniente tener en cuenta no sólo datos cuantitativos, sino también elementos cualitativos que arrojen luz sobre la percepción de los efectos y acerca de la implementación de esta iniciativa en la práctica.
Con el objetivo de atender los requerimientos de una evaluación de esta tipología se dispuso de un diseño metodológico basado en un enfoque eminentemente participativo que combinaba el uso de diversas técnicas y herramientas, con una estrategia de triangulación que facilitase el
19
contraste de la información recabada y que incrementase la capacidad de compresión de los fenómenos estudiados, y por tanto su análisis explicativo y propositivo.
La finalidad de este análisis ha sido, en última instancia, la identificación de efectos e impactos de naturaleza cualitativa, si bien en un primer momento su utilidad ha sido facilitar una aproximación contextualizada al objeto de evaluación, el Plan de choque ejecutado y la realidad a la que se dirigía en la Comunidad Foral de Navarra. Con este planteamiento, los resultados de este análisis exploratorio han servido de base para contextualizar de la manera más adecuada posible el elemento central de este trabajo, que es la evaluación de impactos del programa.
Revisión documental
El proceso de análisis cualitativo ha partido de una revisión documental de la información facilitada por el SNE-NL vinculada al proceso de diseño y gestión del plan de choque. De forma concreta los recursos analizados fueron los siguientes:
Documentación general del proyecto que incluía:
Presentación del proyecto a los ayuntamientos.
Documento explicativo de las funciones y participación de los ayuntamientos en la organización y puesta en marcha de los cursos.
Programación de los cursos a nivel temporal y de distribución geográfica.
Contenidos y tareas que componen las sesiones de formación.
Materiales pedagógicos para la impartición.
Informes de seguimiento de los cursos.
Memorias de ejecución del curso a modo de informe valorativo del personal docente.
Encuesta para valorar las competencias digitales.
Cuestionarios de valoración dirigido al alumnado.
Encuesta de igualdad.
Documentación dirigida al personal docente para cumplir con los protocolos COVID-19.
Además de esta documentación propia del proyecto, se revisó otra documentación de carácter estratégico que fue surgiendo durante el trabajo de campo, entre la que merece la pena destacar:
Marco europeo de competencias digitales DigComp.
Estudio de Competencias Digitales de la población trabajadora de Navarra9.
Se da la circunstancia de que este último estudio fue realizado por una persona que tuvo un papel fundamental en la elaboración de contenidos, selección del personal docente y lanzamiento del Plan de choque de Competencias Digitales Básicas, y que de forma previa a la publicación del estudio había participado en una de las entrevistas que se incluyen dentro del proceso de recogida de información cualitativa de esta evaluación.
9 Estudio promovido por el Colegio Oficial de Ingenieros Industriales de Navarra, la Fundación Industrial Navarra y la Fundación La Caixa.
20
Entrevistas
Tras el primer análisis documental realizado, el equipo evaluador del Observatorio de la Realidad Social consideró la necesidad y oportunidad de integrar en el proceso de evaluación a una serie de agentes clave a través de entrevistas semiestructuradas, con el objetivo de obtener respuestas a preguntas planteadas y reflexiones propias de las personas participantes. Esta información permitió abordar de la mejor manera posible el análisis de datos cuantitativo y el diseño metodológico para la selección de grupos requerido en la evaluación de impacto. Pero, sobre todo, ayudó en la contextualización de los resultados e impactos obtenidos al final del proceso evaluativo.
En cuanto a la participación, se han integrado en este proceso de evaluación cualitativo a los principales agentes y entidades implicadas en la ejecución y gestión del Programa para el Desarrollo de Competencias Digitales Básicas. En ese sentido, se ha contado con la participación del Servicio Navarro de Empleo, de ayuntamientos que solicitaron el programa, de los Servicios Sociales de Base encargados de su difusión y facilitar el acceso, de la Federación Navarra de Municipios y Concejos, de consultoras independientes que diseñaron los contenidos del programa y de parte del profesorado.
Esta selección fue definida en todo momento de mutuo acuerdo con el Servicio Navarro de Empleo, que facilitó el acceso del equipo evaluador del Observatorio de la Realidad Social a las personas que actuaron en representación de las entidades referidas. Las entrevistas en profundidad fueron la principal técnica de recopilación de información cualitativa utilizada en esta evaluación, realizando un total de 16 entrevistas a 17 personas.
Para el desarrollo de las entrevistas se definió previamente un guion orientativo, incluido en el Anexo I de este informe, en el que se establecieron una serie de preguntas, a modo de guía, en el marco de las principales etapas que se suceden en la implementación del Plan de choque. Con su realización se pudo recabar información cualitativa esencial a partir de las percepciones de las personas entrevistadas sobre los principales hitos de los cursos de Competencias Digitales Básicas impartidos; desde su conceptualización y diseño; pasando por su ejecución y gestión, hasta sus resultados e impactos.
Atendiendo a lo anterior, hay que poner de manifiesto que las opiniones vertidas en estas entrevistas permitieron enfocar el trabajo de evaluación con una perspectiva más amplia, holística y más eficiente, así como con mayor focalización en las cuestiones clave durante la fase inicial de las tareas de evaluación. Junto a ello, un objetivo esencial de estas entrevistas ha sido facilitar el diseño contextualizado del cuestionario que permitió el importante proceso de encuestación previsto en esta evaluación, vinculado a la estimación del impacto, y que se llevó a cabo en la última etapa del trabajo de campo.
Con respecto a su formato, además de apoyarse en un guion de cuestiones orientativas, todas las entrevistas se realizaron a través de videoconferencia. En general, las entrevistas han sido individuales, excepto en una ocasión que participaron de forma conjunta dos personas. Con su realización, se pudo recabar información cualitativa esencial a partir de las percepciones de las personas entrevistadas sobre los principales hitos de la intervención evaluada.
En la tabla siguiente se detalla el listado de entrevistas realizadas, indicando fecha, entidad, nombre de la persona responsable con la que se contactó y cargo que ocupaba. En resumen, en las entrevistas han participado 17 personas seleccionadas, representantes de 11 entidades o grupos participantes de una u otra forma en la ejecución del Programa para el Desarrollo de Competencias Digitales Básicas, que inicialmente fueron considerados como agentes informadores clave de común acuerdo con el Servicio Navarro de Empleo.
21
Tabla 2. Listado de personas participantes en las entrevistas realizadas.
Fecha Nombre Entidad Cargo
12/04/2021 Cristina Urdanoz Servicio Navarro de Empleo Jefa de sección
03/05/2021 Miriam Martón Servicio Navarro de Empleo Directora gerente
20/04/2021 Fermín Cabasés FNMC Asesor económico
27/04/2021 Maite García
06/05/2021 Rodrigo Zardoya Fundación Dédalo Director
23/04/2021 María Marco Ayuntamiento de Tafalla Trabajadora social
15/04/2021 María Jesús Gamboa Servicio Navarro de Empleo Jefa de agencia de empleo
23/04/2021 Xabier Ibañez Ayuntamiento de Cintruénigo Agente de empleo
21/04/2021 María Razquin Ayuntamiento de Irurtzun Educadora social
19/04/2021 Itxaso Ruíz Ayuntamiento de Zizur Mayor Técnica de desarrollo local
20/04/2021 Gustavo Urra Ayuntamiento de Barañain Responsable telecentro
15/04/2021 Maite Cuesta Consultora independiente
21/04/2021 Eva Perujuániz Asistencia técnica externa
12/05/2021 Edurne Almirantearena Formadora
12/05/2021 Iñaki Etxeberría Formador
Fuente: Elaboración propia.
3.3. Evaluación del impacto
El objetivo principal de esta evaluación es conocer los efectos del Plan de choque del Programa para el desarrollo de Competencias Digitales Básicas ejecutado por el Servicio Navarro de Empleo en el año 2020. Se pretende detectar los factores catalizadores que facilitan o inhiben el logro de dichos efectos e impactos y estimar y ponderar estos impactos en la población destinataria de sus servicios.
Tal y como se ha señalado en los puntos anteriores, el enfoque metodológico de esta evaluación propone la aplicación ordenada y secuencial de una serie de técnicas de investigación, recopilación, tratamiento y análisis de la información con una clara intencionalidad: desplegar un proceso inicial para captar con la mayor riqueza posible los ámbitos de incidencia de la formación impartida sobre Competencias Digitales Básicas, los factores condicionantes, la naturaleza de sus efectos e impactos y optimizar la comprensión de los procesos que conducen al logro de dichos efectos e impactos.
De cara a la determinación del efecto neto de la intervención en la población usuaria del Programa para el desarrollo de Competencias Digitales Básicas, se ha aplicado una metodología contrafactual, a través de la que se ha comparado una muestra del grupo de tratamiento, integrado por aquellas usuarias que han recibido el programa, con un grupo de control, compuesto por personas que no han recibido el programa.
El grupo de control se ha seleccionado en un contexto cuasi experimental, es decir, una vez ha concluido el programa. Para ello, se ha utilizado la información disponible en la base de datos SISPE y se han analizado las variables que caracterizan a la población usuaria, para encontrar aquellos individuos de la población general que no han recibido el programa, pero que
22
presentan las mismas características, es decir, sus pares. Esto permite que sean comparables estadísticamente.
La muestra de control se ha seleccionado con la técnica estadística de Propensity Score Matching (PSM). Esta técnica permite sintetizar las variables que caracterizan a los individuos de ambos grupos, tratamiento y control, en la variable de probabilidad de participar en el programa. Entre el total de la población general se ha seleccionado aquella muestra con una probabilidad de participar en el Programa similar a la población usuaria, lo que permite construir un grupo de control semejante una vez ya se ha aplicado el programa. La técnica PSM utiliza bases de datos y técnicas estadísticas para construir el mejor grupo de comparación posible sobre la base de características observables.
Para cada unidad del grupo de tratamiento (población usuaria) y del grupo de control (población general), se analiza la probabilidad de que esta unidad se inscriba en el programa, obteniendo como resultado el denominado puntaje de propensión. Este resultado se estima sobre la base de los valores observados de sus características (las variables explicativas), siendo un número real entre 0 y 1, que resume la influencia de todas las características observables en la probabilidad de inscribirse en el programa.
Una vez que se ha obtenido el puntaje de propensión de todas las unidades, aquellas del grupo de tratamiento pueden parearse con unidades del grupo de control que tienen los puntajes de propensión más cercanos. Estas unidades próximas se convierten en el grupo de comparación más adecuado y se utilizan para producir una estimación del contrafactual.
En el caso de esta evaluación, con la aplicación del PSM se ha calculado la probabilidad de participar en el Programa incluyendo en el modelo todas las variables existentes en la base de datos, para tener un nivel de significatividad suficiente. Posteriormente, se ha comprobado que se cumplen los condicionantes de existencia de una región de soporte común y de equilibrio general. El grupo de control se ha elegido en una proporción de 8 a 1, es decir, seleccionando 8 personas de la población por cada persona usuaria, ante la posibilidad de no obtener respuesta al cuestionario.
Una vez obtenidos los dos grupos de comparación, para estimar el impacto se ha utilizado la metodología de Diferencias en Diferencias (DiD). Esta técnica compara los cambios en los resultados a lo largo del tiempo entre personas usuarias de un programa (grupo de tratamiento) y personas que no han participado (grupo de comparación). Esto permite estimar cualquier diferencia entre ambos grupos que sea constante a lo largo del tiempo.
En el modelo aplicado se han tenido que incluir todas las variables de la base de datos para obtener un grado de significatividad adecuado, aunque se observó, a tenor de los resultados obtenidos, que existe una multitud de variables no incluidas en la base de datos, variables no observables, que afectaban a la probabilidad de participar en el programa. El sesgo que pudiera ocasionar esta carencia de información no puede ser eliminado por la aplicación de la metodología de Diferencias en Diferencias (DiD), que utiliza la diferencia de las variables antes y después de la aplicación del tratamiento, ya que no se dispone de información previa al programa.
La aplicación de esta metodología se ha adaptado a las necesidades de la evaluación ya que se ha elegido el grupo de control antes de disponer la información de las variables de resultados o de respuesta. Tras esta selección se ha llevado a cabo una encuesta a ambos grupos, con preguntas similares que permitan cuantificar la estimación de los logros del programa en los objetivos que se pretendían con el mismo. Tras obtener los resultados de la encuesta se ha procedido al análisis del efecto del programa en los ámbitos previstos.
Para salvar en la medida de lo posible el sesgo inducido por las variables no observables, tanto al grupo de control como a la población beneficiaria se les ha pedido que efectúen una
23
valoración de la mejora a lo largo del tiempo. Es decir, en vez de preguntarles por su percepción sobre un ítem en un momento concreto, se les ha planteado que valoren su evolución Esta mejora se ha vinculado al programa, en el caso del tratamiento, y al periodo de tiempo transcurrido desde que se inició la pandemia, en el caso del grupo de control. De esta forma, se podría considerar la respuesta de los participantes en el programa como la diferencia entre el momento en el que ha finalizado el tratamiento y el momento inicial previo a la aplicación de este. Se puede considerar un “efecto bruto”, es decir el efecto producido tanto por el programa como por otros factores ajenos al mismo a los resultados obtenidos en el grupo de usuarios del curso, o grupo de tratamiento.
La diferencia de los resultados entre ambos grupos conceptualmente detraería lo que se ha impulsado por causas ajenas al programa, es decir la mejora cuantificada en el grupo de control (población general), al total de logros cuantificados en los beneficiarios del tratamiento (población usuaria). El resultado podría considerarse el “efecto neto” del programa, es decir aquel efecto atribuido al programa, que previsiblemente no se hubiera logrado en ausencia del mismo, una vez se ha restado el efecto promovido por factores ajenos al programa.
Por lo tanto, con la hipótesis anterior se procedió a estimar la diferencia de medias y su significatividad, para estimar el efecto neto del programa.
Con la intención de presentar de una forma más sencilla la metodología utilizada en esta evaluación de impacto, se describe a continuación la secuencia de hitos alcanzados para efectuar la selección definitiva de los grupos de tratamiento (población usuaria) y control (población general).
La secuencia que resume el proceso de selección de ambos grupos es la siguiente:
- Se efectuó una consulta en la base de datos del SNE-NL a 30 de junio para valorar la situación de la población usuaria. Se eligió esta fecha con la intención de conocer la situación de la población usuaria justo antes de iniciar el programa.
- Se obtuvo información para un total de 723 personas de las 848 que participaron en el programa. Esto es así porque hubo personas que se inscribieron de forma posterior en la base de datos.
- Atendiendo a las variables que según la aplicación del Propensity Score Matching se consideraban representativas de cara a la participación en el programa, se obtuvieron un total de 723 pares de la población general con los que efectuar el análisis comparativo. Estos pares son personas con un nivel de similitud con la población usuaria que permite su comparación evitando el mayor sesgo posible.
- Se planteó una muestra representativa de 347 encuestas para cada grupo poblacional. Esto supuso un total de 694 encuestas que permitirían medir el impacto entre ambos grupos (población usuaria y población general).
- Debido a que la tasa de respuesta de la población general fue inferior a la de la población usuaria, se volvió a estimar otro listado de personas extraídas de la base de datos que cumplían la condición de ser pares de los usuarios y usuarias, de cara a efectuar la comparación para medir el impacto.
- Estos 694 pares finales han sido los mismos que se han utilizado de cara a la valoración de la situación en cuanto al acceso al empleo que se realizó posteriormente.
24
4. Análisis e interpretación de los resultados e impactos
El capítulo cuarto de este informe presenta los resultados obtenidos a partir de las diferentes herramientas de análisis cuantitativo implementadas en el proceso evaluador: la encuesta, el cuestionario online y las consultas a las bases de datos. Así, se describe inicialmente en el apartado 4.1 el resultado del análisis de ejecución de los cursos impartidos a partir de la información contenida en los registros del Servicio Navarro de Empleo.
A continuación, se presentan los resultados derivados de la encuesta telefónica y del cuestionario online enviado. En este caso la información recopilada se estructura a partir de dos epígrafes diferenciados. En primer lugar, el epígrafe 4.2 incluye los principales resultados derivados de la encuesta relativos tanto a los cursos, como a aspectos generales de Competencias Digitales Básicas y a su uso cotidiano, especialmente en la relación con la Administración pública. Seguidamente, el epígrafe 4.3 desarrolla los resultados obtenidos en la evaluación de impacto realizada por el Observatorio de la Realidad Social aplicando una metodología cuasi experimental.
Por último, se incluyen en el apartado 4.4 los resultados obtenidos con el envío del cuestionario online y se cierra este cuarto apartado con el epígrafe 4.5 que incluye un breve análisis del impacto en el empleo que han tenido los cursos.
4.1. Análisis de la eficacia: Ejecución física
La explotación de la base de datos donde se incluía la información vinculada a los cursos y a la población participante dentro del Plan de choque indica que desde junio a octubre de 2020 se impartieron 100 cursos de Competencias Digitales Básicas, de ambos niveles, a un total de 976 alumnos y alumnas. De esas 976 personas participantes hubo 128 que repitieron formación, haciendo primero el nivel I y luego el nivel II, por lo que en total se formó a 848 personas beneficiarias del programa.
En cuanto a su distribución según sexo, los registros indican que el 60,3% de las participantes fueron mujeres mientras que los hombres representaron el 39,7%. Esta distribución porcentual es diferente a la de la base de datos SISPE, que a 30 de junio de 2020 era de 49,4% de hombres frente a 50,6% de mujeres. En este sentido, se entiende que existe una conducta más proactiva a participar en este tipo de formación por parte de las mujeres que de los hombres, situación que también se planteó según la percepción del personal de los Se

informe de evaluación - plan de choque de competencias

Documents