sipsena mayo 30

18
0 LINEAMIENTOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DE UNA BATERÍA DE INDICADORES DE SEGUIMIENTO Y EVALUACIÓN Sistema de Información para la Planeación del SENA – SIPSENA Carmelita Serna Ríos [email protected][email protected] Descripción breve Este documento presenta los lineamientos metodológicos para la construcción de la batería de indicadores iniciales del SIPSENA. El marco conceptual utilizado sigue las metodologías propuestas por el DANE para este tipo de ejercicio. De forma simultánea se va presentando la aplicación de estos lineamientos en los indicadores de Acreditación en el marco de la Política de Alta Calidad del SENA. VERSION: 30 mayo 2014

Upload: kaloto

Post on 14-Sep-2015

230 views

Category:

Documents


0 download

DESCRIPTION

sipsena

TRANSCRIPT

  • 0

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA

    BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN

    Sistema de Informacin para la Planeacin del SENA SIPSENA

    Carmelita Serna Ros [email protected] [email protected]

    Descripcin breve Este documento presenta los lineamientos metodolgicos para la construccin de la batera de

    indicadores iniciales del SIPSENA. El marco conceptual utilizado sigue las metodologas propuestas por el DANE para este tipo de ejercicio. De forma simultnea se va presentando la

    aplicacin de estos lineamientos en los indicadores de Acreditacin en el marco de la Poltica de Alta Calidad del SENA.

    VERSION: 30 mayo 2014

  • 1

    Carmelita Serna Ros | CONTRATO 458 2014

    CONTENIDO Lineamientos Metodolgicos Para La Construccin de una Batera de indicadores de Seguimiento y Evaluacin. ........................................................................................................................................................ 2

    1. Marco Conceptual de la Batera de Indicadores. ......................................................................................... 2

    2. Sistemas de Seguimiento y Evaluacin ........................................................................................................ 3

    3. Fases para la Estructuracin de la Batera de Indicadores 2014. ................................................................ 5

    3.1. Planeacin: ...................................................................................................................................... 5

    3.2. Marco normativo y requerimientos de informacin. ...................................................................... 7

    3.3. Diseo estructura -dimensiones o componentes de medicin. ...................................................... 7

    3.4. Recoleccin y validacin De La informacin. ................................................................................... 8

    3.5. Mtodo de La recoleccin de informacin. ..................................................................................... 8

    3.6. Anlisis de calidad de la informacin disponible. ............................................................................ 9

    3.7. Seleccin de indicadores - documentacin (hojas de vida). .......................................................... 11

    3.8. Sociabilizacin y capacitaciones. ................................................................................................... 15

  • 2

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN. Una de las metas de corto plazo planteadas en el Sistema de Informacin para la Planeacin del SENA -SIPSENA, es la construccin de una batera de indicadores para el 2014 que permitan cumplir dos objetivos: por una parte, hacer seguimiento, evaluacin y rendicin de cuentas a las polticas pblicas, planes, programas y proyectos del cierre de perodo de gobierno; por la otra, consolidar el ajuste a las lneas estratgicas que faciliten y encausen la formulacin del nuevo Plan de desarrollo haca una poltica de Acreditacin y Alta Calidad.

    La lnea base de indicadores tiene un doble mrito: por un lado, proporcionar a los directivos del Sena informacin complementaria necesaria, til a la vez como punto de apoyo en la toma de sus decisiones, y como material clave para medir y evaluar el desempeo o impacto de esas decisiones en el 2014; de otro lado, adicionalmente introduce criterios objetivos de referencia y utilidad para que los Centros de Formacin puedan ellos mismos medirse entre s. Si bien estos primeros indicadores trabajan las dimensiones o temticas de la acreditacin, la forma como fue pensada y la metodologa utilizada contribuyen positivamente en la cultura de la medicin, el seguimiento, evaluacin, organizacin y manejo de la informacin. As las cosas, su utilidad no slo se reduce al uso de los indicadores, y por tanto el ejercicio de medicin tiene un alcance mayor.

    As las cosas, aunque el objetivo principal de este trabajo es el de servir de gua y apoyo al seguimiento, evaluacin, y rendicin de cuentas de las polticas pblicas, con informacin agregada, oportuna y confiable para la toma decisiones, tambin contribuye a la consolidacin de una cultura de uso y aprovechamiento de la informacin, mediante el manejo permanente de indicadores claves. As mismo, y como complemento de lo anterior, permitir ir posicionando las nuevas apuestas estratgicas del SENA en la agenda de gobierno con base en el acopio de documentacin e informacin bsica necesaria para la formulacin, estructuracin y elaboracin del Plan de Desarrollo del periodo 2014-2018.

    1. MARCO CONCEPTUAL DE LA BATERA DE INDICADORES. Como ya se haba conceptuado en el documento de Indicadores en el mes de marzo, el mayor desafo que se enfrenta cuando se dispone de un nmero extenso de datos es seleccionar de ellos los ms tiles, dejar los menos e irrelevantes, o contradictorios, para de esta manera asegurarse que la evaluacin a hacerse se realice apoyados en la mejor informacin posible.

    La informacin estadstica puede ser usada de muchas maneras. La construccin de indicadores es una de tantas posibles y es una de las ms usadas debido a su sencillez y amplitud de informacin que se recoge en un solo indicador; dicha modalidad, es por eso una de las formas ms simples y usuales de disponer de informacin: numerosos datos se simplifican en un indicador y ste se vuelve informacin simplemente por su enorme capacidad para comunicar y condensar mucho en poco. Recordemos la definicin de indicador como una expresin cualitativa o cuantitativa observable, que permite describir caractersticas, comportamientos o fenmenos de la realidad a travs del establecimiento de una relacin entre variables, que comparada con perodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeo y su evolucin en el tiempo.

    Es importante recordar las tres caractersticas bsicas que deben cumplir los indicadores y que los convierten en herramientas indispensables para la planeacin, seguimiento, evaluacin y la gestin:

  • 3

    Carmelita Serna Ros | CONTRATO 458 2014

    Deben ser Simples: o sea, ser capaces de representar clara y distintamente aspectos concretos de la realidad compleja que sirven para el doble propsito de definirla y medirla; no pretender abarcar con ellos la amplia bastedad del mundo real.

    Deben ser Mesurables: o sea, ser capaces de establecer relaciones con otros fenmenos, o permitir comparaciones intertemporales de un mismo conjunto de fenmenos.

    Deben ser Generadores de mensajes: o sea, ser capaces de transmitir informacin simple y sencilla para la toma de decisiones y evaluacin de las acciones.

    Por lo anterior, los indicadores diseados cumplirn los siguientes objetivos:

    Generar informacin til como incentivo y ayuda al mejoramiento continuo de los procesos institucionales de la toma de decisiones pblicas, y su respectiva evaluacin de resultados.

    Establecer los cambios de una situacin a otra para saber si se ha mejorado o no, cambios no determinables sin medicin alguna.

    Efectuar seguimiento y evaluacin a los planes, programas y polticas que introducen cambios institucionales y ver los correctivos por hacer hacia una mayor y mejor eficiencia y eficacia institucional.

    2. SISTEMAS DE SEGUIMIENTO Y EVALUACIN Los procesos de seguimiento y evaluacin son aspectos caractersticos a seguir de la administracin moderna basada en resultados. Segn OECD (2002) el seguimiento es una funcin continua que utiliza la recoleccin sistemtica de datos los convierte en indicadores especficos para medir el grado de avance y logros de objetivos y progresos en la utilizacin de fondos asignados. A su vez, la evaluacin en el informe citado se concibe como la valoracin o estimacin sistemtica y objetiva de un plan, programa proyecto o poltica en curso o terminada, comprendiendo su diseo, ejecucin y resultados. Lo que se busca es determinar la relevancia y satisfaccin de los objetivos, la eficiencia del desarrollo, su efectividad, impacto y sostenibilidad. La evaluacin debe proporcionar informacin creble y til, permitiendo incorporar las lecciones aprendidas de todos los actores involucrados.

    Ahora bien, hacer un uso adecuado de esas herramientas de la administracin moderna, hacerle seguimiento a los programas y polticas del sector pblico para valorar sus resultados y sacar experiencias positivas y negativas, debe contar con un buen sistema de informacin estadstico no slo como instrumento que haga efectiva dichas estrategias, sino tambin, como se indic, como medio sin el cual no se puede formular, ni fundamentar adecuadamente con rigor y claridad suficientes las polticas que se desean adoptar; como tampoco tener una visin de conjunto del proyecto a realizar, de sus limitaciones y alcances. Resaltamos e insistimos en que los programas y proyectos pblicos, su formulacin, fundamentacin, objetivos, implementacin, control, seguimiento evaluacin de los mismos, implican la valoracin y medicin de una realidad que es multidimensional, por lo que se hace an ms relevante la elaboracin de conjuntos de indicadores que analicen el comportamiento de todas las variables de estudio. Un sistema de indicadores debe permitir extraer una foto del estado del fenmeno en un momento del tiempo y un video que registre los cambios presentados en las temporalidades del seguimiento y evaluacin.

  • 4

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    El diagrama No.1 muestra el papel de los indicadores lnea base como herramienta de seguimiento y evaluacin. La lnea base es la primera evaluacin de las dimensiones a transformar y se constituye en el punto de partida y eje de comparacin de cada una de las siguientes fases o etapas sucesivas del diagrama, a saber: seguimiento, (lo que aparece en los rectngulos del diagrama con los nombres de Seguimiento, Evaluacin de resultados, y Evaluacin de impacto). En este sentido, los indicadores de la lnea base se constituyen en ltimas en el referente obligado de Control de la gestin administrativa, en funcin de las herramientas y sucesivas etapas sealadas en el diagrama.

    Diagrama No.1 Papel de los primeros indicadores en los sistemas de seguimiento y evaluacin

    Fuente: DANE Lnea Base de Indicadores. Bogot Diciembre de 2012.

    El ejercicio, propuesto por la Direccin de Planeacin y Direccionamiento Corporativo en el Plan de Accin 2014, enmarcado dentro de la poltica de Alta Calidad del SENA, contempla la construccin de una batera de indicadores1 que contribuye a:

    Identificar indicadores claves de uso obligado para la planeacin, el seguimiento, la evaluacin, el control y el mejoramiento continuo del SENA, en el marco de la nueva visin estratgica.

    Organizar las bases de datos conforme a las necesidades de informacin identificadas para la produccin de indicadores.

    Definir las tcnicas y los procedimientos estandarizados que garanticen la obtencin de la informacin requerida y que puedan posicionarse en la organizacin.

    Establecer funciones y compromisos en relacin con los requerimientos de la informacin.

    Es de advertir que la construccin de la Lnea base as como de sus primeros indicadores, en el marco del SIPSENA, debe ir complementada con otros ejercicios estadstico para reforzar la informacin en materia de planificacin estadstica, estandarizacin de conceptos y mejoramiento de los registros administrativos. Los indicadores de la Lnea base as como los complementarios sealados, constituyen la plataforma para la generacin de un sistema de seguimiento y evaluacin.

    1 Esta construccin ser gradual y progresiva. A la fecha de elaboracin de este documento se dispona de 25 indicadores ya en produccin y 3 en proceso de construccin.

  • 5

    Carmelita Serna Ros | CONTRATO 458 2014

    Como se dijo anteriormente, en coherencia con los objetivos propios de seguimiento y evaluacin, dichos indicadores deben permitir tres finalidades sustantivas, a saber: a) Examinar la dinmica o el comportamiento del indicador a travs del tiempo, evidenciando los cambios que en el mismo puedan darse; b) Comparar dichos cambios frente a unas variables objetivo deseadas; y, finalmente c) Identificar las situaciones que requieren mayores cambios y establecer pautas para el mejoramiento de la calidad de los servicios prestados por la Entidad.

    3. FASES PARA LA ESTRUCTURACIN DE LA BATERA DE INDICADORES PARA LA ACREDITACIN INSTITUCIONAL.

    Considerando entonces que la batera de los indicadores 2014 tiene como objetivos principales el de facilitar el seguimiento y evaluacin de la gestin global del SENA en el 2014, as como el de proporcionar instrumentos claros y precisos a los Centros de Formacin y Regionales para promover la excelencia y alta calidad de los procesos y servicios suministrados por la Entidad, la definicin, naturaleza, estructura conceptual e implementacin de esos indicadores iniciales, siguieron un orden de elaboracin que contempl, adems de dar cumplimiento al protocolo habitual interno de participacin institucional, determinar los lineamientos establecidos por la literatura especializada para este tipo de construcciones. Para el caso particular que nos ocupa, se aplicaron los criterios establecidos por el DANE, segn los cuales en conjunto deben seguirse seis pasos bsicos, tal como se muestra en el diagrama No.2:

    Diagrama No.2 Fases a seguir en la construccin de indicadores

    Fuente: DANE Lnea Base de Indicadores. Bogot Diciembre de 2012.

    3.1. PLANEACIN: Este primer momento del proceso de construccin de los indicadores Lnea base, permiti orientar a los directivos y tcnicos de la entidad sobre la importancia de los mismos para el proceso de seguimiento y evaluacin de sus polticas, planes, programas y proyectos, as como el de definir su rol integral en el

    Planeacin

    Objelvos y alcance de la lnea base. Grupo tcnico de coordinacin y equipos de trabajo. Compromisos y acuerdos. Plan de aclvidades y cronograma.

    Marco Normativo y requerimientos de informacin

    Idenlcacin de necesidades de informacin relacionadas con las normas, leyes, decretos, etc.

    Relacin de informacin implcita en la norma y responsabilidades insltucionales. Relacin de requerimientos puntuales de informacin en instancias de decisin.

    Diseo estructura -dimensiones o

    componentes de medicin

    Estructura temlca de la lnea base (temas y subtemas)

    Recoleccin, validacin de informacin

    Revisin y ajuste del proceso de obtencin de datos . Recomendaciones de mejoramiento de la informacin. Listado preliminar de indicadores. Flujos de informacin.

    Socializacin y capacitacin

    Capacitacin Socializacin Divulgacin

  • 6

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    proceso. As mismo, se determinaron las obligaciones de los responsables de su elaboracin como los resultados esperados de ellos; y fijando adems puntualmente las respectivas funciones y compromisos que deberan asignrsele a cada uno de los funcionarios participantes de su en su construccin en sus diferentes etapas de recoleccin, produccin, anlisis y difusin de los resultados.

    La planeacin contempl la identificacin de los distintos escenarios posibles y deseados, cotejando necesidades, magnitud de las acciones por realizar y disponibilidad de los recursos (financieros, presupuestales, humanos, tecnolgicos, etc.). En la fase inicial del trabajo, relacionada con la conceptualizacin, el diseo y la primera construccin de indicadores, se conform un equipo temporal liderado por un Asesor, un equipo bsico y una amplia participacin de los Directores Misionales, Subdirectores Regionales y Directores de Centros de Formacin2; y en una segunda fase, la relacionada con la produccin de los indicadores en su versin definitiva, se espera que su realizacin este bajo la responsabilidad y ejecucin de la coordinacin de Gestin de Informacin y Evaluacin de Resultados de la Direccin de Planeacin y Direccionamiento Corporativo. Es de advertir que la estructura y objetivos previstos involucran de manera decisiva a los Subdirectores Regionales y Directores de los Centros de Formacin en la produccin y anlisis de estos indicadores.

    Los resultados obtenidos en esta etapa fueron los siguientes:

    Definicin de los objetivos y alcance de la lnea base. Definicin del grupo tcnico de coordinacin y equipos de trabajo. Definicin de Compromisos y Acuerdos. Definicin del Plan y Cronograma de actividades. Estrategia Institucional para la construccin de los indicadores

    El diagrama siguiente muestra los pasos desarrollados y la ruta de trabajo que permiti el desarrollo de la estrategia institucional, el mtodo utilizado y la participacin de las diferentes dependencias en el diseo de la metodologa y los indicadores.

    Diagrama No.3 Etapas de la Estrategia institucional en la construccin de indicadores

    Fuente: SENA Agenda Regional para la Alta Calidad, Bogot, Mayo 2014.

    2 Ver documento AGENDA REGIONAL PARA LA ALTA CALIDAD que relaciona la metodologa de trabajo con las Regionales y los Centros de Formacin y el listado de reuniones efectuadas en marco del diseo y produccin estadstica de los indicadores para la Acreditacin y la Poltica de Alta Calidad.

  • 7

    Carmelita Serna Ros | CONTRATO 458 2014

    3.2. MARCO NORMATIVO Y REQUERIMIENTOS DE INFORMACIN. En la segunda fase para la construccin de los indicadores, se consult el marco normativo y las necesidades de informacin, analizando la pertinencia de la construccin y estudio de los indicadores, los cuales progresivamente se fueron definiendo, segn las siguientes consideraciones:

    Teniendo en cuenta las leyes, decretos, resoluciones, directivas y circulares. Teniendo en cuenta los requerimientos para el cumplimiento de acuerdos internacionales. Teniendo en cuenta las demandas externas e internas como requerimiento del orden nacional,

    regional o local, y expectativas del mbito internacional. Teniendo en cuenta los planes misionales, de accin y de desarrollo. Teniendo en cuenta las polticas de alta calidad del SENA.

    Junto al diseo conceptual de los indicadores, se efectu el anlisis de los requerimientos de informacin subordinado al marco normativo, para lo cual se revisaron las normas y leyes que ordenan la misin, polticas, planes, programas, proyectos y accin institucionales vigentes; la responsabilidad en la produccin de informacin y los objetivos de la alta calidad Institucional.

    Los resultados obtenidos en esta etapa fueron:

    Identificacin de las necesidades de informacin relacionadas con las normas, leyes, decretos, etc. Identificacin de la informacin implcita requerida en la normatividad existente y responsabilidades

    institucionales en la consecucin de la misma. Identificacin de la informacin puntual requerida por instancias superiores para la toma de sus

    decisiones. En esta primera fase, todas relacionadas con la Poltica de alta calidad de la Entidad.

    3.3. DISEO ESTRUCTURA -DIMENSIONES O COMPONENTES DE MEDICIN-. La tercera fase estructur las reas temticas de los indicadores, concebidos en coherencia con el deber misional institucional, con los documentos estratgicos de la Entidad y con la normatividad vigente. Esta fase fue fundamental ya que permiti, adems de concretar la primera batera de indicadores, plantear objetivos y metas temticamente bien definidas que los mismos permitan analizar en aquellos temas y subtemas relevantes para la Institucin, en particular para la implementacin de su Poltica de Alta Calidad. La conceptualizacin as concebida proporcion los criterios para evaluar y definir los indicadores requeridos, a fin de hacer seguimiento y evaluacin a cada uno los temas y subtemas seleccionados.

    Como resultado de esta fase, se determinaron los componentes a medir en concordancia con la Poltica de alta calidad, e identificar al interior de la misma los temas y subtemas relevantes. Las dimensiones seleccionadas se presentan en la tabla No.1, as:

    Tabla No.1: Dimensiones o factores relevantes para la construccin de la batera de indicadores.

  • 8

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    Fuente: SENA. Indicadores Poltica de Alta Calidad, primer grupo de indicadores.

    Plan de Accin 20143

    3.4. RECOLECCIN Y VALIDACIN DE LA INFORMACIN. En esta fase se identific la oferta disponible y las necesidades de indicadores en relacin a los objetivos de seguimiento, evaluacin y bsqueda de la excelencia para alcanzar la alta calidad en los Programas de formacin tcnica de la Entidad. La fase en mencin se llev a cabo en dos momentos, a saber: en el primero, se hizo un ejercicio general y focalizado al tema de la Acreditacin de alta calidad, el cual permiti la conceptualizacin y conformacin del primer grupo de indicadores; y en el segundo momento, an en proceso de implementacin, se busca alcances mayores a la Acreditacin de alta calidad, cubriendo los requerimientos de la oferta y las necesidades del Sistema de Informacin para la Planeacin del SENA SIPSENA- y de las perspectivas del nuevo Plan de Desarrollo.

    El primer momento de la fase que se est comentando, fue desarrollado directamente por el equipo de trabajo asignado para la conceptualizacin, diseo y construccin del primer grupo de indicadores. El segundo momento, como se indic an en proceso de implementacin, viene siendo desarrollado con una participacin mayor de funcionarios, ya que se ampli involucrando al resto del equipo de la Direccin de Planeacin y Direccionamiento Corporativo DPDC- del SENA. La metodologa utilizada est documentada en el SIPSENA, y como componente de sta se dise un formato para la recoleccin de la informacin acerca de la oferta, demanda y dems completos indicadores requeridos por el SENA4.

    3.5. MTODO DE LA RECOLECCIN DE INFORMACIN. La recoleccin del primer momento se hizo a travs de visitas, reuniones de trabajo, sondeo de necesidades; y la del segundo momento5, se est haciendo en forma virtual. Una vez acabado el proceso de recoleccin del primer momento, se organiz la informacin acopiada y se continu a las siguientes fases previstas para la construccin de los indicadores de la Lnea base.

    3 Durante todo el documento se han mencionado 25 indicadores en produccin y 3 en proceso de diseo y construccin. La diferencia respecto a los 38 que aparecen en esta tabla se debe principalmente a que en la tabla estn contados de forma independiente y los 25 se refieren a grupos de indicadores. As por ejemplo, para el indicador % de oferta abierta hay dos indicadores, uno con corte trimestral y otro con corte anual. 4 Adaptacin realizada a partir del Formulario de Lnea Base de Indicadores (FLBI) del DANE. 5 La actividad de recoleccin de este inventario, en los que hemos denominado segundo momento es de vital importancia ya que proporciona los criterios objetivos para estructurar el segundo grupo de indicadores dentro de la batera de los indicadores iniciales y definir el conjunto de informacin que debe contener el SIPSENA. Por esta razn es un proceso que debe contar con el compromiso por parte de los encargados o lderes del proyecto coordinadores de la DPCD, con el fin de asegurar la completitud y calidad de la informacin diligenciada que requiere el rigor de este proceso.

    Dimensin No. Indicadores Formacin Profesional 13Instructores 9Infraestructura fsica y TICs 8Egresados y su impacto en el medio 8Bienestar 4Recursos financieros 3Aprendices 3Investigacin aplicada 1Organizacin y gestin de la informacin 1Misin Direccionamiento Estratgico y Programa de Formacin 1Relaciones Internacionales y Nacionales 1Innovacin y desarrollo tecnolgico 1Total general 53

  • 9

    Carmelita Serna Ros | CONTRATO 458 2014

    3.6. ANLISIS DE CALIDAD DE LA INFORMACIN DISPONIBLE. Conceptualmente, esta fase inicia con la verificacin de la informacin disponible respecto a las dimensiones o factores temticos desarrollados. Su propsito es la de verificar la existencia de los insumos de informacin para construir los indicadores requeridos para todos los temas y subtemas seleccionados como relevantes en el proceso de acreditacin institucional. Durante el proceso de verificacin, se identific no slo el estado en que se encuentra la informacin requerida para la estimacin de los indicadores respecto a los estndares de calidad estadstica6, sino adems debe quedar lista la documentacin de evaluacin e informacin estadstica, acordes con las dimensiones y patrones de calidad exigidos.

    Como actividad complementaria a desarrollar, fue preciso conocer los actores productores y usuarios de los indicadores a fin de establecer un mapa del flujo de informacin; y con estas personas proceder a concertar acciones para la implementacin de la ba tera de indicadores. El ejercicio en mencin se debe realizar primero a nivel de cada actor involucrado (unidades, dependencias, entidades, etc.), para luego construir el esquema global de todo el proceso7.

    Como resultado de esta etapa han culminado las siguientes actividades, para los primeros indicadores:

    La revisin y ajuste del proceso de obtencin de datos (censos, encuestas por muestreo y estadsticas con fuente en registros administrativos).

    Las recomendaciones para mejorar la informacin. El listado preliminar de indicadores. Los flujos de informacin.

    La tabla No. 2 muestra el primer grupo de indicadores, relacionados con el proceso de Acreditacin de alta calidad. De acuerdo con ella, el primer grupo de indicadores que fue pensado para un primer ejercicio de 25 indicadores, alcanz el nmero de 54 indicadores incluyendo sus desagregaciones.

    6 Estos estndares han sido difundidos por organizaciones como EUROSTAT (organismo encargado de administrar las estadsticas europeas), OECD por sus siglas en ingls (Organizacin para Cooperacin y el Desarrollo Econmico) y el FMI (Fondo Monetario Internacional). 7 Estas actividades ya fueron surtidas por el primer momento que involucra el primer grupo de indicadores, para el segundo momento, se implementarn una vez culmine el proceso de recoleccin anunciado en los prrafos anteriores.

  • 10

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    Tabla No. 2: Listado de Indicadores asociados a las dimensiones o factores

    Dimensin ID Nombre IndicadorAprendices 1 SABER PRO (-10)

    2 SABER PRO (PROMEDIO)3 DEMANDA SOCIAL

    Suma AprendicesBienestar 19 DESERCIN TITULADA 2014

    20 DESERCIN COMPLEMENTARIA 201421 DESERCIN TITULADA AO 201322 DESERCIN COMPLEMENTARIA AO 2013

    Suma BienestarEgresados y su impacto en el medio 9 EGRESADOS OCUPADOS FORMALMENTE (TOTAL)

    10 EGRESADOS OCUPADOS FORMALMENTE (TECNICOS)11 EGRESADOS OCUPADOS FORMALMENTE (TECNOLOGOS)13 INGRESO LABORAL DE EGRESADOS (TECNOLOGO)14 INGRESO LABORAL DE EGRESADOS (TECNICO)15 INGRESO LABORAL DE EGRESADOS (TOTAL)29 INSCRITOS EN LA APE30 EMPLEOS FONDO EMPRENDER

    Suma Egresados y su impacto en el medioFormacin Profesional 12 PRODUCCIN DE INVESTIGACIN Y DESARROLLO (I+D)

    16 ALTERNATIVAS - OTRAS (SERVICIO MILITAR, PASANTAS, MONITORAS)17 ALTERNATIVAS - CONTRATO DE APRENDIZAJE18 ALTERNATIVAS - NINGUNA26 APRENDICES CON CONTRATO DE APRENDIZAJE32 PRODUCCIN DE CENTROS34 TOTAL EDUCACIN SUPERIOR35 TOTAL TCNICA LABORAL Y OTROS36 FORMACIN COMPLEMENTARIA37 FORMACIN VIRTUAL38 PROGRAMA DE BILINGISMO40 ALTERNATIVAS - NINGUNA52 APRENDICES I + D

    Suma Formacin ProfesionalInfraestructura fsica y TICs 27 INDICE ESTADO DE INFRAESTRUCTURA

    43 USO DE AMBIENTES44 DENSIDAD SEDE PRINCIPAL45 DENSIDAD TOTAL46 DENSIDAD AMBIENTES DE FORMACIN47 APRENDICES POR EQUIPO DE COMPUTO (MAS DE DOS AOS)48 APRENDICES POR EQUIPO DE COMPUTO (MENOS DE DOS AOS)49 APRENDICES POR EQUIPO DE COMPUTO (TOTAL GENERAL)

    Suma Infraestructura fsica y TICsInnovacin y desarrollo tecnolgico 50 PROGRAMAS I+D POR CENTRO

    Suma Innovacin y desarrollo tecnolgicoInstructores 4 NIVEL EDUCATIVO INSTRUCTORES POSGRADO

    5 NIVEL EDUCATIVO INSTRUCTORES (UNIVERSITARIO)6 NIVEL EDUCATIVO INSTRUCTORES (TECNOLOGO)7 NIVEL EDUCATIVO INSTRUCTORES (TECNICO)8 NIVEL EDUCATIVO INSTRUCTORES (BACHILLER)

    25 DEDICACIN A LA FORMACIN39 DEDICACIN A LA FORMACIN (2)41 EXPERIENCIA DOCENTE42 EXPERIENCIA PROFESIONAL

    Suma InstructoresInvestigacin aplicada 51 INSTRUCTORES I+D

    Suma Investigacin aplicadaMisin Direccionamiento Estratgico y Programa de Formacin 24 CLIMA ORGANIZACIONAL

    Suma Misin Direccionamiento Estratgico y Programa de FormacinOrganizacin y gestin de la informacin 23 PORCENTAJE DE CERTIFICADOS

    Suma Organizacin y gestin de la informacinRecursos financieros 33 COMPROMISOS

    53 APROPIACIONES54 PAGOS

    Suma Recursos financierosRelaciones Internacionales y Nacionales 31 PROGRAMAS CON ESTANDARES INTERNACIONALES

    Suma Relaciones Internacionales y Nacionales

  • 11

    Carmelita Serna Ros | CONTRATO 458 2014

    Por su parte, el Diagrama No. 3 muestra el flujo de informacin y el protocolo establecido en la produccin y uso final de los indicadores asociados a la Poltica de calidad y Acreditacin Institucional:

    Diagrama No. 3: Flujo de Informacin y protocolo para el uso final de los indicadores en la bsqueda de Alta Calidad.

    Produccin -Flujo de informacin

    Anlisis Mesas de trabajo

    Planes de Mejoramiento

    Alta Calidad Excelencia

    Acreditacin

    Proceso de produccin Visores y Reportes Planes de Mejoramiento

    Fuente: SENA. SIPSENA. Adaptado, Interpretando el documento de Poltica de Alta Calidad.

    3.7. SELECCIN DE INDICADORES - DOCUMENTACIN (HOJAS DE VIDA). En esta seccin se establece el conjunto de indicadores que conformaran la lnea base y su respectiva documentacin, conforme a la estructura de fichas tcnicas u hojas de vida diseadas; simultneamente, se formulan los lineamientos acerca de la construccin y organizacin de las bases de datos que alimentaran los indicadores.

    Solicitud desde Nivel Nacional

    Diligenciamiento en Nivel Nacional.

    Diligenciamiento en Centros

    Envio Nivel Nacional y

    desde Centros

    Recepcin yanlisis Nivel

    Central

    Produccin Nivel Central

    Envio a Regionales y Centros

    Centros

    Reginales

    Direccin

    General

    Planes de Mejoramiento por

    Centros y Regionales

    Diseo

    Inventario Dimensiones Indicadores

    Produccin

    Insumos de inf. Formulacin Hojas de Vida Recoleccin

    Resultados

    Procesamiento Anlisis calidad PReportes

    Visores

    Anlisis

    Mapas

    Informacin toma

    decisiones

    Flujos

  • 12

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    Por su parte, el proceso de seleccin de indicadores definitivo debe realizarse aplicando los siguientes parmetros de calidad estadstica8:

    Relevancia: o grado de utilidad para satisfacer el propsito por el cual fue sugerida su creacin. Credibilidad: Se evala si los indicadores estn soportados en procedimientos estadsticos

    apropiados; tambin si los procedimientos de recoleccin, procesamiento, almacenaje y difusin de datos estadsticos, renen los criterios de objetividad requerido.

    Accesibilidad: Donde se evala la manera en que los datos estn disponibles. Oportunidad: Aqu se evala la actualidad del indicador, o sea si el tiempo en el cual se cuenta

    con el indicador corresponde al de la informacin nsita en l, siendo as sta valiosa como para trabajar acorde con ella.

    Coherencia: As mismo, se evala la consistencia y coherencia del proceso estadstico que lo genera, o sea si est sujeto o no a una poltica de revisin previsible y permanente.

    Despus de verificar el cumplimiento de los parmetros de calidad exigidos, se debe elaborar la documentacin, a travs de hojas de vida o fichas tcnicas. La hoja de vida contiene una estructura en su formato, la cual permite conocer el metadato de los indicadores o respuesta a las preguntas qu, quin, cundo, dnde, para qu y cmo, relativas a los contenidos de los datos que se documentan.

    Los elementos que conforman la hoja de vida o ficha tcnica9 del Indicador se describen a continuacin:

    CONCEPTO DEFINICION Cdigo y/o Sigla del Indicador Cdigo o sigla del Indicador

    Fecha de diligenciamiento y de actualizacin

    Fecha diligenciamiento y actualizacin de la informacin disponible.

    Nombre del Indicador Es la expresin verbal, precisa y concreta que identifica el indicador

    Definicin del Indicador Propsito que se persigue con su medicin, es decir, describe la naturaleza y finalidad del indicador.

    Mtodo de medicin Corresponde a la explicacin tcnica sobre el proceso para la obtencin de los datos utilizados y la medicin del resultado del indicador.

    Unidad de Medida / Tipo de Indicador Unidad con la que se mide el indicador: porcentaje, hectreas, pesos, etc.

    Periodicidad Frecuencia con que se hace la medicin del indicador en su expresin total.

    rea Temtica / Tema Dimensin tema objeto de medicin

    Direccin/Entidad Dependencia o unidad institucional a la que se refiere el clculo.

    Responsable del Clculo Entidad(es) y dependencia(s) que tendr(n) a su cargo la elaboracin del indicador.

    Responsable del Reporte Entidad(es) y dependencia(s) que tendr(n) a su cargo la entrega de los insumos para el clculo del indicador.

    Nivel de Desagregacin Geogrfico Se refiere al nivel geogrfico hasta el cual se puede obtener informacin estadsticamente significativa. Por ejemplo, nacional, departamental,

    municipal, entre otras. Nivel de Desagregacin Temtica Se refiere al nivel de detalle temtico hasta el cual se puede obtener

    informacin estadsticamente significativa a partir de los datos disponibles.

    8 Estos criterios de calidad estadstica estn basados en lo propuesto por la OECD en el documento, Quality framework and guideline for OECD statistical activities. 2003. 9 Ver Documento Hojas de Vida de los indicadores diseados.

  • 13

    Carmelita Serna Ros | CONTRATO 458 2014

    Frmula de Clculo Expresin matemtica mediante la cual se calcula el indicador. La frmula se debe presentar con siglas claras y que en lo posible den

    cuenta del nombre de cada variable. Nombre Variable Explicacin conceptual de cada uno de los trminos utilizados en el

    indicador. Explicacin de la Variable Descripcin de cada variable de la frmula: Especificacin precisa de

    cada una de las variables con su respectiva sigla

    Fuente de Informacin Fuente de informacin de las variables que componen al indicador

    rea Responsable de la Informacin Nombre de las entidades encargadas de la produccin y/o suministro de la informacin que se utiliza para la construccin del indicador y

    operacin estadstica que produce la fuente.

    Limitaciones del indicador Qu no mide el indicador? Las limitaciones que el indicador tiene como modelo para medir una realidad a la que es imposible acceder

    directamente Observaciones Incluye las reflexiones y recomendaciones que se consideren

    pertinentes para la conceptualizacin y comprensin del indicador adems de sealar la bibliografa de referencia o documentales

    utilizados para la elaboracin de los conceptos Fuente: SENA Indicadores de Acreditacin Institucional 2014

    Los resultados de esta fase deben conducir a:

    Establecer el conjunto definitivo de indicadores que deben ir en la estructura y contenido de la lnea base.

    Construccin de un indicador sinttico que permita compilar los resultados para unidades de anlisis seleccionadas.

    Establecer las hojas de vida o fichas tcnicas de los indicadores Para el caso de los Indicadores para la Acreditacin Institucional, la construccin de los indicadores ha sido gradual y progresiva, por lo que se inici con una batera de 25 indicadores y al cierre de este informe se haba diseado 53 con procesos de recoleccin activos. Considerando que los indicadores tienen dentro de sus fines servir para el seguimiento y evaluacin se hace necesario definir un indicador sinttico que permita consolidar en un solo resultado el comportamiento de cada Centro de Formacin. De esta forma fue necesario desarrollar un sistema de ponderaciones de acuerdo a la relevancia de cada indicador en el marco de la poltica de alta calidad.

    La tabla No. 3 muestra en su ltima columna la seleccin de los indicadores que harn parte del indicador sinttico para compilar los resultados por Centro de Formacin. Los indicadores que figuran con ponderador completo significan que entran en la agregacin con un peso de 1 y los de en complemento y en mejoramiento con 0,5; los que aparecen con el rotulo excluido no se incluyen. Ms adelante se explica los criterios utilizados para la definicin del juego de ponderadores.

  • 14

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    Tabla No. 2: Listado de Indicadores asociados a las dimensiones o factores

    Los criterios para la asignacin del juego de ponderadores se resumen en los aspectos que se describen a continuacin:

    Dimensin ID Nombre Indicador PonderadorAprendices 1 SABER PRO (-10) Excluido

    2 SABER PRO (PROMEDIO) Completo3 DEMANDA SOCIAL Completo

    Suma AprendicesBienestar 19 DESERCIN TITULADA 2014 En complemento

    20 DESERCIN COMPLEMENTARIA 2014 Excluido21 DESERCIN TITULADA AO 2013 En complemento22 DESERCIN COMPLEMENTARIA AO 2013 Excluido

    Suma BienestarEgresados y su impacto en el medio 9 EGRESADOS OCUPADOS FORMALMENTE (TOTAL) Excluido

    10 EGRESADOS OCUPADOS FORMALMENTE (TECNICOS) Completo11 EGRESADOS OCUPADOS FORMALMENTE (TECNOLOGOS) Completo13 INGRESO LABORAL DE EGRESADOS (TECNOLOGO) Completo14 INGRESO LABORAL DE EGRESADOS (TECNICO) Completo15 INGRESO LABORAL DE EGRESADOS (TOTAL) Excluido29 INSCRITOS EN LA APE Completo30 EMPLEOS FONDO EMPRENDER En mejoramiento

    Suma Egresados y su impacto en el medioFormacin Profesional 12 PRODUCCIN DE INVESTIGACIN Y DESARROLLO (I+D) Completo

    16 ALTERNATIVAS - OTRAS (SERVICIO MILITAR, PASANTAS, MONITORAS) Excluido17 ALTERNATIVAS - CONTRATO DE APRENDIZAJE Completo18 ALTERNATIVAS - NINGUNA En complemento26 APRENDICES CON CONTRATO DE APRENDIZAJE Completo32 PRODUCCIN DE CENTROS Completo34 TOTAL EDUCACIN SUPERIOR Completo35 TOTAL TCNICA LABORAL Y OTROS Excluido36 FORMACIN COMPLEMENTARIA Completo37 FORMACIN VIRTUAL Excluido38 PROGRAMA DE BILINGISMO Excluido40 ALTERNATIVAS - NINGUNA Excluido52 APRENDICES I + D En mejoramiento

    Suma Formacin ProfesionalInfraestructura fsica y TICs 27 INDICE ESTADO DE INFRAESTRUCTURA En complemento

    43 USO DE AMBIENTES Completo44 DENSIDAD SEDE PRINCIPAL Excluido45 DENSIDAD TOTAL En complemento46 DENSIDAD AMBIENTES DE FORMACIN En complemento47 APRENDICES POR EQUIPO DE COMPUTO (MAS DE DOS AOS) Excluido48 APRENDICES POR EQUIPO DE COMPUTO (MENOS DE DOS AOS) Excluido49 APRENDICES POR EQUIPO DE COMPUTO (TOTAL GENERAL) Completo

    Suma Infraestructura fsica y TICsInnovacin y desarrollo tecnolgico 50 PROGRAMAS I+D POR CENTRO Completo

    Suma Innovacin y desarrollo tecnolgicoInstructores 4 NIVEL EDUCATIVO INSTRUCTORES POSGRADO Completo

    5 NIVEL EDUCATIVO INSTRUCTORES (UNIVERSITARIO) Excluido6 NIVEL EDUCATIVO INSTRUCTORES (TECNOLOGO) Excluido7 NIVEL EDUCATIVO INSTRUCTORES (TECNICO) Excluido8 NIVEL EDUCATIVO INSTRUCTORES (BACHILLER) Excluido

    25 DEDICACIN A LA FORMACIN En mejoramiento39 DEDICACIN A LA FORMACIN (2) Completo41 EXPERIENCIA DOCENTE Completo42 EXPERIENCIA PROFESIONAL Completo

    Suma InstructoresInvestigacin aplicada 51 INSTRUCTORES I+D En complemento

    Suma Investigacin aplicadaMisin Direccionamiento Estratgico y Programa de Formacin24 CLIMA ORGANIZACIONAL En complemento

    Suma Misin Direccionamiento Estratgico y Programa de FormacinOrganizacin y gestin de la informacin 23 PORCENTAJE DE CERTIFICADOS Completo

    Suma Organizacin y gestin de la informacinRecursos financieros 33 COMPROMISOS Completo

    53 APROPIACIONES En complemento54 PAGOS En complemento

    Suma Recursos financierosRelaciones Internacionales y Nacionales 31 PROGRAMAS CON ESTANDARES INTERNACIONALES En complemento

    Suma Relaciones Internacionales y Nacionales

  • 15

    Carmelita Serna Ros | CONTRATO 458 2014

    DEFINICIN DE CATEGORAS PARA AGRUPACIN SEGN IMPORTANCIA EN EL ESQUEMA DE SEGUIMIENTO EVALUACIN QUE FUERON CONSTRUIDOS. Se definieron 3 categoras a saber: Estratgica que responde a los objetivos pilares y estratgicos del SENA; Gestin relacionado con aquellos cuyo nivel de influencia es fundamentalmente en los Centros de Formacin y una tercera categora que agrupara aquellos indicadores que pudindose clasificar en la segunda categora an estn en proceso de construccin y perfilamiento metodolgico, ya sea por desarrollo conceptual, por sus fuentes de informacin o por los esquemas de recoleccin.

    EXCLUSIN DE INDICADORES REDUNDANTES EN EL PROCESO DE AGREGACIN Seleccin de los indicadores pertinentes y exclusin, para efectos de la sntesis, de aquellos indicadores que ya estn representados en algunos de la batera dispuesta.

    DEFINICIN DE PONDERADORES PARA CADA CATEGORA E INDICADOR. Los criterios para establecer el juego de ponderadores fueron:

    i. Cada categora tendra un peso similar y sus diferenciales los constituira la calidad del indicador. En este sentido cada categora iniciara con un ponderador de 1/3.

    ii. Los pesos dentro de cada categora se distribuiran proporcionalmente, a excepcin de los indicadores que sean complementarios los cuales entraran sumando como unidad y aquellos cuya construccin metodolgica se encuentra en proceso de mejoramiento, por ejemplo los indicadores relacionados con la dimensin de instructores de la categora estratgica.

    Tabla No. 3. Distribucin de los indicadores por dimensin y categora

    A manera de conclusin los indicadores agrupados bajo la categora de estratgico tienen un peso de 52,8%, los agrupados en la categora gestin pesan 33,3% y los de resto 13,8%. Si se realiza el anlisis por dimensiones se puede concluir que las dimensiones ms importantes, formacin profesional, egresados y su impacto en el medio, aprendices e instructores agregan el 76,9 del indicador.

    3.8. SOCIABILIZACIN Y CAPACITACIONES. Para el primer grupo de indicadores, esta etapa se ha venido realizando a travs de visitas a los Centros de Formacin donde confluyen a la vez el Director del Centro, el Subdirector de la Regional y el Directordel rea misional competente de la Direccin General. En dichas mesas de trabajo no slo se discuti, analiz y acord cada indicador, sino tambin los resultados obtenidos y el uso de los mismos en relacin al proceso de alta calidad institucional. En sntesis, se capacit y familiariz al personal directivo citado con el mejor uso que se le debe dar a la informacin contenida en la lnea base de Indicadores, as como el alcance de la

    Dimensiones Estrtegico Gestin Resto Total generalFormacin Profesional 15,1 11,6 1,3 27,9Egresados y su impacto en el medio 15,1 4,3 19,4Aprendices 15,1 15,1Instructores 7,5 4,3 2,5 14,4Organizacin y gestin de la informacin 2,9 2,9Bienestar 2,9 2,9Recursos financieros 2,9 2,5 5,4Misin Direccionamiento Estratgico y Programa de Formacin 1,4 1,4Relaciones Internacionales y Nacionales 1,4 1,4Infraestructura fsica y TICs 1,4 5,0 6,5Innovacin y desarrollo tecnolgico 1,3 1,3Investigacin aplicada 1,3 1,3Total general 52,8 33,3 13,8 100,0

  • 16

    LINEAMIENTOS METODOLGICOS PARA LA CONSTRUCCIN DE UNA BATERA DE INDICADORES DE SEGUIMIENTO Y EVALUACIN | Sistema de Informacin para la Planeacin del SENA SIPSENA

    herramienta para el seguimiento, evaluacin y mecanismos que conduzcan a la excelencia institucional10. El diagrama No.4 muestra el procedimiento definido a la fecha para el desarrollo de la agenda regional de alta calidad, agenda a travs de la cual se ha venido construyendo e implementado esta batera de indicadores.

    Diagrama No. 4: Procedimiento para el desarrollo de la Agenda Regional de Alta Calidad.

    Fuente: SENA Agenda Regional para la Alta Calidad, Bogot, Mayo 2014.

    De acuerdo con lo anterior, el uso que se puede dar a la informacin contenida en la lnea base no se reduce slo a un nico perodo de tiempo coyuntural o especfico, tambin sirve para estudiar y examinar el estado en que se encuentra la entidad en varios momentos a lo largo del tiempo; por lo tanto debe entenderse que dicha informacin recoge aspectos centrales, de estructura, de la vida de la Institucin que le dan su existencia y razn de ser, y el uso ms adecuado de esos indicadores conviene a todos y exige ser activados constantemente en un proceso de participacin y compromiso serios, responsables, asumidos por los actores funcionarios a cargo de la excelencia institucional. El buen funcionamiento de la Entidad depende por lo tanto de la puesta en marcha del aplicativo, esquema organizativo, flujos de informacin y alimentacin de los indicadores y de sus bases de datos. Para tal el efecto, el proceso debe incluir el desarrollo de un programa amplio de capacitacin a funcionarios y directivos en torno a la administracin y coordinacin de la lnea base, la construccin y anlisis de indicadores.

    Para dichos propsitos se deben organizar ciclos de capacitacin acerca de diversos aspectos tcnicos, donde se trate al menos los siguientes temas:

    10 Este proceso no se ha desarrollado para los indicadores del segundo momento. La metodologa utilizada para el resto de indicadores ser la misma, incorporndole las lecciones aprendidas del proceso del primer momento.

  • 17

    Carmelita Serna Ros | CONTRATO 458 2014

    Anlisis, formulacin y diseo de indicadores. La inclusin de indicadores en el sistema. El cargue de datos a las variables que componen los indicadores. La consulta de los indicadores para su anlisis y aplicaciones respectivas de los mismos.