Modelo de evaluación del Sistema de Bibliotecas de la Universidad
Nacional de Colombia
Vicerrectoría General
Dirección Nacional de Bibliotecas
Contenido
1. Definición 2. Puntos de partida3. Criterios generales de evaluación4. Alcance5. Marco metodológico6. Construcción de Indicadores7. Perspectiva de Usuarios8. Perspectiva de procesos internos9. Perspectiva de desarrollo y crecimiento10. Perspectiva financiera
Puntos de partida• La intermediación en el acceso y el uso de la información, es
un fenómeno eminentemente social y de transformación cultural, por lo tanto, los sistemas y las herramientas de evaluación de bibliotecas deben aplicarse en modelos que faciliten la realización de análisis desde múltiples facetas: gerenciales, académicas y técnicas.
• Involucrar a los usuarios en los procesos de planificación, ejecución y evaluación resulta fundamental en la búsqueda de la calidad y la pertinencia frente a las funciones misionales de la Universidad, por lo tanto de la biblioteca.
• Un sistema integral no se opone a las evaluaciones especializadas sobre asuntos como formación en C.I., colecciones o servicios específicos, son complementarios.
Definición
Es una herramienta metodológica, parte del modelo de gestión, cuyo propósito consiste en facilitar la obtención sistemática de la información requerida para el análisis del desarrollo, la gestión y la relación del Sistema de Bibliotecas con sus usuarios, que facilita la formulación de planes de mejora y la rendición de cuentas.
Criterios generales de evaluación
• Evaluación integral (usuarios, personal, procesos y recursos)
• Énfasis en la satisfacción del usuario
• Referencia a normas y estándares
• Uso de indicadores comparables
• Construcción y uso de indicadores relacionados con asuntos estratégicos
Alcance
• Generación de datos por sedes y programas académicos
• En cuanto a los resultados el sistema debe atender requerimientos para: – Autoevaluación– Evaluación comparativa– Evaluación externa (acreditación, certificación)
Marco metodológico
Método gerencialCuantitativa & Cualitativa
Múltiples herramientas
Metodologías e instrumentos para el conocimiento de: Expectativas,
Condiciones de acceso a Rs. Info.,Intermediación entre Usuarios & Rs. Info.
Evaluación integral
Énfasis en la satisfacción del usuario
Herramientas
• BSC Balance Scorecard o Cuadro de Mando Integral (CMI)
• Método de barrido (observaciones)
• Metodología Libqual
• Talleres
• Investigación cualitativa
Balance Score Card (BSC)Cuadro de Mando Integral (CMI)Kaplan, R.S y Norton, David P. (1993)
• Considera simultáneamente 4 perspectivas:Financiera, de Clientes, de Procesos internos, de desarrollo & aprendizaje organizacional,
• Establece una cadena Causa - Efecto quepermite formular iniciativas a cada nivel.
• La relación entre perspectivas se denomina laarquitectura del BSC.
Respuestas a las expectativas del accionista en cuanto a los parámetros financieros de: Rentabilidad, crecimiento, y valor al accionista.
La satisfacción de clientes estará supeditada a la propuesta de valor (espectro de expectativas) que la organización o empresa les plantee.
Precio, Calidad, Tiempo, Función, Imagen y Relación.
Procesos clave de la organización o empresa, de cuyo éxito depende la satisfacción de las expectativas de clientes y accionistas.
• Plataforma o motor del desempeño futuro de la empresa y su capacidad para adaptarse a nuevas realidades, cambiar y mejorar.
Competencias medulares del negocio: Competencias de su gente, el uso de la tecnología
como impulsor de valor, la disponibilidad de información estratégica para la toma de decisiones y la creación de un clima cultural propio para afianzar las acciones de cambio y mejora.
Sweeps Method Método de conteo [y Observaciones]
Lisa Given and Gloria Leckie (1999)
Observaciones hechas por el personal de la biblioteca sobre el comportamiento y las actividades que realizan los usuarios.
Uso de planos, distribución de áreas y listas de actividades.
Metodología LibqualHeath, F. y Cook, C. (2000)
Encuesta automatizada que registra y compara la percepción de los usuarios sobre la biblioteca estableciendo 3 niveles de satisfacción:
• Nivel de servicio mínimo (VM): es el valor por debajo del cual el usuario no tolera respecto al ítem que se le está preguntando.
• Nivel observado (VO): el valor que observa o percibe respecto al ítem que se le está preguntando.
• Nivel de servicio deseado (VD): valor que el usuario espera.
Instrumentos de evaluación
• Encuestas
• Reportes de Sistemas de Información
• Tablas de Registros
• Asuntos a tratar y preguntas punto de partida para los talleres
• Formatos de observación
Productos
• Ficha técnica histórica
• Informes de evaluación
• Relación de factores que dan valor al servicio bibliotecario
Etapas0. Previa: Análisis del entorno y definición de elementos básicos
de gestión y planeación √1. Formulación de objetivos estratégicos √2. Construcción de indicadores de medición asociados a cada
objetivo √3. Discusión, revisión y ajuste (al interior del SINAB) √4. Búsqueda del valor actual de los indicadores √ 5. Proyección del valor de los indicadores 6. Definición de las acciones asociadas a cada objetivo para
movilizar los indicadores 7. Discusión, revisión y ajuste (Comité SINAB y docentes)8. Implementación de tecnología para monitorear el
comportamiento de los indicadores
Construcción de indicadoresIndicadorPreguntas / Observaciones
Sistemas de InformaciónTablas de registrosEncuestasObservaciones InvestigacionesEstudiantes pregradoEstudiantes especialización y maestríaEstudiantes de doctoradoProfesores
Área / ProgramaISO IFLA Libqual Modelo de ConteoNLA
CNADiario, mensual, semestral, anualDiferencial
Fuente de los datos
Tipo de usuario
Referencia
Periodicidad Variables
BSC - SINAB
Misión
El SINAB posibilita, de manera integrada y eficiente, el acceso a los recursos y servicios de información disponibles en Universidad.
Usuarios
Necesidades & Expectativas/ Oferta Recursos & Servicios
Procesos internos VIsión Financiera
Eficiencia & Rendimiento
El SINAB principal referente para la organización, búsqueda y recuperación de información académica y científica en la Universidad. Hará parte e impulsará las
principales iniciativas que, en Colombia y en el ámbito internacional, busquen ampliar y mejorar
el acceso a la información.
Control de gastosMantener o minimizar costos
Políticas & Planeación,Desarrollo & satisfacción del
personal,Mejoramiento continuo
Desarrollo & Crecimiento
Perspectiva de Usuarios
Usuarios
Necesidades & Expectativas/ Oferta Recursos & Servicios
Afianzar la relación entre las bibliotecas y la comunidad universitaria.
Facilitar a la comunidad universitaria el acceso a los recursos de información.
Ofrecer espacios adecuados y amables.
Incentivar en la comunidad universitaria la generación de competencias en el uso y manejo de la información.
Ampliar la cobertura de los servicios
Indicadores Preguntas / Observaciones
Fu
en
te
T.
Us
ua
rio
Are
a/P
rog
.
Referencia CNA
El personal le inspira confianza ? Libqual
El personal le ofrece atención personalizada
? Libqual
El personal es siempre amable ? Libqual
El personal muestra buena disposición para responder a las preguntas planteadas
? Libqual
El personal tiene conocimiento y es capaz de responder a laspreguntas que se le formulan
? Libqual
El personal es atento con las necesidades del usuario
? Libqual
El personal comprende las necesidades de sus usuarios
? Libqual
El personal manifiesta voluntad de ayudar a los usuarios
? Libqual
El personal muestra fiabilidad en el tratamiento de los problemas del servicio manifestadas por los usuarios
? Libqual
Tiempo promedio que dedican los usuarios a interactuar con el personal
ºº
La información disponible sobre los recursos y servicios de la biblioteca es clara y suficiente
?
OBJETIVO: Afianzar la relación entre las bibliotecas y la comunidad universitaria.
Grado de adecuación del servicio a las necesidades y expectativas de los usuarios - Valor afectivo
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Volúmenes por estudiante ISO √
Titulos por estudiante
Volúmenes por docente de tiempocompletoTotal de títulos de libros √ √Total de titulos de publicacionesseriadas y continuas
√ √
Total de títulos de trabajos degrado y tesis
√ √
Total de Bases de Datos √ √El acceso a los recursos electrónicos es factible desde la casa o la oficina
? Libqual
El sitio Web de la biblioteca permite encontrar información por si mismo
? Libqual
Los materiales impresos de la biblioteca cubren sus necesidades de información
? √ √ Libqual √
Los recursos digitales cubren las necesidades de información quetiene
? √ √ Libqual √
El equipamiento es moderno y le permite un acceso fácil a lainformación que necesita
? Libqual √
OBJETIVO: Facilitar a la comunidad universitaria el acceso a los recursos de información.
Grado de adecuación del servicio a las necesidades y expectativas de
los usuarios - Control de la información
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Los instrumentos para la recuperación de información (catálogos, bases de datos,...) son fáciles de usar y le permiten encontrar por si mismo lo que busca
? Libqual √
Porcentaje de programas de doctorado que cuentan con servicio de documentación
xxx
Puede acceder fácilmente a la información para usarla y procesarla en sus tareas
? Libqual √
Las revistas en versión electrónica y/o impresa cubren sus necesidades de información
? √ √ Libqual
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Espacio total por estudiante (M2) xxx JCR (UK)
Estudiantes por puesto de lectura xxx JCR (UK)
El espacio de la biblioteca ayuda al estudio y al aprendizaje
? Libqual
El espacio de la biblioteca es tranquilo para el trabajo individual
? Libqual
El espacio de la biblioteca es un lugar confortable y acogedor
? Libqual
El espacio de la biblioteca es un lugar para el estudio, el aprendizajela investigación
? Libqual
Existen espacios colectivos para aprendizaje y estudio en grupo
? Libqual
El horario de la biblioteca se adecúa a sus necesidades
? √ √
La señalización facilita el desplazamiento por la biblioteca y el uso de sus servicios
?
OBJETIVO: Ofrecer espacios adecuados y amables.
Grado de adecuación del servicio a las necesidades y expectativas de los usuarios - La biblioteca como espacio
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Frecuencia de asistencia porfranjas de Horario
ºº √ √
Tiempo promedio de permanenciaen la biblioteca
ºº
Tiempo promedio que dedican los usuarios al uso de medios electrónicos
ºº
Tiempo promedio que dedican los usuarios al uso de materiales impresos
ºº
Porcentaje de usuarios que realizan actividades en grupo sobre el total de usuarios que permanecen en la biblioteca
ºº
Espacio total por estudiante (M2) xxx JCR (UK)
Estudiantes por puesto de lectura xxx JCR (UK)
Tasa de ocupación de plazas delectura
xxx ISO
Actividades que realizan los usuarios en las bibliotecas
Indicadores Preguntas / Observaciones
Fu
en
te
T.
Us
uar
io
Are
a/P
rog
.
Referencia CNA
Reconoce sus necesidades de información
I √ √ Unesco
Localiza y evalúa la calidad de la información
I √ √ Unesco
Almacena y recupera información I √ √ Unesco
Hace un uso efectivo y ético de la información
I √ √ Unesco
Aplica la información para crear y comunicar conocimiento
I √ √ Unesco
Porcentaje de estudiantes que hanrecibido formación de usuarios
xxx √ JFC (UK) √
Porcentaje de nuevos estudiantesque asisten a jornadas deinducción
xxx √
Porcentaje de usuarios querealizan el curso virtual sobre uso ymanejo de información
|||| √ √ √
Porcentaje de estudiantes queasisten a talleres sobre uso ymanejo de información
xxx √ √
Porcentaje de profesores queasisten a talleres sobreinformación
xxx √ √
Porcentaje de profesores que asisten a talleres de publicación digital sobre el total de profesores de TC
xxx √
Número de estudiantes por personal cualificado
xxx
OBJETIVO: Incentivar en la comunidad universitaria la generación de competencias en el uso y manejo de la información.
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
||||xxx
Visitas "per capita" xxx √ √ ISO √
Porcentaje de usuarios activos de la biblioteca
|||| √ √
Tasa de incremento en el número de usuarios activos
||||
||||
ººUsos remotos "per capita" |||| √ √ IFLA √Descargas de documentos debases de datos por el total deestudiantes y profesores
|||| √ √
Tasa de éxito en búsqueda deejemplar conocido [Catálogo]
|||| ISO
Tasa de éxito en búsqueda pormaterias [Catálogo]
|||| ISO
Cantidad de objetos digitalesconsultados
||||
Cantidad de objetos digitalesdescargados
||||
Visitas al portal ||||
OBJETIVO: Ampliar la cobertura de los servicios
√
√Preguntas contestadas por el total de estudiantes y profesores
Porcentaje de población atendida
JFC (UK)
ISO√√
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Porcentaje de documentos de la colección que se han usado
||||
Préstamos "per capita" |||| √ √ ISO √Préstamos en relación con lacolección
|||| ISO
Préstamos interbibliotecarios alinterior del SINABPréstamos interbibliotecariosrecibidos de otras institucionessobre el total de préstamosinterbibliotecarios
|||| √ √ √
Solicitudes de conmutaciónbibliográfica formuladas a otrasinstituciones sobre el total desolicitudes de conmutaciónbibliográfica
|||| √ √ √
Usuarios externos atendidossobre el total de usuariosatendidos
||||
Porcentaje de asistentes aactividades en relación con losasistentes esperados
xxx
Perspectiva de Desarrollo & Crecimiento
Desarrollo & Crecimiento
Políticas & Planeación,Desarrollo & satisfacción del
personal,Mejoramiento continuo
Contar con políticas y planificación para la operación de la biblioteca
Promover el desarrollo y la satisfacción del personal
Mejorar la calidad de los servicios
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Política de servicios bibiotecarios definida
Política de gestión de colecciones recursos bibliográficos definida
√
Planeación estratégica
Estructura, organización y servicios que presta la biblioteca
√
OBJETIVO: Contar con políticas y planeación para la operación de la biblioteca
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Se identifica con las políticas de la biblioteca
?
Los mecanismos de comunicación interna facilitan el intercambio claro y suficiente de la información
?
La estructura administrativa de la biblioteca facilita el desarrollo de los procesos y procedimientos
?
La capacitación recibida contribuye a mejorar el desempeño de sus funciones
?
Porcentaje del personal que haparticipado en actividades deformación
xxx
OBJETIVO: Promover el desarrollo y la satisfacción del personal
Grado de identificación del personal con las politicas de la biblioteca
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Porcentaje de nuevos servicios sobre el total de servicios
xxx
Porcentaje de servicios mejorados sobre el total de servicios
xxx
Porcentaje de automatización de las actividades de servicio
xxx
Porcentaje de automatización de las actividades realizadas por los funcionarios
xxx
OBJETIVO: Mejorar la calidad de los servicios
Perspectiva de Procesos internos
Procesos internos
Eficiencia & Rendimiento
Minimizar o mantener los tiempos de respuesta para el usuario
Elevar o mantener el rendimiento de los procesos bibliotecarios
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
||||
xxxDuración del proceso técnico xxx ISO
Tiempo medio de suministro de documentos en acceso cerrado
ºº ISO
Tiempo medio de suministro de documentos en acceso abierto
ºº ISO
Nivel de fallas en la disponibilidad de los recursos electrónicos
xxx
Velocidad en la conexión para la recuperación de información
||||
OBJETIVO: Minimizar o mantener los tiempos de respuesta para el usuario
ISODuración del proceso de adquisiciones
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Número de ítems procesados por el total de estudiantes y profesores
|||| JFC (UK)
Índice de crecimiento en el número de ítems adquiridos
|||| √ √
Índice de crecimiento en el número de suscripciones a publicaciones seriadas
xxx √ √
Índice de crecimiento en el número de ítems catalogados
||||
Ìndice de crecimiento en objetosdigitales agregado a losrepositorios
||||
Promedio de registros catalogados por hora
||||
Volúmenes ingresados a lascolecciones
||||
Volúmenes dados de baja de lascolecciones
||||
Volumenes adquiridos por formasde adquisición
||||
OBJETIVO: Elevar o mantener el rendimiento de los procesos bibliotecarios
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Volúmenes restaurados y/oreencuadernados
||||
Títulos de seriadas adquiridas porsuscripción
||||
Títulos de seriadas adquiridas pordeposito legal
||||
Títulos de seriadas adquiridas porcanje
||||
Títulos de seriadas adquiridas pordonación
||||
Bases de datos por áreas delconocimiento
xxx
Procentaje de actividades de laagenda cultural realizadas enrelación con las actividadesprogramadas
xxx
Promedio de transacciones porfuncionarios
||||
Transacciones por funcionario (pornombres) por puesto de trabajo
||||
Perspectiva Financiera
Financiera
Control de gastosMantener o minimizar costos
Controlar los gastos y mantener o minimizar los costos
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Porcentaje presupuesto de lainstitución asignado a la biblioteca
||||
Porcentaje de ejecución delpresupuesto asignado
||||
Porcentaje del presupuestoasignado invertido en recursos deinformación
|||| √ √
Porcentaje del presupuestoinvertido en recursos electrónicosdel total del presupuesto pararecursos de información
||||
Porcentaje del presupuesto asignado para gastos de funcionamiento
xxx
Valor total del presupuesto de la biblioteca por fuentes de recursos (asignado a la biblioteca, otros recursos de la Universidad invertidos en la biblioteca, recaudo, donaciones o patrocinios)
xxx
NLA
OBJETIVO: Controlar los gastos y mantener o minimizar los costos
Indicadores Preguntas / Observaciones
Fu
ente
T. U
suar
io
Are
a/P
rog
.
Referencia CNA
Valor del Material bibliográficoadquirido por formas deadquisición
xxx
Valor total del material bibliográfico adquirido por fuentes de recursos
xxx √
Gasto en adquisiciones por estudiante
xxx √ √
Costo por usuario xxxCosto por visita xxxCosto promedio de suscripción depublicación seriada
xxxNLA
Costo por transacción de serviciosde información
xxxNLA
Costo por préstamo xxxCosto por título catalogado xxxCosto por ítem digitalizado xxxCosto unitario de mantenimientode colecciones
xxxNLA
Valor de fascículos recibidos encanje respecto al Costo defascículos enviados en canje
xxx
Base de recursos de personal –Tiempo y costo
xxxNLA
¡Gracias!