evaluación. herramienta de gestión en bibliotecas y centros de información
DESCRIPTION
Presentación del curso “Evaluación de bibliotecas y centros de información” ofrecido los días 13 y 14 de mayo de 2014 por la Mag. Juanita Jara de Súmar, en la Pontificia Universidad Católica del Perú.TRANSCRIPT
Evaluación.
Herramienta de gestión en
bibliotecas y centros de
información
Juanita Jara de Súmar
Bibliotecaria
McGill University- Canadá
Proceso de recogida de datos y evaluación
Herramienta de gestión, para la planificación
estratégica y la administración eficiente
En el sector privado
En el sector educativo y gubernamental
Recogida de datos y evidencia (Assessment)
“Assessment is the gathering of meaningful or
purposeful data that will provide information that
informs, improves or confirms”
Datos pertinentes que nos informan, mejoran y confirman
la situación que queremos analizar
Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library
Asses[s]ment. Indiana Libraries, 23(1), 7.
Evaluación
“Evaluation […] is the assigning of merit, value or
worth to the findings”
Mérito, valor, riqueza
Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library
Asses[s]ment. Indiana Libraries, 23(1), 7.
Cultura de recogida de datos y evidencia
Organizaciones que cuentan con un sistema y una
estructura para la compilación continua de datos
y evidencia que permiten evaluar la organización.
Dudden, R. F. (2007). Using benchmarking, needs assessment, quality improvement,
outcome measurement, and library standards : a how-to-do-it manual with CD-ROM.
New York ; London : Neal-Schuman Publishers.
Planeamiento estratégico
Tomar en cuenta la visión, misión y metas de la
organización
Debe basarse en hechos y datos concretos
Ceñirse a un calendario
Establecer objetivos (resultados) reales y cuantificables,
totales y para cada etapa
Toma de decisiones basadas en el análisis de los datos
FODA (SWOT)
Fortalezas Oportunidades
Debilidades Amenazas
Estimado preliminar
Origen
Planeamiento/Diseño
Recogida de datos
Análisis de datos
Resultados
Informe de la evaluación
Toma de decisiones
Acciones
Wallace, D. P. & Van Fleet, C. J.
(2012) Knowledge into action. Santa
Barbara: Libraries Unlimited, p.40
Proceso de
Medición y
Evaluación
Representación
lineal
http://www.ala.org/acrl/standards/standardslibraries
Presentación linear de los tipos de medidas de una biblioteca
Categorias de medidas
ENTRADAS PROCESOS / ACTIVIDADES
SALIDAS PRODUCTOS (RESULTADOS)
IMPACTO
Tipos de medidas
Recursos humanos y financieros
Medidas de rendimiento Indicadores de eficiencia
Actividades Progrmas y servicios Calidad
Satisfacción Valor para el usuario A corto plazo
Cambios en la sociedad debido a cambios en los usuarios A largo plazo
Medidas de…
EVALUACIÓN Y COMENTARIOS
Economía Eficiencia
Adaptado de Dudden, Rosalind F. 2007. Using benchmarking, needs assessment, quality improvement,
outcome measurement, and library standards : a how-to-do-it manual with CD-ROM, Medical Library
Association guides. New York ; London : Neal-Schuman Publishers. p. 43
Ética profesional en la evaluación
Principios de la conducta del investigador
Conflicto de intereses
No beneficiarse de la información privilegiada
Trato de los datos
Trato con las personas participantes
1 Recogida de datos y evidencia
Consiste en recopilar datos significativos o útiles para
informar, mejorar o confirmar nuestras acciones. (Lee-
Thomas)
¿Qué queremos saber?
¿Por qué lo queremos saber?
¿Quién nos proporcionará la información?
¿Cómo conseguiremos la información?
¿Cómo utilizaremos la información?
Mediciones
Recogida de datos sobre todo el sistema
Datos sobre sólo un determinado proceso
Evaluación de colecciones
Evaluación de la alfabetización informacional
Evaluación del servicio de referencia virtual
Evaluación del personal de la biblioteca
Mediciones
Medidas (metrics)
Datos cuantitativos. Estadísticas. Presupuesto
Estimados. Muestreo
Evidencia
Comparación con organismos similares (benchmarking)
Carencias (gap analysis)
¿Cuán valiosos?
¿Cuán bien?
¿Cuán sensible?
¿Cuán satisfechos?
¿Cuán fiable?
¿Cuán cortés? ¿Cuán preciso?
¿Cuánto? ¿Cuán rápido?
¿Cuán económico?
¿Cuántos?
The “hows” of Measurement
Medidas
Adaptado de Hernon, Dugan and Matthews. (2014). Getting started with
evaluation. Chicago: ALA, p. 7
Encuestas Entrevistas en persona
Análisis de quejas/ Grupos focales
felicitaciones
tarjetas para comentarios
Clientes anónimos Entrevistas a empleados
que se retiran
Satisfacción
de los clientes
d
Adaptado de Hernon, Dugan and Matthews. 2014. Getting started with
evaluation. Chicago: ALA
Análisis estadístico
Promedios: media, mediana, moda
Relaciones, Porcentajes
Regresiones, Correlaciones
Prueba Chi-cuadrado
Análisis estadístico - Software
Stata
SAS
SPSS
MATLAB
Cientos de paquetes de software libre
Rúbricas
Mediciones que describen niveles de rendimiento para
cada tarea o parte de ella.
Describir la tarea
Determinar las parte de la tarea y sus dimensiones
Describir las dimensiones
Crear escalas numéricas o de valor (bien, mal)
Normas
A nivel nacional e internacional
Para diversos tipos y niveles
Las normas expresan niveles mínimos
Incluyen principios e indicadores de rendimiento
Ej. http://www.ala.org/acrl/standards/standardslibraries
Evaluar por comparación o puntos de
referencia (Benchmarking)
Las normas establecen puntos de referencia que permitenhacer comparaciones una y otra vez. ¿Cuán buenosqueremos ser?
Comparación con una organización similar o grupo de organizaciones o con las normas
Las comparaciones deben mostrar si se alcanzó el niveldeseado ¿Cuán buenos son nuestros servicios?
Se progresa mejorando la calidad de las actividades
Esto establece las buenas prácticas
Buenas prácticas
¿Cómo lo hacen los demás?
¿ Los demás lo hacen mejor que nosotros?
¿Cómo podemos adaptar a nuestra biblioteca lo que hacen
los otros?
Dugan, R. E., Hernon, P., & Nitecki, D. A. (2009). Viewing library metrics
from different perspectives : inputs, outputs, and outcomes. Santa Barbara,
Calif. : Libraries Unlimited.
Estudios con base en la evidencia
Percibida mediante la observación directa
Producto de un análisis en condiciones controladas
(estudios tiempo/movimiento, focus groups, cuestionarios,
entrevistas)
Estudios de casos
Expresada en la literatura sobre el tema analizada
sistemáticamente (evidence-based studies, systematic
reviews, meta analysis)
Análisis de carencias (Gap analysis)
Dos aspectos: calidad y satisfacción
Diferencia en la expectativa del cliente
Diferencia en el nivel de servicio
Diferencia entre lo que se promete y lo que se entrega
Diferencia en la percepción del servicio
Análisis de datos
Revisar que los datos estén completos y correctos y en el
formato adecuado
Métodos estadísticos pertinentes al caso
Establecer matrices
Seleccionar las herramientas analíticas apropiadas para
darle sentido a los datos
Presentación gráfica adecuada
Aceptar los resultados negativos
Herramientas
interpretativas
Consolidación
de datosRelación con
las preguntas
Herramientas
analíticas Resultados
Recogida
de datos
Prueba de hipótesis
Normas,
lineamientos
políticas
Validación y
corrección
Eval
uac
ion
……………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………………………………………………………
Wallace, D. P. & Van Fleet, C. J. (2012) Knowledge
into action. Santa Barbara: Libraries Unlimited, p.54
Estimado de las necesidades
Medida de la satisfacción de los usuarios
Calidad de los servicios
Rentabilidad sobre la inversión (ROI)
Valor de los servicios para la comunidad
Basado en factores subjetivos
Ejemplos de estudios cualitativos:
LibQual
Libqual en el Perú
http://www.slideshare.net/slideshow/embed_code/33379428
LibQual McGill University http://www.mcgill.ca/library/sites/mcgill.ca.library/files/mcgill_libqual_sur
vey_results_2013.pdf
2. Evaluación, valoración
Consiste en asignar mérito, apreciación y valor a
los resultados que servirán para la toma de
decisiones
Considera datos cuantitativos y cualitativos
Informes – Criterios de evaluación
Pertinencia del informe al tema de la situación identificada
Conforme a las normas del proceso de evaluación
Descripción del proceso de evaluación completa y detalladamente
Evidencia de honestidad y falta de prejuicios
Evidencia de falta de errores
Comparación con estudios similares
Autoridad de los autores
Redacción lógica, clara, simple, sin redundancias = cualidades literarias
Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa Barbara: LibrariesUnlimited. P. 101Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa Barbara: Libraries Unlimited. P.
“Not everything that can be
counted counts”
Cameron, W. B. (1957). The Elements of Statistical Confusion: Or: What Does the
Mean Mean? AAUP Bulletin, 43(1), 33-39.