al finalizar el taller los participantes: después del...

Prof. Lillian E. Ríos-RodríguezPresidenta CoIA

UPR - Recinto de Ciencias Médicas24 de octubre de 2014

Avalúo de la Efectividad Institucional en Unidades Administrativas y de Servicios (Parte II – Técnicas) 1

Prof. Lillian E. Ríos

24 de octubre de 2014

2

Al finalizar el taller los participantes:•Aplicarán técnicas de avalúo útiles para medir la

efectividad de la unidad.

•Reconocerán los elementos necesarios en la redacción de un objetivo.

•Distinguirán entre medidas directas y medidasindirectas.

Después del taller:•Redactarán un objetivo con todos sus

elementos.

•Revisarán el borrador del Modelo de Nichols el avalúo de la efectividad de su unidad.




Avalúo de la efectividad institucional

• Es un proceso continuo y sistemático para recopilar, organizar, resumir e interpretarinformación variada sobre los procesos y servicios que ofrece una unidad, departameto o institución.

–Propósito:

• Mejorar

– identificar fortalezas y debilidades

–tomar decisiones basadas en evidencia3

Aseveración o enunciado que transmite un propósito:

• describe un cambio en el/los sujeto(s),

• define lo que habrá de ser el sujetodespués de haber cumplido con éxito un proceso de aprendizaje,

• según el Dr. Paul Whitmore, especifica un cambio observable y medible porque de lo contrario no se podría determinar sulogro. (Robert F. Mager, 1967)

4




Es un enunciado específico que plantea el resultado que se pretende alcanzar. En suredacción se incluye:

• Verbo (acción observable),

• Sujeto/objeto directo (que hace),

• Situación/Condición (cómo, cuándo o dónde)(complemento circunstancial) y

• Implica obtención de resultados/logromedible a corto plazo (resultado de la acción).

5

6

Imagen recuperada de http://unesdoc.unesco.org/images/0008/000804/080497so.pdf (para fines educativos solamente).




• Mejorar la comunicación respecto a lo que se pretende alcanzar– Supervisor ↔ Empleado

– Empleado ↔ Cliente

– Cliente ↔ Supervisor

• Ayudar a elegir las actividades para medir su logro

• Facilitar la selección de instrumento(s) para obtener la información

• Precisar lo que se desea avaluar

• Excluir el mayor número de interpretacionesposibles (Robert F. Mager, 1961)

7

Verbos que se prestan a interpretaciones:

8

Múltiples

conocer

comprender

apreciar

entender

disfrutar

creer

Pocas

comparar

construir

contrastar

distinguir

escribir

identificar

recitar

resolver




9

Conceptuales Procesales Actitudinales

Analizar Adaptar Aceptar

Clasificar Aplicar Apreciar

Comparar Calcular Colaborar

Comprobar Construir Compartir

Conocer Debatir Crear

Deducir Diseñar Cooperar

Demostrar Organizar Disfrutar

Describir Planear Inventar

Distinguir Programar Mostrar

Diferenciar Recoger Participar

Identificar Resolver Preferir

Reconocer Simular Respetar

Verificar Utilizar, Usar Valorar

Exploratorio Descriptivo Explicativo

Conocer Analizar Comprobar

Definir Calcular Demostrar

Descubrir Caracterizar Determinar

Detectar Clasificar Establecer

Estudiar Comparar Evaluar

Explorar Cuantificar Explicar

Indagar Describir Inferir

Sondear Examinar Relacionar

Identificar Verificar

Medir

10




11

12

Fuente: Recuperado desde http://www.efdeportes.com/efd170/construir-objetivos-propositos-o-competencias.htm para fines educativos solamente.

Verbo conjugadoAcción que

proponeTiempo verbal Construye

Reconocerá Se da por hecho Futuro Objetivo

Reconoce Lo da por hechoNo se usa en

planeación, solo en verificación

Presente Competencia

Reconoza No se da por hecho

Presente Propósito




• Luego de visitar el CECSi para recibir consejería, los estudiantes expresaránestar satisfechos con el servicio recibido.

• Al inicio del año académico, el personal verificará que la cantidad de recursos bibliográficos esenciales para las profesiones de la salud están disponibles en la Biblioteca.

13

A Road Map for Improvement of Student Learning and Support Services Through Assessment (Nichols, 2005). Adaptación y traducción del modelo para fines educativos.

Propósito Institucional ExpandidoObjetivos/ Resultados esperados

Criterios de Éxito y Método de Avalúo

Resultados Obtenidos

Uso de los Resultados/Acción

tomada

Misión: Somos una biblioteca académica de carácter público especializada en ciencias de la salud, que se dedica a anticipar y satisfacer las necesidades de información de la comunidad del Recinto de Ciencias Médicas, los profesionales que laboran en el área de las ciencias de la salud en Puerto Rico y del público en general. Participamos activamente en los procesos de enseñanza, aprendizaje e investigación, así como en los servicios de cuidado y promoción de la salud del paciente, al proveer acceso a fuentes de información de calidad y al educar a los usuarios en la recuperación y el uso crítico de la misma.

Meta: Proveer los recursosbibliográficos y tecnológicos esenciales para los profesionales de la salud a niveles pre y post bachillerato hasta de post grado.

Al inicio del año académico, el personal verificará que los recursos bibliográficos esenciales paraprofesiones de la salud, son parte del inventario de recursos disponibles para los usuarios de laBiblioteca.

A través del análisis de una tabla comparativa, se observará que el 80% o más de los recursos bibliográficos esenciales para las profesiones de la salud (según lista de autoridades de la Medical Library Association (MLA), Master Guide Authoritative Information Resources in the Health Sciences, 2011), están disponibles para los usuarios de Biblioteca.

Disponibles:119 de los 126 (94%)

Se recomendó continuar con la acción reiterativa de continuar los esfuerzos de mantener el nivel de cumplimento con la métrica.

Se evaluó la viabilidad de reducir en un 5% el presupuesto asignado para este propósito sin que afecte el nivel de cumplimiento con la métrica. Dados los resultados, para el año académico 2014-2015 ese 5% del presupuesto fue asignado para mejoras en…




Directas

• miden desempeño o ejecución del sujeto/objeto

• el sujeto demuestra conocimiento

Indirectas

• fundamentadas en percepciones u opiniones

• es producto de una reflexión

• no mide desempeño ni conocimiento

• Pruebas estandarizadas

• Portafolios

• Rúbricas o matrices de valoración

• Proyectos o exhibiciones evaluados por jurado

• Proyectos de culminación de cursos o grados (“Capstones”)

• Observaciones y evaluaciones de las ejecutorias o de la efectividad de un proceso.




• Encuestas

– estudiantes

– egresados

– empleados

– patronos

• Grupos focales

• Diarios reflexivos

• Autoevaluaciones

• Evaluaciones de los cursos

• Directa:

Se mide y registra el tiempo de espera.

– Hora de llegada

– Hora de salida

• Indirecta:

El cliente responde un cuestionario.

– El tiempo de espera fue:a. Cortob. Regularc. Excesivo

18




Clasificar como medida directa o indirecta.

• Patrones de matrícula

• Razón estudiantes por profesor

• Presupuesto asignado

• Fotos y publicaciones en la web de proyectos realizados por personal de la oficina en un periodo de tiempo (evidencia desempeño antes y después).

• Resultados de evaluación de cursos

• Diversidad del cuerpo estudiantil

Al momento de seleccionar las medidas o técnicas de avalúo a utilizarse considere:

• Presupuesto

• Tiempo y recursos necesarios

• Integración con actividades regulares

• Cantidad de objetivos con los que se relaciona

• Contribución a la toma de decisiones

• Confiabilidad y validez




Debe:

• Involucrar a todo el personal de la unidad

• Considerar prioridades y necesidadesprácticas

• Seleccionar estrategias:

– realistas

– enfocadas

– manejables

21

22

• Encuestas de satisfacción

• Calendarios de trabajo(propuesto vs logrado)

• Estudios de necesidades

• Tormentas de ideas para solución de problemas

• Diarios reflexivos

• Tasas comparativas

• Evaluación del plan de trabajo

• Portafolios– Personales

– Colectivos




• Debe ser breve y de fácil manejo

• Diseñada para un servicio específico

Ejemplo:

23

Excelente Bueno Pobre No aplica

Criterios respecto al servicio 3 2 1 0

1. Tiempo de espera

2. Cordialidad en el trato

3. Pertinencia de la información recibida

4. Material didáctico

• Se consigna el trabajogeneral para un lapso de tiempo.

• Al completar el lapso de tiempo se evalúa el logro.

• Se construye el calendario de trabajosiguiente a partir del queconcluye.

• Se provee para los imprevistos.

24

julio 2014Dom Lun Mar Mier Jue Vie Sáb

1 2 3 4 5

6 7 8 9 10 11 12

13 14 15 16 17 18 19

20 21 22 23 24 25 26

27 28 29 30 31

propuesto vs logrado




• Es una consulta al:

– personal con el propósito de elaborar un plan de mejoramiento

– cliente con el fin de mejorar procesos o ampliar servicios.

• Debe tomar en consideración las áreasespecíficas en que el personal necesitemejorar o capacitarse.

25

• Emergen del estudio de necesidades.

• No deben ser impuestos.

• Deben estar enmarcados hacia mejorarlas capacidades del personal de modoque los servicios que ofrecen mejorensustancialmente.

• Deben programarse dentro de horariosque los empleados puedan asistir sin inconvenientes.




• Es un tipo de avaluación formativa a la que se expone el empleado con el propósito de ayudarle a perfeccionar unatarea.

• Se recomiendan cuando se van a utilizarnuevos equipos, productos, formularios y otros; para que el empleado se sientacómodo con la nueva manera de realizaruna tarea.

28

• Participan todos los empleadosbuscando una solución a una situaciónparticular.

• El supervisor sirve de facilitador para alertar si son viables las alternativas quese ofrecen.




• Es un documento de trabajo que permiteque el empleado reflexione sobre:

– sus actitudes hacia el trabajo

– la calidad de su trabajo

– sus fortalezas y limitaciones

– sus logros

– sus preocupaciones y sugerencias en torno a la labor realizada durante un período de tiempo determinado

• Sirven de criterio de efectividad cuando se cuenta con los datos específicos que nospermita llevar a por ciento (%) la cantidadde trabajo generado en un lapso de tiempo.

• Ayudan a determinar los momentos enque la oficina tiene mayor cantidad de trabajo y permiten hacer mejor uso del personal.

(recibido vs atendido)




• Se examinan los objetivos propuestos y su logro

• Se asigna puntuación:• Se completó (100%) 3

• Se completó parcialmente (70% o más) 2

• Se completó menos del 70% 1

• No se atendió 0

• Ejemplo: Total de 20 objetivos

12 Se completó (100%) 12 X 3 = 36

6 Se completó parcialmente (≥70%) 6 X 2 = 12

1 Se completó menos del 70% 1 X 1 = 1

1 No se atendió 1 X 0 = 0

Total 49

49/60 = 81.7% de cumplimiento en el plan de trabajo




Propósito:

• Compilar información y material quedocumente:– la calidad de los servicios

– el mejoramiento de los procesos

– el desarrollo de la oficina a través del año

– las gestiones para el mejoramiento del personal en aspectos como:• conocimiento

• destrezas

• actitudes

• Personales

– Es una compilación de evidencias que hace el empleado sobre sus ejecutorias a través del año.

• Colectivos– Es una compilación diversas evidencias de las

actividades de mayor relevancia que la oficina ha efectuado a través del año.

Se deben elaborar por áreasde trabajo de la oficina.

Pueden incluir: fotos de trabajos realizados, evaluacionesde desempeño, certificados de participación enactividades de capacitación, reconocimientosprofesionales, logros laborales y reflexiones sobre asuntosde trabajo, entre otras evidencias.




• Primera Sección: Expectativas de la oficinaHacia donde vamos, qué nos proponemos

• Segunda Sección: Fortalezas y aspectos a mejorar Con qué estado de ánimo, actitudes, situaciones, etc.

• Tercera Sección: Plan de trabajoEvaluación del plan de trabajo

• Cuarta Sección: Plan de avalúoDocumentar las actividades y resultados(Diarios reflexivos, desempeño antes y después, actividades de capacitación, logros significativos, etc.)

• Quinta Sección: Encuesta de satisfacción de serviciosEstadísticas u otros resultados de la encuesta

• Sexta Sección: Resumen de CierreSe destacan las fortalezas de la Oficina y lo que necesita mejorar y cómo se propone mejorarlo para el año siguiente.

•Revisar el borrador del Modelo de Nichols para

avalúo de la efectividad de su unidad trabajado

previamente (un “slide”). La idea es mejorarlo a

la luz del conocimiento adquirido sobre:

– cómo documentar el cierre del ciclo (acción tomada

luego de contar con los resultados).

– la manera adecuada de redactar un objetivo

– las técnicas de avalúo estudiadas

•De tener alguna duda puede solicitar una reunión

con la Prof. Lillian E. Ríos a través del correo

electrónico o de las extensiones 1660 y 2244.36




37

1. Plan Avalúo de la Efectividad Institucional 2010-2016Indicadores de Avalúo Institucional RCM (2010-2016)

2. Certificación 03 JS, 2009-2010 Indicadores de Avalúo Institucional UPR

3. Certificación 33 SA, 2007-2008Política de Avalúo del RCM

4. Certificación 136 JS, 2003-2004Política sobre la Efectividad Institucional de UPRPolítica de Avalúo de Institucional Sistema UPR

5. Recurso externo: PresentaciónAssessment for Administrative UnitsVer presentación

Prof. Lillian E. Ríos RodríguezPresidenta

Comité Institucional de Avalúo (CoIA)Ext. 2244, [email protected]

38

http://www.rcm.upr.edu/daa/Documents/Plan_Avaluo_2010-2016.pdf

http://www.vcertifica.upr.edu/PDF/CERTIFICACION/2009-2010/3 2009-2010.pdf

http://www.rcm.upr.edu/daa/Documents/Cert_033_2007-2008_SA_RCM.pdf

http://www.vcertifica.upr.edu/PDF/CERTIFICACION/2003-2004/136 2003-2004.pdf

http://www.agnesscott.edu/institutionalresearch/files/documents/administrative-assessment.pdf




Allen, M. J. (2004). Assessing Academic Programs in HigherEducation. Boston, Massachusets: Anker Publishing Company, Inc.

Banta, T. A., Jones, E. A. & Black, K. E. (2009). Designing effectiveassessment: Principles and profiles of good practice. San Francisco, CA: Jossey-Bass.

Fontaine, F. & Bernhard, P. (1988). Directrices para la redacción

de objetivos de aprendizaje en Bibliotecología, ciencias de la

información y archivística. Recuperado de http://unesdoc.unesco.org/images/0008/000804/080497so.pdf. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. París

Mager, R. F. (1967). Objetivos para la enseñanza efectiva. Recuperado de http://inabima.gob.do/descargas/bibliotecaFAIL/Pedagogia/Mager,%20Robert%20F.%20-%20Objetivos%20para%20la%20ensenanza%20efectiva.pd. Traducción de Gibbs, A. & Benegas, A. H. Caracas, Venezuela 39

Maki, P. (2004). Assessing for learning: Building a sustainable commitment across institution. Virginia, US: Stylus Publishing, LLC.

Medina, M. R. & Verdejo, A. L. (2009). Conceptos generales de la evaluación y la medición del aprendizaje. En Isla Negra Editores (3ª ed.). Evaluación del Aprendizaje Estudiantil. (pp. 19-34). Puerto Rico: Experts Consultant, Inc.

Middle States Commission on Higher Education. (2006). Characteristics of Excellence in HigherEducation: Requirements of Affiliation and Standards forAccreditation. Recuperado de http://www.msche.org/publications/CHX06_Aug08REVMarch09.pdf (Trabajo original revisado en marzo de 2009).

40




Nichols, J. & Nichols, K. (2005). A Road Map for Improvement of Student Learning and Support Services Through Assessment. New York, US: Agathon Press.

Palomba, C. A. & Banta, T. W. (1999). Assessmentessentials: Planning, implementing and improvingassessment in higher education. San Francisco, CA: Jossey-Bass

Varga, R. (s.f). Presentación a directores de unidades de servicios en UPR-Río Piedras: Assessment institucional.

41