análisis y utilización de los resultados del avalúo del aprendizaje oai 22 de febrero de 2013...
TRANSCRIPT
Análisis y Utilización de los Resultados del Avalúo del Aprendizaje
OAI 22 de febrero de 2013
Profa. María de los A. Muñiz GarcíaDr. Oscar Pérez Laguillo
OBJETIVOS
PRIMERA PARTE Aplicar las prácticas fundamentales de un buen avalúo
(“assessment”). Identificar estrategias y actividades apropiadas para realizar un
buen avalúo del aprendizaje estudiantil a nivel de cursos. Desarrollar estrategias apropiadas para atender los resultados del
avalúo.
Assessment Practices QuizMark a T next to those statements that accurately describe the MSCHE views on the assessment of student learning and mark an F next to those statements that do not accurately describe the Commission’s views on assessment of student learning. 1. ___ Published test are always preferable to locally developed assessment measures. 2. ___ Class assignments can be used to assess the learning goals of academic programs. 3. ___ Tests with numeric scores are preferable to qualitative measures such as focus
groups. 4. ___ Surveys of student satisfaction with a program are insufficient evidence of what
students have learned. 5. ___ Every learning outcome of every course and program must be assessed. 6. ___ All students should be assessed to demonstrate the effectiveness of a course or
program; a sample of students is inadequate. 7. ___ Goals should not be changed after they are selected.
8. ___ The same assessment measures should be used in each and every assessment cycle.
9. ___ Grades alone are not direct evidence of student learning. 10. ___ The primary purpose of assessment are to maintain accreditation and satisfy
external stakeholders; therefore, it is appropriate to schedule assessment cycles so that they coincide with accreditation self-studies.
11. ___ The most effective way to create an assessment plan is to adopt the
assessment plan of another institution. 12. ___ Assessment efforts should focus on what is learned in academic courses and
programs; assessing what is learned in out-of-class activities is not important. 13. ___ Self-report measures can yield useful information about student learning. 14. ___ The assessment of educational effectiveness and the assessment of
institutional effectiveness are not related.
STANDARD 14 ASSESSMENT OF THE STUDENT LEARNING“Assessment of student learning demonstrates that, at graduation, or other appropriate points, the institution’s students have knowledge, skills, and competencies consistent with institutional and appropriate higher education goals.”
STANDARD 12 EDUCATIONAL OFFERING“The institution’s curricula are designed so that students acquire and demonstrate college-level proficiency in general education and essential skills, including at least oral and written communication, scientific and quantitative reasoning, critical analysis and reasoning, and technological competency.”
STANDARD 11 GENERAL EDUCATION“The institution’s educational offerings display academic content, rigor, and coherence appropriate to its higher educational mission. The institution identifies student learning goals and objectives, including knowledge and skills, for its educational offerings. “
11
ESTÁNDARES MSCHE
12
14
Comparación de las Competencias PUCPR y MSCHE
COMPETENCIAS PUCPR 2008-2013(RAI-METAS DE APRENDIZAJE DE LA PUCPR)
COMPETENCIAS MSCHE
1. Demostrar apertura y conocimiento religioso, que ofrece la Iglesia Católica, como personas encaminadas hacia la verdad.
2. Emplear el pensamiento crítico y las técnicas creativas para la solución de problemas.
• Critical analysis & reasoning
3. Aplicar las destrezas efectivas de comunicación para expresar sus ideas, sus opiniones y sus emociones de manera que mantenga relaciones interpersonales y de colaboración efectivas.
• Written communication• Oral communication
4. Demostrar respeto hacia la diversidad de valores, culturas y puntos de vista. Mostrará tolerancia hacia la ambigüedad y apertura al cambio.
5. Aplicar principios éticos a sus responsabilidades culturales y humanas cuando enfrente retos en su vida personal, familiar, comunitaria y profesional.
6. Manejar la información y la tecnología apropiadas. • Information literacy• Technological competence
7. Utilizar diversos métodos cualitativos y cuantitativos cuando se acerque a problemas que lo enfrenten a la búsqueda de la verdad.
• Quantitative reasoning• Scientific reasoning
8. Destrezas en manejo de conflictos.
El avalúo no debe apoderarse del profesor, sino que el profesor debe apoderarse del avalúo. Para que esto ocurra, debe haber conocimiento, creatividad, flexibilidad y espacio para hacer los ajustes necesarios.
Prácticas fundamentales de un buen avalúo
Etapas del avalúo:
Pre-avaluación: o Elegir la clase o el grupo que se va a avaluar.o Decidir lo que se quiere avaluar (meta de aprendizaje institucional o de
programa, objetivo del curso, conocimiento previo) y el propósito principal para hacerlo.
o Escoger el mejor momento y las técnicas de avalúo más idóneas. o Informar y dialogar con los estudiantes con respecto al avalúo a realizar
en la clase, de los aspectos que se van a avaluar y el objetivo del avalúo que se realizará.
Avaluación o avalúoo Administrar la técnica de avalúo seleccionada.o Ordenar y analizar los datos obtenidos.
Etapas del avalúo
Post-avalúo o Interpretar los resultadoso Comunicar al grupo los resultados (realimentación)o Recopilan las reacciones y recomendaciones o Establecer las estrategias necesarias y ponerlas en práctica.
Proceso cíclico y contínuo Transcurrido cierto tiempo, debe realizarse un nuevo avalúo para ver los
resultados de los cambios efectuados. Cuando hacemos cambios debemos avaluarlos y esta es la razón por la que
el avalúo es un proceso cíclico y continuo.
Ciclo de Avalúo
OPORTUNIDADES DE ENSEÑANZA Y EXPERIENCIAS DE
APRENDIZAJE
AVALÚO
(ASSESSMENT)
RETROCOMUNICACIÓN
REFLEXIÓN Y AUTOREFLEXIÓN
CAMBIOS YMEJORAS
Deficiencias en la planificación del avalúo en los diversos programas
• Metas de aprendizaje o “learning outcomes” (rap) no medibles, ambiguos y difíciles de evidenciar.
• Selección de cursos en los que es difícil avaluar la meta de aprendizaje a nivel de programa (rap).
• Cursos con objetivos no alineados a las metas de aprendizaje del programa.
Deficiencias en la planificación del avalúo en los cursos del componente de educación general
• Metas de aprendizaje (rap) o “learning outcomes” no medibles, ambiguos y difíciles de evidenciar.
• Selección de destreza o competencia a avaluar que no es adecuada para el curso.
• Cursos con objetivos no alineados a las competencias institucionales.
• Cursos generales claves que no se tomaron en consideración para las destrezas básicas.
15
CONOCIMIENTO
EN LA DISCIPLINA
DESTREZAS INTERPERSONALES Y DE LIDERAZGO
ACTITUDES
Y VALORES
DESTREZAS
GENERALES
¿Qué vamos a avaluar en cursos y programas?
Qué avaluar en los cursos de concentración
• Conceptos generales• Uso de vocabulario
científico o de la profesión• Destrezas de laboratorio • Literacia de la información• Destrezas de investigación• Destrezas de comunicación • Temas éticos o bioéticos y la
ética en la investigación
• Razonamiento matemático• Pasos en la solución de
problemas• Análisis de datos tabulados• Análisis y preparación de
gráficas• Desarrollo de hojas de
cálculos• Manejo de la tecnología
17
El avalúo de actitudes, valores y sentido de responsabilidad de los estudiantes
En esta área se pueden avaluar los siguientes aspectos: Conciencia de actitudes Posesión de valores éticos Grado de compromiso con los estudios Responsabilidad con las tareas asignadas Grado de confianza en sí mismo Destrezas de liderazgo Grado de interés en el curso Estilos de aprendizaje Grado de atención Autoidentificación de fortalezas y debilidades
Ejemplos de actividades de avalúo en los colegios
COLEGIOS Y ESCUELAS
Artes y Humanidades
Ciencias
Administración de Empresas
Educación NEXT
Escuelas y Programas Graduados
Ejemplos de actividades de avalúo en ciencias
Estudio y análisis de casos bioéticos y ética en la investigación científica
Actividad grupal colaborativa Evaluación de puntos a favor y en
contra de alternativas a soluciones de problemas en las ciencias (ambiente, investigaciones científicas…)
Preparar tablas y gráficas para resultados de laboratorios
Diagramas, diagramas de flujo, mapas conceptuales u otras ayudas visuales para explicar procesos en los laboratorios
Propuesta de investigación Plan para soluciones a
problemas ambientales Plan para desarrollar un
proyecto científico Afiche o “poster” sobre un tema
de impacto Crítica de un documental
científico, una película o exhibición científica
Simulaciones de procesos Opúsculo para el uso de un
instrumento de laboratorio
Ejemplos de actividades de avalúo en ciencias
Reportaje para una revista científica o periódico
Análisis de la porción de un artículo científico
Desarrollo de un portafolio de experiencias de aprendizaje
Presentación , descripción o demostración de un proceso
Una encuesta incluyendo el análisis de los resultados
Desarrollo de un experimento científico original con el informe en formato científico y un informe oral
Manejo de equipo y destrezas de laboratorio
Explicaciones de procedimientos o pasos para resolver problemas
Experiencias en centros de práctica
Ejemplos de actividades de avalúo para empresas
Anuncio o comercial Resumen ejecutivo Opúsculo de un producto Discurso o presentación de una
campaña publicitaria Estudio de caso o análisis Informe de un cliente Actividad grupal colaborativa Preparación para una entrevista
de recursos humanos o a un cliente
Dramatización de un evento o escenario
Grabación de la historia de un evento
Plan de investigación para resolver un problema
Plan para desarrollar un proyecto o proveer un servicio
Desarrollo de afiche o una exhibición
Manejo de software especializados (Peachtree, QuickBooks, entre otros)
Dominio del manejo de los idiomas
Dominio de la diversidad cultural
Ejemplos de actividades de avalúo para empresas
Crítica de un documental, película, exhibición,…
Análisis de la porción de un artículo de empresas
Una encuesta incluyendo el análisis de los resultados
Desarrollo de un portafolio
Evaluación de puntos a favor y en contra de alternativas a soluciones de problemas
Experiencias o prácticas Preparar gráficas, diagramas,
diagramas de flujo u otras ayudas visuales
Redacción de cartas a editores o negocios
Simulaciones Reportaje para una revista o
periódico
Ejemplos de actividades de avalúo para educación
Estudio de caso o análisis Grabaciones de clases
demostrativas Planes de trabajo para una clase
en particular Materiales didácticos (digitales e
impresos) Poster o afiche para ilustrar un
tema en el internado Propuesta para la solución de un
problema o justificación del mismo
Revisión o autocrítica del trabajo realizado
Presentaciones de clases Evaluación de puntos a favor y
en contra de alternativas a soluciones de problemas
Preparar gráficas, diagramas, diagramas de flujo u otras ayudas visuales
Crítica de un documental, película, exhibición,…
Análisis de un artículo o libro de educación
Una encuesta incluyendo el análisis de los resultados
Desarrollo de un portafolio Práctica docente
Ejemplos de actividades de avalúo para artes y humanidades
Exposiciones de trabajos de arte Desarrollo de trabajos en los diversos
medios artísticos Conciertos o audiciones Estudio o análisis de casos Desarrollo de un reportaje en historia,
sociología, …. Propuesta para la solución de un
problema o justificación del mismo Crítica de un documental, película,
exhibición, pintura u obra de arte, musical…
Dominio del manejo de los idiomas
Evaluación de puntos a favor y en contra de alternativas a soluciones de problemas
Preparar gráficas, diagramas, diagramas de flujo u otras ayudas visuales
Análisis de la porción de un artículo Una encuesta incluyendo el análisis
de los resultados Desarrollo de un portafolio Revisión o autocrítica del trabajo
realizado
Ejemplos de actividades de avalúo para las Escuelas y Programas Graduados
Análisis o evaluación de tesis, tesinas, proyectos empresariales
Disertaciones Análisis de exámenes comprensivos Poster o afiches en congresos o
conferencias profesionales Propuestas y proyectos de
investigación Crítica de un documental, película,
exhibición Análisis de un artículo o libro
Prácticas clínicas Una encuesta incluyendo el
análisis de los resultados Desarrollo de un portafolio
Ejemplos de técnicas de avalúo
Ejemplo #1 Curso de Matemáticas para estudiantes de educación
Instrumentos Utilizados
Cuestionario de Actitudeso Al inicio del cursoo Al finalizar el curso
Laboratorios de Aprendizaje
Encuesta para evaluar el curso
Distribución de Notas
Técnicas de Avalúo Utilizadas Pareo y ordenación de objetivos Resumen en una oración Concepto más claro o más oscuro Tablas comparativas Repaso mediante lista enfocada Pruebas cortas en pareja Pruebas cortas individuales Muéstralo con un dibujo Construye para demostrarlo Explícale a tu compañero Autoevaluación Trabajo cooperativo
1
•El 53% del estudiantado dedicaba 1 a 2 horas semanales a estudiar para MATE 1000.
• El 83 % estudiaba menos de 3 horas semanales. Esto es menos de la mitad del tiempo que un estudiante promedio debe estudiar semanalmente para un curso de matemáticas.
2
•Después del primer examen, el número de ausencias a la clase aumentó significativamente, particularmente los viernes.
•90% estudiantes obtuvo C o más para el primer examen.
•Disminución drástica de la nota para el segundo examen.
Ejemplo 1 Curso de Matemáticas
Actividad: Estudio de actitudes en el cursoHallazgos: En el curso:
3
•El 52% de los estudiantes trabaja. El 90% de éstos lo hace a tiempo parcial.
4
•El 49% de los alumnos toma el curso en cuarto año que coincide con la Práctica Docente y se preparan para la Reválida para la Certificación como Maestro.
•Manifiestan ansiedad desde el primer día de clases, presionando al profesor porque tienen que aprobar la clase para graduarse.
• A medida que se acerca la fecha de la reválida, presionan al profesor para que discuta algunos temas que aparecerán en la reválida.
Ejemplo 1 Curso de Matemáticas
Actividad: Estudio de actitudes en el cursoHallazgos: En el curso:
Acción tomada para MATE 1000
1. Horas de estudio• Orientación sobre el enfoque
del curso y cómo deben estudiar.
• Anuncio de pruebas cortas y otras tareas frecuentemente.
2. Aprendizaje en el Examen 1
• Repaso de los temas del examen.
• Se integró la práctica individual y grupal.
• Administración de pruebas cortas en parejas e individuales.•
Acción tomada para MATE 1000
• Hacer presentaciones de los laboratorios.3. Aumento en las
ausencias después del Examen 1
• Administrar las pruebas cortas los viernes.
• Estos trabajos especiales tendrán valor para la calificación final.
• Autoevaluación de las ausencias
Para el tercer y cuarto examen, disminuyeron las ausencias y
mejoraron los resultados de los exámenes.
Acción tomada para MATE 1000Aprendizaje activo y aprendizaje cooperativo,
Estudiantes que trabajan
Pruebas cortas en pareja y pruebas cortas individuales
Orientación de la necesidad reforzar tiempo de estudio grupal e individual para dominio de conceptos y destrezas
Acción tomada para MATE 1000
• Orientación a los estudiantes de educación sobre la importancia de tomar el curso en el orden de la secuencia curricular.
Toman el curso en 4to año
Diálogo personal para reducir laansiedad y reforzar una actitud positiva hacia su trabajo en el curso.
• Se reforzó la consejería académica y prematrícula.
Ejemplo #2: Avalúo de destrezas de investigación y el método científico
Actividad: Aprendizaje grupal: Diseñar un experimento original, realizar el mismo y redactar un informe científico.Criterios a evaluar mediante una rúbrica:
• Título• Introducción• Formato científico• Materiales y métodos• Información no experimental• Diseño experimental• Definiciones operacionales• Control de las variables• Recopilación de datos y presentación de los resultados• Interpretación de datos
1
•Identifican vagamente el propósito de la investigación en el experimento.
2
•Describen pobremente el método experimental y los materiales.
3
•El diseño experimental está vagamente expuesto.
4
•Los estudiantes fallan en la interpretación de los resultados.
Ejemplo #2 Hallazgos
Actividad: Diseño y desarrollo del experimentoHallazgos: Se analizaron los resultados de la aplicación de la rúbrica. Se identificaron las siguientes deficiencias:
Acción
• Revisar el bosquejo que preparó el grupo de trabajo utilizando la rúbrica para estos fines.
Retrocomunicación previo a la entrega
final del trabajo• Discutir los hallazgos
individualmente o grupal.• Dar la oportunidad para revisar y
corregir el trabajo.
• Acción tomada para los hallazgos del trabajo final
• Reforzar la destreza en el curso con ejercicios similares.
• Asignar otro trabajo similar en el que se evidencien el desarrollo de las destrezas requeridas.
Estrategias generales para atender hallazgos :
ACCIONES A NIVEL DE CURSO
Actividades a incluir para atender la necesidad
Avaluar nuevamente la destreza con un segundo
trabajo, estudio de caso, otras
Analizar los resultados nuevamente y comparar el progreso de los estudiantes
ACCIÓN A TOMAR DE NO ALCANZAR LAS EXPECTATIVAS EN EL CURSO
Revisión• Contenido del curso• Metas de aprendizaje o destrezas• Estrategias de enseñanza
Ejemplo #3 “Tell your story”Ejemplos de la audiencia
• ¿Qué actividades, estrategias o técnicas de avalúo estás utilizando o has utilizado recientemente en tus cursos?
• Comparte tus hallazgos con la audiencia• ¿Que acciones se tomaron para atender las deficiencias o
fortalecer el aprendizaje estudiantil?• ¿Mejoraron las destrezas y conocimientos de los estudiantes?• ¿Hubo alguna acción a nivel departamental?• ¿Qué tipo de evidencia se recopiló?
¿Cómo presentar los datos estadísticos del Avalúo?
Segunda parte
Objetivos
Presentar modelos de tablas para los datos estadísticos del avalúo.
Conocer como analizar efectivamente los resultados del avalúo.
Determinar la información mínima requerida para la identificación de los datos.
Repasar los formularios requeridos para presentar los hallazgos y resultados.
SEGUNTA PARTE
Proceso Contínuo de Avalúo
Resultados del Primer Instrumento de Avalúo
Avalúo de un curso
Resultados del Segundo Instrumento de Avalúo
Resultados del Tercer Instrumento de Avalúo
Análisis Comparativo de los Resultados
Análisis del perfil histórico del curso
Datos de años anteriores
INIVEL
IINIVEL
IIINIVEL
Nivel IEl primer paso es analizar los datos obtenidos de un instrumento suministrado al grupo.
¿Qué hacer?
Analice los datos obtenidos de un instrumento. Coloque los datos en una tabla en forma
apropiada. Incluya la información correspondiente:
– Nombre del profesor– Número y Nombre del curso– Recinto y departamento– CRN y semestre– Fecha de aplicación del instrumento– Escala de valores– Identifique cada estudiante con un valor numérico– Identifique la premisa. De ser posible, incluya la
premisa en el área de comentarios.
Fecha de aplicación: Número de participantes: 10
Tabla 1. Respuestas que ofreció cada estudiante por preguntasEstudiante
1 10 9 6 92 10 6 6 103 9 7 9 94 10 9 6 105 8 7 5 66 7 8 6 87 6 9 5 58 8 7 6 99 7 8 7 510 7 9 7 6
Nombre Apellidos
12345
Nombre del profesor:Número del curso:
CRN:Recinto:
201320BiologíaMayagüez
MicologíaBIOL 413
Semestre:
Nombre del curso:Departamento:
12/11/2012
P2 P3 P4P1
Valor máximo: 10Valor mínimo: 5
Encabezamiento
Asigne una número para identificar al estudiante
Premisas
Título de la Tabla
Fecha de aplicación: Número de participantes: 10
Tabla 1a. Respuestas que ofreció cada estudiante por preguntasEstudiante
1 10 9 6 92 10 6 6 103 9 7 9 94 10 9 6 105 8 7 5 66 7 8 6 87 6 9 5 58 8 7 6 99 7 8 7 510 7 9 7 6
Tabla 2a. Análisis por pregunta: Frecuencias Relativas (FR) y por cientos (PC)
Escala FR PC FR PC FR PC FR PC10 3 30.0% 0 0.0% 0 0.0% 2 20.0%9 1 10.0% 4 40.0% 1 10.0% 3 30.0%8 2 20.0% 2 20.0% 0 0.0% 1 10.0%7 3 30.0% 3 30.0% 2 20.0% 0 0.0%6 1 10.0% 1 10.0% 5 50.0% 2 20.0%5 0 0.0% 0 0.0% 2 20.0% 2 20.0%
TOTAL 10 100.0% 10 100.0% 10 100.0% 10 100.0%
Tabla 3a. Número de estudiantes (y por ciento) que lograron el Éxitos y Fracasos por preguntas
Categoría FR PC FR PC FR PC FR PCÉxito 9 90.0% 9 90.0% 3 30.0% 6 60.0%
Fracaso 1 10.0% 1 10.0% 7 70.0% 4 40.0%
12-Nov-2012
P2 P3 P4
P1 P2 P3 P4
P1 P2 P3 P4
P1
201320BiologíaMayagüez
MicologíaBIOL 413
Semestre:
Nombre del curso:Departamento:
Nombre Apellido
12345
Nombre del profesor:Número del curso:
CRN:Recinto:
Provea la Frecuencia
Relativa
Incluya el Por
Ciento
Establezca los criterios de Éxito y Fracaso
Análisis por Pregunta
Analice los datos por cada
pregunta
Fecha de aplicación: Número de participantes: 10
Tabla 1a. Respuestas obtenidos por estudiante, por preguntas Tabla 4a. Análisis por estudianteEstudiante Estudiante FR PC
1 10 9 6 9 1 34 85.0%2 10 6 6 10 2 32 80.0%3 9 7 9 9 3 34 85.0%4 10 9 6 10 4 35 87.5%5 8 7 5 6 5 26 65.0%6 7 8 6 8 6 29 72.5%7 6 9 5 5 7 25 62.5%8 8 7 6 9 8 30 75.0%9 7 8 7 5 9 27 67.5%10 7 9 7 6 10 29 72.5%
Nombre Apellido
12345
Nombre del profesor:Número del curso:
CRN:Recinto:
201320BiologíaMayagüez
MicologíaBIOL 413
Semestre:
Nombre del curso:Departamento:
12-Nov-2012
P2 P3 P4P1
Análisis por Estudiante
Categoría FR PCÉxito 7 7
Fracaso 3 3
Tabla 5a. Número de estudiantes que lograron el Éxito o Fracaso
Establezca los criterios de Éxito y Fracaso
Analice utilizando el Por
Ciento
Nivel IIEl segundo paso es analizar los datos obtenidos de varios instrumentos suministrado al grupo durante el semestre.
¿Qué hacer?
Integre los resultados de los diferentes instrumentos utilizados en el grupo en el curso avaluado.
Utilice el porcentaje para analizar la información. Puede utilizar las puntuaciones de las pruebas, si posee el mismo valor.
Los datos tabulados deben de estar acompañados por gráficas, esto le permitirá visualizar mejor los resultados.
FR= Puntuación obtenida por el estudiante en la prueba.
Número de participantes: 10
Tabla 1b. Análisis del curso por estudiantes en el semestre en curso Tabla 2b. PromedioIntrumento
Fecha:Estudiante FR PC FR 0.7 FR PC Estudiante FR PC
1 24 60.0% 26 65.0% 34 85.0% 1 28 70.0%2 24 60.0% 28 70.0% 32 80.0% 2 28 70.0%3 22 55.0% 25 62.5% 34 85.0% 3 27 67.5%4 24 60.0% 27 67.5% 35 87.5% 4 29 71.7%5 24 60.0% 29 72.5% 26 65.0% 5 26 65.8%6 25 62.5% 31 77.5% 29 72.5% 6 28 70.8%7 26 65.0% 26 65.0% 25 62.5% 7 26 64.2%8 24 60.0% 25 62.5% 30 75.0% 8 26 65.8%9 24 60.0% 26 65.0% 27 67.5% 9 26 64.2%10 27 67.5% 26 65.0% 29 72.5% 10 27 68.3%
TOTAL 40 40 40 TOTAL 40
MicologíaNombre del profesor: Oscar Pérez Laguillo
Número del curso: BIOL 413 Nombre del curso:Recinto: Mayagüez Departamento: Biología
CRN: 12345 Semestre: 201320
Instrumento 120-Ago-2012
Instrumento 2 Instrumento 322-Sep-2012 12-Nov-2012
Análisis por Estudiante
La fecha que aplicó el instrumento le ayudará
en la interpretación
Indique qué es el valor
Incluya el valor de la
prueba
1 2 3 4 5 6 7 8 9 100.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
Intrumento 1 Instrumento 2 Instrumento 3
Estudiante
Por c
ient
o ob
teni
do
Perfil del estudiante del curso
Nivel IIIEl tercer paso es analizar los datos obtenidos de varios semestre para el mismo curso.
¿Qué hacer?
Utilice los datos porcentuales obtenidos del curso avaluado en años anteriores.
Recuerde indicar si el instrumento ha variado. Incluya en el encabezamiento las fechas del
avalúo de cada semestre.
FR= Número de estudiantes que aprobaron la competencia.
Tabla 1c. Análisis general del curso avaluado durante varios semestres
Semestre AñoFR PC FR PC FR PC
1 2009 25 83.3% 5 16.7% 1 3.2%2 2010 20 95.2% 1 4.8% 1 4.5%1 2010 15 100.0% 0 0.0% 0 0.0%2 2011 23 92.0% 2 8.0% 2 7.4%1 2011 28 77.8% 8 22.2% 1 2.7%2 2012 29 85.3% 5 14.7% 1 2.9%
Éxito Fracaso Bajas
Recinto: Mayagüez Departamento: Biología
Nombre del profesor: Nombre ApellidosNúmero del curso: BIOL 413 Nombre del curso: Micología
Incluya el semestre y año
No incluya las bajas en la partida de
fracasosPodría incluir un análisis de esta
partida
Indique que FR es el
número de estudiantes
2009 2010 2010 2011 2011 20121 2 1 2 1 2
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
83.3%
95.2%100.0%
92.0%
77.8%85.3%
Año/semestre
Por c
ient
o de
éxi
toPerfil histórico del curso avaluado
Por ciento de Éxito
AnálisisEl último paso es analizar los datos obtenidos de varios semestres en el mismo curso.
¿Qué hacer?
Utilice la información obtenida de los tres niveles si está disponible.
Indique si el instrumento fue ampliado, ajustado o cambiado.
Discuta sus resultados e indique las posibles causas de los valores obtenidos.
Utilice parámetros alcanzables.
“Hints”Se provee de algunos consejos para lograr los
objetivos del avalúo
¿Qué recomendamos? Presente el plan de acción para mejorar su curso. Recuerde que el análisis se realizará en el formulario LOA-05
Resultados del avalúo del aprendizaje a nivel de cursos y programas.
El éxito del avalúo se alcanza utilizando instrumentos simples y precisos.
Comparta sus resultados con compañeros de cursos similares de su departamento y de otros departamentos.
• ¿Qué nos indican los resultados?• ¿Qué cambios proponen?• ¿Cómo el programa puede beneficiarse con el uso de los
hallazgos?
54
Formulario LOA-05
LOA-05
Análisis de resultados del avalúo a nivel de programas:Estudio de casos *
*Adaptado de Suskie, L. Using Assessment Results to Improve Teaching and Learning: Scenarios for Discussion. Middle States Commission on Higher Education
Meta de aprendizaje: Los estudiantes del programa XY del Colegio de Ciencias escribirán propuestas y documentos científicos de forma clara y efectiva en el idioma español e inglés.
Actividad: Redactar varias propuestas de investigación en por lo menos tres cursos de nivel 400.
Hallazgo: La calidad de los trabajos escritos es inadecuada para un estudiante “senior”.
Posibles causas: La facultad lo atribuye a las pobres destrezas de escritura que traen los estudiantes cuando ingresan a la universidad. Otros indican que el Departamento de Inglés tiene la responsabilidad por no enfatizar adecuadamente las destrezas de escritura en sus cursos de inglés de primer año.
Acción a tomar:
• ¿Qué se puede hacer para mejorar las destrezas de escritura en español e inglés en un estudiante está en su último año de estudios?
• ¿Qué puede hacer el Colegio de Ciencias para mejorar esa destreza en los demás estudiantes?
Caso #1
La facultad de la Universidad ZZZ está de acuerdo en que una de las competencias institucionales más importantes en los egresados de la misma es el pensamiento crítico y definen esta competencia como la habilidad para analizar y evaluar información.
Meta de aprendizaje: Los estudiantes evidenciarán destrezas de análisis y evaluación de información.
Hallazgo: Al evaluar la destreza, la facultad no está satisfecha con las destrezas de pensamiento crítico de los candidatos a graduación de diversos programas.
Acción a tomar: Escenario #A ¿Qué puede hacer la facultad para mejorar las destrezas de pensamiento crítico en los
candidatos a graduación?
¿Se necesita algún presupuesto o planificación más detallada para lograr la idea?
Caso 2
Escenario B
Desafortunadamente la facultad de un programa en particular, no identifica en su currículo o en un curso un espacio para practicar destrezas de pensamiento crítico. La facultad está de acuerdo en que hay mucho contenido que cubrir en sus cursos y que no tienen tiempo para enseñar a los estudiantes como pensar críticamente y luego calificar tareas asignadas de pensamiento crítico.
Acción a tomar:
¿Cómo la facultad puede conciliar la necesidad de cubrir contenido con la necesidad de ayudar a los estudiantes a desarrollar destrezas de pensamiento crítico?
¿Se necesita algún presupuesto o planificación más detallada para lograr la idea?
Caso 2
Escenario C
Una gran parte de la facultad enseña clases con mucha matrícula (40 o más estudiantes en una sección) y no visualizan como pueden ayudar a los estudiantes a desarrollar destrezas de pensamiento crítico.
Acción a tomar
¿Qué podría hacer ese profesor para contribuir al logro de esa meta de aprendizaje?
¿Se necesita algún presupuesto o planificación más detallada para lograr la idea?
Caso 2
63
El Colegio de Artes y Humanidades de la Universidad de XYY condujo una revisión curricular en la que alineaba contenido y objetivos de cursos con metas de programas.
Hallazgo: Encontró que la destreza de comunicación oral y la destreza comunicación escrita, especialmente la gramática eran las áreas más débiles en términos de requerimientos asignados en los diversos cursos.
Acción a tomar: ¿Qué puede hacer el colegio para fortalecer la destreza de
comunicación oral? ¿Y la de comunicación escrita? ¿Se necesita algún presupuesto o planificación más detallada para
lograr la idea?
Caso 3
64
CASO 4
Hallazgo:
Los candidatos a graduación del programa de Trabajo Social obtuvieron una puntuación pobre en las destrezas de comunicación escrita en un examen nacional de destrezas para universitarios graduados de ese programa.
Posible causa: Algunos miembros de la facultad piensan que eso no les concierne porque es
un examen de selección múltiple en el que los estudiantes identifican errores gramaticales y en los cursos de ese programa se enfatiza más el razonamiento y la organización que la gramática.
Otros creen que eso sólo les concierne a los cursos de gramática.
Otros opinan que para ser un egresado universitario con buenas destrezas en comunicación escrita, la gramática es esencial.
Caso 4 Continuación…
Acción a tomar: ¿Cómo la facultad podría resolver estas diferencias en
opiniones? ¿Se necesita algún presupuesto o planificación más detallada
para lograr la idea?
Reflexionemos
Preguntas para reflexionar al realizar el análisis de los resultados en el nivel correspondiente
¿Están los estudiantes desarrollando la destreza?
¿Es el instrumento adecuado para la destreza que quiero avaluar?
¿Las preguntas avalúan correctamente las destrezas?
En una comparación histórica: ¿las destrezas de los estudiantes que ingresan son comparables a grupos de otros años?
Preguntas para reflexionar al llevar el avalúo a una integración departamental
¿Cómo el curso contribuye al desarrollo del programa académico?
¿Es necesario realizar una revisión curricular del programa ?
¿Como su curso se integró a la revisión?• Ajuste al contenido del curso• Ajuste al programa
©Marimuga
“ Educar a un joven no es hacerle aprender algo que no sabía, sino hacer de él alguien que no existía.”
John Ruskin
Referencias
Allen, M.J. Assesssing Academic Programs in Higher Education. Anker Publishing Jossey-Bass:San Francisco,CA
Angelo, T. & Cross, P. (1993) Classroom Assessment Techniques. A handbook for College Teachers. 2nd. ed Jossey-Bass:San Francisco,CA
Barkley, E.F. (2010) Student Engagement Techniques: A handbook for College Faculty. Jossey-Bass:San Francisco,CA
Bresciani M.J. (2009) Case Studies for Implementing Assessment in Student Affairs. San Francisco,CA:Jossey-Bass
Bresciani M.J. (2006) Outcomes-based Academic and Co-Curricular Program Review. Virginia: Stylus Publishing
Wehlburg, C.M. (2008) Promoting Integrated and Transformative Assessment: A deeper focus on student learning. Jossey-Bass:San Francisco,CA
Suskie, L. (2009) Assessing Student Learning. 2nd ed. San Francisco,CA: Jossey-Bass