1
Proceso de evaluación
Descripción de la realidad que
va a ser evaluada
ReferenteComparar
Opinión, valoración
Decisiones
Prozeso de evaluación: ejemplo
El alumno lee 10 palabras por
minuto
Velocidad lectora: 30
pal/minComparar
Opinión, valoración
Decisiones
Lee despacio
Ingresar al alumno en el grupo de los alumnos de lectura lenta
Realidad evaluada Referente
Valoración de un dibujo teniendo en cuenta diferentes referentes
Es un buen dibujo.Combinación de los criterios anteriores
Es una imagen que recoge adecuadamente los detalles: los colores están bien utilizados y las formas están
equilibradas.
Objetivos establecidos
Entre todos los dibujos presentados éste es el mejor.
Situaciones similares
Este dibujo, es peor que el realizado anteriormente por el mismo alumno.
La situación anterior
Hay que mejorar el dibujo.El dibujo ideal
Recogida de información de un dibujo realizado por un alumno
Opinión, ValoraciónPunto de referencia
Realidad que va a ser evaluada
Idiográfico
Normativo
Criterial
2
Ámbitos de recogida de la información
Cambios
TransferenciaInfluencia en la institución
Actitudes
Conocimientos
Procedimientos
Enseñanza
Satisfacción
Conclusiones
Actividades realizadaAplicación
Actividades previstas
ObjetivosPlanificación
Document.EntrevistaObservac.Dominios que pueden ser evaluadosRecogida de la información
Modelo de Evaluación Libre de Objetivos de Scriven
A
B
C
D
E
F
EFECTOS PERFIL DE NECESIDADES VALORACIÓN
INTERVEN-CIÓN
Qué cambios?
No logrados
Buscados
No buscados
1ª
2ª
3ª
4ª
5ª
6ª
B
C
A
D
E
F
Se cubren todas las necesidades?
Los efectos no esperados son
deseables?
Los efectos no esperados cubren alguna necesidad?
Implicaciones para el centro?
Procedimientos para la Recogida de la Información: Criterios de Clasificación
TÉCNICAS CUANTITATIVAS
(pruebas objetivas, tests, etc.)
TÉCNICAS CUALITATIVAS(observación participante, entrevista en profundidad, etc)
ESTRATEGIAS
(entrevista, observación participante)
INSTRUMENTOS
(tests, pruebas objetivas)
MEDIOS AUDIOVISUALES Y DOCUMENTALES
(vídeo, fotografía)
INSTRUMENTOS ESTADARIZADOS
(pruebas objetivas, tests, etc.)
INSTRUMENTOS NO ESTANDARIZADOS
(observación, entrevista, cuestionario)
PROCEDIMIENTOS OBSERVACIONALES (observación)
INSTRUMENTOS DE ENCUESTA
(entrevista y cuestionario)
TESTS Y PRUEBAS OBJETIVAS
OTRAS TÉCNICAS Y ESTRATEGIAS
(portafolios, historias de vida, etc)
3
Procedimientos de Recogida de Información
• La Observación• La Entrevista• El Cuestionario• Las Pruebas de Aprendizaje• Los tests estandarizados• Otros procedimientos
– Las Escalas de Actitudes– La Sociometría– El Grupo de Discusión– El Autoinforme– Las Historias de Vida– Los Documentos– La Técnica Delphi
Observación
Modalidades de observación y registro utilizadas en evaluación
Observación
En función del nivel desistematización del proceso
K No sistemáticaK SistematizadaK Muy sistematizada
En función de la fuente dedatos
L DirectaL Indirecta
En función del rol delobservador
P ParticipanteP No participante
En función del agenteevaluador
M Auto-observaciónM Hetero-observación
RegistrosNarrativos
S Notas de campoS DiariosS Registros anecdóticos
Categoriales R Escalas valorativasR Listas de control
Pasos a Seguir en la Observación (I)1. Elección del escenario
1. Acceso fácil2. Buenas relacines con los informadores 3. Que da datos de interés
2. Acceso al escenario 1. Permiso, porteros, negociación
3. La primera entrevista 1. Presentación del estudio 2. El escenario no cambia 3. Confidencialidad de los datos 4. Notas de campo
4
Pasos a Seguir en la Observación (II)4. Aspectos a tener en cuenta en el campo
1. Aparecer de modo pasivo (comodidad)2. La recogida de datos objetivo secundario 3. Incomodidad inicial4. Cantidad de los datos 5. Personas que quieren dirigir la investigación6. Tomar parte7. El investigador se tiene que adaptar 8. Hablar de otros temas de interés 9. No dar lecciones 10. No dar por entendido 11. Datos que no son verdaderos 12. Conocer el significado de los términos de los
informadores
Planificación de la Observación Participante
¿Qué investigar?
¿Cómo analizar?
¿Qué registrar?
¿Cuándo observar?
¿Qué observar?
¿Dónde observar?
¿Cómo investigar?
OBSERVACIÓN
Problema y objetivos
Perspectiva y alcance
Límites de tiempo
Técnicas de registro
Técnicas de análisis
Modo de observar
Escenario
Momentos del proceso de observación
Observación descriptiva
Observación focalizada
Observación selectiva
INICIO DEL PROYECTO FINAL DEL PROYECTO
5
Distribución del tiempo en las fases de observación
Observación descriptiva
Observación focalizada
Observación selectiva
Pre
par
ació
n d
e la
obse
rvaci
ón
part
icip
ante
Tiem
po d
edic
ado
a la
obs
erva
ción
(p
orce
ntaj
e)
0 1 8 9 10 11765432
50
100
0
Serie de los momentos de observación
Ejemplo de la información que puede recogerse en las notas de campo• Fecha:• ¿Dónde se hizo la observación?• ¿Quién estaba allí?• ¿Cómo era el ambiente?• ¿Qué tipo y modo de relaciones sociales
se dieron?• ¿Qué tipo de actividades se realizaron?• Otro tipo de información descriptiva:
Notas de campo• Cuando estamos en el escenario
1. Tomar notas tan pronto termine la observación2. Dibujar el diagrama del escenario 3. Escribir y rescribir las notas 4. Tomar notas en el mismo escenario
• Metodología de la transcripción1. Datos de identificación 2. Diagrama3. Márgenes amplios4. Punto y aparte 5. Literalidad 6. Utilización de sobrenombres 7. Guardar las notas por triplicado 8. Introducir los comentarios del observador 9. Aunque sean incomprensibles recoger todas las
expresiones posibles
6
Ejemplo de notas de campoCOLEGIO: C.P. Xxxxxx LUGAR: aula 5º A FECHA: 16-03-2003PROFESORA: Maribel OBSERVADOR: Juan OBSERVACIÓN: PrimeraDURACIÓN: 15:00 16:00 ASIGNATURA: Ciencias SocialesTEMA: Geografía de Cataluña ACTIVIDAD: Dibujar y colorear el mapa
15:05 Se oye murmullo en el aula... La profesora ha gritado y ha dicho: “... Ea... Coger las mesas y poneros por grupos... Tu aquí ... Y vosotras, chicas, aquí juntas... Así...”
15:10 La profesora ha señalado la manera de componer los grupos. Un alumno extranjero (Amed) se ha quedado solo en su mesa. Por lo que parece se trata de una situación que la consideran como habitual tanto él como el resto de compañeros y que la aceptan tal cual. Cati parece que estáenfadad y les dirige miradas rápidas a las niñas de su mesa. Es posible que la distribución hecha por la profesora se acepte en contra de su voluntad. El aula ha quedado configurada de la siguiente manera:
Ejemplo de diagramaPizarra A Pizarra B
Grupo 3
Rosa Vanesa
JuanLina
Grupo 5
Elena Susi
ZaraPili
Grupo 4
Pablo Karim
MouratAntoni
Grupo 2
Nati Carla
VeroSole
Grupo 1
Cati Mireia
SaraMarta
Mesa profes.
Amed
PuertaBibliotecaMurales Esfera de la Tierra Murales Mapas Murales
Notas de campo tomadas en un aula intercultural. Los alumnos que son de otras etnias aparecen subrayados
Luci
AnecdotarioAnverso
Reverso
Persona:__________________ Edad:____________Fecha:____ Hora:_____ Mes:______ Padres:______Situación o contexto:Otros aspectos reseñables:Descripción objetiva del suceso:
Reflexiones, interpretación y valoración subjetivas del observador..............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
7
Rúbrica
Los argumentos no fueron claramente vinculados a una idea principal (premisa).
Todos los argumentos fueron claramente vinculados a una idea principal (premisa), pero la organización no fue, algunas veces, ni clara ni lógica.
La mayoría de los argumentos fueron claramente vinculados a una idea principal (premisa) y fueron organizados de manera lógica.
Todos los argumentos fueron vinculados a una idea principal (premisa) y fueron organizados de manera lógica.
Organización
Uno o más de los miembros del equipo tuvieron un estilo de presentación que no mantuvo la atención de la audiencia.
El equipo algunas veces usógestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia.
El equipo por lo general usógestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia.
El equipo consistentemente usó gestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia.
Estilo de Presentación
La información tiene varios errores; no fue siempre clara.
La mayor parte de la información en el debate fue presentada en forma clara y precisa, pero no fue siempre minuciosa.
La mayor parte de la información en el debate fue clara, precisa y minuciosa.
Toda la información presentada en el debate fue clara, precisa y minuciosa.
Información
Ningún punto principal fue apoyado.
Cada punto principal estuvo adecuadamente apoyado con hechos, estadísticas y/o ejemplos, pero la relevancia de algunos fue dudosa.
Cada punto principal estuvo adecuadamente apoyado con hechos relevantes, estadísticas y/o ejemplos.
Cada punto principal estuvo bien apoyado con varios hechos relevantes, estadísticas y/o ejemplos.
Uso de hechos/estadísticas
El equipo no demostró un adecuado entendimiento del tema.
El equipo parecía entender los puntos principales del tema y los presentó con facilidad.
El equipo claramente entendióel tema a profundidad y presentó su información con facilidad.
El equipo claramente entendió el tema a profundidad y presentósu información enérgica y convincentemente.
Entendiendo el Tema
Los contra-argumentos no fueron precisos y/o relevantes.
La mayoría de los contra-argumentos fueron precisos y relevantes, pero algunos fueron débiles.
La mayoría de los contra-argumentos fueron precisos, relevantes y fuertes.
Todos los contra-argumentos fueron precisos, relevantes y fuertes.
Rebatir
1 2 3 4 CATEGORÍAS
Las listas de control• Registrar la aparición o
no de una conducta durante el periodo que dura la observación
• Previamente hay que especificar las conductas a evaluar (por ejemplo los objetivos) y ubicarlas en un formato especialmente diseñado
• Fácil manejo• Fotografía
XObjetivo n
XObjetivo 2
XXObjetivo 1
Alumna nAlumna 2Alumno 1
Las escalas de estimación• Gradúan la fuerza con la que aparece una conducta (“es
capaz de escuchar las opiniones de sus compañeros”: 1-4)• Similares a las listas de control, pero admiten diversas
categorías• Se basan en una observación estructurada o sistemática (las
conductas a observarse han estipulado previamente)• Son más complejas que las listas de control ya que
implican una discriminación más precisa• No incluyen comentarios ni interpretaciones por parte del
profesor• Ofrece una información muy completa del estudiante
8
Entrevista
• Confrontación interpersonal, en la cual el entrevistador formula al entrevistado preguntas con el fin de conseguir respuestas relacionadas con los propósitos de la evaluación
• Modalidades:— Entrevistas estructuradas— Entrevistas semiestructuradas— Entrevistas no estructuradas
Planificación de la Entrevista
A. Objetivo de la entrevista B. Muestreo de las personas que van a ser
entrevistadas C. Desarrollo de la entrevista
Contenido y naturaleza de las preguntas Organización y orden de la preguntas Relación entre el entrevistador y el entrevistado Modo de hacer las preguntas Registro de la información
9
La presentación de la entrevista
Explicación de la intención y de los objetivos Descripción y explicación del porqué y de la forma de elección de la persona entrevistada Explicación de la persona que va a dirigir la investigación Aclaración del anonimato y confidencialidad de la entrevista
Momentos que componen la estructura de la entrevista
MOMENTO INICIAL: Preguntas que no producen duda o discusión, como por ejemplo su comportamiento acutual, o preguntas relativas a la actividad o experiencia. Principalmente, preguntas de tipo descriptivo.
MOMENTO INTERMEDIO: Interpretación, opinión y sentimientos de los comportamientos y acciones descritas previamente. En esta y en la siguiente fase se hacen las preguntas más comprometidas. Se ha creado el “rapport”adecuado y se ha conseguido avivar el interés del entrevistado.
MOMENTO FINAL: Conocimientos y habilidades. Estas preguntas son más prudentes y pueden dejar en evidencia al entrevistado. Es necesaria una relación de confianza entre el entrevistador y el entrevistado y tener una clima de relación natural.
Tipos de preguntas (Brandt, 1972) (1)a. Comparativas
b. Recuerdo de sucesos pasados
c. Recuerdo de comportamientos pasados
d. Reacciones afectivas
e. Causa-efecto
“¿Prefiere trabajar en un centro público o en un centro privado?”
“¿Qué sucedió cuando ...?”
“¿Qué hizo cuando ...?” “¿Ha hecho previamente algo similar?”
“¿Se preocupa, se enfada cuando ...?”
“¿Por qué ...?” “¿Cuáles fueron las razones ...?”
10
Tipos de preguntas (Brandt, 1972)(2)
f. Sucesos, reacciones e Información complementaria
g. Condicionales
h. De investigación
“¿Qué hizo que su opinión cambiara?”
“¿Mostrarías tu apoyo al director?”“¿Puede dejarse en manos del alumnado la elección de los contenidos del curso?”
“¿Por qué decidió revisar el currículum?”
Cuestionario
• Conjunto de preguntas estructuradas sobre un tema
• Población o muestra• Poco tiempo y muchos sujetos• Se garantiza el anonomato de las respuestas• No responde el que lo redacta
Un cuestionario es un conjunto de preguntas sistemáticas y ordenadas para intentar recoger información acerca de
las características, opiniones, actitudes y percepciones de las personas.
Redacción del cuestionario (1)1. Las respuestas de los sujetos deben ofrecer
la información que necesitamos.2. El lenguaje utilizado debe facilitar la
comprensión unívoca de las preguntas:• Lenguaje claro y adecuado a los sujetos.• Utilización de términos no ambiguos.• Una idea en única en cada pregunta.• Planteamiento no dirigido y no utilización de
negaciones.• Sin suposiciones implícitas. • Formato simple.
11
Redacción del cuestionario (2)3. Elegir el tipo de respuesta más adecuada a
cada situación.1. Preguntas cerradas
2. Preguntas abiertas
3. Preguntas mixtas
4. Decidir la posición de cada pregunta 5. Aplicación del cuestionario
¿Has aprendido mucho en esta asignatura? SI NO
¿Qué objetivos se persiguen con las actividades extraescolares?
¿Has dispuesto de suficientes recursos didácticos para llevar adelante las actividades del tema trabajado? SI NOSi tu respuesta es que NO, ¿explica por qué?
Cuestionario. Clasificacióno Según el tipo de ítems se distinguen los
cuestionarios cerrados, abiertos, mixtos, de elección múltiple, etc.
o Según la escala de respuesta se distinguen los cuestionarios que buscan juicios categóricos y los que buscan juicios continuos.
o Según el método de administración se distinguen los personales, por teléfono, por correo, por ordenador, etc.
o Según el tipo de información requerida se distinguen los cuestionarios de información general y los cuestionarios específicos.
Fases en la planificación de una prueba objetiva
Resultados más significativos.Optimización de la prueba elaborada.
Sugerencias para posteriores aplicaciones.
FASE 5: SÍNTESIS SOBRE EL
ESTUDIO
Análisis estadístico.Validez y fiabilidad de la prueba.
Análisis de ítems.Baremos.
FASE 4: ESTUDIO EMPÍRICO
DE LA PRUEBA
Presentación del instrumento.Administración de la prueba.
Corrección.Confección de la tabla de resultados.
FASE 3: APLICACIÓN Y ORGANIZACIÓN DE LOS RESULTADOS
Redacción de ítems.Revisión de los ítems por expertos.
Confección del original de la prueba (3.1. Instrucciones. 3.2. Distribución de los ítems. 3.3. Hoja
de respuestas).Revisión del original.
Normas de corrección.Estudio preliminar o ensayo.
Impresión definitiva.
FASE 2: ELABORACIÓN DE LA
PRUEBA
Identificación de los objetivos de la prueba.Selección y delimitación de contenidos.
Elaboración de la tabla de especificaciones.
FASE 1: PLANTEAMIENTO DE
LA PRUEBA
12
Sociometría (1)
• La sociometría ofrece información de la estructura interna de los grupos.
• Ofrece información cuantitativa sobre la cantidad de aceptaciones y rechazos que recibe cada sujeto.
• Razones para su utilización:– Está probado que la posición del individuo en el grupo
tiene influencia en su rendimiento. – El buen clima del grupo también tiene influencia.– Para formar los componentes de los grupos.
Análisis de la evolución de los grupos y de la posición que ocupa cada individuo en los mismos, sin tener en cuenta el
problema de la estructura interna de cada individuo.
Sociometría (2)
• Por medio del sociograma:– La aceptación de un alumno dentro de su grupo.– El nivel de cohesión del grupo.– La existencia de líderes. – La identificación de alumnos aislados, es decir,
los que no reciben ninguna aceptación.– La identificación de sujetos que son rechazados
por todo el grupo.
Test Sociométrico
Colegio:________________________________Nombre y apellidos:_______________________ Número:______Edad:_______ Curso:_____ Fecha:______
1.-¿Al lado de quién te gustaría estar sentado en el aula?
2.-¿Para jugar, para ir a una excursión, para ir al cine, ..., a quién de clase elegirías?
3.-¿Con quién de clase no te gustaría jugar o al lado de quién no te gustaría estar sentado?
13
Tabla Sociométrica
40010011210112U14
U13U12
U11U10
U9U8
U7U6
U5U4
U3U2
U11413121110987654321
Sociograma
10 1 14 4
139
2
12 7
6
5
3
8
11
chico
Chica
141
12
Psicograma
14
61
2
3
5
7
8
11 4
10
12
13
14
Portafolios (1)• Colección de trabajos realizados por el alumno
en un campo determinado. Mediante ellos tendremos la historia de sus esfuerzos, progresos y logros. Esta colección entre otros necesita de la participación del alumno en la elección de los contenidos del portafolios, los criterios para juzgar los méritos y pruebas para su autorreflexión.
Definición de Portafolios (Klenowski, 2004)
• “Un portafolios es una colección de trabajos que incluyen los logros individuales, tales como resultados de tareas genuinas, la evaluación del proceso, tests convencionales o muestras de trabajo; documenta los logros alcanzados a lo largo del tiempo. Generalmente el individuo elige el tipo de trabajo que le sirva mejor para expresar su éxito así como para demostrar su aprendizaje respecto a un objetivo particular como podría ser la certificación o la evaluación tanto sumativa como formativa. La autoevaluación es un proceso integral que implica tener capacidad de juicio para valorar la calidad del propio rendimiento así como las estrategias de aprendizaje. Igualmente la discusión y reflexión con los compañeros y tutores durante una entrevista, una conversación o una presentación, facilita la comprensión del proceso de aprendizaje. El desarrollo del portafolios implica por tanto documentar no sólo los logros conseguidos sino también las autoevaluaciones, las estrategias aplicadas y el análisis sobre las experiencias de aprendizaje, por lo que es mucho más que una simple colección de las tareas.”
Portafolios (2)• Metacognición.• Utilizar el portafolios es un proceso de aprendizaje.• El alumno es el responsable de su aprendizaje
permanente.• El portafolios no es la meta en sí misma, sino un medio
para alcanzar el aprendizaje.• El proceso es tan importante como el producto.• La utilización del portafolios exige el uso de
habilidades cognitivas y metacognitivas: observar, planificar, reflexionar, autoevaluar.
• Se adecua a la evaluación formativa.
15
Portafolios (3)
• Hay distintos tipos de portafolios.• Portafolios de rendición de cuentas, para la
evaluación sumativa, para la acreditación, para la selección, para la evaluación formativa, etc.
• Todos los portafolios contienen evidencias del aprendizaje significativo.
Normaspara la utilización del Portafolios
No es posible la evaluación formativaTutorización y corrección continua
Acumulación de trabajos y poco aprendizaje en la selección significativa
Seleccionar semanalmente algunos ejemplos (muestras) para que los últimos sean seleccionados más fácilmente.
Demasiada abundancia y falta de organización
Establecer normas claras: días de revisión, secciones, situación física, obligatoriedad, …
Poca efectividadOpción del centro: utilizarlo en más de una asignatura
Sensación de sucesión de imprevistos o falta de control
Tener una tutorización mayor al principio
Portafolio= colección de trabajos de poco valor para el profesor
Determinar claramente lo que los alumnos deben presentar
Si no...Es necesario...
La Calidad de la Información
A B C
16
Procedimientos para asegurar los criterios de calidad
Descriptores de baja inferencia.Comprobaciones de los y las participantes.Recogida mecánica de datos.Triangulación.Explicar posicionamiento del o de la investigadora.Ejercicio de reflexión.Revisión por agentes externos.
CONFIRMABILIDAD
Garantía de que los datos, interpretaciones y conclusiones de una investigación no están sesgados por las opiniones, creencias o prejuicios del o de la investigadora.
Identificación del status y el rol del o de la investigadora.Descripciones minuciosas de los y las informantes.Identificación y descripción de las técnicas de análisis y recogida de datos.Delimitación del contexto físico, social e interpersonal.Réplica paso a paso.Revisión por observadores externos.Métodos solapados.
DEPENDENCIA
Estabilidad de los resultados y conocimiento de los factores que explicarían la variabilidad de los mismos en el caso de repetir el estudio.
Muestreo teórico.Descripción exhaustiva.Recogida de abundante información.
TRANSFERIBILIDAD
Grado en el que se pueda dar algún tipo de transferencia entre contextos, dependiendo del grado de similitud entre ellos.
Observación persistente.Trabajo prolongado.Saturación.Triangulación: de tiempos, de espacio, de teorías, de investigadores o investigadoras, de métodos, múltiple.Recogida de material referencial.Comprobaciones con los y las participantesJuicio crítico de colegas.
CREDIBILIDAD
Consiste en que las interpretaciones y los hechos ocurridos deben hacerse creíbles y aceptables.
PROCEDIMIENTOSCRITERIOS