03 presentación taller creación de reactivos objetivos 2

Creación de reactivos Creación de reactivos objetivos para el diseño objetivos para el diseño de instrumentos de de instrumentos de evaluaciónevaluación

Instructor:Instructor:Jesús Tánori QuintanaJesús Tánori [email protected]@gmail.com

Objetivo General: Al finalizar el curso, el participante habrá elaborado reactivos objetivos para instrumentos de evaluación, considerando implicaciones teóricas y metodológicas.

Producto: Conjunto de reactivos objetivos para integrar en instrumentos de evaluación, fundamentados en los conocimientos de su área disciplinar. Evidencia y criterios de desempeño:El conjunto de reactivos objetivos deben tener las siguientes características:- Redactados de manera clara y sin ambigüedades.- Con sustento en conocimientos de su área disciplinar, el plan de estudios y el perfil de egreso.- Creados en base a los criterios mínimos de validez y confiabilidad.

PROGRAMAPROGRAMA

Duración y sesiones: el taller tiene una duración 20 horas y la modalidad es presencial.

Estrategia didáctica: trabajo en equipo, discusión grupal, y presentaciones.

Acreditación: asistencia a todas las sesiones presénciales, participación en los equipos y discusiones, entrega en tiempo y forma del producto del curso.

Temario

1. Evaluación educativa1.1. Definición 1.2. Objetos y sujetos de la evaluación1.3. Tipología de la evaluación2. Técnicas e instrumentos de evaluación 2.1. Observación y registro2.2. Cuestionarios3. Creación de reactivos objetivos3.1. Definición3.2. Características3.3. Aspectos teóricos3.4. Ejemplos (y ejercicios)4. Criterios de la creación de instrumentos objetivos4.1. Validez4.2. Confiabilidad4.3. Índice de dificultad4.4. Poder de discriminación de los reactivos

Preguntas de reflexión:Preguntas de reflexión:

¿Qué es evaluar?¿Qué es evaluar?¿Para qué evaluar?¿Para qué evaluar?¿Es lo mismo evaluar que medir?¿Es lo mismo evaluar que medir?¿Qué tipo de instrumentos de evaluación ¿Qué tipo de instrumentos de evaluación conoce?conoce?

La evaluación educativa es un proceso, sistemático y riguroso,a través del cual se obtiene información de las situaciones didácticas(enseñanza-aprendizaje), con la finalidad de formar juicios de valor que contribuyan a la toma de decisiones fundamentadas acerca de un proceso o un procedimiento (Domínguez, 2008).

-Retroalimentar el desempeño de un estudiante-Orientar la toma de decisiones

-Perfeccionar los procesos educativos

Función

Participantes:

DocenteEstudiante

Programación:

Objetivo

Contenido

Actividades

Documentación y materiales

http://cvc.cervantes.es/obref/formacion_virtual/metodologia/pavon.htm

La evaluación involucra todos los elementos del proceso educativo.

AutoridadesAgentes externos (acreditadores)

Tipos de evaluación

Por su funcionalidad

Por su normotipo(referente)

Por su temporalización

Sumativa

Formativa

Nomotética

Idiográfica

Inicial

Procesal

Final

Normativa

Criterial

Por sus agentes

Autoevaluación

Co - evaluación

Heteroevaluación

Basado en : Casanova, M.A. (2000): Manual de evaluación educativa. La muralla. España

Sumativa

• Valora procesos y productos terminados• No pretende mejoras inmediatas

• Sirve para tomar decisiones en el área curricular

• Se aplica al finalizar una programación

http://www.ciberdocencia.gob.pe/index.php?id=970&a=articulo_completohttp://www.upsp.edu.pe/descargas/Docentes/Antonio/archivos/tempo/Guiaevaluacion1.doc

Formativa:

• Valora procesos

• Supone la obtención rigurosa de datos

• Permite un conocimiento permanente

• Reflexiona y ajusta lo planeado

Uso

Nomotética. Emplea un referente externo de comparación.

Normativa

Se basa en criterios e indicadores concretos, claros y prefijados

Criterial

Ideográfica. Se centra en las capacidades del propio alumno y sus posibilidades de desarrollo.

http://www.ciberdocencia.gob.pe/index.php?id=970&a=articulo_completo

http://www.upsp.edu.pe/descargas/Docentes/Antonio/archivos/tempo/Guiaevaluacion1.doc

Normotipo

Valora al sujeto en comparación con el nivel o rendimiento de su grupo

Inicial

Procesual Carácter formativo

Final

En la incorporación al centro educativo

En el inicio de un proceso de aprendizaje

Evaluación continua

Recopilación sistemática de datos, análisis y toma de decisiones

Al terminar el ciclo

Área curricular

Unidad didáctica

Etapa educativa

http://www.ciberdocencia.gob.pe/index.php?id=970&a=articulo_completo

http://www.upsp.edu.pe/descargas/Docentes/Antonio/archivos/tempo/Guiaevaluacion1.doc

Temporalidad

Autoevaluación

Coevaluación

Heteroevaluación

El agente evaluador es el mismo sujeto y se produce cuando evalúa sus propios aprendizajes

El agente evaluador es un par y se produce cuando se da la posibilidad a un sujeto que esta dentro de la situación para que valore a otro dentro del mismo contexto.

El agente evaluador es externo a la situación.

Por sus agentes

Ejercicio: mencione algún instrumento de mencione algún instrumento de evaluación que conozca de este evaluación que conozca de este tipo.tipo.

Instrumentos:Instrumentos:

Observación y registro

• Lista de cotejo• Rúbrica

Ejercicio:Mencione algún tipo de Mencione algún tipo de instrumento relacionado instrumento relacionado con este tipocon este tipo.

Instrumentos:Instrumentos:

Cuestionarios

• Pruebas objetivas• Pruebas de ensayo• Escalas• Diferencial semántico

Pregunta generadora

¿Qué componentes de las competencias se pueden evaluar con reactivos objetivos?

Creación de reactivos objetivos

- En la educación de hoy en día es común que la palabra

evaluación se asocie, ante todo, a exámenes, cuestionarios o

pruebas.

- Estos instrumentos de evaluación se componen de un conjunto

de preguntas, proposiciones o problemas que se presentan al

estudiante. Estos elementos suelen denominarse reactivos o

ítems (González y Romero, 2009).

Reactivo:

- Se entiende por reactivo al planteamiento de una situación que

requiere solución, que propone acciones o suscita reacciones que

se traducen en respuestas .

Tipos de reactivo:

- Reactivo tipo ensayo. El evaluado debe construir por sí mismo la

respuesta.

- Reactivo objetivo. El evaluado elige la respuesta dentro de un

rango limitado de posibilidades.

Características de los reactivos tipo ensayo:

- Requieren que el evaluado organice y exprese sus respuestas en sus

propias palabras.

- El evaluado interviene la mayor parte de su tiempo pensando y escribiendo.

- Su calidad depende en gran medida de la habilidad de la persona que

califica la prueba.

- Son relativamente más fáciles de preparar, pero más difíciles de calificar de

manera adecuada.

- Son susceptibles al engaño por parte de los sujetos con facilidad de

palabra, pero que carecen de información.

- La distribución de calificaciones puede variar de un corrector a otro.

Características de los reactivos objetivos

- Requieren de una respuesta corta, se elija la respuesta correcta entre varias alternativas o se identifique la respuesta correcta.

- El evaluado interviene la mayor parte de su tiempo leyendo y pensando.

- Su calidad depende de la competencia de quien la elaboró.

- Las tareas de los alumnos examinados y los criterios de los calificadores son más explícitos.

- Están más expuestos a la adivinanza.

- La distribución de calificaciones la determina casi por completo la prueba.

- Permiten un muestreo amplio del conocimiento que se ha de medir.

Tipos de reactivos objetivos

- Completamiento / respuestas simple o breve. Se caracterizan por el establecimiento de una afirmación incompleta, que a partir de la información reportada, se espera el “completamiento” o respuesta correspondiente.

- Correspondencia / apareamiento / casamiento. Estos reactivos se caracterizan por pedir el establecimiento de relaciones entre elementos de dos grupos o serie.

- Jerarquización / ordenamiento. Se caracterizan por ofrecer al examinado una lista de elementos o datos, a los cuales debe dar un orden específico de acuerdo con el criterio que se indica en las instrucciones (cronológico, lógico, evolutivo, por rangos, etc.).

- Localización / identificación. Se caracterizan por contener una serie de indicaciones, referidas a conductas que han de verificarse sobre un material esquemático o gráfico dado en el mismo reactivo (mapas, diagramas, representaciones topográficas, cuadros sinópticos, ilustraciones, modelos, etc.)

- Problemas. A nivel genérico, un problema es una proposición compleja de elementos a los que corresponden una o varias soluciones o una incógnita a despejar, atendiendo al manejo que se haga de tales elementos.

- Estos reactivos se hallan ligados con la aplicación de principios, leyes, fórmulas, normas o criterios.

- Opción múltiple. Están constituidos, en su forma clásica, por un enunciado incompleto o una pregunta y varias posibles respuestas, entre las cuales una responde correctamente al enunciado o pregunta inicial.

- Los reactivos de opción múltiple también pueden tener variantes en su formato: definición, resultado de formula, asociación, reconocimiento de error, evaluación, entre otras.

- En todos los casos contienen un enunciado base o postulado y sus opciones, una de ellas es la correcta (clave) y las demás son distractores.

- Los reactivos de opción múltiple son los más versátiles y estables de todos los reactivos objetivos. Pueden utilizarse para medir los objetivos de aprendizaje complejos y sencillos en todos los niveles y en cualquier materia .

- Además, puede obtenerse información de diagnóstico útil a partir de un análisis de las opciones incorrectas (distractores) que eligen las personas.

- De acuerdo con González y Romero (2009), tanto el incremento en el número de personas que deben evaluarse como la posibilidad que ofrecen las nuevas tecnologías de calificar en forma automatizada han contribuido a promover el uso de instrumentos con reactivos de opción múltiple.

- Por otra parte, los procesos de selección, egreso, diagnóstico, acreditación y certificación institucionales suelen depender en gran medida de instrumentos con este tipo de reactivos; como los que utiliza el CENEVAL, por ejemplo.

La Taxonomía de Bloom y Krathwohl

- La preparación de reactivos para medir objetivos específicos de enseñanza es más efectiva cuando los comportamientos a evaluar se definen con claridad en la etapa preliminar.

- Desde mediados de los años 50 se ha prestado mucha atención a los sistemas formales y estándares para clasificar objetivos .

- A pesar de que ha transcurrido más de medio siglo, la taxonomía de niveles cognoscitivos de Bloom y Krathwohl (1956) sigue vigente y utilizándose como referente básico en la elaboración de reactivos y pruebas objetivas.

Tabla… Niveles cognoscitivos en la Taxonomía de Bloom y Krathwohl

Conocimiento (Nivel I): Se asocia a la recuperación de la información e implica el recuerdo de hechos específicos, de formas y medios de tratar con éstos, de ideas, materiales o fenómenos. Comprensión (Nivel II): Consiste en captar el sentido directo de una comunicación o de un fenómeno, como la asunción de una orden escrita u oral, o la percepción de lo que ocurrió en cualquier hecho particular. Representa la clase más amplia de destrezas y habilidades intelectuales.Aplicación (Nivel III): Concierne a la interrelación de principios y generalizaciones con casos particulares o prácticos.

Análisis (Nivel IV): Implica la división de un todo en sus partes y la percepción del significado de las mismas en relación con el conjunto.

Síntesis (Nivel V): Alude a la comprobación de la unión de los elementos que forman un todo. Puede consistir en la producción de una comunicación, un plan de operaciones o la derivación de una serie de relaciones abstractas. Evaluación (Nivel VI): Comprende una actitud crítica ante los hechos. La evaluación puede estar en relación con juicios relativos a la evidencia interna y con juicios relativos a la evidencia externa.

Fuente: tomado de Hernández (2009).

- Las operaciones cognitivas se ordenan en seis niveles, del menos complejo al más complejo. Estos niveles no son exclusivos, sino inclusivos de manera progresiva (Aiken, 2003).

- Por ejemplo, en la capacidad de evaluar, el nivel cognitivo más complejo, el estudiante tiene que disponer de la información necesaria, comprender esa información, ser capaz de aplicarla, de analizarla, de sintetizarla y finalmente de evaluarla.

- Por las ideas de Bloom y Krathwohl, se ha establecido una práctica en los procesos de evaluación de muchos países del mundo, incluido el nuestro, donde los objetivos educativos constituyen proposiciones que reflejan conductas observables equivalentes a la manifestación de procesos cognoscitivos en los distintos niveles taxonómicos.

- Es así como se relacionan tradicionalmente series de verbos para ser utilizados en la redacción de objetivos y reactivos, con cada nivel cognoscitivo, mismos que son susceptibles de evaluar.

Tabla… Conductas que se pueden identificar en cada nivel cognoscitivo de Bloom y Krathwohl.

Conocimiento Comprensión Aplicación Análisis Síntesis Evaluación

Definir Explicar Resolver Diferenciar Planear Juzgar

Repetir Revisar Aplicar Calcular Formular Corregir

Registrar Diferenciar Demostrar Comparar Reunir Argumentar

Enunciar Clasificar Esbozar Derivar Construir Calificar

Nombrar Examinar Operar Organizar Componer Valorar

Enlistar Reafirmar Relacionar Deducir Hipotetizar Estimar

Enumerar Ubicar Delinear Debatir Concluir Tasar

Fuente: tomado y modificado de Tristán y Molgado (2006).

Especificaciones de contenido

- Al prepararse para evaluar el aprovechamiento, la primera y más

importante decisión es determinar la información, los procesos y

habilidades que serán sometidos a prueba. Para ello es útil elaborar

una tabla de especificaciones.

Tabla de especificaciones

- Es una forma de organizar la información con la que se elaboran

reactivos para el diseño de una prueba objetiva o examen de

conocimientos.

- Una tabla de especificaciones bien elaborada funciona

eficientemente como un plano o guía para el elaborador de

reactivos, ya que muestra claramente qué resultados de

aprendizaje se deben determinar, cuantos reactivos es

necesario establecer por cada resultado y qué nivel taxonómico

se requiere en cada resultado.

Tabla… Ejemplo de una tabla de especificaciones para una prueba de TrigonometríaContenidos Objetivos conductuales Taxonomía No. de

Reactivos

I II III IV V VI

Clasificación de triángulos

Clasificar triángulos, analizando sus propiedades, semejanzas y congruencia, para explicar el Teorema de Pitágoras

1 1 2

Solución de triángulos

Aplicar el Teorema de Pitágoras, resolviendo triángulos rectángulos, para relacionarlos con las razones trigonométricas

1 1

4Calcular valores de ángulos, expresando razones y funciones trigonométricas, para interpretar la Ley de los Senos y Cosenos

1

Resolver triángulos utilizando la Ley de Senos y Cosenos, para aplicarlo a problemas reales y útiles en la vida cotidiana

1

El círculoAnalizar el círculo, representando arcos y ángulos, para calcular áreas y perímetros 1 1 1 3

2 3 4 9

Fuente: tomado de Hernández (2009).

- Los siguientes principios son útiles para todas las formas de reactivos:

1. Hacer apropiada la complejidad de los reactivos para el nivel de los examinados.

2. Definir la tarea, incluso las instrucciones, con la mayor claridad posible.

3. Informar a los estudiantes respecto a las normas para la calificación, por ej. puntos por tarea.

4. Escribir los reactivos de la manera más simple y directa posible.

5. Conoces cuáles procesos mentales se desea que use el estudiante y hacer las preguntas en concordancia.

6. Usar una organización o material nuevos para impedir que los estudiantes simplemente reproduzcan los ejemplos de la lectura del texto.

7. Variar la complejidad y la dificultad de los reactivos. Esto probablemente mejorará la capacidad para discriminar todos los niveles de conocimiento.

8. Hacer las preguntas tan independientes como sea posible.

9. Evitar los reactivos redactados de manera negativa tanto como sea posible. Usar unos cuantos es legítimo. De preferencia se debe subrayar la palabra “no” para mayor claridad.

10. Nunca usar dobles negativos.

Reglas para la utilización y elaboración de los reactivos de opción múltiple

1. Deben emplearse respuestas que se refieran al contenido del reactivo; por tanto, deben ser lógicas y verídicas.

2. Formular las afirmaciones y las opciones de respuestas con claridad.

3. Utilizar 4 opciones de respuesta.

4. Si las opciones tienen orden natural (fechas, épocas o números), establecerlos de manera ascendente o descendente.

5. Coloque las opciones en formato de grupo (párrafo) en lugar de una tras otra.

6. Utilice números para designar los reactivos y letras para las opciones (ver ejemplos).

7. Utilice poco las expresiones (máximo 2 veces) “ninguna de las anteriores” o “todas las anteriores”. También evite los determinantes específicos como “siempre” o “nunca”.

8. No utilizar las mismas opciones de respuesta para varias preguntas, ya que se recurre a descartar respuestas.

Ejemplos de reactivos objetivos

- Reactivos de opción múltiple:Definición( ) 1. Tipo de neurona que conduce los impulsos desde el sistema

nervioso central hasta una glándulaa) Motorab) Deferentec) De relaciónd) Aferente

Resultado de formula( ) 2. En un círculo dado, con un diámetro de 12 centímetros, el área

de este círculo mide aproximadamente:a) 0.453 (empleando d2)b) 19 (empleando r)c) 38 (empleando d)d) 113 (empleando r2)


Asociación( ) 3. Fenómeno que tiende a ocurrir cuando se aproxima una tormenta en un

área.a) La temperatura se eleva.b) La presión barométrica falla.c) Los vientos soplan del Este.d) La actividad eléctrica aumenta. Reconocimiento de error( ) 4. Operación en la que se ha cometido un error.a) 24 - 12 = 12b) 24 x 10 = 0c) 24 – (-21) = 12d) 24 – (-12) = 12 Evaluación( ) 5. La longitud más pequeña es:a) 2 1/6 pulgadas.b) 1/3 pie.c) 7/2 pulgadas.d) 1/12 yarda.


Completamiento / respuestas simple o breveEn la actualidad, el principal país productor de petróleo es:___________________________

Correspondencia / apareamiento / casamiento

- Escriba en el paréntesis de la izquierda la letra que corresponda al nombre correcto del autor que se presenta en la columna de la derecha.

A. Bidet

( ) 1. Prueba de inteligencia de grupo B. Darwin

( ) 2. Prueba de inteligencia individual C. Galton

( ) 3. Inventario de intereses D. Otis

( ) 4. Inventario de personalidad E. Pearson

( ) 5. Correlación producto-momento F. Rorschach

( ) 6. Pruebas sensoriomotrices G. Spearman

H. Strong

I. Woodworth


Jerarquización / ordenamiento

- Ordene correctamente la sucesión de planetas que integran nuestro sistema con base en la cercanía al Sol.

A. ____ A. Venus

B.____ B. Júpiter

C.____ Tierra

D. ____ Mercurio

E. ____ Urano

F. ____ Marte

G. ____ Neptuno

H. ____ Plutón

I. ____ Saturno


Localización / identificación

- A continuación se te presenta el esquema de un microscopio con líneas señaladas, escribe la letra correcta que antecede a cada parte indicada de acuerdo a las opciones presentadas.

A. Ocular B. Objetivo C. Condensador D. SoporteE. PlatinaF. Diafragma

REQUISITOS DE UN INSTRUMENTO DE MEDICIÓN:

Confiabilidad y validez.

CONFIABILIDAD:

El grado en que su aplicación repetida al mismo sujeto produce iguales resultados. Prueba para demostrarla: Alpha de Cronbach .

VALIDEZ.

Grado en el que un instrumento mide la variable que pretende medir. ¿Está midiendo lo que cree que está midiendo?

VALIDEZ DE CONTENIDO.

Grado en el que un instrumento refleja un dominio específico de contenido de lo que se mide. Una prueba debe contener todos los temas del concepto a medir.

•Validez predictiva. Como una medida esta relacionada con una precurrente. Por ejemplo; el puntaje obtenido, promedio general de la preparatoria, en una prueba de se selección para ingresar a la universidad. En este caso se predice que el alumna permanecerá en la universidad. Es obtenida por el; Coeficiente de correlación de Pearson

VALIDEZ DE CRITERIO.

Establece la validez comparándola con un criterio externo. P. ejemplo una medida de motivación debe relacionarse positivamente con rendimiento académico.

VALIDEZ DE CONSTRUCTO.

Grado en el que una medición se relaciona consistentemente con otras mediciones de acuerdo con hipótesis derivadas teóricamente y que conciernen a los conceptos o constructos que están siendo medidos. Ejemplo Calidad de Vida Subjetiva, Recursos Psicológicos, Depresión, Estilos paternales… Y se obtiene a través de un análisis, factorial, por componentes principales.

VALIDEZ CONVERGENTE DE CONSTRUCTO.

• Verificación independiente de la existencia de un constructo. Se obtiene cuando esas medidas independientes, que se refieren al mismo constructo, concuerdan.

VALIDEZ DIVERGENTE DE CONSTRUCTO.

• Se obtiene cuando dos o más medidas, que en teoría miden constructos diferentes, no se correlacionan entre sí.

FACTORES QUE AFECTAN LA CONFIABILIDAD Y VALIDEZ

IMPROVISACIÓN. Desarrollar instrumentos de la noche a la mañana.

UTILIZAR instrumentos desarrollados en otras culturas o tiempos. Necesidad de validarlos.

INSTRUMENTOS INADECUADOS. Lenguaje elevado, diferencias de sexo, edad, conocimientos, memoria, motivación para contestar.

CONDICIONES EN LAS QUE SE APLICA EL INSTRUMENTO. Temperatura, ruido, extensión del instrumento, aspectos mecánicos (espacio para contestar, tamaño de letra, etc.).

INSTRUMENTOS DE MEDICION. Auto-reportes, pruebas estandarizadas, observaciones, huellas del comportamiento, métodos psicofisiológicos.

Una vez que se ha aplicado un examen y se conocen sus resultados, resulta útil y necesario obtener información acerca de la eficiencia que cada reactivo mostró para satisfacer los propósitos para los que fue diseñado.

Trato específicos de los reactivos

Índice de dificultad.

Representa la cantidad de alumnos examinados que respondieron adecuadamente al ítem. Se simboliza con la letra p y puede expresarse en proporciones o porcentajes, por lo que sus valores pueden fluctuar entre .00 y 1.00, o entre 0% y 100%, respectivamente.

De acuerdo con la psicometría, lo ideal es que cada reactivo posea un mediano índice de dificultad igual a .5 ó 50%; sin embargo, para considerarse como aceptable, éste puede oscilar entre .35 y .65. Este índice, de dificultad, se calcula de la siguiente manera:

donde:pi = Índice de dificultad del reactivo iAi = Número de aciertos en el reactivo iNi = Número de aciertos más número de errores en el reactivo i

Índice de discriminación

Se define como el grado de diferenciación que un reactivo es capaz de captar mediante la forma correcta o incorrecta en que los alumnos responden; de tal manera que sea respondido mayoritariamente correcto por quienes obtuvieron un puntaje global alto en el examen; y viceversa, mayoritariamente incorrecto por los alumnos con puntuaciones globales bajas en el examen. En síntesis, se espera que los reactivos sean capaces de distinguir, con la máxima nitidez posible, entre los alumnos de alto y bajo rendimientos académicos.

Para obtener el índice de discriminación utilizaremos la siguiente fórmula:

donde:Di = Índice de discriminación del reactivo iGAaciertos = Número de aciertos en el reactivo i del 27% de personas con las puntuaciones más altas en el examen.GBaciertos = Número de aciertos en el reactivo i del 27% de personas con las puntuaciones más bajas en el examen.Ngrupomayor = Número de personas en el grupo más numeroso (GA o GB).

Índice de confiabilidad.

El errores en la medición más comin es: la variabilidad en la ejecución de reactivo a reactivo dentro de un examen.

Este error puede ser controlado satisfactoriamente por el coeficiente Alpha de Cronbach (Nunnally & Bernstein, 1999.

Los exámenes, por ejemplo, que aplican en la universidades para su ingreso, COSNET, EXHCOBA etc., por presentarse en una misma versión y en un mismo momento, puede estar en esta posición de error por ende el Alpha de Cronbach resulta un estimador adecuado de su nivel de confiabilidad.

03 presentación taller creación de reactivos objetivos 2

Documents