Dr. Juan Manuel Esquivel A.CECC/SICA

Propósito de la video conferencia

Analizar el concepto de validez, desde la perspectiva de los resultados de pruebas que miden conocimientos o contenidos curriculares

Analizar las implicaciones de la recolección de evidencias de validez en el desarrollo y administración de pruebas de conocimientos.

Importancia de este análisis

Problemas comunes

Énfasis limitado que se le da a la

recolección de evidencias de validez durante

los procesos de elaboración de las pruebas

Sobrevaloración de las evidencias

estadísticas que se obtiene después de la

administración de una prueba.

Conceptos fundamentales(1)

La validez junto con la confiabilidad

son conceptos fundamentales en la

medición psicológica y educativa.

Hoy nuestro interés se concentrará

en la validez

Conceptos fundamentales(2)

Validez: “juicio integrado del grado en que la evidencia empírica y el razonamiento teórico sustenta la conveniencia y lo adecuado de las inferencias y acciones basados en los puntajes obtenidos en una prueba y de las consecuencias sociales de su empleo” (Meesick, 1989)

Ideas fundamentales derivadas(1)

La evidencia de validez fundamenta las

inferencias hechas acerca de los resultados

de una prueba y no al instrumento en sí.

La validez es una característica de grado.

Cada administración de una prueba

requiere renovar las evidencias de validez.

Ideas fundamentales derivadas (2)La validez no solo depende de las

respuestas dadas a los ítems, tareas o estímulos, sino de las personas que las dan y del contexto en que se da la medición: factores ambientales y condiciones.

Las consecuencias sociales de la interpretación tienen implicaciones de carácter ético y científico.

Función de los resultados de la medición

Diagnóstica: con el propósito de planificar

un proceso educativo nuevo

Formativa: con el propósito de corregir un

proceso educativo en desarrollo

Sumativa: con propósito de contribuir a la

calificación de un proceso o fase terminada.

Procedimientos de obtención de evidencia de validez

En una prueba que pretende medir contenidos curriculares del dominio cognoscitivo o más simplemente conocimiento disciplinar a una población regional, nacional o regional interna. Las evidencias se recolectan para sustentar la interpretación de los resultados, en dos momentos:

Antes de la administración piloto o definitiva de la prueba

Después de esa administración.

Procedimiento general para el desarrollo de una prueba (1)

1. Definición del objetivo de la prueba y uso de sus resultados

2. Definición del universo de contenidos u objetivos a ser medidos

3. Definición del peso relativo de los contenidos u objetivos a ser medidos (tabla de especificaciones-cuadro de balance de la prueba)

Procedimiento general para el desarrollo de una prueba (2)

4. Escritura de reactivos o ítems.

5. Análisis de la calidad técnica de los

reactivos desarrollados, por jueces

expertos

6. Cálculo de la congruencia de cada

reactivo o ítem con el contenido u

objetivo que se pretende medir

Procedimiento general para el desarrollo de una prueba (3)

7. Selección de los mejores ítems para

la prueba piloto

8. Administración de la prueba piloto

9. Análisis de resultados de la prueba

piloto, mediante la aplicación de la

Teoría clásica o el TRI.

Procedimiento general para el desarrollo de una prueba (4)

10.Selección de los ítems que se

emplearán en la administración

definitiva de la prueba.

11.Constitución de la pruebas o

pruebas definitivas.

Análisis de un ejemploAnalicemos detenidamente la evidencia

de validez que se puede recolectar durante el proceso de desarrollo de una prueba: Supongamos que es una prueba, referida a normas,

De conocimientos en ciencias, De final de la educación primaria, Que se aplicaría en un país de nuestra región

Tres preguntas, respecto a la validez de la interpretación de resultados

1. ¿Cuál sería la evidencia de validez que podemos recolectar durante el proceso desarrollo de la prueba anterior?

2. ¿Cuáles son posibles procedimientos de recolección de esta evidencia?

3. ¿Cuál es el valor relativo de la evidencia recolectada antes de la aplicación piloto y después de la aplicación piloto?

Posibles fuentes de evidencia para interpretar y usar resultados(1)

1. Objetivo de la prueba y uso de sus resultados. Esta es una decisión política.

a. ¿Quién definió el objetivo y el uso de los resultados?

b. ¿Por qué? c. ¿Se plantea un empleo legítimo de los

resultados?

Posibles fuentes de evidencia para interpretar y usar resultados(2)

2. Selección de contenidos u objetivos a ser medidos. Primera decisión técnica que debe ser guiada por el objetivo y el uso pretendido de los resultados.

a. ¿Quién debe definir los contenidos: los especialistas en la enseñanza de las ciencias, o los maestros de sexto grado?

b. ¿Cuáles son posibles procedimientos para realizar la selección?

Posibles fuentes de evidencia para interpretar y usar resultados(3)

3. Definición de la muestra de contenidos u objetivos a ser medidos (tabla de especificaciones-cuadro de balance de la prueba).

a. ¿Sería apropiado que la definan los responsables directos del desarrollo de la prueba con la colaboración de especialistas y maestros?

Posibles fuentes de evidencia para interpretar y usar resultados(4)

4. Escribir reactivos o ítems. Existen varias opciones:

a. ¿Maestros en servicio capacitados, solamente especialistas, solamente los responsables de la prueba, una combinación de todos estos?

b. ¿Qué implicaciones en la interpretación y uso tiene esta decisión?

Posibles fuentes de evidencia para interpretar y usar resultados(5)

5. Revisión de la calidad técnica de los reactivos desarrollados.

a. ¿Quién es el indicado para realizar esta tarea que es altamente especializada?

b. ¿Es necesario remunerar este trabajo? c. ¿Es conveniente que lo realice una

persona que previamente se ha involucrado en este proceso?

Posibles fuentes de evidencia para interpretar y usar resultados(6)

6. Procedimiento para el cálculo de la congruencia de cada reactivo o ítem con el contenido u objetivo que se pretende medir.

a. ¿Quién debe realizar esta tarea? b. ¿Cuáles son las condiciones en que se

debe realizar? c. ¿Cómo se calcula la congruencia? d. ¿Cómo se interpreta ese resultado y

qué importancia tiene?

Evidencia para interpretar resultados y posibles consecuencias sociales(7)

7. Selección de los mejores ítems para la prueba piloto.

a. ¿Quién los selecciona y cómo se realiza esta tarea?

8. Administración de un prueba piloto. a. ¿Cuál es el propósito? b. ¿Es siempre posible hacer una prueba

piloto?c. ¿Cómo se define las características de la

muestra de estudiantes para la prueba piloto?

Posibles fuentes de evidencia para interpretar y usar resultados(8)

9. Análisis de resultados de la prueba piloto.

a. ¿Cuál es la teoría que se aplica?b. ¿De qué factores depende? c. ¿Cuál es el uso de los resultados?

Valor relativo de la evidencia recolectada antes y después de la aplicación piloto (1)

un aspecto fundamental: Aquellos profesionales evaluadores que

ejecuten procesos como el aquí descrito tienen la obligación ética de informar, en el reporte de resultados, acerca de todas las interrogantes antes señaladas y sus justificaciones,

Solamente de esa manera se podrá juzgar la calidad del proceso de validación seguido. 

Valor relativo de la evidencia recolectada antes y después de la aplicación piloto (2)

Mi respuesta a la interrogante anterior es que: La evidencia recolectada antes y después de

la prueba piloto es igualmente importante Especialmente, una prueba que mida

conocimientos debe presentar evidencia, como requisito indispensable, que se refiera al cómo y por qué de los pasos 2, 3, 4, 5, 6 y 7 antes descritos.

Lamentablemente no es lo más común.

Espacio para preguntas, comentarios