cap 4, crocket & algina

4
Proceso De Construcción De Test Medición centrada en el sujeto. Los pasos del proceso son los siguientes: 1. Identifcar los propósitos del uso de los puntajes del test Considerar el propósito básico para lo que serán usados los puntajes del test. Un test para discriminar entre examinados de un largo rango de habilidad deberá estar compuesto de ítems de mediana difcultad para que la !arian"a de los puntajes de los examinados sea maximi"ada#. $or otra parte% un test usado para identifcar áreas de debilidades especifcas en estudiantes de baja habilidad% deben contener un n&mero sustancial de ítems que sean relati!amente 'áciles para la población de examinados como un todo. (e 'orma similarel contenido de un test dise)ado para e!aluar competencias mínimas probablemente !a a di'erir de un test dise)ado para seleccionar aplicantes para un competiti!o programa educacional. *s importante clarifcar el propósito principal para el cual se usa puntajes del test + establecer prioridades dentro de sus usos probables. 2. Identifcar los comportamiento que representan el constructos o defnen el dominio (esarrollo de test de logro. ,ípicamente los desarrolladores de test conceptuali"arán uno o más tipos de comportamientos que se cree que manifestan el constructo + luego simplemente intentaran -pensar los ítems del test que requieren la demostración de estos comportamientos. $ero esta aproximación puede resultar en la omisión de áreas importantes de comportamiento o de la inclusión de áreas que son importantes para el constructo sólo en la mente del desarrollador del test. $or lo tanto% esta e una defnición altamente subjeti!a e idiosincrática. $ara ampliar% redefnir o !erifcar la !isión del constructo a ser medido% el desarrollador del test debe ejecutar una o más de las siguientes acti!idades i# /nálisis de contenidos: preguntas abiertas son entregadas a sujetos respecto al constructo de inter0s + sus respuestas son ordenadas en categorías de tópicos. *stos tópicos son usados como los componentes ma+ores del constructo. ii# 1e!isión de in!estigaciones: aquellos comportamientos que han sido más 'recuentemente estudiados por otros son usados para defnir el constructo de inter0s. iii# 2ncidentes críticos: 3e identifca una lista de comportamientos que caracteri"a extremos del continuo de desempe)o para el constructo de inter0s. La descripción de sujetos mu+ e'ecti!os o altament ine'ecti!os sir!e para generar un listado de comportamientos críticos para ran4ear el desempe)o.

Upload: soledad-echeverria

Post on 06-Oct-2015

1 views

Category:

Documents


0 download

DESCRIPTION

Medición

TRANSCRIPT

Proceso De Construccin De TestMedicin centrada en el sujeto. Los pasos del proceso son los siguientes:

1. Identificar los propsitos del uso de los puntajes del testConsiderar el propsito bsico para lo que sern usados los puntajes del test.Un test para discriminar entre examinados de un largo rango de habilidad deber estar compuesto de tems de mediana dificultad (para que la varianza de los puntajes de los examinados sea maximizada).

Por otra parte, un test usado para identificar reas de debilidades especificas en estudiantes de baja habilidad, deben contener un nmero sustancial de tems que sean relativamente fciles para la poblacin de examinados como un todo.De forma similar el contenido de un test diseado para evaluar competencias mnimas probablemente va a diferir de un test diseado para seleccionar aplicantes para un competitivo programa educacional.

Es importante clarificar el propsito principal para el cual se usarn los puntajes del test y establecer prioridades dentro de sus usos probables.2. Identificar los comportamiento que representan el constructos o definen el dominioDesarrollo de test de logro.

Tpicamente los desarrolladores de test conceptualizarn uno o ms tipos de comportamientos que se cree que manifiestan el constructo y luego simplemente intentaran pensar los tems del test que requieren la demostracin de estos comportamientos.

Pero esta aproximacin puede resultar en la omisin de reas importantes de comportamiento o de la inclusin de reas que son importantes para el constructo slo en la mente del desarrollador del test. Por lo tanto, esta es una definicin altamente subjetiva e idiosincrtica.Para ampliar, redefinir o verificar la visin del constructo a ser medido, el desarrollador del test debe ejecutar una o ms de las siguientes actividades:

i) Anlisis de contenidos: preguntas abiertas son entregadas a sujetos respecto al constructo de inters y sus respuestas son ordenadas en categoras de tpicos. Estos tpicos son usados como los componentes mayores del constructo.

ii) Revisin de investigaciones: aquellos comportamientos que han sido ms frecuentemente estudiados por otros son usados para definir el constructo de inters.

iii) Incidentes crticos: Se identifica una lista de comportamientos que caracteriza extremos del continuo de desempeo para el constructo de inters. La descripcin de sujetos muy efectivos o altamente inefectivos sirve para generar un listado de comportamientos crticos para rankear el desempeo.iv) Observaciones directas: el desarrollador del test identifica los comportamientos por observacin directa del ambiente donde pueden darse esos comportamientos.v) Juicio experto: los desarrolladores de test obtienen informacin de uno o ms individuos que tienen experiencia de primera mano con el constructo. Cuestionarios escritos o entrevistas personales son usadas para recolectar informacin.vi) Objetivos de instruccin: se le pide a expertos en el tema revisar los materiales instruccionales y desarrollar un set de objetivos instruccionales para el test de logros que est siendo desarrollado. Un objetivo instruccional especifica un comportamiento observable que los estudiantes deberan ser capaces de exhibir despus de completar un curso o instruccin. Tales objetivos comunican a la persona que escribe los tems tanto el contenido especifico en los cuales los tems deben enfocarse como la naturaleza de las tareas que el examinado debiera ser capaz de desarrollar.Muestreo de Dominio

Los constructos generalmente se interesan en el grado en que los individuos difieren en el monto del atributo. El desarrollo de un test con el fin de establecer diferencias tpicamente involucra la conceptualizacin de los componentes mayores de comportamiento del constructo, la produccin de tems en esas reas y la seleccin de tems en los cuales el grado de variacin esperado en el desempeo ocurre (los tems donde hay poca variacin son eliminados porque fallan en representar el constructo apropiadamente).Debido a que la significatividad de los puntajes de los test construidos de esta forma es derivada comparando el desempeo del examinado individual con el desempeo de otros, las mediciones de estos tests se denominan referidos a normas.Sin embargo, en algunas situaciones se necesita medir el desempeo de los examinados en trminos de niveles ms absolutos de competencia, por ejemplo si los examinados han logrado un nivel mnimo de competencia. La necesidad de un puntaje de contenido estndar que tenga un significado interpretativo para un examinado sin importar como se han desempeados los otros en el test. As, el termino test referido a criterios se aplica a los puntajes de test que derivan su significado de los niveles de desempeo absoluto de los examinados en una serie de tems del test donde cada set de tems corresponde a un nivel de competencia conocido en un criterio importante. En el desarrollo de un test de logro referido a criterios, el desarrollador del test comienza con un set de objetivos instruccionales y luego procede a definir un dominio de logro del cual se realizaran las inferencias de los puntajes del test. Es dominio de logro se denomina dominio del tem; un dominio del tem es una poblacin de tems bien definidos de donde una o ms formas de un test pueden ser construidas seleccionando una muestra de tems de esta poblacin (se denomina muestreo de dominio).Otra alternativa es producir un set de especificaciones de un dominio de tems que estn tan estructuradas que los tems escritos de acuerdo a estas especificaciones sean intercambiables. Esto se denomina especificacin del tem o objetivo ampliado; incluye fuentes del contenido del tem, descripciones de la situacin problemtica o el estimulo, caractersticas de la respuesta correcta, y en el caso de tems de respuesta de seleccin mltiple, caractersticas de las respuestas incorrectas. El uso de especificaciones de tems es particularmente ventajoso cuando se debe crear un gran pool de tems y diferentes escritores de tems deben desarrollarlos.Un mtodo que provee an ms estructura a la especificacin del dominio es el uso de algoritmos de tems (para contenido cuantitativo) o formas de tems (contenido primariamente verbal). Para el material verbal, una forma general de un tem es escrita y esta tiene fijada una estructura sintctica, pero el tem madre contiene uno o ms componentes variables. Esta forma define una clase entera de tems, dependiendo en cual elemento del set de reemplazo es substituido por el componente variable en el tem madre.Una aproximacin an ms estructurada a la especificacin del dominio, similar al uso de las formas de tems, son las frases de mapeo. Estas frases de mapeo tienen partes preidentificadas de discursos, frases o clausulas, que pueden ser variadas sistemticamente y localizadas en posiciones designadas de una frase con una estructura sintctica fijada.En la consideracin del apropiado nivel de especificidad requerido para la definicin de un dominio en una situacin determinada, se debe considerar: a) identificar un dominio de comportamiento de importancia prctica y b) construir tems en una forma que permita a los usuarios del test inferir que el desempeo en estos tems representa el desempeo que se hubiera desplegado en el dominio total del tem.

Mientras ms explcitamente se defina el dominio y mientras ms subjetividad de diferentes escritores de tems es eliminada en seleccionar la forma y contenido del tem, ms confianza pueden tener los usuarios del test de que los tems de una forma determinada representan el dominio. Sin embargo, como el dominio es restringido, la extensin a la que es probable de ser considerado de importancia practica se reduce. Ser capaz de generalizar con confianza a un dominio que abarca una muy pequea esfera de comportamiento puede ser apropiado para algunas mediciones pero cuestionable en otras.3. Preparar las especificaciones del test

4. Construir un pool inicial de tems

5. Revisar los tems

6. Mantener tems de prueba preliminares

7. Determinar las propiedades estadstica de los puntajes de los tems y cuando sea necesario eliminar los tems que no calzan con los criterios preestablecidos

8. Probar los tems en una larga muestra representativa de examinados destinatarios del test9. Disear y conducir estudios de confiabilidad y validez para la forma final del test

10. Desarrollar guas para administrar, puntuar e interpretar los puntajes del test