Elaboración de pruebas y arrálisis de reactivos 159

%~&~orth Personal Data Sheet (Hoja de Datos Per- sonales Woodworth), prototipo de muchas pruebas de personalidad posteriores. El Inventario Multifásico de la personalidad Minnesota (MMPI) se inventó para

en la clasificación de los pacientes mentales, en la páctica clínica de los hospitales de la Universi- dad de Minnesota. La Scholastic Assessment Test (sAT; Prueba de Evaluación Acadtmica) se creó en

al interés de una reducida cantidad de uni- "midades selectas para pasar por alto a algunos estu- diantes brillantes de bachilleratos mediocres en el ingreso a esas universidades. debido a que no habían

expuestos a un plan de estudios complejo que los preparara para la universidac. Por supuesto, la enorme cantidad de trabajo dirigido ai d e s ~ l l o de las pruebas de aprovechamiento para su uso en las

y la industria tambitn tiene una orientación altamente práctica. Se trata sólo de algunos ejemplos del hecho de que muchas pruebas se originan en res- puesta a una necesidad muy práctica. En estos casos, la elegancia te6rica y la bibliografía sobre la investi- gación existente no son intereses primarios, en re&- && in~esti~aciones posteriores con estas pruebas han demostrado a menudo que tenían problemas teóricos considerables. : Algunas pruebas se fo jan a partir de un funda- mento teórico, como el Test de Apercepción Temati-

1 ca (Tm. que se ideó con la finalidad de ofrecer un indicador de la personalidad en función de la teorfa a

-'%%e respecto propuesta por Murray. Asf sucedió m- -?, &i¿n con el Edwards Personal Preferente Schedule

S de Preferencias Persono- iones correspondientes a de Murray. Las Matrices

urstone, prototipo de ncia multifactoriales

do generan nuevas

'procesos de elaboración de pruebas resumidos en este -,capítulo. Pruebas como la SAT y la American College

Test (ACT; Prueba de lngreso a las Universidades Estadounidenses) están bajo una revisión más o me- nos continua. La Escala Wechsler de Inteligencia pan el Nivel Escolar (WISC) era una extensión descen- dente de la escala Wechsler para adultos que conser- vó muchas características de su instrumento madre pero que, resulta obvio que necesitaba nuevos reactivos y normas. ~osteriormente, la Escala Wechsler de ln- religencia para los Niveles Preescolar y Primario (WPPSI) fue una extensión descendente de la WISC.

Hay tambitn esfuerzos que se ubican en la cate- go:[a de las revisiones de pruebas existentes y que conservan lo más posible la estructura fundamental del instr~mcnto, pero que lo modifican para pobla- ciones especiales. Como muchas pruebas que en su origen se crearon en inglés y ahora están disponibles en español u otros idiomas: tal modificación suele entrañar mucho más que una simple traducción de los reactivos e instrucciones de la prueba. Tambitn hay adaptaciones de los instrumentos para personas que padecen div'ersas discapacidades, auditivas, visuales o motrices. Por tanto, la elaboración o adaptación de las nuevas versiones de las ediciones existentes de las pruebas constituyen una tercera fuente importante de esfuerzos en la creación de las pruebas.

PREPARACI~N DE LOS REACTIVOS

La preparación de los reactivos incluye tanto la re-" dacción de éstos como su rcvisi6nz Esta redacción no debe realizarse hasta que se haya definido la finalidad de la prueba y explorado de manera minuciosa las consideraciones de diseño preliminares; suponiendo que estas dos primeras etapas se hubiesen realizado de modo satisfactorio, empieza la preparación de los reactivos. Quizá sea útil empezar esta sección con la pregunta: pactamente qut es un reactivo de una prue- ba? El reactivo de una prueba posee cuatro partes (fi- gura 15-2): el estúnulo al que responde el examinado,, el formato (o método) de respuesta, las condiciones que rigen cómo se da la respuesta al estímulo y, los procedimientos para calificar la respuesta, denomi- nados en ocasiones "rúbricas de respuesta". A conti- nuación se da una breve descripción de cada uno de estos componentes.

El estímulo, denominado a menudo la base del , reactivo, puede ser una pregunta, como las que se ilustran en el cuadro 6-2. La primera corresponde a una prueba de inteligencia, la segunda a una de apro- vechamiento, la tercera a un estudio de actitudes y la cuarta a un inventario de personalidad. El estímulo

160 Pruebas psicológicas. Una iiitroducción práctica (capid Z

CONDICIONES FORMATO DE RESPUESTA QUE RIGEN

LA RESPUESTA

PROCEDIMIENTOS DE CALIFICACION

no particularmente buena recibe un punto, el1 t;

que una incorrecta no obtiene ninguno. Los pr;c mientos para calificar las respuestas a las t& proyectivas pueden ser muy elaborados, así que ben especificarse y entenderse al considerar el reac de una prueba.

1

Figura 6-2. Anatomía de un reactivo de prueba.

también puede ser una imagen, aconipañada por una pregunta oral, par ejemplo, la prueba Rorschach pre- senta una imagen junto con una pregunta sobre lo que el examinado ve. El estímulo también puede ser un aparato como el dinamómeuo manual, pero el "reac- tivo" está incompleto si carece de una instrucción, como sería "T6melo con su mano derecha y apriételo lo más fuerte que pueda".

El formato de respuesta incluye factores. res-+ pecto de si tste es un reactivo de opción múltiple o de cmstmcción de respuesta. Por ejemplo, cuelquiera de los estímulos que aparecen en el cuadro 6 2 podría tener una serie de elecciones o exigir la construcción de una respuesta. En la sisiente seccitin, se verán más 3. fondo diversos formatos de respuesta.

Tal vez no tan evidente como los dos primeros componentes de un reactivo, el tercero es crucial para entender la naturaleza de un reactivo. Entre las cona diciones que rigen la respuesta se hallan variables ' como el límite de tiempo para responder o si quien aplica la prueba puede sondear las respuestas ambi- 0 guas y cómo se registra exactamente la respuesta, por ejemplo, en una hoja de respuestas o en el cuadernillo de la prueba.

Por último, el procedimiento para calificar es una parte fundamental del reactivo. En el caso de una prueba de opción múltiple de capacidad o apro- vechamiento. cada reactivo podría calificarse como w e c t o o incorrecta. Otra posibilidad es que se dé un crédito parcial por elegir ciertas opciones? En al- gunas secciones de la Escala Wechsler de Inteligencia para Adultos-111 (WAIS-111). los reactivos de construc- ción de respuesta merecen dos puntos si se ofreció una muy buena respuesta, una respuesta aceptable pero

Cuadro 6-2. Ejemplos de las partes de estímulos en los reactivos de una prueba

¿Qué significa *pródigow?

Despeje x si 6 x + 10 = 14. x =

¿Le gusta reunirse con personas nuevas? Complete este enunciado: Hoy me siento especialmente

La variedad de los reactivos de las pruebas es en@ me. Los ieactivos con frecuencia se clasifican en minos del foimato de respuesta a los reactivos segundo componente del reactivo de la consideró con antelación. En un nivel los reactivos se clasifican como de sele puesta o de construcción de respuesta ción se presentan los ejemplos más comunes de dos tipos, con un comentario sucinto sobre sus caciones usuales, fortalezas y debilidades.

REACTIVOS DE SELECCIÓN DE RESPUESTA

En los reactivos de selección de respuesta. al ex se le presentan al menos dos, pero no más de una nable y pequeña cantidad de opciones, de las cuales elegir una respuesta. Los reactivos de selección de puesta tambiéii se deiiominan reactivos de respu múltiple, opción múltiple o de elección forzada. ,

En las pruebas de uso más generalizado, el e ma de selección de respuesta es a todas luces e popular.1En la mayor parte de las pruebas de capacidad y aprovechamiento aplicadas a grupos, se utiliza una estructura de opción múltiple con 4 o 5 opciones por cada reactivo; con seguridad todo lector estará familia- rizado con este tipo de preguntas. Un caso especial del reactivo de opción múltiple pero con tan solo dos op- ciones, es el de Verdadero o Falso: En el cuadro 6-3 se ilustran los reactivos de opción múltiple y de Verdade- ro o Falso de una prueba de aprovechamiento.

Los formatos de selección de respuesta son más familiares en el ámbito de la evaluación de capacida- des y desempeño, \in embargo, también son amplia- mente utilizados en prueba5 de personalidad, intereses

Como se señalóen el texto. hay diversos términos alternos i para designar los formaios de selección de respuesta Y de i constmcción de respuesta. Aquí se adoptó los términos einplcados cii los Stciriclcirdv for Ec1:'cllcccitioricil t r r d Psychp logicul 7iw.s ( AERAIAPNNCME, 1999). t

múltiple y wwses y p'

OVO c: pesta que es el form: de reactivo 10s que va pletamentc pmba po< rcc puntos. carse en ct tn dos po forma nun ocasiones 1954) o es 1994). se nr

p~ede mai las rzspue en este eji Una aplic;

1 en tanto Procedi-

hr técnicas que de. E= dreactim

1

Elrihor~~cicíri de nruebas 1. análisis de reuctiim 161

Cuadro 6-3. Ejemplos de reactivos d e opción múltiple y Verdadero o Falso en una prueba d e apmvechamiento

t Reactivo de opción múltiple

LGuil de &tos es un mktodo para determinar la confiabilidad de una prueba?

A. test-retest B. estanina C. validez D. relacionado con el criterio

Reactivo de Verdadero o Falso

v F La estanina es un método para determinar la confiabilidad de una prueba.

Uctitude% pc!r ejemplo. el Strong Interest Inventory (~11; Iiiveiitai~ü a i InrEicses Stmiig) emplea "Agra- do", "?* y "Desagrado" para la mayoría de sus reac- "vos; el MMPI-2 emplea un formato de verdadero- falso. El cuadro 6-4 ilustra los reactivos de opción múltiple y de verdadero-falso para inventarios de in- tereses y personalidad.

Otro caso especial de formato de selección de res-d puesta que se emplea en muchas pruebas de actitudes esel f o m t o LiefC3 el cuadro 6-5 ilustra este tipo de reactivos donde se emplea la e d a de cinco pun- tos que va de "Completamente de acuerdo" a "Com- pletamente en desacuerdo" en cada respuesta. En una prueba podrían usarse 3,9 o cualquier cantidad finita de puntos. En una variante, las respuestas pueden mar- carse en cualquier parte a lo largo de un continuo en- brc dos polos, desputs, las marcas se convierten en +forma numkrica Este procedimiento. denominado en -ocasiones escala de calificación gráfica (Guilford, -1954) o d a visual análoga (Barker, Pistrang, Eliiott,

?.i1994), se presenta en la figura 6-3. El entrevistado marcar en cualquier parte de la línea, despuks,

';.'hmpuestas se convierten en forma nurnerica (1-10 este ejemplo) aplicando la escala que se muestra.

-42cUnaaplicación interesante de este formato de respues- -a es el diferencial semintico,,en el cual se caIifíca a 1 'Qmobjeto (p. ej., idea, persona u organización) en una

4 &e de escalas catalogadas con adjetivos contrarios Plares como "duro-blando". "hostil-amigable", "cá- &do-frío" y "competente-ir~competente".~ En la figu- a U, se exhibe este metodo.

4 .ii 1 -3-

'@hicamente. el formato Likut dude d mLtodo de ela- 1 boración de la exala completa. Sin embargo, es común T~cferirse al formato de respuesta mismo como formato *Likat Para un aniilisis adicional sobre este tema, véase el $ Capítulo 14.

ocasiones se dude al diferencial semántico como si se : tratara de una pmeba específica. Pero como se señala en ' e* babajo ciásico sobre el tema (Osgood, SuB. Tannenbaum,

1957). el diferencial semántico denota una técnica gene- & y no una pmeba en particular.

C ~ M O CAL1 FlCAR LOS REACTIVOS DE SELECCI~N DE RESPUESTA

En el campo de las pruebas de capacidad y aprovecha- miento, h mayor parte de los reactivos de selección de respuesta se califican como coirectos o incorrectos; se concede un punto o cero:a una respuesta correcta o incokta , respectivamente, luego, se califica la prue- ba contabilizando la cantidad total de aciertos. Sin embargo, hay otras formas de calificar estos reactivos. una de ellas consiste en conceder un crédito parcial por elegir una opción que no es la mejor respuesta posiblei pero que no está del todo equivocada Otra variante supone otorgar una ponderación adicional a los reactivos que son muy importantes; por ejemplo, para calcular la puntuaciór total en la prueba, una respuesta correcta a ciertos reactivos podría valer tres puntos, a otros dos puntos y uno a los restantes. Otra variante para calificar reactivos para los que hay una respuesta correcta consiste en aplicar una corrección por adivi- - nación'(v&se el capítulo 3, pp. 55-56). Las compara- ciones del método de calificación simple de cero o uno con estos mktodos más complicados han sido materia de muchas investigaciones; la duda radica en si los sis- temas de calificación más complicados generan pun- tuaciones más confiables y válidas o alguna de ellas, +

en comparación con los más simples sistemas de califi- cación de cero o uno. La respuesta se divide en dos, por una parte, los sistemas más complicados suelen ge- nerar sólo puntuaciones un tanto mejores (mas confiablcs o más válidas). En cuanto a la segunda parte de la respuesta, los autores difieren, hay quienes afir- man que con esas ganancias marginales, no vale la pena molestarse en utilizar los sistemas más complicados (véase, por ejemplo, Nunnally, Bernstein, 1993); otros comentan que con la facilidad que ofrecen los sistemas modernos de calificación por computadora, las llama- das "complicaciones" son triviales, de modo que cual- quier ganancia en confiabilidad o validez merece la pena. Para una descripción de algunos de estos proce- dimientos de ponderación de reactivos y opciones, véase Millman y Greene (1993).

La calificación de los reactivos de selección de respuesta en las pruebas de personalidad, intereses y

162 Pruebas psicológicas. Una introducción prácticu í cap í tu l~ 61 - Cuadro 6-4. Ejemplo de reactivos de opción múltiple y de Verdadero o Falso

de una prueba de intereses Y de personalidad

Reactivos de opclón múltiple

En cada reactivo, marque si le Agrada (A), le Desagrada (D) o No estd seguro (?) con relaci6n a la actividad.

A Trabajar con números O Resolver problemas de restas O

Reactivos de Verdadero o Falso

En cada reactivo, maque si es Verdadero (o en su mayor parte verdadero) o Falso (en su mayor parte falso) para usted.

V F Me siento deprimido(a) la mayor parte del tiempo.

V F Las cosas me han ido muy bien últimamente. - - -A .--.. . .

actitudes se da de diversas maneras. En algunas apli- caciones. cada reactivo se califica con uno o cero un forma análoga al procedimiento de respuesta c o m t a o 'incorrecta de las pmebas de capacidzd; pero esta - calificación no supone una respuesta correcta'o inco- : =atta, sino una respuesta en cierta dirección, por ejem- plo, que la persona esta más ansiosa, más deprimida, mejor adaptada o más interesada en cierta actividad.

Además, w cs bfnxuentc asignar diversas cif. a las distintas respuestas a los reactivos en las pruebas de personaIidad, intenses y actitudes.d% la escala de "Me agrada-?-Me desagrada", podnan asignarse pun- tuaciones de 3,2 y 1 o +l. O y -1 a diversas respuestas. En la escala de cinco puntos de "Muy de acuerdo-Muy en desacuerdo", quizá se adjudiquen calificaciones de 5.4, 3. 2 y 1, o bien, +2, +1, 0, -1 y -2 puntos a las difecentes respuestas. Observe que sería posible asig- nar una puntuación de uno a las respuestas de 'Muy de acuerdo" o r)e amerdo" y cero a todas las demás res- puestas. Las consideraciones de diseño preliminares a la elaboración de la prueba determinan en parte el mé- todo de calificación de estos reactivos.

REACTIVOS DE CONSTRUCCI~N DE RESPUESTA

En el reactivo de construcción de respuesta se presen-, ta un estúnulo, pero no se restringe al examinado a ,

elegir un conjunto fijo de xespuestas; él debe crear o consmir la respuesta. Respuesta libre es otro nom- bre común con que se designa este formato; aunque la respuesta del examinado es "libre", en el sentido de que'no está limitado a una senk fija de opciones, hay condiciones que rigen la respuesta: como ocurre con aquellas que deben darse de manera oral dentro de cierto periodo o bien por escrito, a guisa de ensayo: !% las pruebas de inteligencia que se aplican de e ncra individual, muchas veces se emplea un formato de construcción de respuesta, de modo que a un exe minado podría preguntársele "¿Que5 significa 'pr6dii go'?", o bien, "Si cada lápiz cuesta 15g y Jim compra 5 lápices, ¿cuánto paga?". Ea cada caso, el exam$ do consmye una respuesta "desde cero" y la puede plantear en forma oral o escrita. Una versitii muy se$ ciUa de reactivo de construcción de respuesta es( formato de llenar el espacio en blanco, d0nde.q omite un palabra o frase clave de un enunciado pad? que el examinado coloque las palabras faltantes. poá ejemplo. "las estaninas son un tipo de puntuación

". Advikrtase que, para preguntas como 6d tas, sería más fácil u t i i i i con exactitud la m i m a d terrogante del reactivo que con un formato de selecci+ de respuesta. , ..:~q

Uno de los ejemplos más famiiiares del esqued de consmcción de respuesta es la prueba de ensayo: En el reactivo de la prueba se presenta una situación0 tema, y el examinado &be una respuesta que pue

Cuadro 66. Eiemplo de formato Llkert para reactivos de actitudes . -4

MA = Muy & acuerdo. A = De acuerdo ? = N o & D = Desacuerdo MD = Muy en desacuerdo'!!

M A A 7 D MD . , $

Me gusta el dlgebra. O O O O O Las mlces cuadradas son fantáticas. O O O O O . $ ia quiero llevar estadlst'ica. O O 0 O 0 :S

'%

O Los problemas de aritm6tica son divertidos. O O O O Me gusta la geometrla. O O O O O

e-

Y-. 7 / Maque en cualquier parte a lo largo de la linea, para mostrar cómo califica a este maestro. I l i Horrible \ Grandioso

l \ 1 l . cala utilizada para convertir las marcas en forma num6rica.

1--- 1- 1- 1--- I- I 1 2 3 4 5 6 7 8 9 10

Figura 6-3. Ilustracidn de una escala de calificacidn grdfica.

de ir de unos cuantos enunciados a varias páginas de - k,tc. L a prueba de ensayo podría considerarse como un ejemplo de la categona más general de la eialua- &n del desempeño. en la cual se supone que el estí- mulo es una situación realista, como seria un problema & ciencias. una tarea en la biblioteca o una produc- a6n artística. Larespuesta consiste en resolver el pro- blema, realizar la tara c producir una obra. En la malidad. estas evaluaciones reciben mucha atención ea el ámbito educativo, como alternativa a las prue- bas de apmvechamiento en formato de opción múlti- ple. Una aplicación popular de la cvaluaci6n del desempeño es el uso de los portafolios. Como señala su nombre, el portafoiio es en esencia un conjunto de mbajos de una persona. podría elaborarse a partir

.-de los &ajos escritos o de los proyectos del laborato- @o& ciencias o de los análisis estadísticos realizados .:yor una persona. La recopilación de los trabajos pue- ;de Ucvarse unos cuantos meses o algunos años. Como ~~rucede con otras evaluaciones del desempeño, el con-

lio se convierte en uo instrumento" se juzga en función '

. Por supuesto, los ejemplos clásicos de personalidad con formato de consaucción

uesta son las técnicas proyectivas, como se- Rorschach v el TAT. En estos instrumentos.

¡'c2idarcactivo prese&a un estimulo ambiguo y el exa- 1 +si.

minado tiene una libertad considerable para construir una respuesta. En el capitoh 13, oe xborrlan estas téc- nicas con mayor detaile.

También es posible clasificar ciertas pruebas conductuales en la categoría del formato de construc- ción de respuesta. La técnica de grupo sin Iíder y la de cesta son de construcción de respuesta En la pri- mera, se coloca a la persona en una situación (p. ej., una reunión de comité) que &e de Iíder o estriictu- ra ae autoridad patentes; la pregunta es cómo se coni- portará k persona en esta silüación; un observador califm dicho comportamiento. La técnica de cesta presenta al individuo (por lo común el aspirante a un puesto laboral) el contenido de una cesta, la persona indica cómo debe manejarse cada documento u otros elementos; aquí tambidn alguien necesita calificar el manejo que la persona hace de los elementos o reac- tivos.

.CAL! FICACI~N DE LOS REACTIVOS DE CONSTRUCCI~N DE RESPUESTA

Dicha calificación plantea desafíos especiaies,.debi- do a que las respuestas pueden ser muy diversas; en casi todos los casos, la calificación exige cierto jui- cio. Hay dos factores clave para crear puntuaciones útiles a los reactivos de construcción de respuesta: el primero consiste en asegurar la confiabilidad entre calificadores; el segundo es concebir un esquema de calificación.

Wque esta escuela en cada una de las escalas que aparecen abajo. Ponga una marca en cualquier parte a la

[CALIDA FRIA] [AMIGABLE HOSTIL]

[COMPFTENTE INCOMPETENTE] [ASPERA SUAVE]

i.. 1 &; Figura 6-4. Ejemplo de modelo de diferencial serndntico.

Elahoruci6n de pruebas y niiálisis de reactivos 1ó3

164 Pruebas psicológicas. Una introducción práctica (Capítulo 6) \

Cuadro 6-6. Ejemplos de reactivos de construcción de respuesta para medir la personalidad

Asoclaclones de palabras -

Dirb una palabra y tú diriís la primera palabra que te venga a la mente. Caliente ... Escuela ... Verano ... Madre ...

Enunciados incompletos

Completa cada enunciado. Mi juego favorito es... Las familias son... El probiema más grande es. ..

Dado que la calificación de los reactivos de cons- trucción de respuesta de manera habitual exige jui- cio, el grado de acuerdo entre los calificadores (quie- nes emiten el juicio) es crucial. Si hay un acuerdo deficiecte entre los calificadores, entonces no se des- prwideráa puntuaciones significativas de la prueba. Por supuesto. la confiabilidad entre calificadores no establece la validez de las puntuaciones. ni siquiera otros tipos de codabilidad. por ejemplo. la confia- bilidad test-retest. Sin embargo, cuando nc-hay con- fiabilidad entre calificadores todo lo demás se pierde; cabe resaltar que la confiabilidad entre calificadores es un problema especial de los reactivos de construc- ción de respuesta.

Concebir un esquema para calificar reactivos es un desafío aún mayor, las modalidades de los esque- mas varían mucho; por tal razón, no es factible ofre- cer aquí una lista completa; no obstante. se verán .algunos ejemplos del campo de las pniebas de apm- vahamiento para iuego volver la atención hacia las pruebas de personalidad. -... , Se han desarrollado .varios métodos diferentes para calificar los ensayos. Una distinción comh es entre la calificación hoiística y*la analítica. En la hoiística, el lector -la persona que califica el ensa- yo- se forma un juicio hoíístico (ofrecer una mejor explicación, el término definido no debe entrar en la definición) general sobre la calidad del ensayo; la pun- tuación asignada al ensayo refleja ese juicio general. La escala de calificación puede tener cualquier cantidad de puntos, 14 , 1-10 o 1-100 y la lectura suele reali- zarse con rapidez, sin correcciones o anotaciones es- critas en el documento. ¿Qué calidad del ensayo se califica? Esto depende de la aplicación de que se trate: el ensayo puede calificarse en términos de la calidad de la exptesión escrita en una prueba de composición en inglés o de los conocimientos sobre la materia en el caso de una prueba de historia. La característica fundamental de la calificación holfstica consiste en que sólo hay una calificación general sobre la calidad total del ensayo.

En la @ificación &tiai el nkrno ensayo se valora en varias dfitiensioner diferentes y exige que se: especifique con antelación las dimensiones impom- tes de la calidad del ensayo. Las calificaciones que se dan por separado a estas dimensiones puede realizarlas el mismo evaluador u otros diferentes. uno por ca&, dimensión. El ensayo de composición en inglés, por? ejemplo. podría calificarse por separado en función de 1 a) la corrección gramatical, b) la organización y c) el' uso de vocabulario; el de historia quizá se evalúe por ' separado, en función del uso de hechos hist6ricos;b{ identificación de los principaies temas y la calidad dc?

. la rtdaccih. Desde la óptica de la medición, la caIiíi-jj cación analítica supone que hay cierta indepen1encia-j significativa entre los rasgos especificados en este quema de calificación pero, con frecuencia, tal in pendencia parece estar ausente, como lo señalan correlaciones tan elevadas en@ las escalas esquemas anaiíticos. Antes de adoptar un calificación analítica, es necesario establecer cierto do de independencia en@ las d a s . ! c. Otro método creado .para medir. la

redacción es la caliñcaaón de rasgo p considera que cada ej&cicio escrito tiene una minada findidad.el grado en que un producto es logra esa finalidad es su rasgo primario. La tarea pq- a Ma consistir en escribir una carta en la que se solicita cierto modelo de videojuego: una carta redactada para este fin quizá lleve faltas de ortografía y enunciados' i incompletos, pero si el pedido logra despacharse conj base en la carta, ésta es entonces exitosa; empero, unai carta elegantemente redactada, en la que no se espe-4 cifica el modelo deseado N la dirección a la que debe* enviarse el artículo resulta fallida. 11

5 La calificaci6n del rasgo primario se creó en sus orige ap wmo prueba de habilidad de redacci6n en la Natio Assessrnent of Educational Progress. que se describe I la p. 465; el m6todo luego se amplio a algunos programas 4 de evaluaci6n psicométtica estatales y otras aplicacio- 4

Elaboración de pruebas y análisis de reactivos 165

Un último mdtodo para calificar los ensayos es el &madeguntos. Aquí hay ciertos puntos que de- .w-i%%iW en una respuesta "perfecta". El califica- &tan solo determina la presencia o ausencia de cada punto. El caso más sencillo del sistema de puntos es una prueba de memoria pura, por ejemplo, "Enuncia 10s 10 mandamientos" y se concede un punto por cada mandamiento. Desde luego, incluso en el sistema de puntos, salvo en el caso de los ejemp!os más triviales, es necesario el juicio del calificador. ¿"Ir a la iglesia los domingos" califica acaso como respuesta correcta aei tercer mandamiento? ¿Los mandamientos deben darse en el orden tradicional? F- Los diversas métodos que hay para calificar los msayos tambitn se aplican a diversas evduaciones -de productos, de hecho, los ensayos son solo un tipo dc producto. Los métodos se aplican a las evaluacio- aes de desempeño de obras arh'sticas, proyectos de

: 'cíaicias, la habilidad para hablar en público y mu- :ctios otros productos. Para calificar un portafolio debe

nominados sistemas de calificación automatizada- para calificar la construcción de respuestas. Ahora bien. no debe confundirse la calificación automatiza- da con la simple calificación mecánica de respuestas a reactivos deqxión miiltiple en forma de "burbuja". La calificación automatizada, según el desarrollo que ha tenido el tdrmino en la bibliografía. supone el de-

"Simane u& decisión no sólo sobre el &todo & cali-

alas últimas, . , i r

rz Se ha insistido ya varias veces en que calificar -bs reactivos de constnicción de =puesta exige jui-

Cuadro 6-7. Ejemplos de categorías para calificar las respuestas de "ublcaclón" a una tarjeta del Rorschach

-&kkmhe la ub'icación en la ta jeta utilizada como punto de referencia para la respuesta:

Toda la mancha de tinta usada para brmular la respuesta

Detalle común Una parte bien definida que se ve comúnmente

Se utiliza una parte inusual

Respuecta definida por un espacio en Manco

/ - - - - - <-- - - -

sarro110 de programas de cómputo complejos que si- mulan el proceso de aplicación del juicio humano. a los reactivos de respuesta libre. Así. en un proyecto se aplicaron sistemas de calificación automatizada para una evaluación del desempeño de habilidades para el manejo de pacientes de un grupo de médicos (Clauser, Swanson. Clyman. 1999). y en otro se aplicó un siste- ma de calificación automatizada para evaluar la res-

.puestas de us grupo de arquitectos a un problema arqriitrx-~íiiiice cn~: fumñto dc ic;stnicción de res- puesta (Williamson, Bgjar, Hone, 1999). Uno de los primeros trabajos que siguieron estos lineamientos fueron las calificaciones generadas por computadora de Ellis Page para evaluar la calidad de la redacción manifestada en los ensayos. Wresch (1993) ofrece un recuento históricode estos esfuerzos, para una reseña semipopular de la obra actual de Page con el Pmyect ESsay Gmde (PEG), véase Page y Petersen (1995). El interés fundamental en todos estos proyectos es de- terminar si el sistema automatizado se aproxima al juicio humano especializado. En el futuro próximo, tal vez surjan desarrollos importantes en los sistemas de &cación automatizada.

En el campo de las pruebas de personalidad, las tdcnicas proyectivas ofrecen ejemplos clásicos de reactivos de cpxtnicción de respuesta. En el capítulo 13, se expondrán las técnicas proyectivas en forma más sistemática, aquí sólo se ilustran algunas de las técnicas que se emplean para calificarlas.

Los mCtodos comunes para calificar el Rorschach se basan en la espcdlcacibn de categorías, contar la cantidad de respuestas que entran en esas categorías y luego formar m n e s entre estos recuentos. En el cua- dro 6-7, aparece una categoría que se utiliza de ma- nera común: la ubicación de la tajeta utilizada como punto de referencia para la =puesta. El calificador (muy a menudo el chico que aplicó la prueba) clasi- fica cada respuesta a cada tajeta según estas catego- rías. El esquema conceptual aquí consiste en: a) la

lista de las categorías, b) la noción de conteo de enun- ciados y c) la formación de razones. Por supuesto, corresponde a los estudios de validez determinar si alguna de estas razones se relaciona con característi- cas de personalidad o condiciones patológicas.

El Rotter Incomplete Sentences Blank (RISB; Formulario de Frases Incompletas de Rotter) (Rotter, Lah, Rafferty, 1992) constituye otro ejemplo de es- quema conceptual para calificar una prueba proyectiva. El RISB consiste en 40 enunciados incompletos, si- milares a los que aparecen en el cuadro ó-ó. ¿Qué se hace con las respuestas a esos reactivos? Cada res- puesta se evalúa en una escala de seis puntos para , determinar con ello el grado de iiiadaptaci6n-mani- ,

fiesto, después, las calificaciones a los 40 reactivos se suman p& generar una puntuación total de adapta- ción. El manual del RISB da instnicciones específi- cas respecto de los indicadores de adaptación o inadaptación, por tanto, el esquema conceptual con- siste e? considerar las respuestas en tCrminos de indi- caciones de adaptación, calificar las respuestas en una escala numérica simple y luego sumar e& califica- ciones para obtener una puntuación total.

fl RISB se califica en hnci6n del grado de inadaptaci61-1 que indican las respuestas. ¿Imagina usted algún otro esquema conceptual que pudiera utilizarse para calificarlas?

En algunas aplicaciones del campo de la personali- daá, los reactivos de constnicción de respuesta no se califican de manera formal. Las respuestas se consi- deran simplemente puntos de partida para conversa- ciones entx ciínico y paciente, o para dar al clínico ideas sobre temas que es factible explorar con mayor detalle. Alln así, las aplicaciones más frecuentes su- ponen una calificación f o d . Los procedimientos de calificación pueden ser muy sencillos o muy elabora- dos. La característica medular de estos procedimien- tos consiste en codificar los elementos de las respuestas en relación con alguna dimensión bien definida.

El manual de la prueba desempeña una función esencial a fin de garantizar que los reactivos de cons- trucción de respuesta generen puntuaciones signifi- cativas, pues debe especificar con toda claridad quC tipo de capacitación se requiere para calificar los reactivos. TambiCn es preciso que explique los funda- mentos para la calificación de los reactivos. Debe oúe- cer ejemplos de la aplicación de los fundamentos y dar cuenta de los resultados de los estudios de confia- bilidad entre calificadores.

VENTAJAS Y DESVENTAJAS DE LOS REACTIVOS DE SELECCI~N - Y DE CONSTRUCCI~N DE RESPUESTA 1

Los méritos relativos de los reactivos de selección constnicción de respuesta se han refutado de man vehemente, tanto en los estudios sobre picome como en los medios de comunicación públicos. aquí un resumen de los aspectos principales de e argumentos. Al analizar los "pros y contras" de reactivos de selección de respuesta en comparac con los de construcción de respuesta, advierta ro que esta distinción en los formatos de respu es igual a la que existe entre pruebas de aplic grupos y de aplicación individual. Es cierto que formato de selección de respuesta resulta caracte co de las pruebas que se administran a g cualquier prueba que se aplique a un gm puede hacerse en forma individual. Aunque en chas evaluaciones de aplicación individual se e el formato de constnicción de respuesta, posible utilizar este formato en las pruebas d a grupos. Por ejemplo, las de ensayo pu emplearse en grupos grandes; hasta las pm proyectivas, como la TAT, son susceptibles de sa ministradas a grupos, siempre que las respuestas "historia" sean por escrito y no verbales.

Los reactivos de se1 tres principales ventajas: la p de la calificación. Dado que la o ningGn juicio, se elimina una tes de varianza inestable. fiadores o enm jueces es en esencia perfecta caso de los reactivos de selección de resm comparación, la confiabilidad entre caliñ los reactivos de constnicción de respuesta q un problema sustancial. Esta p confiabilidad fue el esthulo para el primeras versiones de de aprovechamiento

sane (en realidad, no había máquinas las pruebas en ese entonces). múltiple se convirtió en el formato preferido que generaba puntuaciones m construcción de respuesta. de los factores que condujeron al desarrollo primeras pruebas de aprov

puede responder por lo selección de respuesta q ta. Por ejemplo, en 20

Elahoracih de pruebas y análisis de reactivos 167

facilidad completar 30 reactivos de vocabulario ción múltiple, pero sólo 10 en for- ión de respuesta; en una pmeba de

apve=hamiento, en 20 minutos una persona podría

ventajas mencionadas tam- on la validez, debido a la relación

entre confiabilidad y validez. ~a tercera ventaja de los reactivos de selección

sta es la eficacia de la calificaci6n, un em- 4 - 2 : CS- ple& o un escáner electrónico pueden cdif - ,,, reactivos de manera veloz. Esta ventaja fue el

estímulo para el desarrollo de las primeras capacidad mental y personalidad aplica-

nte la Primera Guerra Mundial. Observe que este factor es independiente de la confia- bilidad del calificador.

En el caso de los r d v o s de construcción de =puesta. suelen mencionarse tres ventajas: una es que permiten una observad611 m8s rencilla del com- portamiento y los procesos al d i z a r la prueba. En cierto sentido. esto se relaciona más con la modalidad &aplicación (individual en lugar de gmpal) que con cl formato de respuesta. Sin embargo. el formato de constnicción de respuesta facilita observar en el exa- minado su motivación. ansiedad, forma de abordar los problemas y otros, en formas que los reactivos de se-

probablemente tal vez nunca selección de respuesta. Desde

nencia de este argumento depende de eta sea la pmeba de selección de res-

W t a pues si en realidad lo es, por definición debe ;gULT a la luz toda la información importante. La pre- sinta es si tales pmebas son, de hecho, completas en nianto a la medición que hacen de la personalidad. '. En el campo de las pmebas de aprovechamiento,

ación automatizados probablemente influirán en for-

ma significativa en las evaluaciones futuras, sobre las ventajas y desventajas relativas de los reactivos de selección y de consirucción de respuesta.

SUGERENCIAS PARA REDACTAR LOS REACTIWS DE SELECCIÓN DE RESPUESTA

Hay numerosas listas de sagerencias para redactar los reactivos de selección de respuesta, sobre todo los de opción múltiple de las pruebas de aprovechamiento. Haladyna y Downing (1989a, 1989b) prepararon una taxonomía de estas reglas, conocidas como reglas para !a od~cI6r i de wctivos. mvgidas de un estudio de 46 libros de texto y fuentes similares; tiempo desputs, Haladyna (1994, 1999) dedicó todo un libro a la ela- boración de estas reglas e investigaciones sobre su validez. La edición actual de esta obra es con mucho la mejor fuente de momendaciones sobre cómo re- dactar reactivos de selección de respuesta y si las su- gerencias marcan alguna diferencia en cuanto a la calidad de los mctivos; cualquiera que necesite ayu- da para'dactar reactivos de selección de respuesta debería consultar este libro. En el cuadro 6-8 se p m porciona la lista de Haladyna (1999, p. 76). eUa seña- 16 "Quienes reüactcn reactivos deberían aplicar estas reglas juiciosa y no rígidamente. ya que la autentici- dad de algunas d i c e s al parecer aún S cuestio- nable?. De hecho. algunos autores concluyen sus listas de reglas pan la redacción de reactivos con el siguiente precepto: ignoren cualquiera de estas reglas cuando parezca haber buenas razones pan hacerlo.

La mayor parte de las reglas que aparece en el cuzdro fj-8 se explican solas, algunas se ilustrarán con este ejemplo de reactivo:

La validez de la prueba

A. Es la característica aislada más importante de una pmeba.

B. Determina de una sola manera. C. Es lo mismo que la confiabilidad. D. Todas las anteriores.

Este reactivo infringe varias de las reglas: la 15, en el sentido de que carece del contenido suficiente; la 24, ya que la respuesta cofiecta (A) destaca por su extensión; la 25, al incluir la opción D. Si alguien puede determinar que sólo una de las opciones es incorrecta o falsa, enton- ces "todo lo anterior" puede eliminarse como posibii- dad. El m t i v o tambitn infringe la regla 27c, ya que la opción B no completa un enunciado gramaticalmente correcto, de modo que no puede ser la opción correcta, aun cuando el examinado tal vez no sepa si la validez se determina o no de una sola manen

168 Pruebas psicoló~icns. Unc~ irlrroduc.%rl prtjcricc~ f Cal>ítul~ 6) : \

Cuadro 6-8. Directrices para la redacción de reactivos de selección de respuesta

Consideraciones sobre el contenido

1. Basar cada reactivo en contenido especifico y en un tipo de comportamiento mental.

2. Hacer que el contenido especifico de los reactivos se mantenga independiente uno de otro.

3. Evitar información demasiado especifica o muy general.

4. Enfocar cada reactivo en un solo comportamiento y no en una serie de ellos.

5. Evitar los reactivos fundados en opiniones.

6. Eludir los reactivos engañosos.

, . Consideraciones sobre el formato

7. Utilizar los formatos recomendados en el capitulo 3; evadir los formatos de Verdadero o Falso y los formatos de opción' multiple complejos.

A k r m i r el reactivo en posicibn vertica! y no horizontal. - .. / i 5

Conslderaclones sobre el estilo

9. Editar y probar todos los reactiws. 10. Hacer que el nivel de vocabulario mantenga su sencillez en funcibn del grupo de estudiantes que se someted a

prueba. ,d 11. Emplear correctamente la gramática, puntuacibn. ortografía y las mayljsculas. 1 ,q 12. Reducir al mlnimo la cantidad de lectura en cada rsctivo.

Redacclón del reactivo

13. Utilizar una pregunta o un enunciado parcial en la interrogante con que se abre el reacüvo. 14. Asegurarse de que las instrucciones en la interrogante del reactivo sean muy claras.

15. Incluir la idea central en la interrogante del reactivo y no en las opdones.

16. Evitar el lucimiento (la verúorrea excesiva).

17. Formular la interrogante del reactivo en forma positiva, soslayar las formas negativas como NO y EXCEPTO. '

Redacclón de las opclones

18. Utilizar tantas opciones adecuadas como sea posible, aunque tres parece ser el limite natural.

19. Cerciorarse de que sólo una de estas opciones este en la respuesta correcía. 20. Variar la ubicación de la respuesta correcta en funcibn de la cantidad de opciones.

21. Colocar las opciones en orden lógico o numBrico.

22. Mantener independientes las opciones, Bstas no deben traslaparse.

23. Mantener la homogeneidad en el contenido de las opciones.

24. Conserve la extensibn de las opciones casi del mismo tamah.

25. Evitar el uso de 'Ninguna de las anteriores", Todas las eriteriores" o 'No s6".

26. Plantear las opciones en forma positiva; evitar formas negativas como NO.

27. Prescinda de dar indicios sobre la respuesta correcta, como:

a. Determinantes especlficos que incluyan 'siempre', 'nunca', 'completamentem y 'absolutamente".

b. Asociaciones sonoras, opciones idBnticas o que se parezcan a las palabras de la interrogante del reactivo.

c. Inconsistencias gramaticales que den indicios sobre la opcibn correcta. a quien se somete a la prueba.

d. Opciones correctas obvias.

e. Pares o tercias de opciones que den indicios sobre la opcibn conecta a quien se somete a la prueba. , f. Opciones que con claridad son absurdas y ridlculas.

28. Hacer que todos los distractores sean wroslmiles.

29. Utilizar los errores comunes de los estudiantes, para redactar los distractores.

30. Evitar las opciones graciosas.

Fuente: Haladyna (1 999, p. ii). 3 ,4

NO deseo inventar otra lista más de reglas pan la redacción de reactivos, pero sí afirmo que casi todas las , ,$as existentes se reducen a estas tres: elaborar 8

el conteaido, no revelar la respuesta co- rrecta, y mantener la sencillez y la claridad Además,

dos primeras se limitan a las pruebas de capacidad ,provechamiento, lo que deja sólo la tercera para las

Yniebas P de personalidad, intereses y actitudes.

SUGERENCIAS PARA REDACTAR REACTIVOS DE CONSTRUCCI~N DE RESPUESTA

Como ya se señaió, ios libros de texto y h s artículos llenos de sugerencias sobre cómo formular los

reactivos de selección de respuesta. Sin embargo, las ,ugerencias para redactar reactivos de construcción de respuesta son más limitadas; tal vez la misma na- turaleza abierta de estos reactivos dificulte la formu-

, lación de recomendaciones específicas. 'Resulta curioso que el primer atisbo de recomendación que dan casi todos los elaboradores de pruebas experimen- tados consiste en tratar de evitar los reactivos de cons- wccióíi de respuesta y utilizar, en cambio, los de selección de respuesta. Dicho lo cual, se ofrecen las recomendaciones siguientes sobre cómo preparar los rcactivos de construcción de respuesta.

- 1) Asegúrese que la tarea sea clara. <,Con los reactivos de selección de respuesta, la labor del examinado se esclarece al considerar las posi-

- bles respuestas. Tal orientación está ausente en el reactivo de construcción de respuesta, por tan- to, se necesita un mayor cuidado para formular y

v"!::~ aclarar las instrucciones de estos ~eactivos. w 2) Especifique el sistema de calificación, cuan-

do el ~ c t i v o ate preparado^ Una prá~tica común en el formato de construcción de res- puesta consiste en preparar el reactivo, aplicar-

' lo y suponer que el mktodo de calificación se y aclarará posteriormente. Esta estrategia es una

invitación al desastre psicomCtrico. La forma en que se cuantificará el reactivo, de preferencia, con muestras de respuesta,'debe ser clara antes de aplicar el reactivo. Esto aplica al margen de la generalidad de la respuesta y es igual de im-

5,: . portante para calificar los reactivos que consis- ten en llenar espacios en blanco, como para en- sayos largos, evaluaciones de desempeño o t k - nicas pmyectivas. - utilizar una cantidad suficiente de reactivos. a

Con los reactivos de construcción de respuesta 5% existe la tendencia a consumir todo el tiempo

a de evaluación disponible en unos cuantos reactivos, tal vez sólo en uno. La confiabilidad

y validez de la medición por lo general se satis- facen mejor al incluir más reactivos. Si sólo hay uno y, por alguna razón, el examinado no lo entiende o "toma la vía equivocada". no hay forma de contrarrestar la situación con respues- tas a otros reactivos. Aunque el formato de cons- truc_ción-.de Lespuesta suele permitir mencg reactivos que el formato de selección de res- puesta, el especialista debe tender a mas y no a menos reactivos al utilizar reactivos de cons- trucción de respuesta.

CONSIDERACIONES PRACTICAS PARA REDACTAR LOS REACTIVOS

Aquí se consideran algunos asuntos prácticos sobre la redacción de reactivos para las pruebas. Si el investiga- dor está preparando un conjunto de reactivos de prue- ba, ¿cuántos deben redactarse? No hay una respuesta definitiva a esta pregunta, pues depende en parte de que se tomen las decisiones adecuadas enia etapa de dise- ño preliminar, por ejemplo, sobre el tipo de reactivo apmpiado que se emplead e investigar de modo con- cienzudo el área que se evaiuará. La respuesta depende tambidn de que se haga una labor razonable de prueba informal, para asegurarse de que funcionen los pmtoti- pos de los reactivos buscados. Con estas consideracio- nes en mente, una regla práctica consiste en preparar entre 2 y 3 veces más reactivos de los necesarios para la prueba final. Así que, si la prueba final contará con 50 reactivos, uno debería preparar entre 100 y 150 para probarlos. Considere las sisientes desviaciones extre- mas a esta regla práctica: si la prueba final tendrá 50 reactivos y sólo se someten a prueba 55, es casi seguro que el análisis de los reactivos revele más de 5 reactivos con características indeseables, si la perspectiva es des- echar s610 5 reactivos, se verá obligado a incluir en la prueba final algunos que no sean muy buenos. En el extremo opuesto, si prepara 500 reactivos para probar- los, en primer lugar, evidentemente, elaborar 500 reac- tivos sobre casi cualquier tema es una tarea difícil, pero más importante aiín. si va a elegir 50 reactivos de una reserva de 500, es muy probable que el especialista apro- veche algunos factores fortuitos que no sobrevivan a un proceso de validación cruzada (véase más adelante. bajo el subdtuío Validación cruzada y disminución de la validez); si se requiere probar 500 reactivos para ob- tener 50 útiles, probablemente sea necesario recon- siderar la forma en que se está abordando la prueba.

En los principales proyectos de elaboración de prue- bas, una vez que se han redactado los reactivos, se

. . 170 Pruebas psicológicas. Una inrroduccron pruciicu .. .

,.", ".."", 1

someten a una revisión desde varias perspectivas. Pri- mero se revisan en función de su claridad. corrección gramatical y conformidad con las reglas para la re- dacción de reactivos, ya expuestas.zEn segundo lugar, en el caso de los reactivos de las pruebas de aprove- , chamiento, se hace una revisión de la corrección del- contenido (estas revisiones las realizan expertos en el campo temático de que se trate).

En tercer lugar, en los últimos años se ha vuelta una costumbre revisar los reactivos en busca de posip bles sesgos de gCnero. raciales o étnicos, revisioms que por lo general son realizadas por individuos que representan a los grupos de referencia. La cuestión es si algo en el reactivo pe judica o es injusto con algún miembro del grupo, por "injusto" se entiende que los integrantes del grupo quizá respondan de manera in- iid2CüiAi. r.3 porque tengan un nivel bajo en el rasgo que se mide, sino por su pertenencia al grupo. Si se . sospecha que un reactivo afecta de manera no equita- tiva el desempeño en la prueba. la tendencia común ' es eliminarlo de la reserva, incluso antes de probarlo. Por ejemplo, suponga que la mayor parte de los reactivos preparados para una pr~eba de, lectura abor- da temas de un deporte predominantemente masculi- no. como el fútbol americano, en la cual se incluyen párrafos sobre formaciones de defensa, bloqueos y la pausa de los dos minutos. Las chicas podrían obtener una calificación menor en la prueba, no porque ten- gan una capacidad de lectura deficiente, sino porque no han pasado las tardes de los sabados y los domin- gos escuchando cómo estos temas se analizan de ma- nera interminable. Tales reactivos deben eliminarse o quizá equilibrarse con otros que operen en sentido contrario. En secciones ulteriores de este capítulo, se abordan algunos mCtodos estadísticos que sirven para examinar este mismo tema

Ésta es una de las etapas mciales en la elaboración de las pruebas, pues conlleva el análisis de los datos obtenidos al someter a prueba los reactivos. Los reac- tivos se eligen para su inclusión en la prueba final con base en este análisis, el cual consiste en realidad en tres procesos muy relacionados: prueba de los reac- tivos, análisis estadístico y selección de reactivos. En esta sección se analiza cada uno de estos procesos.

¿Por quC es importante el análisis de reactivos? Como ya se señaló, la gran mayoría de las pruebas educativas y psicológicas consta de un conjunto de reactivos individuales. Los reactivos de las pruebas

son como los bloques de r i i ia coii.\trucción, los esk. cialistas controlan las características de una prueba al controlar los reactivos que la conforman. Si se desea una prueba sencilla, se recurre a reactivos fáciles; si se quiere una que tenga una confiabilidad de consis. tencia interna elevada, se emplean reactivos que esten muy correlacionados. El análisis de reactivos es conjunto de procedimientos que permiten ejercer ese control. Además, en virtud de que las características de los reactivos determinan características importan. tes de una prueba. los manuales de las pruebas con frecuencia aluden a los resultados de este análisis; por tanto. para leer con conocimiento de causa los m& nuales de las pruebas, es preciso familiarizarse con los conceptos y las técnicas del análisis de reactivos.

Consulte la revisión de alguna prueba en cualquier del Mental Measurement Yearbook (Anuario de Mediciom Mentales) del Instituto Buros. ya sea en forma electrónicao impresa; explore la revisión de la prueba para ver lo que rt dice sobre el proceso de elaboración del instrumento; e& atento en especial a los estadisticos de los reactivos. ¿a$ les se mencionan? ;di . . . . . . . . . . . . . . . . . . .-. . . . ..ld

:9 4

PRUEBA DE REACTIVOS 4 I

Hay dos etapas en la pnieba de reactivos, una

basan en la prueba formal. Sin embargo zar ésta, se acostumbra y es sensato iie

y 10 individuos similares a aquellos a los tende administrar la prueba. A menudo, los

muestrat cuando tiwS clá ción de 1 quizá er

Ha: ba de re miento5 y de an zar un t

{ d i s i ' ponden

a man a 1

para a! 6 dadde

dio int análisi

unas c