1

CALIFICACION DE REACTIVOS OBJETIVOS

Una guía para evaluadores educativos

Dr. Agustín Tristán L. 1999

2

Derechos reservados Familia de Programas KALT Mariano Jiménez 1830-A Col. Balcones del Valle 78280 San Luís Potosí, México

3

INDICE

1. Presentación 51.1 Reactivo de calificación dicótoma 51.2 Reactivo de crédito parcial 61.3 Comentarios 7

2. Calificación de reactivos de opción múltiple 9

3. Calificación de los reactivos de

apareamiento o relación de columnas 10

4. Calificación de los reactivos de respuesta

alterna o falso-verdadero 12

5. Calificación de los reactivos de completar 14

6. Calificación de los reactivos de

jerarquización 15

7. Calificación de reactivos de grado de

veracidad 18

8. Calificación de reactivos de necesidad

secuencial 20

9. Ejemplos de aplicación de los diferentes

esquemas de calificación 22

10. Comentarios finales 24

4

5

1. PRESENTACION La elección de un reactivo objetivo que permita medir un producto de aprendizaje o un objetivo específico depende de tres factores:

§ forma de presentar la pregunta § forma de pedir la respuesta § forma de calificar la respuesta

La acertada combinación de los tres factores permitirá que el reactivo o evento de medición corresponda en mayor o menor grado, con el contenido específico de la tabla de validez que rige a un conjunto de reactivos. Los dos primeros factores están ligados con las reglas de redacción de los reactivos objetivos y con las recomendaciones de presentación en un instrumento de evaluación. El último elemento, la forma de calificar, es objeto de este trabajo. En todos los casos de reactivos se toma como base de calificación el 100, para una respuesta correcta y 0 para la incorrecta. Puede elegirse como base la unidad, sin cambios substanciales en la lógica de cálculo de las calificaciones. Se presentan los modelos de calificación de cada tipo de reactivo y al final se incluyen tres ejemplos de calificación de reactivos para aclarar la influencia que ejerce cada esquema de calificación en la nota o calificación que puede asignarse a una misma respuesta del alumno. Los reactivos pueden tener, en principio dos formas básicas de calificación

• Crédito único. Reactivo dicótomo. • Crédito Parcial. Reactivo polítomo o policótomo.

1.1 Reactivo de calificación dicótoma. Se define como crédito único a la forma de calificar que hace referencia a una sola respuesta correcta y un solo valor posible de calificación. Básicamente el crédito único es dicótomo, pudiendo obtenerse calificaciones de 0 y 1 (incorrecto-correcto, error-acierto, etc.), según se parezca la respuesta del alumno a la que proporciona el evaluador. En este tipo de reactivo la calificación se hace por comparación de todo el campo de respuesta que proporcione el evaluador, incluyendo espacios en blanco si es que así se especifica de antemano. El ejemplo típico de reactivo dicótomo es el de opción múltiple, pero puede aplicarse a otros tipos de reactivos cuando sólo se acepta una sola forma de responder correctamente, tales como los de respuesta alterna, relación de columnas, etc. Ejemplo 1) La capital de España es Madrid Cierto ( ) Falso ( ) O bien su forma en opción múltiple ¿ Cuál es la capital de España ? A) Barcelona B) Valencia C) Madrid D) Toledo E) Salamanca

6

En estos casos se puede decir que no hay otra respuesta correcta más que Madrid, lo cual obtiene una calificación de 100%, por lo que las otras respuestas conducirían a una calificación de 0. Ejemplo 2) En el caso de matemáticas se pueden solicitar operaciones o planteamientos analíticos que sólo son ciertos en determinadas condiciones. El volumen de la esfera está dado por la fórmula A) 4/3 Π r3 B) 3/4 Π r2 C) Π r3 D) Π h r2 En este caso la respuesta correcta es la opción A, siendo la que se calificaría con un 100% y las demás serían anuladas. 1.2 Reactivo de crédito parcial Un reactivo de crédito parcial se tiene cuando su forma de calificar permite diversas variantes en la respuesta, admitiéndose respuestas parcialmente correctas, o parcialmente plausibles o aceptables. En este caso el evaluador debe especificar la forma de calificar a la respuesta totalmente correcta, así como las respuestas que pudieran ser aceptables por contener una parte correcta. Se trata en estos reactivos de obtener información de la plausibilidad de la respuesta de la persona, con lo cual se puede "premiar' un acercamiento a la respuesta correcta. Los modelos que se presentan para cada tipo de reactivo hacen referencia a un esquema de calificación para una sola respuesta correcta dada por el redactor del reactivo. Ejemplo 3) Retomando el ejemplo anterior se tendría esta posibilidad ¿ A qué distancia del mar Mediterráneo se encuentra Madrid? A) 540 km B) 475 km C) 320 km D) 250 km E) 100 km Aceptando que la respuesta correcta es la letra B, se puede establecer esta Guía de Calificación

Si la respuesta del alumno es Su calificación es

A 0.7 B 1 C 0.6 D 0.4 E 0

Obsérvese que se considera en este esquema que las respuestas A, C y D merecen ser calificadas con un valor, inferior desde luego a la de la respuesta correcta. El valor asignado en este caso es arbitrario sólo para fines de ejemplo.

7

Ejemplo 4) El volumen de la esfera está dado por la fórmula A) 4/3 Π r3 B) 3/4 Π r2 C) Π r3 D) Π h r2 Aceptando que la respuesta correcta es la letra A, se puede establecer esta Guía de Calificación

Si la respuesta del alumno es su calificación es

A 1 B 0.6 C 0.4 D 0

En este caso se supone que el alumno debe saber que la respuesta correcta está en función del número 7e y de la potencia cúbica del radio, por lo que se decide darle un cierto valor a la respuesta. Mientras que la opción D hace intervenir un parámetro h que no corresponde con los elementos de una esfera. 1.3 Comentarios El uso de una u otra forma de calificar depende de los objetivos que persiga la evaluación, de los propósitos definidos por un programa de estudio, una tabla de validez de contenido o una carta descriptiva. No puede decirse, en este momento, que deben siempre emplearse reactivos de calificación dicótoma o polítoma, sin conocer las necesidades de información que se necesiten en el proceso de evaluación. Si se considera a la evaluación como un proceso (ver Fundamentos de la Evaluación), se sabe que involucra la definición de una escala, la comparación de los sujetos contra ella con objeto de ubicarlos y compararlos. Por último se tiene la retroalimentación o juicio de valor respecto a los sujetos y al instrumento. La evaluación por lo tanto involucra un proceso de medición en su primera parte, proceso que se efectúa por medio de unos instrumentos denominados "reactivos" o "ítems". Un reactivo corresponde con un elemento de información respecto al rasgo de interés asociado a la escala de medición. Se puede hacer la analogía de los reactivos contra vallas en una prueba de salto de altura. Se proponen diversas vallas graduadas a diferentes alturas, por ejemplo a cada 50 cm, y se pide a los sujetos que las salten para identificar la altura máxima que son capaces de saltar. Cada reactivo corresponde con una valla y la altura de éstas equivale a la dificultad del reactivo. En el caso de las vallas se tiene la posibilidad de que el sujeto la salte o no lo haga, o bien que responda correctamente al reactivo o lo falle. Se trata, bajo esta óptica, de eventos de calificación dicótoma. Puede hacerse la analogía con los reactivos de calificación polítoma y las vallas, de este modo

Guía de Calificación

Tipo de salto Calificación Salta la valla 1

Falla el salto hasta por 2. 5 cm 0.8

Falla el salto hasta por 5 cm 0.6 Falla el salto con mas demás

de 5 cm 1

8

En rigor, una persona que obtiene 0.8 se sabe que no alcanzó a saltar la valla, si se le califica en forma dicótoma tendría 0, pero con el crédito parcial se dispone de información que permite saber hasta qué altura llegó en el cumplimiento del logro. Como puede verse, el uso del crédito parcial faculta al evaluador proporcionar una información más completa y facilitar la retroalimentación, con un solo evento o reactivo. Esta ventaja podría inclinar la balanza hacia el uso de los reactivos de crédito parcial que constituyen uno de los reactivos que están mereciendo mucha atención en los medios de la evaluación en los Estados Unidos actualmente. La forma de asignar la calificación en los reactivos de crédito parcial puede hacerse en dos formas posibles - Usando Guía de Calificación - Usando esquema de calificación automatizado La Guía de Calificación es proporcionada por el evaluador y consiste en definir tablas como las presentadas en las páginas anteriores, donde se especifica

§ Respuesta § Valor asignado

El valor asignado debe ser definido por el evaluador en función de la plausibilidad de la respuesta, su cercanía con la respuesta correcta, la calidad del razonamiento involucrado para escogerla, etc. No hay reglas fijas para esta asignación, por lo que el evaluador deberá justificar por qué elige que una respuesta valga 80% y otra 70%. Lo importante en este caso es que se disponga de la Guía para poder calificar de manera objetiva y, en su caso, llegar a consenso con otros evaluadores en los valores de calificación de cada opción o respuesta que emita el sustentante. El número de respuestas aceptables debe ser igualmente definido por ele evaluador; por ejemplo en un reactivo de opción múltiple con una respuesta correcta y 4 distractores, puede establecerse una Guía con 5 posibles respuestas o bien otra Guía con solamente 3 posibles respuestas que merezcan calificación. Esta elección dependerá de la redacción del reactivo, del tipo de conducta solicitado, de la calidad de las opciones empleadas, etc. En los casos en que no se establezca Guía de Respuesta la calificación de los reactivos deberá hacerse por un esquema automatizado, tanto en el caso de reactivos dicótomos como de crédito parcial. Estos esquemas automatizados se basan en hipótesis de trabajo y modelos matemáticos que pueden experimentar diversas variaciones en función de las decisiones de los evaluadores o de las necesidades de las pruebas específicas de una materia dada. A continuación se presenta el esquema de calificación automatizada de diversos tipos de reactivos, tanto en forma dicótoma como con crédito parcial. Los modelos son sugeridos de acuerdo con la experiencia de diversos ambientes de evaluación, pero el lector podrá modificarlos de acuerdo con sus necesidades en caso de considerarlo conveniente.

9

2. Calificación de reactivos de opción múltiple Un reactivo de opción múltiple tiene la forma:

BASE O

ENUNCIADO

OPCIONES

RESPUESTA

Generalmente la respuesta corresponde a una letra o número que identifica la opción correcta, elegida entre un conjunto de opciones igualmente plausibles. La forma de calificación es dicótoma y se expresa: 100 si la respuesta es correcta Calificación = 0 si la respuesta es incorrecta En la mayoría de las veces los reactivos de opción múltiple, como ya se dijo, utilizan una sola letra o número; pero debe observarse que: TODO REACTIVO CUYA CALIFICACION SEA DICOTOMA, INDEPENDIENTEMENTE DEL TAMAÑO O CAMPO DE RESPUESTA, ES UNA FORMA PARTICULAR DE REACTIVO DE OPCION MULTIPLE. Este tipo de reactivo es el que tiene la calificación más rigurosa y puede usarse, en el caso del Programa de Calificación, en un campo de hasta 12 caracteres y una sola respuesta correcta. Ejemplo ¿Qué volumen representa una caja de zapatos que mide 20 x 30 x 20 cm de lado? A) 100 cm3 B) 120 cm3 C) 70 cm3 D) 60 cm3 Si la persona X contesta la opción C su calificación es 0. Si la persona Y contesta la opción B su calificación es 1.

10

3. Calificación de los reactivos de

apareamiento o relación de columnas.

Estos reactivos tienen la forma:

BASE

ENUNCIADOS

OPCIONES DE RESPUESTA

La lista de enunciados debe ser de un tamaño diferente al de lista de opciones de respuesta. Este reactivos se califica como porcentaje de respuestas correctas, siempre y cuando éste sea superior a un nivel de satisfacción mínimo, elegido de antemano en función de las características de la materia, de la población o de las condiciones y usos del instrumento de evaluación

X si X > N Calificación:

0 si X < N

Con X = Opciones correctas x 100% total de opciones

N = nivel mínimo de satisfacción (por ejemplo. 60%, 70%, etc.) Se observa que la calificación no es dicótoma, dependiendo del valor de N. Por ejemplo, si se define el caso en que N = 60%, las notas asignadas estarán en los valores: 0, (60, 100)% (léase: cero e intervalo de 60 a 100%) Este tipo de reactivo tiene menos rigor de calificación que el de opción múltiple, ya que acepta un cierto porcentaje de errores en las respuestas. El nivel mínimo de satisfacción para la Facultad de Ingeniería de la UNAM, por ejemplo, fue inicialmente del 70% en 1978 se bajó al 60% en 1982 hasta llegar al 50%, debido a una reducción en la calidad del estudiantado y a una mayor benevolencia de las autoridades para asignar calificaciones por reactivos. Se sugiere no extender el número de opciones a relacionar más allá de 9. Ejemplo Relacione los autores de la columna izquierda con las obras literarias de la columna derecha. No todos los autores están representados y pueden repetirse.

11

Autores Obras literarias

A) John Milton ( ) Romeo y Julieta

B) William Shakespeare ( ) El cuervo C) Walt Whitman ( ) El sueño de una noche de verano D) Edgar Allan Poe ( ) Annabelle Lee ( ) El paraíso perdido ( ) Aventuras de Arturo Gordon Pym Se asigna como mínimo aceptable un 60% de respuestas correctas Si la persona X responde BDBDAD su calificación es 1 Si la persona Y contesta BCB_ AD su calificación es 0.66 (4 respuestas correctas / 6 opciones) = 0.66, siendo mayor que 0.6 se asigna 0.66 Si la persona Z contesta BCB AC su calificación es 0 (3 respuestas correctas / 6 opciones) = 0.5, siendo menor que 0.6 se queda en 0.

12

4. Calificación de los reactivos de respuesta alterna o falso-verdadero

La forma general de estos reactivos es:

BASE

ENUNCIADOS

RESPUESTAS

Donde las respuestas califican de falso o verdadero al enunciado. Se acostumbra el criterio de calificar como porcentaje de aciertos menos errores, siempre que esta diferencia sea mayor que un nivel de satisfacción mínimo, elegido según se vio en el apartado anterior. Aquí se está considerando al reactivo de respuesta alterna múltiple, es decir, que incluye varias opciones en el conjunto de enunciados. Cuando se trate del reactivo de falso-verdadero simple, que contiene un solo enunciado, puede emplearse el modelo de calificación dicótoma usado con los reactivos de opción múltiple.

X si X > N Calificación:

0 si X < N Con X = aciertos- errores x 100 (%)

total de respuestas N = nivel mínimo de satisfacción (por ejemplo. 60%, 70%, etc.) Este reactivos es mucho más riguroso que el reactivo de apareamiento, ya que reduce las respuestas incorrectas de los aciertos, lo cual representa una gran penalización. Es común usar N=50% para compensar el rigor de la calificación de este tipo de reactivos y usar un máximo de 9 opciones a calificar como falsa o verdadera. Cuando un cuestionario contiene varios reactivos de respuesta alterna simple puede utilizarse el esquema indicado para todo el conjunto, con objeto de reducir la adivinación, no obstante se pierde riqueza en la información para retroalimentar a los estudiantes y se da mayor énfasis al proceso de calificación. Ejemplo ¿Cuáles de las siguientes ciudades pertenecen a España? Señale en el paréntesis con una V si es verdadera o con una F si es falsa. A) Reus B) Cartagena C) Guadalajara D) León E) Fátima

13

Se aceptará la respuesta con un 40% de satisfacción. Si la persona X contesta V F V V F su calificación es 100% Si la persona Y contesta V V V V V su calificación es 0 (3 aciertos - 2 errores) / 5 opciones x 100 = 20%, siendo menor que 40% queda 0 Si la persona Z contesta V F V F F su calificación es 60% (4 aciertos - 1 error) / 5 opciones x 100 = 60%, siendo mayor que 40% queda 60% El evaluador puede analizar el número requerido de opciones y las calificaciones posibles, para poder asignar el nivel mínimo de satisfacción en el reactivo, así como el número más indicado de opciones que deben incluirse.

14

5. Calificación de los reactivos de completar En este caso se tiene el esquema:

BASE O ENUNCIADO ZONA DE RESPUESTA

La diferencia de este reactivo con el de opción múltiple es que la respuesta debe asentarse en una zona de tamaño mayor al de la propia respuesta (en cuanto al número de caracteres). La calificación debe por lo tanto, ignorar los espacios blancos y, para evitar problemas de codificación e interpretación de la escritura, aceptar posibles divergencias con un nivel mínimo de satisfacción fijado de antemano.

X si X > N Calificación:

0 si X < N Con X = respuestas correctas = 100 (% ) zona de respuesta-espacios blancos N= nivel mínimo de satisfacción (por ejemplo. 60%, 70%, etc.) Las calificaciones están en los valores: 0, (N,100)% Un valor sugerido para el nivel mínimo de satisfacción es de un 60%. El número de caracteres puede ser relativamente amplio con las nuevas capacidades que ofrece la computadora personal en ambiente Windows, pero se sugiere no extenderse más allá de unos 30 caracteres. Pueden producirse casos curiosos de calificación con palabras homófonas, sinónimas, etc., mismas que no pueden ser determinadas de forma automatizada y por ello deberán ser tomadas en cuenta en una Guía de Calificación. Ejemplo ¿Qué parte del cuerpo humano se encarga de producir la bilis? Escriba su respuesta:____________________________________ Se acepta un 60% de nivel mínimo de satisfacción. Si la persona X escribe: "Vesícula biliar' su calificación es 100% Si la persona Y escribe : "Vesícula" su calificación es 0% (la palabra vesícula es correcta, pero falta la palabra biliar, se tiene por lo tanto (8 letras correctas)/(14 letras en total) x 100% = 57%, menor que 60% su calificación permanece en 0 Obsérvese que la persona Y pudo haber sido calificada con 57% si se asigna un nivel mínimo de satisfacción del 50%. En el caso del reactivo de completar, el esquema puede hacerse todavía más complejo si se toma en cuenta la posibilidad de faltas de ortografía, como en el caso de que escriba una persona "VECICULA", con lo que tendría una letra incorrecta al usar C en vez de S. Si se hace la calificación por medio de un programa, puede dotarse al mismo de capacidades de aceptación de intercambio de las letras CSZ, BV, etc., con lo cual se penaliza menos a la respuesta del sustentante.

15

6. Calificación de los reactivos de jerarquización La forma básica de este tipo de reactivos es:

BASE

ENUNCIADOS

RESPUESTAS

Las respuestas en este tipo de reactivo corresponde a un conjunto de números o letras que indican el orden en que debe tomarse los enunciados. Para su calificación pueden seguirse dos criterios principales: Criterio 1. Uso obligado de la Guía de Calificación

Xi Calificación:

0 100 si respuesta = patrón 1

90 si respuesta = patrón 2 Con : Xi 80 si respuesta = patrón 3 con M

patrones distintos si respuesta = patrón M

N = nivel mínimo de satisfacción ( p. ej. 60%, 70% etc.) En este primer criterio se define de antemano un cierto número de patrones o modelos de respuesta, siendo el primero la respuesta rigurosamente verdadera y las siguientes contemplan las fallas admisibles en el orden de respuesta; varios patrones pueden tener un mismo valor si se acepta que tienen el mismo grado de corrección. Debe observarse si solo se acepta un modelo o patrón, que el reactivo se vuelve de calificación dicótoma, por lo que pierde riqueza e información y puede ser tratado como el reactivo de tipo opción múltiple. Criterio 2. Algoritmo automático.

X si X > N Calificación:

0 si X < N Con X = puntuaciones (correctas - incorrectas) X 100 Número de casos N = nivel mínimo de satisfacción (p. ej. 60%, 70%, etc.) El número de casos es el número de combinaciones posibles que pueden efectuarse con las opciones o letras a ordenar. Este número es Número de casos = n ! / (2 (n-2) !)

16

Las fórmulas para hacer este cálculo son bastante laboriosas, por lo que se sugiere el uso de computadora. Para los fines de este documento se explicará el procedimiento con un caso particular de un reactivo de 3 opciones a jerarquizar. Ejemplo Supóngase un reactivo cuya respuesta correcta sea la sucesión de letras a b c. Se establece un mínimo de 30% de desempeño. El número total de permutaciones que pueden hacerse con 3 letras es 3 ! = 6. Estos casos son

abc acb bac bca cab cba

Obsérvese que de estos 6 casos solamente se está considerando el caso abc como correcto. Lo que sigue es estimar el "grado de corrección" que tienen las otras permutaciones con base en el orden establecido en la respuesta correcta. Para ello obsérvese que en la respuesta correcta se tiene la secuencia: "a" antes de "b" y "b" antes de "c", por lo tanto "a" antes de "c". Si una respuesta sigue uno de los elementos de esta secuencia, se considera correcta. En caso contrario se considera como "inversión". Las inversiones en este caso son las siguientes: "b" antes de "a" , "c" antes de "b" , "c" antes de "a" Se tienen, por lo tanto, tres ordenamientos directos y tres inversiones. Ahora se debe revisar cada una de las permutaciones presentadas, para identificar el número de ordenamientos directos y de inversiones que se tienen. Así por ejemplo, la respuesta a b c tiene 3 ordenamientos directos y 0 inversiones En cambio la respuesta c b a tiene 0 ordenamientos directos y 3 inversiones Se puede establecer, por lo tanto, la siguiente tabla

permutación ordenamientos directos

total de ordenamientos

directos inversiones total de

inversiones

abc ab, bc , ab 3 0 acb ac, ab 2 cb 1 bac ac, bc 2 ba 1 bca bc 1 bc, ca 2 cab ab 1 ca, cb 2 cba 0 cb, ca , ba 3

Obsérvese que se debe tomar como ordenamiento o inversión independientemente de la "distancia" que se tenga en la cadena de respuesta, lo que interesa es el orden. El número de casos es N= 3 ! /(2 (3-2) !) = 3 Una vez hecho el cálculo se procede a aplicar la fórmula de calificación. Se tienen, por lo tanto, estos resultados

17

permutación total de

ordenamientos directos

total de inversiones

Cálculo de puntuación %

Calificación final oda

abc 3 0 (3-0)/3 x 100 = 100 100 acb 2 1 (2-1)/3 x 100 = 33 33 bac 2 1 (2-1)/3 x 100 = 33 33 bca 1 2 1-2 /3 x 100 = -33 0 cab 1 2 1-2 /3 x 100 = -33 0 cba I 0I 3 - (0-3) /3 x 100 = -100 0

En este ejemplo se presentaron todas las posibles opciones que se generan con 3 letras a ordenar. El número de combinaciones crece con el número de opciones, haciendo laborioso el procedimiento de calificación. En condiciones reales lo que se tiene son las respuestas de los alumnos que deben ser revisadas caso por caso para aplicar el criterio y asignar la calificación. Ejemplo Ordenar a los siguientes animales en función de la longevidad que pueden alcanzar, del que tiene menor vida al más longevo. A) Caballo B) Tortuga C) Ballena D) Delfín E) Cocodrilo Supóngase la respuesta correcta : A D E C B y un mínimo de aceptación del 50% Número de casos =5!/(2 (5-2) !)=120/(2x6)=10 La persona X contesta : ACDEB su calificación es como sigue Ordenamientos correctos: AC, AD, AE, AB, CB, DE, DB, EB Total=8 Inversiones: CD, CE Total = 2 Su calificación será (8 - 2)/10 x 100 = 60% siendo mayor que N=50, se queda 60%

18 La persona Y contesta: ABCDE, su calificación es como sigue Ordenamientos correctos: AB, AC, AD, AE, DE Total = 5 Inversiones: BC, BD, BE, CD, CE Total =5 Su calificación será (5 - 5)/10 x 100 = 0% siendo menor que N=50; se queda 0% Comentarios finales. Este tipo de reactivos es poco usado y, en la gran mayoría de ocasiones, se emplea muy mal. Particularmente la calificación completa con cualquiera de los dos criterios descritos se trata de evitar usando solamente un esquema dicótomo, dando lugar a falsos criterios y graves errores de construcción en el reactivo. Se sugiere limitar a 12 el número de elementos a ordenar, y usar el número admisible de inversiones a algún valor, por ejemplo 3 6 5 como máximo, con N= 50%.

18

7. Calificación de reactivos de grado de veracidad

Estos reactivos tienen el aspecto:

BASE O ENUNCIADO

OPCIONES

RESPUESTA

Se aprecia que su forma es equivalente a la del reactivo de opción múltiple pero la calificación se realiza con un criterio parecido al siguiente: a) Calificación de un enunciado verdadero

Si la persona indica que el enunciado es su calificación es

verdadero 1 no puede decidir 0

falso -1 b) Calificación de un enunciado falso

Si la persona indica que el enunciado es su calificación es

verdadero -1 no puede decidir 0

falso 1 Los valores indicados -1,0,1 etc., son indicativos en este ejemplo, pudiendo decidir el evaluador el uso de otros valores en función de justificaciones de gravedad o importancia en la decisión que adopte el sustentante para dar su respuesta. Por ejemplo, si se considera que el enunciado es verdadero, pero no es grave que el sustentante indique que es falso, pudiera darse un valor de -0.5 en vez de -1. Estos reactivos son poco usados en nuestro medio, salvo algunos exámenes que corresponden con la evaluación de casos clínicos o simuladores médicos. Normalmente se emplean en una batería de reactivos del mismo tipo que permiten tomar un conjunto de decisiones sobre el caso en estudio. Si al término del caso la suma de los puntos obtenidos es negativa, es costumbre asignar el valor de 0, en lugar de conservar un valor negativo que involucra que el sustentante "queda a deber' respuestas, lo cual carece de sentido para la calificación.

19

Ejemplo. ANALICE EL SIGUIENTE CASO. Se presenta una persona para obtener su pasaporte en la oficina de la Secretaría de Relaciones Exteriores. Escriba V si el documento es exigible para el trámite, F si no lo es o I si es indiferente. 1) Contar con una identificación actualizada 2) Tener un pasaporte anterior 3) Presentar 6 fotos 4) Contar con cartilla del Servicio Militar Nacional Tabla de calificación:

Reactivo Respuesta correcta Verdadero Neutro Falso

1 V 1 0 -1 2 I 0 1 0 3 V 1 -.5 -1 4 F -.3 0 1

Si la persona X contesta V I V F, la calificación es 1 , 1 , 1 , 1 y el conjunto vale 4 puntos Si la persona Y contesta V F F V, la calificación es 1, 0, -1,-0.3 y el conjunto vale -0.3, por lo que la calificación queda en 0. Si la persona Z contesta F F V F, la calificación es -1, 0, 1, 1 y el conjunto vale 1. El evaluador deberá tomar en cuenta la combinación de valores que puede asignar al conjunto con objeto de evitar que una persona que contesta todos los reactivos con la letra V, o con la letra F, pueda obtener alguna calificación aprobatoria. Para ello se recomienda disponer de un software especializado para editar este tipo de reactivos, que permita hacer los cálculos pertinentes de diversas opciones -de respuesta, de tal modo que se puedan calibrar los valores de las respuestas a satisfacción de las necesidades de la evaluación o los propósitos indicados en la tabla de validez de contenido del examen.

20

8. Calificación de reactivos de necesidad secuencial

Estos reactivos son del tipo:

BASE O ENUNCIADO

OPCIONES

RESPUESTAS SECUENCIALES

Este reactivo difiere del de jerarquización en que el número de respuestas no pasa de tres casos y que se califica cada respuesta en orden secuencial, de tal modo que si la primera respuesta es correcta se revisa la siguiente: sólo si la segunda es correcta se califica la última. El esquema de necesidad es el siguiente: * Criterio para 3 casos:

100 si respuesta 1 ⇒ respuesta 2 ⇒ respuesta 3 correctas 70 si respuesta 1 ⇒ respuesta 2 ⇒ correctas respuesta 3 incorrecta

Calificación 50 si respuesta 1 correcta, respuesta 2 ⇒ respuesta 3, incorrectas 0 en cualquier otro caso

* Criterio para 2 casos: 100 si respuesta 1 ⇒ respuesta 2, correctas Calificación 50 si respuesta 1, correcta; respuesta 2 incorrecta

0 en cualquier otro caso 1

Este tipo de reactivo prácticamente es desconocido por los evaluadores en nuestro medio, pudiendo ser muy interesante en la solución de problemas de matemáticas, por ejemplo, donde se establece un enunciado o planteamiento, luego se tienen operaciones y finalmente un resultado. Este esquema pudiera ser planteado como problema con varios incisos o sub-reactivos. Ejemplo ¿Cuántos cubos huecos de 0.2 dm pueden construirse con 1 dm2 de lámina? 1) El área total de un cubo de lado b está dado por la fórmula

A) 3b B) b2 C) b3 D) 6b2

21

2) El área total del cubo pedido vale A) 0.24 dm2 B) 0.4 dm2 C) 0.008 dm2 D) 0.6 dm2

3) Por lo tanto, con 1 dm2 de lámina se pueden construir

A) 2 B) 4 C) 10 D) 8

Si la persona X contesta D A B su calificación es 1, 1 , 1 y el caso vale 3 puntos, que se traducen en 100% Si la persona Y contesta D A C su calificación es 1 , 1, 0 y el caso vale 2 puntos que se traducen en 70% Si la persona Z contesta A A C su calificación es 0, 1 , 1 y el caso vale 0 puntos que se traducen en 0 Si la persona W contesta D B B su calificación es 1, 0, 1 y el caso vale 1 punto que se traducen en 50% Para la asignación de los puntajes se empleó el criterio para tres casos. Recuérdese que para la calificación de este tipo de casos se debe ir calificando en orden y deben ser contestados correctamente para seguir adelante. Por ello la persona Z tiene 0 puntos, ya que su primera respuesta es incorrecta, con ello no se califica el resto del caso. Puede preguntarse por qué se asigna 50% si se tiene la primera respuesta correcta, 70% con dos correctas y 100% con las tres, en lugar de asignar por ejemplo 33%, 66% y 100%. El criterio debe ser definido por el evaluador y puede justificarse argumentando que el primer reactivo es fundamental ya que califica el concepto a emplear (la fórmula o el planteamiento), mientras que el reactivo 3 sólo mide un cálculo numérico. Esto sigue muy de cerca el argumento de calificar el procedimiento con mayor valor que las operaciones, argumento muy utilizado en la calificación de los exámenes de matemáticas.

22

9. Ejemplo de aplicación de los

diferentes esquemas de calificación En esta última parte se presentan tres ejemplos donde se califica un mismo reactivo con los diferentes esquemas de calificación mostrados. Puede verse en estos ejemplos que la forma de calificar es independiente de la forma de presentación del reactivo y que, además, el resultado es muy diferente según se emplee cada criterio. Es por ello que la responsabilidad del evaluador implica que pueda decidir acerca del mejor esquema a utilizar para obtener los mejores valores que apoyen la retroalimentación y mejoren la evaluación. Ejemplo 9.1) Considérese el reactivo de formato tipo completar, cuya respuesta correcta está dada en un campo de 8 caracteres, como sigue:

A R T 1 2 3 _ _

Supóngase que va a calificar la respuesta del alumno X: _ A R T _ 1 2 3

y la del alumno Y: A R T 2 3 1

Las formas de calificar se presentan en forma tabular para facilitar su comprensión:

TIPO DE CALIFICACIÓN

CALIFICACIÓN % OBSERVACIONES

ALUMNO X ALUMNO Y ALUMNO X ALUMNO Y OPCION

MULTIPLE 0 9 Respuesta en

posición incorrecta

La respuesta no tiene los

mismos números

APAREAMIENTO 0 62.5 Ningún acierto en posición

5 caracteres correctos de 8

posibles RESPUESTA

ALTERNA 0 0 Ningún acierto

en posición 5 caracteres correctos y 3 incorrectos en

8 posibles COMPLETAR 100 0 Respuesta

correcta sin contar blancos

3 caracteres correctos en 6

espacios JERARQUIZACIÓN 0 93 Respuesta en

el orden 8123 74546

Respuesta en el orden

123 564 78 En el último caso, para el reactivo de jerarquización, se tienen 10 casos incorrectos para el alumno X y 2 incorrectos para el alumno Y, de un total de 28 casos. Se sugiere al lector la verificación de todas las cantidades obtenidas en la tabla con los criterios expuestos.

23

Ejemplo 9.2) Considérese el reactivo de formato tipo ierarquización, cuya respuesta correcta es: 2 3 4 admitiéndose los modelos 60% para 2 4 3 50% para 3 4 2 Y 4 2 3 Supóngase la respuesta del alumno X 2 4 3 y la del alumno y 4 3 2

TIPO DE CALIFICACIÓN

CALIFICACIÓN % OBSERVACIONES

ALUMNO X

ALUMNO Y

ALUMNO X ALUMNO Y

OPCION MULTIPLE

0 0 Respuestas incorrectas por lo menos en un número

Respuestas incorrectas por lo menos en un número

APAREAMIENTO 0 0 Ningún acierto 1 sólo acierto en 3 posibles RESPUESTA

ALTERNA 0 0 Ningún acierto 1 acierto y 2 errores en 3

posibilidades COMPLETAR 0 0 Respuesta incorrecta en dos

números y no hay blancos Respuesta incorrecta en dos números y no hay blancos

JERARQUIZACIÓN 60 0 Modelo 60% Ningún modelo NECESIDAD

SECUENCIAL 50 0 Acierto en la primera cifra Falla en la primera cifra

El reactivo de jerarquización se califica en esta tabla de acuerdo con los modelos de la Guía de Calificación. Si se utiliza la fórmula automatizada que toma en cuenta las permutaciones ordenadas e inversiones, se tendría: ALUMNO X : 33% (2 ordenamientos correctos, 1 inversión) ALUMNO Y : 0% (3 inversiones) de un total de 3 casos Ejemplo 9.3) Por último, considérese el reactivo de formato tipo opción múltiple cuya Respuesta correcta es: 1 2 3 Y supóngase la respuesta del alumno X 1 2 3 Y la del alumno Y 1 3 2 La tabla de calificaciones es la siguiente, con un mínimo de 30% de satisfacción.

TIPO DE CALIFICACIÓN

CALIFICACIÓN % OBSERVACIONES

ALUMNO X

ALUMNO Y

ALUMNO X ALUMNO Y

OPCION MULTIPLE

100 0 Todos aciertos 1 error

APAREAMIENTO 100 33 Todos aciertos 2 correctos de 3 posibilidades

RESPUESTA ALTERNA

100 0 Todos aciertos 1 correcto y 2 errores en 3 opciones

COMPLETAR 100 33 Todos aciertos 2 errores en 3 opciones JERARQUIZACIÓN 100 33 Todos aciertos 2 ordenamientos correctos

en 3 casos posibles NECESIDAD

SECUENCIAL 100 50 Todos aciertos Acierto en la primera opción

y error en las otras

24

10. Comentarios finales En los ejemplos mostrados, cada reactivo de formato específico en cuanto a su presentación, fue calificado con criterios distintos y, como puede verse, cada esquema de calificación conduce a distintos resultados, ajustándose en mayor o en menor medida a las necesidades del evaluador. Los ejemplos muestran además que pueden obtenerse iguales entre varios esquemas para casos particulares de respuestas. Debido a que el algoritmo de cálculo es diferente en cada esquema, no es posible generalizar la forma de calificación para todas las posibles respuestas que emitan los alumnos o sustentantes. Sólo el evaluador puede decidir cuál es el esquema que mejor se acerca a sus necesidades de información y no tomar a la ligera la calificación, ya que de la pertinencia del método elegido se obtendrá información igualmente útil. Muchos evaluadores no se han percatado de las variantes de calificación que se tienen con cada reactivo, calificándolos todos de igual modo, en forma dicótoma. Esta práctica conduce a una calificación incorrecta en muchas ocasiones y, sobre todo, que pierde información valiosa respecto a la forma de respuesta que proporcionó el sustentante. La calificación no es un acto aislado o fatal dentro del proceso de evaluación, sino un elemento obligatorio para realizar una correcta medición. Por lo anterior debe tenerse en cuenta al construir un reactivo que: SEGUN LAS NECESIDADES DE LA EVALUACION, TODO REACTIVO DE FORMA A PUEDE CALIFICARSE SEGUN UN ESQUEMA DE REACTIVO B, DEPENDIENDO DE:

* EL RIGOR REQUERIDO EN LA ASIGNACION DE NOTAS * EL TIPO DE RESPUESTA ESPERADA * LAS CARACTERISTICAS DE LA POBLACION * LOS PROPOSITOS DEL INSTRUMENTO DE EVALUACION

No debe pensarse que por el hecho de redactar un reactivo con una forma dada, su esquema de calificación siempre debe ser automática, siguiendo los esquemas presentados aquí. Estos esquemas sólo son aplicables cuando no se dispone de una Guía de Calificación. De hecho puede decirse que la mejor forma o más recomendable es la que se tiene con una Guía, ya que el evaluador toma las decisiones respecto al valor que asignará a la calificación, puede definir de común acuerdo con otros evaluadores acerca de la pertinencia de los valores asignados a cada una de las respuestas. Cuando se deja a un programa la decisión de asignar calificaciones, puede quedar la duda de la pertinencia de un esquema ante un reactivo dado. El criterio del evaluador es, por lo tanto, insubstituible ante las diversas posibilidades de respuesta que pueden presentarse con los sustentantes. En caso de duda respecto a un esquema de calificación y a su interpretación, conviene que un cuerpo colegiado de evaluadores o jueces establezcan el mejor criterio que deberá seguirse para asignar la calificación. En todos los casos el punto de referencia es la tabla de validez de contenido o carta descriptiva del cuestionario, al cual deberán ajustarse todos los evaluadores, en dicha carta pueden manejarse indicaciones respecto al tipo de reactivo y hasta su forma de interpretar la calificación.