validacion de la prueba de j. c. raven matrices
TRANSCRIPT
VALIDACION DE LA PRUEBA DE J. C. RAVENMATRICES PROGRESIVAS Y DE LA PRUEBA ACE
PARA ESTUDIANTES DE PRIMER At'iO UNIVERSITARIOFORMA '47
EL PROBLEMA
EI presente estudio es apenas unaparte del plan para elaborar un equi-po de pruebas psicologicas que per-mita una seleccion eficiente de estu-diantes que aspiren al primer afio delas distintas Facultades y Departa-mentos de la Universidad Nacional.
Es de todos conocido el grave pro-blema que se Ie presenta cada afio aesta Universidad por el exceso de de-manda a sus diferentes facultades, yla falta de cupos en algunas de ellas.
Otro problema anual es el referen-te al numero de fracasos entre losestudiantes admitidos. No exagera-mos al decir que aproximadamenteun 50 por ciento de los estudiantes,no obtiene exito en los estudios.
La razon, no la sabemos. Pero po-demos inferir que si se usara otro sis-tema de seleccion diferente del ac-tualmente empleado, examenes de co-nocimientos y entrevistas personalesposiblemente no seria tan elevado elmimero de estudiantes que no puedeterminar sus estudios.
Fanny G6mez de Pedraza
Colaboradoras:
Diva M. de Rinc6n
Gladys Montealegre
No es nuestra idea presentar unremedio infalible, sino mas bien in-formar sobre algunas de las pruebasque se han usado en otros paises confines de seleccion universitaria, y es-tudiar la manera de aumentar el in-dice de exitos en los estudiantes deesta universidad.
PROPOSITO:
El proposito de este estudio es:a) La validacion de la Prueba del
Consejo Americano de Educa-cion para Estudiantes de Pri-mer Afio Universitario -For-ma '47, parte cuantitativa.
b) La validacion de la prue ba deJ. C. Raven-Matrices Progresi-vas.
En ambas pruebas se usaran co-mo criterio de eficiencia las califica-ciones finales correspondientes al pri-mer semestre en matematicas, en lasfacultades de -Ingenieria y Arquitec-tura de la Universidad Nacional, A-no de 1960.
--129 -
REVISION DE ALGUNOSCONCEPTOS SOBRE VALIDEZ
Que es Validez?La validez de una prueba indica 10
que sus puntajes miden y predicen.Generalmente el grado de validez seexpresa en forma de coeficiente decorrelacion, Cuando se usa para pre-decir la ejecucion en cierta situacionvital, la validez se describe en termi-nos de correlacion entre la pruebapredictora y cierta media de eficien-cia en esa situacion.
Guilford (4, pg 398) dice refirien-dose a la validez:
" ... Un puntaje es valido para pre-decir algo con 10 que se relaciona,donde "Algo" no incluye el puntajeen si, ya que la auto-predicci6n tieneque vel' con la confiabilidad. Cuandodos pruebas indican una intercorre-lacion mayor que cero, 10 "que" unomide es identico, a 10 menos en :mrte,a 10 "que" el otro mide.. la varia-cion del factor comun, es pues, la ba-se de la validez".
Evaluaci6n del Criterio de Eficiencia.Medida Criterio 0 Calificaci6n.
Segun Nunnally (5), una califica-cion es una medida en S1. Si un pro-fesor en determinada clase da a unestudiante una nota de 4 0 5, se pue-de decir que el estudiante ha sido f-
valuado, calificado 0 medido en suconocimiento sobre el curso. Cuan-do un patron asciende a su empleado,este ha sido calificado 0 evaluado encuanto a su trabajo. Estos ejemplosy muchos otros, son consideradoscriterios de eficiencia, medida crite-rio 0 calificacion.
Un examen de clase es bueno si esfiel y valido, Cualquier cosa que sehaga para aumentar la confiabilidadde una prueba vale la pena intentar-lao Algunas de las tecnicas que se u-san para mejorar la confiabilidad delos examenes son los siguientes:
a) Calificacion del examen dadopor dos 0 mas profesores.
b) Calificacion doble dada por el
-130-
mismo profesor, obtenida la se-gunda de elIas sin tener encuenta la primera.
c) Presentacion de los examenesobjetivos cuya valoracion se ha-ce con una clave pre-estableci-da.
La validez de un examen de clasese refiere a la representacion del con-texto en otras palabras, que la prue-ba sea una muestra completa de laspreguntas importantes y pertinentesa la materia.
Thorndike (6, pg. 214) afirma:"La Pertinencia es un requisito
fundamental de la medida criterio.Tanto como sea posible, es importan-te que toda la varianza sistematicade la medida criterio sea varianzapertinente. Si la medida criterio po-see una cantidad considerable de va-rianza no casual y que es impertinen-te 0, todavia peor, negativamente re-lacionada con ultimo fin, es posibleque aparentemente los exitosos pro-cedimientos de seleccion se basen en-teramente sobre varianza impertinen-te y no tengan validez real para el findel trabajo. Esto es 10 que pas a ensituaciones de entrenamiento alta- /mente academico, cuando se usan co-mo criterio de exito en algunas situu-ciones no academicas".
La discusion anterior concernien-te ala validez de la medida de crite-rio esta muy relacionada con el pro-blema de este estudio. La medida cri-terio que usamos 0 sea las califica-ciones de matematicas, sin duda con-tiene mucha varianza impertinente.No sabemos si esta varianza es enalgun modo sistematica 0 no.
A pesar de que las calificacionesde materias tomadas como medidascriterio pueden contener varianza im-pertinente 0 no relacionadas al asun-to, se usan en este estudio porque:
1. fueron facHes,2. son mas 0 menos objetivas,3. son pre-requisitos para el ulti-
mo fin de exito academico.
Evaluacion de las Pruebas Predicto-ras 0 Prediciores.La mayor parte de las pruebas
que usan los psicologos son predicto-res. Todos los examenes de aptitudesy los de personalidad son de este fi-po. Su utilidad se extiende a campostan diversos como 1a seleccion y eta-sificacion de individuos en las escue-las, universidades, fuerzas armadas,agencias del gobierno y en 1a indus-tria.
Las pruebas predictoras tienen co-mo fin pronosticar 0 verde antema-no como obrara un individuo ante u-na situacion, 0 ejecutara una tarea;o que calificacion recibira en situa-ciones importantes. '
De acuerdo con Nunnally (5, pg.63):
" ... el termino prediccion se usaen el sentido amplio de expresar re-lac ion funcional de toda clase. Untest se puede usar para "predecir" 10que la gente hizo en el pasado, de lamisma manera que un detective l'PU-ne pruebas para "predecir" quien co-metio un crimen. 'I'ambien los tests seusan para "predecir" como se com-porto la gente siendo nino. Los testsa menudo se usan para predecir unacondicion actual mas que para prede-cir, en su sentido estricto, 0 para vel'de antemano el comportamiento fu-turo. Un ejemplo tipico es una prue-ba para diagnosticar lesion cerebral,El proposito es "predecir" la lesioncerebral y la prueba de la "predic-cion" saldra de minuciosas investi-gaciones fisiologicas".
La Utilidad de las pruebas Predic-torasUna pregunta muy cormm en esta
clase de problemas es "Que tan bue-na es la prueba x?"; y la respuesta esque todo depende de las circunstan-cias. Tomemos este ejemplo:
El mimero de estudiantes que so-licita admision a un establecimiento
-131.-
generalmente es mayor al numeroque va a ser se1eccionado.
NQde seleccionados razon de se-NQde solicitantes lecion.
De los seleccionados, algunos triun-faran y los otros fracasaran,NQde exitos .. .
=razon de exitoNQde seleccionados
La relacion entre estas dos razo-nes es muy importante.
Si la razon de exito es muy gran-de no hay necesidad de' mejorar losprocedimientos de seleccion. Si Ia ra-zon de seleccion es grand ..~, no haynada que pueda hacer una pruebapara mejorar la seleccion.
Una prueba predictora es validapara e1proceso de seleccion en la pro-porcion en quedisminuyen los fraca-sos academicos, 0 en la medida enque permita una ensefianza superioro mas especializada. .
Es muy importante tener presenteque un instrumento es valido para unuso particular y no en sentido gene-ral. El fin es tratar de determinarque tan bueno es un instrumento na-ra predecir cierto criterio 0 medidascriterio, mas que tratar de pro barque el instrumento es en general bue-no.
METODOS Y PROCEDIMIENTOSDescripcum de 108 InstrumentosLa Prueba J. C. Raven -MatricensProgresivas (De ahora en adelanteHamada RAVEN).
Esta prueba mide el "factor g" 0factor general inteligencia. Contiene60 problemas seriados en orden de.dificultad. Las primeras series plan-tean variados problemas de percep-cion estructurada y de educacion derelaciones y las ultimas de educacionde correlatos. No tiene tiempo limite.
Prueba del Consejo Psicoloqico deEducaci6n para estudiantes de Pri-mer Ano Unioersiiario 'Porma'47.
(De ahora en adelante Hamada ACE)Esta prueba contiene 80 puntos di-vididos en tres partes:
Problemas de aritmeticaAnalogias de figurasSeries NumericasCada parte tiene tiempo limite y
algunos problemas de practica.Guilford (1, pg. 291) refiriendose
al ACE, afirma:
"La parte cuantitativa es un con-glomerado factorial. Ademas de me-dir la habilidad numerica mide, talvez, tres clases de razonamiento, co-mo tambien otros facto res en menorgrado. Probablemente selecciona es-tudiantes con buenas habilidades derazonamiento" .
Examen Semestral en Matemdticasde las Facultades de lngenieria yArquitectura.
(De ahora en adelante IlamadoMAT). La nota final de los exame-nes se baso sobre las previas semes-trales y un examen final tipo ensayocon 5 problemas por resolver. Las no-tas van de 0.00 a 5.00. Para facili-tar los computes redujimos los pun-tajes de 00 a 50 y suprimimos el pun-to.
Suje~os y ProcedimientosLos sujetos de experimentacion
fueron estudiantes que cursan su pri-mer afio en las facultades de lngenie-ria y Arquitectura de la UniversidadNacional y en 1960, quienes fueroncitados durante horas de clases engrupos de 30 a 40 y a quienes se lesdieron las instrucciones correspon-dientes a cada una de las pruebas,ACE y RAVEN, de acuerdo con 10expuesto en los respectivos manua-les. El mimero de sujetos se redujoa 74 en Arquitectura y a 84 en lnge-nieria, porque solamente estos teniantodos los datos completos. El RAVENfue administrado a los estudiantes
-132 -
de lngenieria como parte de los exa-menes de ingreso, aunque los resul-tados no se tuvieron en cuenta paraeste fin.
Valoracion de las pruebasSe hizo de acuerdo con 10 expuesto
en los respectivos manuales: Punta-je para ACE =NQ de respuestas co-rrectas. Puntaje para el RAVEN = NQ·de respuestas correctas.
PROCEDIMIENTOSESTADISTICOS
Las tres variables, ACE, RAVEN,y MAT., fueron sometidas al siguien-te analisis estadistico : Promedios,medianas, desviaciones estandar ymedidas de asimetria, Para el calcu-10 de la asimetria usamos la formu-la (2, pg. 99) :
As = (P90 + P10) -P502
A continuacion calculamos el errorestandar de As y comprobamos si lasdistribuciones eran asimetricas 0 no,por medio de la razon critica.
Calculamos el coeficiente de corre- (lac ion de Pearson entre las siguien-tes variables: MAT-RAVEN, MAT-ACE, ACE-RAVEN, para Arquitec-tura y MAT-RAVEN, MAT-ACE-RAVEN para Ingenieria.
Posteriormente sometimos las co-rrelaciones entre las anteriores va-riables a una correlacion multiple, se-paradamente para Ingenieria y Ar-quitectura.
Creimos importante el calculo dela correlacion multiple, ya que nues-tro proposito no es solamente validarprueba por prueba, sino buscar el va-lor predictivo de un equipo de prue-bas de seleecion universitaria. Enlas correlaciones multiples se hizonecesaria una correccion por ser elmimero de sujetos inferior a 100, enambos grupos.
ANALISIS DE LOS RESULTADOS
Descripci6n de los grupos examinados
La descripcion de los grupos -Ar-quitectura e Ingenieria- en las trespruebas: ACE, RAVEN Y MAT, sepresenta en las tablas I y II.En ca-da una de ellas se informa el punta-je maximo en cada prueba, NQ desujetos, promedios (M), medianas(Mdn) , y desviaciones estandar (DS)
TABLA I
Promedios, Medianas, Desviacio-nes Estandar, obtenidos de las distri-buciones del ACE, RAVEN Y MATen 74 estudiantes de Arquitectura enla U. N., 1960.
PRUEBA No Puntaje M Mdn
RAVENACEMAT
74 60 50.54 51.50 4.6874 80 32.60 34.05 10.8074 50 21.32 19.16 9.50
TABLA II
Promedios, Medianas, Desviacio-nes Estandar, obtenidos de las distri-buciones del ACE, RAVEN Y MATen 84 estudiantes de Ingenieria, U. N.1960.
PRUEBA No Puntaje M Mdn
RAVENACEMAT
84 60 50.31 50.86 5.7684 80 39.38 39.77 9.2084 50 29.91 30.29 8.65
Los niveles de importancia paraprobar la normalidad de las distribu-ciones en nuestros ejemplos fueronverificadas, pero de ellos no se da in-forme ya que no fueron significati-vas, a excepcion de la distribucion deMAT en Arquitectura, la cual resultoalgo positivamente asimetrica, Ra-zon Critica = 199 que es significa-tiva al nivel .05 de confianza. Estosresultados nos garantizan el uso a-propiado que hicimos del coeficiente
-133-
Ds
de correlacion de Pearson como tee-nica de validez ya que segun conu-n-ta Guilford (3 pg. 170) :
"Algunos escritores sugieren quesolamente cuando ambas distribucio-nes son normales 0 casi norm ales sesatisfacen por completo los requisi-tos para computar el Pearson r. Enla practica probablemente nadie in-siste en que las distribuciones seannormales".
Muchos autores discuten la norma-lidad de las distribuciones de califi-caciones y de la continuidad de la es-cala, pero en el sistema de notas quese usa en la U. N., en el que se cali-fica de 0.00 a 5.00, es propio asu-mir que generalmente las distribu-ciones son normales y que la variablees continuamente mesurable. Esta esotra razon que nos permite compu-tar el Pearson r.
Datos Estadisticos sabre validez delACEy RAVEN.
La Tabla III eontiene los eoefi-cientes de correlacion Pearson (r),obtenidos entre ACE-MAT y RA-VEN-MAT en Arquitectura e Inge-nieria. La Tabla III incluye ademas,NQ de sujetos en eada grupo, los gra-dos de libertad y los valores corres-pondientes a los niveles .05 y .01 deconfianza.
Ds
TABLA IIICoeficientes de Correlacion Pear-
son obtenidos entre el ACE y MAT YRAVEN Y MAT, en 74 estudiantesde Arquiteetura y 84 estudiantes deIngenieria U. N., 1960.
Nlvel Nlvel
PRUEBAS No r dl .05 .01
ArquitecturaACE-MAT 74 .44 74.2 r.23 r.30RAVEN-MAT 74 .33 74.2 r.23 r.30
IngenieriaACE-MAT 8tRAVEN-MAT 84
.19 84-2 r.22 r.28
.25 84-2 r.22 r.28
El analisis de la Tabla ill nos in-dica que hay una correlaci6n positi-va y muy significativa entre ACE-MAT en Arquitectura. Un coeficien-te de validez de .44 es muy acepta-ble ya sea que se use en seleccion uorientaci6n vocacionaI. (Coeficientesde validez entre .40 y .60 son muyconfiables). La correlaci6n entre es-tas dos variables en Ingenieria, esr = .19; correlaci6n positiva pero nosignificativa. Una raz6n que se nosocurre para explicar esta discrepan-cia entre r =.44 y r= .19 es que lamedida-criterio en Arquitectura esmas fiel y valida que en Ingenieria.En cuanto a los coeficientes de vaIi-dez del RAVEN r=. 33 en Arquitec-tura y r= .25 en Ingenieria, aunquepositivos y significativos son un po-co bajos como indices de validez. Engeneral, los coeficientes de correla-ci6n son mas bajos en Ingenieria queen Arquitectura. Esta diferencia noshace presente la necesidad de una in-vestigaci6n adicional en donde nossea posible investigar mas intima-mente la confiabilidad de la medida-criterio.
Datos sabre las correlacionesmultiples.En la Tabla IV presentamos los
coeficientes de Correlaci6n de Pear-son entre ACE-RAVEN para ambosgrupos, dato necesario para el calcu-10 de las correlaciones multiples.Tambien aparecen los coeficientes decorrelaci6n multiple (R) para Inge-nieria y Arquitectura entre las va-riables: MAT-ACE, RAVEN y la co-rrelaci6n de las correlaciones multi-ples (CR).
TABLA IV
Coeficientes de correlaci6n Pear-son r, Coeficientes de Correlaci6nMultiple y correcci6n de Correlaci6nMultiples Obtenidos de las VariablesMAT-RAVEN, ACE, en 74 estudian-tes de Arquitectura y 84 Estudiantes
de Ingenieria, U. N., 1960.
PRUEBAS N° rArquitecturaACE-RAVEN 74 .37MAT-ACE-RA V. 74
IngenieriaACE-RAVEN 84 .19MAT-ACE-RAV. 84
R cR
.48 .45
.29 .25
Analizando los resultados en Ar-quitectura vemos que cR= .45; por10 tanto deducimos que el RAVEN noaporta nada al poder predictivo delACE,que como ya vimos es de r = .44En Ingenieria, cR = .35, por 10 tantoel ACE no aumenta el coeficiente devalidez del RAVEN, r= .25.
Revisando las correlaciones entreACE-RAVEN en Ingenieria y Arqui-tectura encontramos r= .19 y r= .37respectivamente. Estos resultados in-dican que hasta en un tanto por cien-to, el ACE y el RAVEN estan mi-diendo un mismo factor, que aparecetambien en MAT. EI resto de la va-rianza comun en MAT tiene que me-dirse con otras pruebas que conten-gan otros factores no mesurables enel ACE 0 en el RAVEN. '
En 10 concerniente a los cursos dematematicas parece que usar juntosel ACE y el RAVEN no aumenta elpoder de predicci6n del conjunto, detal suerte que el problema resta endecidir cual de los dos, ACE 0 RA-VEN, es mejor predictor de las cali-ficaciones en matematicas.
Con el fin de resolver el interro-gante anterior, buscamos si la dife-rencia entre ACE y el RAVEN erasignificativa 0 no. En Arquitecturala diferencia fue muy significativaal nivel .01 de confidencia con unaraz6n critica de 4. 64, resultando fa-vorecido el ACE. En Ingenieria la di-ferencia fue significativa al nivel .05con una raz6n critica de 2.40, siendoel favorecido en esta ocasi6n el RA-
-134-
VEN. Por la magnitud de los resul-tados en Arquitectura tal vez no ha-cemos mal en inclinarnos al favordel ACE pero antes de hacer cual-quier afirmaci6n es necesario otro es-tudio de esta indole en que se inclu-yan cursos de matematicas de otrasfacultades.
RESUMEN Y CONCLUSIONES
El prop6sito de este estudio fue elvalidar la prueba ACE para Estu-diantes de Primer Afio Universitarioy la Prueba de J. C. Raven-MatricesProgresivas usando como criterio devaloraci6n las calificaciones en Mate-maticas del primer Semestre. Los su-jetos fueron los estudiantes de Inge-nieria y Arquitectura de la Universi-dad Nacional, afio 1960. Como coefi-cientes de validez se compute el Pear- -son r y los resultados fueron los si-guientes:, r=.44 entre ACE-MAT
-'135 -
r= .33entre RAVEN-MAT en Arqui-tectura; r .19 entre ACE-MAT, r= .25entre RAVEN-MAT en Ingenieria. Acontinuaci6n calculamos las correla-ciones multiples entre las variables:MAT-ACE, RAVEN para los dosgrupos. Estos coeficientes multiplescorregidos fueron: para Arquitectu-ra cR= .45; para Ingenieria cR= .25
Segun estos datos se deduce queno se justifica incluir ambas pruebasen un mismo equipo predictivo de ('-ficiencia en matematicas, ya que eluno no aumenta la validez del otro.El problema es cual de las dos prue-bas, ACE 0 RAVEN, pronostica me-jor el rendimiento en matematicas ?
Como conclusion, nos parece opor-tuno hacer hincapie en el hecho deque debemos extender nuestra inves-tigaci6n a otras facultades y a otrasmaterias universitarias antes de po-der hacer comunicaciones mas defi-nitivas.
,
REFERENCIAS
I. Burso, O. K. (ED). The third mental measu-rements yearbook. New Bruswick, N. J.: Rut-gers University Press, 1949.
2. Garret, H. E. Statistics In PsychOlogy andEducation. New York: Longmans Green, 1953.
3. Guilford, J. P. Fundamental Statistics In Psy-chology and Education. New York: Me GrawHill, 1950.
4. Guilford, J. P. psychometric methods. NewYork: Me Graw Hill, 1959
5. Nunnally, J. C. Tests and Measurements. NewYork: Me Graw Hill, 1959
6. Thorndike, R. L. Personnel selection. New
York: Wiley 1949.
136 -