interpretación y uso de los resultados de las pruebas … · la medición del conocimiento tiene...
TRANSCRIPT
Interpretación y uso de los resultados de las pruebas del College Board
Objetivos :
Familiarizar a los usuarios con la interpretación de las pruebas y el uso de los resultados de algunos programas del College Board
PEAU: Programa de Evaluación y Admisión Universitaria
PIENSE: Pruebas de Ingreso y Evaluación para el Nivel Secundario
ELASH: English Language Assessment System for Hispanics
Resumen inicial:
Definiciones de Aptitud y Conocimientos
Contenido y contraste de la Prueba de Aptitud Académica (PAA) y de pruebas de conocimiento
Validez predictiva y validez de construcción lógica: herramientas para interpretación
Interpretación de resultados Significado de las puntuaciones a escala
Medidas de tendencia central
Puntuaciones y su relación con la dificultad de los itemes
Definiciones del Diccionario de la Real Academia Española de la Lengua:
“Cualidad que hace que un objeto sea apto,
adecuado o acomodado para cierto fin.” “Apto: Idóneo, hábil, a propósito para hacer alguna cosa.”
“Capacidad y disposición para el buen
desempeño o ejercicio de un negocio, industria, arte, etc.”
Construcciones Lógicas
• Pruebas de Aptitud: Teoría cognoscitiva – procesos
Lo que la persona hace con lo que sabe
Aplicación de conocimientos y destrezas
Aptitud: Capacidad para desempeñarse competentemente en actividad:
Científica
Musical
Mecánica
Etc.
Aptitud Académica
Razonamiento Verbal
Razonamiento Matemático
http://oprla.collegeboard.com
APTITUD Y CONOCIMIENTO
• Al medir la aptitud se persigue el propósito de evaluar el potencial y la capacidad para ejercer una conducta particular.
• La aptitud, a diferencia del conocimiento, es más estable, menos maleable, se modifica más lentamente y requiere de procesos de maduración interna y de contingencias externas que provean el apoyo para su desarrollo.
La medición del conocimiento tiene como propósito el proveer información de la utilización de codificaciones retrospectivas Procesos o situaciones pasadas ya codificadas
(memoria y organización cognitiva) Multidimensional
La medición de la aptitud persigue el proveer información prospectiva Ejecución y aplicación de procesos que se ajusten a las
demandas o requisitos de situaciones – Unidimensional
http://oprla.collegeboard.com
Fundamentación teórica
• Armonizar la medición con nuevas teorías cognoscitivas, investigación y enfoques educativos
• Evaluar procesos y conceptos cognoscitivos mediante:
Resolución de problemas semejantes a los de la vida real
Evaluación de habilidades para el pensamiento crítico
• Obtener una representación de los procesos cognitivos aplicados en el contexto del proceso de enseñanza-aprendizaje
• Integrar las teorías constructivistas del conocimiento a la evaluación
La PAA evalúa la aptitud académica mediante la operacionalización de ejercicios que requieren, de los examinados, la aplicación de procesos de razonamiento
Los componentes principales de la prueba son:
Propósito y usos de las pruebas
Validez predictiva • CORRELACIÓN Y REGRESIÓN MÚLTIPLE DE LAS PRUEBAS y PROMEDIO
GENERAL DE ESCUELA CON EL PROMEDIO EN PRIMER AÑO UNIVERSITARIO
• ESTUDIO DE VALIDEZ PREDICTIVA: – VARIABLE DEPENDIENTE = PROMEDIO GENERAL UNIVERSITARIO
– VARIABLES INDEPENDIENTES = PRUEBAS DE CB; PROMEDIO GENERAL DE ESCUELA SUPERIOR; OTRAS VARIABLES
Escala en que se informan las puntuaciones
de la Prueba de Aptitud Académica:
Promedio Teórico =500 Desviación Estándar = 100 Puntuación Máxima = 800 Puntuación Mínima = 200
Error de Medición: 30 a 35 puntos en la escala de 200 a 800
Las puntuaciones a escala se estandarizan, calibran y equiparan mediante procesos estadísticos
200 800
Items ->
500
Personas->
Mapa de personas e ítems Razonamiento Verbal
http://oprla.collegeboard.com
Las focas nadan velozmente, por eso el __________ oso blanco prefiere tenderles trampas para __________ y tener un buen bocado. (A) famoso … defenderlas (B) horrible … asustarlas (C) pesado … entretenerlas (D) inofensivo … matarlas (E) carnívoro … cazarlas
http://oprla.collegeboard.com
Itemes de Razonamiento Verbal
Clave: E
Respuesta correcta = 80%
Dificultad = 375
¿Cuál de las siguientes afirmaciones, según el contenido de la lectura, es una crítica sobre el mal manejo de la información? (A) El cambio hacia una nueva tecnología ha traído consecuencias penosas. (B) Las nuevas invenciones separan aún más a los seres humanos. (C) Los intereses económicos pueden impedir el acceso a la información. (D) La información electrónica debe estar en manos de los científicos solamente. (E) El acceso a la información puede fragmentar las clases sociales.
http://oprla.collegeboard.com
Itemes de Razonamiento Verbal
Clave: C
Respuesta correcta = 35%
Dificultad = 560
¿En que aspecto difiere la lectura A de la lectura B? (A) Utiliza los animales para explicar la teoría de la evolución de
Charles Darwin. (B) Contrasta los distintos métodos de adaptación presentes en el
mundo animal. (C) La lectura A argumenta sobre la lucha por la existencia y la B
explica el afán de coexistir. (D) Presenta dos ideas diferentes sobre la selección sexual de distintos
animales. (E) Desarrolla diferentes puntos de vista sobre las teorías evolutivas
de Darwin.
http://oprla.collegeboard.com
Itemes de Razonamiento Verbal
Clave: D
Respuesta correcta = 20%
Dificultad = 707
Las distintas versiones de la Prueba de Aptitud Académica (PAA)
Persiguen los mismos objetivos: Proveer información de ejecución cognoscitiva
(razonamiento) prospectiva
Validez predictiva
Miden la misma construcción lógica
Proveen los mismos niveles de precisión
Están sujetas a interpretaciones análogas
http://oprla.collegeboard.com
¿Cómo asegurarnos de que las distintas versiones de examen son comparables?
Desarrollo de pruebas mediante parámetros comunes
Análisis de unidad de medición y análisis estructurales
¿Cómo asegurarnos de que las dificultades y otras características de los ítemes o reactivos son comparables?
Desarrollo de ítemes calibrados y equiparados
¿Cómo asegurarnos de que las puntuaciones obtenidas en distintas versiones son comparables?
Desarrollo de escalas calibradas y equiparadas
Niveles de equivalencia
http://oprla.collegeboard.com
Por qué informar puntuaciones a escala
• Algunos problemas que resuelve el proceso de calibración y equiparación de escalas: DIFERENCIAS EN EXTENSIÓN DE LAS PRUEBAS
DIFERENCIAS EN DIFICULTAD
DIFERENCIAS EN HABILIDAD DE LAS POBLACIONES
ERROR DE MEDICIÓN COMPARABLE PARA DIFERENTES VERSIONES
INTERPRETACIÓN DE RESULTADOS • CONSISTENCIA
• COMPARACIÓN DE PUNTUACIONES
Definición de Validez
• El grado en que la evidencia empírica y los razonamientos teóricos apoyan la adecuacidad y propiedad de las conclusiones que se derivan de una evaluación, una medición o un instrumento.
• “The degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of conclusions drawn from an assessment, measure or instrument”
Tomado de Messick, S (1995) . Validity of Psychological Assessment: Validation of inferences from persons’ responses and performance as scientific inquiry into score meaning. American Psychologist, 50 p741-749)
http://oprla.collegeboard.com
Métodos y modelos para evaluar validez
VALIDEZ CONCURRENTE – Importancia para evaluar el significado de la prueba
• Con cuales variables o pruebas correlaciona • Con cuales variables o pruebas NO correlaciona
– Matriz de correlación multi-razgo/multi-método (“multitrait/multimethod)
Regresión múltiple- VALIDEZ PREDICTIVA
– Predictores mínimos
• promedio general de escuela superior • puntuaciones Prueba de Aptitud Académica
– Razonamiento Verbal – Razonamiento Matemático
– Otros predictores
• pruebas de aprovechamiento académico?? • variables adicionales ?? • análisis por subgrupos ??
– Criterio- promedio general univesitario
Factores que afectan estimados de validez
• Factores de selección y autoselección
• Distribuciones irregulares (no normales)
• Correlación entre los predictores (colinearidad)
• Confiabilidad de la(s) prueba(s) y del criterio (ej.confiabilidad de notas de primer año universitario)
Correlaciones PAA – SAT Validez concurrente para pruebas en lenguajes distintos
2000 1981
Pruebas
PAAM + APR MAT. vs SATM 0.85
PAAM vs SATM 0.83 0.80
PAAV + ESLAT vs SATV 0.83
SATV - ESLAT (INGLÉS) 0.76 0.76
SATM - SATV 0.67 0.76
PAAV - SATV 0.65 0.67
PAAM - PAAV 0.65 0.68
PAAV - SATM 0.61 0.61
PAAM - SATV 0.59 0.62
SATM - ESLAT (INGLÉS) 0.55 0.68
PAAM - ESLAT (INGLÉS) 0.52 0.64
PAAV - ESLAT (INGLÉS) 0.48 0.62
Correlaciones
N=1,724 N=361
AÑO AÑO
http://oprla.collegeboard.com
Universidad de Artes Liberales en PR
Reasoning PAA Verbal PAA Mat
High School GPA Count Mean Mean
1.99 - 1.50 37 429 405
2.49 - 2.00 489 442 432
2.99 - 2.50 1050 462 458
3.49 - 3.00 1004 485 468
4.00 - 3.50 663 514 502
380
400
420
440
460
480
500
520
540
1.99 - 1.50 2.49 - 2.00 2.99 - 2.50 3.49 - 3.00 4.00 - 3.50
Relation of PAA (Reasoning) results and High School GPA
400
420
440
460
480
500
520
540
560
0.49 -0.00
0.99 -0.50
1.49 -1.00
1.99 -1.50
2.49 -2.00
2.99 -2.50
3.49 -3.00
4.00 -3.50
Relation of PAA (Reasoning) results and First Year GPA
Reasoning PAA Verbal PAA Mat
First Year GPA Count Mean Mean
0.49 - 0.00 50 453 470 0.99 - 0.50 61 434 447 1.49 - 1.00 141 430 446 1.99 - 1.50 211 448 445 2.49 - 2.00 393 453 463 2.99 - 2.50 516 461 467 3.49 - 3.00 599 481 491 4.00 - 3.50 416 520 542
Análisis de validez predictiva Resultados por Facultad
(regresión multiple)
Facultad R R Square Std. Error of
the Estimate
Comunicación .575(a) .330 .52660
Educación .638(b) .408 .47579
Empresas .542(a) .293 .57485
Estudios Humanísticos y Sociales .596(b) .355 .52113
Naturales .566(a) .321 .53852
a. Predictors: (Constant), GPA de Escuela Superior, PEAU - Razonamiento Matemático, PEAU - Razonamiento Verbal b. Predictors: (Constant), GPA de Escuela Superior, PEAU - Razonamiento Verbal, PEAU - Razonamiento Matemático Variable Dependiente: Promedio 1er año universitario (Dependent variable: univ.GPA)
http://oprla.collegeboard.com
Validez predictiva
• La PAA añade validez predictiva a las calificaciones u otros criterios de admisión
• Pruebas reducen el error de predicción de las calificaciones de preparatoria
• Resultados típicos al predecir promedio general universitario:
Validez predictiva típica de: – la PAA: .40 a .65 – calificaciones anteriores: .35 a .45 – calificaciones y PAA: .50 a .70
• Para el proceso de selección de candidatos: – La PAA permite comparaciones más justas y
precisas entre candidatos que provienen de distintas escuelas • Candidatos evaluados con una misma métrica
PAA Verbal
PAA Mat
PAA Writing
High School GPA
Count Mean Mean Mean
77 (70 - 79) 284 509 540 541
83 (80 - 85) 673 533 556 567
88 (86 - 91) 632 555 575 592
94 (92 - 100) 411 593 599 619
480
500
520
540
560
580
600
620
640
77 (70 - 79) 83 (80 - 85) 88 (86 - 91) 94 (92 - 100)
Relación de PAA con indice de Esc.Superior
PAA Verbal
PAA Mat
PAA Writing
First Trimester GPA
Count Mean Mean Mean
2.5 170 509 527 545
3.0 297 519 542 549
3.5 590 548 560 580
4 660 577 601 609
Universidad Técnica – Santo Domingo -
480
500
520
540
560
580
600
620
640
2.5 3.0 3.5 4
Relación de PAA con Indice de primer trimestre
PAA Verbal
PAA Mat
PAA Writing
Second Trimester
GPA Count Mean Mean Mean
2.5 137 502 530 541
3.0 304 512 533 551
3.5 655 545 558 578
4 512 594 621 620
Universidad Técnica – Santo Domingo-
PAA
Verbal
PAA
Mat
PAA
Writing
Third
Trimester
GPA
Coun
t Mean Mean Mean
2.5 118 496 530 541
3.0 343 510 534 551
3.5 654 550 566 583
4 407 605 628 626
PAA Verbal
PAA Mat
PAA Writing
Fourth Trimester
GPA Count Mean Mean Mean
2.5 105 502 549 545
3.0 371 525 541 561
3.5 569 553 575 588
4 310 612 632 634
480
500
520
540
560
580
600
620
640
2.5 3.0 3.5 4
Relation of PAA results and Second Trimester GPA
480
500
520
540
560
580
600
620
640
2.5 3.0 3.5 4
Relation of PAA results and Third Trimester GPA
480
500
520
540
560
580
600
620
640
2.5 3.0 3.5 4
Relation of PAA results and Fourth Trimester GPA
3D Surface Plot of IndiceGeneral4 against @1eraPAAR.Verbal and @1era.PAAMatemático
StODomBaseDat2 302v*2001c
IndiceGeneral4 = 3.2705-5.6339E-5*x-0.0027*y+3.5733E-7*x*x+2.1132E-6*x*y+1.8911E-6*y*y
> 4
< 3.7
< 3.2
< 2.7
200
300
400
500
600
700
800
900
@1eraPAAR.V
erbal
200300
400500
600700
800900
@1era.PAAMatemático
1.5
2.0
2.5
3.0
3.5
4.0
4.5
Indic
eG
enera
l4
3D Surface Plot of Gpa_acumulado against PAA_Ver and PAA_Mat
SAGRADO 88v*748c
Gpa_acumulado = -0.5648-0.0016*x+0.0087*y+5.9155E-6*x*x-4.8934E-6*x*y-3.9485E-6*y*y
> 3
< 2.8
< 2.3
< 1.8
< 1.3
< 0.8
100
200
300
400
500
600
700
800
PAA_Ver
200
300
400
500
600
700
800
PAA_Mat
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
4.0
4.5
Gpa_acum
ula
do
3D Surface Plot of Gpa_acumulado against PAA_Ver and PAA_Mat
SAGRADO 88v*748c
Gpa_acumulado = -0.5648-0.0016*x+0.0087*y+5.9155E-6*x*x-4.8934E-6*x*y-3.9485E-6*y*y
> 3
< 2.8
< 2.3
< 1.8
< 1.3
< 0.8
100
200
300
400
500
600
700
800
PAA_Ver
200
300
400
500
600
700
800
PAA_Mat
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
4.0
4.5
Gpa_acum
ula
do
3D Surface Plot of IndiceGeneral4 against @1eraPAAR.Verbal and @1era.PAAMatemático
StODomBaseDat2 302v*2001c
IndiceGeneral4 = 3.2705-5.6339E-5*x-0.0027*y+3.5733E-7*x*x+2.1132E-6*x*y+1.8911E-6*y*y
> 4
< 3.7
< 3.2
< 2.7
200
300
400
500
600
700
800
900
@1eraPAAR.V
erbal
200300
400500
600700
800900
@1era.PAAMatemático
1.5
2.0
2.5
3.0
3.5
4.0
4.5
Indic
eG
enera
l4
UNIV. TECNICA EN
REP.DOMINICANA:
UNIV. ARTES
LIBERALES P.R. :
ALGUNOS RESULTADOS DE ANÁLISIS DE CLASIFICACION DE DESERTORES
En análisis discriminantes se observaron aumentos significativos en la capacidad de clasificación correcta de estudiantes retenidos y desertores al añadir los Indices Generales del año anterior y los créditos aprobados LAS CLASIFICACIONES CORRECTAS PARA LOS
CUATRO (4) TRIMESTRES AUMENTARON : • DE 52.8% - 57.8% USANDO PAA Y PROM.ESC.SUPERIOR
• AUMENTARON A 74.5%-90.7% AL AÑADIR INDICE GENERAL DEL AÑO ANTERIOR Y CREDITOS APROBADOS
Predicción de estudiantes desertores en el TERCER trimestre usando la Prueba de Aptitud Académica (PAA) , el Promedio General de Escuela Superior, Indice General del trimestre
anterior y créditos aprobados del trimestre anterior
CLASIFICACION CORRECTA= 85.6%
Predicción de estudiantes desertores en el CUARTO trimestre usando la Prueba de Aptitud Académica (PAA) , el Promedio General de Escuela Superior, Indice General del trimestre
anterior y créditos aprobados del trimestre anterior
CLASIFICACION CORRECTA= 74.5%
Independent Variable Importance
Importance Normalized Importance
1era PAA Razonamiento Verbal .242 88.3%
1era. PAA Matemático .274 100.0%
1era. PAA Redacción .257 93.9%
Indice Academico de Escuela Superior .227 83.0%
CLASIFICACION DE
IMPORTANCIA RELATIVA
(pesos) DE VARIABLES EN
LA PREDICCION DE LA
DESERCION USANDO
MODELOS NO-LINEALES
(“Neural Networks”) -MULTI-LAYER PERCEPTRON-
UNIVERSIDAD TÉCNICA
La investigación continúa
Los diseños para análisis de investigación de las variables que puedan impactar la retención de estudiantes continúan mediante:
Métodos no lineales y otros métodos
Exploracion de otras variables ACADEMICAS
SOCIO-ECONOMICAS
Análisis con otras poblaciones
NOTAS DE ESCUELA SUPERIOR EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES
SIN Y CON PLAN DE ESTUDIOS POSTSECUNDARIOS
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
Importancia SIN plan de estudios Importancia CON plan de es estudios
RESULTADOS EN PRUEBAS DE COLLEGE BOARD EN FUNCIÓN A IMPORTANCIA (PESO) DE VARIABLES CON Y SIN PROMEDIO ESCUELA SUPERIOR (NOTAS)
0.0%
10.0%
20.0%
30.0%
40.0%
50.0%
60.0%
70.0%
80.0%
90.0%
100.0%
Sin Notas Con Notas
47
Validez de construcción lógica:
• La validez de construcción lógica evalúa la estructura INTERNA de un instrumento o medida y la red nomológica (red de significados) en la cual se ubica un instrumento o medida con respecto a otras variables o criterios EXTERNOS verificación mutua de definiciones e información derivada del instrumento de
medición y la TEORIA
• retroalimentación de la teoría y el instrumento de medición
Se evalúa si se observan las relaciones esperadas entre diversas variables y el instrumento de medición y si NO se observan las relaciones de variables que no se espera que tengan alguna relación significativa con el instrumento
investigación continua de las propiedades de la construcción lógica
inferencias e interpretaciones que se derivan de los USOS del instrumento
• Métodos para reducir las correlaciones de un conjunto de variables a un número menor de factores
• Objetivo : parsimonia
– Explicación económica de fenómenos complejos
• Identificar patrones de relación subyacentes de un conjunto de datos o para evaluar hipótesis sobre dichos patrones
Factor:
1 2 3
Aptitud Matemática 0.8009 0.3030 0.3456
Aprov Aritmetica 0.7110 0.2608 0.2590
Aprov Algebra 0.7005 0.3071 0.3024
Aprov Geometria 0.6496 0.2195 0.2826
Aprov Est_Prob 0.4852 0.1922 0.3027
InglésLectura 0.3028 0.7995 0.3686
Inglés Lengua 0.2772 0.7891 0.2176
Inglés Redaccion 0.2998 0.6837 0.2867
Aptitud Verbal 0.4136 0.3547 0.6699
Esp Lit_Lect 0.2506 0.2637 0.6350
Esp Lengua 0.3205 0.2053 0.6167
Esp Redaccion 0.2190 0.1768 0.4847
Extraction Method: Maximum Likelihood.
Varimax rotation converged in 6 iterations.
Resultados de análisis de “Multidimensional Scaling” :
CAMBIOS EN CONTENIDO Y ESTRUCTURA DE LA PEAU
Integración de los componentes de razonamiento de la PAA (Razonamiento Verbal
y Razonamiento Matemático) con los componentes de Aprovechamiento (Aprovechamiento en Español y Aprovechamiento Matemático) en una nueva estructura: Proveerá a todos los usuarios, tanto de Puerto Rico como de América Latina, con
herramientas de evaluación más amplias que respondan a las necesidades de admisión, ubicación y apresto para carreras. La nueva construcción lógica requerirá la medición de procesos y contenidos
dirigidos a medir habilidades, organización de conocimientos y destrezas Se desarrollará un solo instrumento que, a diferencia de la PAA, tendrá una
estructura multidimensional
Junto a las pruebas, se elaborará un cuestionario con variables que provean
información suplementaria que ayudará a identificar, entre otros aspectos, la probabilidad de retención de los candidatos, así como variables no-académicas que aporten a la predicción de éxito académico.
Interpretaciones de las pruebas ELASH, TOEFL Institucional y el “Common European
Framework” (CEF) en función de los resultados a escala
Objetivos de esta sección:
Familiarizar a los usuarios con las escalas de resultados ELASH Interpretación de equivalencias de las escalas de la prueba ELASH y la prueba TOEFL Relación de las escalas de ELASH con TOEFL y con las competencias del Common European Framework (CEF)
¿Que es ELASH?
English Language Assessment
System for Hispanics
Desarrollado por el College Board
para el mundo Hispanoparlante
English Language Assessment System for Hispanics
Características distintivas de ELASH
Todas las instrucciones, guías para estudiantes, hojas de respuesta y materiales administrativos están en Español
ELASH es sensitivo a las diferencias culturales: Toma en cuenta la transferencia e interferencia
linguística entre el Español y el Inglés
Está diseñado por especialistas en Inglés como Segundo Idioma (ESL) de Estados Unidos y América Latina
Características distintivas de ELASH
Provee una puntuación total y sub-puntuaciones en Listening
Language
Indirect Writing
Reading skills
Clasifica la ejecución de los estudiantes en cuatro etapas de proficiencia para cada área de contenido
Se puede aplicar independientemente del grado y puede usarse con estudiantes desde el sexto grado hasta niveles universitarios
ELASH Provee dos NIVELES
e información abundante para cada nivel
• ELASH I
• Enfatiza destrezas de principiante a destrezas intermedias
• ELASH II
• Enfatiza destrezas intermedias a destrezas avanzadas
ELASH clasifica la ejecución de los examinados en
cuatro niveles de proficiencia
Stage 1: NOVICE
Stage 2: LOW INTERMEDIATE
Stage 3: HIGH INTERMEDIATE
Stage 4: ADVANCED
ESCALA EN QUE SE INFORMAN LAS PUNTUACIONES DE ELASH
ESCALA ELASH:
Puntuación mínima: 40
Puntuación máxima: 200
Promedio Teórico = 120
Categorización de resultados para la prueba de Lengua y Redacción Indirecta (“Language Use and Indirect Writing”) y
Lectura y Vocabulario (“Reading and Vocabulary”)
Categoría Puntuación a Escala Nivel I Nivel II
Novice…………………………………………….. 40 – 89 40 - 89
Low Intermediate …………………………… 90 – 125 90 - 125
High Intermediate ……………………… 126 – 149 126-149
High Intermediate Plus …………………… 149 + n/a
Advanced ………………………………….. n/a 150-200
DISEÑO DE EQUIPARACIÓN PARA ELASH – “Equating” horizontal y vertical
ELASH I
Sección de equiparación ->
ELASH I
ELASH 2:
ELASH 2
ELASH I ELASH II
INFORME INSTITUCIONAL
ESCALAS EN LAS QUE SE INFORMAN LAS PUNTUACIONES DE ELASH Y TOEFL
ESCALA ELASH:
Puntuación mínima: 40
Puntuación máxima: 200
ESCALA TOEFL (“Paper Based Test;PBT”)
Puntuación mínima: 310
Puntuación máxima: 677
Comparación de escalas de resultados de TOEFL : versiones de Internet, computador y versión en papel
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
-3 -2 -1 0 1 2 3
ELASH
TOEFL
PERCENT I LA
PERCENTILES PARA ELASH Y TOEFL EN PUNTUACIONES Z (-3 A +3)
PUNTUACION Z (-3 A+3) PARA ELASH Y TOEFL (Escalas Independientes)
ELASH TOEFL (40 A 66) MIN(310)
67 A 79 310 A 350
80 A 93 351 A 400
94 A 107 401 A 450
108 A 120 451 A 500
121 A 136 501 A 550
137 A 150 551 A 600
151 A 164 601 A 650
165 A 170 651 A 670
171 A 172 671 A 677
(173 A 200) MAX(677)
MIN A ESCALA 40 310 MAX A ESCALA 200 677
ERROR ESTIMADO: +/- 2 (95%IC) +/- 6 (95%IC)
TABLA DE CONCORDANCIA ELASH – TOEFL
Desarrollo de concordancias de ELASH con el Marco Común Europeo (“Common European Framework”)
• METODO: Investigación para el establecimiento de estándares (“Standard-setting
Study”):
• El método para el establecimiento de estándares requirió de los juicios de paneles de expertos que establecieron recomendaciones de los requisitos de puntuación que corresponden con los niveles de conocimientos, destrezas, proficiencia y dominio de los resultados de los candidatos para clasificarlos en categorías.
• En el estudio específico de ELASH y el CEF se le proveyó información estadística de clasificación de la escala de ELASH (40 a 160 puntos) en 6 niveles óptimos que los expertos usaron como criterio adicional para contrastar las puntuaciones de ELASH con los 6 niveles del CEF
• Se generó una agenda de trabajo de más de 8 meses de los participantes principales para generar los criterios de equivalencia
Niveles de Proficiencia del Marco Común Europeo
El MCE clasifica en una escala de seis (6) niveles la proficiencia de lenguaje de reading, writing, speaking y listening, en una escala ordinal con seis categorías:
• • A1 – A2 (Basic User) –Básico-
• • B1 – B2 (Independent User) –Independiente-
• • C1 – C2 (Proficient User) –Proficiente-
TABLA DE CONCORDANCIA DE LOS NIVELES DEL MARCO COMUN
EUROPEO CON LOS NIVELES DE ELASH 1 Y 2
CEF N/A N/A A1- A1 A1+ A2- A2 A2+ B1- B1 B1+ B2- B2 B2+ C1- C1 C1+ C2- C2 C2+
N/A N/A BASIC INDEPENDENT PROFICIENT
NIVELES ELASH 1 LISTENING
COMPREHENSION 1 1 1 1 2 2 3 3 4 4 4
READING 1 1 1 1 2 2 2
VOCABULARY 1 1 1 1 2 2 2
LANG. USE (GRAMM.
ACCURACY) 1 1 1 1 2 2 2
ELASH 1 NOVICE 40-89
LOW INT.
90-125
NIVELES ELASH 2
LISTENING COMPR. 1 1 1 1 2 2 3 3 4 4 4
READING 1 1 1 1 2 2 2 3 3 3 4 4 4 5
VOCABULARY 1 1 1 1 2 2 2 3 3 3 4 4 4
LANG. USE (GRAM.
AC.) 1 1 1 1 2 2 2 3 3 3 4 4 4
ELASH 2 NOVICE 40-89
LOW INT.
90-125
HIGH INT.
126-149
ADVANCED
150-200
77
A1 A2 B1 B2 C1 C2 NIVELES CEF
¿Qué es PIENSE?
• Una batería de cuatro pruebas estandarizadas
• Evalúa destrezas cognoscitivas (de razonamiento y de pensamiento) con la prueba de Habilidad Cognoscitiva
• Evalúa el conocimiento en tres materias:
– Español, Matemáticas e Inglés
Niveles de PIENSE
• PIENSE I: para estudiantes en grados seis y siete
• PIENSE II : para grados nueve y diez
• Las pruebas se desarrollan considerando el nivel de
desarrollo cognitivo – PIENSE I : OPERACIONES CONCRETAS Y PRE-FORMALES – PIENSE II : OPERACIONES FORMALES
Escala en que se informan resultados de PIENSE
ALCANCE DE LA ESCALA: MíNIMA = 20 MAXIMA = 80 PROMEDIO = 50 DESVIACIóN ESTANDAR = 10
ESTA ESCALA SE UTILIZA PARA ESTIMAR EL NIVEL DE HABILIDAD O CONOCIMIENTO DE LOS ESTUDIANTES
RELACIÓN PIENSE - PAA Selección de la muestra
• Desarrollo de base de datos Pareo de estudiantes que tomaron la PAA 2 a 3 años después de haber
tomado PIENSE II
Casos únicos (sin duplicados)
Limpieza y verificación
• Puerto Rico
PIENSE II (2008-2010) y PAA (2011-2013)
Estudiantes de 9no y 10mo en PIENSE II solamente
• América Latina
PIENSE II (2005-2011) y PAA (2008-2013)
Composición de la muestra
• América Latina
• Puerto Rico
País Pública Privada Total
n % n % n %
MX 54,630 77.5% 14,220 20.2% 68,850 97.7%
Otros 88 0.1% 1,557 2.2% 1645 2.3%
Total 54,718 77.6% 15,777 22.4% 70,495 100.0%
Otros: Bolivia, Costa Rica, República Dominicana, Ecuador, El Salvador, Guatemala, Honduras, Panamá y Uruguay.
Tipo de Escuela n %
Pública 1,256 60.8%
Privada 735 35.6%
Otro sistema 74 3.6%
No identificado 2 0.1%
Total 2,067 100.0%
Correlaciones: PIENSE II, PAA y PACH
Puerto Rico PAA PIENSE II
Habilidad Español Mat. Inglés
Verbal 0.64 0.70 - -
Mat. 0.72 - 0.76 -
- - - -
PACH - - - -
Aprov. Ing 0.59 - - 0.80
Aprov. Mat 0.72 - 0.78
Aprov. Esp 0.65 0.75 - -
N = 2,051 (PIENSE-PAA); 1,872 (PIENSE – PACH)
Las correlaciones anteriores son estadísticamente
significativas a un nivel p < .001.
América Latina PAA PIENSE II
Habilidad Español Mat. Inglés
Verbal 0.62 0.66 - -
Mat. 0.62 - 0.73 -
Redacción
Indirecta 0.53 0.60 - -
N = Entre 70,494 (P2-C y Apt V) y 67,788 (P2-I y RI)
Las correlaciones anteriores son estadísticamente
significativas a un nivel p < .001.
Análisis Factoriales
• Método: Componentes Principales.
• Rotación Varimax con normalización Kaiser.
• Se presentan los factores con pesos ≥ .40 solamente
Puerto Rico
Factor
Factor Prueba I II III
I Apt. Mat (PAA) .819
I Mat. (PIENSE II) .810
I Aprov. Mat. (PACH) .802
I y II Habilidad (PIENSE II) .658 .487
II Aprov. Esp. (PACH) .816
II Apt. Verbal (PAA) .771
II Español (PIENSE II) .762
III Inglés (PIENSE II) .871
III Aprov. Inglés (PACH) .803
N = 1,862.
Convergió en 5 iteraciones.
América Latina
Factor
Factor Prueba I II III
I Mat. (PIENSE II) .872
I Apt. Mat (PAA) .816
I y II Habilidad (PIENSE II) .684 .412
II Red. Ind. (PAA) .865
II Apt. Verbal (PAA) .457 .738
II Español (PIENSE II) .691
III Inglés (PIENSE II) .956
N = 67,787 (97% México)
Convergió en 4 iteraciones.
Tablas de expectativas PIENSE II - PAA • En el componente de Aptitud Verbal empleando los resultados
individuales en la Prueba de Habilidad Cognoscitiva y la Prueba de Español de PIENSE 2 como predictores.
PIENSE II
Habilidad
PAA: Apt-V
(Puerto Rico)
PAA: Apt-V
(América Latina) 20-24 200 - 343 200 - 361 25-29 344 - 374 362 - 389
30-34 375 - 406 390 - 417 35-39 407 - 437 418 - 446
40-44 438 - 468 447 - 474 45-49 469 - 499 475 - 502 50-54 500 - 531 503 - 531
55-59 532 - 562 532 - 559 60-64 563 - 593 560 - 587
65-69 594 - 625 588 - 615 70-74 626 - 656 616 - 644 75-80 657 - 800 645 - 800
Modelo Puerto Rico América Latina
Constante 190.0909 222.148
Valor de P II Habilidad 6.253 5.655
Error del Estimado 85.443 76.3572
PIENSE II
Español
PAA: Apt-V
(Puerto Rico)
PAA: Apt-V
(América Latina) 20-24 200 - 344 200 - 360 25-29 345 - 377 361 - 392
30-34 378 - 410 393 - 424 35-39 412 - 444 412 - 455
40-44 445 - 477 456 - 487 45-49 478 - 510 488 - 519 50-54 511 - 544 520 - 551
55-59 545 - 577 552 - 582 60-64 578 - 610 583 - 614
65-69 611 - 643 615 - 646 70-74 644 - 677 647 - 678 75-80 678 - 800 679 - 800
Modelo Puerto Rico América Latina
Constante 180.79 204.666
Valor de P II Español 6.662 6.352
Error del Estimado 79.494 73.0758
Tablas de expectativas PIENSE II - PAA • En el componente de Aptitud Verbal al combinar los resultados en la
Prueba de Habilidad Cognoscitiva y la Prueba de Español de PIENSE 2 como predictor.
PIENSE II (C + E) PAA: Apt-V
40-59 200 - 355
60-69 356 - 393
70-79 394 - 431
80-89 432 - 469
90-99 470 - 508
100-109 509 - 546
110-119 547 - 584
120-129 585 - 622
130-139 623 - 660
140-160 661 - 800
Modelo
Constante 128.167
Valor de PII (C + E) 3.812
Error del Estimado 76.308
PIENSE II (C + E) PAA: Apt-V
40-59 200 - 361
60-69 362 - 397
70-79 398 - 433
80-89 434 - 469
90-99 470 - 506
100-109 507 - 542
110-119 543 - 578
120-129 579 - 615
130-139 616 - 651
140-160 652 - 800
Modelo
Constante 144.455
Valor de PII (C + E) 3.629
Error del Estimado 69.0925
Puerto Rico América Latina
PIENSE 2 Habilidad Cognoscitiva + Español (eje horizontal; años 2005-2011) con PAA Razonamiento Verbal
(AptVer: eje vertical años 2008-2013) América Latina (N =70,493)
Tablas de expectativas PIENSE II - PAA • En el componente de Aptitud Matemática al combinar los resultados
en la Prueba de Habilidad Cognoscitiva y la Prueba de Matemáticas de PIENSE 2 como predictor.
PIENSE II (C + M) PAA: Apt-M
40-59 200 - 339
60-69 340 - 385
70-79 386 - 431
80-89 432 - 478
90-99 479 - 524
100-109 525 - 570
110-119 571 - 617
120-129 618 - 663
130-139 664 - 709
140-160 710 - 800
Modelo
Constante 63.559
Valor de PII (C + M) 4.631
Error del Estimado 73.207
PIENSE II (C + M) PAA: Apt-M
40-59 200 - 370
60-69 371 - 409
70-79 410 - 449
80-89 450 - 489
90-99 490 - 528
100-109 529 - 568
110-119 569 - 608
120-129 609 - 648
130-139 649 - 687
140-160 688 - 800
Modelo
Constante 133.307
Valor de PII (C + M) 3.971
Error del Estimado 74.3543
Puerto Rico América Latina
PIENSE 2 Habilidad Cognoscitiva + Español (eje horizontal; años 2005-2011) con PAA Razonamiento Matemático
(AptMat: eje vertical años 2008-2013) América Latina (N = 70,488)
PIENSE 2 Habilidad Cognoscitiva + Matemáticas (eje horizontal; años 2008-2010) con PAA Razonamiento Matemático (AptMat: eje vertical; años 2012-2013)
Puerto Rico (N= 2,158)
Tabla de expectativas PIENSE II - PAA
• En el componente de Redacción Indirecta al combinar los resultados en la Prueba de Habilidad Cognoscitiva y la Prueba de Español de PIENSE 2.
PIENSE II (C + E) PAA: RI
40-59 200 - 385
60-69 386 - 417
70-79 418 - 450
80-89 451 - 482
90-99 483 - 514
100-109 515 - 546
110-119 547 - 578
120-129 579 - 610
130-139 611 - 643
140-160 644 - 800
Modelo
Constante 193.548
Valor de PII (C + E) 3.216
Error del Estimado 76.5202
América Latina
Comparación de Modelos (USANDO LA SUMA DE LOS PREDICTORES)
Regresión (modelo) Población N R Error estándar
del estimado Coeficientes de modelo
(PII C + E) → PAA-V
Puerto Rico 2,055 .727 76.308 Constante: 128.167
PII (C + E): 3.812
América Latina 70,493 .704 69.0925 Constante: 144.455
PII (C + E): 3.629
(PII C + M) → PAA-M
Puerto Rico 2,053 .802 73.207 Constante: 63.559
PII (C + M): 4.631
América Latina 70,488 .742 74.3543 Constante: 133.307
PII (C + M): 3.971
(PII C + E) → PAA-RI América Latina 67,848 .621 76.5202 Constante: 193.548
PII (C + E): 3.216