informes nacionales e internacionales sobre el bajo rendimiento · 2017-04-29 · na monográfica...

ISSN: 1130-2496Revista Complutense de EducaciónVol. ¡2 Núm. 1(2001): 115-157

Informesnacionalese internacionalessobreel bajorendimiento

BERNABÉ BARTOLOMÉ MARTÍNEZ

Dpto. deTeoríaeHistoria dela Educación.FacultaddeEducaciónde laUCM.

RESUMEN

El objeto del presenteartículogira en torno a unosinformesnacionalese inter-nacionalessobreel bajo rendimiento.Tienetrespartes:En la primerase abordaunacuestiónimportante:Una gravesospecha.En la segundapartese emitenalgunosdelos informesdel INCE, de la OCDE (PISA) y del INE. En una terceraparte,breve-mente,se mira al futuro, tratandode imponerel uso de los centrosen los días devacación,de fomentarla calidadde la educacióny otascosas.

Palabrasclave: Informes nacionalese internacionales.Bajo rendimiento...Soluciones.Reformas.

ABSTRACT

The aim of this article is to put forwar sorneínformationsnationaisand inter-nationals over low eficienty.. The work unfols three parts. The firts pars turnsimportantquestion:Une. ponderoussuspeccion...The secondparsdiscussesoverinformation INCE, OCDE and INE. In the third par, briefly, the futur look overtheuseduringholiday of the centre,of the quality educationalandothersustances.

ICeywords:Informationsnationalset internationals.Low efficienty... Solutions.Reforms.

115

BernabéBartoloméMartínez Informesnacionalese internacionalessobreel bajo rendimiento

A) Una gravesospecha

1.0 Por quélos informesiniciales?

En un principio se pretendióque las Comunidades,que aún no habíanenlos añosde 1997-98las preceptuadascompetenciasen materiaeducativa,acep-taranéstascomounagarantíay al mismotiempo comoun verdaderoreto. Porello se hizo y se publicó en 5 magníficosvolúmenes,enel añode ¡997,un tra-bajo que se intituló: «DIAGNÓSTICO DEL SISTEMA EDUCATIVO. LAESCUELASECUNDARIAOBLIGATORIA. 1997».Juntoa esteproyecto,yel mismotiempodeseo,de iluminar a quienesibana dar estepaso trascenden-tal de admitir y concederlas competenciaseducativas,existía otra ideasubya-centey oculta. Se tratabade auscultarpor dóndeiban los caminos,las iniciati-vasy los gustossociales.Evidentementese presumíaun cambioimportante.Enunasociedadde consumo,de oferta y demanda,de resultadosinminentes,noteníanya presenciaciertos valoresmáspasajeros,habíaque educarpara saberconsumiry producirconstantemente.Estosprincipios se habíande ver concier-ta claridady se defendieron,no sin valiosasaportacionesen contra,en la Sema-na MonográficadeSantillana XVI (26 al 30 de nov. de 2001)que se presentócon el título de «Universidady Sociedad».Las distintas proclamasde estosdíasnos recuerdanporquéla «calidadde la enseñanza»y «el cultivo de la exce-lencia»tambiénestántomandoposicionesde reclamoy respuesta.

2.0 Quieneshan intervenidoen estetrabajo del INCE?...

Además de un grupo de conspicuospedagogos,tambiénhan intervenidoeconomistas,técnicosen estadísticay algunospolíticos, segúnlas circunstan-cias.Nos limitaremosa citar algunosde los casos,a nuestrojuicio importan-tes.En primar término,citaremosal catedráticode la UNEIJD. JoséLuis Gar-cía Garrido (Director en aquelmomentodel INCE y responsablede suspublicaciones),a Alvaro Buj Gimeno, a JuanGonzálezAnleo, aJoséAntonioIbáñez-Martín,Arturo de la Orden Hoz, seguido de un largo etcétera,connombresexcelentesquenos haríacasi interminablela lista.

30 Temasquesehan abordado?...

El primerode los volúmenes,con un caráctergenéricoy ciertamenteglo-bal, se tituló» Elementosparaun diAgnósticodel SistemaEducativoEspa-

RevistoConiplulensede EducaciónVol. 12 Núm. 1(2001): 115-157

116

BernabéBartoloméMartínez Informesnacionalese internacionalessobreelbajo rendimiento

fol». Estevolumen tiene una amplia y jugosaintroducción. Se recuerdaquepararealizarel trabajose nombraríacomisiones.La 1 de ellas habríade oeu-parsede analizar»EIRendimientoescolardelos alumnosde 14 y 16 años.LaII tendríacomoobjetivo estudiar»Losplanesy métodosde enseñanzay apren-dizaje en la enseñanzasecundariaobligatoria»despuésque se habíaanalizadoen esa entidadla enseñanzaprimaria La III de las comisionesse ocuparíadeestudiar»EIfrmncionamientode los centrosescolares»mientrasque la IV estu-diaría la «Funcióndocente»,teniendoen cuentaque la comisiónV habríadeanalizar«La interseccióne interinfluenciaentreEscuelay Sociedad».

Se ponende relievelos «Libros Blancosdc 1976 y 1989 y los Informesde la OCDE».Se recomiendaquela Educaciónespañolatiene insistir másenlapresenciade los padresen el régimen de los centroseducativos,potencian-do lafigura del las APA y de la familia, Se urgirá la necesidadde encontrarnuevosmétodosde enseñanza,en la convenienciade potenciarla formaciónprofesionaly la del del profesorado.Se adviertequeprocedeuna análisseriopardetectarel bajorendimientodel alumnadoy el notablefracasoescolartan-to enlas enseñanzasprimariay secundaria,comoen lasuperiory en otra nece-sidadesy carenciasquese vienendetectandoen la enseñanzaespañola.

40 El porquéde estagrave sospecha’

Se suelenexhibir razonesde tipo político y de carácterpedagógico:

a) De tipo político. «La rumorología»afirmaque estaencuestade 1997(ciertoqueen algunosaspectosescasay no siempremuy significativa)sentó mal en algunasregionesbilingúes, másconcretamenteen áreascatalanas,y por considerarsiempreel votode susciudadanosy la coa-lición con un gobierno, siempredecisiva y necesaria,fueron poco apoco cesandolos altos cargosy los responsablesen la tareaeducativapero la «certidumbre»nola rumorología,nos viene advirtiendoy avi-sandode las dificultadesen la implantaciónde la LOIJ y de otros fenó-menosque no puedenpasarsepor alto enel SistemaEducativoActual.

b) De tipo pedagógico.Entre las razoneso causasgeneralesque podrí-amos llamar pedagógicasy que constituyenun serio aviso paralasautoridadesresponsablesde la educacióny de los planesde estudioen todoslos nivelesde la enseñanza,no podemosolvidar la contribu-

117 RevistaCo,nplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157


ción escasadel gobiernoen el PIB, destinadaparala educaciónespa-ñola y en el destinode las insuficientescantidadesdedicadasen lasComunidadesAutónomascon este fin. Informes anterioresde losañosde 1992-93 muestranla preocupaciónpor los alumnosde 14 y16 añosque no cumplenexigenciasbásicas,de la mismamaneraqueen los Informes de 1997. No se cumplende lleno los objetivos delfinal de la enseñanzaobligatoria.Ni parasu inserciónen el Bachille-rato ni en los Módulos de FormaciónProfesionalExisten altos índi-cesde fracasoescolar,especialmenteal final de la EGB. Estosdeta-lles suelen serpuestos de relieve en todos los volúmenesde esteensayoestadístico.,Con referenciaespeciala los índicesde lectura,alconocimientode las cienciasde la naturalezay de las matemáticas,las sospechasy, sobretodos, los resultadosuelen ser pesimistas.Laobtencióndel título de GraduadoEscolar,próximo a desaparecerenlas posibilidadesde su obtención, sigue siendo una exigencia deentradaen la vida laboral y ciertamenteexiste en Españaun largonúmerodejóvenesqueno disponendel mismo y portanto no puedenadentrarseen estetipo de trabajo,parael cual necesitande maneraimprescindiblede este título.

B) Una realidadcruda

En esteapartadopretendemosprobar la situaciónde estosjóvenes,entrelos 14 y los 16 años de edad, coincidiendoplenamentecon la EducaciónSecundariaObligatoria,laESO, a partirde trestipos de informes: el 1.0 toma-do del INCE, el 2.0 de PISAy el 32 de laprensaespañola,queha considera-do comocosapropiaestasituacióny el análisisconfuertesllamadasde aten-ción a gobiernos y padresde familia, así como al profesorado.Hemosseleccionadodos resúmenesinformativos del INCE, nos. 24 y 25 del mesdenoviembre dc 2001 sobreletrasy cienciasrespectivamentey que aportamos,comoprueba.

El apartado2.0 serátomadodel Informe de la OCDE, llamadoPISA. Paratener una información suficiente y precisa aportamos,en parte, el artículoexplicativode Guillermo Gil Escudero.

El apartado3.’ y 4~O son afirmacionesnuestras,tomadasde laprensaespa-ñola queha analizadoy estudiadocon algunainsistenciala marchade los cri-teriosdel MEC y de la OCDE.

118 RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): 115.157


En primertérmino,reproducimosun título de prensade R. Barroso,quienenel periódicoABC del 9-12-2001:«Los mejoresalumnosde 15 añosape-nassabencómoes unacélulao resolverquebrados».Refiriéndoseal Infor-me PISA, señalaque el 80% de los escolaresque acabala ESO desconocenqué fue el Renacimiento.se indicaque, segúnesteInforme PISA, la mediadelos españolesenhabilidadlectoraha sido de491 puntosmientrasquela mediadel OCDE es de 501: en matemáticasla mediaespañola,sobretodo en rendi-miento, es de 476 puntosperoen la OCDEes de 500 mientrasqueen capaci-dad científica la puntuaciónespañolano llega a los 501 de la mediadelOCDE. Los paisesde Finlandia,Canadáo NuevaCelanda,en muchosaspec-tos consideradoscomo retrasados,han dado muestrasde estarpor encimademuchospaísesde la UCDE europea.

En el apartado42 se introducenunas informaciones,quesolamentede lar-go,tienenrelaciónconel temaconcretodenuestrotrabajo.El diario «El País»(7/1/2002,p. 26) dice «PAÍS VASCO, NAVARRA Y MADRID disfrutan delos mejoresniveles educativos,segúnel INE. Canarios,andalucesy extreme-ños dejanmásla primariay lleganmenosa la Universidad».El artículo, fir-madopor Charo Nogueraproponeposteriormenteunas tablas ilustrativas yaportatambiénotras suficientesobservacionessobreel fracasoescolar.

C) Mirandohacia el futuro. La calidadde laenseñanzay la excelenciade los alumnossolucionesaun problema.La superacióndel bajorendimiento

12 Se han levantadovocesde gentemuy cualificadatanto a favor comoen contrade las ReformasEducativas.Estimamos,por nuestraparte,que el problemade la enseñanzaya no es nacionalni muchomenosregional o competencialsino europeoy universal,de maneraque lapresenciade Españaen los ámbitos internacioneses cada día másimportantey la lucha contrael Bajo Rendimientode los alumnosentodoslos niveles educativosmásurgente.

22 Como solucionesaestaproblemáticase estáconfeccionandoel Infor-me TIMSS que apareceráen España,a través del INCE y de laOCDE. Seránexaminadoshasta5.000alumnosy 170 centrossobreTendenciasen matemáticasy en Ciencias,todo ello promovido porunaSociedadInternacionalparala Evaluacióndel RendimientoEdu-cativoentorno aáreasbásicasdel currículoestudiantil.En último tér-

119 RevistaComplutensede EducaciónVol. 12 Núm. 1(2001):115-157


mino, seráun examenatodo el sistemaeducativoconvistasa un futu-ro mejor encaminadoa las situacionesnuevasque la sociedadestápresentándonos.

3•O Se está estudiandola posibilidad de abrir los centrosestudiantiles:colegios,universidades...,durantemáshorasdiarias conun profesora-do complementario,utilizandosusbibliotecas,locales,instrumentosdeformación con más asiduidady mejor rendimiento.De momenosepidela colaboraciónde ayuntamientosy otras institucionesquepuedanaportarpersonal,y en general,mediosparaeste importanteproyecto.

42 Las Reformasen el ámbito Universitario(LOU) y en otros niveles dela enseñanzavanpor un camino buenoperono falta una notablecon-testaciónpor partede los alumnos,de los rectoresde centrosy de losmismo profesores.La Ministra actual de Educaciónno accedefacil-mentea la solicitud de cambio, estimaque algunasde estasprotestas(principalmentecontrala LOT)) estánmotivadaspor interesespersona-les y también,por el ejerciciode unalimitada madurezpersonal,juntoal criterio de que las reformasvan en la direcciónadecuada.

RESUMEN INPORMATIVO-24

INSTITUTO NACIONAL DE CALIDAD Y EVALUACIÓN. INCENOVIEMBRE DE 2001

Tomado,en parte,deGuillermo Gil(Traductordel Informe PISA y autordcl artículo,en parte,citado)

Conocimientosde lenguacastellanay literaturade los alumnosde cuartocursode laESO

Los resultadosde los alumnoscnla pruebade 1.en~uaCastellanay Lite-ratura se hanexpresadoen unaescalade rendimiento de O a 500, con unamediade 250 y unadesviacióntípica de 50. En estaescala,ademásde lamedia,estánseñaladoslos puntos de referenciaque difieren de la mediaenmásmenosunaa cuatrodesviacionestípicas:50, 100, 150, 200, 300, 350, 400y 450. Paradarlesignificadoa estaescalay relacionarlaconel currículo se haasociadoa cadauno de los puntosde referenciaun conjunto de contenidosyoperacionescognitivasque poseenlos alumnosconpuntuaciónde rendimien-to individual igual o superiora dicho punto.

RevistaCo~nplutcnsede Educació,,Vol. 12 Núm. 1 (2001): 115-157

120


Evaluaciónde la educaciónsecundariaobligatoria 2000

El estudioEvaluaciónde la educaciónsecundariaobligatoria 2000, lleva-do acaboporlas administracioneseducativasy el INCE, tiene comoobjetivoprincipal conocery valorar losresultadoseducativosalcanzadospor los alum-nos que en el curso 1999-2000estabanen cuartode la educaciónsecundariaobligatoria. Se tratade evaluar los niveles de adquisiciónde los contenidoscurricularespor los alumnosy, de modo indirecto,el grado de desarrollodesus capacidadesde aprendizaje,dentro del marcode las enseñanzasmínimasestablecidas.Dichos contenidosteníancomo referencialas áreasde Cienciasde la Naturaleza;CienciasSociales,Geografíae Historia; LenguaCastellanayLiteratura, y Matemáticas.

La muestraestuvoconstituidapor todoslos alumnosde un grupo,elegidoal azar,de cadauno de los centrosseleccionados.Se logró unamuestrade 328centros,7486 alumnos,5979 familias, 290 directoresy 1265 profesoresdetodaslas ComunidadesAutónomas,exceptoAndalucía.

Paracadaárease elaboraroncuatromodelosde pruebasdiferentes,aunqueconunapartecomún(técnicade muestreomatricial). Sobreel contextoy losprocesoseducativosse confeccionaroncuestionariosespecíficosparacadaunode los colectivosque participaronen el estudio.

Laspruebasy cuestionariosse aplicaronen todas las lenguasoficialesdelEstado.

Perfil delalumnomedioen LenguaCastellanayLiteratura

El alumnomediodecuartocursode laeducaciónsecundariaobligatoriaenel áreade LenguaCastellanay Literatura es capazde: comprendere identifi-car la idea principal de un texto que ha escuchado;identificar el título y elautor de una obra relevantede la historia de la literatura;elegir el pronombrerelativo adecuadopara completaruna frase; realizarinferenciassobretextosutilitarios y textos literarios;determinarel significadoo la finalidad de un tex-to periodísticode opinión; reconocerlaestructuraformal de un texto y el con-tenido de otro comorecursopublicitario; identificar la figura del narradorenun texto literario; inferir la ideaprincipal en un párrafode un texto periodísti-co; identificar la intenciónprincipal de un textopublicitario;analizarlos temasmásapropiadospararealizarunadescripción,e identificar autoresespañolesrelevantesde la épocade posguerray actual.

121 RevistoComplutensedeEducaciónVol. 12 Núm. 1(2001): 1I5-157


Descripciónde losnivelesdecompetencia

Cadauno de los nivelesvienedefinido por los conocimientos,habilidadesy com-petenciascaracterísticasde aquellosalumnosquehan obtenido en la pruebaunapuntuaciónparael nivel señalado.

—4 Nivel 150

• Comprendene identifican la idea principal de un texto quehanescuchado.• Identifican el título y el autorde unaobra relevantedela historia de la literatura.• Eligen el pronombrerelativo adecuadoparacompletarunafrase.

—* Nivel 200

• Realizaninferenciassobretextosutilitarios.• Realizaninferenciassobretextos literanos.• Determinanel significadoo la finalidad de un texto periodísticode opínion.• Reconocenlaestructuraformal de un texto y el contenidode otro comorecurso

publicitario.• Identifican la figura del narradoren un texto literario.

—4 Nivel 250

• Infieren la idea principal en un párrafode un texto periodistico.• Identificanla intenciónprincipal de un texto publicitario.• Analizan lostemasmásapropiadospararealizarunadescripción.• Identificanaautoresespañolesrelevantesde la épocade posguerray actual.

—4 Nivel 300

• Detectanen un texto la incoherenciao la falta deunidadde laspanesconel todo.• Conocenla estructuraformal de diferentescomposicionesmétricas.• Identifican antónimosy sinónimosde palabrasdeuso poco frecuente.• Conocenlosverboscopulativosy la función del atributo.

—÷ Nivel 350

• Interpretany reconocenel lenguajede un texto verbo-icónico.• Detectanlaambigiledaden unafrase usual.• Reconocenfiguras retóricascon finalidad literariay publicitaria.• Identifican diferentestipos de composicionespoéticasdentro del génerode la

lirica.• Señalanel sujetodeunaoracióncon alto gradode dificultad.

122 RevistoComplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157


Comienzaa tenerdificultadespara:detectarenun texto la incoherenciao lafalta de unidadde las partescon el todo; conocerla estructuraformal de dife-rentescomposicionesmétricas;identificarantónimosy sinónimosde palabrasdeuso poco frecuente,y conocerlos verboscopulativosy la función del atributo.

Por último, le resultadifícil interpretary reconocerel lenguaje de un tex-to verbo-icónico;detectarla ambigñedadenunafraseusual;reconocerfigurasretóricascon finalidad literaria y publicitaria; identificar diferentestipos decomposicionespoéticasdentro del génerode la lírica, y señalarel sujeto deunaoracióncon alto gradode dificultad.

Resultadosglobales

Con unamediade 250 y unadesviacióntípica de 50 previamentefijadas,la distribuciónde los alumnosde la muestrasegúnsurendimientoen LenguaCastellanay Literaturaes la que apareceen el gráfico adjunto.

Gráfico 1Distribución de los alumnossegúnel rendimiento

en Lengua Castellanay Literatura

LENGUA700

600

500

400

300

200

100

70 90 110 130 150 170 190 210 230 250 270 290 310 330 350 370 390 410

123 RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157

Informesnacionalese internacionalessobrecl bojo rendimiento

La distribuciónde la poblaciónentrelos distintostuación son los siguientes:

niveleso rangosde pun-

Rangosdepuntuación Porcentaje Porcentajeacumulado

50-99 0* 0

100-149 2 2

150-199 12 14

200-249 34 48

250-299 36 84

300-349 13 97

350-399 2 99

400-449 0* 100

• Debido si efecto de redondeo el porcentaje que figuraalgunos alumnos situados en este rango de puntuación.

en la tabla es 0, pero en realidad sí hay

La mayoríade los alumnos(70 %) se encuentranentrelos niveles de ren-dimiento200 y 299. Por debajodel nivel 200 se encuentranel 14% y por enci-ma del nivel 300 el 15% delos alumnos.

Si se haceun análisismásdetallado,se observaque entrelos niveles 150y 199 se encuentrael 12% de los alumnos.Lo que conocenestosalumnosdelos contenidosde la pruebaes apenasalgo másque aspectosrelacionadosconla comprensióne identificaciónde la ideaprincipal de un texto que hanescu-chado; identificanel título y el autorde unaobrarelevantede lahistoria de laliteratura,y eligenel pronombrerelativo adecuadoparacompletarunafrase.

El 34% de los alumnos(situadosentrelos niveles200 y 249),ademásdedominarel nivel anterior,tienennocionespararealizarinferenciassobretextosutilitarios y textosliterarios; determinanel significadoo la finalidad de un tex-to periodísticode opinión;reconocenla estructuraformal de un texto y el con-tenidode otro comorecursopublicitario,e identifican la figura del narradorenun texto literario.

El 36% de los alumnos(situadosentrelos niveles 250 y 299>, ademásdedominarlos niveles anteiribf&<ft¿~ána realizarinferenciassobrela ideaprin-

124 RevistoComplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157

BernabéBartoloméMartínez


40

30

20

lo

o

Gráfico 2Distribución de los alumnosentre los distintosniveles

deLengua Castellanay Literatura

36

3.4

13

2 2

50.99 100-149 150-199 200-249 250-299 300349 350-399 400-449

cipal en un párrafode un texto periodístico;identifican la intenciónprincipalde un texto publicitario; analizanlos temasmásapropiadospararealizarunadescripción,e identificana autoresespañolesrelevantesde la épocade pos-guerray actual.

El 13% de los alumnos(situadosentrelos niveles300 y 349), ademásdedominarlos niveles anteriores,detectanen un texto la incoherenciao la fal-ta de unidadde las partesconel todo; conocenla estructuraformal de dife-rentescomposicionesmétricas; identifican antónimosy sinónimosde pala-brasde usopoco frecuente,y conocenlos verboscopulativosy la función delatributo.

El 2% de los alumnos(situadosentrelos niveles 350 y 399), ademásdedominarlos niveles anteriores,interpretany reconocenel lenguaje de un tex-to verbo-icónico;detectanla ambigúedaden unafraseusual; reconocenfigu-

RevistaComplutensede EducaciónVol. 12 Núm.! (2001): 115-157

125


ras retóricascon finalidad literaria y publicitaria; conocendiferentestipos decomposicionespoéticasdentro del génerode la lírica, y señalanel sujeto deunaoraciónconalto gradode dificultad.

DWerencias en los resultadosde Lengua Castellanay Literaturasegún elsexo de losalumnos

Laschicasobtienenmejoresresultadosqueloschicos en la pruebade Len-guaCastellanay Literaturade cuartocursode la ESO. La diferenciaes de 13puntos, y es estadísticamentesignificativa (a = 0,000), con un nivel de con-fianzadel 99%.Los chicosquedana 6 puntosde lamediay las chicasla supe-ran en 7 puntos.

D4ferenciasen losresultadosde Lengua Castellanay Literaturasegúnla titularidad de los centros

En términosgenerales,los datos indican que la titularidad de los centroses u~ factor queintuye nn inc rncIIltaHoc ele in prueba.Segúnln tnhln ciolilen-

te, losalumnosde los centrosprivadosobtienenmejoresresultadosque los delos centrospúblicos.La diferenciadc 15 puntoses estadisticamentesignifi-cativa.

Los resultadosde los alumnosde los centrospúblicosquedan5 puntospordebajode la media,frentea los de los privadosqueestán10 puntospor enci-rna. No obstante,paramatizarestasdiferenciasse analizaa continuaciónlainfluenciade la variablenivel de estudiosde lospadres,relacionándolacon latitularidadde los centros.

126

• Diferencia significativa.

RevistaComplutensede EducaciónVol. 12 Núm. 1(2001): 115-157


de centroTipo Puntuaciónmedia N0de casos Significaciónde la d(ferencia

Centrospúblicos 245 4.655 eCentrosprivados 260 2.446


erenciasen los resultadosdeLenguasegúnel nivel deestudiosdelospadres

Castellanay Literatura

A la vistade los datosobtenidosse puedeafirmarqueunade las variablesque incide en los resultadosde los alumnos es el nivel de estudios de lospadres,quese ha tomadocomoel nivel másalto de cualquierade los dospro-genitores.La variablese ha codificadoen cuatrocategorías:

1) sin estudioso primariosincompletos,2) conestudiosprimarioscompletos,3) conbachilleratoo formaciónprofesionaly4) conestudiosuniversitarios.

Nivel deestudios Puntuaciónmedia

N0de casos

Significación

de la d<ferencia

1 2 3 4

1. Sin estudioso primarios incompletos 226 656 • • •

2. Primanoscompletos 241 2.284 • • •3. Bachillerato

o FormaciónProfesional 254 2.201 • •4. Universitarios medios

o superiores 271 1.717 • • •


127 RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): JIS-lS?

BernabéBartoloméMartínez Informesnacionalese internacionalessobreel bojo rendimiento

La diferenciaentrelas categoríases de 15, 13 y 17 puntos,respectivamen-te. Entre las doscategoríasextremasla diferenciaes de 45 puntos.Estosdatosindicanque a mayor nivel de estudiosde los padres,mejoresresultadosobtie-nenlos alumnos.Así mismo, sepuedeobservarquelos alumnoscuyospadresse encuentranen las dos primerascategorías(sin estudioso primarios)quedanpor debajode la media de la prueba,frente a los alumnos cuyospadresseencuentranenlas dos últimas(estudiossecundarioso superiores)queestánporencimade la media.Desdeel punto de vista estadístico,las diferenciasentrelas distintascategoríasson significativas.

DWerenciasen los resultadosdeLenguaCastellanay Literaturasegúnla titularidadde los centrosy el nivel deestudiosde lospadres

Con el fin de matizarlos datosreferidos a las diferenciassegúnla titu-larídadde los centros,se han cruzadolos resultadosconla titularidad y conel nivel de estudiosde los padres,tratandode ver una de los posiblesefec-tos que inciden en el resultadode los alumnos. Si se observala tablasiguiente,se apreciaque los alumnosde los centrosprivadosobtienenmejo-res resultadosquelos de los públicos, independientementedel nivel de estu-dios de sus padres,además,tal como se observóen el apartadoanterior,amayor nivel de estudiosmejoresresultadosen todas las categorías.Sin

Nivel de estudios Puntuaciónmedia Sígnificacton

de la c4ferenciaPúblicos Privados D<íe~

1. Sin estudioso primariosincompletos 225 229 4

2. Primarioscompletos 239 247 8

3. Bachilleratoo FormaciónProfesional 251 260 9

4. Universitariosmedioso superiores 266 276 10




embargo,la diferenciaencadaunadelas cuatrocategoríasse reducea valo-res entre4 y 10 puntos.Lasdiferenciassiguensiendoestadísticamentesig-nificativas.

Una correctainterpretaciónde las diferenciasreales—si las hubiera—entrecentrospúblicosy privadosexigiría la detraccióndel efectodel nivelsocioeconómico,ya que se trata de una variable que incide en el rendi-miento.

A continuaciónse presentacomo resumenun gráfico de los anterioresresultados,correspondientesa las desagregacionespor sexodel alumno,titu-laridaddel centroen el que estudian,nivel de estudiosde los padresy la rela-ción entretitularidady nivel de estudios.

Gráfico 3Resultadossegúnel sexodel alumnado,la titularidad de los centros

y el niveldeestudiosdelospadres

Chicos 244

Chicas 257

PúbLico ~ , 245

Privado 1~0Z~I!S~ Q n~t 260

Sin estudios 226

Estudios primarios 241

Estudios secundarios 254

Estudios superiores 271

Sin estudios-púbLico 225

Sin estudios•privado 229

Estudios primarios-púbLico 239

Estudios primarios-privado 247

Estudios secundarios-público 251

Estudios secundanos-pnvado 260

Estudios superiores-público 266

Estudios superiores-privado 276

50 100 150 200 250 300

129 RevistaComplutensedeEducaciónVol. ¡2 Núm. 1(2001): 115-157


RESUMENINFORMATIVO-25INSTITUTO NACIONAL DE CALIDAD Y EVALUACIÓN. INCE

NOVIEMBRE DE 2001

Conocimientosde Matemáticasde los alumnosde cuartocursode la ESO

Los resultadosde los alumnosen la pruebade Matemáticasse hanexpre-sado en una escalade rendimientode O a 500, con una mediade 250 y unadesviacióntípica de 50. En estaescala,ademásde la media,estánseñaladoslos puntosde referenciaquedifieren de la mediaen más menosunaa cuatrodesviacionestípicas: 50, 100, 150, 200, 300, 350, 400 y 450. Paradarlesigni-ficado a estaescalay relacionarlaconel currículose ha asociadoa cadaunode los puntosde referenciaun conjuntode contenidosy operacionescogniti-vasqueposeenlos alumnosconpuntuaciónde rendimiento individual igual osuperiora dicho punto.

Evaluaciónde la educaciónsecundariaobligatoria 2000

El estudioEvaluaciónde la educaciónsecundariaobligatoria 2000, lleva-do a cabopor las administracioneseducativasy el INCE, tiene como objetivoprincipal conocery valorar los resultadoseducativosalcanzadospor los alum-nos que en el curso 1999-2000estabanen cuarto de la educaciónsecundariaobligatoria. Se trata de evaluar los niveles de adquisiciónde los contenidoscurricularespor los alumnosy, de modo indirecto, el grado de desarrollodesuscapacidadesde aprendizaje,dentro del marco de las enseñanzasmínimasestablecidas.Dichos contenidosteníancomo referencialas áreasde Cienciasde laNaturaleza;CienciasSociales,Geografíae Historia; LenguaCastellanayLiteratura, y Matemáticas.

La muestraestuvoconstituidapor todoslos alumnosde un grupo, elegidoal azar,de cadaunode los centrosseleccionados.Se logró unamuestrade 328centros,7486 alumnos,5979 familias, 290 directoresy 1265 profesoresdetodas las ComunidadesAutónomas,exceptoAndalucia.

Paracadaárease elaboraroncuatromodelosde pruebasdiferentes,aunqueconunapartecomún(técnicade muestreomatricial). Sobreel contextoy losprocesoseducativosse confeccionaroncuestionariosespecíficosparacadaunodelos colectivosque participaronen el estudio.

Laspruebasy cuestionariosse aplicaronen todas las lenguasoficiales delEstado.



Perfil del alumnomedioen Matemóticas

El alumnomediodecuartocursode laeducaciónsecundariaobligatoriaenel áreadeMatemáticases capazde: resolversin dificultad las operacionesconnúmerosdecimalesy las expresionesalgebraicassencillas,así comola inter-pretaciónde representacionesgráficassimples asociadasa una informacióndada. Además,sabeexpresaralgebraicamentela relaciónexistenteentrelasdimensionesde unafigura geométricaplanasencilla;utilizar conceptosy pro-cedimientosrelacionadoscon la estimaciónde la medidade objetosy espa-cios, e identificar expresionesalgebraicasasociadasa una función que reía-ciona diferentesmagnitudes.

Comienzaa tenerdificultadescuandotiene que: utilizar correctamentela notacióncientífica; expresaren lenguajealgebraicoel enunciadode unproblema;resolverproblemasde númerosenterosy fraccionarios;calcularel áreade figuras geométricasplanascompuestasde triángulosy rectángu-los; relacionarcorrectamenteel Teoremade Pitágorasconlas longitudesdelos lados de un triángulo parasabersi es rectángulo;calcularel volumende un ortoedroy relacionarlocon otro cuyo volumenviene dadoutilizan-do la proporcionalidadnumérica;aplicar el conceptode traslaciónen unplano medianteel uso de coordenadascartesianas;interpretarrelacionesfuncionalesdadasen forma de expresiónalgebraicasencilla,y calcularlaantiimagende un número en una función lineal que viene dado por suecuaclon.

Tiene aún másdificultad pararesolverproblemasy situacionesde la vidacotidianarelacionadosconel cálculode porcentajesy laproporcionalidad,lasoperacionescon númerosfraccionariosy el planteamientode ecuacionesdeprimer grado. Tampocole resulta fácil: identificar ecuacionesequivalentessencillas;compararu ordenarnúmerosfraccionarios;aplicar nocionesdemedidademagnitudesparamediráreaso volúmenesde cuerposy figuras geo-métricasmediantesu transformaciónen otrasmássimples;calcularvolúmenesde cuerposy figurasgeométricasutilizando la proporcionalidad;identificar lasemejanzay el factordeproporcionalidadentrefigurasy cuerposgeométricos,y dominarcon soltura el conceptode mediaaritméticay saberaplicarlo ensituacionessencillas.

Por último, le resultamuy difícil hacercálculosconfraccionesy potenciasde exponentenegativo; resolvercon solturaproblemascomplejos de propor-cionalidady porcentajes;dominar la resoluciónde problemasde medidadesuperficiesplanasutilizandonúmerosenterosy fraccionarios;aplicarcorrec-

131 RevistacomplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157

BernabéBartoloméMartínez Informesnacionalese inte,nacionalessobreel bojo rendimiento

Descripciónde los nivelesde competencia

Cadauno de losnivelesvienedefinido por los conocimientos,habilidadesy com-petencias caracteristicas de aquellos alumnos que han obtenido en la prueba una

puntuaciónparael nivel señalado.

—÷ Nivel 150

• Realizanoperacionessencillasconnúmerosdecimales.

• Utilizan procedimientosrelacionadoscon la aproximaciónen númerosdecimales.—4 Nivel 200

• Sabenexpresaralgebraicamenteargumentacioneshabitualesde la vidacotidiana.• Manejane interpretanrepresentacionesgráficassimples asociándolasa una

informacióndada.

—4 Nivel 250

• Sabenexpresaralgebraicamentela relación existenteentre las dimensionesdeuna figura geométrica plana sencilla.

• Utilizan conceptosy procedimientosrelacionadoscon la estimacióndela medi-da de objetosy espacios.

• Identificanexpresionesalgebraicasasociadasaunafunción querelacionadife-rentesmagnitudes.

—4 Nivel 300

• Utilizan correctamentela notacióncientifica.• Expresanen lenguajealgebraicoel enunciadode un problema.• Resuelven problemas de números enteros y fraccionanos.

• Sabencalcular el áreade figurasgeométricasplanascompuestasde triángulosy rectángulos.

• Relacionancorrectamente el Teorema de Pitágoras con las longitudes de losladosde un triángulopara sabersi esrectángulo.

• Sabencalcularel volumende un ortoedroy relacionarlo con otro cuyo volumenviene dado utilizando la proporcionalidad numérica.

• Aplican el conceptode traslaciónen un planomedianteel uso de coordenadascartesianas.

• Interpretanrelacionesfuncionalesdadasen forma de expresiónalgebraicasencilla.• Calculan la antiimagen de un número en unafunción lineal quevienedado por

su ecuaclon

.

RevistaComplutensedeEducaciónVol. 12 Núm. l (200!): 115-157

132

BernabéBartoloméMartínez Injbrmes nacionalese internacionalessobreel bajo rendimiento

Descripciónde losnivelesde competencia(Continuación)

-—-> Nivel 350

• Sabenresolverproblemasy situacionesde la vida cotidianautilizando:

— porcentajesy proporcionalidad.— númerosfraccionarios.— ecuacionesde primergrado.

• Identificanecuacionesequivalentessencillas.• Sabencomparary ordenarnúmerosfraccionarios.• Aplican nocionesde medidade magnitudesparamedir áreaso volúmenesde

cuerposy figurasgeométricasmediantesu transformaciónen otrasmássim-píes.

• Sabencalcularvolúmenesde cuerposy figuras geométricasutilizando la pro-porcionalidad.

• Identifican la semejanzay el factorde proporcionalidadentrefigurasy cuerposgeométricos.

• Dominancon solturael conceptodemediaaritméticay sabenaplicarlo en situa-cionessencillas.

—* Nivel 400

• Sabenhacercálculoscon fraccionesy potenciasde exponentenegativo.• Resuelvencon solturaproblemascomplejosde proporcionalidady porcen-

taj es.• Dominanla resoluciónde problemasde medidade superficiesplanasutilizan-

do númerosenterosy fraccionarios.• Aplican correctamentelaspropiedadesde los polígonosregularesparacalcular

los ángulosinteriores.• Identifican la expresiónalgebraicaque correspondea una recta representada

gráficamenteen un sistemade coordenadascartesianas.• Reconocenlapendientede unarectaa partirde suspuntosde corteconlos ejes

de coordenadas.

133 RevistaComplutensede EducaciónVol. 12 Núm. 1(200!): 115-157

BernabéBartoloméMartínez Injórmes nacionalese internacionalessobreel bajo rendimiento

tamentelas propiedadesde los polígonosregularespara calcular los ángulosinteriores; identificar la expresiónalgebraicaque correspondea una rectarepresentadagráficamenteen un sistemade coordenadascartesianas,y reco-nocerla pendientede unarectaa partir de sus puntosde cortecon los ejesdecoordenadas.

Resultadosglobales

Con unamediade 250 y unadesviacióntípica de 50 previamentefijadas,la distribución de los alumnosde la muestrasegúnsu rendimientoen Mate-máticases la que apareceen el gráfico 1.

Gráfico ¡Distribución delos alumnossegúnel rendimientodeMatemáticas

MATEMÁTICAS

600

500

400

300

200

100

La distribuciónde la poblaciónentrelos distintosniveleso rangosde pun-tuaciónson los siguientes:


—xi70 90 110 130 150 170 1.90 210 230 250 270 290 310 330 350 370 390 490

134


Rangosde puntuación Porcentaje Porcentajeacumulado

100-149 1

150-199 15 16

200-249 35 51

250-299 31 82

300-349 14 96

350-399 3 99

400-449 0* 100

• Debido al efecto de redondeo el porcentaje que figura en la tabla es 0, pero en realidad sí hayalgunos alumnos situados en este rango de puntuación.

La mayoría de los alumnos(66%) se encuentranentrelos niveles de ren-dimiento200 y 299. Por debajodelnivel 200 se encuentranel 16% y porenci-ma del nivel 300 el 18% de los alumnos.

Si se haceun análisismásdetallado,se observaqueentrelos niveles 150y 199 se encuentrael 15% de los alumnos.Lo queconocenestosalumnosdelos contenidosde la pruebaes apenasalgomásqueaspectosrelacionadosconel uso y la realizaciónde operacionesconnúmerosdecimales.-

El 35% de los alumnos(situadosentrelos niveles 200 y 249), ademásdedominarel nivel anterior, sabenexpresaralgebraicamenteargumentacioneshabitualesde la vida cotidianay manejane interpretanrepresentacionesgráfi-cassimplesasociándolasa unainformacióndada.

El 31% de los alumnos(situadosentrelos niveles250 y 299),ademásdedominarlos niveles anteriores,llegana expresaralgebraicamentela relaciónexistenteentrelas dimensionesde una figura geométricaplanasencilla;utili-zan conceptosy procedimientosrelacionadoscon la estimaciónde la medidade objetos y espacios,e identifican expresionesalgebraicasasociadasa unafunción querelacionadiferentesmagnitudes.

El 14% de los alumnos(situadosentrelos niveles 300 y 349), ademásdedominar los niveles anteriores,utilizan correctamentela notacióncientífica;expresanen lenguajealgebraicoel enunciadode un problema;resuelvenpro-blemasde númerosenterosy fraccionarios;calculanel áreade figurasgeomé-tricasplanascompuestasde triángulosy rectángulos;relacionancorrectamen-

RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001):115-157

135

BernabéBartoloméMart¡nej Informesnacionalese internacionalessobreel bojo rendimiento

Gráfico 2Distribución de los alumnosentrelos distintosnivelesde Matemáticas

35

40

30

20

10

o

31

1514

3

100-149 150-999 200-249 250-299 300-349 350-399 400’449

te el Teoremade Pitágorascon las longitudesde los ladosde un triánguloparasabersi es rectángulo;sabencalcularel volumen de un ortoedroy relacionar-lo conotro cuyo volumenvienedadoutilizando laproporcionalidadnumérica;aplicanel conceptode traslaciónen un planomedianteel uso de coordenadascartesianas;interpretanrelacionesfuncionalesdadasen forma de expresiónalgebraicasencilla,y calculanla antiimagende un númeroen unafunción line-al que viene dadopor suecuacion.

El 3% de los alumnos(situadosentre los niveles 350 y 399), ademásdedominarlos niveles anteriores,sabenresolverproblemasy situacionesde lavida cotidianarelacionadosconporcentajesy proporcionalidad,númerosfrac-cionariosy ecuacionesde primer grado; identifican ecuacionesequivalentessencillas;sabencomparary ordenarnúmerosfraccionarios;aplicannocionesde medidade magnitudesparamediráreaso volúmenesdc cuerposy figuras



geométricasmediantesu transformaciónen otrasmássimples;sabencalcularvolúmenesde cuerposy figuras geométricasutilizando la proporcionalidad;identifican la semejanzay el factor de proporcionalidadentrefiguras y cuer-pos geométricos,y dominan con soltura el conceptode media aritméticaysabenaplicarloen situacionessencillas.

Por último, casi el 1% de los alumnos (situadosentrelos niveles 400 y449), ademásde dominarlos nivelesanteriores,sabenhacercálculosconfrac-cionesy potenciasde exponentenegativo; resuelvencon solturaproblemascomplejosde proporcionalidady porcentajes;dominan la resoluciónde pro-blemasde medidade superficiesplanasutilizando númerosenterosy fraccio-narios;aplicancorrectamentelas propiedadesde los polígonosregularesparacalcularlos ángulos interiores;identifican la expresiónalgebraicaque corres-pondea una recta representadagráficamenteen un sistemade coordenadascartesianas,y reconocenla pendientede una recta a partir de sus puntosdecorteconlos ejesde coordenadas.

Dikrenciasen los resultadosdeMatemáticassegúnel sexode los alumnos

Los chicos obtienenmejoresresultadosque las chicas en la pruebadeMatemáticasde cuartocursode la ESO. La diferenciaes de 13 puntos,y esestadísticamentesignificativa(cx = 0,000), conun nivel de confianzadel 99%.Las chicasquedana 6 puntosde la mediay los chicos la superan.

DVerenciasen los resultadosdeMatemáticassegúnla titularidad de los centros

En términosgenerales,losdatos indicanquela titularidadde los centroses

un factor que influye en los resultadosde la prueba.Segúnla tabla siguiente,

137




los alumnosde los centrosprivadosobtienenmejoresresultadosquelos de loscentrospúblicos. La diferenciade 17 puntoses estadisticamentesignificativa.Los resultadosde los alumnos de los centrospúblicos quedan6 puntospordebajode la media,frentea los de los privadosqueestán11 puntospor enci-ma. No obstante,paramatizarestasdiferenciasse analiza a continuaciónlainfluenciade la variable nivelde estudiosde lospadres,relacionándolacon latitularidadde los centros.

Tipo de centro Puntuaciónmedia deN casos Significaciónde la diferencia

Centrospúblicos 244 4.641e

Centrosprivados 261 2.462


D¿ferencias en los resultadosde Matemáticassegúnel nivel de estudiosde lospadres

A la vistade los datosobtenidosse puedeafirmar queuna de las variablesque incide en los resultadosde los alumnoses el nivel de estudiosde lospadres,considerándoseparaesteestudioel nivel másalto de cualquierade losdos progenitores.

La variablese ha codificado en cuatrocategorías:

1) sin estudioso primarios incompletos,2) conestudiosprimarioscompletos,3) conbachilleratoo formaciónprofesionaly4) conestudiosuniversitarios.

La diferenciaentrecategoríases de 14, 14 y 20 puntos, respectivamente.Entrelas dos categoriasextremasla diferenciaesde 48 puntos.Estosdatosnosindican que a mayor nivel de estudiosde los padres,mejoresresultadosobtie-nenlos alumnos.Así mismo, se puedeobservarque los alumnoscuyospadresse encuentranen lasdos primerascategorías(sin estudioso primarios)quedanpor debajo de la mediade la prueba,frente a los alumnos cuyos padresse

RevistaComplutensede Educación

Vol. 2 Núm. 1(2001): 115-157138


encuentranen las dos últimas (estudiossecundarioso superiores)queestánporencimade la media.Desdeel punto de vistalas distintascategoríasson significativas.

estadístico,las diferenciasentre

Nivel de estudios Puntuaciónmedia

N.0de casos

Significaciónde la diferencia

1 2 3 4

1. Sin estudios

o primarios incompletos 225 659 • e e2. Primarioscompletos 239 2.281 • e3. Bachillerato

o Formación Profesional 253 2.193 • •4. Universitariosmedios

o superiores 273 1,792 e • e


flferenciasen los resultadosdeMatemóticassegónla titularidad de los centrosy el nivelde estudiosde lospadres

Con el fin de matizarlos datosreferidosa las diferenciassegúnla titu-laridad, se han cruzadolos resultadoscon la titularidad y con el nivel deestudiosde los padres,tratandode ver unade los posiblesefectosqueinci-denen el resultado de los alumnos. Si se observala tabla siguiente, seapreciaque los alumnosde los centrosprivadosobtienenmejoresresulta-dos que los de los públicos, independientementedel nivel de estudiosdesus padres,además,tal como se observóen el apartadoanterior,a mayornivel de estudiosmejoresresultadosen todas las categorías.Sin embargo,la diferenciaen cadaunade las cuatrocategoríasse reducea valoresentre8 y 12 puntos.

Una correctainterpretaciónde las diferenciasreales—si las hubie-ra— entre centros públicos y privadosexigiría la detraccióndel efectodel nivel socioeconómico,ya que es unavariableque incide en el rendi-miento.

RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157

139

BernabéBartoloméMartinez Informesnacionalese internacionalessobreelbajo rendimiento

Nivel de estudios

Puntuaciónmedia

Significacton

de la diferenciaPúblicos Privados Diferencia

1. Sin estudioso primarios incompletos 222 234 12

2. Primarioscompletos 236 247 II

3. Bachillerato

o Formación Profesional 249 260 II e4. Universitariosmedios

o superiores 269 277 8


A continuaciónse presentacomo resumenun gráfico de los anterioresresultados,correspondientesa las desagregacionespor sexo del alumno,titu-laridaddel centroen el queestudian,nivel de estudiosde los padresy la rela-ción entretitularidad y nivel de estudios.

Gráfico 3Resultadossegúnel sexodel alumnado,la titularidad de los centros

y el nivel de estudiosde los padres

Chicos

Chicas

PúbliCO

Privado

Sus estudiosEstudios primados

Estudios secundarios

Estudios superiores

Sin ostudios-público

Sin estudios-privado

Estudios prImarios-público

Estudios prisrusios -puyado

Estudios secanduriospúblico

Estudios secundarios-privado

Estudi os superiores- público

Estudios supeniores-prisuoso

24-4

257

‘45260

326241

254‘II

225

229

239

247

251260

266

276

O SC StO 550 OtO 250 000

RuuíLíta Complutensede EducaciónVol. 12 Núm. 1(2001): 115-157

140


EL PROYECTOINTERNACIONAL

PARA LA PRODUCCIÓN DE INDICADORESDE RESULTADOSEDUCATIVOSDE LOS ALUMNOS

(PROYECTOPISA) DE LA OCDE

InstitutoNacionalde Calidady EvaluaciónTomado,en parte,de Guillermo Gil

Marcodelproyecto

El Proyecto Internacionalpara la Producciónde Indicadoresde Rendi-miento de los Alumnos, denominadoProyectoPISA (ProgrammeforIndica-tors ofStudentAchievement)es el resultadode laaplicaciónde la estrategiadeactuacióndesarrolladapor la RedA, encargadadel áreade los resultadosedu-cativos,del Proyectode IndicadoresInternacionalesde los SistemasEducati-vos (ProyectoINES).

El proyectoINES (InternationalJndicatorsofEducationSystems)del Cen-tro parala Investigacióne Innovación Educativas(CERI) dependientede laOrganizaciónparala Cooperacióny el DesarrolloEconómico (OCDE) tienecomo objetivo la producciónde indicadoreseducativossobrelos sistemasdesus paísesmiembros que incluyen indicadorescomparativosinternacionalesdel rendimientoescolarde los alumnos.

Esteproyectotieneun carácterexperimentaldirigido al establecimientodeun sistemainternacionalde indicadoresde la situaciónde la educación.Losobjetivosbásicosdel proyectoson, enprimer lugar, proporcionara los paísesmiembrosde la OCDE un marco institucionalen el que examinarla validezyrelevanciadelos indicadoreseducativos,definir los límitesen los que se pue-dendesarrollar,compararlas experienciasnacionalesrelacionadascon laimplantaciónde evaluacionesa gran escalay compartir las experienciasdemejorade la calidadde los sistemaseducativosy, en segundolugar, producirindicadoresque aporteninformaciónútil sobrelos sistemaseducativos.

El proyecto estáorganizadoen cinco grandesgruposde trabajo——-cuatroredesy un grupotécnico—dirigidos al estudio,definición,propuestay expe-rimentaciónde indicadoresde la educación(Bottani, 1990, 1994, 1996; Botta-ni y Delfau, 1990;Hottani y Walberg,1992; Eottaniy Tuijnman, 1994; OECD,1973a, 1973b, 1992a,1994, 1995a, 1995b; Selden,1991).

El grupo técnico estádirigido al desarrolloy perfeccionamientode losindicadoresestadísticosde la educacióntradicionalestales comolos datosde

141 RevistaComplutensede EducaciónVol. 12 Núm. 1(2001): 115-157

BernabéBartoloméMartínez Informesnacionalese internacionalessobreel Bajo rendimiento

escolarización,de gastosen educación,de recursos,etc. La Oficina de Plani-ficación y Estadísticadel Ministerio de Educaciónes la responsablede lostra-bajos de estegrupo en España.La RedA tiene como campode competencialos indicadoresde los resultadoseducativos,de modo especificoel desarrollode indicadoresen las áreasde conocimiento,destrezasy actitudesde los estu-diantes,que seanrelevantesparala política y que permitan la comparaciónválida entresistemaseducativosy a travésdel tiempo. Las redes13, C y O tie-nenrespectivamentecomoáreade actuaciónlas relacionesde la educaciónconel empleo, los procesosescolaresy las actitudesy expectativasfrentea la edu-cación.El INCE es el responsablede laparticipaciónespañolaen las redesA,C y D, y el InstitutoNacionalde Estadísticaen la Red13.

Antecedentese Historia

La RedA estableció,a partirdc 1992,unatriple línea dc actuación(Owen,I—Iodgkinson y Tuijnman, 1995). Por un lado, a corto plazo, ha venidopropor-cionandoregularmenteindicadoresde los resultadosde los alumnosparalasediciones de la publicación Education at a Glance (OECD, 1992b, 1993,1995c, 1996a,1996b, 1997a, 1997b) quees la vía fundamentaldc difusión delos resultadosde los trabajosdel proyectoINES.

Paraello, havenido utilizando conun cierto oportunismolos datosdispo-niblesde rendimientode losalumnosde losestudioscomparativosagranesca-la de la Asociación Internacionalpara el ProgresoEducativo (InternationalAssociationforEducationalProgress—IAEP—)en cienciasy matemáticas,dela AsociaciónInternacionalpara la Evaluacióndel RendimientoAcadémico(International Associationfor the Evaluation of EducationalAchievement—IFA—)en lectura,matemáticasy ciencias,y dc la agenciaStatisticsCanada(Statcan)en alfabetizaciónde adultos.

Por otrolado,a medioy largo plazo,ha llevadoacabodiversostrabajosdeinnovaciónparala producciónde indicadoreseducativosen dos áreas:la de losobjetivos educativos,a travésdel proyectoGOALS y la de las competenciascroscurriculares,a travésdel proyectoCCC.

Por último, ha desarrolladoun proyectocon el objeto de obtenerdatosderesultadosde los alumnos de una manerapermanentey sistemáticaqueper-mita el cálculo de indicadoresrelevantes,válidos y fiables, así comoel estu-dio de sus variacionesa lo largo del tiempo, de unamaneraregular,eficaz yeficiente,en la quesea adecuadala relacióncoste-beneficio.

142 RevistaComplutensede EducaciónVol, 12 Núm. 1(2001): 115-157


Estaúltima línea de actuaciónhace independientela producciónde indi-cadoresde rendimientode las investigacionesy estudiosllevados a caboporotras agenciasdiferentesde la OCDE. Los estudiosde otras agencias,talescomo la IAEP, la lEA o Statcan,han estadonormalmenteorientadoscon uncnfoquefundamentalmenteacadémicoy de investigaciónbásica,porlo quenohan estadodirigidos prioritariamentea la elaboraciónde indicadoresde utili-dadparalos encargadosde tomarlas decisionespolíticasen los diferentessis-temaseducativos.Adicionalmente,estosestudiosde otras agenciashan care-cido hastael momentode sistematicidady continuidaden el tiempo. Además,estasorganizacionescubrenun espectrode paísesque no es coincidenteconlos paísesde la OCDE y en muchasde sus investigacionesno ha participadola mayoría de susmiembros.

La idea de la implicación de la propia OCDE en la recopilaciónde losdatospermiterecurrira las fuentesde experienciarelevanteen el campode laevaluacióncomparadade los sistemaseducativos,a la vez que los paísesmiembros mantienenel control del proyectoa travésde la Red A, el Comitéde Educaciónde la OCDEy el Consejode Gobiernodel CERI, conel objetode que los resultadosde los estudiosproporcionenindicadoresde interésparalos gobiernosde los países,independientementede que los datospuedanserutilizadosposteriormenteparallevar a cabotrabajosconunaorientaciónmásdirigida a la investigacióneducativa.

A mediadosde 1994 la Red A designóun grupo de planificación parainiciar el procesode establecerlas basesy un borradorde la estrategiadeactuaciónde la Red A para la obtenciónsistemáticade datosque sirvan debaseparala elaboraciónde indicadoresde resultadosde los alumnos.Estegrupo de planificación inició el diseñodel proyectoen octubrede 1994 y,traslas revisiones,por partede los miembrosde la Red, de las distintasver-sionesdel proyectoque se elaborarona lo largo de 1995, 1996 y 1997, locompletócon las estimacionespresupuestarias,la definición de los procesosde implementacióndel proyectoy con la especificaciónde los términos dereferenciao pliegos de cláusulastécnicaspara su desarrollo. El proyectofinal (OECD, 1 997c) fue aprobadodefinitivamentepor la RedA, el Conse-jo de Gobiernodel CERI y por el Comité de educaciónde la OCDE en laprimaverade 1997.

El procedimientodiseñadoparalapuestaen prácticade las accionesenca-minadasa la obtenciónde datos implicaba la constituciónde un Consejo dePaísesParticipantes(Board of Participating Countries—BPC-—) en el pro-yecto. A finales de 1997 se constituyódicho Consejo,queaprobó el proyecto

143 RevistaComplutensede EducaciónVol. 22 Núm. 1(2001): 115-157


desarrolladopor la Red A y definió los procesosde seleccióndel consorcioencargadode la coordinacióninternacionaldel estudio.

Tras la evaluaciónde los proyectospor un comité de expertosdesignadopor el BPC,éste seleccionóal consorcioencabezadopor el Australian Coun-cii for EducationalResearch—ACER— para llevar a cabo la coordinacióninternacionaldc los trabajosduranteel primer ciclo del proyectoque abarcadel año 1998 al 2001,conbaseen supropuestaparala realizacióndel estudio(AustralianCouncil for EducationalResearch,1997).

Característicasbásicasdel proyecto

Objetivos

Los indicadoresdel rendimientode los alumnos proporcionana los res-ponsablesde la educaciónunosdatosque puedenservirde baseparala refle-xión sobrela eficaciay la eficienciade sussistemaseducativosy quepermi-ten compararel grado en que los sistemasde educaciónde los diversospaísessirvena sus estudiantes.Ademáscontribuyena la tareade rendircuentasa losciudadanossobreel estadoy la gestiónde la educación.Asimismo,propor-cionanuna baseparala toma de decisionespolíticas, parasupervisarcon unmecanismocomún los sistemaseducativosdescentralizadosy parafundamen-tar las reformaseducativasy lamejorade las escuelas,especialmenteen aque-líos casosen que las escuelaso los sistemaseducativosconrecursossimilareslogran resultadosmuy diferentes.

El interésy la preocupaciónde los ciudadanosy de los gobiernospor elcontrol de los recursosy por el contenidode la educaciónse ha complemen-tado conla consideraciónde los resultadoseducativos,lo queha contribuidoacambiarlas prioridadespolíticas y las prácticasde evaluaciónde los sistemaseducativosy de difusión de susresultados,por lo queactualmentelas evalua-cionesperiódicasde los resultadosde los alumnosson habitualesen muchosde los paisesde la OCDE, que difunden susresultadosde modo amplio parasuutilización por las administracioneseducativasy en el debatepúblico sobrela mejorade la calidadde la educación.

No obstante,las evaluacionesnacionalestienen un ámbito limitado porlo que, en consecuencia,sus conclusionesson también en cierto grado limi-tadas.Si se añadea estehechoque los mecanismosinternacionalesactualesse hanmostradoinsuficientese inadecuadosparala producciónde indicado-

Revislacomplutensede EducaciónVol. 12 Núm. 1(2001): 115-157

144


resde laeducaciónpoliticamenterelevantes,parecelógico configurarun sis-tema de nuevaplantaque permitaampliarel alcancede la evaluaciónedu-cativaproporcionandodatosen el contextointernacionaly que esté dirigidofundamentalmenteal servicio de las administracioneseducativasde los paí-ses.El enfoquedeestemecanismode producciónde indicadoresde resulta-dos de los alumnosdebeser lo suficientementeflexible parateneren cuen-ta los diferentes,y a vecescontrapuestos,interesesy condicionantesde lospaísesparticipantes,a la vez que se aseguranunosaltos estándaresde cali-dadcientíficade los procedimientosy de validezy significadode los resul-tados.

Princzftiosgenerales

Parael adecuadodesarrollodel proyectose ha establecidoun conjuntodeprincipios básicosen concordanciacon los cualesdebenllevarsea cabo lasactividadesparala producciónde indicadoresy la toma de decisionesa lo lar-go del desarrollodel proyecto.Estosprincipios se refieren a oncetemasfin-damentales:

— Fiabilidad, validezy comparabilidad.Los indicadores,los datosy losprocedimientosparasu obtencióny elaboracióndebenserválidos, fia-blesy susceptiblesde establecercomparacionesentrepaísesy a lo lar-go del tiempo.

— Orientación hacia un conjunto crítico de indicadores.La recopilaciónde datosde resultadosde rendimientode los alumnosdeberáser limi-tada pero suficiente para el cálculo de indicadores,en vez de estarorientadaa constituir unaevaluacióndirigida a la investigación.

— Autenticidady validezeducativa. Laspruebasutilizadasparala eva-luaciónde los rendimientoseducativosdeberánconstarde materialesque, ademásde tenerlas necesariaspropiedadescomoinstrumentosdemedida,poseanvalidez educativay seanauténticos,en el sentidodeque seanrequieranla ejecuciónde tareassimilaresa las actividadesque se realizanen las escuelas.

— Eficiencia. Seplanificaránlas actividadesde modo queseaposiblerea-lizarlas en los plazosestablecidosy en concordanciacon los recursosdisponibles,paralo que seránecesarioestablecerunaintensasupervi-sión administrativade proyecto.



— Coste-beneficio.Se planificaránlas actividadesde modo que se mini-micenlos costes,dadoslos recursoslimitadosde lospaíses.

— Calidad. La organizacióndel proyectodeberáorientarsea la consecu-ción de la máximacalidaden todossus procesosy elementos,paraloquese incluirán mecanismosde controtde calidaden todassusactivi-dades.

— Colaboración. La planificaciónde las actividadesdesarrolladasen elproyectodeberánincluir la colaboracióny representaciónen la realiza-ción de los trabajosdetodoslos paísesparticipantesen diferentestare-as y niveles. Asimismo, el proyecto debe proporcionarresultadosentérminosde transferenciade tecnologíabidireccionalentreel consorcioy los paísesparticipantesasí como entreestosúltimos.

— Equilibrio. Debeintentarselograrun equilibrioentrelas necesidadesdelos paísesy los requisitosde los análisis comparativosinternacionales.

— Rendiciónde cuentas.El proyectodebedefinir y asegurarla responsa-bilidaddetodoslos elementosimplicadosen elproyecto,tanto en cuan-to a la coordinacióninternacional como en cuanto a las actividadesnacionales.

— Propiedadde los datos. Todos los datosrecopiladosde carácterinter-nacionaldeberhacerseaccesiblesa los paísesparticipantesparala rea-lización de suspropios análisis.

— Metodologíapunta. El proyectodeberáutilizar los métodosmásavan-zadostanto en todos los aspectosde diseño,recopilacióny análisisdedatos,y producciónde informes,como en los mecanismosde gestiónde proyectosinternacionales.

Resultadosbósicos

El proyectose hadiseñadoconla ideade proporcionarcuatrotipos de pro-ducto.

El primer tipo de producto lo constituyenconjuntosde indicadoresfunda-mentalesqueproporcionaránun perfil básico de los conocimieíitos,destrezasy competenciasde los estudiantesen cadapais así como de los distintos sub-gruposque seande interés en función de sus característicassociales.

Estos indicadoresque se pretendenobtenerabarcanla evaluacióndc loscontenidos,los procesos,las actitudes,las conductasy los hábitosimbricadosen el contextode las áreasmás importantesde contenidodefinidasde modo

RevistoComplutensedeEducaciónVoZ. 12 Núm. 1(2001): 1 15-157

146


muy amplio, en vez de un modo restrictivo en el marcode una materiadeconocimientodefinida.

En concreto,los productosbásicosdel proyectoen cuanto al rendimientoacadémicoseránindicadoressobreel conocimiento,las destrezasy las com-petenciasde los estudiantesen lectura,matemáticasy ciencias.FI planinclu-ye proporcionarindicadoresde los niveles promediode rendimientoen cadapaíscadatres años,empezandoen el cuartoañodel proyecto(2001).Tambiénse produciránindicadoressobre la variacióny las disparidadesen el rendi-miento entrelos paísesy dentro de los paisesen estastres áreasde conoci-miento.

Los indicadoresde rendimientose presentaránutilizando dos metodologí-as. Por un lado, se utilizará una escalaestandarizadaaplicadaal conjuntodedatos de todos los países.El uso de ese tipo de escalaes fundamentalparacomprobarla significaciónestadisticade las diferenciasentrepaísesy de loscambiosen los rendimientosa lo largo del tiempo. En segundolugar, se utili-zará unadescripciónde los nivelesde rendimiento.Los nivelesde rendimien-to son fácilmentecomprensiblesy útilesporquelos resultadosse presentanentérminosde los porcentajesdealumnosquealcanzancadanivel de rendimien-to, definiendoestos niveles en términos de los contenidosque los alumnosconoceno de las habilidades,capacidadeso destrezasque poseen.

Dentro de las áreasevaluadasse proporcionaránindicadorespor subárcas.En el caso de la lectura, por ejemplo, se puedenanalizarpor separadolascompetenciasparalocalizar información,extraerla informaciónrelevantedelostextos, comprenderla lógicade losescritos,comprenderlosmensajessub-yacentes,construir una interpretación,ser capaz de elaborarrespuestasyreflexionespersonales,y llevar a cabouna lecturacrítica. En el caso de lascienciaspueden,por ejemplo, desarrollarsesubescalasparala fisica, la quí-mica o la biología. Los datosdescompuestospor subescalasse presentaránparacadaáreade contenidoqueconstituyael focoprincipal de evaluacióndecadaciclo, es decir, en el ciclo 1998-2001se produciránsubescalasparalalectura,en el ciclo 2001-2004paralas matemáticasy en el ciclo 2004-2007para las ciencias.

El segundotipo de productolo constituyeun conjuntode indicadorescon-textualesque reflejaránel modo en el que los resultadosde los estudiantesserelacionancon variables importantesde carácterdemográfico,social, econó-mico y educativo.Se incluirá, asimismo,un análisisde cuálesson las diferen-cias entrepaísesen cuantoa la relaciónde las variablescontextualesy el ren-dimiento, haciendoespecialhincapié en los temas de la igualdad de

RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): 115-157

147


oportunidadesparael accesoa la educacióny de las disparidadesen la rela-ción del rendimientocon las característicassocialesy económicasde los estu-diantes.

El tercertipo deproductoestaráformadopor indicadoresde las tendenciasde los resultadosa travésdel tiempo. Un aspectoimportantedel diseñodelproyectoes sucapacidaddepodersupervisarlas variacionesen los resultadosde los alumnosa travésdel tiempo, siendola naturalezacíclicadel proyectouno de sus puntosfuertes.Al recopilarsecada tres añosdatos sobrelas mis-masáreasde competenciase permitirá, utilizando las metodologíaspsícomé-tricasadecuadas,desarrollarindicadoresparaevaluarel cambio a lo largo deltiempo.Estáprevistoofrecertanto las tendenciasen cuantoa los rendimientosabsolutosde los estudiantes,mediantela utilización de escalasde rendimien-to, comolos rendimientosrelativosentrepaísesde los estudiantes.Puedecon-siderarseque la capacidadparamonitorizar los logros educativostanto demodoabsolutocomorelativoa lo largo de un periodoamplio de tiempoes unade las grandesinnovacionesqueintroduceesteproyecto.

Porúltimo, el cuartotipo de productoquese proponeobtenerconestepro-yectoconsistiráen unabaseamplia de datosquepermitirá llevar a caboanáli-sis ulterioresmásdetalladosbiendirigidos a la toma de decisionespoliticasobien al desarrollodel conocimientobásico en el campode la investigacióneducativa.Estáprevistodesarrollar,dentrodel propioproyecto,un plan de aná-lisis quepermitaobtenerresultadosquevanmásalláde la meraproduccióndeindicadoresdescriptivos.Paraello, en cadaciclo se recopilaráuna cantidaddeinformación limitada sobrelas caracteristicasy el contextode los alumnosyde las escuelas,teniendoespecialmenteen cuentalas prácticasinstruccionalesen el ámbito de la clasey los rasgosestructuralese institucionalesde lasescuelas.

Aunque es muy dificil prever el contenidode los análisisque permitiránlos datosrecogidos,se puedepensarquese podrán analizarlos temasrelacio-nadoscon las diferenciasde los sistemaseducativosy de la organizacióndelos centrosque estánrelacionadascon el rendimientode los estudiantes,conlasdiferenciasde rendimientoentrelos paísesen función de suscurrículay desus prácticasinstruccionales,con la proporciónde las variacionesen rendi-miento entreescuelasen cadapaísy entrelos países,con la capacidadde lasescuelasparapaliar o reforzar las relacionesentreel estatussocioeconómicooel sexo y el rendimientode los alumnos,o con las relacionesentrefactoresescolares,talescomoel tamañodel centro y susrecursos,y los nivelesde ren-dimientoalcanzados.

RevistaComplutensedc EducaciónVol. 12 Núm. 1(2001): 115-157

148

BernabéBartoloméMartinez Informesnacionalese internacionalessobreel bajo rendimiento

En resumen,estáprevisto incluir en el informe básico de resultados,trasuna exposicióndel contextoadecuadoparael análisisde los resultadoscom-parativosy de los perfiles de los sistemaseducativosparticipantes,indicado-res que describanlos patronesde rendimientoen y entrelos países,indicado-res que contribuyana explicar los patronesde rendimientoe indicadoresquereflejen las tendenciasen cuantoalos resultadosde los alumnosa lo largo deltiempo.

Instrumentos

Un aspectoespecialmenterelevantea teneren cuentaen un estudiointer-nacionalcomparativode estascaracterísticases el que se refiere a la equiva-lencia conceptualy psieométricade los instrumentos,tanto pruebasde rendi-miento comocuestionarios,unavez traducidosa los diferenteslenguajesen losque se administraránlas pruebas.Las previsionesiniciales hacenpensarqueseutilizarán al menosveinticuatro lenguasen la recopilaciónde los datos (Ale-mán,Castellano,Catalán,Coreano,Checo,Danés,Finlandés,Francés,Gaélico,Gallego, Griego, Holandés,Húngaro,Inglés, Islandés,Italiano, Japonés,Man-darín, Noruego, Polaco,Portugués,Ruso,Sueco,Valenciano,Vasco), algunasde ellas,probablementeel inglésy el castellano,en distintasvariaciones.

Con el objetode minimizar los problemasque se puedenderivarde la fal-ta de equivalenciaculturaly lingúisticase comprobará,a lahorade definir losmarcosconceptualesy los instrumentos,la adecuacióncultural de los mismos.Además,se prestaráespecialatencióna los procesosde traducción, realizán-dose al menosun doble procesode traduccióndirectamás una traduccióninversade los instrumentos,paraverificar su equivalencia.Asimismo,se lle-varánacaboanálisisestadísticosespecíficamentedirigidos averificar la equi-valenciade las pruebasen los diferenteslenguajesque incluirán la valoraciónde las discrepanciasen cuantoa la discriminaciónde los items, su ajustea losmodelospsicométricosy las interaccionesentrelos items y los países,asícomoen cuantoa susíndicesde lecturabilidad.

Pruebasde rendimiento

Parael desarrollode los instrumentosen cadauna de las áreasel diseñoprevédefinir un marcoconceptual,o matriz de especificaciónde las pruebas,



que defina y delimite los contenidosy capacidadesa evaluar. Los curriculanacionalesconstituiránuno de loscriterios, aunqueno el único, paradetermi-nar los contenidosde las pruebas.Con esta finalidad, se recopilaráinforma-ción detalladasobrelos currículay los programasde evaluaciónde los paísesparticipantesparaservir de fuente de informaciónpata el desarrollodel mar-co conceptualde las áreasa evaluar.

El desarrollodel marcoconceptualde la evaluaciónparacadaáreaimpli-ca el acuerdosobre la definición de dicho campo,de modo que se conozcaexplícitamentesu amplitud y los constructosteóricossobre los que se basa.Estemareoconceptuales el queproporcionaunaestructuraqueflindamentaeldesarrollode los instrumentosy la organizaciónde la presentaciónde losresultados.Paracumplir suobjetivo los marcosconceptualesdeben

1) reflejar la visión de los paísesparticipantesy de los expertosen cadacamposobrelas áreasevaluadas,

2) ser capacesde relacionar sus elementoscon hipótesis educativasycuestionesespecíficasde investigación,

3) teneren cuentalas característicasde lapoblacióna evaluar,4) definir el áreaen términosde contenidos,destrezasy procesos,5) especificarlos pesosrelativosde cadauno de los elementosconstitu-

yentesdel área,6) serlo suficienteespecíficosparaguiar el desarrolloy selecciónde las

preguntasde cadaprueba,así como los formatos de respuestade lasmismas,y

7) teneren cuentalas característicasde lospaisesparticipantesy las dife-renciasentreellos.

Sepretendediseñarlos instrumentosde modo quesucontestaciónno requie-ra más de dos horasde tiempo de administraciónde las pruebasa los alumnos,a la vez que se muestreansuficientescontenidosde cadaáreaparaestablecerestimacionesválidas y fiables y parapoder definir conprecisiónlos niveles derendimientode los estudiantesen cadaárea. Paraelíd, en la construcciónde laspruebasde rendimiento se utilizará el sistemade muestreomatricial (matrixsampling) de los contenidosdel marco conceptualde evaluación,ya que cstametodologíapermitepresentarun grannúmerode preguntasal conjuntoglobalde los alumnosaunquecadauno de elloscontesteaun subconjuntolimitado delos mismos.Los avancesen la teoríade la medidaen educacióny de los méto-dospsicométricosjunto con los desarrollosparasu aplicaciónprácticapermiten

RevistoCoonplulensedc EducaciónVol. 12 Núm. 1(2001): 1 l5-l57

150


obtenerconestosmétodosestimacionesfiablestanto en el nivel de losalunmoscomoen los niveles agregadosde clase,escuela,región y país.

Porello, se diseñarántres pruebasparala recogidade datosde rendimien-to académico.Una de ellas correspondienteal áreaprincipal y dos paralas áre-as complementarias.Ademásde incluir estaspruebascomponentesdirigidosala evaluaciónde las competenciaseroscurriculares,se diseñaránpruebasespe-cíficas parasuevaluación.Dado quela metodologíaparala evaluaciónde lascompetenciascroscurricularesse encuentraen un estadode desarrollo,siendoéstauna de las tareasprioritariasde la RedA del proyectoINES, el proyectoincorporaráprogresivamentelos avanceslogradospor la RedA en el diseñodelos instrumentosutilizadosen el proyecto.

No obstante,los instrumentosbásicosde evaluaciónparael primer cicloestaránconstruidosconunavisión comprehensivade las áreasevaluadasinclu-yendono solamentelos contenidossino los procesos,las actitudesy las con-ductasrelacionadasconellas.Por ejemplo, la evaluaciónde la lecturaduranteel primerciclo incluiráel análisisde diversospropósitoslectoresy tipos de tex-to, tales como la lecturaliteraria, la lecturaparael aprendizajey la lecturadedocumentosjunto conprocesostalescomola localizaciónde informaciónen undocumento,la comprensiónde los razonamientosexpuestosen los escritos,lacomprensiónde los mensajesimplícitos, el desarrollode interpretacionesy lavisión crítica de los textos. El estudio de las actitudesy las conductaspuedeincluir, por ejemplo,el análisisde los interesesy los hábitoslectores.

Asimismo,el proyecto incluye la realizaciónde trabajosde desarrolloeinnovaciónen el áreade la evaluaciónde las competenciascroscurricularesque se centraráinicialmenteen la definición y construcciónde un instrumen-to de evaluaciónde la capacidadde soluciónde problemas.

Laspruebasde rendimientose construiránapartirde los textos y pregun-tasaportadasporcadauno de los paísesparticipantesy seránrevisadasy selec-cionadaspor el conjuntode los órganosde la estructuradel proyecto.Lasprue-bas no contendránexclusivamentepreguntasde elección múltiple sino quecontendránuna partesignificativade preguntasabiertas,tanto parala lecturacomoparalas matemáticasy las ciencias.

Poblacióny muestrasa evaluar

Para la delimitaciónde la poblacióna estudiaren el proyecto,se han teni-do en cuentalas ventajasy desventajasdelas alternativasde definir la misma

151 RevistaComplutensede EducaciónVol. ¡2 Núm. l (2001): 115-157


en términosde edado de curso.Dadaslas grandesdiferenciasen la organiza-ción de los sistemaseducativoses muy dificil, si no imposible, llegar a unacuerdosobrela comparabilidadde los resultadostomandocomobaseun cur-so o grado escolar,debidofundamentalmentea las diferenciasen el inicio dela escolaridady enel desarrollocurricularde los diferentespaises.La delimi-tación de la poblacióna estudiaren términosde edadproporcionaun puntoestándarentodoslos países,aunquetieneel inconvenientede no tenerun refe-rente educativoespecífico.No obstante,la edad es claramentedefinible yfácilmentecomprensiblepor las audienciasa las quevan dirigidos los resulta-dos de los estudios.

Por ello, y dadoqueladefinición en términosde edadpermiteestablecerun puntode referenciaunívocoen el que se puedeevaluarla aportaciónacu-muladade los sistemaseducativos,se hatomadocomoelementobasedel pro-yecto la definición por edaden vez de por curso. Paralograr la comparabili-dadde losresultadostodoslospaisesevaluarána estudiantesde la misma edadque,unavez determinada,permaneceráfija parapermitir el estudiode las ten-denciasa lo largodel tiempo.No obstante,cl proyectopermite,aaquellospaí-sesque así lo deseen,establecercomouna opciónnacionalun muestreocom-plementarioque permita obtenertambién datos en términos de un cursoacadémicoque complementenlos obtenidosen términosde edad,dado que,aunquela muestrabasadaen la edadtiene ventajasde cara a las comparacio-nesinternacionales,no suelesermuy útil paraobtenerconclusioneseducativasaplicablesen el contextode la estructuraescolarconsiderandolos paísesindi-vidualmente.

La edadobjetivo del estudiose ha elegidotomandocomo criterio la edadmásaltaen la que la escolarizaciónen los paísesde la OCDE es prácticainen-te universal. En consecuencia,la poblaciónelegidaha sido la de los alumnosquecumplen15 añosen el añode obtenciónde datos(parael primerciclo quetomarálos datosen el año2000 serála cohortede alumnosnacidosduranteelaño 1 984),siendoestalaedaden la que la mayoríade los alumnosde los paí-sesmiembros de la OCDEterminansu escolaridadobligatoria.En el casodcquelospaísesquierantomardatossuficientesparaobtenerconclusionesrepre-sentativaspor curso,lógicamentedeberíaseraquélquecursela mayoríade losestudiantesque cumplen 15 añosen el año de la obtenciónde los datos.

La poblaciónde alumnosa estudiarincluye a todos aquellosestudiantes,de la edadseleccionada,queseancapacesde contestara las pruebasy a loscuestionariosbajo los mismosprocedimientosuniformes de administraciónde pruebas.Para ello, los paísesdeberándefinir un plan dc muestreoque

ResistaComplutensede Educ.-acici,,Vol. 12 Núm. (2001): lI5-l57

152


incluya, en principio, a todos los alumnosde la edadseleccionada.Podránexeluirse,dentrode determinadoslímites, los estudiantesque tenganotra len-guamaternadiferentedela lenguautilizadaen las pruebasy quehayan esta-do escolarizadosen la lenguade laspruebasdurantemenosde dosaños.Tam-bién se excluirán, bajo determinadosrequisitos, los estudiantesconnecesidadeseducativasespecialesque no seancapacesde respondera laspruebas.

Tareasfundamentalesen la implementacftmndelproyecto

Los elementosy pasosclave parael desarrollodel proyectose desarrolla-rán de modo simultáneoy complementarioen los niveles nacionale interna-cional. Las tareasde nivel internacionalson responsabilidaddel consorcioseleccionado,mientrasque las tareasde carácternacionalson responsabilidaddel NPM y del comité nacionalde cadapaís.

Las tareasfundamentalesde carácterinternacionala realizar duranteelprimer año del proyectose centranen:

1) el desarrollodel marco conceptualde la evaluacióny la definición delas especificacionesde laspruebas,

2) la recoleccióny revisión detextos parala pruebade lectura,3) la construcciónde los instrumentosparala pruebapiloto,4) la definición de los marcosmuestralesy5) la obtenciónde la muestraparala pruebapiloto.

Duranteel segundoaño la coordinacióninternacionaldel proyectorequie-re llevar a cabo

1) la publicaciónde los marcosconceptualesy las especificacionesde laspruebas,

2) la verificaciónde la traducciónde los instrumentosde la pruebapiloto,3) la preparaciónde losmanualesparala obtenciónde datos,4) organizary poneren prácticalos sistemasde control de calidadde la

pruebafinal,5) la recepción,control y procesamientode los datosrecibidosde lospaíses,6) el análisisde los resultadosde lapruebapiloto,

153 RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): 1l5-l57


7) la revisiónde los instrumentosen función de los resultadosobtenidosen la pruebapiloto y

8) la obtenciónde las muestrasparala pruebadefinitiva.

Los objetivos principalesque se persiguencon la recopilaciónde datossobrelas pruebasy los cuestionariosen la pruebapiloto son:

1) seleccionarlas preguntaspara el estudiofinal, tanto paralas pruebascomoparalos cuestionarios(se prevéprobarenla pruebapiloto apro-ximadamenteun númerotresvecessuperioral de preguntasnecesariasen la pruebafinal,

2) comprobarla adecuaciónde las subescalas,3) seleccionarel modelode la Teoría de la Respuestaal Item másapro-

piadoparael análisisde los datos,4) comprobarla correctaimplementacióndel diseñode rotación de prue-

basde rendimientoy5) detectarcualquierproblemaen las operacionesde administraciónde

las pruebasy de preparaciónde los ficherosde datos.

El sistemainternacionalde control de calidadprevé, ademásde supervi-sarlos procesosde administraciónmediantela valoraciónde las tasasderes-puestay de la adecuacióny fidelidadde la aplicaciónde las normasde mues-treo, visitar un 25% de las escuelasexaminadas,tanto en la pruebapilotocomo en la pruebafinal, con el objeto de mejorar los procedimientosdeadministraciónde las pruebasy proporcionarevidenciade la probabilidaddeque se produzcandesviacionesde los procedimientosestablecidosy de sueventualmagnitud.

El terceraño requerirá:

1) verificar la traducciónde los instrumentosfinales2) prepararlos manualesdefinitivos para la administraciónde las prue-

bas,3) organizary poneren prácticalos sistemasde control de calidadde la

pruebafinal,4) recibir, controlary procesarlos datosfinales de los paises,5) construirla basede datos internacional,6) computarlos pesosparacadaestratoy cadapaís,7) llevar a cabola construcciónde las escalasy


154


8) prepararlas tabulacionesde datosbásicasy los informespreliminares

de resultados.

A lo largo del cuartoaño la coordinacióninternacionalse centraráen:

1) llevar acabolos análisisde datos,2) prepararla documentacióntécnicay3) colaboraren la obtencióny cálculode los indicadores,así comoen el

asesoramientoparalapresentación,difusión y publicaciónde losresul-tadosdel estudio.

Duranteel desarrollodel ciclo la coordinacióninternacionalserátambiénresponsablede la organizacióny celebraciónde las necesariasreunionesdelos responsablesnacionalesdel proyecto (National Project Managers—NPMs—),el Grupo TécnicoAsesor(TechnicalAdvisory Group —TAO—)y los gruposfuncionalesde expertos.Asimismo,se llevarán a caboconsultasperiódicase individualizadasconcadauno de los paísesparticipantescon elobjeto de supervisary validar sus procedimientosde implantacióndel pro-yecto,especialmenteen lo que se refierea la inclusión de opcionesnaciona-les y a su diseñomuestralespecíficocon el objeto de que no se pierda lacoherenciadel diseñodelestudioni sepongaenpeligro la comparabilidaddesus resultados.

En el nivel nacional,los paísesgozande un amplio margenparaorganizarlas actividadesquedebendesarrollar.Básicamente,los paísesparticipantessonlos responsablesde la realizaciónde todas las operacionesnecesariasparalarecolecciónde los datos.

Duranteel primer año del proyectolos paísesparticipantesdeberán:

1) nombrarsuNPM y el comiténacional,2) sugerirespecialistasparasu incorporacióna los gruposfuncionalesde

expertos,3) proporcionartextosparala construcciónde la pruebade lecturae items

paralas pruebasde matemáticasy ciencias,4) proporcionarla documentaciónnecesariaparala definición de los

marcosmuestrales,5) traducir los instrumentosde la pruebapiloto y6) cooperarconel consorcioparaplanificar el estudioy definir la mues-

tra de la pruebapiloto.

RevistaComplutensede EducaciónVol. l2 Núm. 1 (200l): 115-l57

155


Lastareasfundamentalesa lo largo del segundoaño se ceutraránen:

1) lograr la cooperaciónde las escuelasparala pruebapiloto,2) traducir los manualesde administración,3) revisary editar los instrumentos,4) llevar acabosesionesde entrenamientoparalos administradoresde las

pruebas,5) organizarlaadministraciónde laspruebasen su ámbito de competencia,6) preparary procesarlos datosnacionales,‘7) traducir los instrumentosparala pruebafinal,8) mantenerla cooperacióncon el consorciopara la planificación del

estudioy definir la muestraparala pruebafinal.El tercerañorequeriráde los paísesparticipantes:1) obtenerla cooperaciónde las escuelasparala pruebafinal,2) revisary editarlos instrumentosfinales,3) llevar a cabosesionesdeentrenamientoparalos administradoresde las

pruebasdefinitivas,4) organizarla administraciónde las pruebasdefinitivas,5) corregiry codificar las pruebasy6) preparary procesarlos datosfinales nacionales.

Porúltimo, la implicaciónde los paísesduranteel cuartoañoestarádirigida a:

1) colaboraren la elaboraciónde los informesy

2) revisary autorizarla publicaciónde los datosnacionales.

Asimismo,duranteel cuartoañode un ciclo se iniciarán las actividadesdelciclo siguiente,lo queimplica la realizaciónde nuevode las tareasespecifica-dasparael primer año.

A lo largo de todo el procesodel estudiolos representantesde los paisesdeberánparticipar en el BPC y en las reunionesde trabajo de los NPMs,asícomo proporcionarespecialistasparalos gruposfuncionalesde expertosparael siguienteciclo de estudios.

Estructuray gestióndel proyecto

El modeloorganizativopropuestorequiereel trabajoconjuntode los paí-sesparticipantesy el Secretariadode la OCDE, configurandosela estructura

RevistoComplutensedeEducaciónVol. 12. Núm. 1(2001): 1 l5-l57

156


organizativay el conjuntodetrabajosa realizarcomoun proyectodescentrali-zadodentrodel mareolegal y financierode la OCDE. Los paísesparticipan-tesson los responsablesde la definición de los objetivosde alto nivel a travésde suparticipaciónenel Comitéde Educación,en el Consejode GobiernodelCERI y en la RedA.

Partic¡~ación de lospaíses

Aunque,en principio, el proyectoha sido diseñadoparasu aplicaciónenlos paísesmiembrosde la OCDE,sudiseñopermite la incorporaciónde otrospaísescadanuevociclo o en momentosespecíficosdel desarrollode las acti-vidadesde un ciclo del proyecto,en concreto,al comienzode cadaciclo, trasel procesode adopciónde los marcosconceptualesy tras la realizaciónde lapruebapiloto pero antesde la implementacióndel plan de muestreo.

Dadoel interésque el proyectoha despertadoen otros países,estáprevis-ta la incorporación,ya duranteel primer ciclo del proyecto,de algunospaísesque no son miembrosde la OCDE. En concreto,se prevéque en el primerciclo de estudiosparticipen27 de los 29 paísesmiembrosde la OCDE (Ale-mania,Australia, Austria, Canadá,Bélgica, Corea,Chequia,Dinamarca,Espa-ña, EstadosUnidos, Finlandia, Francia,Grecia, Holanda,Hungría, Islandia,Irlanda,Italia, Japón,Luxemburgo,México, Noruega,NuevaZelanda,Polonia,Reino Unido, Sueciay Suiza) y al menos tres países(Brasil, China y Rusia)no incluidos en la organización.Lasperspectivassobreel futuro auguranunaexpansiónmuy significativadel proyectoentérminosde númerodepaísespar-ticipantesduranteel segundociclo del mismo.

RevistaComplutensedeEducaciónVol. 12 Núm. 1(2001): 1 l5-l57

157

informes nacionales e internacionales sobre el bajo rendimiento · 2017-04-29 · na monográfica...

Documents