evaluacion desempeno lectura escritura primaria

7/21/2019 Evaluacion Desempeno Lectura Escritura Primaria

1/22

vista mexicana de investigacin [email protected] (Versin impresa): 1405-6666XICO

2004Aldo Bazn Ramrez / Sandra Castaeda Figueiras / Silvia Macotela Flores /

Mercedes Lpez ValenzuelaEVALUACIN DEL DESMPEO EN LECTURA Y ESCRITURA. APORTES

EMPRICOS A LA NOCIN DE COMPONENTES LINGSTICOS EN EL CUARTOGRADO DE PRIMARIA

Revista mexicana de investigacin educativa, octubre-diciembre,ao/vol. IX, nmero 023

COMIEDistrito Federal, Mxico

pp. 841-861
mailto:[email protected]://www.redalyc.com/mailto:[email protected]


2/22

Revista Mexicana de Investigacin Educativa 841

EVALUACIN DEL DESEMPEOEN LECTURA Y ESCRITURA

Aportes empricos a la nocin de componentes lingsticosen el cuarto grado de primariaALDO BAZN RAMREZ / SANDRA CASTAEDA FIGUEIRAS /

SILVIA MACOTELA FLORES / MERCEDES LPEZ VALENZUELA

Resumen:Se evaluaron 139 nios de Sonora, Mxico, de cuarto grado de primaria denueve escuelas pblicas, con un instrumento de 12 series de ejercicios agrupa-dos en tres componentes lingsticos: reflexin sobre la lengua, lectura y escri-tura, derivados del plan y programas de estudios del espaol y los libros detexto gratuito para el cuarto grado de primaria. Los resultados muestran que elinstrumento de evaluacin posee validez convergente y divergente de constructo.Los resultados se discuten con base en los hallazgos obtenidos en un estudioanterior cuando los mismos nios estaban concluyendo el tercer grado de pri-maria (Bazn et al., 2004).

Abstract:139 fourth graders from nine public elementary schools in Sonora, Mxico,were evaluated by means of a test of twelve series of exercises grouped in threelinguistic components reflection on language, reading and writing derivedfrom the plan and programs of study for Spanish, and from the free text booksfor the fourth grade. The results show that the test has convergent and divergentvalidity of the construct. The discussion of the results is based on the findingsfrom a previous study carried out when the same children were finishing thethird grade (Bazn et al., 2004).

RMIE, OCT-DIC 2004, VOL. 9, NM. 23, PP. 841-861

Investigacin temtica

Aldo Bazn es profesor- investigador, titular Bde tiempo completo, del Departamento de Psicologa del Ins-tituto Tecnolgico de Sonora. Cinco de febrero 818 sur, CP02410, Ciudad Obregn, Sonora. CE:[email protected], [email protected]

Sandra Castaeda y Silvia Macotela son profesoras titulares Cde tiempo completo, de la Divisin de Inves-tigacin y Posgrado de la Facultad de Psicologa de la UNAM.

Mercedes Lpez es profesora auxiliar del Departamento de Psicologa del Instituto Tecnolgico deSonora.


3/22

Consejo Mexicano de Investigacin Educativa842

Bazn et al.

Palabras clave:evaluacin del aprendizaje, educacin bsica, lectura, escritura,

modelos estructurales.Key words:evaluation of learning, elementary education, reading, writing, structuralmodels, Mexico.

a evaluacin del aprendizaje es un tema que an genera desacuerdosentre los especialistas y estudiosos de los problemas educativos, as

como resistencias por parte de los maestros, directores de escuela y fun-cionarios educativos. Una de las razones de esta problemtica ha sido con-fundir la evaluacin de resultados del proceso de enseanza-aprendizajecon el uso, casi exclusivo, de tests psicomtricos o de otras pruebasestandarizadas.

Al menos, son cinco los elementos que cuestionan la eva luacin delaprendizaje escolar slo a travs de la aplicacin de instrumentos estandarizados,bateras y tests:

1) miden las ejecuciones de los nios en situaciones artificiales apli-cando arbitrariamente estndares o criterios de desempeo;

2) omiten el uso de textos y elementos significativos para el nio y nofomentan el desarrollo de la capac idad crtica y creativa, ni el mane-jo de relaciones abstractas;

3) generan confusin de lo que es evaluacin del desempeo acadmicocon el uso y calificacin de tests e instrumentos psicomtricosper se;

4) reducen la prctica educativa a la elaborac in, aplicacin e interpre-tacin de datos; y5) sirven para determinar la promocin a grados o niveles educativos,

o para determinar la aceptacin o rechazo del aspirante (Daz Ba-rriga, 1993; Guillet y Temple, 1986; Fernndez Ballesteros, 1997;Ferreiro, 1999).

Concretamente, la confusin radica en que, en lugar de evaluar el apren-dizaje, lo que se hace es medirlo a travs de la ejecucin de los evaluadosen tests o pruebas estandarizadas, con una marcada incidencia de la tradi-cin psicomtrica. Por ejemplo, de ninguna manera se puede afirmar que

se evala el aprendizaje de un estudiante exclusivamente con su ejecucinen una prueba estandarizada de 20 o 30 preguntas.El malestar, entonces, no apunta al uso en s de los instrumentos sino al

que se hace de los resultados, as como a los problemas de validez ecolgica

L


4/22


Evaluacin del desempeo en lectura y escritura

de los instrumentos que, muchas veces, incluyen actividades muy ajenas aeventos significativos y familiares a las situaciones de aprendizaje, espe-cialmente cuando fueron elaborados para evaluar a nios de otros pases ode conocimientos y habilidades de otras lenguas. Por ello, un primer as-pecto que se debe delimitar es lo que implica una evaluacin del aprendi-zaje y la medicin como un elemento del proceso evaluativo.

La evaluacin del aprendizaje es un proceso que implica decidir, conbase en supuestos tericos y los objetivos establecidos, el procedimiento,los instrumentos as como las condiciones para recoger informacin deldesarrollo y logro de los objetivos del proceso de enseanza-aprendizaje;definir el tipo de anlisis de la informacin recogida, as como asumirjuicios de valor. Es decir, se trata de un proceso de obtencin de informa-cin y de su empleo para formar juicios que conducen a la toma dedecisiones (TenBrink, 2002), que es lo que permitir valorar los conteni-dos del aprendizaje (por ejemplo, programas temticos), la forma en quelos estudiantes aprenden, as como la identificacin de las relaciones en-tre los sujetos y los contenidos que participan en el proceso educativo(lvarez, 2001).

De acuerdo con Reimers (2003), esta evaluacin es una forma par-ticular de investigacin educativa, que se ocupa de describir y explicardiversos aspectos que inciden en las oportunidades de aprendizaje, paralo cual se relacionan distintos resultados educativos con los factores que

influyen en el aprendizaje de los alumnos, y estas relaciones se utilizanpara proponer o establecer la efectividad de programas o polticas quepodran afectar estas condiciones.

Por otra parte, el especialista en evaluacin busca recoger evidenciasen relacin con las caractersticas y propiedades de los fenmenos queestudia como es el caso del aprendizaje escolar y para ello, por lo ge-neral, utiliza una serie de instrumentos y herramientas que le permitencontar con una mejor descripcin de las propiedades relevantes de suobjeto de estudio (Fernandez-Ballesteros, 1997). Estas propiedades o atri-butos de los objetos y eventos se expresan a travs de la definicin deconstructos que pueden ser identificados en la respuesta de los estu-

diantes en una prueba (Martnez y Moreno, 2002), o en la interaccinde los alumnos con eventos u objetos en situaciones especficas, o bien,en los resultados esperados al disear y aplicar programas educativos.Cuando se asignan valores (puntuaciones numricas) a esas caractersticas


5/22


Bazn et al.

o propiedades representadas en constructos o indicadores, se dice que seest midiendo un comportamiento.

Es conveniente sealar que la medicin obtencin de valores slo esuno de los elementos que el especialista debe tomar en cuenta al evaluaranalizar el aprendizaje de los estudiantes en un determinado periodo,en ciertos contenidos temticos, o bien, en situaciones concretas de apren-dizaje. Precisamente, la elaboracin y/o uso de instrumentos para la eva-luacin de resultados implica que tales instrumentos recojan evidenciasconfiables acerca de las propiedades y atributos definidos tericamente,de tal modo que permitan obtener valoraciones flexibles de las diferen-cias individuales del desempeo en actividades cercanas al mundo realde los nios, as como captar, de manera genuina, el grado de dominioen actividades de lectura y escritura, de suposiciones, inferencias y de-ducciones matemticas o habilidades cientficas bsicas.

De igual manera, el incremento del inters en la medicin de re-sultados de aprendizaje tambin demanda el nfasis en los criterios dela validez, tanto de los instrumentos como de los constructos impli-cados en la medicin, as como del proceso mismo de la evaluacin deaprendizajes.

Una forma de evaluar el aprendizaje garantizando validez ecolgicaes elaborar y validar instrumentos tomando en cuenta tanto los planescomo los programas de estudio, las actividades, aquellas situaciones de eva-

luacin implicadas en los libros de texto, as como los materiales de apoyoque se utilizan masivamente en el sistema educativo. Todo esto bajouna concepcin global sobre la similitud entre las condiciones en lasque el nio aprende, en las que ejercita estas competencias y las situa-ciones de evaluacin; enfatizando la valoracin del logro de los estu-diantes mediante pruebas o situaciones basadas en el currculum (Baznet al., 2004; Carrasco, 2003; Lpez y Rodrguez, 2003; Martnez ySchmelkes, 1999).

Por otra parte, tambin cabe destacar que en las dos ltimas dcadasla evaluacin del aprendizaje ha tenido grandes cambios, mismos quealientan su desarrollo como un rea necesariamente ligada con una teo-

ra que sustente tanto los mtodos de medicin utilizados como las ca-ractersticas y propiedades a evaluar (Cole, 1993; Mislevy, 1993), talesson los casos de la evaluacin adaptativa y la modelizacin generativa derespuestas.


6/22



En la evaluacin adaptativa las pruebas no se disean con un carcterfijo para todas las personas sino que, ms bien, los reactivos se seleccio-nan de un banco a partir de la informacin inicial, misma que se obtienemediante el nivel de dominio de la habilidad o conocimiento que se p re-tende evaluar (Castaeda et al., 1993). Por su parte, la modelizacingenerativa de respuestas supone una aproximacin al diseo de pruebasdesde la validacin de constructos, donde los tems son generados con-juntamente con la estimacin de sus parmetros psicomtricos en fun-cin de los intereses de evaluacin de cada ocasin (Bjar, 1993; Martnezy Moreno, 2002).

Tales constructos descriptivos o interpretativos se derivan de eventosy de situaciones concretas y, por lo tanto, estn sujetos a criterios devalidez y de significancia, puesto que stos no son arbitrarios ni sonimpuestos sobre los eventos por influencia de la tradicin o capricho(Kantor, 1978). Tal proceso de hacer explcita una palabra abstracta entrminos de variables observables se conoce como validacin del constructo.De tal manera, bajo este supuesto es posible emplear una o ms medi-das cuyos resultados se generalicen a una clase ms amplia de indicadoresque, legtimamente, empleen el mismo nombre o constructo (Nunnallyy Bernstein, 1995).

De este modo, la validez de constructo se refiere a la garanta de quelas variables empricas son indicadores adecuados del concepto o mode-

lo terico a ser evaluado, sin embargo, las evidencias obtenidas al anali-zar la estructura de los constructos particulares slo desc riben la utilidadde la teora o enfoque con respecto a los mismos y no evalan la verdad deuna teora en s, ni permiten decir que los eventos o acontecimientossobre los que se elaboran sean, en s mismos, constructos (Kantor, 1978;Nunnally y Bernstein, 1995).

Retomando lo anterior, y con base en los planteamientos de Martnez yMoreno (2002), se puede considerar que la elaboracin y/o aplicacin deinstrumentos para medir y evaluar el aprendizaje se encuentra necesaria-mente relacionada con la teora que subyace a dichos instrumentos y a losconstructos o variables que el especialista pretende medir, e implica tres

condiciones necesarias:

1) delimitacin terica del constructo a medir a partir de la abstrac-cin de alguna propiedad de los objetos o fenmenos bajo estudio;


7/22


Bazn et al.

2) desarrollo de un diseo de observacin o recoleccin que operativicela nocin terica respecto de dichos constructos mediante la cons-truccin de un instrumento de medicin; y

3) aplicacin de modelos matemticos para obtener medidas de la pro-piedad o constructos a partir de la ejecucin de determinadas ta-reas o respuestas recogidas con los instrumentos.

Las tres condiciones anteriores son elementales e insustituibles paraaportar indicadores valiosos en la evaluacin del aprendizaje. Un ins-trumento basado en complejos sistemas informticos para la recolec-cin y/o anlisis estadsticos sofisticados, pero desligados de una teorao modelos tericos que la sustenten, poco podr contribuir a la conso-lidacin de una teora de la evaluacin, y a una pr ctica evaluativa in-tegral que permita conocer, por lo menos, una buena par te del aprendizajede los estudiantes.

En este estudio se analiza la validacin de constructo de un instrumen-to de evaluacin elaborado con base en el documento Programas de estudiode espaoly las actividades incluidas en los libros de texto gratuito en elcuarto grado de primaria. Cabe mencionar que en la enseanza y aprendi-zaje del espaol en los seis grados de primaria en Mxico, los contenidos yactividades son organizados en cuatro componentes: expresin oral, lectu-ra, escritura y reflexin sobre la lengua (Gmez Palacio y Martnez, 2000;

SEP , 2000 a y b).Un antecedente directo es el estudio de Bazn et al. (2004), quienesevaluaron a 235 nios de Sonora y a 92 del Distrito Federal, con un ins-trumento de 17 series de ejercicios agrupados en tres componentes (re-flexin sobre la lengua, lectura y escritura). Utilizando anlisis factorialexploratorio y confirmatorio, los autores slo obtuvieron un modelo dedos componentes (reflexin-lectura y escritura) y nicamente fueron con-firmadas 12 de las 17 series de actividades.

Derivado del hallazgo anterior, en la presente investigacin se buscobtener validez, tanto convergente como divergente, de constructo deun instrumento para evaluar el dominio de la lengua escrita en el cuarto

grado de primaria, en 12 series de ejercicios, agrupados en tres compo-nentes lingsticos: reflexin, lectura y escritura, con ejercicios muy si-milares a las 12 series utilizadas para evaluar competencias lingsticasen el tercer grado.


8/22



Debido a la gran similitud de los contenidos que la Secretara de Edu-cacin Pblica considera para el tercer y el cuarto grados, el instrumentopara ambos debe evaluar competencias similares pero en niveles de com-plejidad distinta. Es decir, a pesar de que analizan las mismas competen-cias, los dos instrumentos deben variar en el nivel de complejidad que sedemanda de los nios en cada grado escolar. De tal manera, para lograresta diferencia cualitativa, se consideraron dos aspectos fundamentales:

1) incluir ms elementos en la tarea o ejercicio que se expone al nio,es decir, un criterio ms cuantitativo o referido a aspectos morfo-lgicos, y/o

2) incluir en la tabla de categoras criterios de logro ms elevados parala serie en cuestin, es decir, criterios que enfatizan el aspecto cuali-tativo o el nivel de complejidad funcional en que se espera se ejecutela tarea.

Mtodo

Participantes

De los 167 nios provenientes de nueve grupos escolares de Ciudad Obregn,Sonora, quienes fueron evaluados en el estudio de Bazn et al.(2004), enesta investigacin slo fueron incluidos 139 nios, los cuales llegaron has-ta el ltimo bimestre del cuarto grado de primaria, tuvieron al menos 60%

de asistencia en el ao escolar 2002-2003 y cuyos padres completaron lainformacin sobre apoyo e inters familiar solicitados para otro estudiorealizado con estos nios y sus familias.

El 48% de los part icipantes fue ron varones (66) y el porcentaje restan-te mujeres (73). En cuanto al promedio de edad, 27% (37) de los parti-cipantes tena un promedio de nueve aos; 68% (95) uno de 10 aos y5% (7) de 11 aos de edad.

Instrumento

El proceso de construccin del instrumento consisti en delimitar lascompetencias que los nios deban mos trar, los indicadores de ejecucin

y los criterios de evaluacin para cada competencia, en tres componen-tes: reflexin sobre la lengua, lectura y escritura as como sus subcomponentes(reflexin sobre los cdigos de comunicacin oral y escrita, compren-sin lectora, produccin de textos, funciones de la escritura).


9/22


Bazn et al.

Con apego a los programas de estudio de espaol y los libros tanto parael maestro como el de texto considerados para el cuarto grado de prima-ria, se elabor una variedad de ejercicios para cada una de las 12 compe-tencias formando, de esta manera, 12 series de ejercicios o actividades.Esta primera versin fue presentada a dos especialistas en enseanza deespaol, lo que sirvi para modificar algunas actividades y complementarotras. Cabe mencionar que en el libro de texto de cuarto grado ( SEP,2000b) no se incluyen actividades para la competencia escribir sonidosde animales a partir de un ejemplo, en contraste con el libro de texto detercero. De esta forma, para que la evaluacin en cuarto pudiese incluirlas mismas 12 competencias resultantes cuando los nios fueron evalua-dos en tercero, se construyeron ejercicios en esta competencia, parecidosa los utilizados en ese grado, aunque con mayor nivel de complejidad.

Posteriormente, el instrumento fue aplicado a una muestra piloto con-formada por 156 nios del segundo bimestre de quinto grado. Los evaluadorestomaron nota de los problemas o dudas ms frecuentes de los nios conel propsito de mejorar las instrucciones o aquellas actividades dondelos alumnos tenan problemas, no entendan o se confundan. Con ex-cepcin de la quinta serie conformada por actividades de responder cuatropreguntas a partir de un texto informativo en todas las series se obtu-vieron ndices de consistencia interna superior a 0.69. Si embargo, no seencontr validez de constructo al analizar estos datos con un programa

de ecuaciones estructurales. Un anlisis profundo de estos hallazgos condujoa concluir que una de las razones principales se centra en la dificultad dediscriminacin o divergencia de las 12 series de actividades con respectoa los componentes o factores.

Con base en las observaciones de las especialistas, los resultados yobservaciones en la prueba piloto, se redisearon el instrumento, la ta-bla de categoras y la hoja de registro. Una de las ventajas de este instru-mento es que cada serie de ejercicios, por cada categora o competencia,incluye al menos dos actividades, mientras que ninguna serie contienems de cinco.

ProcedimientoEn los meses de mayo y junio de 2003, dos evaluadores por cada grupoescolar aplicaron, de manera colectiva, el instrumento a los 139 nios, endos sesiones de una hora de duracin cada una. Se aseguraron de que


10/22



todos los alumnos comprendieran las instrucciones escritas antes de darinicio a los ejercicios del instrumento y deban proporcionar apoyo a losestudiantes cuando se identificaba que tenan algn problema o duda.

Categorizacin

Se consider como categora a cada una de las competencias que, de acuerdocon los planes y programas de la SEP , se pretende lograr en cada compo-nente o bloque. Cada una incluy al menos dos series de actividades, cri-terios especficos de logro para definir los requisitos mnimos de la ejecucinque responde a la demanda de la tarea (competencia) y la valoracin de lasrespuestas en trminos de asignacin de puntajes. La escala de calificac inde la ejecucin empleada fue desde 0 actividad no realizada, la respuestano presenta ninguno de los criterios de logro especificados hasta 4 reali-zacin de la actividad cumpliendo todos los criterios de ejecucin.

Anlisis de datos

Para obtener indicadores de consistencia interna del instrumento se obtu-vieron ndices alpha de Cronbach por cada una de las 12 series de activi-dades; posteriormente, se obtuvo el ndice general de consistencia internadel instrumento tomado con base en los promedios obtenidos en cada se-rie despus de eliminar los ndices inferiores a 0.40; es decir, se considera-ron los ejercicios con mejores ndices de consistencia interna. En el caso

de series con dos, se tomaron ambos ejercicios para obtener los promedioso ndices por cada serie.Estos promedios de cada serie fueron ingresados como indicadores

en la base de datos del programa EQS6 (Bentler y Wu, 2002), con lafinalidad de obtener indicadores de validez, tanto divergente como con-vergente, de la evaluacin del cuarto grado de primaria con 12 seriesagrupadas en tres componentes.

Se propuso un modelo hipottico acerca de cmo se organizaran las eje-cuciones de los nios en tareas de reflexin sobre la lengua-lectura y escritu-ra (ver figura 1) y se busc probarlo a travs del anlisis factorial confirmatorio.Precisamente, una estrategia til para poner a prueba modelos hipotetizados

comparndolo con datos empricos y analizados sistemticamente es elanlisis factorial confirmatorio (AFC) (Byrne, 1994; Loehlin, 1992), mismoque permite determinar, de manera simultnea, validez convergente y di-vergente de constructos.


11/22


Bazn et al.

FIGURA 1

Modelo hipottico de anlisis factorial confirmatoriode 12 series de ejercicios en tres componentes

Componentes Serie de ejercicios Error

por competencia asociado

E2

E3

E4

E5

E6

E7

E8

E9

E10

E11

E12

E13

Reflexin/lengua

Lectura

Escritura

Transformar oraciones

Concordancia de gneros

Sonidos de animales

Usos del orden alfabtico

Comprensin texto informativo

Escribir inicio de cuentos

Inventar y escribir cuentos

Escribir anuncios

Resumir texto informativo

Comprensin texto narrativo

Escribir sobre experiencias propias

Comunicar opininsobre responsabilidades


12/22



Resultados

En lo que se refiere a la consistencia interna del instrumento, en la tabla 1 sedescribe el ndice de alpha de Cronbach obtenido en cada serie de actividades.La quinta serie conformada por actividades de responder cuatro pregun-tas a partir de un texto informativo fue la que obtuvo el coeficiente msbajo (0.53) en relacin con las otras 11, mismas que obtuvieron ndices deconsistencia superior a 0.62.

De acuerdo con esta tabla, si se elimina la actividad 2 (RORAC2) de laprimera serie, su consistencia general mejora notablemente (0.63) y, sise elimina la primera actividad de la tercera serie ( RSONI1), su consis-tencia general tambin se incrementa (0.68). Por ello, en anlisis poste-

riores se eliminaron estos dos ejercicios. El ndice general de consistenciainterna del instrumento tomando como indicadores el promedio obteni-do en cada una de las 12 series fue 0.73.

Por otra parte, no fue confirmado el modelo que supone que las 12 series deejercicios se organizan en tres componentes lingsticos; en cambio, slo seobtuvo uno de dos: reflexin y lectura-escritura, que se muestra en la figura 2.

El modelo resultante tiene bondad de ajuste (chi cuadrada = 69.46,P = 0.08, indicador prctico de bondad de ajuste CFI=0.90) y permiteidentificar la configuracin de dos grupos de factores relacionados conlos componentes lingsticos y sus respectivos indicadores (series de ejercicioso variables). Con excepcin de la serie reflexin sonido de animales (RSONI),

todas recibieron pesos factoriales significativos de su respectivo factor ocomponente lingstico.Lo anterior denota que la evaluacin de la lengua escrita en el cuarto

grado de primaria, en dos componentes lingsticos, tiene validez conver-gente de constructo. Asimismo, la covarianza entre los dos componentes(constructos o variables latentes) es moderadamente significativa pero infe-rior a los pesos factoriales entre los componentes y sus indicadores (com-ponentes y series de ejercicios), lo anterior quiere decir, adems, que elinstrumento permite evaluar en dos componentes lingsticos diferentes.

Al igual que cuando estos estudiantes fueron evaluados al final del tercergrado, en cuarto se obtuvo un instrumento de dos componentes, con buena

validez convergente y divergente de constructo, pero dos variables (lecturade textos informativos y lectura de textos narrativos) que en tercero forma-ban parte del componente reflexin sobre la lengua-lectura; en cuarto gradose agruparon junto con indicadores del componente escritura.


13/22


Bazn et al.

Serie de ejercicios(competencias)

Transformacin de oraciones yapreciacin del cambio en el sentido

Uso de la concordanciade gnero, nmero, personay tiempo en las oraciones

Interpretacin y uso de palabras

y frases a partir del significadosintctico-semntico

Conocimiento del alfabetoy uso del orden alfabtico

Comprensin de texto informativo

Comprensin de un texto narrativo

Escribir un resumen a partirde la lectura de un texto informativo

Composicin de cuentos (iniciar)

Composicin de cuentos (escribir)

Elaboracin de textos informativos

Relato escrito de experiencias

Escritura para comunicarsentimientos, opinin y justificacin

Si se excluyela tarea

RORAC1RORAC2RORAC3RORAC4RORAC5

RGENE1RGENE2RGENE3RGENE4

RSONI1

RSONI2RSONI3RSONI4RSONI5

RORDEN1RORDEN2RORDEN3RORDEN4

TEXINF1TEXINF2TEXINF3TEXINF4

TEXNAR1TEXNAR2

TEXNAR3TEXNAR4

ERESU1ERESU2

EINICUE1EINICUE2EINICUE3

EINVCUE1EINVCUE2

EANUN1EANUN2

EEXPE1EEXPE2

EOBLI1EOBLI2EOBLI3

Por cada tarea

0.51930.63080.48520.50090.5042

0.67320.70090.69220.7344

0.68420.57360.60350.63560.5734

0.76890.82190.74820.7648

0.48870.44290.41740.4868

0.66610.7294

0.70690.6639

.

.

0.84590.80710.8049

.

.

.

.

..

0.85590.83780.8517

Para cada serie

0.58

0.76

0.67

0.83

0.53

0.75

0.77

0.87

0.62

0.86

0.80

0.89

Coeficiente alpha

TABLA 1

ndice de consistencia interna en cada serie de actividades


14/22



FIGURA 2

Modelo resultante de anlisis factorial confirmatoriode la organizacin de 12 series de ejercicios en dos componentes

Componentes Serie de ejercicios Error Varianza

por competencia asociado explicada

Transformar oraciones

Concordancia de gneros

Sonidos de animales

Usos del orden alfabtico

Inventar y escribir cuentos

Escribirsobre experiencias propias

Comprensin

texto informativo

Comprensintexto narrativo

Resumirtexto informativo

Escribir inicio de cuento

Escribir anuncios

Comunicar opininsobre responsabilidades

Reflexin/lengua

Lectura-escritura

.79

.92

.99

.92

.92

.80

.91

.86

.85

.82

.88

.87E13

E11

E9

E8

E7

E6

E12

E10

E5

E4

E3

E2 R2=.35

R2=.14

R2=.05

R2=.15

R2=.15

R2=.35

R2

=.16

R2=.25

R2=.27

R2=.33

R2

=.23

R2=.24

.54

.82

0.37

.06

.35

.52

.40

.37

.58

.57

.48

.49

.37


15/22


Bazn et al.

De igual manera, dos variables (inventar cuentos a partir de dibujos depersonajes, y escribir de experiencias propias) que en tercer grado forma-ban parte del factor escritura, en cuarto se agruparon junto con cuatroindicadores de reflexin sobre la lengua.

De esta forma, se obtuvo que el desempeo de los nios de cuarto gradoen pruebas de ejecucin se estructura en dos factores o componentes: re-flexin sobre la lengua y lectura-escritura (este ltimo conformado con tresseries de actividades de lectura y tres de escritura, inicialmente considera-das). Asimismo, inventar cuentos y escribir sobre experiencias propias, queen teora forman parte del componente escritura y que en tercer grado sestaban en l, en el cuarto se ubican en el de reflexin sobre la lengua.

Por otra parte, anlisis comparativos mostraron que en el componen-te reflexin sobre la lengua no existen diferencias significativas por sexo,pero en el conformado por ejercicios de lectura y escritura s las hay enfavor de las nias, quienes obtuvieron una media de 1.98 en compara-cin con los varones, con una media de 1.77.

Un anlisis no paramtrico con la pr ueba Kruskal Wallis obtuvo unachi cuadrada (x) = 25.34 con P = .001 para la comparacin de rangospor escuelas en reflexin sobre la lengua, y una x = 24.21 con P = .002para la comparacin de rangos por escuela en lectura y escritura. Es de-cir, que existen diferencias significativas en los promedios obtenidos enreflexin sobre la lengua, como en lectura-escritura, dependiendo de la

escuela de procedencia de los nios. Asimismo, un anlisis de varianzade una va mostr que existen diferencias significativas entre grupos, tantoen la evaluacin en reflexin sobre la lengua (F = 3.43, P = .001), comoen la correspondiente a lectura y escritura (F = 2.83, P=006).

En la tabla 2 se presentan los promedios obtenidos por los nios enambos componentes (reflexin, y lectura y escritura) y la desviacin estndar,por cada una de las nueve escuelas de procedencia.

Discusin

Un primer aspecto a considerar es la posibilidad de obtener un instru-mento que proporcione informacin sistemtica complementaria acerca

del desempeo de los estudiantes en tareas que demanden que desarrolley muestre las competencias saber hacer de acuerdo con lo que se espe-ra que hagan los nios en situaciones similares a las del aprendizaje yejercicio de dominios en la materia de espaol.


16/22



TABLA 2

Promedios obtenidos en reflexin sobre la lenguay en lectura y escritura, desviacin estndar y nmero de sujetos por escuela

Escuela Reflexin Lectura

sobre la lengua y escritura

1 Media 1.5095 2.0814

N 22 22

Desviacin estndar .51738 .69151

2 Media 2.2340 1.8761

N 13 13

Desviacin estndar .56712 .398263 Media 2.0271 2.1271

N 20 20


4 Media 2.0817 1.8397

N 26 26


5 Media 1.6218 2.0855

N 13 13


6 Media 1.7326 1.8484

N 12 12


7 Media 2.0625 1.2616

N 6 6


8 Media 1.7143 1.6012

N 14 14


9 Media 1.7788 1.6987

N 13 13


Total Media 1.8582 1.8843N 139 139



17/22


Bazn et al.

Lo anterior implica que los elaboradores de los instrumentos de evalua-cin de aprendizajes cercanos al currculum y a las experiencias significa-tivas de aprendizaje diseen actividades cualitativamente iguales a las delos programas y libros de texto con las que se supone que los nios traba-jan en el aula que cumplan los mismos objet ivos, demanden las mismascompetencias, y que traten del mismo tema pero morfolgicamente dife-rentes, es decir que no se incluyan exactamente las mismas actividades delos libros.

Se busca que los instrumentos de evaluacin elaborados as recojanelementos que forman parte de la situacin de aprendiza je y que permi-tan a los nios resolver actividades novedosas, de manera variada y efec-tiva, evitando utilizar situaciones artificiales o descontextualizadas paraellos. Este tipo de instrumentos implica, muchas veces, que sus elaboradoresse despojen de su propio enfoque terico particular y diseen activida-des apegadas a los postulados tericos que subyacen a los programas deestudio y los materiales educativos derivados de tales propuestas. De talmanera que, sin asumir una posicin militante con respecto al marcoterico de tales propuestas y materiales educativos , los evaluadores pue-dan comprender y delimitar los constructos incluidos.

Esta forma de proceder no implica, de ninguna manera, una posturaeclctica, ms bien, se aproxima a la modelizacin generativa de respues-tas en la elaboracin de instrumentos de evaluacin desde la validacin

de constructos, como mencionamos en la primera seccin de este artculo(Bjar, 1993).Esto es importante en el intento de proponer instrumentos de evalua-

cin con actividades muy similares a las incluidas en los programas deestudio y los materiales educativos, para suponer que se est evaluando,de manera confiable y vlida, al menos una parte del aprendizaje de losnios en la materia de espaol la otra parte de la informacin podrencontrase, entre otros, en los legajos y carpetas personales, las observa-ciones de la maestra o las valoraciones. En este contexto, los resultadosde este estudio muestran que las 12 series de ejercicios se agrupan sloen dos componentes o factores y que stos divergen significativamente,

es decir, se obtuvo un modelo satisfactorio de validacin de constructo,lo cual sugiere que se cuenta con un instrumento de evaluacin de doscomponentes lingsticos diferentes en el cuarto grado: reflexin sobrela lengua y lectura-escritura.


18/22



Sin embargo, el modelo resultante slo explic 5% de la variabilidadde la serie sonidos de animales; que forma parte del subcomponentereflexin sobre los cdigos de comunicacin oral y escrita y demanda queel nio escriba sobre los sonidos de animales a partir de un ejemplo, in-cluyendo una correspondencia entre los significado global y local (SEP ,2000a). Si bien es cierto que esto no afecta la validez convergente del constructoo componente reflexin sobre la lengua en el modelo resultante, este mis-mo sugiere que la var iable sonidos de animales no es, al parecer, un buenindicador de tal constructo. Una explicacin alternativa podra ser que eldesempeo de los nios en esa serie de ejercicios es inferior en compara-cin con el desempeo en las otras 11 debido, probablemente, a la ausen-cia de este tipo de actividades en situaciones de aprendizaje.

El segundo aspecto a tomar en cuenta en esta seccin se relaciona con-cretamente con la estructuracin de competencias lingsticas en compo-nentes, siguiendo las propuestas del programa para la enseanza del espaolvigente. Los datos sugieren que no se confirma el supuesto de que la ejecu-cin de los nios en evaluaciones de desempeo se estructuran de manerasimilar en los mismos componentes, en tercero y cuarto grados de la es-cuela primaria, tal como propone la SEP . Al igual que en el tercer grado,en cuarto grado tambin la ejecucin de los nios en las 12 series de ejer-cicios, slo se agruparon factorialmente en dos componentes. Sin embar-go, en cuarto, la organizacin de las 12 series fue distinta a las mismas en

el tercer grado.En un estudio anterior, Bazn y Lpez (2002), al evaluar a 138 niosque haban culminado el tercer grado de primaria, con 36 series de ejerci-cios no encontraron validez divergente de constructo entre cuatro compo-nentes lingsticos: hablar y escuchar, lectura, escritura y reflexin sobrela lengua, pero encontraron un modelo alternativo que sugiere reorgani-zar la ejecucin de los nios en cuatro nuevos factores o componentes. Loshallazgos en el presente estudio y los obtenidos por Bazn et al., (2004) ypor Bazn y Lpez (2002) permiten suponer, al menos, dos problemasfundamentales en la organizacin de la enseanza y evaluacin de la len-gua escrita, en componentes lingsticos:

1)Al menos en tercer y cuarto grados de primaria, las actividades ela-boradas para la evaluacin de aprendizajes de la lengua escrita no seorganizan siguiendo los bloques o componentes propuestos, ni cuando


19/22


Bazn et al.

se toman los cuatro originales , ni cuando se toman slo tres, una vezexcluido el bloque expresin oral; estos hallazgos sugieren que exis-ten deficiencias de validez de constructo, puesto que, al parecer, dalo mismo organizar las actividades de enseanza-aprendizaje del es-paol, en dos o ms componentes.

2) La diferencia de estructuracin de indicadores en tercero y cuartogrados podra estar indicando cambios cualita tivos en la adquisicinde las competencias asociadas con la lectura y escritura, derivadosdel incremento en complejidades cualitativas y morfolgicas de laenseanza de la lengua escrita, aunque el programa de la SEP consi-dere que los contenidos deban ser iguales para ambos grados escola-

res. Esto quiere decir que, probablemente, el desempeo de los niosen contextos tanto de enseanza como de evaluacin de resultadosde aprendizaje no se organizan de manera estrictamente igual en todolos nios, ni en todos los grados escolares de primaria.

Coincidentemente, algunos de los problemas de proximidad y diferencia-cin de las actividades incluidas en componentes en la propuesta para laenseanza del espaol, a partir de la reforma curricular de 1993 en Mxi-co, han sido sealados por Carrasco (2000, referido por Lpez y Rodrguez,2003), y por Lpez y Rodrguez (2003). Sin embargo, y como se ha men-cionado tambin en la primera seccin de este trabajo, las evidencias obte-

nidas al analizar la estructura de los componentes lingsticos (constructos)slo describen algunos aspectos en la pertinencia del enfoque terico quesupone la estructuracin en componentes, del aprendizaje y la evalua-cin del espaol en la escuela primaria.

En este sentido, el aporte del presente trabajo fue mostrar que es posi-ble evaluar el aprendizaje con una perspectiva ligada con una necesariareflexin terica sobre el quehacer evaluativo, pero con una posible y salu-dable independencia de los enfoques tericos que dan soporte a la planea-cin y ejecucin de contenidos de aprendizaje. El otro aporte radica enque es posible evaluar resultados de aprendizaje en espaol, con activida-des muy familiares a las incluidas en los programas de estudio y en los

materiales educativos y que, a la vez, la evaluacin pueda proporcionarsoporte emprico a los constructos incluidos en dichos programas de estu-dio. No slo se cuenta con un instrumento que cumple con criterios deconfiabilidad y validez y que permite identificar cules competencias y/o


20/22



habilidades dominan los nios y en qu nivel y qu componentes o conte-nidos presentan, en general, dificultades en relacin con el nivel de ejecu-cin de los nios sino que, adems, invita a reflexionar sobre los constructosque subyacen en la enseanza del espaol as como en la organizacin delos contenidos de acuerdo con criterios morfolgicos o taxonmicoscualitativamente jerarquizados, como es el caso de la organizacin de con-tenidos por componentes.

Cabe mencionar que esta propuesta slo abarca la evaluacin de eje-cuciones de aprendizaje con indicadores incluidos expresamente en losprogramas y materiales educativos sugeridos para la enseanza del espa-ol en cuarto grado, pero es menester considerar que en la evaluacindel aprendizaje deber considerarse, tambin, la influencia de distintasvariables en el proceso educativo (Bazn et al., en dictamen; Bazn, Osunay Ross, 2003; Buckner, Bassuk y Weinreb, 2001; Cervini, 2003; Leseman,y de Jong, 1998; LLECE-UNESCO, 2000; Mella y Ortiz, 1999; Ravela,2003; Resnick y Harwell, 2000; Schmelkes, 1997).

Agradecimiento

Los autores agradecen al licenciado Pablo Reyes Castro, por su apoyo en lacorreccin de las figuras incluidas en este artculo. Esta investigacin se rea-liz como parte de los estudios de doctorado en Psicologa del primer autor.

Referencias bibliogrficaslvarez , J. M. (2001) . Evaluar para conocer, examinar para excluir, Madrid: Morata.Bazn, A. y Lpez, M. (2002). Los componentes en la adquisicin de la lengua en la

escuela primaria mexicana: un caso de validacin de constructos, Revista Mexicanade Investigacin Educativa, vol. 7, nm. 16, pp. 603-625.

Bazn, A.; Osuna, B. y Ross, G. (2003). Inters familiar, opinin del maestro, ydesempeo en lectura y escritura en nios de primaria, Revista Mexicana de Psico-loga, vol. 20, nm. 2, pp. 255-264.

Bazn, A. et al.(2004). Aportes para la evaluacin de tres componentes lingsticosen la enseanza de la lengua escrita en el tercer grado de primaria, Revista Latinade Pensamiento y Lenguaje, vol. 12, nm. 1, pp. 37-67.

Bazn, A. et al.(en dictamen). Structural modelling of endogenous and exogenousvariables in the acquisition of written language in mexican children, Early Years,

Inglaterra.Bjar, I. (1993). A generative approach to psychological and educational measurement,

en N. Frederiksen, R. Mislevy e I. Bejar (eds.), Test theory for a new generation of test,New Jersey: Lawrence Erlbaum, pp. 323-357.


21/22


Bazn et al.

Bentler, P. y Wu, E. (2002). EQS6 for Windows. Users Guide. Encino: Multivariate

Software Inc.Buckner, J.; Bassuk, E. y Weinreb, L. (2001). Predictors of academic achievement

anong homeless and low-income housed children, Journal of School Psycholog y,vol. 39, nm. 1, pp. 45-69.

Byrne, B. M. (1994). Structural equation modeling with EQSand EQS/Windows : bas icconcepts, applications, and programming, California: SAGEPublications.

Carrasco, A. (2003). Experiencia exitosa de enseanza de la lectura en la escuelaprimaria, enMemoria e lectrnica d el VIICongreso Nacional de Investigacin Educa-tiva. Guadalajara: COMIE.

Castaeda, S. et al.(1993). Un marco de trabajo neurocomputacional para el estu-dio de la estructuracin del conocimiento a partir de lo ledo, Revista Latina dePensamiento y Lenguaje, vol. 1, nm. 2, pp. 201-232.

Cervini, R. (2003). Relacin entre composicin escolar, proceso escolar y el logro enmatemtica del nivel secundario de Argentina, Revista Electrnica de InvestigacinEducativa, vol. 5, nm. 1 [consultado el 20 de abril de 2004 en http://redie.ens.uabc.mx/vol5no1/contenido-cervini2.html].

Cole, N. (1993). Comments on chapters 1-3, en N. Frederiksen, R. Mislevy y Bjar,I. (eds.), Test theory for a new generation of test, Nueva Jersey: Lawrence Erlbaum,pp. 72-77.

Daz Barriga, A. (1993). El problema de la teora de la evaluacin y cuantificacindel aprendizaje, en A. Daz Barriga (comp.) El examen: textos para su historia ydebate, Mxico: UNAM-CESU, pp. 304-314.

Fernndez Ballesteros, R. (1997). Evaluacin psicolgica y tests, en A. Cordero(coord.) La evaluacin psicolgica en el ao 2000, Madrid: TEA, pp. 1-26.

Ferreiro, E. (1999). Cultura escrita y educacin. Conversaciones con Emilia Ferreiro,

Mxico: Fondo de Cultura Econmica.Gillet, J. W. y Temple, Ch. (1986). Understanding reading problems. Assessment andinstruction, Boston: Little Brown and Company.

Gmez Palacio, M. y Martnez, A. (coord.) (2000). La adquisicin de la lectura y laescritura en la escuela primaria. Lecturas, Mxico: Secretara de Educacin Pblica-Programa Nacional de Actualizacin Permanente.

Kantor, J. R. [1959] (1978). Psicologa interconductual. Un ejemplo de construccincientfica sistemtica. Mxico: Trillas.

Leseman, P. y de Jong, P. (1998). Home literacy: opportunity, instruction, cooperationand social-emotional quality predicting early reading achievement, Reading ResearchQuarterly, vol. 33, nm. 3, pp. 294-318.

LLECE-UNESCO(2000). Primer estudio internacional comparativo sobre lenguaje, mate-mtica y factores asociados, para alumnos de tercer y cuarto grados de la educacin

bsica. Segundo Informe, Santiago de Chile: UNESCO.Loehlin, J. (1992). Latent variable models : an introduction to factor, path, and structural

analysis, New Jersey: Lawrence Erlbaum.


22/22



Lpez, G. y Rodrguez, M. (2003). La evaluacin alternativa: oportunidades y de-

safos para evaluar la lectura, Revista Mexicana de Investigacin Educativa, vol.8, nm. 17, pp. 67-98.

Martnez, F. y Schmelkes, S. (1999). Aseguramiento de la calidad de las pruebas deestndares nacionales para la educacin primaria, de la Secretara de EducacinPblica, en Memoria e lectrnica del V Congreso Nac ional de Inves tigacin Educa-tiva. Aguascalientes: COMIE.

Martnez, R. y Moreno, R. (2002). Integracin de teora sustantiva, diseos depruebas y modelos de anlisis en la medicin psicolgica, en A. Bazn y A. Arce(eds.), Estrategias de evaluacin y medicin del comportamiento en Psicologa, Ciu-dad Obregn: ITSON-UADY, pp. 87-119.

Mella, O. y Ortiz, I. (1999). Rendimiento escolar. Influencias diferenciales de fac-tores externos e internos, Revista Latinoamericana de Estudios Educativos, vol.

29, nm. 1, pp. 69-92.Mislevy, R. (1993). Foundations of a new test theory, en N. Frederiksen, R. Mislevyy Bjar, I. (eds.), Test theory for a new generation of test, Nueva Jersey: LawrenceErlbaum, pp. 19-39.

Nunnally, J. y Bernstein, I. (1995). Teora ps icomtrica, Mxico: McGrawHill.Ravela, P. (2003). Procesos escolares, contextos socioculturales y logros en e l aprendizaje.

Una visin integradora para la investigacin educativa, en COMIE, VICongresoNacional de Investigacin Educativa. Conferencias Magistrales, Mxico: COMIE,pp. 97-128.

Reimers, F. (2003). El contexto social de la evaluacin educativa en Amrica Latina,Revista Latinoamericana de Estudios Educativos, vol.33, nm. 3, pp. 9-52.

Resnick, L. B. y Harwell, M. (2000). Instructional variation and student achivementin standars-based education district, en CSTechnical Report 522, Los Angeles:

Center for the Study of Evaluation.Schmelkes, S. (1997). La calidad en la educacin primaria. Un estudio de caso, col.Biblioteca del Normalista, Mxico: SEP.

Secretara de Educacin Pblica (2000a). Programas de estudio de espaol. Educacinpr imaria, Mxico: SEP.

Secretara de Educacin Pblica (2000b). Espaol. Cuarto grado. Actividades. Mxico:SEP.

TenBrink, T. (2002/1986). Evaluacin, en J. Cooper (editor), Estrategias de ense-anza. Gua para una mejor instruccin, Mxico: Limusa, pp. 499-558.

Artculo recibido:4 de mayo de 2004Aceptado: 12 de octubre de 2004

evaluacion desempeno lectura escritura primaria

Documents