lsa. evaluación de resúmenes en diferentes niveles académicos
DESCRIPTION
LSA (Latent Semantic Analisys ) se muestra como una herramienta fiable evaluando resúmenes breves Si utilizamos la longitud del vector junto con un buen método del LSA (expertos) se llega a una fiabilidad de 0,82, en el texto expositivo y una fiabilidad de 0,68 en el texto narrativo, con resúmenes de máximo 50 palabras!TRANSCRIPT
LSA. Evaluación de resúmenes en diferentes niveles académicos
AESLA 09
L S AATENT EMANTIC NALYSIS ( )LSA
Ricardo Olmos, José Antonio León, Guillermo Jorge-Botana e Inmaculada Escudero
Universidad Autónoma de Madrid
LSA. Evaluación de resúmenes en diferentes niveles académicos
(1) Qué es el LSA
(2) Aplicación en la evaluación de resúmenes
¿QUÉ ES EL LSA?
• LSA es una herramienta computacional capaz de simular aspectos de la semántica
• LSA es un modelo de adquisición del conocimiento (Landauer y Dumais, 1997)
• La idea clave bajo la que se sustenta el LSA es que las palabras que ocurren en contextos parecidos son similares semáticamente
• LSA comienza analizando una gran cantidad de documentos que sitúa en una matriz
¿QUÉ ES EL LSA?
Matriz (m x n)
¿QUÉ ES EL LSA?
• La matriz de frecuencias NO es lo suficientemente sensible como para detectar qué palabras se parecen semánticamente.
¿QUÉ ES EL LSA?
¿QUÉ ES EL LSA?
• La matriz se transforma matemáticamente en otras tres matrices a partir de la técnica matemática Descomposición en valores singulares (SVD)
¿QUÉ ES EL LSA?
¿QUÉ ES EL LSA?
¿QUÉ ES EL LSA?
• La nueva matriz de términos SÍ es sensible al parecido semántico entre las palabras. SVD capta las regularidades del lenguaje y elimina el uso subjetivo que cada autor da las palabras
¿QUÉ ES EL LSA?
¿QUÉ ES EL LSA?
• La medida con la que se evalúa la relación semántica entre dos palabras es el COSENO que forman los dos vectores que representan cada palabra
¿QUÉ ES EL LSA?
¿QUÉ ES EL LSA?
• La similitud semántica entre dos textos se mide también con el coseno que forman los dos vectores
¿QUÉ ES EL LSA?
LSA. Evaluación de resúmenes en diferentes niveles académicos
Objetivos del estudio:
2) ¿es el LSA una herramienta fiable al evaluar resúmenes si los comparamos con jueces?
3) ¿detecta el LSA diferencias entre distintos niveles académicos?
LSA. Evaluación de resúmenes en diferentes niveles académicos
Método:
Muestra: Participaron 786 estudiantes en el estudio (de 6º de primaria, 2º de ESO, 4 de ESO y universitarios):
LSA. Evaluación de resúmenes en diferentes niveles académicos
LSA. Evaluación de resúmenes en diferentes niveles académicos
Método:
Material. Cada estudiante resumió bien un texto narrativo “La leyenda del algarrobo” o bien un texto expositivo “Los árboles estranguladores”
LSA. Evaluación de resúmenes en diferentes niveles académicos
Método:
Material. El corpus utilizado para entrenar al LSA pertenece a la universidad de Colorado de Boulder y es de tipo generalista. El número K de dimensiones utilizado fue de 337
LSA. Evaluación de resúmenes en diferentes niveles académicos
Método:
Evaluaciones de los jueces. Se instruyó a cuatro jueces para que evaluaran cada resumen en una escala de 0-10 puntos.
ContenidoCoherenciaNotaJUEZ +=
Método:
Evaluaciones del LSA. La nota otorgada por el LSA se basa en el coseno (Landauer et al., 1998; León et al., 2006) y la longitud del vector resumen
LSA. Evaluación de resúmenes en diferentes niveles académicos
ctorLongitudVeCosenoKteLSANota ** 21 ββ ++=
LSA. Evaluación de resúmenes en diferentes niveles académicos
¿Cómo obtenemos el coseno? Método de los expertos (Landauer, Foltz y Laham, 1998; León et al., 2006)
LSA. Evaluación de resúmenes en diferentes niveles académicos
¿Cómo obtenemos el coseno? Método de los expertos
LSA. Evaluación de resúmenes en diferentes niveles académicos
¿Cómo obtenemos la longitud del vector?
LSA. Evaluación de resúmenes en diferentes niveles académicos
71.0*528.0* 21 ββ ++= KteLSANota
LSA. Evaluación de resúmenes en diferentes niveles académicos
ctorLongitudVeCosenovoLSAnarrati *76.5*26.1162.1 ++−=
ctorLongitudVeCosenoositivoLSA *18.10*61.1519.4exp ++−=
Una muestra al azar de resúmenes evaluados por LSA y por jueces
LSA. Evaluación de resúmenes en diferentes niveles académicos
(2) Aplicación del LSA en evaluación de resúmenes
Resultados
Fiabilidad del LSA al evaluar resúmenes (Correlación LSA-jueces)
LSA. Evaluación de resúmenes en diferentes niveles académicos
LSA. Evaluación de resúmenes en diferentes niveles académicos
Resúmenes del texto narrativo• La fiabilidad entre propios jueces osciló entre 0,78 y 0,86
• La fiabilidad del LSA con los jueces osciló entre 0,60 y 0,68
Resúmenes del texto expositivo La fiabilidad entre propios jueces osciló entre 0,83 y 0,88
La fiabilidad del LSA con los jueces osciló entre 0,76 y 0,78
Fiabilidad Narrativo = 0,68 Fiabilidad expositivo = 0,82
Con las puntuaciones promediadas de los cuatro jueces
(2) Aplicación del LSA en evaluación de resúmenes
Resultados
¿Distingue el LSA entre diferentes niveles académicos?
LSA. Evaluación de resúmenes en diferentes niveles académicos
LSA Jueces
CONCLUSIONES
• LSA se muestra como una herramienta fiable evaluando resúmenes breves
• Si utilizamos la longitud del vector junto con un buen método del LSA (expertos) se llega a una fiabilidad de 0,82, en el texto expositivo y una fiabilidad de 0,68 en el texto narrativo, con resúmenes de máximo 50 palabras!
LSA. Evaluación de resúmenes en diferentes niveles académicos
CONCLUSIONES
• Los jueces fueron capaces de discriminar algo mejor entre los distintos niveles académicos, sin embargo LSA, sobre todo en el texto expositivo, muestra un patrón casi idéntico en las evaluaciones al de los jueces humanos
LSA. Evaluación de resúmenes en diferentes niveles académicos