relación contextual de palabras en libros de shakespeare usando mapas autoorganizados

Benemérita Universidad Autónoma de Puebla

Facultad de Ciencias de la Computación

3rd International Symposium on Language & Knowledge Engineering

Relación contextual de palabras en libros de Shakespeare usando mapas

auto-organizados

Autores:Luis Alfredo Moctezuma

Jessica LopezCaleb JimenezMaya Carrillo

Luis ColmenaresJ. Guadalupe Ramos

Octubre 2015

ÍNDICE

Introducción

Preprocesamiento

Representación vectorial

Mapas auto-organizados

Resultados

Conclusiones

INTRODUCCIÓNEl procesamiento de lenguaje natural (PLN) se ocupa del reconocimiento y utilización de la información expresada en lenguaje humano para ser empleada en sistemas computacionales.

Generalmente se consideran tres niveles de análisis: Léxico Sintáctico Semántico

INTRODUCCIÓNEs posible distinguir entre significado independiente y significado dependiente del contexto. En este trabajo se intenta capturar el significado de la palabra en función de su contexto(pragmática).

Pragmática:

Según la RAE es una disciplina que estudia el lenguaje en su relación con los usuarios y las circunstancias de la comunicación.

Es una disciplina que estudia el lenguaje en relación al contexto donde se desarrolla la idea.

INTRODUCCIÓNObras analizadas de Shakespeare:

1. Macbeth2. Julio Cesar3. Hamlet

PREPROCESAMIENTOLas obras de Shakespeare fueron preprocesadas de acuerdo a los siguientes pasos:

Eliminación de marcas de puntuación y caracteres especiales

Conversión de texto a minúsculas Eliminación de palabras vacías Eliminación de palabras con una frecuencia

menor a 3

PREPROCESAMIENTO

Palabras analizadas: 67,805

Vocabulario después del preprocesamiento: 13,118 palabras

REPRESENTACIÓN VECTORIAL Para una palabra a que denominaremos clave,

el contexto fue capturado considerando la palabra que la precede y sucede (“predecesor”, “clave”, “sucesor”).

Cada palabra fue representada con una sucesión de 24 dígitos binarios únicos.

Palabra Clavereason 000000000000000000010000beare 000000000000000001101000heart 000000000000000000010100roome 000000000000000000110001

REPRESENTACIÓN VECTORIAL(fragmento tomado de Macbeth)A divinely appointed monarch has been assassinated, and it is a calamity of such epic proportion that even the workings of nature are disrupted.

divinely appointed monarch assassinated calamity epic proportion workings nature disrupted.

divinely appointed monarchappointed monarch assassinatedmonarch assassinated calamity

REPRESENTACIÓN VECTORIAL Para capturar el contexto se crearon vectores

de dimensión 72.

En los primeros 24 dígitos se almaceno la suma vectorial de todas las de las palabras que precedían a la palabra clave

En los últimos 24 dígitos se almaceno la suma vectorial de todas las palabras que sucedían a la palabra clave

Los 24 dígitos intermedios representaron las diferentes palabras del vocabulario

REPRESENTACIÓN VECTORIALPredeceso

rClave Sucesor

reason beare heartroome beare reason

Predecesor

Clave Sucesor

Palabra

00010000 01101000

00010100

beare

00110001 01101000

00010000

beareRepresentación de la palabra Palabra 01000001 11010001

00100100beare

Una vez obtenidos los vectores de contexto para las palabras del vocabulario, estos fueron la entrada del mapa auto-organizado.

Palabra Clavereason 00010000beare 01101000heart 00010100roome 00110001

MAPAS AUTO-ORGANIZADOSUna SOM(Self organizing map) es un tipo de red neuronal artificial de aprendizaje no supervisado.

Usa una función de vecindad para preservar las propiedades topológicas del espacio de entrada.

Es útil para tareas de agrupamiento y auto-organización de grandes cantidades de datos de manera eficiente.

MAPAS AUTO-ORGANIZADOS

00001100 00000110 01001100 lord 00001110 00000111 01000100 man00100010 00010001 00100100 crime00000010 00000100 00101000 people

lord

heart

powerhonor

man

crime peopl

e

ghost

Paso 1: Cada nodo se inicia con un peso aleatorio.


lord man

crime peopl

ePaso 2: Se selecciona al azar un vector del conjunto de entrenamiento.

heart

powerhonor

ghost


lord man

crime peopl

ePaso 3: Se calcula el nodo de la red que tiene el peso mas similar al vector de entrenamiento.

heart

powerhonor

ghost


lord man

crime peopl

ePaso 4: Calcular radio de vecindad.

Donde d es la distancia entre neuronas y disminuye en cada iteración.

heart

powerhonor

ghost

Donde d es la distancia entre neuronas y disminuye en cada iteración.

lord man

crime peopl

ePaso 4: Calcular radio de vecindad.

heart

powerghos

t

honor



lord man

crime peopl

ePaso 5: Cada nodo en el radio de la vecindad ajusta su peso para parecerse al vector de entrenamiento, los nodos vecinos se ven mas modificados

𝑾 𝒋 (𝒏+𝟏 )=𝑾 𝒋 (𝒏 )+˄𝒊𝒋 (𝒏)𝜼 (𝒏 ) (𝑿 (𝒏 )−𝑾 𝒋 (𝒏 ) )

heart

powerhonor

ghost


lord man

crime peopl

ePaso 5: Cada nodo en el radio de la vecindad ajusta su peso para parecerse al vector de entrenamiento, los nodos vecinos se ven mas modificados

heart

power

honor

ghost


lord man

crime peopl

ePaso 6: Repetir desde el paso 2 (el numero de veces que se considere necesario).

Parar cuando el radio R

heart

power

honor

ghost


Paso 1-5:

lord man

crime

people

heart

power

honor

ghost


Paso 1-5:

lordman

crime

people

heart

power

honor

ghost


Paso 1-5:

Parar cuando el radio R

lordman

crime

people

heart

power

honor

ghost


lordman

crime

people

heart

power

honor

ghost

RESULTADOSSe obtuvo que la similitud entre palabras puede definirse indirectamente, capturando su significado en función del contexto en el que aparecen.

AGRUPAMIENTO DE VECTORES DE CONTEXTO EN LA OBRA MACBETH:

AGRUPAMIENTO DE VECTORES DE CONTEXTO EN LA OBRA JULIO CESAR

AGRUPAMIENTO DE VECTORES DE CONTEXTO EN LA OBRA HAMLET:

CONCLUSIONESTemática en las obras de Shakespeare: El rol de la humanidad en la sociedad, guerra,

lealtad, muerte, entre otras.

Por los resultados obtenidos en este trabajo, se puede ver que se puede aplicar esta misma técnica a otros autores y ver las diferentes temáticas en cada uno de ellos.

CONCLUSIONESLas aplicaciones:

Atribución de autoría Busca de predadores en chat’s

relación contextual de palabras en libros de shakespeare usando mapas autoorganizados

Science