universidad nacional mayor de san marcos · 2005. 10. 10. · universidad nacional mayor de san...

UNIVERSIDAD NACIONAL MAYOR DE SAN MARCOS

Fundada en 1551

FACULTAD DE CIENCIAS MATEMÁTICAS

E.A.P. DE INVESTIGACIÓN OPERATIVA

“LAS REDES NEURONALES ARTIFICIALES Y SU IMPORTANCIA COMO

HERRAMIENTA EN LA TOMA DE DECISIONES”

TRABAJO DE INVESTIGACIÓN

Para optar el Título Profesional de:

LICENCIADA EN INVESTIGACIÓN OPERATIVA

AUTORA

MARÍA DEL ROSARIO VILLANUEVA ESPINOZA

LIMA – PERÚ 2002

A mis hijos, David y Claudia

Agradecimientos

El desarrollo de esta monografía ha sido posible gracias al estímulo constante

brindado por el Lic. Jaime Alcalde Ch., quien sugirió el tema básico sobre el que se ha

elaborado el presente trabajo.

Tratándose de un tema sobre el que hay muy pocas experiencia locales, considero

especialmente importante expresar mi agradecimiento al Ing. Antonio Morán, Jefe de

la Carrera de Ingeniería Electrónica de la Universidad Peruana de Ciencias Aplicadas,

que con su basta experiencia en el desarrollo de redes neuronales artificiales me

orientó en repetidas ocasiones para la construcción de la red que soporta el caso

práctico incluido en este trabajo.

Asimismo, mi agradecimiento a la Dra. Ana Maria Villanueva Espinoza, perinatóloga

del Instituto Peruano de Seguridad Social, que me brindó los datos necesarios para el

desarrollo de la aplicación, y a quien corresponde la definición de su objetivo e

interpretación de los resultados con ella obtenidos.

Por último, aunque no por eso menos importante, agradezco la paciencia y

comprensión de mis hijos, a quienes resté atención durante las muchas horas de

investigación que demandó la presente monografía y la construcción de la

correspondiente red neuronal artificial.

Las Redes Neuronales Artificiales y su importancia como herramienta en la toma de decisiones. Villanueva Espinoza, María del Rosario

Elaboración y diseño en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central UNMSM

SUMMARY

This project describes the fundamentals of typical Artificial Neural Networks

along with a historical evolution, which includes some of their most important

models to date. In addition, a biological introduction is presented that focuses

on the elements these networks try to emulate, an explanation of each

component, and the learning algorithms implemented. There after, a depiction

of application areas, especially in decision making support is pointed out due to

their capability to identify and classify patterns. Finally, the development of a

medical application: By using a commercial software, a Backpropagation

Artificial Neural Network can assist in the detection of the main risk factors for

babies whose mothers have a history of abortion.

KEYWORDS: - Artificial Neural Networks

- Backpropagation

- Soft Computing

- Learning Patterns

- Artificial Intelligence



RESUMEN

Se describen los fundamentos de las Redes Neuronales Artificiales, y su

evolución histórica, presentando algunos de los modelos más importantes.

Se presenta una introducción biológica, enfocada principalmente en la

descripción de los elementos del sistema neurológico que las redes neuronales

artificiales emulan, para luego describir cada uno de sus componentes y los

diversos algoritmos de aprendizaje que implementan.

Se describen algunas de las áreas de aplicación, específicamente en los

sistemas de soporte a las decisiones, aprovechando las capacidades de

clasificación e identificación de patrones.

Por último se desarrolla un caso práctico en el área médica: una red neuronal

para apoyo en la identificación de factores de mayor riesgo para los hijos de

madres con antecedentes de aborto, empleando un software comercial

emulador de redes neuronales Backpropagation.

PALABRAS CLAVE: - Redes Neuronales Artificiales

- Backpropagation

- Soft Computing

- Patrones de Aprendizaje

- Inteligencia Artificial

TABLA DE CONTENIDO

CAPÍTULO I I.1 INTRODUCCIÓN I.2 SURGIMIENTO Y EVOLUCIÓN I.3 REDES NEURONALES I.4 PANORAMA HISTÓRICO I.5 BREVE INTRODUCCIÓN BIOLÓGICA

CAPÍTULO II

II.1 ESTRUCTURA DE UN SISTEMA NEURONAL ARTIFICIAL II.2 CARACTERÍSTICAS

CAPÍTULO III

III.1 ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL III.1.1 La Neurona Artificial III.1.2 Estado de Activación III.1.3 Función de Salida o de Transferencia III.1.4 Conexiones entre Neuronas III.1.5 Función o Regla de Activación III.1.6 Regla de Aprendizaje III.1.7 Formas de Conexión entre Neuronas

CAPÍTULO IV

IV 1 TOPOLOGÍA DE LAS REDES NEURONALES IV.1.1 Redes Neuronales Monocapa IV.1.2 Redes Neuronales Multicapa

CAPÍTULO V

V.1 ALGORITMOS NEURONALES V.1.1 El aprendizaje supervisado V.1.2 El aprendizaje no supervisado o autoorganizado

CAPÍTULO VI

VI.1 LA RED BACKPROPAGATION VI.1.1 La Regla Delta Generalizada

CAPÍTULO VII VII.1 APLICACIONES DE LAS REDES NEURONALES ARTIFICIALES VII.2 OPERATIVA VII.3 Listado de Aplicaciones CAPÍTULO VIII VIII.1 CASO PRÁCTICO

Red Natural para apoyo a identificación de factores de mayor riesgo en hijos de madres con antecedentes de aborto

CONCLUSIONES RECOMENDACIONES BIBLIOGRAFÍA ANEXO A VALORES DE LA RED NEURONAL IMPORTANCIA DE CADA ENTRADA ANEXO B

GRÁFICO

ANEXO C FICHA DE DATOS



CAPÍTULO I

I.1 INTRODUCCIÓN

Existe actualmente una tendencia a establecer un nuevo campo de las ciencias de la

computación que integre los diferentes métodos de resolución de problemas que no

pueden ser descritos fácilmente mediante el enfoque algorítmico tradicional. Todos

estos métodos se originan, de una u otra forma, en la emulación más o menos

inteligente del comportamiento de los sistemas biológicos.

A pesar de que todavía existen discrepancias al respecto, ya se han acuñado algunos

términos para denotar este nuevo campo: Computación Cognitiva (Cognitive

Computing), Computación del mundo real (Real-world Computing), Computación

Blanda (Soft Computing) , este último enfatizando su diferencia con la computación

tradicional o Hard Computing.

Estos métodos están orientados a resolver problemas donde es necesario manejar

información masiva, imprecisa, incierta o distorsionada propia del mundo real (toma de

decisiones, reconocimiento de formas, habla, etc.). Algunos de éstos son la Lógica

Borrosa o difusa (Fuzzy Logic), las Redes Neuronales Artificiales, los Algoritmos

genéticos, la Teoría del Caos y la Teoría del Aprendizaje. Siendo todos éstos

enfoques diferentes, existe una tendencia a buscar combinaciones entre ellos, de

manera que a cada aspecto de los problemas reales que deban ser resueltos se le

aplica la técnica que resulta más apropiada.

El trabajo de la presente monografía está enfocado específicamente en la metodología

de las Redes Neuronales Artificiales. Se presenta una panorámica de esta técnica, su

evolución histórica y una descripción de las características más significativas.

Asimismo, se describen los principales modelos de redes neuronales, en especial el

conocido como Backpropagation, el de más amplia difusión, empleado además para el

desarrollo del caso práctico que forma parte del presente trabajo.



Asimismo, se brinda un alcance de las áreas de aplicación, específicamente en los

sistemas de soporte a las decisiones, aprovechando las capacidades de clasificación e

identificación de patrones, de mayores aplicaciones prácticas en los procesos de

negocio que las más ampliamente conocidas de reconocimiento de voz e imágenes.

En el capítulo I se da una panorámica histórica de la evolución de las redes

neuronales y su relación con la inteligencia artificial. Asimismo se presenta una breve

introducción biológica donde se muestra, de manera simplificada, la forma de operar

de las neuronas y sistemas neurológicos biológicos, con el objetivo de identificar en

ellos los elementos que son emulados mediante esta técnica.

En el capítulo II se describe la estructura de los sistemas neuronales artificiales,

poniendo énfasis en su analogía con los sistemas neuronales biológicos, así como las

características similares al cerebro con las que cuenta debido a su constitución y

fundamentos (como el procesamiento paralelo y el aprendizaje adaptativo).

El capítulo III detalla cada uno de los elementos de una red neuronal artificial: la

neurona artificial, las diferentes funciones de salida o transferencia, el estado de

activación, regla de activación, conexiones y reglas de aprendizaje.

El capítulo IV describe las distintas topologías o arquitecturas de redes neuronales. Se

incluyen dos cuadros que muestra estos aspectos de las redes monocapa y multicapa

más conocidas.

El capítulo V describe los diferentes algoritmos neuronales de aprendizaje supervisado

y no supervisado. A continuación (capítulo VI) se detalla la red Backpropagation, que

toma su nombre del algoritmo de aprendizaje que implementa, y es la más

ampliamente utilizada en la actualidad.

Por último, los capítulos VII y VIII se dedican a las aplicaciones prácticas de esta

técnica. En el capítulo VII se muestra una lista de ejemplos de aplicaciones por

disciplinas: empresa, medio ambiente, biología, medicina, manufactura, etc., mientras

que el capítulo VIII se dedica al caso práctico desarrollado para la identificación de los

factores de mayor impacto en las condiciones al nacer de los hijos de las madres con

antecedente de abortos.



I.2 SURGIMIENTO Y EVOLUCIÓN

Las redes neuronales son una rama de la Inteligencia Artificial. En las redes

neuronales el conocimiento se incorpora mediante el aprendizaje a partir de

ejemplos.

Las redes neuronales artificiales son ampliamente utilizadas en la actualidad por

ejemplo para el escaneo de imágenes, reconocimiento de patrones, problemas de

optimización, clasificación de datos financieros, apoyo al diagnóstico médico, etc.

Un computador convencional es una máquina que ejecuta una serie de instrucciones

de forma secuencial, siendo capaz de realizar complicadas operaciones lógicas y

aritméticas de una forma muy rápida, mucho más que el cerebro humano.

Pese a ello, existen tareas sencillas como el reconocimiento de patrones, que ni los

grandes supercomputadores son capaces de resolver de un modo eficiente, mientras

que el cerebro lo viene haciendo desde hace millones de años con suma facilidad y

eficiencia.

Por esta razón, algunos científicos han vuelto la vista hacia el cerebro tratando de

estudiarlo desde el punto de vista de la computación. La estructura del cerebro es

radicalmente diferente a la del computador convencional. No está compuesto por un

único microprocesador altamente complejo y eficiente, sino por miles de millones de

ellos, las neuronas, que realizan de modo impreciso y relativamente lento un tipo de

cálculo muy simple.



Cerebro Computador

Velocidad de Proceso = 10-2 seg. (100 Hz) =10-9 seg. (1000 MHz)

Estilo de Procesamiento paralelo Secuencial

Número de Procesadores 10 11 - 1014 Pocos

Conexiones 10,000 por procesador Pocas

Almacenamiento del conocimiento Distribuido Direcciones fijas

Tolerancia a fallos amplia Nula

Tipo de control del proceso Auto organizado centralizado

Tabla: Cerebro frente a computador convencional Von Neumann (Martín del Brío,

Sanz Molina. 2002)

En este proceso del pensamiento científico surgieron los sistemas neuronales

artificiales, con la idea de tomar las características esenciales de la estructura

neuronal del cerebro para crear sistemas que lo emularan en parte, mediante sistemas

electrónicos. Estos sistemas están compuestos por multitud de pequeños

procesadores simples, a los que se denomina neuronas artificiales.

Con las redes neuronales se intenta expresar la solución de problemas complejos, no

como una secuencia de pasos, sino como la evolución de unos sistemas de

computación inspirados en el funcionamiento del cerebro humano, y dotados por tanto

de cierta “inteligencia”, los cuales no son sino la combinación de una gran cantidad de

elementos simples de proceso (neuronas) interconectados que, operando de forma

masivamente paralela, consiguen resolver problemas relacionados con el

reconocimiento de formas o patrones, predicción, codificación, clasificación, control y

optimización.

Aunque existen computadores neuronales, con cientos de pequeños

microprocesadores que trabajan en paralelo, lo cierto es que mediante software se

puede emular el comportamiento de estas redes neuronales en un computador

convencional y existen multitud de programas de redes neuronales que funcionan

incluso en un computador personal.



Las redes neuronales operan sobre la base de reconocimiento de patrones, y pueden

adquirir, almacenar y utilizar conocimiento experimental, obtenido a partir de ejemplos.

Esta forma de adquirir el conocimiento es una de sus características más destacables:

no se programa de forma directa, como en los sistemas expertos, sino que se adquiere

a partir de ejemplos, por ajuste de parámetros de las neuronas mediante un algoritmo

de aprendizaje.

En cuanto al modo interno de trabajo las redes neuronales son modelos matemáticos

multivariantes que utilizan procedimientos iterativos, en general para minimizar

funciones de error.

DIFERENCIA CON LOS SISTEMAS EXPERTOS

Las redes neuronales se asemejan a los sistemas expertos en cuanto al objetivo de

representar el conocimiento pero son radicalmente opuestos en cómo aspiran a

conseguirlo. Los sistemas expertos se acercan más al razonamiento deductivo -

obtener reglas- y las redes neuronales al inductivo -aprendizaje mediante ejemplos-.

La gestión empresarial utiliza frecuentemente ambos esquemas de razonamiento, por

lo que ambas técnicas tienen cabida. Además, ambos modelos son perfectamente

compatibles, de forma que se pueden integrar en un único sistema.



I.3 REDES NEURONALES E INTELIGENCIA ARTIFICIAL

REDES DE AUTOPROCESO:

INTELIGENCIA ARTIFICIAL

REDES DE AUTOPROCESO

PROCESAMIENTO NUMÉRICO

PROCESAMIENTO SIMBÓLICO

SISTEMAS ASOCIATIVOS

SISTEMAS DISTRIBUIDOS

REDES NEURONALES

REDES SUBSIMBÓLICAS



Formadas por nodos en los que hay elementos procesadores de información de cuyas

interacciones locales depende el comportamiento del sistema.

a) PROCESAMIENTO NUMÉRICO:

Reciben la señal de entrada desde el exterior y operan sobre ella. Son sistemas

constituidos por nodos de hardware interconectados formando una red. También se

conocen como sistemas conectivistas o conexionistas.

SISTEMAS DISTRIBUIDOS:

La conexión entre los nodos se realiza de forma global, bajo unas reglas de

composición.

SISTEMAS ASOCIATIVOS:

La conexión se realiza agrupando el sistema en subredes. También se conocen como

redes de redes.

REDES SUBSIMBÓLICAS:

Las agrupaciones locales de los nodos representan conceptos.

REDES NEURONALES

Cada nodo de la red funciona corporativamente. Cada nodo es una neurona.

b) PROCESAMIENTO SIMBÓLICO:

Estas redes están constituidas por conceptos (nodos) y por reglas sintácticas (lazos de

interconexión). Ambas forman las llamadas bases de conocimiento. La simulación de

estas redes es casi exclusivamente software.



TABLA: FORMAS BÁSICAS DE COMPUTACIÓN

Computación Convencional

Computación Simbólica Computación Neuronal

Basado en: Arquitectura Von Neumann Lógica cognitiva Neurobiología

Apropiada para:

Algoritmos conocidos Heurística Adaptación

Pero no para: Condiciones difusas Causalidad desconocida Cálculos precisos

Memoria: Precisa, estática Bases de conocimiento Distribuida

Construida mediante:

Diseño, programación y prueba

Representación del conocimiento + motor de inferencia

Configuración y aprendizaje

Soporte: Computadores secuenciales Máquinas LISP Procesadores paralelos

Tabla: Formas básicas de Computación (Martín del Brío, Sanz Molina. 2002)

I.4 PANORAMA HISTÓRICO

Las primeras explicaciones teóricas sobre el cerebro y el pensamiento fueron dadas

por algunos antiguos filósofos griegos, como Platón (427-347 a.C) y Aristóteles (384-

422 a.C). Las mismas ideas sobre el proceso mental las mantuvo Descartes (1596-

1650) y los filósofos empiristas del siglo X.

La clase de las llamadas máquinas cibernéticas, a la cual la computación neuronal

pertenece, tiene más historia de la que generalmente se cree: Heron el Alejandrino

construyó un autómata hidráulico sobre el año 100 a.C

Alan Turing en 1936 fue el primero en estudiar el cerebro como una forma de ver la

computación; sin embargo los primeros teóricos que concibieron los fundamentos de la

computación neuronal fueron Warren McCulloch, un neurofisiólogo, y Walter Pitts, un



matemático, quienes en 1943 lanzaron una teoría sobre la forma de trabajar de las

neuronas. Ellos modelaron una red neuronal simple mediante circuitos eléctricos.

En 1957, Frank Rosenblatt comenzó el desarrollo del Perceptrón. Esta es la más

antigua red neuronal, y se usa hoy en día de varias formas para aplicaciones como de

reconocimiento de patrones. Este modelo era capaz de generalizar, es decir, después

de haber aprendido una serie de patrones era capaz de reconocer otros similares,

aunque no se hubieran presentado anteriormente.

En 1959, Bernard Widrow y Marcial Of., de Stanford, desarrollaron el modelo

ADALINE (Adaptative LINear Elements). Esta fue la primera red neuronal aplicada a

un problema real (filtros adaptativos para eliminar ecos en las líneas telefónicas), y se

ha usado comercialmente durante décadas desde entonces.

En 1967, Stephen Grossberg (Universidad de Boston) desarrolló la red Avalancha,

que consistía en elementos discretos con actividad que varía con el tiempo, que

satisface ecuaciones diferenciales continuas para resolver actividades tales como

reconocimiento continuo del habla y aprendizaje del movimiento de los brazos de un

robot.

James Anderson desarrolló en 1977 un modelo lineal, llamado Asociador Lineal, que

consistía en unos elementos integradores lineales (neuronal) que sumaban sus

entradas. Este modelo se basa en el principio de que las conexiones entre neuronas

son reforzadas cada vez que están activadas. Anderson diseñó una potente extensión

del Asociador Lineal, llamada Brain-State-in-a-box.

En Japón, Kunihiko Fukushima publicó en 1980 el desarrollo del Neocognitrón, un

modelo de red neuronal para el reconocimiento de patrones visuales.

En 1982, John Hopfield presentó un trabajo en el que describe con claridad y rigor

matemático una red que lleva su nombre, que es una variación del Asociador Lineal.



I.5 BREVE INTRODUCCIÓN BIOLÓGICA

Figura: Estructura de una neurona típica

El sistema nervioso está compuesto por una red de células (neuronas), ampliamente

interconectadas entre sí. En las neuronas, la información fluye desde las dendritas

hacia el axón, atravesando el soma. Se estima que el sistema nervioso contiene

alrededor de cien mil millones de neuronas.

Desde un punto de vista funcional, las neuronas constituyen procesadores de

información sencillos. Posee un canal de entrada de información (las dendritas), un

órgano de cómputo (el soma), y un canal de salida (el axón). En las interneuronas el

axón envía la información a otras neuronas, mientras que en las neuronas motoras lo

hace directamente al músculo. Existe otro tipo de neuronas, las receptoras o

sensoras, que reciben la información directamente del exterior. Se calcula que una

neurona de la corteza cerebral recibe información, por término medio, de unas 10,000

neuronas (convergencia) y envía impulsos a varios cientos de ellas (divergencia).

En el cerebro se aprecia la existencia de una organización horizontal en capas (se

suelen señalar unas seis capas), coexistiendo además una organización vertical en

forma de columnas de neuronas. Hay además grupos neuronales, compuestos de

millones de neuronas pertenecientes a una determinada región del cerebro, que

constituyen unidades funcionales especializadas en ciertas tareas (un área visual, un

área auditiva, etc.). Todos los subsistemas juntos forman el encéfalo. Se tiene

a: Soma b: Axón c: Dendritas



evidencia que el procesamiento en el sistema nervioso involucra la actuación de

muchos de tales subsistemas, que intercambian continuamente información.

La unión entre dos neuronas se denomina sinapsis. Se habla de neuronas

presinápticas (que envían señales) y postsinápticas (que las reciben). Las sinapsis

son direccionales, es decir, la información fluye siempre en un solo sentido.

Cada neurona recibe impulsos procedentes de otras neuronas (inputs) a través de las

dentritas, que están conectadas a las salidas de otras neuronas por las sinapsis. Las

sinapsis, alteran la efectividad con la que la señal es transmitida a través de un

parámetro, el peso. El aprendizaje resulta de la modificación de estos pesos, que

unido al procesamiento de información de la neurona determinan el mecanismo básico

de la memoria. Algunas sinapsis permiten pasar a la señal con facilidad, mientras que

otras no. El soma de la neurona recibe todos estos inputs, y emite una señal de salida

(output) si la entrada total supera el valor del umbral. Esta salida se transmite a través

del axón desde donde se propaga mediante diferencias de potencial a las dentritas de

otras neuronas



CAPÍTULO II

II.1 ESTRUCTURA DE UN SISTEMA NEURONAL ARTIFICIAL Los sistemas neuronales artificiales imitan la estructura del hardware del sistema

nervioso, con la intención de construir sistemas de procesamiento de información

paralelos, distribuidos y adaptativos, que puedan presentar un cierto comportamiento

“inteligente”.

Estructura jerárquica de un sistema basado en Redes Neuronales Artificiales

Cada neurona realiza una función matemática. Las neuronas se agrupan en capas,

constituyendo una red neuronal. Una determinada red neuronal está confeccionada y

entrenada para llevar a cabo una labor específica. Finalmente, una o varias redes,

más las interfaces con el entorno, conforman el sistema global.

En las redes neuronales biológicas, las neuronas corresponden a los elementos de

proceso. Las interconexiones se realizan por medio de las ramas de salida (axones)

que producen un número variable de conexiones (sinapsis) con otras neuronas o con

Σ

ENTRADAS

Parte algorítmica

SAL IDAS

Neurona Capa Red Sistema Neuronal



otras partes como músculos y glándulas. Las redes neuronales son sistemas de

elementos simples de proceso muy interconectados.

La compleja operación es el resultado de abundantes lazos de realimentación junto

con no linealidades de los elementos de proceso y cambios adaptativos de sus

parámetros, que pueden llegar a definir fenómenos dinámicos muy complicados.

Los modelos neuronales se diferencian en la función que incorpora la neurona, su

organización y forma de las conexiones. Sarle (1994) compara los modelos neuronales

con los modelos estadísticos más convencionales, encontrando que la mayoría de los

modelos neuronales tienen un equivalente tradicional.

Formalmente, un sistema neuronal o conexionista está compuesto de los siguientes

elementos:

• Un conjunto de procesadores elementales o neuronas artificiales.

• Un patrón de conectividad o arquitectura.

• Una dinámica de activaciones.

• Una regla o dinámica de aprendizaje.

• El entorno donde opera.

II. 2 CARACTERÍSTICAS Debido a su constitución y fundamentos, las redes neuronales artificiales presentan un

gran número de características similares a las del cerebro. Por ejemplo, son capaces

de aprender de la experiencia, de generalizar de casos anteriores a nuevos casos, de

abstraer características esenciales a partir de entradas que presentan información

irrelevante, etc.

• Procesamiento paralelo:

Esta característica resulta esencial, como se puede deducir de un sencillo ejemplo.

Un computador convencional tipo PC, que trabaja secuencialmente las



instrucciones, emplearía varios minutos en realizar sobre una imagen compuesta

por 256 x 256 píxeles, una sencilla tarea de tratamiento en bajo nivel (acentual

contrastes, extraer contornos, etc.), mucho más simple que la que lleva a cabo el

sistema visual biológico para reconocer una imagen. Un sistema basado en 16

DSP (por ejemplo, del modelo TMS32020, clásico DSP de Texas Instruments)

operando en paralelo emplearía un tiempo del orden de 20 milisegundos en la

misma tarea, puesto que cada uno puede operar en paralelo sobre diferentes áreas

de la imagen.

Por otra parte, el cerebro tarda aproximadamente lo mismo para preprocesar una

imagen compuesta por millones de píxeles (los que representan los conos y

bastones de la retina), extraer sus rasgos característicos, analizarla e interpretarla.

La clave reside en los miles de millones de neuronas que intervienen en el proceso

de visión, operando en paralelo sobre la totalidad de la imagen.

• Memoria Distribuida:

Mientras en un computador la información ocupa posiciones de memoria bien

definidas, en los sistemas neuronales se encuentra distribuida por las sinapsis de la

red, de modo que si una sinapsis se daña solamente perdemos una pequeña parte

de la información.

• Aprendizaje adaptativo:

La capacidad de aprender a realizar tareas basada en un entrenamiento o en una

experiencia inicial elimina la necesidad de elaborar modelos a priori o de especificar

funciones de distribución de probabilidad.

Las redes neuronales son sistemas dinámicos auto adaptativos. Son adaptables

debido a la capacidad de auto ajustarse que tienen las neuronas. Son dinámicos,

pues son capaces de estarse adaptando constantemente a las nuevas condiciones.

En el proceso de aprendizaje, los enlaces ponderados de las neuronas se ajustan

de manera que se obtengan unos resultados específicos. Una red neuronal no



necesita un algoritmo para resolver su problema, ya que puede generar su propia

distribución de los pesos de los enlaces mediante el aprendizaje.

La función del diseñador se limita a la obtención de la arquitectura apropiada. No es

problema del diseñador el cómo la red aprenderá a discriminar, sin embargo sí debe

desarrollar un buen algoritmo de aprendizaje que proporcione a la red la capacidad

de discriminar mediante un entrenamiento con patrones.

• Auto organización:

Las redes neuronales utilizan su capacidad de aprendizaje adaptativo para

organizar la información que reciben durante el aprendizaje y/o la operación.

Mientras el aprendizaje es la modificación de cada elemento procesal, la auto

organización consiste en la modificación de la red neuronal completa para llevar a

cabo un objetivo específico.

Esta auto organización da lugar a la generalización: facultad de responder

apropiadamente cuando se les presentan datos o situaciones a los que no habían

sido expuestas anteriormente. El sistema puede generalizar la entrada para obtener

una respuesta. Esta característica es de especial importancia cuando se tiene que

solucionar problemas para los cuales la información de entrada es poco clara;

permite además que el sistema dé una solución incluso cuando la información de

entrada está especificada en forma incompleta.



CAPÍTULO III

III. 1 ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL

Las redes neuronales son modelos que intentan reproducir el comportamiento del

cerebro. Como modelos, son una simplificación de lo que emulan, incorporando los

elementos relevantes del sistema. Una elección adecuada de sus características, más

una estructura conveniente, es el procedimiento convencional utilizado para construir

redes capaces de realizar una determinada tarea.

Un modelo de red neuronal consta de dispositivos elementales de proceso: las

neuronas. A partir de ellas se pueden generar representaciones específicas, de modo

que un estado conjunto de ellas puede representar una letra, un número o cualquier

objeto.

Generalmente se pueden encontrar tres tipos de neuronas:

1. Aquellas que reciben estímulos externos, relacionadas con el aparato sensorial,

que toman la información de entrada.

2. Esta información se trasmite a ciertos elementos internos que se ocupan de su

procesamiento. Es en las sinapsis y neuronas de este segundo nivel donde se

genera cualquier tipo de representación interna de la información. Puesto que no

tienen relación directa con la información de entrada ni con la de salida, estos

elementos se denominan unidades ocultas.

3. Una vez que ha finalizado el procesamiento, la información llega a las unidades de

salida, cuya misión es dar la respuesta del sistema.

La neurona artificial pretende emular las características de las neuronas biológicas.

Cada neurona i-ésima está caracterizada en cualquier instante por un valor numérico

denominado valor o estado de activación ai(t). Asociado a cada unidad, existe una



función de salida fi, que transforma el estado actual de activación en una señal de

salida, yi.

Dicha señal es enviada a través de los canales de comunicación unidireccionales a

otras unidades de la red. En estos canales la señal se modifica de acuerdo con la

sinapsis (el peso sináptico, wji) asociada a cada uno de ellos según una determinada

regla. Las señales moduladas que han llegado a la unidad j-ésima se combinan entre

ellas, generando así la entrada total, Netj,

∑=i

j jiiwyNet

Una función de activación, F, determina el nuevo estado de activación aj (t+1) de la

neurona, teniendo en cuenta la entrada total calculada y el anterior estado de

activación aj (t).

La dinámica que rige la actualización de los estado de las neuronas (evolución de la

red neuronal) puede ser de dos tipos: asincrónico y sincrónico. En el primer caso, las

neuronas evalúan su estado continuamente, según les va llegando información, y lo

hacen de forma independiente. En el caso sincrónico, aunque la información llega de

forma continua, los cambios se realizan simultáneamente. Los sistemas neuronales

biológicos muy probablemente actúan de una forma mixta.



Netj F(aj(t), Netj)

= aj (t+1)

fj(aj(t+1)) = yj

yj

Neurona Uh

Neurona Ui

yi

Neurona Ug

yh

wjh

wjg

.

.

.

.

yg

wji

Neurona Uj

III. 1. 1 La Neurona Artificial Si tenemos N unidades (neuronas), podemos ordenarlas arbitrariamente y designar la

j-ésima unidad como Uj. Su trabajo consiste únicamente en recibir las entradas de las

neuronas vecinas y calcular un valor de salida, que es enviado a todas las neuronas

restantes.

Es útil identificar tres tipos de unidades: entradas, salidas y ocultas.

• Las unidades de entrada reciben señales desde el entorno. Estas entradas (que

son entradas a la red) pueden provenir de sensores o de otros sectores del

sistema.

• Las unidades de salida envían la señal fuera del sistema. Estas pueden controlar

directamente potencias u otros sistemas.

• Las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro

del sistema, es decir, no tienen contacto con el exterior.



Se conoce como capa o nivel a un conjunto de neuronas cuyas entradas provienen de

la misma fuente, y cuyas salidas van al mismo destino (que pueden ser en ambos

casos otra capa de neuronas).

III. 1. 2 Estado de Activación

Además del conjunto de neuronas, la representación necesita considerar los estados

del sistema en un tiempo t. Esto se especifica por un vector de N números reales A(t),

que representa el estado de activación del conjunto de neuronas.

Cada elemento del vector representa la activación de la unidad en el tiempo t. Si la

activación de la unidad Ui en el tiempo t se designa por ai(t), tenemos:

A(t) = (a1(t), a2(t), ...., ai(t), …, aN(t))

El procesamiento que realiza la red se ve como una evolución de un patrón de

activación en el conjunto de neuronas que lo componen, a través del tiempo.

Todas las neuronas que conforman la red se hallan en cierto estado. Podemos decir

que hay dos posibles estados: reposo y excitado, llamados genéricamente estados de

activación; a cada uno de los cuales se le asigna un valor. Estos valores pueden ser a

su vez continuos o discretos.

Es necesario además saber qué criterios o reglas siguen las neuronas para alcanzar

estos estado de activación. Esto depende de dos factores:



• Dado que el comportamiento de las redes no es producto de la actuación de

cada neurona individualmente, sino del conjunto como un todo, es necesario

conocer el mecanismo de interacción entre ellas. El estado de activación estará

influenciado por estas interacciones, dado que el efecto que producirá una

neurona sobre otra será proporcional a la fuerza, peso o magnitud de la

conexión entre ambas.

• La señal que envía cada neurona a sus vecinas depende de su propio estado

de activación.

III. 1. 3 Función de Salida o de Transferencia

Entre las neuronas que componen la red existe un conjunto de conexiones que las

unen. Cada neurona trasmite señales a aquellas que están conectadas con su salida.

Asociada a cada unidad Ui hay una función de salida fi(ai(t)), que transforma el estado

actual de activación ai(t) en una señal de salida yi(t); es decir:

yi(t) = fi(ai(t))

En consecuencia, el vector que contiene las salidas de todas las neuronas en un

instante t es:

Y(t) = (f1(a1(t)), f 2(a2(t)), ..., fi(ai(t)), ..., fN(aN(t)))

En algunos modelos, esta salida es igual al nivel de activación de la unidad, en cuyo

caso la función fi es la función identidad, fi(ai (t)) = ai (t). A menudo, fi es de tipo

sigmoidal, y suele ser la misma para todas las neuronas.

Existen cuatro funciones de transferencia típicas que determinan los distintos tipos de

neuronas:

• Función Identidad



• Función Escalón,

• Función lineal y mixta

• Sigmoidal,

• Función gaussiana

La función escalón o umbral únicamente se utiliza cuando las salidas de la red son

binarias. La salida de una neurona se activa sólo cuando el estado de activación es

mayor o igual que cierto valor umbral (la función puede ser desplazada sobre los ejes).

La función lineal o identidad equivale a no aplicar función de salida, y se usa muy

poco. Las funciones mixta y sigmoidal son las más apropiadas cuando queremos

como salida una información analógica.

Neurona de Función Escalón



Neurona de Función Lineal y Mixta

Neurona de Función Continua (sigmoidal)

axexf

−+=

11)(

La importancia de la función sigmoidal (o cualquier otra función similar) es

que su derivada es siempre positiva y cercana a cero para los valores grandes positivos o negativos. Además, toma su valor máximo cuando x es 0. Esto es particularmente útil para definir métodos de aprendizaje en los cuales se usan derivadas.

y

x 0

1 y

x 0

1/2

-1/2

+>

−<=

casootroencx

cxsi

cxsi

xf

2/1)2/(

1

0

)(

>

−



Neurona de Función de transferencia gaussiana

III. 1. 4 Conexiones entre Neuronas

Las conexiones entre las neuronas de una red tienen asociado un peso, que es el que

hace que la red adquiera conocimiento.

Tomemos el valor yi como el valor de salida de una neurona i en un instante dado. Una

neurona recibe un conjunto de señales que le dan información del estado de activación

de todas las neuronas con las que se encuentra conectada. Cada conexión (sinapsis)

entre la neurona i y la neurona j está ponderada por un peso wji. Normalmente, como

simplificación, se considera que el efecto de cada señal es aditivo, de forma que la

entrada neta que recibe una neurona (potencial post sináptico) netj es la suma del

producto de cada señal individual por el valor de la sinapsis que conecta ambas

neuronas:

Los centros y anchura de estas funciones pueden ser adaptados, lo cual las hace más adaptativas que las funciones sigmoidales. Mapeos que suelen requerir dos niveles ocultos (neuronas que se ubican entre las de entrada y las de salida) con neuronas de transferencia sigmoidales, algunas veces se pueden realizar con un solo nivel empleando neuronas de transferencia gaussiana.

. BxeAy −=

y

x



∑ •=N

ijij

iywnet

Esta regla muestra el procedimiento a seguir para combinar los valores de entrada a

una neurona con los pesos de las conexiones que llegan a esa neurona, y es conocida

como regla de propagación.

Suele utilizarse una matriz W con todos los pesos wji que reflejan la influencia que la

neurona j tiene sobre la neurona i. W es una matriz de elementos positivos, negativos

o nulos. Si wji es positivo, significa que la interacción entre ambas neuronas es

excitadora, es decir, siempre que la neurona i esté activada, la neurona j recibirá una

señal proveniente de i que tenderá a activarla. Si wji es negativo, la sinapsis será

inhibidora; es decir, si i está activada, enviará un mensaje a la neurona j que tenderá a

desactivarla. Por último, si wji es cero, significa que no hay conexión entre ambas

neuronas.

III. 1. 5 Función o Regla de Activación

Así como es necesario una regla que combine las entradas a una neurona con los

pesos de sus conexiones, también se requiere una regla que combine las entradas

con el estado actual de la neurona, para producir un nuevo estado de activación. Esta

función, F, produce un nuevo estado a partir del estado (ai) que existía y la

combinación de las entradas con los pesos de las conexiones (neti).

Dado el estado de activación ai(t) de la neurona Ui, y la entrada total que llega a ella,

Neti, el estado de activación siguiente, ai(t+1) se obtiene aplicando la función de

activación F:

ai(t+1) = F(ai(t), Neti)



En la mayor parte de los casos, F es la función identidad, por lo que el estado de

activación de una neurona en t+1 coincide con el Net de la misma en el tiempo t. En

este caso, la salida de la neurona i (yi) será:

∑=

==+N

jiji

jtywfNetftyi

1))(()()1(

Normalmente la función de activación no está centrada en el origen del eje que

representa el valor de la entrada neta, sino que existe cierto desplazamiento debido a

las características internas de la propia neurona, y que no es igual en todas ellas. Este

valor se denota como θi, y representa el umbral de activación de la neurona i.

∑=

−=−=+N

j

ijijiii tywfNetfty1

))(()()1( θθ

f

y1 . . . yj . . . yN

wi1

wij

wiN

yj



En el caso de neuronas de respuesta todo-nada, este parámetro representa el umbral

de disparo de la neurona, es decir, el nivel mínimo que debe alcanzar el potencial post

sináptico para que la neurona se dispare o active.

III. 1. 6 Regla de Aprendizaje

El aprendizaje se entiende como la modificación del comportamiento inducido por la

interacción con el entorno, y como resultado de experiencias conducente al

establecimiento de nuevos modelos de respuesta a estímulos externos.

Biológicamente, se suele aceptar que la información memorizada en el cerebro está

más relacionada con los valores sinápticos de las conexiones entre las neuronas, que

con ellas mismas; es decir, el conocimiento se encuentra en las sinapsis.

En el caso de las redes neuronales artificiales, el conocimiento se encuentra

representado en los pesos de las conexiones entre neuronas. Todo proceso de

aprendizaje implica cambios en estas conexiones, es decir, se aprende modificando

los valores de los pesos de la red.

Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren

modificaciones, por lo tanto se puede afirmar que la red “ha aprendido” cuando los

valores de los pesos permanecen estables (dwij/dt = 0).

Un aspecto importante respecto al aprendizaje de las redes neuronales es el conocer

cómo es que se modifican estos valores; es decir, cuáles son los criterios que se

siguen para cambiar los valores asignados a las conexiones cuando se pretende que

la red aprenda una nueva información.

Estos criterios determinan lo que se conoce como la regla de aprendizaje de la red. De

modo general, se distinguen:



• Redes Neuronales con aprendizaje supervisado.

• Redes neuronales con aprendizaje no supervisado o autoorganizado.

La diferencia fundamental entre ambos tipos radica en la existencia o no de un agente

externo (supervisor) que controle el proceso de aprendizaje de la red.

III. 1. 7 Formas de Conexión entre Neuronas

La conectividad entre los nodos de una red neuronal está relacionada con la forma en

que las salidas de las neuronas están canalizadas para convertirse en entradas de

otras neuronas. La señal de salida de un nodo puede ser una entrada de otro

elemento de proceso, o incluso ser una entrada de sí mismo en una conexión auto

recurrente.

Cuando ninguna salida de las neuronas de una capa es entrada de neuronas del

mismo nivel o de niveles precedentes, se dice que la red tiene propagación hacia

delante. En caso contrario se dice que la red es de propagación hacia atrás. Las

redes de propagación hacia atrás que tienen lazos cerrados se dice que son sistemas

recurrentes.



Estructura de una red multinivel con todas las conexiones hacia adelante

Ejemplos de conexiones con propagación hacia atrás

SALI

DA

S

ENTR

AD

AS

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

I1

I2

Im

O1

O2

Om

Nivel de Entrada

Niveles Ocultos

Nivel de Salida

.

.

.

.

.

.

SALI

DA

S

O1

O2

Om

Red con propagación hacia atrás a nodos de niveles anteriores

Nodo con propagación hacia atrás sobre sí mismo



CAPÍTULO IV

IV. 1 TOPOLOGÍA DE LAS REDES NEURONALES Se denomina topología o arquitectura de la red a la organización y disposición de las

neuronas en la red formando capas más o menos alejadas de la entrada y salida de la

red. Así, los parámetros fundamentales de la red son: el número de capas (monocapa

o multicapa), el número de neuronas por capa, el grado de conectividad y el tipo de

conexiones entre neuronas (unidireccionales o recurrentes).

IV. 1. 1 Redes Neuronales Monocapa

Se utilizan típicamente en tareas relacionadas con la autoasociación; por ejemplo para

regenerar informaciones de entrada que se presentan a la red incompletas o

distorsionadas.

TIPOS DE CONEXIONES MODELO DE RED

Brain-State-In-A-Box

Additive Grossberg (AG)

Shunting Grossberg (SG) Conexiones Autorrecurrentes

Optimal Linear Associative Memory

Hopfield

Boltzmann Machine

Conexiones Laterales Explícitas

No Autorrecurrentes

Cauchy Machine

Crossbar Learning Matrix (LM)

“Redes Neuronales Artificiales”. Hilera, Martínez.



IV. 1. 2 Redes Neuronales Multicapa

Cuando todas las neuronas de una capa reciben señales de entrada de otra capa

anterior, más cercana a la entrada a la red, y envían señales de salida a una capa

posterior, estamos ante una red de conexiones hacia delante o feedforward. En las

conexiones hacia atrás o feedback las salidas de las neuronas de capas posteriores se

conectan a las entradas de capas anteriores.

Estas características permiten distinguir dos tipos de redes entre las multicapa: las

redes con conexión hacia delante o redes feedforward, y redes que disponen de

conexiones tanto hacia delante como hacia atrás, o redes feedforward/feedback.

Las redes feedforward son especialmente útiles en aplicaciones de reconocimiento o

clasificación de patrones.

Por otro lado, la mayoría de las redes multicapa son bicapa. Este tipo de estructura es

particularmente adecuada para realizar una asociación de una información o patrón de

entrada con otra información o patrón de salida en la segunda capa. Una red

multicapa muy particular es la NEOCOGNITRON, en la que las neuronas se disponen

en planos superpuestos (capas bidimendionales), permitiendo eliminar las variaciones

geométricas (tamaños, giros, desplazamientos) o distorsiones que presenten las

informaciones o patrones de entrada a la red.

N° de Capas

Tipo de Conexiones Modelo de Red

ADALINE / MADALINE

PERCEPTRON

LINEAR /ASSOC REWAR.PENALTY

LINEAR ASSOCIATIVE MEMORY

OPTIMAL LINEAR ASSOC. MEM.

DRIVE-REINFORCEMENT (DR)

LEARNING VECTOR QUANTIZER

Conexiones hacia delante

FEEDFORWARD

Conexiones laterales implícitas y

autorrecurrentes TOPOLOGY PRESERVING MAP (TPM)

BIDIRECTIONAL ASSOC. MEM. (BAM)

ADAPTIVE BAM.

TEMPORAL ASSOC. MEMORY (TAM)

Sin conexiones laterales

FUZZY ASSOCIATIVE MEMORY (FAM)

COMPETITIVE ADAPTIVE BAM

2 capas

Conexiones hacia adelante / atrás

(FEDDFORWARD / FEEDBACK)

Con conexiones laterales y

autorrecurrentes ADAPTIVE RESONANCE THEORY (ART)

ADAPTIVE HEURISTIC CRITIC (AHC)

Sin conexiones laterales BOLTZMANN / CAUCHY

MACHINE

COUNTERPROPAGATION

Conexiones hacia delante

(FEDDFORWARD) Con conexiones

laterales BOLTZMANN / CAUCHY MACHINE

3

Conexiones adelante / atrás y laterales BOLTZMANN / CAUCHY MACHINE

Conexiones hacia adelante BACKPROPAGATION (BPN)

N FEEDFORWARD / FEEDBACK

(Jerarquía de niveles de capas bidimensionales)

COGNITRON / NEOCOGNITRON

Redes neuronales Multicapa más conocidas. (“Redes Neuronales Artificiales”. Hilera,

Martínez.)



CAPÍTULO V

V. 1 ALGORITMOS NEURONALES

Los modelos neuronales utilizan varios algoritmos de estimación, aprendizaje o

entrenamiento para encontrar los valores de los parámetros del modelo, que en la

jerga de las redes neuronales se denominan pesos sinápticos.

El entrenamiento se realiza mediante patrones-ejemplo, siendo dos los tipos de

aprendizaje: supervisado y no supervisado.

V. 1. 1 El aprendizaje supervisado

Si la red utiliza un tipo de aprendizaje supervisado debemos proporcionarle parejas de

patrones entrada-salida y la red neuronal aprende a asociarlos. En terminología

estadística equivale a los modelos en los que hay vectores de variables

independientes y dependientes: técnicas de regresión, análisis discriminante, modelos

de series temporales, etc.

En este tipo de aprendizaje se suelen considerar tres formas: Aprendizaje por

corrección de error, Aprendizaje por refuerzo y aprendizaje estocástico.

a.1) Aprendizaje por corrección de error.

Consiste en ajustar los pesos de las conexiones de la red en función de la

diferencia entre los valores deseados y los obtenidos en la salida; es decir, en

función del error cometido.

Una regla o algoritmo simple de aprendizaje por error podría ser como la

siguiente:

∆ wji = α yi (dj – yj)



Donde:

∆ wji : Variación en el peso de la conexión entre las neuronas i y j

(∆ wji = wji actual – wji

anterior )

yi : Valor de salida de la neurona i.

dj : Valor de salida deseado para la neurona j.

yj : Valor de salida obtenido de la neurona j.

α : Factor de aprendizaje (0 < α



denominado regla delta o regla del error mínimo cuadrado (Widrow y Hoff,

1960). Se aplica en las redes ADALINE, con una sola neurona de salida, y

MADALINE, con varias neuronas de salida.

Este error medio se expresa de la siguiente manera:

2)(

1 1

)( )(21 k

j

P

k

N

j

kjglobal dy

PError −= ∑∑

= =

Donde:

N: Número de neuronas de salida

P: Número de informaciones que debe aprender la red

2

1

)(21 k

j

N

j

kj dy −∑

= : Error cometido en el aprendizaje de la información k-

ésima

Por lo tanto, se trata de encontrar unos pesos para las conexiones de la red

que minimicen esta función de error. Para ello, el ajuste de los pesos de las

conexiones de la red se puede hacer de forma proporcional a la variación

relativa del error que se obtiene al variar el peso correspondiente:

ji

globalji

wErrorkw

∂∂=∆

Mediante este procedimiento, se llega a obtener un conjunto de pesos con los

que se consigue minimizar el error medio.

Otro algoritmo de aprendizaje por corrección de error, propuesto en 1986, lo

constituye el denominado regla delta generalizada o algoritmo de

retropropagación del error (error backpropagation), conocido también como

regla LMS(Least-Mean-Square Error) multicapa.

Se trata de una generalización de la regla delta para poder aplicarla a redes

con conexiones hacia delante (feedforward) con capas o niveles ocultos de



neuronas que no tienen relación con el exterior. Son redes con capa de

entrada, capas ocultas y capa de salida.

Estas redes multicapa pueden utilizarse en muchas más aplicaciones que las

ya mencionadas Perceptrón, ADALINE y MADALINE, pero su proceso de

aprendizaje es mucho más lento debido a que durante el mismo se tiene que

explorar el espacio de posibles formas de utilización de las neuronas de las

capas ocultas; es decir, se debe establecer cuál va a ser su papel en el

funcionamiento de la red.

a.2) Aprendizaje por refuerzo.

Es un aprendizaje supervisado más lento que el anterior, que se basa en no

disponer de un ejemplo completo del comportamiento deseado; es decir, no

indicar exactamente la salida que se desea que proporcione la red ante una

determinada entrada.

En este aprendizaje la función del supervisor se reduce a indicar mediante una

señal de refuerzo si la salida obtenida se ajusta a la deseada (éxi to = +1 ó

fracaso = -1), y en función de ello se ajustan los pesos.

a.3) Aprendizaje estocástico.

Este tipo de aprendizaje consiste básicamente en realizar cambios aleatorios a

los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo

deseado y de distribuciones de probabilidad.

V. 1. 2 El aprendizaje no supervisado o autoorganizado

Si el entrenamiento es no supervisado, únicamente debemos suministrar a la red los

datos de entrada para que extraiga los rasgos característicos esenciales. En



terminología estadística equivale a los modelos en los que sólo hay vectores de

variables independientes y buscan el agrupamiento de los patrones de entrada:

análisis de conglomerados o cluster, escalas multidimensionales, etc.

Estas redes deben encontrar las características, regularidades, correlaciones o

categorías que se pueden establecer entre los datos de entrada. Puesto que no hay un

supervisor que indique a la red la respuesta que debe generar una entrada concreta,

cabría preguntarse precisamente por lo que la red genera en estos casos. Existen

varias posibilidades en cuanto a la interpretación de las salidas, que dependen de su

estructura y del algoritmo de aprendizaje empleado.

En algunos casos, la salida representa el grado de familiaridad o similitud entre las

entradas y las informaciones que se le han mostrado hasta entonces (en el pasado).

En otro caso podría realizar una clusterización o establecimiento de categorías,

indicando a la salida a qué categoría pertenece la información presentada en la

entrada, siendo la propia red quien debe encontrar las categorías apropiadas a partir

de correlaciones entre las informaciones presentadas.

Finalmente, algunas redes con aprendizaje no supervisado realizan un mapeo de

características (feature mapping), obteniéndose en las neuronas de salida una

disposición geométrica que representa un mapa topográfico de las características de

los datos de entrada, de tal forma que si se presentan a la red informaciones similares,

siempre sean afectadas neuronas de salida próximas entre sí, en la misma zona del

mapa.



CAPÍTULO VI

VI. 1 LA RED BACKPROPAGATION

De forma simplificada, el funcionamiento de la red backpropagation (BPN) consiste en

el aprendizaje de un conjunto predefinido de pares de entradas-salidas dados como

ejemplo, empleando un ciclo propagación – adaptación de dos fases:

Primero se aplica un patrón de entrada como estímulo para la primera capa de

neuronas de la red, se va propagando a través de todas las capas superiores hasta

generar una salida, se compara el resultado obtenido en las neuronas de salida con la

salida que se desea obtener, y se calcula un valor del error para cada neurona de

salida.

A continuación, estos errores se trasmiten hacia atrás, partiendo de la capa de salida,

hacia todas las neuronas de la capa intermedia que contribuyeron directamente a la

salida, recibiendo el porcentaje de error aproximado a la participación de la neurona

intermedia en la salida original.

Este proceso se repite capa por capa, hasta que todas las neuronas de la red hayan

recibido un error que describa su aportación relativa al error total. Basándose en el

valor del error recibido, se reajustan los pesos de conexión de cada neurona, de

manera que en la siguiente vez que se presente el mismo patrón, la salida esté más

cerca de la deseada; es decir, el error disminuya.

La importancia de la red backpropagation consiste en su capacidad de autoadaptar los

pesos de las neuronas de las capas intermedias para aprender la relación que existe

entre un conjunto de patrones dados como ejemplo y sus salidas correspondientes.

Después del entrenamiento, puede aplicar esta misma relación a nuevos vectores de



entrada con ruido o incompletas, dando una salida activa si la nueva entrada es

parecida a las presentadas durante el aprendizaje.

Esta característica importante, que se exige a los sistemas de aprendizaje, es la

capacidad de generalización, entendida como la facilidad dar salidas satisfactorias a

entradas que el sistema no ha visto nunca en su fase de entrenamiento. La red debe

encontrar una representación interna que le permita generar las salidas deseadas

cuando se le dan las entradas de entrenamiento, y que pueda aplicar, además, a

entradas no presentadas durante la etapa de aprendizaje para clasificarlas según las

características que compartan con los ejemplos de entrenamiento.

VI. 1. 1 La Regla Delta Generalizada

La regla delta, propuesta por Widrow en 1960 ha sido extendida a redes con capas

intermedias con conexiones hacia delante (feedforward) y cuyas células tienen

funciones de activación continuas (lineales o sigmoidales), dando lugar a un algoritmo

de retropropagación (backpropagation). Estas funciones continuas son no

decrecientes y derivables, a diferencia de la función escalón que se utiliza en el

Perceptrón, que no es derivable en el punto de discontinuidad.

Este algoritmo utiliza también una función o superficie de error asociada a la red,

buscando el estado estable de mínima energía o de mínimo error a través del camino

descendente de la superficie del error. Por ello, realimenta el error del sistema para

realizar la modificación de los pesos en un valor proporcional al gradiente decreciente

de dicha función de error.

Funcionamiento del algoritmo. -



Conexión entre una neurona de una capa oculta con una neurona de salida

El método que sigue la regla delta generalizada para ajustar los pesos es actualizarlos

de forma proporcional a la delta o diferencia entre la salida deseada y la obtenida (δ =

salida deseada – salida obtenida)

Dada una neurona Ui y la salida que produce, yi, el cambio que se produce en el peso

de la conexión que une la salida de dicha neurona con la unidad Uj (wji) para un patrón

de aprendizaje p determinado es:

pijpji ytw δα=+∆ )1(

donde el subíndice p se refiere al patrón de aprendizaje concreto y α es la constante o

tasa de aprendizaje.

El punto en que difieren la regla delta generalizada de la regla delta es en el valor

concreto de δpj. Por otro lado, en la redes multinivel a diferencia de las redes sin

neuronas ocultas, en principio no se puede conocer la salida deseada de las neuronas

de las capas ocultas para poder determinar los pesos en función del error cometido.

Sin embargo, inicialmente sí podemos conocer la salida deseada de las neuronas de

salida. Según esto, si consideramos la unidad Uj de salida, entonces definimos

δpj = (dpj – ypj) . f’(net j)

donde dpj es la salida deseada de la neurona j para el patrón p y netj es la entrada

neta que recibe la neurona j.

yi

Ui Uj

yi yj

wji

Capa Oculta Capa de Salida



Esta fórmula es como la de la regla delta, excepto en lo que se refiere a la derivada de

la función de transferencia. Este término representa la modificación que hay que

realizar en la entrada que recibe la neurona j. En el caso en que dicha neurona no sea

de salida, el error que se produce estará en función del error que se cometa en las

neuronas que reciban como entrada la salida de dicha neurona. Esto es lo que se

denomina el procedimiento de propagación del error hacia atrás.

Conexiones entre neuronas de capa oculta y de salida

Según esto, en el caso de que Uj no sea una neurona de salida, el error que se

produce está en función del error que se comete en las neuronas que reciben como

entrada la salida de Uj:

∑ •=k

jjkpkpj netfw )(')( δδ

donde el rango k cubre todas aquellas neuronas a las que está conectada la salida de

Uj. De esta forma, el error que se produce en una neurona oculta es la suma de los

errores que se producen en las neuronas a las que está conectada la salida de ésta,

multiplicando cada uno de ellos por el peso de la conexión.

Adición de un momento a la regla delta generalizada.-

Capa de Salida

Capa Oculta Capa de entrada (u oculta)

Ui Uj

Uk1

Ukn

yi yj

yj wii

wk1j

wknj

yk1

ykn



El método de propagación de error, también conocido como del gradiente

descendiente, requiere un importante número de cálculos para lograr el ajuste de los

pesos en la red. En la implementación del algoritmo, se toma una amplitud de paso

que viene dada por la tasa de aprendizaje α. A mayor tasa de aprendizaje, mayor es la

modificación de los pesos en cada iteración, con lo que el aprendizaje será más

rápido, pero, por otro lado, puede dar lugar a oscilaciones. Rumelhart, Hinton y

Williams (1986) sugirieron que para filtrar esas oscilaciones se añada en la expresión

del incremento de los pesos un término (momento), β, de manera que dicha expresión

quede:

)()1(

))1()(()()1(

twyt

twtwytwtw

jipipjji

ijipipjjiji

∆+=+∆=−−++=+

βδα

βδα

donde β es una constante (momento) que determina el efecto en t + 1 del cambio de

los pesos mediante el instante t.

Con este momento se consigue la convergencia de la red en menor número de

iteraciones, ya que si en t el incremento de un peso era positivo y en t + 1 también,

entonces el descenso por la superficie de error en t + 1 es mayor. Sin embargo, si en t

el incremento era positivo y en t + 1 es negativo, el paso que se da en t+1 es más

pequeño, lo cual es adecuado, ya que esto significa que ha pasado por un mínimo, y

que los pasos deben ser menores para poder alcanzarlo.

Resumiendo, el algoritmo backpropagation queda finalmente:

[ ]

[ ])()()1(

)1()()1(

twtwtw

twtwtw

jipjjiji

jijiji

∆++=+

+∆+=+

βδα



donde:

)(')( jpjpjpj netfyd −=δ si Uj es una neurona de salida, y

∑=k

jkjpkpj netfw )(')( δδ

si Uj no es una neurona de salida.



CAPÍTULO VII

VII. 1 APLICACIONES DE LAS REDES NEURONALES ARTIFICIALES

A continuación una descripción general de las características que debe poseer un

problema para que su solución con redes neuronales proporcione buenos resultados,

así como aquellas que sugieren que el empleo de esta técnica puede no resultar

aconsejable o viable.

a) Características que debe tener el problema:

• No se dispone de un conjunto de reglas sistemáticas que describan

completamente el problema.

• En cambio, sí se dispone de muchos ejemplos o casos históricos (esta es una

condición indispensable).

• Los datos procedentes del problema son imprecisos o incluyen ruido (por

ejemplo, para un OCR las imágenes correspondientes a la misma letra pueden

presentarse giradas, distorsionadas, etc.)

• El problema es de una elevada dimensionalidad (por ejemplo, la matriz de

puntos que conforma una imagen puede ser demasiado grande como para que

un sistema convencional que opera en serie pueda hacer un análisis de la

imagen en tiempo real).

• Una circunstancia frecuente es que los métodos de redes neuronales

proporcionan una alternativa mucho más rápida y sencilla de desarrollar que

otras técnicas convencionales.



• Si las condiciones de trabajo son cambiantes se puede aprovechar la

capacidad para adaptarse a estos cambios de las redes neuronales, re-

entrenando el sistema con nuevos ejemplos.

b) Características que hacen desaconsejable el empleo de redes neuronales:

• Existe un algoritmo que resuelve con total eficacia el problema. Es el caso de

los problemas puramente algorítmicos o numéricos (multiplicación de números,

inversión de matrices, etc.)

• No se dispone de un número adecuado de casos (ejemplos) para entrenar a la

red.

• Tareas críticas o potencialmente peligrosas, cuya solución siempre deba ser

perfectamente predecible y explicable. A veces no resulta fácil interpretar la

operación de la red neuronal o predecir con absoluta fidelidad el resultado que

pueda proporcionar en todos los casos posibles.

VII. 2 OPERATIVA

La figura siguiente describe el procedimiento para operar con redes neuronales.

Originalmente la red neuronal no dispone de ningún tipo de conocimiento útil

almacenado. Para que la red neuronal ejecute una tarea es preciso entrenarla, en

terminología estadística diríamos que es necesario estimar los parámetros.

En realidad todo el procedimiento que vemos en la figura es estadístico: primero se

selecciona un conjunto de datos, o patrones de aprendizaje en jerga neuronal.

Después se desarrolla la arquitectura neuronal, número de neuronas, tipo de red. Por

decirlo con otras palabras, se selecciona el modelo y el número de variables

dependiente e independientes. Se procede a la fase de aprendizaje o estimación del

modelo y a continuación se validan los resultados.



Modo de trabajo con redes neuronales

VII. 3 Listado de Aplicaciones

Biología:

• Aprender más acerca del cerebro y otros sistemas

• Obtención de modelos de retina.

Empresa:

• Evaluación de probabilidad de formaciones geológicas y petrolíferas.

• Explotación de bases de datos (minería de datos)

• Optimización de plazas y horarios en líneas aéreas.

• Reconocimiento de caracteres escritos.

Medio ambiente:

• Analizar tendencias y patrones.

• Previsión del tiempo.



Finanzas:

• Previsión de la evolución de los precios.

• Valoración del riesgo de los créditos.

• Identificación de falsificaciones.

Manufactura:

• Sistemas de control automatizados (visión artificial y sensores de temperatura,

presión, gas, etc.)

• Control de producción en líneas de proceso.

• Control de calidad.

Medicina:

• Analizadores del habla para ayuda en la audición.

• Diagnóstico y tratamiento a partir de síntomas y/o datos analíticos

(electrocardiograma, encefalograma. Análisis sanguíneo, etc.)

• Monitorización en cirugía.

• Predicción de reacciones adversas a medicamentos.

• Análisis de las causas de los ataques epilépticos.

• Lectores de rayos X

Militares:

• Clasificación de señales de radar.

• Optimización del uso de recursos escasos.

• Creación de armas inteligentes.



CAPÍTULO VIII

VIII. 1 CASO PRÁCTICO

Red Neuronal para apoyo a identificación de factores de mayor

riesgo en hijos de madres con antecedentes de aborto.

OBJETIVO

Averiguar los factores de mayor impacto en el estado al nacer de los hijos de las

gestantes con antecedente de más de dos abortos previos.

MATERIAL Y MÉTODOS

Para el presente trabajo se empleó datos fuente almacenados en tablas *.dbf

provenientes de un sistema desarrollado en FoxPro. Esta información ha sido

capturada mediante un sistema que recoge el perfil de cada gestante y de cada recién

nacido en una ficha según formato adjunto. Este registro lo realiza el profesional de

salud a partir de la HC del paciente (madre y niño).

Esta información fue importada a una base de datos MsAccess 2000 para su análisis,

depuración y preprocesamiento para adecuarlos al formato necesario para el trabajo

con la red neuronal.

La herramienta de simulación de redes neuronales empleada es EasyNN-plus 1.0g,

que permite crear redes Perceptrón Multicapa con algoritmo de aprendizaje

backpropagation.

Esta herramienta tiene dos componentes principales: los nodos y las conexiones.

Los datos de entrenamiento y pruebas se cargan a una grilla semejante a una hoja de

cálculo, en la que las filas constituyen los patrones ejemplo y las columnas definen las

entradas y salidas de la red.



Nodo

Neurona

Net Input: Suma de todas las activaciones * pesos de inputs hacia el

nodo + Bias (umbral).

Activación: 1.0 / (1.0 + e(-Net Input))

Error en nodo de

salida

Objetivo - activación

Error en nodo oculto: Error + Delta * Peso

Delta: Error * Activación * (1.0 – Activación)

Bias: Bias + Delta Bias

Derivada del Bias Derivada del Bias + Delta

Delta Bias: Ratio de aprendizaje * Derivada del Bias + Momentum * Delta

Bias

Conexión

Direccionamiento

Desde: El nodo hacia donde va la conexión.

Hacia: El nodo de donde viene la conexión.

Number: Número de la conexión.

Peso:

Tipo: Variable o Fijo.

Peso: Peso + Delta del peso.

Derivada del peso: Derivada del peso + Hacia: Delta * Desde: Activation.

Delta del peso: Ratio de aprendizaje * Derivada del peso + Momentum * Delta

del peso.



En el anexo 1 se muestran los valores obtenidos para cada uno de estos elementos en

la red neuronal construida.

La data original corresponde a una población de 44,500 casos presentados en el año

2001 en los hospitales del Seguro Social del Perú, de los cuales se seleccionaron los

553 casos de mujeres con más de dos abortos previos a la gestación.

Para los efectos de la presente investigación, de la ficha de datos básicos (Anexo 3)

hemos cruzado la variable 2 “Antecedentes obstétricos de la madre”, en el rubro

“Numero de abortos previos” con valor mayor a 2, cruzándola con la variable 19

“Estado al nacer” , que consta de los siguientes rubros:

• Vivo sin patología (ninguna dolencia o enfermedad)

• Vivo con patología (con alguna dolencia o enfermedad)

• Muerto antes del parto

• Muerto durante el parto

CONCLUSIONES:

Si la gestante ha tenido más de dos abortos antes de la gestación actual, el estado al

nacer de su hijo estará determinado por los siguientes factores en orden de prioridad:

1º. Presencia o no de Pre eclampsia (hipertensión inducida por el embarazo).

2º. Infección urinaria durante la gestación.

3º. La no presencia de otras enfermedades durante el embarazo diferentes a:

diabetes, hipertensión arterial, asma o cardiopatía.

4º. La presencia o no de rotura prematura de membranas.

5º. Ausencia de otras entidades obstétricas.



De acuerdo a la técnica de estimación empleada, esta conclusión tiene un 0.047471

de error promedio.

APLICABILIDAD

• Una mujer con más de dos abortos puede tener un hijo vivo sin enfermedad al

nacer.

• Cuando se trata de pacientes con el antecedente de abortos repetidos, deberá

pesquizarse cercanamente y tratarse oportunamente cualquiera de las

complicaciones señaladas.



CONCLUSIONES

Tras presentar una visión panorámica de los principios, desarrollo y aplicaciones de

las Redes Neuronales Artificiales, se hace necesario señalar algunas conclusiones

importantes que se derivan de lo presentado en el presente documento, de las

investigaciones realizadas para su preparación, y de la experiencia en el desarrollo del

caso práctico:

1. Para resolver con eficiencia un problema, éste debe comprenderse bien. Rara vez

existen soluciones simples a problemas complejos. Si se comprende bien el

problema, introduciendo explícitamente el conocimiento apriorístico en el modelo

se obtiene un sistema más eficiente.

2. Todo problema debe descomponerse en partes. En cada parte se debe ensayar

con distintos métodos, neuronales o no, para quedarse con el más eficaz. En este

sentido, deben realizarse comparaciones objetivas. Lo habitual es

universidad nacional mayor de san marcos · 2005. 10. 10. · universidad nacional mayor de san...

Documents