introducciÓn a las redes neuronales artificiales

UNIDAD UNIDAD 5 5

INTRODUCCIÓN A LAS REDES NEURONALES ARTIFICIALES

5.2 Notación y modelo de una neurona

La representación de una neurona artificial, así como las funciones de transferencia que se visualizarán en este objetivo son tomadas del modelo de simulación de RNA presentado en el programa de MATLAB.

5.2.1 Neurona de una entrada y Funciones de transferencia

Entrada neurona con umbralw n

a

p

b = 1

bpwFa

F

Funciones de transferencia

Esta función se utiliza en el Perceptron para crear neuronas las cuales toman decisiones de clasificación.Cuando este tipo de función (hardlim) toma en cuenta un cierto umbral su salida se incrementará de 0 a 1 cuando p exceda un valor dado por -b/w.

Funciones de transferencia

Este tipo de funciones se usan como aproximadores lineales (Neural Linear).

Funciones de transferencia

Comúnmente esta función se utiliza en las redes Perceptrón multicapa que utilizan el algoritmo de aprendizaje de retropropagación. El umbral puede ser constante o puede cambiar como en el caso de la ponderación con una regla apropiada de aprendizaje. El umbral se puede ajustar durante el entrenamiento.

5.2.2 Neurona de Múltiples Entradas

Notación usada en diagramas de múltiples entradas

En la figura se presenta un diagrama de una neurona con R entradas

5.3 ARQUITECTURAS DE RNA

5.3.1 Red neuronal con una Capa de neuronas

Dos o más neuronas pueden ser combinadas en una capa. Una red puede contener una o más capas. A continuación se presenta una red con una capa que contiene R entradas y S neuronas:

Cada elemento del vector de entrada p esta conectado a cada neurona a través de la matriz de ponderaciones W. (RS).

Los elementos del vector de entrada entran a la red a través de la matriz de ponderaciones W como se expresa a continuación:

p es un vector de entrada de longitud R, W es una matriz SxR y, a y b son vectores de longitud S.

Una capa neuronal incluye la matriz de ponderaciones, las operaciones de multiplicación, el vector de umbral b, el sumador, y la función de transferencia.

Arquitectura De Las Redes Neuronales

Los parámetros fundamentales Los parámetros fundamentales de la red son:de la red son: Número de capasNúmero de capas Número de neuronas por capaNúmero de neuronas por capa Grado de conectividadGrado de conectividad Tipo de conexiones entre Tipo de conexiones entre

neuronasneuronas

5.3.2 Red neuronal de Múltiples Capas

Red neuronal con varias capa de neuronas (forma condensada)

Redes Monocapa:

l1 lnl2

Las redes monocapa se utilizan típicamente en Las redes monocapa se utilizan típicamente en en tareas relacionadas en lo que se conoce comoen tareas relacionadas en lo que se conoce comoautoasociación: por ejemplo, para regenerar autoasociación: por ejemplo, para regenerar informaciones de entrada que se presentan a lainformaciones de entrada que se presentan a lared incompletas o distorsionadasred incompletas o distorsionadas ..

P/ejemplo Hopfield, BSB, Learnig Matrix

Redes Multicapa: Redes con conexiones hacia delante (feedforward)Redes con conexiones hacia delante (feedforward)

Este tipo de redes son Este tipo de redes son especialmente útiles en especialmente útiles en aplicaciones de reconocimiento aplicaciones de reconocimiento o clasificación deo clasificación depatrones.patrones.

En este tipo de redes, todas las señales neuronalesEn este tipo de redes, todas las señales neuronalesse propagan hacia adelante a través de las capas dese propagan hacia adelante a través de las capas dela red. No existen conexiones hacia atrás y normal-la red. No existen conexiones hacia atrás y normal-mente tampoco autorrecurrentes, ni laterales.mente tampoco autorrecurrentes, ni laterales.

Redes con conexiones hacia adelante y hacia atrás (feedforward / feedback):

En este tipo de redes En este tipo de redes circula información tanto circula información tanto hacia adelante como hacia hacia adelante como hacia atrás durante el atrás durante el funcionamiento de la red. funcionamiento de la red. Para que esto sea posible, Para que esto sea posible, existen conexionesexisten conexionesfeedforward feedforward y conexiones y conexiones feedbackfeedback entre las neuronas. entre las neuronas.

P/ ejemplo:

ART, BAM, CABAM.

También existen algunas que tienen conexiones laterales entre neuronas de la misma capa. Estas conexiones se diseñan como excitadores (con peso positivo) o inhibidoras (con peso negativo), estableciendose una competencia entre las neuronas correspondientes.

Redes Con Conexiones Hacia Adelante Y Hacia Atrás(feedforward / Feedback)

Topologías de redes neuronales.

Redes de una sola capa Feedforward

Redes De Una Sola Capa Feedforward

Las unidades de entrada son fijadas y entonces la activación es propagada a través de la red hasta que los valores de las unidades de salida son determinadas.

La red actúa como un vector de una función valuada tomando un vector en la entrada y regresando otro vector en la salida.

Por ejemplo, las entradas pudieran representar las características de un miembro de un grupo y la salida pudiera ser la predicción de el grupo al cual pertenece dicha persona.

Redes Multicapa Feedforward

Redes Multicapa Feedforward

Algunos problemas no se pueden solucionar con una red de una capa, entonces una capa extra debe agregarse.

La capa oculta permite a la red crear su propia representación de las entradas.

Dadas suficientes unidades ocultas de la clase correcta es posible aproximar arbitrariamente casi cualquiera entrada. (Universal Approximation Theorem).

Redes Competitivas

Redes Competitivas Las redes competitivas son similares a las

feedforward simples, excepto que las competitivas tienen conexiones usualmente negativas entre los nodos de salida.

Debido a las conexiones anteriores laterales en los nodos de salida, estas tienden a competir para representar el patrón de entrada actual.

Las redes de esta clase ha sido usada para explicar la formación de mapas topológicos que ocurren en muchos sistemas sensoriales humanos incluidos la visión, audición, tacto y gusto y olfato.

Red completamente Recurrente

Red completamente Recurrente

Un conjunto de patrones es presentado simultáneamente en las unidades una a la vez. Con forme cada patrón es presentado los pesos son modificados.

Una versión degradada de uno de los patrones se presenta en la red y esta intentar reconstruir el patrón.

Otra Red Recurrente

La Otra Red Recurrente

Debido a que el procesamiento en redes recurrentes depende del estado de la red en el último paso que tuvo lugar para responder a la entrada actual en diferentes formas, se dependerá de las entradas antes presentadas.

Por ejemplo Simple Recurrent Network (Elman) and the Jordan Network

Red Recurrente Simple

5.3.3 Regla de aprendizaje

“La modificación del comportamiento inducido por la interacción con el entorno y como resultado de experiencias conduce al establecimiento de nuevos modelos de respuesta a estímulos externos”.

(D. Hebb) .

En las redes neuronales artificiales el conocimiento se encuentra representado en los pesos (w) de las conexiones entre neuronas.

Por lo que puede decirse que una red neuronal aprende al modificar los valores de los pesos de la red.

Una red depende del número de neuronas de las que disponga y como estén conectadas entre sí.

Así mismo, cada modelo de red dispone de su o sus propias técnicas de aprendizaje.

5.4 MECANISMOS DE APRENDIZAJE

(ajuste de pesos de interconexión)

En los modelos de RNA, la creación de una nueva conexión implica que el peso de la misma pasa a tener un valor distinto de cero.

De la misma forma, una conexión se destruye cuando su peso pasa a ser cero.

¿Qué son las reglas de aprendizaje en RNA?

La regla de aprendizaje de una red son criterios que se siguen para cambiar el valor asignado a las conexiones (o sea cómo se modifican los valores de los pesos). Existen dos tipos de reglas de aprendizaje: 1) El aprendizaje supervisado, y 2) El aprendizaje no supervisado.

Clasificación de RNA según el aprendizaje que observan

Redes neuronales que utilizan OFF LINE.- (desconexión de la red) Cuando el aprendizaje es OFF LINE se distingue entre una fase de aprendizaje y una fase de operación, existiendo un conjunto de datos de entrenamiento y un conjunto de datos de prueba que serán utilizados en la correspondiente fase.

... En las redes con aprendizaje OFF LINE,

los PESOS de las conexiones permanecen fijos después de que termina la etapa de entrenamiento de la red.

Debido a que las redes de tipo OFF LINE presentan un carácter estático, estos sistemas no presentan problemas de estabilidad en su funcionamiento.

... Redes con aprendizaje ON LINE.- en estas

redes no se distingue entre la fase de entrenamiento y de operación, de tal forma que los PESOS varían dinámicamente siempre que se presente una nueva información al sistema.

En las redes ON LINE debido al carácter dinámico de la misma, es importante el estudio de la estabilidad de la red.

5.4.1 Redes con aprendizaje supervisado

Tipos de aprendizajes supervisados:

Aprendizaje por corrección de error. Aprendizaje por refuerzo. Aprendizaje estocástico.

El Aprendizaje Por Corrección De ErrorEste aprendizaje consiste en ajustar los

pesos de las conexiones de la red en función de la diferencia entre los valores deseados y los obtenidos en la salida de la red. Ejemplos: La regla de aprendizaje del

Perceptron; regla delta o regla del mínimo error cuadrado o regla de Widrow-Hoff, ADALINE y MADALINE.

Aprendizaje Por ReforzamientoAprendizaje Por Reforzamiento

Aprendizaje por Reforzamiento

Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.

Algoritmos de Algoritmos de Aprendizaje por RefuerzoAprendizaje por Refuerzo

Algoritmo Lineal con Recompensa y penalización (Linear Reward - Penalty), Narendra /Thathacher.

Algoritmo Asociativo con recompensa y penalización (Barto / Anandan).

Adaptive Heuristic Critic (Barto, Sutton, Anderson).

El aprendizaje estocástico

Consiste básicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de las distribuciones de probabilidad Ejemplo: la red Maquina de Cauchy

Ejemplos de algoritmos de Ejemplos de algoritmos de Aprendizaje EstocásticoAprendizaje Estocástico

Maquina de Boltzmann (Hinton, Ackley, Sejnowky).

Temple Simulado (Simulated Anneling).

Maquina de Cauchy (Szu)

5.4.2 Redes con aprendizaje no supervisado

Tipos de algoritmos de aprendizaje no supervisado:

Aprendizaje Hebbiano. Aprendizaje competitivo y cooperativo.

El aprendizaje Hebbiano

Se basa en el siguiente postulado: "Cuando un axón de una celda A está

suficientemente cerca como para conseguir excitar una celda B y repetida o persistentemente toma parte en su activación, algún proceso de crecimiento o cambio metabólico tiene lugar en una o ambas celdas, de tal forma que la eficiencia de A, cuando la celda a activar es B, aumenta”.

...Ejemplos:

Red de Hopfield;

Red Additive Grossberg;

Red Shunting Grossberg;

Red feedforward/feedback de 2 capas = Bidirectional Associative memory, BAM

Aprendizaje competitivo y cooperativo

En este aprendizaje las neuronas compiten (y cooperan) unas con otras con el fin de llevar a cabo una tarea dada.

El objetivo de este aprendizaje es categorizar (agrupar) los datos que se introducen en la red.

...

Ejemplo:

Cuantización del Vector de Aprendizaje o LVQ,

Aplicado a redes feedforward de dos capas.

...Dentro del aprendizaje competitivo

existe la teoría de la resonancia adaptativa, utilizada en la red feedforward/feedback de dos capas conocida como ART (1 trabaja con información binaria y 2 trabaja con información analógica).

Ejemplos De Redes Con Aprendizaje Ejemplos De Redes Con Aprendizaje Competitivo Competitivo Y CooperativoY Cooperativo.

LVQ (Learning vector quantization) Kohonen.

Cognitron y Neocognitron (Fukushima).

SOM (Kohonen).

ART (Carpenter y Grossberg).

Ejemplos de Redes con Aprendizaje Ejemplos de Redes con Aprendizaje Competitivo y CooperativoCompetitivo y Cooperativo

LVQ ART

5.5 ESTRUCTURA DE UNA RED NEURONAL ARTIFICIAL

Componentes más importantes de una red neuronal: Unidades de procesamiento. Estado de activación de cada neurona. Patrón de conectividad entre neuronas. Propagación de información. Función de transferencia. Regla de aprendizaje.

Niveles o capas de neuronas

Una red estará totalmente conectada si todas las salidas desde un nivel llegan a todos y cada uno de los nodos del nivel siguiente.

Forma de conexión entre neuronas

La señal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser una entrada de sí mismo (conexión autorrecurrente).

Red de propagación hacia delante.Red de propagación hacia atrás.

Red neuronal de tipo feedforward.

Red neuronal de tipo feedforward.

Conexiones con propagación hacia atrás en RNA

Red neuronal de tipo recurrente

...La retroalimentación de la salida a la

entrada le permite a la red recurrente exhibir un comportamiento temporal.

Por lo anterior, la salida de la red recurrente puede presentar un comportamiento oscilatorio o converger.

...Comúnmente, la red recurrente sé

alimenta con un vector de entrada inicial. Y una vez inicializada, en cada ciclo, las salidas de la red son usadas como entradas.

Ejemplos de este tipo de red son: las redes Elman y las redes de Hopfield.