redes neuronales artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/redneu/rna006c.pdf ·...

24
Redes Neuronales Artificiales

Upload: doanngoc

Post on 06-Sep-2018

230 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

Redes Neuronales Artificiales

Page 2: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

2

Red

es N

euro

nale

s A

rtifi

cial

es

Adaline-Madaline

Utilizan un aprendizaje OFF LINE con supervisióndenominado LMS (Least Mean Squared) o regla delmínimo error cuadrático medio (Widrow). Tambiéndenominado Regla Delta.El aprendizaje busca encontrar el mejor vector depesos posible en términos del criterio de errorcuadrático medio.ADALINE está limitada a una única neurona desalida. Un vector x como su entrada y un númeroreal y como su salida. MADALINE es unacombinación de neuronas ADALINE.

Page 3: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

3

Red

es N

euro

nale

s A

rtifi

cial

es

x1

x2

x N

w1

w2

wN

y

x0=1

s Salidalineal

Salida binaria

ConmutadorbipolarConmutador

adaptativolineal

Estructura de la red ADALINE

Adaline-Madaline

Page 4: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

4

Red

es N

euro

nale

s A

rtifi

cial

es

.

.

.

.

.

.

.

.

.Capa de salida

Capa oculta

Capa de entrada

Estructura red MADALINE

Adaline-Madaline

Page 5: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

5

Red

es N

euro

nale

s A

rtifi

cial

es

ART (Adaptive Resonance Theory)

Esta teoría se aplica a sistemas competitivos (redescon aprendizaje competitivo).La red busca categorizar los datos que le sonintroducidos.La teoría se basa en la idea de hacer resonar lainformación de entrada con las categorías que yareconoce la red.

Page 6: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

6

Red

es N

euro

nale

s A

rtifi

cial

es

Estructura:

RA

Capa competitiva (salida)Oi

Capa de comparación (entrada)Vj

-Nwij wij -1

1

1

p

xj

ART (Adaptive Resonance Theory)

Page 7: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

7

Red

es N

euro

nale

s A

rtifi

cial

es

ART (Adaptive Resonance Theory)

El aprendizaje es de tipo ON LINE, no se distingueentre etapa de entrenamiento y de funcionamiento.

Los pesos varían durante el funcionamiento de la redcuando se aplica información de entrada a la misma.Utiliza un aprendizaje no supervisado de tipo competitivo.

Se pueden dar dos tipos de aprendizaje:Aprendizaje rápido. Se establece una nueva categoría.Aprendizaje lento. Una información de entrada es asociada auna categoría existente.

Page 8: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

8

Red

es N

euro

nale

s A

rtifi

cial

es

ART (Adaptive Resonance Theory)

Aplicaciones:Tareas de reconocimiento de patronesModelamiento de procesos biológicosDiseño de sistemas de control y diagnósticoadaptativo.

Page 9: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

9

Red

es N

euro

nale

s A

rtifi

cial

es

Principio de entrenamiento auto-organizado(opuesto al aprendizaje supervisado).

La red consiste básicamente de dos conjuntos deunidades, cada unidad de salida conectada a todoslos n nodos de entrada.

Mapas autorganizados de Kohonen

Page 10: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

10

Red

es N

euro

nale

s A

rtifi

cial

es

La idea básica que yace en las SOFM es laincorporación a la regla de aprendizajecompetitivo un cierto grado de sensibilidad conrespecto al vecindario o la historia.Esto hace que el número de neuronas que noaprenden desaparezca y ayuda a que sedestaquen propiedades topológica que aparezcanen el mapeado de características.

Mapas autorganizados de Kohonen

Page 11: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

11

Red

es N

euro

nale

s A

rtifi

cial

es

Suponiendo que un vector de entrada tiene Ncaracterísticas y se representa por un vector X enun espacio de patrones N-dimensional.La red mapea el patrón de entrada hacia unespacio de salida.Por ejemplo, el espacio de salida puede ser unarray unidimensional o bidimensioanl de nodosde salida, que posee cierto orden topológico.

Page 12: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

12

Red

es N

euro

nale

s A

rtifi

cial

es

...

...........................

...

Capa de Salida

Conexiones feedforward

Capa de Entrada

Mapas autorganizados de Kohonen

Estructura de la red

Page 13: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

13

Red

es N

euro

nale

s A

rtifi

cial

es

Mapas autorganizados de Kohonen

Page 14: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

14

Red

es N

euro

nale

s A

rtifi

cial

es

Mapas autorganizados de Kohonen

Aprendizaje no supervisado de tipo competitivo.Las neuronas de la capa de salida compiten poractivarse y sólo una de ellas lo consigue.Es de tipo OFF LINE y se distinguen dos etapas:– Aprendizaje– Funcionamiento

Page 15: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

15

Red

es N

euro

nale

s A

rtifi

cial

es

La cuestión es cómo entrenar la red para que esarelación de orden se preserve.Kohonen propuso que las neuronas de salidainteractuaran lateralmente, llegando así a los mapasde características autorganizativos.

Page 16: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

16

Red

es N

euro

nale

s A

rtifi

cial

es

La característica más importante del modelo esel concepto de aprendizaje en un vecindariopróximo a la neurona ganadora.El tamaño del vecindario decrece en cadaiteración.La fase de entrenamiento es la siguiente:

Page 17: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

17

Red

es N

euro

nale

s A

rtifi

cial

es

(1) se selecciona la neurona ganadora con ladistancia EuclídeaSea i* el índice del ganador, y sea I*el conjuntode índices correspondiente a un vecindariodefinido del ganador i*.(2) los pesos asociados con el ganador y suvecindario se adaptan de la siguiente forma:

Page 18: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

18

Red

es N

euro

nale

s A

rtifi

cial

esAprendizaje competitivocon sensibilidad en la Historia

Si se incorpora alguna sensibilidad a la historia ofrecuencia en la regla de entrenamiento, se obtieneotra forma de evitar el problema de las neuronas queno aprenden. Hay dos aproximaciones:Modular la selección del ganador incorporandosensibilidad a la frecuencia.Modular la tasa de aprendizaje incorporando lasensibilidad a la frecuencia.

Page 19: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

19

Red

es N

euro

nale

s A

rtifi

cial

es

Regla de aprendizaje competitivo

Selección de un ganador i*, por ejemplo,como la neurona con la menor distanciaeuclídea.Adaptar los pesos asociados al ganador.

Page 20: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

20

Red

es N

euro

nale

s A

rtifi

cial

es

El aprendizaje es un proceso iterativo depresentar a la red patrones de entrada hastalograr un refinamiento adecuado del mapatopológico de salida.Para calcular la distancia entre vectores seaplica:

dj=Σi=1,N(ei(k) - wji)2 para 1<=j<=M

Mapas autorganizados de Kohonen

Page 21: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

21

Red

es N

euro

nale

s A

rtifi

cial

es

Luego de localizar la neurona vencedora (j*) seactualizan los pesos de las conexiones entre lasneuronas de entrada y dicha neurona, así comolas conexiones entre las de entrada y las neuronasvecinas a la ganadora mediante:

wji(t+1)=wji(t)+α(t)[ei(k)-wj*i(t)]

para j∈ Zona j*(t)

Mapas autorganizados de Kohonen

Page 22: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

22

Red

es N

euro

nale

s A

rtifi

cial

es

Funcionamiento:– Cuando se presenta a la entrada una

información, cada una de las M neuronas de lacapa de salida la recibe por medio de lasconexiones feedforward con pesos wji.

– Las neuronas reciben las entradas debidas a lasconexiones laterales de las neuronas de salidadependiendo su influencia de la distancia a laque se encuentren.

Mapas autorganizados de Kohonen

Page 23: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

23

Red

es N

euro

nale

s A

rtifi

cial

es

Aplicaciones:– Reconocimiento de patrones (voz, texto,

imágenes, señales, etc.)– Codificación de datos– Compresión de imágenes

Mapas autorganizados de Kohonen

Page 24: Redes Neuronales Artificiales - disi.unal.edu.codisi.unal.edu.co/~lctorress/RedNeu/RNA006c.pdf · Redes Neuronales Artificiales x 1 x 2 x N w 1 w 2 w N y x0=1 s Salida lineal Salida

24

Red

es N

euro

nale

s A

rtifi

cial

es