Redes Neuronales BPN - Backpropagation Networks

Red Neuronal – Modelo Biológico

Cuerpo de la célula, contiene el núcleo

Axon: transporta laseñal hacia el exterior

Dendritas: acarrean las señales al interior

Punto de conexióncon otra neurona (sinapsis)

• Neuronas (E-O-S)• Conexiones• Pesos• Funciones• Salidas• Error

IN

H

OUT

Red Neuronal Artificial

Red BPN

• Neuronas (E-O-S)• Conexiones hacia adelante• Propagación hacia atrás del error• Ajuste de pesos

in1

i

inn

h1

wjineth

pj

hl

out1

wkjneto

kj

outm

fk(netpk)

xp1

xpi

xpn

Funcionamiento

Consiste, básicamente, en un aprendizaje Consiste, básicamente, en un aprendizaje

de un conjunto predefinido de pares de de un conjunto predefinido de pares de

entradas-salidasentradas-salidas tomados como ejemplos tomados como ejemplos

utilizando un ciclo utilizando un ciclo propagación-propagación-

adaptaciónadaptación de dos fases. de dos fases.

Funcionamiento

Se aplican las entradas a la primera Se aplican las entradas a la primera

capa de neuronas de la BPN, se capa de neuronas de la BPN, se

propaga hacia adelante por todas las propaga hacia adelante por todas las

capas superiores hasta lograr una capas superiores hasta lograr una

salida.salida.

Si ésta no coincide con el resultado Si ésta no coincide con el resultado

esperado se calcula el error.esperado se calcula el error.

Funcionamiento

Estos errores se transmiten hacia atrás Estos errores se transmiten hacia atrás desde la capa de salida hacia todas las desde la capa de salida hacia todas las neuronas de la capa intermedia que neuronas de la capa intermedia que contribuyan directamente a la salida.contribuyan directamente a la salida.

Este proceso se repite capa por capa Este proceso se repite capa por capa hasta que todas hayan recibido un error hasta que todas hayan recibido un error que describa su aporte relativo al error que describa su aporte relativo al error total cometido.total cometido.

Funcionamiento

Con el error recibido, se reajustan los Con el error recibido, se reajustan los pesos de conexión de cada neurona pesos de conexión de cada neurona de tal manera que en la siguiente de tal manera que en la siguiente iteración la salida se acerque a la iteración la salida se acerque a la esperada, disminuyendo el error y esperada, disminuyendo el error y haciendo que la red converja hacia haciendo que la red converja hacia un estado que nos permita codificar un estado que nos permita codificar las tramas de entrenamiento.las tramas de entrenamiento.

Funcionamiento

La importancia de la BPN consiste en La importancia de la BPN consiste en la capacidad de autoadaptar los la capacidad de autoadaptar los pesos de las neuronas ocultas para pesos de las neuronas ocultas para aprender la relación que existe entre aprender la relación que existe entre un conjunto de patrones dados como un conjunto de patrones dados como ejemplo y sus salidasejemplo y sus salidas correspondientes.correspondientes.

Funcionamiento

Decimos que una BPN “Generaliza”Decimos que una BPN “Generaliza”

Tiene la facilidad de los sistemas de Tiene la facilidad de los sistemas de

aprendizaje de dar salidas aprendizaje de dar salidas

satisfactorias a entradas que el satisfactorias a entradas que el

sistema no ha visto nunca en su fase sistema no ha visto nunca en su fase

de entrenamiento.de entrenamiento.

Regla Delta Generalizada

Se la utiliza para el aprendizaje, con funciones Se la utiliza para el aprendizaje, con funciones de activación continuas y derivables (función de activación continuas y derivables (función sigmoidal). sigmoidal).

El algoritmo de retropropagación utiliza El algoritmo de retropropagación utiliza también una función o superficie de error también una función o superficie de error asociada a la red, buscando el estado estable asociada a la red, buscando el estado estable de mínima energía o de mínimo error a través de mínima energía o de mínimo error a través del camino descendente de la superficie del del camino descendente de la superficie del error. error.

De esta manera realimenta el error del De esta manera realimenta el error del sistema para realizar la modificación de los sistema para realizar la modificación de los pesos en un valor proporcional al gradiente pesos en un valor proporcional al gradiente decreciente de dicha función de error.decreciente de dicha función de error.

Regla Delta Generalizada

Superficie hipotética Superficie hipotética del espacio de del espacio de pesos. pesos.

El gradiente en el El gradiente en el punto Z tiene signo punto Z tiene signo negativo. negativo.

Los cambios de Los cambios de pesos deberían pesos deberían producirse en esa producirse en esa dirección, que es la dirección, que es la del descenso más del descenso más pronunciado.pronunciado.

Z

Ep

Zmin

EpEp

Funcionamiento :: Propagación hacia adelante

• Inicializar la Red con pesos aleatorios

pequeños W1 W2 …

• Presentar un patrón de entrada

Xp1 Xp2 ...

• Especificar salida deseada d1 d2 ...

Calcular la salida actual de la red

Funcionamiento :: Propagación hacia adelante

N

1i

hjpi

hji

hpj θxwnet )(netfy h

pjhjpj Capas

ocultas

L

1j

okpj

okj

opk θywnet )(netfy o

pkokpk

Capa de salida

Función de Salida

)(net)fy(dδ opk

o'kpkpk

opk

)y(1)yy(dδ pkpkpkpkopk

Capa de salida

Calcular los errores para las neuronas

Funcionamiento :: Propagación hacia atrás

o

kjk

opk

hpj

h'j

hpj wδ)(netfδ

Capas ocultaso

kjk

opkpipi

hpj wδ)x-(1xδ

Calcular los errores para las neuronas

(continuación Capas Ocultas)

Funcionamiento :: Propagación hacia atrás

o

kjk

opkpipi

hpj wδ)x-(1xδ

Para la función sigmoidal

kk se refiere a todas las neuronas de la capa superior se refiere a todas las neuronas de la capa superior a la de la neurona a la de la neurona jj. Así el error que se comete en . Así el error que se comete en una neurona oculta es proporcional a la suma de los una neurona oculta es proporcional a la suma de los errores conocidos que se producen en las neuronas errores conocidos que se producen en las neuronas a las que está conectada la salida de ésta, a las que está conectada la salida de ésta, multiplicado cada uno por el peso de la conexión.multiplicado cada uno por el peso de la conexión.

Actualización de los pesos

Aprendizaje

pjopk

okj

okj

okj

okj

yαδ1)(tΔw

1);(tΔw(t)w1)(tw

Capa de salida

pihpj

hji

hji

hji

hji

xαδ1)(tΔw

1);(tΔw(t)w1)(tw

Capas ocultas

pjopk

okj yαδ1)(tΔw

Actualización de los pesos(continuación)

Aprendizaje

En la implementación del algoritmo se toma una amplitud de paso que viene dada por (la tasa de aprendizaje). A mayor tasa mayor es la modificación de lo pesos en cada iteración, el aprendizaje será más rápido pero pueden existir oscilaciones.

Para acelerar el aprendizaje

Aprendizaje

1))-(tw-(t)β(w okj

okj

1)-(tw-(t)βw hji

hji

Capa de salida

Capas ocultas

Para filtrar las oscilaciones que origina puede usarse un MOMENTO , que es una constante que determina el efecto en t+1 del cambio de los pesos en t.

Repetición del proceso

Aprendizaje

Error para el Patrón “p”

Error Global

M

1k

2pkp δ

21

E

N

EE

N

1kp

g

Perfiles: P1 y P2

Características: C1, C2 y C3

C1

Rango 1: 1 – 49Rango 2: 50 – 100

C2

Rango 1: 1 – 30Rango 2: 31 – 100

C3

Rango 1: 1 – 49Rango 2: 50 – 100

P1

C1: 1 – 49

C2: 1 – 30

C3: 1 – 49

P2

C1: 50 – 100

C2: 31 – 100

C3: 50 – 100

Ejemplo de funcionamiento

N1

N2

N3

N4

N5

N6

N7

W14

W15

W24

W25

W34

W35

W46

W47

W56

W57

y6

y7

Entradas Ci Ocultas Hj Salidas Pk

Red propuesta

Ejemplo de funcionamiento

w14=0,4

w15=0,5

w24=0,6

w25=0,7

w34=1,0

w35=0,8

w46=0,3

w47=1,2

w56=0,6

w57=0,8

Primer vector de entrenamientox1= 25 x2=15 x3=25 Salida deseadad1=1 (N6) y d2=0 (N7) Obtener el Perfil 1 (P1)

Ejemplo de funcionamiento

Cálculos

44251150,6250,4xwnet3

1iii44

43250,8150,7250,5xwnet3

1iii55

1e11

f(44)y 444

1e11

f(43)y 435

210,811,2net7

0,7109e11

f(0,9)y 0,96

0,8808e11

f(2)y 27

0,910,610,3net6

Ejemplo de funcionamiento

Cálculos de salidas

4297,08808,007109,0121

E 22p

0,09250,8808)(10,88080,8808)(0δ

0,05940,7109)(10,71090,7109)(1δ

7

6

00,80,0925)(0,60,05941)(11δ

00,80,0925)(0,30,05941)(11δ

5

4

Ejemplo de funcionamiento

Propagación del error

0,01188Δ

0,0118810,05940,2Δ

56

46

0,611880,011880,6w

0,311880,011880,3w

56

46

0,0185Δ

0,0185Δ

57

47

0,7815w

1,1815w

57

47

0Δ

02500,2Δ

15

14

0,5w

0,4w

15

14

Ejemplo de funcionamiento

Actualización de pesos con = 0,2

0Δ

01500,2Δ

25

24

0,7w

0,6w

15

14

0Δ

0Δ

35

34

0,8w

1,0w

15

14

• Datos de entrenamientoDatos de entrenamiento

• Dimensionamiento de la redDimensionamiento de la red

• Pesos y parámetros de aprendizajePesos y parámetros de aprendizaje

• Control de la convergenciaControl de la convergencia

Consideraciones prácticas

• Necesita una fase de entrenamiento que permita estabilizar los pesos de las neuronas.

Consideraciones finales

• Se puede entrenar a la red con los patrones necesarios, supervisando que las salidas que deben generar esos patrones sean las correctas.

• Se necesita más potencia de cálculo para Se necesita más potencia de cálculo para la fase de entrenamiento.la fase de entrenamiento.

• La complejidad de la fase de entrenamiento La complejidad de la fase de entrenamiento es la principal desventaja de este modelo, sin es la principal desventaja de este modelo, sin embargo una vez estabilizados los pesos embargo una vez estabilizados los pesos permite que los cálculos se realicen sin permite que los cálculos se realicen sin mayores dificultades.mayores dificultades.