redes neuronales artificiales 2 - aprendizaje

Redes Redes Neuronales Neuronales ArtificialesArtificiales

2 - Aprendizaje2 - AprendizajeDr. Juan José Flores RomeroDr. Juan José Flores Romero

División de Estudios de PosgradoDivisión de Estudios de PosgradoFacultad de Ingeniería EléctricaFacultad de Ingeniería Eléctrica

juanf@zeus.umich.mxjuanf@zeus.umich.mxhttp://lsc.fie.umich.mx/~juan/http://lsc.fie.umich.mx/~juan/

http://lsc.fie.umich.mx/~juan/Materias/http://lsc.fie.umich.mx/~juan/Materias/ANNANN

Curso Redes Neuronales Curso Redes Neuronales ArtificialesArtificiales

CONTENIDOCONTENIDO

IntroducciónIntroducción AprendizajeAprendizaje Perceptrones mono-nivelPerceptrones mono-nivel Perceptrones multi-nivelPerceptrones multi-nivel Otras ArquitecturasOtras Arquitecturas

Redes Neuronales Redes Neuronales ArtificialesArtificiales

RNARNA::Habilidad de aprender del medio ambiente y Habilidad de aprender del medio ambiente y mejorar su desempeño por medio del aprendizaje.mejorar su desempeño por medio del aprendizaje.

AprendizajeAprendizaje::Proceso por el cual los parámetros (pesos Proceso por el cual los parámetros (pesos sinápticos) de una RNA se adaptan por sinápticos) de una RNA se adaptan por estimulación del medio ambiente. estimulación del medio ambiente.

Algoritmo de AprendizajeAlgoritmo de Aprendizaje::Conjunto bien definido de reglas para actualizar Conjunto bien definido de reglas para actualizar los pesos sinápticos.los pesos sinápticos.

Paradigma de AprendizajeParadigma de Aprendizaje::Modelo del medio ambiente en el cual la RNA Modelo del medio ambiente en el cual la RNA opera.opera.

Algoritmos de Algoritmos de AprendizajeAprendizaje

Corrección de ErrorCorrección de Error Basado en MemoriaBasado en Memoria HebbianHebbian CompetitivoCompetitivo BoltzmannBoltzmann

Paradigmas de Paradigmas de AprendizajeAprendizaje

SupervizadoSupervizado No SupervisadoNo Supervisado

Por RefuerzosPor RefuerzosNo SupervisadoNo Supervisado

Tareas de AprendizajeTareas de Aprendizaje

Asociación de PatronesAsociación de Patrones Reconocimiento de Reconocimiento de

PatronesPatrones Aproximación FuncionalAproximación Funcional ControlControl FiltradoFiltrado

Algoritmos de AprendizajeAlgoritmos de AprendizajeCorrección de ErrorCorrección de Error

eekk(n) = d(n) = dkk (n) – y (n) – ykk (n) (n)

E(n) = ½ eE(n) = ½ ekk(n) (n) 2 2 — Error Energy— Error Energy

wwkj kj (n) = (n) = e ekk(n) x(n) xjj(n)(n) —— Delta Rule (Widrow-Hoff)Delta Rule (Widrow-Hoff)

wwkj kj (n+1) = w(n+1) = wkj kj (n) + (n) + wwkj kj (n)(n)

Algoritmos de AprendizajeAlgoritmos de AprendizajeBasado en MemoriaBasado en Memoria

Almacenar ejemplos entrada – Almacenar ejemplos entrada – salidasalida

{(x{(xii, d, dii)} i=1, .., N)} i=1, .., N

Ejemplo: Clasificación binariaEjemplo: Clasificación binaria

Clases: CClases: C11 y C y C22

xxtesttest (nuevo) es clasificado (nuevo) es clasificado examinando su vecindadexaminando su vecindad

Algoritmos de AprendizajeAlgoritmos de AprendizajeBasado en MemoriaBasado en Memoria

Componentes:Componentes: Criterio para definir vecindadCriterio para definir vecindad Regla de aprendizajeRegla de aprendizaje

Ejemplo: Vecino más Cercano (Nearest Ejemplo: Vecino más Cercano (Nearest Neighbor)Neighbor)

x* e {xx* e {x11, x, x22, .., x, .., xNN} es el vmc de x} es el vmc de xtest test sisi

MinMinii d(x d(xii, x, xtest test ) = d(x*, x) = d(x*, xtest test ) )

Donde d(xDonde d(xii, x, xtest test ) es la distancia Euclideana) es la distancia Euclideana

Algoritmos de AprendizajeAlgoritmos de AprendizajeBasado en MemoriaBasado en Memoria

k Vecinox más k Vecinox más Cercanos:Cercanos:

Identificar los k Identificar los k vecinos mas cercanos vecinos mas cercanos a xa xtest test

Asignar a xAsignar a xtest test la clase la clase más común en sus k más común en sus k vecinos más cercanos vecinos más cercanos

Algoritmos de AprendizajeAlgoritmos de AprendizajeHebbianHebbian

1.1. Si dos neuronas vecinas se Si dos neuronas vecinas se activan simultaneamente, el activan simultaneamente, el peso de su conexión se peso de su conexión se incrementa.incrementa.

2.2. Si dos neuronas vecinas se Si dos neuronas vecinas se activan asíncronamente, la activan asíncronamente, la conexión se debilita o elimina.conexión se debilita o elimina.

La conexión se llama sinapsis La conexión se llama sinapsis hebbianahebbiana

Algoritmos de AprendizajeAlgoritmos de AprendizajeHebbianHebbian

Mecanismos en aprendizaje hebbianoMecanismos en aprendizaje hebbiano

1.1. Dependiente del TiempoDependiente del Tiempo. Aprendizaje . Aprendizaje depende de los tiempos de activación.depende de los tiempos de activación.

2.2. LocalLocal. Activaciones Espacio-Temporales.. Activaciones Espacio-Temporales.

3.3. InteractivoInteractivo. Depende de la interacción . Depende de la interacción entre neuronas vecinas.entre neuronas vecinas.

4.4. Conjuncional (correlacional)Conjuncional (correlacional). La co-. La co-ocurrencia de señales produce una ocurrencia de señales produce una modificación de pesos.modificación de pesos.

Algoritmos de AprendizajeAlgoritmos de AprendizajeHebbianHebbian

wwkj kj – peso sináptico– peso sináptico

xxjj– señal presináptica– señal presináptica

yykk– señal postsináptica– señal postsináptica

wwkj kj (n) = F(y(n) = F(ykk(n), x(n), xjj(n))(n))

wwkj kj (n) = (n) = y ykk(n) x(n) xjj(n) (n) — Hebb´s — Hebb´s

hypothesishypothesis

wwkj kj (n) = (n) = (y (ykk-y-yavav) (x) (xjj(n)-x(n)-xavav) ) — —

Covariance HypothesisCovariance Hypothesis

Algoritmos de AprendizajeAlgoritmos de AprendizajeCompetitivoCompetitivo

Las neuronas de salida Las neuronas de salida compiten para compiten para activarse.activarse.Solo una neurona de Solo una neurona de salida estará activa a la salida estará activa a la vez.vez.Usadas en Usadas en clasificación.clasificación.

Algoritmos de AprendizajeAlgoritmos de AprendizajeCompetitivoCompetitivo

yykk= 1 si v= 1 si vkk> v> vjj jjkk

yykk= 0 otro caso= 0 otro caso

i i wwkjkj = 1 = 1 kk

wwkjkj = = (x (xj j – w– wkjkj) ) si k ganasi k gana

wwkjkj = 0 = 0 si k pierdesi k pierde

Algoritmos de AprendizajeAlgoritmos de AprendizajeBoltzmannBoltzmann

Estructura recurrenteEstructura recurrente

Estados: 1 y -1Estados: 1 y -1

E = - ½ E = - ½ j j k k wwkjkjxxkkxxjj para j para j k k — Energy— Energy

Seleccionar neurona k aleatoriamenteSeleccionar neurona k aleatoriamente

Cambiar su estado a temperatura T con probabilidadCambiar su estado a temperatura T con probabilidad

wwkjkj = = ( (kjkj++

– – kjkj--) para j ) para j kk

/TΔEkk kexxP

1

1

Algoritmos de AprendizajeAlgoritmos de AprendizajeBoltzmannBoltzmann

Neuronas:Neuronas:Fijas (entradas)Fijas (entradas)LibresLibres

Utilizadas para modelar (aprender) Utilizadas para modelar (aprender) una distribución de probabilidad de una distribución de probabilidad de los datos de entrada.los datos de entrada.

Completan entradas incompletas.Completan entradas incompletas.

Paradigmas de AprendizajeParadigmas de AprendizajeSupervizadoSupervizado

Paradigmas de AprendizajeParadigmas de AprendizajePor RefuerzosPor Refuerzos

Minimizar un Minimizar un índice escalar de índice escalar de aptitudaptitud

Refuerzo retardadoRefuerzo retardado Asignación de Asignación de

Crédito y Culpa a Crédito y Culpa a accionesacciones

Aprende a realizar Aprende a realizar tareas basado tareas basado solamente en el solamente en el resultado de sus resultado de sus experienciasexperiencias

Paradigmas de AprendizajeParadigmas de AprendizajeNo SupervizadoNo Supervizado

Auto-organizadoAuto-organizado Medida de calidad de representación, Medida de calidad de representación,

independiente del contextoindependiente del contexto Los parámetros son optimizados con Los parámetros son optimizados con

respecto a esa medidarespecto a esa medida ClasificaciónClasificación

Tareas de AprendizajeTareas de AprendizajeAsociación de PatronesAsociación de Patrones

Memoria AsociativaMemoria Asociativa Almacenar PatronesAlmacenar Patrones Patrones con ruidoPatrones con ruido Recordar patronesRecordar patrones

xxkk y ykk, k=1, 2, ... , , k=1, 2, ... , qq

Autoasociativo: xAutoasociativo: xkk = y= ykk

Heteroasociativo: Heteroasociativo: xxkk y ykk

Meta de Diseño:Meta de Diseño:Recordar + Recordar +

patronespatronescon - neuronascon - neuronas

Tareas de AprendizajeTareas de AprendizajeReconocimiento de PatronesReconocimiento de Patrones

ClasificaciónClasificación

Tareas de AprendizajeTareas de AprendizajeAproximación FuncionalAproximación Funcional

d = f(x)d = f(x) T = {(xi, di)}, T = {(xi, di)},

i=1, ..., Ni=1, ..., N F aproximación F aproximación

de fde f Meta: Meta:

F(x) – f(x)F(x) – f(x)<<, , xx

Tareas de AprendizajeTareas de AprendizajeControlControl

d = f(x)d = f(x) T = {(xi, di)}, i=1, ..., NT = {(xi, di)}, i=1, ..., N F aproximación de fF aproximación de f Meta: Meta: F(x) – f(x)F(x) – f(x)<<, , xx

Tareas de AprendizajeTareas de AprendizajeFiltradoFiltrado

Filtrado. Extracción de Filtrado. Extracción de información de una variable en el información de una variable en el tiempo discreto n, usando tiempo discreto n, usando mediciones hasta n.mediciones hasta n.

Smoothing. Filtrado con retardo.Smoothing. Filtrado con retardo. Predicción. Derivar información Predicción. Derivar información

acerca del futuro de una variable, acerca del futuro de una variable, usando información pasada.usando información pasada.

Tareas de AprendizajeTareas de AprendizajeFiltradoFiltrado

Problema del Problema del Cocktail.Cocktail.

Predicción no Predicción no Lineal.Lineal.

EjerciciosEjercicios(Reglas de Aprendizaje)(Reglas de Aprendizaje)

EjerciciosEjercicios (Reglas de Aprendizaje)(Reglas de Aprendizaje)

EjerciciosEjercicios (Reglas de Aprendizaje)(Reglas de Aprendizaje)

EjerciciosEjercicios(Paradigmas de Aprendizaje)(Paradigmas de Aprendizaje)