perceptron parte 1

Redes NeuronalesRedes Neuronales( El Perceptron)( El Perceptron)

Redes NeuronalesRedes Neuronales( El Perceptron)( El Perceptron)

Definición:Definición: Primer modelo de red neuronal Primer modelo de red neuronal artificial desarrollado por Rosemblat en 1958. artificial desarrollado por Rosemblat en 1958. Consta de un numero arbitrario de Capaz.Consta de un numero arbitrario de Capaz.

El Perceptron Simple (P.S):Es un modelo El Perceptron Simple (P.S):Es un modelo unidireccional, compuesto por dos capas de unidireccional, compuesto por dos capas de neuronas, una sensorial o de entrada y otra de neuronas, una sensorial o de entrada y otra de salida. La operación de una red de este tipo con salida. La operación de una red de este tipo con ““n”n” neuronas de entrada (Unidades de neuronas de entrada (Unidades de Procesamiento (U.P) y “Procesamiento (U.P) y “m”m” de salida y su modo de salida y su modo de entrenamiento es de tipo supervisadode entrenamiento es de tipo supervisado

El PerceptronEl Perceptron

Arquitectura del PerceptronArquitectura del Perceptron


El computo que ejecuta el perceptron es:El computo que ejecuta el perceptron es:

Donde: Donde:

: : Es la salida de la i-esima U.PEs la salida de la i-esima U.P

: Es el peso sináptico correspondiente a la j-esima : Es el peso sináptico correspondiente a la j-esima entrada de la i-esima U.P entrada de la i-esima U.P

: Es la componente j-esima del patrón de entrada: Es la componente j-esima del patrón de entrada

: Representa un valor umbral: Representa un valor umbral

)()(1

uxwftyn

jjiji

)(tyiijw

jx

:

u:


Regla de aprendizaje del PerceptronRegla de aprendizaje del Perceptron Determinar los pesos Sinápticos Determinar los pesos Sinápticos para que el para que el

dispositivo represente la relación entrada-salida lo dispositivo represente la relación entrada-salida lo mas fidedigna posible. La regla de aprendizaje mas fidedigna posible. La regla de aprendizaje permite corregir los pesos sinápticos para que permite corregir los pesos sinápticos para que alcancen los valore deseado, partiendo de un alcancen los valore deseado, partiendo de un conjunto de pesos inicializados aleatoriamente.conjunto de pesos inicializados aleatoriamente.

λλ : Regula la velocidad de aprendizaje (0≤ : Regula la velocidad de aprendizaje (0≤ λλ ≤1) ≤1) : Es la componente i-esima del patrón de salida : Es la componente i-esima del patrón de salida

deseadodeseado

jiiij xsw )(


Dinámica del perceptronDinámica del perceptron El funcionamiento para ejecutar un patrón de la red es el El funcionamiento para ejecutar un patrón de la red es el

siguiente:siguiente: 1. Se establece el patrón de entrada en los sensores, la 1. Se establece el patrón de entrada en los sensores, la

capa de entrada.capa de entrada.2. Se actualizan las neuronas de la capa de Salida.2. Se actualizan las neuronas de la capa de Salida.

Las neuronas de actualizan de la siguiente manera: Las neuronas de actualizan de la siguiente manera: Sea el potencial de la neurona i, Sea el potencial de la neurona i, El peso asociado a la sinapsis que une la neurona i de la El peso asociado a la sinapsis que une la neurona i de la capa actual capa actual y j de la capa de sensores.y j de la capa de sensores.El estado del sensor jEl estado del sensor jEntonces Entonces Y el estado de la neurona es o bien la función escalón si las Y el estado de la neurona es o bien la función escalón si las entradas de la red son binarias o bien la función signo si las entradas de la red son binarias o bien la función signo si las entradas son bipolares {-1 ,1} estado-neurona J= Signo entradas son bipolares {-1 ,1} estado-neurona J= Signo ( Sumatorio ( Peso(ij)*Estado(j))( Sumatorio ( Peso(ij)*Estado(j))


Aprendizaje del perceptronAprendizaje del perceptron Los pasos para que la red aprenda una lista de patrones Los pasos para que la red aprenda una lista de patrones

son los siguientesson los siguientes 1 Tomar un patrón al azar de la lista.1 Tomar un patrón al azar de la lista.

2 Se establece el patrón de entrada en los sensores, la 2 Se establece el patrón de entrada en los sensores, la capa de entrada.capa de entrada.3 Se establecen los valores deseados en las neuronas 3 Se establecen los valores deseados en las neuronas de la capa de salidade la capa de salida4 Se actualizan las neuronas de la capa de Salida.4 Se actualizan las neuronas de la capa de Salida.5 Solicitar que aprendan todas las sinapsis5 Solicitar que aprendan todas las sinapsis6 Si las sinapsis han cambiado volver al paso 16 Si las sinapsis han cambiado volver al paso 1Si no han cambiado la red se ha estabilizado y paramosSi no han cambiado la red se ha estabilizado y paramos


Las sinapsis que une las neuronas i, j aprenderá de la Las sinapsis que une las neuronas i, j aprenderá de la siguiente manera: siguiente manera:

Sea Sea Ei = el estado de la neurona de la capa de entrada i, Ei = el estado de la neurona de la capa de entrada i, Pij = Pij =

El peso actual asociado a la sinapsis que une la neurona i El peso actual asociado a la sinapsis que une la neurona i de la capa de entrada y la neurona j de la capa de salida. de la capa de entrada y la neurona j de la capa de salida.

Ej = El estado de la neurona de la capa de salida j Ej = El estado de la neurona de la capa de salida j Sj = El valor deseado para esa neurona Sj = El valor deseado para esa neurona Pijnuevo = El peso Pij actualizado. Pijnuevo = El peso Pij actualizado. TASA =Es una constante entre 0 y 1 que indica cuanto TASA =Es una constante entre 0 y 1 que indica cuanto

aprende la red aprende la red


Pijnuevo = El peso Pij actualizado. Pijnuevo = El peso Pij actualizado. TASA =Es una constante entre 0 y 1 que indica cuanto TASA =Es una constante entre 0 y 1 que indica cuanto

aprende la red aprende la red Pijnuevo = Pij + Tasa*(( Ej - Sj) *Ei) Pijnuevo = Pij + Tasa*(( Ej - Sj) *Ei)

Hay que destacar que el perceptrón aprende solo Hay que destacar que el perceptrón aprende solo cuando se equivoca al clasificar el patrón. Si clasifica cuando se equivoca al clasificar el patrón. Si clasifica correctamente el patrón, esto es , entonces con lo que nocorrectamente el patrón, esto es , entonces con lo que no

hay aprendizaje.hay aprendizaje.

El Perceptron - AlgoritmoEl Perceptron - Algoritmo Leer Numero_de_Patrones:Leer Numero_de_Patrones: Numero_de_Entradas;Numero_de_Entradas; Inicializar Pesos( i );Inicializar Pesos( i ); Numero de Iteraciones;Numero de Iteraciones;1. Repita Hasta hay_error=Falso o Numero de iteraciones1. Repita Hasta hay_error=Falso o Numero de iteraciones>500>500 Hay_Error=FalsoHay_Error=Falso Repita desde patron=1 Hasta Numero_de_PatronesRepita desde patron=1 Hasta Numero_de_Patrones Leer Entradas, Leer Salida_Esperada, Neta=0Leer Entradas, Leer Salida_Esperada, Neta=0 Repita desde patron =1 Hasta Numero _de_EntradasRepita desde patron =1 Hasta Numero _de_Entradas Neta=Neta+( Pesos( I )* Entradas( I ) ) [Neta=Neta+( Pesos( I )* Entradas( I ) ) [Suma PonderadaSuma Ponderada] ] Neta=Neta+UmbralNeta=Neta+Umbral Si Neta ≥0 entonces Salida=1 [Funcion Escalon]Si Neta ≥0 entonces Salida=1 [Funcion Escalon] Sino Salida=0Sino Salida=0 Error=Salida_Esperada – SalidaError=Salida_Esperada – Salida Si Error<>0 EntoncesSi Error<>0 Entonces Pesos (i)= Pesos(i) + (Error*Entradas(i))Pesos (i)= Pesos(i) + (Error*Entradas(i)) Hay_Error=VerdaderoHay_Error=Verdadero Umbral=Umbral + ErrorUmbral=Umbral + Error Numero_de_Iteraciones = Numero_de_Iteraciones +1Numero_de_Iteraciones = Numero_de_Iteraciones +1

El Modelo AdalineEl Modelo Adaline

Red ADALINERed ADALINE

Las redes ADALINE (Adaptative Linear Element), Las redes ADALINE (Adaptative Linear Element), fueron desarrolladas por Bernie Widrow en la fueron desarrolladas por Bernie Widrow en la UniversidadUniversidad de Stanford. Dicha red usa neuronas con de Stanford. Dicha red usa neuronas con función de transferencia escalón, y está limitada a una función de transferencia escalón, y está limitada a una única neurona de salida. Su arquitectura es análoga a la única neurona de salida. Su arquitectura es análoga a la del Perceptron, difiere solo en el uso de otras funciones del Perceptron, difiere solo en el uso de otras funciones de transferencia. El computo que ejecuta el de transferencia. El computo que ejecuta el ADALINE ADALINE es el siguientees el siguiente

)(1

j

m

jrjr xwFs


Donde F es una función de transferencia continua y Donde F es una función de transferencia continua y diferenciable(tipicamente una función Sigmoidea, diferenciable(tipicamente una función Sigmoidea, sigmoidea bipolar o la función Lineal)sigmoidea bipolar o la función Lineal)

Función de Costo y AprendizajeFunción de Costo y Aprendizaje

Se emplea como función de costo, E(W), la suma de los Se emplea como función de costo, E(W), la suma de los cuadrados de los errores que comete el dispositivo, cuadrados de los errores que comete el dispositivo, sobre todos los patrones de entrenamientosobre todos los patrones de entrenamiento

22 ))((2/1)(2/1)( iu k

ukik

ui

ui

iu

ui xwFsE


La función tiende a cero cuando los pesos se hacen La función tiende a cero cuando los pesos se hacen mejores. Esta regla de aprendizaje se conoce como la mejores. Esta regla de aprendizaje se conoce como la regla regla delta o de Widrow-Hoff delta o de Widrow-Hoff oo regla regla LMS (the Least LMS (the Least Mean Squared)Mean Squared)

Arquitectura del ADALINEArquitectura del ADALINE

GRACIAS POR SU ATENCIONGRACIAS POR SU ATENCION

perceptron parte 1

Documents