Redes Neuronales
Adaline y Madaline
Isadora Antoniano Villalobos
Saúl Murillo Alemán
Julio Alvarez Monroy
Arturo Garmendia Corona
Eduardo Martínez Moreno
Ulises Juárez Miranda
Introducción
Historia 1943 McCulloch y Pitts modelan red neuronal con
circuitos eléctricos 1949 Hebb escribe Organizational Behavior 1950’s IBM hace posible simular una red neuronal 1959 Widrow y Hoff desarrollan los modelos
ADALINE y MADALINE 1965 Dartmouth Summer Research Project on AI Decepción – 20 años desperdiciados 1982 Hopefield demuestra matemáticamente la viabilidad
de las redes neuronales
Adaline
ADAptive LINear Element
Proceso de Aprendizaje
1. Inicializar pesos (w1, ..., wn) y threshold (w0)
2. Presentar vector de entrada (x1,...,xn) y la salida deseada d(t)
3. Calcular la salida donde Fh(a) = 1 si a>0 y
= -1 si a<=0
n
iiih txtwFty
0
)(*)()(
Proceso de Aprendizaje
4. Adaptar los pesos
donde 0 < i < n y es la tasa de aprendizaje
5. Repetir los pasos 2 a 4 hasta que las salidas reales y las deseadas sean iguales para todos los vectores del conjunto de entrenamiento
)(*)(*)()(*)()1(0
txtxtwtdtwtw i
n
kkkii
Least Mean Square
El error cuadrático para un conjunto de entrenamiento particular es:
El error puede reducirse ajustando el peso wi en la dirección del gradiente negativo
2
1
)()()(
n
iii tXtWtdE
iW
E
Least Mean Square
El error local será reducido más rápidamente si se ajustan los pesos de acuerdo a la regla delta:
)()()()()1(1
1 tXtXtWtdtW i
n
kkk
)()()()(2
)()()()()(2)(
1
2
11
2
tXtXtWtdW
E
tXtWtXtWtdtdE
ik
n
kk
i
k
n
kki
n
ii
Madaline
Many ADALINEs (Multiple ADAptive LINear Element)
Proceso de Aprendizaje
1. Inicializar pesos (w1, ..., wn) y threshold (w0)
2. Presentar vector de entrada (x1,...,xn) y la salida deseada dk(t)
3. Calcular la salida donde Fh(a) = 1 si a>0 y
= -1 si a<=0
yk(t) es la salida del Adaline k
4. Determinar la salida del Madaline
M(t)=Fmayoría(yk(t))
n
iikihk txtwFty
0
)(*)()(
Proceso de Aprendizaje
5. Determinar el error y actualizar los pesosSi M(t) = salida deseada no se actualizan de otro modo, los elementos Adaline compiten y se
actualiza el ganador
donde 0 < i < n y es la tasa de aprendizaje. c representa al Adaline ganador
6. Repetir los pasos 2 a 5 hasta que las salidas reales y las deseadas sean iguales para todos los vectores del conjunto de entrenamiento
)(*)(*)()(*)()1(0
txtxtwtdtwtw i
n
llclcici
Aplicaciones
Cancelación de Ruido
Cancelación de Ruido (Cont.)
Cancelación de la interferencia de 60hz en un ECG
Cancelación de la interferencia de 60hz en un ECG
Cancelación del ECG Materno durante un ECG Fetal
Cancelación del ECG Materno durante un ECG Fetal
Cancelación del ECG Materno durante un ECG Fetal