1. Perceptrn Simple Redes Neuronales con Aprendizaje Supervisado

2. Tutor de Ctedra: Ing. Sergio Pohlmann Alumno: Andrea Fidela Lezcano Irala 3. Algunas Posibles Aplicaciones Espacio Areo Automotriz Pilotos automticos de alto desempeo Simulaciones y predicciones de trayectoria de vuelo Sistemas de control de vuelo Deteccin de fallas de componentes de la nave Sistemas automticos de navegacin Comando por voz Bancos Lectores de documentos Evaluadores de asignacin de crdito Identificador de firmas. 4. Algunas Posibles Aplicaciones Telecomunicaciones Electrnica Compresin de datos e imgenes Servicios automticos de informacin Traduccin de lenguaje hablado en tiempo real Prediccin de secuencias de cdigos Control de procesos Anlisis de fallas de circuitos Visin de mquina Sntesis de voz Modelado no lineal 5. Algunas Posibles Aplicaciones Robtica Transportacin Control de trayectorias Control de manipuladores Sistemas de visin Sistemas ruteadores Diagnstico de motores Tiempos y movimientos Voz Reconocimiento de voz Compresin de voz Sintetizadores de texto a voz Seguridad Reconocimiento de rostros Identificacin Acceso de personas 6. Algunas Posibles Aplicaciones Financieros Manufactura Evaluacin de bienes races Consultor de prestamos Evaluacin de bonos corporativos Anlisis del uso de la lnea de crdito Prediccin de tipo de cambio Control de procesos de manufactura Anlisis y diseo de productos Diagnstico de mquinas y procesos Identificacin de partes en tiempo real Sistemas de inspeccin de calidad Prediccin de fin de proceso Anlisis de mantenimiento de mquinas Modelado de sistemas dinmicos 7. Algunas Posibles Aplicaciones Medicina Otros Deteccin de cncer mamario o en la piel Anlisis de EEG y ECG Diseo de prtesis Optimizacin de tiempos de trasplante Reduccin de gastos en hospitales Oficinas postales Verificacin remota Predicciones Climatolgicas Filtrado de ruido ServoControl etc. 8. Modelos existentes de RNA Perceptrn Adaline Perceptrn multicapa Memorias asociativas Mquina de Boltzmann Mquina de Cauchy Propagacin hacia atrs (backpropagation) Redes de Elman Redes de Hopfield Red de contrapropagacin Redes de neuronas de base radial Redes de neuronas de aprendizaje competitivo Mapas Autoorganizados (Redes de Kohonen) Crecimiento dinmico de clulas Gas Neuronal Creciente Redes ART (Adaptative Resonance Theory) 9. Clasificacin de las RNA Segn su Topologa o Patrn de Conexiones pueden ser: Redes de propagacin hacia adelante Monocapa Multicapa Redes Recurrentes Segn su Tipo de Entrada pueden ser: Redes Analgicas Redes Discretas Redes Hbridas //Entrada Analgica y Salida Discreta 10. Clasificacin de las RNA Segn su Tipo de Aprendizaje pueden ser: Aprendizaje Supervisado Aprendizaje por correccin de error. Aprendizaje por refuerzo. Aprendizaje estocstico. Aprendizaje No Supervisado Aprendizaje Hebbiano. Aprendizaje competitivo y cooperativo. Aprendizaje Hbrido //Fase Supervisada y No Supervisada 11. Clasificacin de las RNA Segn el Aprendizaje que Observan: Redes OFF LINE //son ms estables, poseen pesos estticos Se distingue entre la fase de aprendizaje y la fase de operacin Redes ON LINE //se debe estudiar estabilidad, pesos dinmicos No se distingue entre la fase de entrenamiento y de operacin 12. El Perceptrn se sita en: Segn su Topologa o Patrn de Conexin: Red de propagacin hacia adelante Monocapa Segn su Tipo de Entrada: Red Hbrida // su entrada es analgica y su salida es discreta Segn su Tipo de Aprendizaje: Aprendizaje Supervisado 13. Entonces podemos decir que El Perceptrn es un tipo Red Neuronal Monocapa Hbrida de Aprendizaje Supervisado. Ahora veamos las analogas de la Red Neuronal Biolgica y las Redes Neuronales Artificiales para comprender mejor como trabaja y aprende el Perceptrn.. 14. Entender el cerebro y emular su potencia 15. Bases Biolgicas El cerebro humano es un sistema sper complejo y es el ms poderoso que existe. El proceso de informacin biolgico es robusto y tolerante a fallos. Los procesadores de informacin biolgicos son flexibles, no necesitan volver a ser programados cuando se cambia de entorno o ambiente, sino que ellos mismos se reajustan al entorno. Son capaces de trabajar con informacin incompleta, con ruido e inconsistente. La maquinara que realiza estas funciones es altamente paralela, pequea, compacta y disipa poca cantidad de energa. Esta maquinaria biolgica es la clula del cerebro llamada neurona. 16. Neurona Biolgica 17. Funcionamiento de la neurona biolgica Las Neuronas biolgicas se componen de: Sinapsis, Dendritas, Axones y Cuerpos Celulares. Un axn es el encargado de transportar la salida de la neurona hasta las conexiones de otras neuronas Las dendritas facilitan la conexin con los axones de otras neuronas. Una neurona no hace nada, a menos que la influencia colectiva de todas sus entradas alcance un nivel de umbral. Los axones influyen en las dendritas sobre unos espacios estrechos llamados Sinapsis. La estimulacin en unas sinapsis hace que las neuronas se disparen y en otras desalienta el disparo. 18. Analoga de las RNA y Redes Biolgicas Las seales que llegan a la sinapsis son las entradas a la neurona. Dichas seales son ponderadas (atenuadas o modificadas) a travs de un parmetro, denominado PESO, asociado a la sinapsis correspondiente. Las seales pueden excitar a la neurona (sinapsis con peso positivo) o inhibirla (peso negativo). El efecto es la suma de las entradas ponderadas. Si la suma es igual o mayor que el umbral de la neurona, entonces la neurona se activa. Cada neurona se activa o no se activa 19. Representacin Grfica 20. Topologas Varias 21. Definiciones, Caractersticas y Algoritmos de Aprendizaje. 22. Qu es una RNA? Es un arreglo masivo de elementos de procesamiento simple llamados neuronas, los cuales poseen un alto grado de inter conectividad entre sus elementos, en los que la informacin puede fluir en cascada o en retroceso. Estos arreglos estn inspirados en la naturaleza biolgica de las neuronas, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biolgico. 23. Caracterstica de las RNA Aprendizaje Adaptativo. Capacidad de aprender tareas basada en un entrenamiento o una experiencia inicial. Auto organizacin. La red crea su propia organizacin o representacin de la informacin que recibe mediante una etapa de aprendizaje. Tolerancia a fallos. La red puede funcionar con informacin incompleta o errnea o a pesar de algunos elementos inoperantes. Operacin en tiempo real. La red procesa la informacin en paralelo y muy rpido Operacin paralela. 24. Red Perceptrn. Propuesta Original En 1943 Warren Mc Culloch/Walter Pitts.- Originaron el primer modelo de operacin neuronal. La caracterstica principal del modelo neuronal de Warren es que la suma ponderada de las seales de entrada es comparada con un umbral para determinar la salida de la neurona. Cuando la suma es mayor o igual al umbral, la salida es igual a 1. Cuando la suma es menor que el umbral, la salida es 0 25. Contribucin en 1950 de Frank Rosenblatt Su contribucin fue: Una regla de aprendizaje para entrenar el perceptrn en la solucin de problemas de reconocimiento. La regla de aprendizaje simple convergir a los pesos correctos de la red si es que existen los pesos que solucionan dicho problema. La regla de aprendizaje es simple y automticamente la red aprende de sus errores. 26. Caractersticas del Perceptrn Aprendizaje Supervisado (offline) Aprendizaje por correccin de error Reconocimiento de patrones sencillos Clasificacin de patrones linealmente separables 27. Arquitectura del Perceptrn Dos Capas 1a Capa compuesta de varias neuronas 2a. Capa formada por una sola neurona Funcin de transferencia en escaln . p1 p2 w1,1 w1,2 n a b 1 28. El Perceptrn Bloque de construccin bsico Compuesto por el peso sinptico y la neurona Los Pesos ponderan los valores de las entradas La combinacin de los pesos y la funcin de transferencia F(x), transforma las entradas a la salida O necesaria El entrenato es a traves de los cambios en los pesos hasta que el lograr la salida deseada F(x) Bias I1 I2 In I3 X O W1 W2 W3 Wn Entradas Pesos Sinapticos Neurona 29. Qu tipo de problemas resuelve? Un hiperplano es un objeto de dimensin n-1 que acta en un espacio de dimensin n. En general un perceptron de n entradas puede ejecutar cualquier funcin que est determinada por un hiperplano que corte un espacio de dimensin n. Implicaciones? 30. Propuesta de Warren Mc Culloch y Walter Pitts 31. Regla de Aprendizaje If t 1 and a 0, then w1 new w1 old p+== = If t 0 and a 1, then w1 n ew w1 old p== = If t a, then w1 new w1 old == 32. Ejemplo 1. p1 t1{ , } p2 t2{ , } pQ tQ{ , } p1 1 2 = t1 1= p2 1 2 = t2 0= p3 0 1 = t3 0= 33. Punto de Partida w1 1.0 0.8 = Presentar p1 a la RNA: a hardlim wT 1 p1 hardlim 1.0 0.8 1 2 = = a hardlim 0.6 0= = Inicializacin aleatoria de los pesos Clasificacin Incorrecta 34. Regla de Aprendizaje Tentativo Conjunto1 w para p1 No es estable Agregar p1 a 1 w If t 1 and a 0, then w1 new w1 old p+== = w1 new w1 ol d p1+ 1.0 0.8 1 2 + 2.0 1.2 = = = Regla Tentativa: 35. Segundo Vector de Entrada If t 0 and a 1, then w1 new w1 old p== = a hardlim wT 1 p2 hardlim 2.0 1.2 1 2 = = a hardlim 0.4 1= = (Clasificacin Incorrecta) Modificacin de la Regla: w1 new w1 ol d p2 2.0 1.2 1 2 3.0 0.8 = = = 36. Tercer Vector de Entrada Los patrones estn ahora correctamente clasificados a hardlim w T 1 p3 hardlim 3.0 0.8 0 1 = = a hardlim 0.8 1= = (Clasificacin Incorrecta) w1 new w1 ol d p3 3.0 0.8 0 1 3.0 0.2 = = = If t a, then w1 new w1 o ld .== 37. Contribucin de Frank Rosenblatt 38. Unificacin de la Regla de Aprendizaje e t a= w1 new w1 old ep+ w1 old t a p+= = b new b old e+= El bias es un PESO con entrada de 1 39. Perceptrones de Mltiples Neuronas wi new wi old eip+= bi new bi old ei+= Wnew Wold epT += b new b old e+= Para actualizar la fila i de la matriz de Pesos: Forma Matricial: 40. Ejemplo 2. W 0.5 1 0.5= b 0.5= Conjunto de Entrenamiento Pesos Iniciales p1 1 1 1 t1 1= = p2 1 1 1 t2 0= = 41. Recordando la funcin de transferencia se define como: contrariolotodo nsi nhardlima 0 01 n=Wp+b n 42. poca y Bias Se le llama poca a cada iteracin de la red por el lote de entradas en la que haya ajuste de variables. El ajuste de variables se puede hacer despus de la presentacin de vectores de entrada individuales o por lotes. La variable tambin es llamada elemento de tendencia o 'bias, que es el que mueve el hiperplano de decisin a lo largo del eje 'x' o y. A esta variable se le denomina en muchas ocasiones con el smbolo b. 43. Algoritmo de entrenamiento del Perceptrn repetir para cada par de los vectores de entrenamiento (x, t) evaluar la salida ai cuando xi es la entrada al perceptrn si a t, entonces forme un nuevo vector de pesos w de acuerdo a... la ecuacin correspondiente de otra manera, no haga nada fin (del si) fin (del para) hasta que a = t para todos los vectores. Los valores de los pesos para este caso estn restringidos entre - 1 y 1. 44. Qu pasa si la funcin que queremos realizar ahora es la siguiente? x1 x2 (0,0 ) (1,0) (1,1)(0,1) 1 0 0 1 Esta funcin sera realizable con un Perceptron, o no? X1 X2 Y 0 0 0 0 1 1 1 0 1 1 1 0 45. La capacidad de la Regla del Perceptrn La regla del Perceptrn siempre convergir a los pesos que cumplan con la clasificacin deseada, asumiendo que tales pesos existan. NOTA: Recordar que la longitud del vector de pesos no es importante, lo nico importante es su direccin. 46. Soluciona Problemas linealmente Separables 47. Incapaz de Resolver Problemas no linealmente separables 48. Limitaciones del Perceptrn Simple: El Perceptrn bsico de dos capas o dimensiones solo pude establecer dos regiones separadas por una frontera lineal en el espacio de patrones de entrada, donde se tendra el hiperplano. 48 49. Solucin a problemas no lineales Un Perceptrn con tres niveles de neuronas puede formar cualquier regin convexa en este espacio. Un Perceptrn con cuatro capas puede generar regiones de decisin arbitrariamente complejas. 49 50. 50 Clasificacin con el Perceptrn Multicapa 51. Preguntas? Google es tu mejor amigo 52. Con un poco de ayudita extra para saber si vas por el buen camino