Redes Neuronales Artificiales

Red

es N

euro

nale

s A

rtifi

cial

es

2

Estructuras de lasRedes Neuronales Artificiales

Los aspectos más característicos de las estructurasson: la conexión, el tamaño y la elección entre ACONy OCON.

Dos posibles tipos de arquitectura son:All-Class-in-One-Network (ACON), esto es,todas las clases en una red.One-Class-in-One-Network (OCON), esto es,una red para cada clase.

Red

es N

euro

nale

s A

rtifi

cial

es

3

ACON

En la arquitectura ACON, todas las clases sonreconocidas dentro de una única super red.

Red

es N

euro

nale

s A

rtifi

cial

es

4

OCON

En algunos casos es ventajoso descomponer lamacro red en varias subredes más pequeñas.

Red

es N

euro

nale

s A

rtifi

cial

es

5

Aproximaciones frente a ACON y OCON

¿Cuántas redes son necesarias para la clasificación enmulticategorías?Típicamente, cada nodo de salida se usa para representaruna clase.Por ejemplo, en un problema de reconocimientoalfanumérico, hay 36 clases; así que en total habrá 36nodos de salida.Dado un patrón de entrada en la fase de prueba, elganador (i.e., la clase que gana) es normalmente el nodoque tiene el valor más alto a la salida.

Red

es N

euro

nale

s A

rtifi

cial

es

6

Por ejemplo, una red de 36 salidas se puede descomponeren 12 subredes, cada una responsable de tres salidas. Ladescomposición mas extrema es la llamada OCON,donde una subred se dedica para una sola clase.Aunque el número de subredes en la estructura OCON esrelativamente largo, cada subred individual tiene untamaño menor que la red ACON. Esto se puede explicarcon las siguientes figuras

Aproximaciones frente a ACON y OCON

Red

es N

euro

nale

s A

rtifi

cial

es

7

Por conveniencia, supongamos que todas las redes tienenel mismo tamaño, por ejemplo k. El número de unidadesocultas de las macro-red ACON se denota por K.Obviamente, k << K. Las dos estructuras difierenclaramente en tamaño y rapidez, esto es, en el númerototal de pesos sinápticos y en el tiempo de entrenamiento.

Aproximaciones frente a ACON y OCON

Red

es N

euro

nale

s A

rtifi

cial

es

8

Sean los vectores de entrada y salida de dimensiones n y Nrespectivamente. El número total de pesos sinápticos espara la estructura ACON (N+n) * K. De la misma forma,el número para la estructura OCON es N * (n+1) * kaprox. N*n * k.Los dos casos se analizan a continuación.Cuando N es relativamente pequeña (comparado con n), laestructura ACON podría tener el mismo número de pesoso algo menos que la OCON.

Aproximaciones frente a ACON y OCON

Red

es N

euro

nale

s A

rtifi

cial

es

9

Si N es muy grande, entonces la OCON podría tener unamayor ventaja en términos del tamaño de la red.Además, la OCON parece ser que aventaja a la ACON enla rapidez de reconocimiento y entrenamiento cuando elnúmero de clases es grande.

Aproximaciones frente a ACON y OCON

En la estructura ACON, la única macro-red tiene que"satisfacer" todas estas clases, así que el número de unidadesocultas K ha de ser muy grande.

Red

es N

euro

nale

s A

rtifi

cial

es

10

Estructuras de conexiónde atrás hacia delante

Una red neuronal se determina por la neurona y lamatriz de pesos. El comportamiento de la red dependeen gran medida del comportamiento de la matriz depesos.

Hay tres tipos de capas de neuronas: la de entrada,las ocultas y las de salida.

Entre dos capas de neuronas existe conexiones, quepueden ser de los siguientes tipos:

hacia delante hacia atrás lateral

Red

es N

euro

nale

s A

rtifi

cial

es

11

Red

es N

euro

nale

s A

rtifi

cial

es

12

Conexiones hacia delante. Los datos de las neuronasde una capa inferior son propagados hacia lasneuronas de la capa superior por medio deconexiones hacia adelante.Conexiones hacia atrás. Los datos de las neuronas deuna capa superior se llevan a otras de la capainferior.Conexiones laterales. Existe traspaso de datos entreneuronas del mismo nivel.Conexiones con retardo. Se incorporan retardos enlas conexiones para implementar modelos dinámicosy temporales, es decir, modelos que precisan dememoria.

Red

es N

euro

nale

s A

rtifi

cial

es

13

Las conexiones sinápticas pueden ser total oparcialmente interconectadas.También es posible que las redes sean de unacapa con el modelo de pesos hacia atrás o bien elmodelo multicapa hacia adelante.Es posible así mismo, el conectar varias redes deuna sola capa para dar lugar a redes másgrandes.

Red

es N

euro

nale

s A

rtifi

cial

es

14

Tamaño de las Redes Neuronales

En una red multicapa de propagación hacia delante,puede haber una o más capas ocultas entre las capas deentrada y salida.El tamaño de las redes depende del numero de capas y delnúmero de neuronas ocultas por capa.

Red

es N

euro

nale

s A

rtifi

cial

es

15

Número de capas. En una red multicapa, hay una o más capasde neuronas ocultas entre la entrada y la salida.El número de capas se cuenta a menudo a partir del númerode conexiones (en vez de las capas de neuronas).

Número de unidades ocultas. El número de unidades ocultasestá directamente relacionado con las capacidades de la red.

Para que el comportamiento de la red sea correcto, se tieneque determinar apropiadamente el número de neuronas de lacapa oculta.

Red

es N

euro

nale

s A

rtifi

cial

es

16

Taxonomía de las RNA

Existen dos fases en toda aplicación de las redesneuronales: la fase de aprendizaje o entrenamiento yla fase de prueba.

En la fase de entrenamiento, se usa un conjunto dedatos o patrones de entrenamiento para determinarlos pesos (parámetros de diseño) que definen elmodelo neuronal.

Red

es N

euro

nale

s A

rtifi

cial

es

17

Una vez entrenado el modelo, se pasa a la fase deprueba o funcionamiento directo, en la que seprocesan los patrones de prueba que constituyen laentrada habitual de la red, analizándose de estamanera el desarrollo definitivo de la red.

Red

es N

euro

nale

s A

rtifi

cial

es

18

Fase de prueba

Los parámetros de diseño de la red neuronal se han obtenidoa partir de unos patrones representativos de las entradas quese denominan patrones de entrenamiento.Los resultados pueden ser tanto calculados de una vez comoadaptados iterativamente, según el tipo de red neuronal, y enfunción de las ecuaciones dinámicas de prueba.Una vez calculados los pesos de la red, los valores de lasneuronas de la última capa, se comparan con la salidadeseada para determinar la validez del diseño.

Red

es N

euro

nale

s A

rtifi

cial

es

19

Fase de aprendizaje

Una característica de las RNA es su capacidad de aprender.Aprenden por la actualización o cambio de los pesos sinápticosque caracterizan a las conexiones.Los pesos son adaptados de acuerdo a la información extraídade los patrones de entrenamiento nuevos que se vanpresentando. Normalmente, los pesos óptimos se obtienenoptimizando (minimizando o maximizando) alguna "funciónde energía".Por ejemplo, un criterio popular en el entrenamientosupervisado es minimizar el error cuadrático medio entre elvalor del maestro y el valor de salida actual.

Red

es N

euro

nale

s A

rtifi

cial

es

20

Las aplicaciones del mundo real deben acometerdos tipos diferentes de requisitos en el procesado.1. Se requiere la prueba en tiempo real pero elentrenamiento ha de realizarse "fuera de línea".2. Se requieren las dos procesos, el de prueba y elde entrenamiento en tiempo real.

Estos dos requisitos implican velocidades de procesomuy diferentes, que afectan a los algoritmos yhardware usados.

Red

es N

euro

nale

s A

rtifi

cial

es

21

Metodos deRetropropagación Numéricos

Primero se definen los conceptos de iteración ybarrido.Una iteración es la entrada de un simple dato en elsistema.Un barrido cubre la presentación de un bloqueentero de datos de entrenamiento.En la mayoría de las prácticas de entrenamiento, serealizan varios barridos y los patrones deentrenamiento se presentan reiteradamente de unamanera cíclica.

Red

es N

euro

nale

s A

rtifi

cial

es

22

Redes Neuronales Supervisadasy no Supervisadas

Las redes neuronales se clasifican comúnmente entérminos de sus correspondientes algoritmos ométodos de entrenamiento: redes de pesos fijos,redes no supervisadas, y redes de entrenamientosupervisado. Para las redes de pesos fijos no existeningún tipo de entrenamiento.

Red

es N

euro

nale

s A

rtifi

cial

es

23

Reglas de entrenamiento Supervisado

Las redes de entrenamiento supervisado han sidolos modelos de redes más desarrolladas desdeinicios de estos diseños.Los datos para el entrenamiento estánconstituidos por varios pares de patrones deentrenamiento de entrada y de salida.El hecho de conocer la salida implica que elentrenamiento se beneficia la supervisión de unmaestro.

Red

es N

euro

nale

s A

rtifi

cial

es

24

Reglas de entrenamientoNo Supervisado

Para los modelos de entrenamiento NoSupervisado, el conjunto de datos deentrenamiento consiste sólo en los patrones deentrada. Por lo tanto, la red es entrenada sin elbeneficio de un maestro.La red aprende a adaptarse basada en lasexperiencias recogidas de los patrones deentrenamiento anteriores.

Red

es N

euro

nale

s A

rtifi

cial

es

25

Como ejemplo de aprendizaje competitivo, si unpatrón nuevo se determina que pertenece a una clasereconocida previamente, entonces la inclusión deeste nuevo patrón a esta clase matizará larepresentación de la misma. Si el patrón de laentrada se determinó que no pertenece a ninguna delas clases reconocidas anteriormente, entonces laestructura y los pesos de la RNA serán ajustadospara reconocer la nueva clase

Red

es N

euro

nale

s A

rtifi

cial

es

26

Redes Neuronalespara aplicaciones concretas

Las RNA dirigidas a aplicación están en general poco ligadasa las redes neuronales biológicas. Ya que el conocimiento quese posee sobre el sistema nervioso en general no es completo,se han de definir otras funcionalidades y estructuras deconexión distintas a las vistas desde la perspectiva biológica.Las características principales de este tipo de RNA son lossiguientes:Auto Organización y Adaptatividad: utilizan algoritmos deaprendizaje adaptativo y auto organización, por lo queofrecen posibilidades de procesado robusto y adaptativo.

Procesado No Lineal. Aumenta la capacidad de la red deaproximar, clasificar y su inmunidad frente al ruido.

Red

es N

euro

nale

s A

rtifi

cial

es

27

Procesado paralelo. Normalmente se usa un gran número decélulas de procesado por el alto nivel de interconectividad.

Estas características juegan un importante papel en las RNAaplicadas al procesado de señal e imagen.

Una red para una determinada aplicación presenta unaarquitectura muy concreta, que comprende elementos deprocesado adaptativo masivo paralelo combinadas conestructuras de interconexión de red jerárquica.

Red

es N

euro

nale

s A

rtifi

cial

es

28

Aprendizaje

Aprendizaje supervisado. El aprendizaje se logra enbase a la comparación directa del la salida de la redcon la respuesta correcta ya conocida.

Es llamado también "aprendizaje con maestro".Incluye un caso especial de reforzamiento delaprendizaje, donde el feedback se realiza a cadasalida sin importar si es correcta o incorrecta.

Red

es N

euro

nale

s A

rtifi

cial

es

29

Aprendizaje no supervisado. En algunas ocasiones elfin del aprendizaje no es definir en términosespecíficos de ejemplos correctos.

La información disponible solo está en correlaciónde datos de entrada o señales. Se espera que la redforme categorías de estas correlaciones, y produciruna señal correspondiente a cada categoría deentrada.

Red

es N

euro

nale

s A

rtifi

cial

es

30

Aprendizaje supervisado

Aprendizaje por corrección de error:Aprendizaje por refuerzo.Aprendizaje estocástico.Aprendizaje Hebbiano.Aprendizaje competitivo y cooperativo.

Red

es N

euro

nale

s A

rtifi

cial

es

31

Aprendizaje por corrección de error

Los pesos se ajustan en función de la diferencia entrelos valores deseados y los obtenidos en la salida.

Presenta algunas limitaciones al no considerar lamagnitud del error global cometido durante elproceso completo de aprendizaje, considerandoúnicamente los errores individuales (locales)correspondientes al aprendizaje de cada informaciónpor separado.

Red

es N

euro

nale

s A

rtifi

cial

es

32

Dwij = a si (dj-sj)donde: Dwij es la variación en el peso de laconexión entre el i-ésimo nodo y el j-ésimo.a Umbral en el aprendizaje que regula velocidady precisión (0<a £ 1)si Salida del i-ésimo nodo.sj Salida del j-ésimo nodo.dj Valor deseado de salida de j-ésima unidad deprocesamiento.

Red

es N

euro

nale

s A

rtifi

cial

es

33

Regla deltao regla de mínimo error cuadrado

n Número de nodos de salidap Número de tramas de entrenamiento

Widrow y Hoff definieron una función que permitíacuantificar el error global cometido en cualquiermomento durante el proceso de entrenamiento,agilizando este proceso.

Red

es N

euro

nale

s A

rtifi

cial

es

34

Error cometido en el aprendizaje de la k-ésima trama.

Se trata de modificar los pesos para que lasconexiones de la red minimicen esta función deerror, se puede hacer en proporción a la variaciónrelativa del error.∆ wij = k (ðErrorglobal) / ðwij

Red

es N

euro

nale

s A

rtifi

cial

es

35

Aprendizaje por refuerzo

No se indica durante el entrenamiento la salida quese desea proporcione la red para una determinadaentrada. En este caso, el supervisor indica medianteuna señal de refuerzo si la salida obtenida se ajusta ala deseada (+1=éxito, -1=fracaso), y en función deello se ajustan los pesos basándose en un mecanismode probabilidades.

Red

es N

euro

nale

s A

rtifi

cial

es

36

Busca cómo hacer que un agente sea eficiente enun ambiente desconocido, con base sólo en suspercepciones y recompensas ocasionales.Esto es difícil porque el agente no conoce cualesson las acciones correctas o las que dan lugar adeterminadas recompensas.

Aprendizaje por refuerzo

Red

es N

euro

nale

s A

rtifi

cial

es

37

Aprendizaje estocástico

Realiza cambios aleatorios a los valores de los pesosen las conexiones de la red y evalúa el efecto a partirdel objetivo deseado y de distribuciones deprobabilidad.

Se realizan los cambios de los pesos y si elfuncionamiento de la red mejoró, se acepta elcambio, si por el contrario no mejora, se aceptaría elcambio en función de una determinada ypreestablecida distribución de probabilidades.Utiliza ruido para escapar de mínimos locales.

Red

es N

euro

nale

s A

rtifi

cial

es

38

Aprendizaje Hebbiano

Consiste en ajustar los pesos de las conexiones deacuerdo con la correlación (multiplicación de loselementos binarios +1 y -1) de los valores deactivación (salidas) de los dos nodos conectados:

D wij = si sj

Con esta expresión se expresa la idea de Hebb, puesto que silas dos unidades son activas (positivas), se produce unreforzamiento de la conexión, y por el contrario, cuando unaes activa y una pasiva, se produce el debilitamiento de laconexión.

Red

es N

euro

nale

s A

rtifi

cial

es

39

Aprendizaje competitivoy cooperativo

Las neurona compiten (y cooperan) unas con otrascon el fin de llevar a cabo una tarea dada. Sepretende que cuando se le presenta a la red ciertatrama de entrada, sólo una de las neuronas de salidade la red, o una por cierto grupo, se active (alcancesu valor de respuesta máximo). Por tanto lasneuronas compiten por activarse, quedandofinalmente una, o una por grupo, como neuronavencedora, y el resto anuladas y forzadas a susvalores de respuesta mínimos.

Red

es N

euro

nale

s A

rtifi

cial

es

40

Las redes con este aprendizaje se usan paracategorizar (clusterizar) los datos que se introducenen la red. De esta manera las tramas similares sonclasificadas formando parte de la misma categoría,y por tanto deben activar la misma neurona desalida.

Red

es N

euro

nale

s A

rtifi

cial

es

41

En el cerebro hay más neuronas que bits.El cerebro evoluciona más lentamente que lamemoria del computador.Todas las neuronas y la sinapsis están en actividadsimultáneamente.En un computador se necesitan cientos de ciclospara decidir activar una unidad, en el cerebro sehace en un sólo paso.

El Cerebro computacional

Red

es N

euro

nale

s A

rtifi

cial

es

42

El computador es más rápido para hacer algo, elcerebro es más rápido en lo que hace.El cerebro es más tolerante con las fallas que elcomputador.Un programa de computador depende del cuidadocon el cual el diseñador lo realice.

Red

es N

euro

nale

s A

rtifi

cial

es

43

Problemas a resolver con RNA

En los problemas de optimización, se trata dedeterminar una solución que sea óptima.Generalmente se aplican redes neuronalesrealimentadas, como el modelo de Hopfield. En lagestión empresarial, son decisiones de optimizaciónencontrar los niveles de tesorería, de existencias, deproducción, construcción de carteras óptimas, etc

Red

es N

euro

nale

s A

rtifi

cial

es

44

En los problemas de reconocimiento, se entrena unared neuronal con entradas como sonidos, números,letras y se procede a la fase de test presentando esosmismos patrones con ruido.

Este es uno de los campos más fructíferos en eldesarrollo de redes neuronales y casi todos losmodelos: Perceptrón, redes de Hopfield, mapas deKohonen, etc, han sido aplicados con mayor omenor éxito.

Red

es N

euro

nale

s A

rtifi

cial

es

45

En los problemas de generalización, la red neuronalse entrena con unos entradas y el test se realiza conotros casos diferentes. Problemas típicos degeneralización son los de clasificación y predicción.

Red

es N

euro

nale

s A

rtifi

cial

es

46

RNA en el manejo deinformación financiera

En noviembre de 1993, se celebró en Londres laprimera reunión internacional sobre aplicaciones deredes neuronales al tratamiento de la informaciónfinanciera.

Los trabajos desarrollados con informaciónfinanciera se agrupan: análisis del fracasoempresarial y predicción en los mercadosfinancieros.

Red

es N

euro

nale

s A

rtifi

cial

es

47

El ambiente puede o no ser accesible.El agente empieza con cierto conocimiento delambiente y de los efectos de sus accionesLas recompensas pueden recibir en estadosterminales o en cualquier estado.Las recompensas son parte de la utilidad real queel agente se esfuerza por maximizar o tambiénpueden ser sugerencias de la utilidad real.El agente en un aprendiz pasivo o activo.

Variaciones en el aprendizaje

Red

es N

euro

nale

s A

rtifi

cial

es

48

En el aprendizaje pasivo el ambiente genera lastransiciones de estado y el agente las percibe.Teniendo como objetivo utilizar la informaciónsobre las recompensas para aprender la utilidadesperada.La función de utilidad es aditiva.La utilidad esperada de un estado es la recompensaesperada por la ejecución de dicho estado.

Aprendizaje pasivo enambientes conocidos

Red

es N

euro

nale

s A

rtifi

cial

es

49

Las acciones que emprenderá el agente son:El modelo del ambiente debe reflejar lasprobabilidad correspondientes a las transiciones aotros estados.En las restricciones impuestas a cada uno de losestados se debe tener en cuenta que el agente puedeelegir entre varias accionesEl agente debe elegir una acción cada vez que de unpaso y para ello necesitará de un elemento deejecución.

Aprendizaje activo enambiente desconocido

Red

es N

euro

nale

s A

rtifi

cial

es

50

Aprendizaje basado en la explicación o ABE, endonde se deduce de manera lógica conocimientoprevio con el que se cuenta, el agente no estaadquiriendo uno nuevo.Aprendizaje basado en la relevancia o ABR,utiliza el conocimiento previo que adopta laforma de determinaciones que sirven paraidentificar atributos relevantes, generando así unreducido espacio de hipótesis acelerando elconocimiento.

Generalización para adquirirConocimiento

Red

es N

euro

nale

s A

rtifi

cial

es

51

La programación lógica inductivaLa programación lógica inductiva

Resolución inversa, basado en el hecho de que si esposible deducir el ejemplo también es posiblehallar una hipótesis de manera que se obtenga unademostración en sentido inverso (retrocediendo).Método de aprendizaje de arriba hacia abajo, separte por una regla muy general que vaespecializándose gradualmente hasta que coincidacon las observaciones.

Red

es N

euro

nale

s A

rtifi

cial

es

52

Conclusiones

Existen limitantes en la capacidad de procesamiento delcomputador, ya que la funcionalidad del cerebro se hace deforma paralela mientras que la computacional está limitadaa ser serial. El cerebro tiene la capacidad de tener unconjunto de percepciones al mismo tiempo, cosa que noocurre con los computadores.

Existen diferentes métodos de aprendizaje con redesneuronales, perceptrones, propagación posterior, aprendizajebayesiano y los deductivos, que se diferencia de acuerdo almétodo que utilizan para la obtención de los estados finales ode salida.