1

CogNovaTechnologies

Diseño y Entrenamiento Diseño y Entrenamiento de Redes Neuronales de Redes Neuronales

ArtificialesArtificiales

(Parte 3)(Parte 3)

2

CogNovaTechnologies

El numero de neuronas El numero de neuronas ocultas dependerá de:ocultas dependerá de: El numero de unidades de entrada El numero de unidades de entrada

y de salida.y de salida. El numero de caso de El numero de caso de

entrenamiento.entrenamiento. La cantidad de ruido en los valores La cantidad de ruido en los valores

objetivos.objetivos. La complejidad de la función o La complejidad de la función o

clasificación que será aprendida.clasificación que será aprendida.

3

CogNovaTechnologies

La arquitectura.La arquitectura.

El tipo de la función de activación El tipo de la función de activación en las unidades ocultas.en las unidades ocultas.

El algoritmo de entrenamiento.El algoritmo de entrenamiento.

4

CogNovaTechnologies

No hay forma de determinar No hay forma de determinar el numero optimo de el numero optimo de neuronas en la capa oculta neuronas en la capa oculta sin antes entrenar varias sin antes entrenar varias redes y estimar el error de redes y estimar el error de generalización.generalización.

5

CogNovaTechnologies

Muy pocas neuronas en la capa Muy pocas neuronas en la capa oculta conducirían a un alto error oculta conducirían a un alto error de entrenamiento y también a un de entrenamiento y también a un alto error de generalización debido alto error de generalización debido al underfitting.al underfitting.

Si se tienen muchas neuronas en Si se tienen muchas neuronas en la capa oculta se podría obtener un la capa oculta se podría obtener un bajo error de entrenamiento pero bajo error de entrenamiento pero todavía tener un alto error de todavía tener un alto error de generalización debido al generalización debido al overfitting.overfitting.

6

CogNovaTechnologies

Existen ciertas reglas llamadas Existen ciertas reglas llamadas “rules “rules of thumb”of thumb” para escoger la para escoger la arquitectura. P/ej.arquitectura. P/ej.

““para calcular el numero de neuronas para calcular el numero de neuronas ocultas se utiliza la regla general:”ocultas se utiliza la regla general:”

h= (2/3) *(n+m)h= (2/3) *(n+m)

““El numero de neuronas en la capa El numero de neuronas en la capa oculta nunca requerirá ser más de dos oculta nunca requerirá ser más de dos veces el numero de entradas”.veces el numero de entradas”.

H < 2nH < 2n

7

CogNovaTechnologies

El numero de pesos no debe ser El numero de pesos no debe ser mas de 1/30 el numero de casos mas de 1/30 el numero de casos de entrenamiento.de entrenamiento.

En variables objetivo libres de En variables objetivo libres de ruido, puede ser mas que ruido, puede ser mas que suficiente el doble de casos de suficiente el doble de casos de entrenamiento respecto al numero entrenamiento respecto al numero de pesos.de pesos.

8

CogNovaTechnologies

Una solucion inteligente para Una solucion inteligente para obtener el numero de neuronas obtener el numero de neuronas optimo en la capa oculta es entrenar optimo en la capa oculta es entrenar varias redes con diferente numero varias redes con diferente numero de unidades ocultas, estimar el error de unidades ocultas, estimar el error de generalización en cada red y de generalización en cada red y tomar la red ,con el mínimo error tomar la red ,con el mínimo error estimado.estimado.

9

CogNovaTechnologies

Al incrementar el numero de pesos Al incrementar el numero de pesos hace mas fácil para hace mas fácil para Backpropagation estándar Backpropagation estándar encontrar un mínimo local optimo, encontrar un mínimo local optimo, también al usar redes mas grandes también al usar redes mas grandes puede reducir el error de puede reducir el error de entrenamiento y el error de entrenamiento y el error de generalización.generalización.

10

CogNovaTechnologies

Aspectos Prácticos Aspectos Prácticos del uso de Redes del uso de Redes

NeuronalesNeuronales

11

CogNovaTechnologies

Donde aplicar las Redes Donde aplicar las Redes NeuronalesNeuronales Donde la tecnologia computacional Donde la tecnologia computacional

es inadecuada.es inadecuada. En problemas que requieran de un En problemas que requieran de un

razonamiento cualitativo o razonamiento cualitativo o cuantitativo complejo.cuantitativo complejo.

El fenomeno involucrado dependa El fenomeno involucrado dependa de multiples parametros de multiples parametros interactuando.interactuando.

12

CogNovaTechnologies

Gran cantidad de datos Gran cantidad de datos multivariados y con ruido o con multivariados y con ruido o con errores.errores.

Algunos de los datos pueden ser Algunos de los datos pueden ser erroneos o faltantes.erroneos o faltantes.

En general: Reconocimiento de En general: Reconocimiento de patrones, mapeo estadistico, o patrones, mapeo estadistico, o modelizacion.modelizacion.

13

CogNovaTechnologies

Selección del Tipo de Selección del Tipo de AprendizajeAprendizaje Dependerá de los datos disponiblesDependerá de los datos disponibles Aprendizaje Supervisado:Aprendizaje Supervisado: Requiere de Requiere de

patrones de entrada con la salida patrones de entrada con la salida correcta.correcta.

Tiene mayor potencialidad.Tiene mayor potencialidad. Tiempos de entrenamiento Tiempos de entrenamiento

relativamente largos.relativamente largos. Usadas para predicción, evaluacion o Usadas para predicción, evaluacion o

generalizaciongeneralizacion

14

CogNovaTechnologies

Aprendizaje Autosupervisado : Aprendizaje Autosupervisado : Clasifica patrones internamente y Clasifica patrones internamente y no requiere de resultados no requiere de resultados esperados.esperados.

Su capacidad es significativamente Su capacidad es significativamente menormenor

Usos: clasificacion o Usos: clasificacion o reconocimientoreconocimiento

15

CogNovaTechnologies

Selección de la salidaSelección de la salida

Estará determinada por la Estará determinada por la naturaleza del problema.naturaleza del problema.

Pueden ser:Pueden ser:– Salidas binarias oSalidas binarias o– Escala de grises (valores continuos)Escala de grises (valores continuos)

16

CogNovaTechnologies

Función de activación de Función de activación de la neuronala neurona La funcion de Activacion mas La funcion de Activacion mas

comun es la funcion Logistica: comun es la funcion Logistica: (sigmoidal exponencial “logsig”)(sigmoidal exponencial “logsig”)

El algoritmo de retropropagacion El algoritmo de retropropagacion reqwuiere que la derivada de la reqwuiere que la derivada de la funcion sea continua. Las funcion sea continua. Las funciones recomendadas son la funciones recomendadas son la sigmoidal y la continua.sigmoidal y la continua.

17

CogNovaTechnologies

Numero de capas Numero de capas

La red de retropropagacion usa La red de retropropagacion usa generalmente tres capas.generalmente tres capas.

Se pueden usar cuatro capas .Se pueden usar cuatro capas . Es mejor usar dos capas ocultas Es mejor usar dos capas ocultas

pequeñas que una sola muy pequeñas que una sola muy grande.grande.

18

CogNovaTechnologies

Funcion de la Capa OcultaFuncion de la Capa Oculta

Actua como Sintetizador.Actua como Sintetizador. Extractor de caracteristicas de Extractor de caracteristicas de

entrada.entrada. Un numero grande de neuronas en Un numero grande de neuronas en

la capa oculta aumenta la potencia la capa oculta aumenta la potencia de la red pero aumenta el tiempo de la red pero aumenta el tiempo de procesamiento y requiere de de procesamiento y requiere de muchos ejemplos de entrenamiento.muchos ejemplos de entrenamiento.

19

CogNovaTechnologies

Numero de neuronas Numero de neuronas

El numero adecuado de neuronas ocultas El numero adecuado de neuronas ocultas se determina a través de la se determina a través de la experimentacion.experimentacion.

Muy pocas neuronas ocultas impide el Muy pocas neuronas ocultas impide el correcto mapeo de la entrada a la salidacorrecto mapeo de la entrada a la salida

Muchas neuronas ocultas conduce a la Muchas neuronas ocultas conduce a la memorización de los datos sin extraer las memorización de los datos sin extraer las características para la generalizacion.características para la generalizacion.

20

CogNovaTechnologies

Para una sola capa oculta se recomienda Para una sola capa oculta se recomienda el numero de neuronas ocultas como el numero de neuronas ocultas como 2/3 de numero de entradas.2/3 de numero de entradas.

Cuando se usan dos capas ocultas el Cuando se usan dos capas ocultas el numero de neuronas es numero de neuronas es significativamente menor en cada capasignificativamente menor en cada capa

nh 32

21

CogNovaTechnologies

Las redes neuronales con mayor Las redes neuronales con mayor numero de entradas respecto al numero de entradas respecto al numero de salidas trabajan mejor.numero de salidas trabajan mejor.

Un numero mayor de salidas hacen Un numero mayor de salidas hacen mas duro el entrenamiento.mas duro el entrenamiento.

22

CogNovaTechnologies

Normalizacion de DatosNormalizacion de Datos

Los datos numéricos deben ser Los datos numéricos deben ser normalizados o escaladosnormalizados o escalados

Consiste en dividir todos valores Consiste en dividir todos valores del conjunto de entrada en un del conjunto de entrada en un valor de referencia; usualmente el valor de referencia; usualmente el valor mas grande.valor mas grande.

23

CogNovaTechnologies

Dudas ??Dudas ????

24

CogNovaTechnologies

Hasta la Hasta la próxima !!!próxima !!!