Redes Neuronales Artificiales

Red

es N

euro

nale

s Art

ifici

ales

22

¿Qué es una Red Neuronal Artificial?

Las redes neuronales artificiales (RNA) presentanuna alternativa computacional para la solución dealgunos problemas.Las redes neuronales son modelos del procesocognoscitivo del cerebro (Blum).Un sistema de computación hecho por un grannúmero de elementos simples, elementos de procesomuy interconectados, los cuales procesaninformación por medio de su estado dinámico comorespuesta a entradas externas. (Hecht-Niesen).

Red

es N

euro

nale

s Art

ifici

ales

33

Una RNA es un sistema procesador de informacióncon características de desempeño similares a lasredes neuronales biológicas.Las RNA son elementos (usualmente adaptativos)interconectados masivamente en paralelo y conorganización jerárquica, los cuales interactuan conobjetos del mundo real del mismo modo que lo haceel sistema nervioso biológico. (Kohonen).

Colección de procesadores paralelos conectadosentre sí en la forma de Grafo dirigido (Freeman).

Red

es N

euro

nale

s Art

ifici

ales

44

El procesamiento de información ocurre en elementossencillos llamados neuronas.

Las neuronas se transmiten señales a través de conexiones.Cada liga de conexión esta asociada con un peso, el cual, entípicas redes neuronales, multiplica la señal transmitida.En cada neurona se aplica una función de activación(usualmente no lineal) a las entradas (suma ponderada deentradas por los pesos).

Una RNA ha sido desarrollada como la generalización demodelos matemáticos del conocimiento humano o biologíaneuronal, basada en los siguientes acepciones:

Red

es N

euro

nale

s Art

ifici

ales

55

Las RNA son redes constituidas por muchas unidadesde proceso llamadas neuronas, las cuales se hallaninterconectadas para trasladar información entreellas.Las RNA son modelos de las redes neuronalesbiológicas.Las RNA (Artificial Neural Networks -ANNs-) sonuna simulación abstracta de los sistemas nerviososbiológicos, se forman por un conjunto de unidadesllamadas "neuronas" o "nodos" conectadas unas conotras.

Red

es N

euro

nale

s Art

ifici

ales

66

¿Por qué una RNA?

El cerebro humano es mucho más lento que unmicroprocesador y, sin embargo, es capaz de realizar ciertastareas de forma más eficiente que cualquier ordenador.

Visión, Reconocimiento,Toma de decisiones, Control,....

La potencia de cáculo tiene relación con lassiguientes características:

Complejidad,No linealidad,Paralelismo,Aprendizaje,...

Red

es N

euro

nale

s Art

ifici

ales

77

Una RNA es una estructura de computación masivay paralela compuesta por unidades no linealesindividuales (neuronas) en la cual el conocimiento:

Se establece mediante un proceso de aprendizaje.Se almacena en las conexiones (pesos o sinapsis)entre neuronas.

Red

es N

euro

nale

s Art

ifici

ales

88

Proceso clásico/RNA

• Proceso clásico

Datos

Datos

Construcción

Modelo

Validación

Modelo- Clasificación

- Predicción

- Reconocimiento,...

Red

es N

euro

nale

s Art

ifici

ales

99

Cómputo convencional

M em oriaCPU

¿Qué limitaciones tiene este esquema?, ¿quéproblemas no podrían ser resueltos así?

Máquina‘von Neuman’

Tomar una instrucción de memoria.Tomar datos de memoria requeridos por la

instrucción.Ejecutar la instrucción (procesar los datos).Almacenar resultados.Regresar al paso#1.

Proceso clásico/RNA

Red

es N

euro

nale

s Art

ifici

ales

1010

• Proceso con RNA

Datos

DatosAprendizaje

RNA

- Clasificación

- Predicción

- Reconocimiento,...Entrenamiento

Test

¡ La red neuronal extrae directamente de los datosla informacion para resolver el problema!

Proceso clásico/RNA

Red

es N

euro

nale

s Art

ifici

ales

1111

E SProcesamientode información

a = x1*w1 + x2*w2;y = F(a);

neurona

Σ F(a)x1

x2

w1

w2ya

Proceso clásico/RNA

Red

es N

euro

nale

s Art

ifici

ales

1212

Una RNA es un conjunto de nodos ordenados adaptables loscuales, a través de un proceso de aprendizaje medianteejemplos prototipo, almacenan conocimiento de tipoexperiencial y lo hacen disponible para su uso. [AnIntroduction to Neural Computing. Igor Aleksander andHelen Morton]

Una RNA es un ensamble de elementos procesadores simplesy adaptables, cuya funcionalidad está burdamente basada enuna neurona animal. La habilidad de procesamiento de la redestá almacenada en la intensidad de las conexiones entreelementos, obtenidos por un proceso de adaptación a unconjunto de patrones de entrenamiento

Definiciones

Red

es N

euro

nale

s Art

ifici

ales

1313

Las conexiones de las RNA tienen una gransemejanza con las dendrítas y los axones en lossistemas nerviosos biológicos.El campo de las RNA, como otros, ha tenido unrápido desarrollo al hacer énfasis a la inspiraciónbiológica para la solución a algunos problemas.

El paralelismo masivo y la interconectividad que seobserva en los sistemas biológicos complejos son lascausas de la capacidad del cerebro para llevar a cabocomplejos reconocimientos de tramas en poco tiempo.

Red

es N

euro

nale

s Art

ifici

ales

1414

La arquitectura del cerebro humano se presentasignificativamente distinta a la forma de uncomputador convencional.Se estima que el cerebro humano (sistema nerviosohumano) contiene más de cien mil millones (1011) deneuronas y 1014 sinápsis (una neurona se comunicahasta con 1000 neuronas).Aunque el tiempo de conmutación de la neurona(unos pocos milisegundos) es casi un millón de vecesmenor que en las actuales elementos de loscomputadores ellas tienen conectividad miles de vecessuperior que los actuales supercomputadores.

Red

es N

euro

nale

s Art

ifici

ales

1515

El objetivo principal de de las redes neuronales detipo biológico es desarrollar un elemento sintéticopara verificar las hipótesis que conciernen a lossistemas biológicos.Las neuronas y las conexiones entre ellas(sinápsis) constituyen la clave para el proceso dela información.

Red

es N

euro

nale

s Art

ifici

ales

1616

El cerebro es un sistema super complejo.

El tamaño de una neurona biológica es deaproximadamente un tamaño de 5-100micrómetros.

El cerebro es el dispositivo de computo máspoderoso que existe.

Le ha tomado a la naturaleza 4.000 millones de añosdesarrollarlo.

Bases biológicas

Red

es N

euro

nale

s Art

ifici

ales

1717

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

1818

NEURONA

Red

es N

euro

nale

s Art

ifici

ales

1919

En la neurona biológica se pueden tomarsus tres partes más principales:1. El cuerpo de la neurona.2. Ramas de extensión llamadas dendrítas.3. Un axón que lleva la salida de laneurona a las dendritas de otras neuronas.

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2020

La forma que dos neuronas interactuan no estátotalmente conocida, dependiendo además decada neurona.En general, una neurona envía su salida a otraspor su axón.El axón lleva la información por medio dediferencias de potencial, u ondas de corriente,que depende del potencial de la neurona.

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2121

La neurona recoge las señales por su sinapsissumando todas las influencias excitadoras einhibidoras.Si las influencias excitadoras positivas dominan,entonces la neurona da una señal positiva ymanda este mensaje a otras neuronas por sussinapsis de salida.En este sentido la neurona puede ser modeladacomo una simple función f(.).

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2222

Las DENDRITAS recogen señales procedentes deotras neuronas, por estímulos del mundo externo ointerno y las transmiten al cuerpo de la neurona.El CUERPO de la neurona recibe las señales de todaslas dendritas y según la tipología de la neurona en si,determina una respuesta.El AXON de la neurona transmite la respuestagenerada por el cuerpo de la neurona a otrasneuronas o a algún miembro receptor (músculo,nervio,...).

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2323

Una neurona es una célula viva y, como tal, contienelos mismos elementos que forman parte de todas lascélulas biológicas.El axón posee ramas en su extremo para tenerconexión con mayor número de neuronas.El axón se ramifica en filamentos y subfilamentos,mediante los cuales establece conexión con otrasneuronas.La característica principal que diferencian a lasneuronas del resto de las células vivas, es sucapacidad de comunicarse.

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2424

Una red neuronal

Red

es N

euro

nale

s Art

ifici

ales

2525

Sinapsis

Red

es N

euro

nale

s Art

ifici

ales

2626

Red

es N

euro

nale

s Art

ifici

ales

2727

La SINAPSIS de la neurona es el punto de uniónentre dos neuronas (dendrita - axón).Cada neurona establece sinapsis desde una docenahasta con cientos de miles de otras neuronas.No es un elemento especial de la neurona.El impulso (señal) que proviene del axón setransmite a otras neuronas, determinando elcomportamiento general de la red neuronal.

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2828

El proceso de comunicación entre las neuronas serealizan en términos generales de la siguientemanera: las dendritas y el cuerpo celular recibenseñales de entrada; el cuerpo celular las combinae integra y emite señales de salida.El axón transporta esas señales a los terminalesaxónicos, que se encargan de distribuirinformación a un nuevo conjunto de neuronas.

Modelo Biológico

Red

es N

euro

nale

s Art

ifici

ales

2929

Aprendizaje en el cerebro

Las señales se propagan de neurona a neuronamediante una complicada reacciónelectroquímica.Las sinapsis liberan sustancias químicas Tx yentran a las dendrita con lo cual se activa elpotencial del cuerpo de la célula.Cuando el cuerpo rebasa cierto limite, se envia alaxón un impulso eléctrico (potencial de acción), elcual se difunde a través de las ramas del axón, yfinalmente llega a la sinapsis y libera Tx en loscuerpos de otras células.

Red

es N

euro

nale

s Art

ifici

ales

3030

Quizás el descubrimiento mas grande es que lasconexiones sinapticas muestran plasticidad:alteraciones a largo plazo de la intensidad de lasconexiones como respuesta al patrón deestimulación.Las neuronas establecen también conexiones conotras neuronas, y en ocasiones, con gruposcompletos de neuronas capaces de migrar de unsitio a otro.

Red

es N

euro

nale

s Art

ifici

ales

3131

Por lo general, una neurona recibe información demiles de otras neuronas y, a su vez, envíainformación a miles de neuronas más.Las señales que utilizan las neuronas son denaturaleza eléctrica y química.

Modelo Biológico

Red

es N

euro

nale

s Art

ifici

ales

3232

Naturaleza bioeléctrica

La señal generada por la neurona y transportada a lo largodel axón es un impulso eléctrico, mientras que la señal que setransmite entre los terminales axónicos de una neurona y lasdendritas de la neuronas siguientes es de origen químico;concretamente, se realiza mediante moléculas de sustanciastransmisoras (neurotransmisores) que fluyen a través de unoscontactos especiales, llamados sinapsis, que tienen la funciónde receptor y están localizados entre los terminales axónicos ylas dendritas de la neurona siguiente (espacio sináptico, entre50 y 200 Angstroms).

Red

es N

euro

nale

s Art

ifici

ales

3333

Señal eléctrica

La membrana de la neurona separa el plasmaintracelular del fluido intesticial que se encuentrafuera de la célula.La membrana es permeable para ciertas especiesiónicas, y actúa de tal forma que se mantenga unadiferencia de potencial entre el fluido intracelulary el fluido extracelular.La diferencia más notable se da en relación con laconcentración de los iones sodio y potasio.

Red

es N

euro

nale

s Art

ifici

ales

3434

El medio externo es unas 10 veces más rico ensodio que el interno, mientras que el mediointerno es unas 10 veces más rico en potasio queel externo.Esta diferencia de concentración en iones sodio ypotasio a cada lado de al membrana produce unadiferencia de potencial de aproximadamente 70milivoltios, negativa en el interior de la célula. Eslo que se llama potencial de reposo de la célulanerviosa.

Red

es N

euro

nale

s Art

ifici

ales

3535

La llegada de señales procedentes de otrasneuronas a través de las dendritas (recepción deneurotransmisores) actúa acumulativamente,bajando ligeramente el valor del potencial dereposo.El potencial modifica la permeabilidad de lamembrana, de manera que cuando llega a ciertovalor crítico comienza una entrada masiva deiones sodio que invierten la polaridad de lamembrana.

Red

es N

euro

nale

s Art

ifici

ales

3636

La inversión del voltaje de la cara interior de lamembrana cierra el paso a los iones sodio y abreel paso a los iones potasio hasta que se restableceel equilibrio en reposo.La inversión del voltaje, conocida como potencialde acción, se propaga a lo largo del axón y, a suvez, provoca la emisión de los neurotransmisoresen los terminales axónicos.

Red

es N

euro

nale

s Art

ifici

ales

3737

Después de un pequeño periodo refractario,puede seguir un segundo impulso.El resultado de todo esto es la emisión por partede la neurona de trenes de impulsos cuyafrecuencia varía en función (entre otros factores)de la cantidad de neurotransmisores recibidos.

Red

es N

euro

nale

s Art

ifici

ales

3838

Señal química

La acción química que se produce en los receptores dalugar a cambios de permeabilidad de la membranapostsináptica para ciertas especias iónicas.Existen dos tipos de efectos locales en la sinapsis:– a) el efecto excitador, cuyos neurotransmisores

provocan disminuciones de potencial en la membranade la célula postsináptica, facilitando la generación deimpulsos a mayor velocidad

– b) el efecto inhibidor, cuyos neurotransmisores tiendena estabilizar el potencial de la membrana, dificultandola emisión de impulsos.

Red

es N

euro

nale

s Art

ifici

ales

3939

Estos dos efectos actúan solo a lo largo de unapequeña distancia hacia el interior de la célula; sesuman en el montículo del axón; la suma de losefectos excitadores e inhibidores determina si lacélula será o no estimulada; es decir, si emitirá o noun tren de impulsos y a qué velocidad.

Red

es N

euro

nale

s Art

ifici

ales

4040

Neurona artificial

Bajo estas consideraciones se llega al modelo de unaneurona artificial.

Red

es N

euro

nale

s Art

ifici

ales

4141

∑∑ ∫∫ Yi

gg

Yi=g(ini)

ininii

Función deentrada

Función deactivación

Salida

Conexionesde entrada

XjWj,i

Conexionesde salida

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

Unidades ó nodosConexionesPesosNivel de activaciónFunción de activaciónSalida

W Wg

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4343

Atributo Valor ValnorEdad 20 0.4No. Rec. 3 0.3Repar 2 0.15Clima D 0.25Cochera 2 0.33Terreno 400 0.4Construc. 350 0.35Sector 3 0.65

0.71315

$2,255,000

0.79612

0.5824

0.4

0.3

Pesos Wij

Valores aj

0.15

0.25

0.33

0.4

0.35

0.65

0.8234

0.6136

-1.325

1.23

-0.24

0.937

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4444

Los modelos de RNA sólo son un parecidosuperficial con sus contrapartes biológicas.Lo importante de las RNA es que muestran unoscomportamientos útiles al aprender, reconocer yaplicar relaciones entre objetos y tramas de objetospropios del mundo real.

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4545

El Primer modelo de red neuronal fue propuesto en1943 por McCulloch y Pitts en términos de unmodelo computacional de "actividad nerviosa".El modelo de McCulloch-Pitts es un modelo binario, ycada neurona tiene un umbral prefijado.El modelo de McCulloch-Pitts sirvió de ejemplo paralos modelos posteriores de Jhon Von Neumann,Marvin Minsky, Frank Rosenblatt, Hopfield,Kohonen, ...

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4646

Una primera clasificación de los modelos deRNA podría ser, atendiendo a su similitud con larealidad biológica.Los modelos de tipo biológico comprenden lasredes que tratan de simular los sistemasneuronales biológicos así como las funcionesauditivas, de la visión, del habla, ...

Conceptos básicos

Red

es N

euro

nale

s Art

ifici

ales

4747

El modelo dirigido a aplicación son modelos queno guardan necesariamente similitud con lossistemas biológicos.La arquitectura de los modelos dirigidos a laaplicación están fuertemente ligadas a lasnecesidades específica de la aplicación para laque se diseñadas.

Conceptos básicos

Red

es N

euro

nale

s Art

ifici

ales

4848

Red

es N

euro

nale

s Art

ifici

ales

4949

¿Cómputo convensionalvs. Redes neuronales?

Los computadores actuales son incapaces parainterpretar el mundo.Son capaces de realizar 100 millones deoperaciones de punto flotante por segundo perono pueden entender el significado de formasvisuales.Puede repetir en forma indefinida un conjuntode instrucciones generadas por un programadorhumano pero no pueden aprender a partir de laexperiencia.

Red

es N

euro

nale

s Art

ifici

ales

5050

¿Por qué utilizar una RNA?

Las RNA, con su marcada habilidad paraderivar de datos complicados o imprecisos, seutilizan para extraer patrones y detectar tramasque son muy difíciles de apreciar por humanos uotras técnicas computacionales.Una RNA entrenada puede usarse como un"experto" para categorizar la información quese ha dado para su análisis. Este experto puedeusarse para proveer proyecciones de nuevassituaciones.

Red

es N

euro

nale

s Art

ifici

ales

5151

Las redes neuronales son preferibles a otros métodosmatemáticos cuando se presentan las siguientescaracterísticas:Es muy difícil encontrar reglas que definan lavariable a modelizar en relación a las entradasconsideradas en el modelo.Los datos son imprecisos o contienen perturbacionesestadísticas (ruido).El problema necesita para ser definido un gran número devariables dependientes (presenta una alta dimensionalidad).

Red

es N

euro

nale

s Art

ifici

ales

5252

El modelo a resolver es no lineal.Se dispone de un gran número de datos.El entorno de trabajo es variable

Red

es N

euro

nale

s Art

ifici

ales

5353

Ventajas

Aprendizaje adaptativo. Capacidad de aprender a realizartareas basada en un entrenamiento o una experiencia inicial.

Autoorganización. Una red neuronal puede crear su propiaorganización o representación de la información que recibedurante la etapa de aprendizaje.Tolerancia a fallas vía información redundante.

La destrucción parcial de una red conduce a una degradaciónde su estructura; sin embargo, algunas capacidades de la redse pueden retener, incluso sufriendo daños mayores.

Red

es N

euro

nale

s Art

ifici

ales

5454

Operación en tiempo real. El cómputo neuronalpuede realizarse en paralelo. Inicia el diseño yfabricación de máquinas especiales con estasventajas para obtener esta capacidad.

Red

es N

euro

nale

s Art

ifici

ales

5555

Algunas aplicaciones

Espacio aéreo– Pilotos automáticos de alto desempeño, simulaciones y

predicciones de trayectoria de vuelo, sistemas de controlde vuelo, detección de fallas en componentes de la nave.

Automotriz– Sistemas automáticos de navegación, comando por voz

Bancos– Lectores de documentos, evaluadores de asignación de

crédito, identificador de firmas.

Red

es N

euro

nale

s Art

ifici

ales

5656

DefensaElectrónica– Predicción de secuencias de códigos, control de

procesos, análisis de fallas de circuitos, visión demáquina, síntesis de voz, modelado no lineal.

Robótica– Control de trayectorias, control de manipuladores,

sistemas de visión.Voz– Reconocimiento de voz, compresión de voz,

sintetizadores de texto a voz.

Algunas aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

5757

Telecomunicaciones– Compresión de datos e imágenes, servicios automáticos de

información, traducción de lenguaje hablado en tiempo real.Transportation

– Sistemas ruteadores, diagnóstico de motores, tiempos ymovimientos.

Seguridad– Reconocimiento de rostros, identificación y acceso de personas.

Financieros– Evaluación de bienes raíces, consultor de prestamos, valuación de

bonos corporativos, análisis sel uso de la línea de crédito,predicción de tipo de cambio.

Algunas aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

5858

Manufactura– Control de procesos de manufactura, análisis y diseño

de productos, diagnóstico de máquinas y procesos,identificación de partes en tiempo real, sistemas deinspección de calidad, predicción de fin de proceso,análisis de mantenimiento de máquinas, modelado desistemas dinámicos.

Medicina– Detección de cáncer mamario o en la piel, análisis de

EEG y ECG, diseño de prótesis, optimización detiempos de trasplante, reducción de gastos enhospitales.

Oficinas postales, Verificación remota, etc.

Algunas aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

5959

•Comunicaciones:-Igualación, cancelación, conmutación,enrutamiento, demodulación multiusuario,...

•Tratamiento de Voz:-Reconocimiento, autentificación de locutores,codificación, cuantificación vectorial,...

•Tratamiento de Imagen:-Reconocimiento de formas y patrones (huellasdactilares, números, caras,...)

Algunas aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

6060

•Modelado/Predicción:-Predicción no lineal de series temporales(financieras, consumo eléctrico,...)

•Control:-Control de procesos, robots, vehículos, ...

Red

es N

euro

nale

s Art

ifici

ales

6161

• Un Filtro No lineal

- Algoritmos Adaptativos (LMS, RLS, Newton), Modelos no lineales (Volterra,

Wiener), Clasificadores Bayesianos,...

• Un sistema dinámico no lineal

- Estabilidad, Funciones de Liapunov, Atractores, Ecs diferenciales no lineales,

...

• Un aproximador funcional

- Análisis funcional, Teoría de la aproximación,....

• Un modelo neurofisiológico

- Percepción, Visión, Reconocimiento,...

• Una red neuronal puede ser vista como:

Conclusiones

Red

es N

euro

nale

s Art

ifici

ales

6262

Conclusiones

Las RNA son estructuras paralelas y no linealescapaces de resolver un gran número de problemas.Ofrecen soluciones en problemas en los queintervienen muchas variables y que son difíciles deformalizar.Son capaces de aprender y generalizarExisten un gran número de topologías y algoritmosde entrenamiento

Red

es N

euro

nale

s Art

ifici

ales

6363

Inconveniente: Funcionan como una “caja negra”,resuelven un problem pero es difícil saber cómolo han hecho.

Son una herramienta valiosa, pero no resuelvenTODOS los problemas, ni siempre los resuelvende la MEJOR manera.

Conclusiones

Red

es N

euro

nale

s Art

ifici

ales

6464

Bibliografía

Bishop C.M. (1996). Neural Networks for PaternRecognition. Clarendon Press.Demuth H., Beale M. (1998). Neural NetworkToolbox for use with MATLAB. Math WorksInc.Fausett L. (1994). Fundamentals of NeuralNetworks. Prentice-Hall.Freeman J.A., Skapura D.M. (1993). Redesneuronales, algoritmos, aplicaciones y técnicas deprogramación. Madrid, Díaz de Santos.

Red

es N

euro

nale

s Art

ifici

ales

6565

Haykin S. (1998). Neural Networks: aComprehensive Foundation. Prentice-Hall.Haykin S. (1999). Neural Networks. 2nd Edition,Prentice Hall.Kohonen T. (1997). Self-organization AndAssociative Memory. 3ª ed., Berlin, Springer-Verlag.

Red

es N

euro

nale

s Art

ifici

ales

6666

Kung S. Y. (1993). Digital Neural Networks.Prentice Hall, Inc.Mitchell T. (1997). Machine Learning. Mc Graw-Hill.Murray A.F. (1995). Applications of NeuralNetworks. Kluwer Academic Publishers.Reed R.D. , Marks R.J. (1999). Neural Smithing.Cambridge (EEUU), MIT Press.Ripley B.D. (1996). Pattern Recognition & NeuralNetworks. Cambridge University Press.

Red

es N

euro

nale

s Art

ifici

ales

6767