redes neuronales base radial

Abril del 2000 ESCOM IPN 1

*** *** Redes deRedes de *** ***

Base RadialBase Radial


Desarrolladas por Broomhead y Lowe (1988)

J. Moody y C. Darken (1989)

Las redes de función de base radial (RBFN) han sido tradicionalmente asociados con funciones radiales en una red de capa simple.


Modelo de Neurona INTRODUCCIÓN

Los modelos de redes tratados anteriormente están basados en unidades (neuronas) que producen a la salida una función lineal del producto escalar del vector de entrada y el vector de pesos.

a= F( WP +b)a= F( WP +b)


* Ahora consideraremos una clase dentro de los modelos de las redes neuronales, en el cual la activación de las unidades ocultas, esta determinada por la distancia entre el vector de entrada y el vector de pesos

A= f(dist(W,P)*b)A= f(dist(W,P)*b)


Fundamentos

* En el sistema nervioso de los organismos biológicos se encuentra la evidencia de neuronas cuyas características de respuesta son locales o enfocadas para alguna región en el espacio de entrada.


Fundamentos

* Un ejemplo es la sensibilidad de orientación de las células de la corteza visual, cuya respuesta es sensible a regiones locales en la retina.


* Esto quiere decir que la activación de las unidades (la respuesta de las células como son las neuronas o las terminaciones nerviosas), grupos de neuronas están específicamente en una región y cumplen una función especifica para una región.


Arquitectura Arquitectura

de RBFNde RBFN


ARQUITECTURA DE RED

La red de función de base radial ó RBFN , tiene una estructura feedforward consta de 3 capas, la capa de entrada, la oculta y la capa de salida.

Los nodos de la capa de entrada simplemente propagan los valores a los nodos de la capa oculta.


Arquitectura

La salida de los nodos de la capa de entrada están completamente conectados (fully conect) con los nodos de la capa oculta.

La función de activación es una función de base radial.


Arquitectura

Las conexiones entre la capa de entrada y la capa oculta especifican el conjunto de funciones centro los cuales son denotados por Cij.


Arquitectura

Las funciones centro Cij pueden ser fijas antes del entrenamiento de la red neuronal o leídos durante el entrenamiento de la red.

Cada nodo de la capa oculta calcula una distancia medida entre el vector de entrada X y el vector centro C.


Arquitectura Esta distancia es denotada por: || X – Cj ||(la distancia medida normalmente se toma como la norma Euclideana).

La Norma Euclideana

21

)( xxx T

222

21 n

xxxx


Arquitectura

y entonces ejecuta una función no lineal:

j = ( || X – Cj || )

donde es la función de base radial y j denota la salida del j-ésimo nodo de la capa oculta.


Función de Base Radial

La función toma La función toma un valor de 1 un valor de 1 cuando la cuando la entrada es cero.entrada es cero.

a

n

1


Función de Base Radial

La funciónLa función de de transferencia transferencia puede ser puede ser utilizada cuando utilizada cuando una neurona una neurona cuenta con cuenta con pesos y un bías.pesos y un bías.

a

w-p

1


Arquitectura

Así una neurona de base radial actúa como un detector el cual tiene una salida igual a 1 siempre que la entrada p es idéntica al vector de pesos w (la entrada es cero por que w=p => 1-1 = 0 ).


Arquitectura

La función de base radial comúnmente utilizada en las redes RBF es la función Gausiana:

222 ii cx e


Donde:

xxii y ccii son los componentes de n dimensión del vector de entrada x y el vector centro c, respectivamente.

es el factor suavizante o el ancho del campo receptivo (spread).


Redes de Base Radial


MODELO DE NEURONA Dentro de la arquitectura de la neurona se puede

notar que difiere con las estructuras anteriores (antes era la suma de las entradas ponderadas).

p (1)

p (2)

p (R)b

n aw (1,1)


Arquitectura

Una neurona de base radial recibe como entrada neta el vector de distancia entre su vector de pesos w y el vector de entradas p multiplicado por el bias b.

La siguiente figura muestra gráficamente una función de base radial.


Estructura de una RNA de Base Radial

f (x)

h1 (x) hj (x) hm (x)

w1wj

wm

x1 xj xm

CENTRALES


Red neuronal compuesta de 3 capas Una capa oculta de S1 neuronas,

con funciones de transferencia de campana de Gauss.

Una capa de salida de S2 neuronas, con funciones de transferencia lineales


Redes de Base Radial

X

( || x - cj || )

.

.

.

( || x - cj || )

( || x - cj || )

1

2

j

w11

w12

w1j

y1

y2

yj

Estructura de una red de base radial


Características Características

de RBFNde RBFN


Para este tipo de redes se crearon procedimientos para entrenamiento de redes de función de base radial, los cuales son mucho más rápidos que los métodos usados para entrenar un perceptrón multicapa.


Emplea más neuronas que la Backpropagation.

Trabajan mejor con un numero mayor de vectores de entrenamiento

Rápido entrenamiento

Aprendizaje híbrido – No supervisado (capa de entrada).– Supervisado (capa de salida)


Para la estructura de una red de base radial se requiere de un procedimiento de entrenamiento de dos etapas:


En la primer etapa: Los parámetros dominantes de las

funciones base son determinados de una manera rápida por métodos no supervisados, es decir, métodos que únicamente usan datos de entrada y no datos meta.


En la segunda etapa: Se encuentra implicada la

determinación de los pesos de la capa de salida, con la solución de un problema lineal, la cual también es de rápido cálculo.


Cada nodo de la capa de salida calcula una suma de pesos de las salidas de los nodos de la capa oculta.

En este tipo de redes es muy probable que se requiera una estructura con un mayor número de neuronas, que por ejemplo, la de backpropagation, pero tendremos una mayor velocidad en el entrenamiento.


Como especificar una red RBFN Para resolver problemas de Interpolación:

Unir puntos para lograr una función continua. Y Problemas de aproximación.

El numero de nodos en la capa de entrada es igual al numero de variables independientes, y el número de nodos en la capa de salida es igual al número de variables dependientes.


Propiedades de RBFN

Tienden a tener buenas propiedades de interpolación.

Pero no buenas propiedades de extrapolación.

Para extrapolación un perceptrón multicapas resulta mejor.


AprendizajeAprendizaje

de RBFNde RBFN


*** Diseño ***** Diseño **

de RBFNde RBFN


Se eligen los centros de la funciones de base radial. Ci donde i= 1, 2, ...,m1. m1 es el numero de RBF´s

Calculo de la salida de la función de base radial

Donde:

Ci son los centros de las RBF´s es el ancho de campo receptivo

2

2

21)( ij CP

i enf


Los parámetros de la segunda capa (lineal) se obtienen mediante:

Donde:TGW

TNtttT ,,, 21

TNwwwW ,,, 21


Donde: G es la Matriz de Green dada por:

121

122212

112111

,,,

,,,

,,,

mNNN

m

m

CpGCpGCpG

CpGCpGCpG

CpGCpGCpG

G


Los pesos en la segunda capa seran:

Donde: es la matriz pseudo inversa dada por:

TGW

TT GGGG1

G


La solución para W es:

Los parámetros de la segunda capa serán:

Donde:

TGGGW TT 1

TNwwwW ,,, 21

bwN


Ejemplos deEjemplos de

Diseño de RBFNDiseño de RBFN


Ejemplo 1: Solución de XOR

Usando una red de base radial RBFN resuelva el problema de la XOR. Los parámetros de la red son:

10

10

0

0

11

00

1

1

4433

2211

tPtP

tPtP

0

0

1

121 CC

12 2


Aplicaciones Aplicaciones

de RBFNde RBFN


APLICACIONES

Las redes RBF son frecuentemente utilizadas para resolver problemas de clasificación, aunque generalmente son para problemas de Mapeo y poseen capacidades de “aproximación universal”.


También utilizadas en:También utilizadas en:

Control.Aproximación de funciones Procesamiento del lenguaje. Visión y procesamiento de

imágenes. Reconocimiento de Patrones. Estadística.


También para:También para:

Reconocimiento de rostro Sensores de olor Clasificación de imágenes en color Predicción Aplicación en series de tiempo


Comparación entreComparación entre

RBF y MLP RBF y MLP


Las RBFN y Perceptron multicapa (MLP) son ejemplos de redes multicapa no lineales Feedforward.

Ambas son aproximadores universales.


Una red RBFN es capaz de resolver un mismo problema que un perceptron multicapa y viceversa.

Una RBFN en su forma básica tiene una sola capa oculta mientras que un MLP puede tener una o mas capas ocultas.


La capa oculta de una RBFN es no lineal , mientras que la capa de salida es lineal. Sin embargo la capa oculta y la capa de salida de un MLP son usualmente no lineales cuando se usa como clasificador de patrones. Cuando MLP se usa para regresión lineal la capa de salida es preferida lineal.


Los argumentos de la función de activación en cada unidad oculta de una RBFN calcula la Norma Euclidiana (distancia) entre el vector de entrada y el centro de esa unidad. Mientras que para el MLP calcula el producto punto del vector y el vector de pesos de cada unidad.


El MLP construye aproximaciones globales a un mapeo no lineal de entrada salida. Mientras que las RBFN usan funciones Gaussianas las cuales constituyen aproyimaciones locales a un mapeo no lineal entrada salida.


Simulación en

Matlab / NNT


Neurona con función de Neurona con función de Base RadialBase Radial


Función de Base Radial A= RADBAS(n) = exp(-n)2

SOLVERBE SOLVERBE crea una red de base radial la cual realiza un exacto mapeo de la entrada a la salidas con tantas neuronas en la capa oculta como vectores de entrada P


[W1,B1,W2,B2] = SOLVERBE(P,T,Z)[W1,B1,W2,B2] = SOLVERBE(P,T,Z)

P - matriz RxQ de Q vectores de entrada.

T - matriz SxQ de Q vectores objetivo. Z - ancho del campo receptivo (Spread)

de las funciones de base radial(default = 1).


Regresa: W1 - matriz de pesos S1xR para la capa

de base radial . B1 - vector de umbral S1x1 para la capa

de base radial. W2 - matriz de pesos S2xS1 para la

capa linear. B2 - vector de umbral S2x1 para la

capa linear.


SOLVERB SOLVERB crea una red de base radial de una

neurona a la vez; las neuronas son adicionadas a la red hasta que encuentra el error mínimo cuadrático o caen en nuestro margen de error o cuando se ha creado un numero máximo de neuronas.


[W1,B1,W2,B2,TE,TR] = [W1,B1,W2,B2,TE,TR] = SOLVERB(P,T,DP)SOLVERB(P,T,DP)

P - matriz RxQ de Q vectores de entrada. T - matriz SxQ de Q vectores objetivo. DP - Parámetros de diseño (opcional).


Regresa: W1 - matriz de pesos S1xR para la capa de

base radial. B1 - vector de umbral S1x1 para la capa de

base radial. W2 - matriz de pesos S2xS1 para la capa linear. B2 - S2x1 vector de umbral para la capa lineal. NR - El numero de neuronas de base radial

usadas. TR - récord de entrenamiento : [fila de errores]


EjemplosEjemplos

RBFNRBFN


%EJEMPLO: Aproximación de Funciones

clear;echo on;clc;NNTWARN OFF;clear;echo on;clc;NNTWARN OFF; % Diseña una RBFN para aproximar una función coseno

t=0:0.3:6;t=0:0.3:6; y= cos(t);y= cos(t); %conjunto de puntos de una funcion coseno

[w1,b1,w2,b2]=solverb(t,y)[w1,b1,w2,b2]=solverb(t,y) echo offecho off


%EJEMPLO: Solución de la OR-EXCLUSIVA

clear;echo on;clc;NNTWARN OFF; % RBFN soluciona OR-Exclusiva P = [0 0 1 1 ; 0 1 0 1]; T = [0 1 1 0 ]; disp_freq= 1; max_neuron= 1000; err_goal= 0.02; spread= 1.0;


dp=[ disp_freq max_neuron err_goal spread ]

[W1,b1,W2,b2,nr,dr]=solverb(P,T,dp)

[a1,a2]=simurb(P,W1,b1,W2,b2) pause % pulse una tecla para graficar.

plotpv(P,T); plotpc(W2,b2); echo off


Dudas ???Dudas ???


Hasta la próxima !!!Hasta la próxima !!!

redes neuronales base radial

Education