gpv ula grupo de procesamiento de voz de la ula, 2004 objetivo mostrar qué cosas se pueden hacer...

GPV

ULA

Grupo de Procesamiento de Voz de la ULA, 2004

Objetivo

Mostrar qué cosas se pueden hacer con las ANN.

Mostrar que diferentes tipos de redes se pueden usar para resolver un problema dado.

Ejemplo de aplicación de las ANN

Veremos tres tipos de redes: de conexión hacia adelante (representadas por el perceptrón), redes competitivas (representadas por la red Hamming) y las redes de memorias asociativas recurrentes (representadas por la red Hopfield).

GPV

ULA


El sensor de forma sacará un 1 si la fruta es aproximadamente redonda, un –1 si es más elíptica. El sensor de la textura sacará 1 si la superficie es suave y –1 si es rugosa. El sensor de peso sacará 1 si la fruta pesa más de 1 Kg y –1 si es menor.


Problema: Una persona tiene un galpón donde almacena frutas. Las frutas se almacenan en forma desordenada. Se desea una máquina que ordene las frutas de acuerdo a su tipo. Hay una correa transportadora a través de la cual se transportan las frutas. Esta cinta pasa por una serie de sensores que miden tres propiedades de las frutas: forma, textura y peso.

GPV

ULA


Para simplificar el problema, supongamos que solo hay manzanas y naranjas.Cada fruta pasa a través de los tres sensores, por lo que las representaremos por un vector tridimensional. El primer elemento representa la forma, el segundo la textura y el tercero el peso.

Las salidas de los sensores constituyen las entradas a la red neural.

El propósito de la red es decidir qué clase de fruta está sobre la correa transportadora, para dirigirla a su lugar de almacenamiento correcto.


GPV

ULA


FormaP = Textura Peso

Un prototipo de naranja sería:

Un prototipo de manzana sería:

1

-1

-1

P1 =

P2 =

1

1

-1

La red neural recibirá un vector de entrada por cada fruta y deberá decidir si la fruta es una naranja (P1) o una manzana (P2).

Se trata de un problema de reconocimiento de patrones.


GPV

ULA


Una neurona perceptrónica de dos entradas.

W

b

+an

p

1

1x2

1x1

1x1

1

1x1

2x1

Una neurona perceptrónica puede clasificar vectores de entradas en dos categorías. Ejemplo: sea W= [-1 1] y a = hardlims(n) = hardlims([-1 1]P + b)

Red de perceptrones

GPV

ULA


Si el producto interno de la matriz de pesos con el vector de entrada P es mayor o igual a –b, la salida será 1 de lo contrario será –1.

Se divide el espacio de entradas en dos partes.

p1

p2

1

-1

n < 0

n≥ 0 W

Red de perceptrones

Cuando b=-1,

n = [-1 1]P-1

-p1+p2-1 = 0

En la gráfica, la línea azul representa todos los puntos para los cuales la entrada de red n es igual a 0.

GPV

ULA


La propiedad clave de una neurona perceptrónica, es que puede separar los vectores de entrada en dos categorías.

Red de perceptrones

n es la frontera de decisión, siempre ortogonal a la matriz de pesos.La frontera de decisión se puede desplazar cambiando b.

En general W es una matriz que consiste de vectores filas, con una frontera de decisión para cada fila.

En este caso, tenemos una región con vectores de entrada que producen una salida 1 en la red y otra región con vectores de entrada que producen un –1.

GPV

ULA


La frontera de decisión entre las categorías está determinada por la ecuación Wp+b=0.

Como la frontera es lineal, un perceptrón solo puede reconocer patrones que sean linealmente separables.

Red de perceptrones

GPV

ULA


Reconocimiento de patrones de las frutas

Como hay dos categorías, se puede usar una neurona perceptrónica.

R=3, es decir, los vectores de entrada son tridimensionales.

La ecuación del perceptrón será:

a hardlims w1 1 w1 2 w1 3

p1

p2

p3

b+

=

GPV

ULA


Hay que encontrar una frontera lineal que pueda separar la ocurrencia de los vectores representativos de las naranjas y de las manzanas.


Debemos escoger el sesgo y los elementos de la matriz de pesos para que el perceptrón sea capaz de distinguir entre manzanas y naranjas.

Podemos establecer que la salida sea 1 cuando una manzana es la entrada y –1 cuando se trata de una naranja.

GPV

ULA


También podemos describir la frontera de decisión como P2=0 ó como :

P2

P3

P1 p2 (manzana)p1 (naranja)

p1

p3 [0 1 0] p2 + 0 = 0

Los dos vectores prototipos se muestran en la figura.

La frontera lineal que divide a esos dos vectores simétricamente, es el plano P1,P3.

GPV

ULA


Puesto que la matriz de pesos es ortogonal a la frontera de decisión. La frontera de decisión pasa por el origen y no tiene componente en P2.

La frontera lineal que divide a esos dos vectores simétricamente, es el plano P1,P3.


GPV

ULA


Resolviendo con p1 y p2 prototipos tenemos:

1

-1

[0 1 0] -1 + 0 = n = -1 < 0 luego a = -1 -1

1

[0 1 0] 1 + 0 = n = 1 > 0 luego a = 1

La región que contiene al patrón p2 (manzanas) producirá un 1, es decir, la salida del perceptrón para los vectores de esa región será 1 y –1 para la región que contiene los vectores que representan las naranjas.


GPV

ULA


¿Qué sucede si ponemos en el clasificador una naranja no tan perfecta?. Digamos una naranja con una forma elíptica.

El vector de entrada sería:

P = - 1 -1

-1


GPV

ULA


Este tipo de red contiene capas de conexión hacia adelante y recurrentes (de retroalimentación).

+ D

p

1

Sx1

Rx1

Sx1

SxS

Sx1 Sx1 Sx1

SS

W1

W2

b1

+

SxR n1

a1 )1(

2 tn )1(2 ta )(

2ta

REDES HAMMING

La red Hamming fue diseñada explícitamente para resolver problemas de reconocimiento de patrones binarios, (en el ejemplo, 1 y –1).

La red Hamming estandar:

GPV

ULA


El número de neuronas en la segunda capa es el mismo que el de la primera capa.

Capa Recurrente

Hay una neurona en la capa recurrente para cada patrón prototipo. Cuando la capa recurrente converge habrá una sóla neurona con salida no cero. Esta neurona indica el patrón prototipo que está más cercano al vector de entrada.

REDES HAMMING

La red Hamming decide cual vector prototipo es más parecido al vector de entrada.

GPV

ULA


Para el ejemplo de las manzanas y naranjas:

1 -1 -1 = = 1 1 -1

pT

1

W1

pT

2

REDES HAMMING

Capa hacia delante:

Esta capa realiza una correlación o producto interno entre cada patrón prototipo y el patrón de entrada. En esta operación, las filas de la matriz de pesos están formadas por los patrones prototipos.

GPV

ULA


Esta capa usa una función de transferencia lineal y cada elemento del vector de sesgo es igual a R, donde R es el número de elementos en el vector de entrada.

3 = 3

b1

Con esos pesos y esos sesgos, la salida de la capa es:

3 p + 3 = p + = p + = 3 p + 3

pT

1pT

1a1

W1

b1

pT

2 pT

2

El vector de sesgo de nuestro ejemplo:

REDES HAMMING

GPV

ULA


Para dos vectores de igual longitud (norma), su producto interno será mayor cuando los vectores apuntan a la misma dirección y más pequeño cuando apuntan en dirección opuesta.

REDES HAMMING

Al agregar R al producto interno se garantiza que las salidas de la capa no sean negativas (se requiere para la operación adecuada de la capa recurrente).

Las salidas de la capa de conexión hacia delante son el producto interno de cada vector prototipo con el vector de entrada, más R.

GPV

ULA


La distancia Hamming entre dos vectores es igual al número de elementos que son diferentes (definida para vectores binarios).

REDES HAMMING

La red se llama Hamming debido a que la neurona con la mayor salida, en esta capa, corresponderá al patrón prototipo más cercano en distancia Hamming al patrón de entrada.

GPV

ULA


La ganadora indica cual categoría fue presentada como entrada (categoría de manzanas o naranjas).

Capa recurrente

Esta capa es conocida como una capa “competitiva”.

Las neuronas de esta capa se inicializan con las salidas de la capa de conexión hacia delante, las cuales indican la correlación entre los patrones prototipos y el vector de entrada.

Las neuronas compiten con las otras para determinar una ganadora. Después de la competencia, solo una neurona tiene salida distinta de cero.

REDES HAMMING

GPV

ULA


Las ecuaciones que describen la competencia:

a2 (0) = a1 (condición inicial) y a2(t+1) = poslin(W2a2(t))

W2 1 –

– 1= 1

S 1–------------

REDES HAMMING

W2 es de la forma:

La función de transferencia poslin es lineal para valores positivos y cero para los negativos.

GPV

ULA


S es el número de neuronas en la capa recurrente. Una iteración de la red recurrente será:

a2 t 1+ posl in 1 –

– 1a2 t

posl ina1

2t a 2

2t –

a22

t a 12

t –

= =

Cada elemento se reduce en la misma fracción del otro. El mayor elemento será reducido menos y el menor será reducido más, por lo tanto la diferencia entre el grande y el pequeño se incrementa.

REDES HAMMING

GPV

ULA


La respuesta de la red sería : a = hardlims [0 1 0] -1 + 0 = -1 (Naranja) -1

-1

REDES HAMMING

Se ha diseñado gráficamente una red, al escoger una frontera de decisión que separa claramente los patrones.

Cualquier vector que sea mas cercano al vector prototipo de naranja que al vector prototipo de manzana, en el sentido de la distancia euclidiana, será clasificado como una naranja y viceversa.

GPV

ULA


¿Qué pasa si tenemos categorías que no pueden ser separadas por regiones lineales?

REDES HAMMING

¿Qué pasará con los problemas donde hay espacios de entrada multidimensionales?.La característica clave de un perceptrón es que crea fronteras de decisión lineales para separar categorías de vectores de entrada.

El efecto de la capa recurrente es poner cero en las salidas de sus neuronas a excepción de aquella con el valor inicial más grande (la cual corresponde al patrón prototipo que está más cerca en distancia Hamming a la entrada).

GPV

ULA


Para ilustrar la red Hamming, consideremos la naranja alargada:

p1–1–

1–

=

La salida de la capa de conexión hacia adelante:

= -1 + = = 1 1 -1 -1 3 (-1+3) 2

1 –1 –1 -1 3 (1+3) 4

a1

Esta es la condición inicial para la capa recurrente.

REDES HAMMING

GPV

ULA


Con є < ½ (cualquier número menor que 1 trabajaría) la primera iteración de la capa recurrente produce:

a2 1 p osl in W2a2 0

posl in 1 0.5–0.5– 1

42

poslin 3

0 3

0=

= =

la segunda iteración produce:

a2 2 p osl in W2a2 1

posl in 1 0.5–0.5– 1

30

posl in 3

1.5– 3

0=

= =

REDES HAMMING

GPV

ULA


El patrón prototipo número 1 es seleccionado como la fruta correcta, la naranja dado que la neurona número 1 tiene la única salida no cero.

Las iteraciones sucesivas producen las mismas salidas, es decir la red converge.

REDES HAMMING

Esta es la selección correcta, dado que la distancia Hamming del prototipo naranja al patrón de entrada es 1, y la distancia Hamming del prototipo manzana al patrón de entrada es 2.

GPV

ULA


Hay un tipo de redes cuya operación está basada en el principio de la red Hamming, es decir, realizan una operación de producto interno seguido por una capa dinámica competitiva.

REDES HAMMING

Esas son las redes auto-organizantes, las cuales aprenden a ajustar sus vectores prototipos a partir de las entradas que le son presentadas.

GPV

ULA


Esta es una red recurrente similar en algunos aspectos a la capa recurrente de la red Hamming, pero que realiza las operaciones de las dos capas de esa red.

+ D

p

1

SxS

Sx1

Sx1 Sx1 Sx1

S

)1( tn )1( ta)(ta

W

b

Sx1

REDES HOPFIELD

GPV

ULA


Las ecuaciones que describen la operación:

a(0) = p (condición inicial)

a(t+1) = satlins(Wa(t)+b)

Si la red opera correctamente, la salida es uno de los vectores prototipos (en la red Hamming la neurona con salida no cero indica el patrón prototipo escogido).

Las neuronas en esta red se inicializan con el vector de entrada.

REDES HOPFIELD

Se itera hasta que la salida converge.

GPV

ULA


El problema de reconocimiento de naranjas y manzanas

0.2 0 0 0.9W = 0 1.2 0 b = 0 0 0 0.2 -0.9

REDES HOPFIELD

La Hopfield produce el prototipo seleccionado como su salida.

La función de transferencia es líneal en el rango [-1, 1] y se satura en 1 para entradas > 1 y en –1 para entradas <-1.

Supongamos,

GPV

ULA


Sin importar el patrón de entrada, queremos que el primer elemento del patrón de salida converja a 1, el tercer elemento converja a –1, y el segundo elemento sea 1 ó –1, lo que esté más cercano al segundo elemento del vector de entrada.

REDES HOPFIELD

Se desea que la salida de la red converja al patrón naranja p1 o al patrón manzana p2.En los dos patrones, el primer elemento es 1 y el tercer elemento es –1.

Las diferencias entre los patrones ocurre en el segundo elemento.

GPV

ULA


REDES HOPFIELD

Ecuaciones de operación de la red Hopfield:

a1(t+1) = satlins(0.2a1(t) + 0.9)

a2 (t+1) = satlins(1.2a2(t))

a3(t+1) = satlins(0.2a3(t) - 0.9)

Independientemente de los valores iniciales, ai(0), el primer

elemento se incrementará hasta saturarse en 1, y el tercer elemento se decrementará hasta saturarse en –1.

GPV

ULA


El segundo elemento se multiplica por un número mayor que 1. Por lo tanto si es inicialmente negativo, eventualmente se saturará a –1, y si es inicialmente positivo se saturará a 1.

REDES HOPFIELD

GPV

ULA


Trabajando con la naranja ovalada.

a(3) = -1 -1

- 1a(0) = - 1 - 1

a(1) = - 1 - 1

0.7

1a(2) = - 1

- 1

1

REDES HOPFIELD

Las salidas para las tres primeras iteraciones:

GPV

ULA


La red converge al patrón naranja como lo hicieron las redes perceptrónica y la Hamming.

REDES HOPFIELD

GPV

ULA


La red perceptrónica tiene una única salida, que toma valores

–1 (naranja) o 1 (manzana).

En la red Hamming, la neurona cuya salida es no cero indica el patrón prototipo más cercano al vector de entrada. Si la primera neurona tiene salida no cero, se tiene una naranja, y si la segunda neurona tiene salida no cero, se tiene una manzana.

RESUMEN

En la Hopfield, el patrón prototipo aparece en la salida de la red.

Las redes recurrentes pueden oscilar y tener comportamiento caótico.

GPV

ULA


Las redes de conexión hacia adelante se utilizan para reconocimiento de patrones y para aproximación de funciones. Las aplicaciones de aproximación de funciones están en las áreas de filtraje adaptativo y control automático.

RESUMEN

El perceptrón es un ejemplo de las redes de conexión hacia adelante. En esas redes la salida se calcula directamente de la entrada, es decir, no hay realimentación.

GPV

ULA


Las redes competitivas representadas por las Hamming tienen dos propiedades: Calculan una medida de distancia entre los patrones prototipos almacenados y el patrón de entrada. Luego realizan una competencia para determinar cual neurona representa el prototipo más cercano a la entrada.

RESUMEN

En las redes competitivas, los patrones prototipos se ajustan en la medida que se aplican nuevas entradas a la red. Esas redes adaptativas aprenden a agrupar las entradas en diferentes categorías.

GPV

ULA


Las redes recurrentes como la de Hopfield fueron inspiradas originalmente por mecanismos estadísticos. Se han usado como memorias asociativas, en las cuales los prototipos almacenados se recuperan por asociación con los datos de entrada.

RESUMEN

gpv ula grupo de procesamiento de voz de la ula, 2004 objetivo mostrar qué cosas se pueden hacer...

Documents