-introducción -el perceptrón y la estructura multicapa mlp...

1

CVG-UPMC

OM

PU

TE

R V

ISIO

N

Neural Networks and Pattern RecognitionP. CampoyP. Campoy

índice

RN Supervisadas

- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: BP- Aplicaciones y ejemplos- Características y limitaciones

2

CVG-UPM

CO

MP

UT

ER

VIS

ION


Red Neuronal Artificial

“Red de unidades simples , adaptativas einterconectadas entre sí, con capacidad deprocesamiento en paralelo, cuyo objetivo esinteractuar con su entorno de forma similara las redes neuronales naturales”

y = σ ( ∑ xi wi - wn+1)

x1

.

.

.

xn

∑w1

wn

y

Wn+1

.

...

y1

yK

.

.

.

yk

.

.

.

x1

xI

xi

.

..

zjwji wkj

3

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Funcionamiento del Perceptrón

espacio de características

w x

y = σ ( ∑ xi wi - w0) = σ(a)

x1

.

.

.

xn

∑w1

wn

y

W0

4

CVG-UPM

CO

MP

UT

ER

VIS

ION


El perceptrón ante fronterasinterclase no lineales

función XOR

cara

cter

ístic

a 1

característica 2

5

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Perceptrón Multicapa (MLP)y

z3

z2

z1

y

cara

cter

ístic

a 1

característica 2

x1

x2

z1

z2

z3

6

CVG-UPM

CO

MP

UT

ER

VIS

ION


Consideraciones matemáticassobre el MLP

Un MLP de dos capas puede representarcualquier función lógica con frontera convexa.

Un MLP de tres capas puede representarcualquier función lógica con frontera arbitraria.

Un MLP de dos capas puede aproximarcualquier función continua con una precisiónarbitraria.

7

CVG-UPMC

OM

PU

TE

R V

ISIO

N


índice

RN Supervisadas

- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: algoritmo BP- Aplicaciones y ejemplos- Características y limitaciones

8

CVG-UPM

CO

MP

UT

ER

VIS

ION


Metodología:Niveles de aprendizaje

Determinación de laestructura interna

(manual/automático)

Elección del modelo(manual)

modeloAjuste de parámetros(automático)

mue

stra

s e

ntre

nam

ient

o

9

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Esquema de funcionamiento:aprendizaje supervisado

área

long

itud

Espacio de características

?

Concepto aprendizaje supervisadoEstructura de

funcionamiento supervisado

y1..ym

.

.xn

x1

yd1

ydm

+ -..

Generalización de funciones de Rn ⇒ Rm

10

CVG-UPM

CO

MP

UT

ER

VIS

ION


Aprendizaje:Algoritmo de Retro-propagación

E = 1/2 ∑ ( ykn - ydk

n )2 = 1/2 ∑ ( y(wkj, wji, xi)n - ydkn )2

k k

.

...

y1

yK

.

.

.

yk

.

.

.

x1

xI

xi

.

..

zjwji wkj

= (yk - ydk )zj∂E∂ wkj

11

CVG-UPMC

OM

PU

TE

R V

ISIO

N


índice

RN Supervisadas

- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: algoritmo BP- Aplicaciones y ejemplos- Características y Limitaciones

12

CVG-UPM

CO

MP

UT

ER

VIS

ION


Ejemplos MLP:Generalizador de Funciones

13

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Ejemplos MLP:Generalizador de Funciones

% datos de entrenamiento xe=linspace(0,2*pi,50); for i=1:numap yd(i)=sin(xe(i))+normrnd(0,0.1); end% datos de test numtest=500; xt=linspace(0,2*pi,numtest); yt=sin(xt);

%creacion MLP net = newff(minmax(xe),[10 1],{'tansig' 'purelin'},'trainlm');% entrenamiento MLP [net,tr]=train(net,xe,yd);%respuesta anst=sim(net,xt); errortest=mse(yt-anst)

14

CVG-UPM

CO

MP

UT

ER

VIS

ION


Ejercicio de MLP comoGeneralizador de FuncionesTeniendo como datos de aprendizaje:

yd(i)=sin(xe(i))+normrnd(0,0.1);

Estudiar la influencia sobre el resultado (gráfico ycuantificación de los errores de test y de aprendizaje)de los siguientes factores:

1. número de muestras de aprendizaje2. orden de las muestras de aprendizaje3. número de neuronas utilizadas4. número de épocas de aprendizaje

15

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Otros ejemplos MLP:

Generalizador de funciones:- Ej.:

Estudiar esta generalización en función delnúmero de neuronas y del número demuestras!

y1

= 2x1x2

+ x3

2

y2

= x2

2x3

16

CVG-UPM

CO

MP

UT

ER

VIS

ION


MLP como clasificador

- La función de salida es un discriminante binario:

p.valor t.valor

load datos2D_clasificadosen2.mat

17

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Ejercicio de MLP como clasificador

Teniendo como datos de aprendizaje del ejemplo anterior

Estudiar la influencia sobre el resultado (gráfico ycuantificación de los errores de test y de aprendizaje) delos siguientes factores:

1. número de muestras de aprendizaje2. orden de las muestras de aprendizaje3. número de neuronas utilizadas4. número de épocas de aprendizaje

18

CVG-UPM

CO

MP

UT

ER

VIS

ION


.

...

.

.

.

x1

xd

xi

.

.zj

wji wkj

x1

xd

xi...

.

.

. .zj

wkj

MLP para reducción dimensionalno lineal: auto-encoder

La función de salida es la propia entrada yexiste una capa intermedia con menosneuronas que la dim(x)

19

CVG-UPMC

OM

PU

TE

R V

ISIO

N


Ejemplo MLP para compresión

original PCA 5 PCA 25 - MLP 5

20

CVG-UPM

CO

MP

UT

ER

VIS

ION


Ejemplo MLP para síntesis

1 D (prueba 1) 1 D (prueba 2) 1 D (prueba 3)escalonado

21

CVG-UPMC

OM

PU

TE

R V

ISIO

N


codigo Matlab del autoencoder

% Procesamiento con una MLP para compresioón (salida=entrada)net=newff(minmax(p_entr),[floor((Dim+ndimred)/2),ndimred,floor((Di

m+ndimred)/2),Dim],{'tansig' 'purelin' 'tansig' 'purelin'},'trainlm');

[net,tr]=train(net,p_entr,p_entr);

% Creación de una red mitad de la anterior que comprime los datosnetcompr=newff(minmax(p_entr),[floor((Dim+ndimred)/2),

ndimred],{'tansig' 'purelin'},'trainlm');netcompr.IW{1}=net.IW{1}; netcompr.LW{2,1}=net.LW{2,1};netcompr.b{1}=net.b{1}; netcompr.b{2}=net.b{2};

%creación de una red que descomprime los datosnetdescompr=newff(minmax(p_compr),[floor((Dim+ndimred)/2),Dim],{'t

ansig' 'purelin'}, 'trainlm');netdescompr.IW{1}=net.LW{3,2}; netdescompr.LW{2,1}=net.LW{4,3};netdescompr.b{1}=net.b{3}; netdescompr.b{2}=net.b{4};

22

CVG-UPM

CO

MP

UT

ER

VIS

ION


Otros ejemplos MLP:

Reductor de dimensionalidad:- Ej.:

!

x4

= 2x1x2

+ x3

2

x5

= x2

2x3

23

CVG-UPMC

OM

PU

TE

R V

ISIO

N


índice

RN Supervisadas

- Introducción- El Perceptrón y la estructura multicapa MLP- El aprendizaje retropropagado: BP- Aplicaciones- Carácterísticas y limitaciones

24

CVG-UPM

CO

MP

UT

ER

VIS

ION


Limitaciones delPerceptrón Multicapa

Aprendizaje mediante minimización de funcionesaltamente no lineales.- minimos locales- convergencia lenta

Sobreaprendizaje Extrapolación a zonas no aprendidas

x1

x2nº de neuronas

error de test

-introducción -el perceptrón y la estructura multicapa mlp...

Documents