redes neuronales convolutivas - eva.fing.edu.uy · pdf fileredes neuronales convolutivas,...

REDES NEURONALES CONVOLUTIVAS

Seminario DLPLN 2016, InCo

CONVOLUCIÓN

Redes neuronales convolutivas, Seminario DLPLN 2016, InCo

Convolución

• Caso continuo:

• Propiedades:

• asociativa

• conmutativa

• distributiva frente a la suma

• ...

3


Convolución

4


Convolución

5

• Caso discreto:

• Con t=1:


Convolución

• Media móvil: sirve para calcular tendencias

6


Convolución

• Media móvil: sirve para calcular tendencias

7


Convolución

8

1

1 1-4

1 1

-2 -1-1 1 1

1 2

CONVOLUCIÓN+

REDES=


CNN: Reconocimiento de dígitos

• 12 ejemplos de16x13 bits de cada dígito, dibujados con un ratón. Cada ejemplo se coloca en 4 posiciones horizontales: 480 casos de 16x16.

• Conjunto de entrenamiento: 32 ejemplos aleatorios de cada dígito

• Pruebas con 5 redes distintas, todas con entrenamiento on-line

Elements of Statical Learning, Hastie et al. (01) Generalization and Network Design Strategies, Le Cun (89)

10


Net-1 y Net-2

1112 ocultas, 3214 links

16x16 12 10

3084 links 130 links


16x1610

• Net-1:

• 10 unidades sigmoides de salida

• completamente conectada.

• ajusta muy rápido (7-5 épocas)

• 70%-80% en test

• superposición ponderada de entradas

• Net-2:

• +12 unidades (¿sigmoides?) ocultas

• completamente conectada

• ajusta muy rápido (6 épocas)

• 87% test

• sobreparametrizada


Net-3

12

16x16

8x84x4

10

640 links 416 links 170 links


• 2 capas ocultas, H1 de 8x8 y H2 de 4x4.

• H1 y H2 con conexión local: subsampleo de la entrada

• capa de salida completamente conectada

• 88,5% test


Net-4

13

d

16x168x8

4x4

10

1280 links146 pesos

816 links816 pesos 170 links

170 pesos

144 ocultas, 2266 links, 1132 pesos

8x8

• H1 de 8x8x2 y H2 de 4x4.

• H1 y H2 con conexión local

• En cada mapa de H1 se comparten los pesos (¡convolución!)

• 94% test


Net-5

14

192 ocultas, 5194 links, 1060 pesos

16x16 8x8

4x4

10

1280 links146 pesos

3264 links264 pesos

650 links650 pesos

• H1 de 8x8x2, H2 de 4x4x4.

• H1 y H2 convoluciones

• 98,4% test (con picos de 100%)


Resultados

15

links pesos performance

Net-1 2570 2570 80,0%

Net-2 3240 3240 87,0%

Net-3 1226 1226 88,5%

Net-4 2266 1132 94,0%

Net-5 5194 1060 98,4% %


LeNet-5

16

Gradient-based learning applied to document recognition, Le Cun et al. (98)

Neuronas Links Pesos

C1 4704 122304 156S2 1176 5880 12

C3 1600 151600 1516

S4 400 2000 32

C5 120 48120 48120

F6 84 10164 10164


LeNet-5

17


Características

• Grandes cantidades de neuronas pero pocas conexiones que disminuyen el sobreajuste debido a la sobreparametrización.

• Distintos tipos de capas:• convolutiva (feature map): las neuronas están conectadas

localmente y comparten pesos; extraen características locales y son invariantes respecto al espacio.

• subsampleo/agrupación (pooling): condensan salidas de capas anteriores, aplicando subsampleo y alguna función de reducción (máximo, k-máximo, media, etc.); reducen el espacio.

• completamente conectadas: al estilo clásico, normalmente son la última capa.

18


Características

• Se puede entrenar con backpropagation con alguna pequeña modificación.

• A tener en cuenta:• cantidad de capas convolución / subsampleo

• tamaño de los filtros y separación entre zonas de recepción (stride)• función de agrupamiento

• Hay conocimiento del dominio detrás de estas elecciones.

19

¿PROFUNDO?


Who put the D in Deep?

21

ImageNet Classification with Deep Convolutional Neural Networks, Krizhevsky et al. (12)



22

GoogLeNet, Szegedy et al. (14)



23

Deep Residual Learning for Image Recognition, He et al. (15)


ImageNet Challenge

• 1,2 millones de imágenes en 1000 categorías.

24

ImageNet Large Scale Visual Recognition Challenge, Russakovsky et al (15)

¿PLN CONVOLUCIONA?


CNLP

• Convolución, sí. Profunda, no.

26

Convolutional Neural Networks for Sentence Classification, Yoon Kim (14)


CNLP

27

Convolutional Neural Networks for Sentence Classification, Yoon Kim (14)


CNLP

28

A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification, Zhang & Wallace (16)


CNLP

29

• ¿Existe el mejor conjunto de vectores?

• ¿Tamaño de los filtros?

• ¿Cantidad de mapas de características?

• ¿Función de agrupamiento?

• ¿Regularización?

• ¿Con cuáles parámetros quedarse?

A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification, Zhang & Wallace (16)


CNLP

31

Natural Language Processing (Almost) from Scratch, Collobert et al. (11)

GRACIAS(PROFUNDAS)

redes neuronales convolutivas - eva.fing.edu.uy · pdf fileredes neuronales convolutivas,...

Documents