aprendizaje profundo - diapositivas
Post on 26-Feb-2018
223 Views
Preview:
TRANSCRIPT
-
7/25/2019 Aprendizaje Profundo - Diapositivas
1/27
Panorama General:
Aprendizaje ProfundoDr. Erik Zamora
-
7/25/2019 Aprendizaje Profundo - Diapositivas
2/27
Objetivo
Conocer los Principios Bsicos yel Estado del Arte sobre
el Aprendizaje Profund
-
7/25/2019 Aprendizaje Profundo - Diapositivas
3/27
Contenido
Motivacin
Qu es el aprendizaje profundo?
Ventajas
Por qu es tan importante?
Para qu sirve?
Mtodos
Pre-entrenamiento
RN convolucionales
RN Recurrentes
Visualizacin
Otros mtodos
Futuro
Libreras
Tarea
-
7/25/2019 Aprendizaje Profundo - Diapositivas
4/27
Motivacin: Cmo podemos construir sistemas computacionales ms inteligentes?
Necesitamos algoritmos que interpreten y entiendan el mundo:
PERCEPCION COMPUTACIONAL
Esto implica:
Reconocimiento de imgenes y sonido.
Reconocimiento de eventos y acciones en video.
Entendimiento del lenguaje natural (escrito, hablado y corporal).
Traduccin entre lenguajes (idiomas, matemticas, y otros). Prediccin del comportamiento del usuario.
Abstraccin de conceptos.
Habilidad para interactuar con ambientes no estructurados.
-
7/25/2019 Aprendizaje Profundo - Diapositivas
5/27
Motivacin: Cmo lo logramos?
Hay dos caminos directos:
Crear algoritmos particulares para cada tarea
Aprendizaje Profun Crear algoritmos generales que aprendan de las
observaciones en cada tarea
[NVIDIA Class 1]
-
7/25/2019 Aprendizaje Profundo - Diapositivas
6/27
Qu es el aprendizaje profundo?
Modelos Gaussianos Mezclados (GMM)
Campos Aleatorios Condicionales (CRF)
Modelos de Mxima Entropa (MaxEnt)
Maquinas de Soporte Vectorial (SVM)
Regresin Logstica
Regresin por Kernel
Redes Neuronales Monocapa
RN Multicapa de 2 capas
Maquinas de Aprendizaje Extremo
Aprendizaje poco profundo
Tienen una o dos capas de
transformaciones no lineales
Aprendizaje profundo
Dilema de Invarianza
Diseo Manual de RasgosTres o ms capas de
transformaciones no lineale
Descubrimiento Automtico de R
(aprendizaje de representaci
CNN Pre-Entrenamiento
-
7/25/2019 Aprendizaje Profundo - Diapositivas
7/27
Ventajas del Aprendizaje Profundo
Extraccin automtica de rasgos (Aprendizaje de Representacin)
Robustez
Escalable
Aprende Relaciones con mayor complejidad Descubre Estructuras con mayor complejidad
Algoritmo general
Tendencias Histricas del Aprendizaje Automtico
~1950 ~1980 2005~1990
Redes Monocapa Retropropagacion SVM Aprendizaje P
-
7/25/2019 Aprendizaje Profundo - Diapositivas
8/27
Por qu es tan importante?
-
7/25/2019 Aprendizaje Profundo - Diapositivas
9/27
Por qu es tan importante?
Ha roto records en:
Se explota econmicame
Hay inters por mejorar
Krizhevsky et al. 2012Hinton et al. 2012
[NVIDIA Class 1]
-
7/25/2019 Aprendizaje Profundo - Diapositivas
10/27
Para qu sirve el aprendizaje profundo?
Predecir cundo una mutacin en el ADN puede
generar empalmes errneos entre las secuencias de
genes al momento de producir protenas, descifrando
el origen gentico de algunas enfermedades
Xiog et al. 2014
Aprende
prueba y
Hacer que una computadora lea
documentos y pueda contestar
preguntas semiabiertas sobre el
texto
Reconocer el rostro de personas con una
efectividad ~97% en una base de datos
de 4 millones de imgenes para 4000
identidades
Hermann et al. 2015
Taigman et al. 2014
-
7/25/2019 Aprendizaje Profundo - Diapositivas
11/27
Para qu sirve el aprendizaje profundo?
Hacer que una computadora aprenda por si misma a jugar Ajedrez y en
72 horas alcanzar el nivel internacional de maestro
Lai 2015
Predecir la actividad de nuevas drogas (Sheridan et al. 2015)
Reconocer decaimientos del boson de Higgs en dos partculas tau con ruido de fondo (Kaggle)
Predecir la expresin de los genes a partir de rasgo genmicos y el contexto celular (Leung et al. 2014)
Construir el mapa circuital de una capa del cerebro de un ratn con 950 neuronas (Helmstaedter et al. 20
Entender el lenguaje natural usando computadoras: clasificacin por tema, anlisis de sentimientos, cont
preguntas (Bordes et al. 2014) y traduccin de idiomas (Jean et al. 2015)
Seleccionar los resultados ms relevantes de los buscadores web (Google, Bing, etc)
Recomendar productos en las pginas de comercio electrnico
Emparejar la oferta de algo con la persona que le interesa (Netflix, Facebook, etc)
Filtrar contenido en las redes sociales (Amazon)
-
7/25/2019 Aprendizaje Profundo - Diapositivas
12/27
Por qu I+D del aprendizaje profundo estn en auge?
[NVID
-
7/25/2019 Aprendizaje Profundo - Diapositivas
13/27
Mtodos de Aprendizaje Profundo
Pre-entrenamientoRN Convolucionales RN R
Visualizacin
Hinton et al. 2006, Science
Google
Zeigler & Fergus 2014
V
-
7/25/2019 Aprendizaje Profundo - Diapositivas
14/27
Mtodos: Autoencoders
-
7/25/2019 Aprendizaje Profundo - Diapositivas
15/27
Mtodos: Pre-entrenamiento
Hinton et al. 2006, Science
Deep Belief NetworksDeep Autoencoders
-
7/25/2019 Aprendizaje Profundo - Diapositivas
16/27
Mtodos: Autoencoders Hinton et al. 2006, Science
-
7/25/2019 Aprendizaje Profundo - Diapositivas
17/27
Mtodos: Redes Neuronales Convolucionales
Su alto desempeo se fundamenta en cuatro cosas:
1) el uso eficiente de GPUs (paralelizacin),
2) la funcin de activacin ReLUs,
3) el dropout y
4) tcnicas para generar ms ejemplos de entrenamiento
artificialmente.
-
7/25/2019 Aprendizaje Profundo - Diapositivas
18/27
Mtodos: Redes Neuronales Recurrentes
Prediccin del siguiente carcter
Descripcin automtica de imgenes
Diferencias respe
Estado interno
AproximadoreProgramas (vs
Vyngals et al. 2015
d d l
-
7/25/2019 Aprendizaje Profundo - Diapositivas
19/27
Mtodos: Redes Neuronales Recurrentes
Vyngals et al. 2015
Vyngals et al. 2015
M d R d N l R
-
7/25/2019 Aprendizaje Profundo - Diapositivas
20/27
Mtodos: Redes Neuronales Recurrentes
Redes de Gran Memoria de Corto Plazo(LSTM)
Maquina de Turing N
Redes de Memoria (MemN
Vyngals et al. 2015Weston et al. 2015
Aprendizaje+ Inferencia + Memor
Mt d Vi li i
-
7/25/2019 Aprendizaje Profundo - Diapositivas
21/27
Mtodos: Visualizacin
Redes Deconvolucionales(Zeiler & Fergus 2014)
Inversin por optimizacin.Trata de hallar una im
los mismos rasgos de la imagen original median
optimizacin, inicializando con una imagen llena d
(Mahendran & Vedaldi 2014, Yosinski et al. 2015).
cualquier tipo de rasgos (SIFT, HOG, etc).Google Inceptionism
Mt d t
-
7/25/2019 Aprendizaje Profundo - Diapositivas
22/27
Mtodos: otrosAprendizaje No Supervisado Profundo
LeCun et al. 2015
LeCun et al. 2015
Bengio et al. 2014
Autoencoder CNN para aprender rasgos de videos suponiendo
que el cambio de frame de frame es pequeo
Redes Estocsticas Generativ
Mtodos: otros A di j R f P f d
-
7/25/2019 Aprendizaje Profundo - Diapositivas
23/27
Mtodos: otros Aprendizaje por Refuerzo Profundo
Deep Q Network
100% Nivel Humano
Video http://ow.ly/TuiF8
Futuro del Aprendizaje Profundo [LeCun Bengio Hinton 2015]
http://ow.ly/TuiF8http://ow.ly/TuiF8http://ow.ly/TuiF8 -
7/25/2019 Aprendizaje Profundo - Diapositivas
24/27
Futuro del Aprendizaje Profundo
Aprendizaje no supervisado(Aun no han roto records en estos benchmarks)
Percepcin activa
[LeCun, Bengio, Hinton 2015]
LibrerasDeep Learning Libraries by Language
http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/ -
7/25/2019 Aprendizaje Profundo - Diapositivas
25/27
Libreras
Caffe (C++ con interfaces para Matlab y Python) Es la ms popular http://caffe.berkeleyvisio
Torch (C y Lua) usado por Facebook Research, Google Deepmind y Twitter http://torch.ch/do
Theano(Python) http://deeplearning.net/software/theano/
Deepleaning4j (Java) http://deeplearning4j.org/
cuDNN (Deep Neural Network library) https://developer.nvidia.com/cudnn
cuBLAS (Basic Linear Algebra Subroutines) https://developer.nvidia.com/cublas
Nvidia Class 1
Nvidia Class 1
http://www.teglor.com/b/deep-learning-libraries-language-cm569/
Tarea
http://caffe.berkeleyvision.org/http://torch.ch/docs/cvpr15.htmlhttp://deeplearning.net/software/theano/http://deeplearning4j.org/https://developer.nvidia.com/cudnnhttps://developer.nvidia.com/cublashttp://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/https://developer.nvidia.com/cublashttps://developer.nvidia.com/cudnnhttp://deeplearning4j.org/http://deeplearning4j.org/http://deeplearning.net/software/theano/http://torch.ch/docs/cvpr15.htmlhttp://caffe.berkeleyvision.org/ -
7/25/2019 Aprendizaje Profundo - Diapositivas
26/27
Tarea
Resumen
-
7/25/2019 Aprendizaje Profundo - Diapositivas
27/27
Resumen
Motivacin
Qu es el aprendizaje profundo?
Ventajas
Por qu es tan importante? Para qu sirve?
Mtodos
Pre-entrenamiento
RN convolucionales
RN Recurrentes
Visualizacin Otros mtodos
Futuro
Libreras
Tarea
top related