deep learning y sus efectos alucinógenos

Deep learning y sus efectos alucinógenosLuz Frías

@databeersUniversidad Europea de Madrid

2016-11-16

¡Hola!

0.7 developer + 0.3 data scientist

Freelance

@koldLight

https://github.com/koldLight

https://linkedin.com/in/luzfrias

¿A qué nos suena el Deep Learning?

- A fórmulas matemáticas interminables- A la élite de Google- A superservidores entrenando redes

Qué es el Deep Learning

- Dejamos a la máquina solucionar el problema- ¡Lo contrario de la programación clásica!- Más capas ocultas que en las redes neuronales clásicas

Tensorflow playground

- Ayuda a entender los conceptos que intervienen en el deep learning de forma visual

- Un framework (simplificado) ejecutándose en tu navegador- Permite jugar con:

- # capas- # neuronas por capa- Features- Otros parámetros: learning rate, función de activación, ...

Tensorflow playground: un ejemplo simple

Tensorflow playground: ¡más madera!

- Más neuronas: más features

- Más capas: estructuras más complejas

Topologías de redes

Frameworks

Ostagram

- Un instagram de mezcla de imágenes- Usan Deep Learning: jcjohnson/neural-style (GitHub)- Representaciones neuronales para separar y recombinar

contenido y estilo de dos imágenes cualquiera

Ostagram - Redes convolucionales

- Es una topología concreta de red- Capas que procesan jerárquicamente las features de las

imágenes- El contenido: el detalle exacto del píxel se va perdiendo a

medida que se avanza en las capas, pero se mantiene la representación del objeto

- El estilo: se calcula como la correlación entre diferentes capas

Sunspring

- Es un corto de ciencia ficción- Los diálogos y las escenas han

sido creados por Benjamin, un algoritmo de IA

- Fue entrenado con docenas de guiones de películas de ciencia ficción

Sunspring - LSTM

- Un tipo de red neuronal recurrente- Simulan tener memoria, creando bucles entre las neuronas- Implementación para gestionar mejor el largo plazo- Populares para:

- Predicción en series temporales- Reconocimiento de voz (extracción del discurso)

Sunspring - Grandes momentos

“En un futuro con desempleo masivo, los jóvenes son forzados a vender sangre”Él está en las estrellas y sentado en el suelo. Ve un agujero negro delante del hombre en el tejado.

Manos a la obra

- Probemos a entrenar un LSTM con calles de Madrid y pueblos de España, con Torch + Lua. Algunos resultados:

Calles de Madrid- Avenida del Cambronador- Calle de Gutías Idobar- Pasaje de Cacarón- Puerto Cuartel del Herrado

del Pico Calveño

Pueblos de España- Herruela de Valveries- Barros de Torresa- Cojora de l'Ebar- Plajoriello (La)

Conclusiones

Pros

- Superiores a otras técnicas en cierto tipo de problemas complejos

- Menor importancia del feature engineering

Cons

- Muy “caja negra”- Computacionalmente muy

costosos- Necesitan gran cantidad de

datos de entrenamiento

¡Gracias!