APRENDIZAJE PROFUNDOPARA VISIÓN ARTIFICIAL

Gastón García, José Lezama, Pablo Musé, Javier Preciozzi

Instituto de Ingeniería Eléctrica

Facultad de IngenieríaUniversidad de la República

2020

Agenda · Clase 4

1 Modelos Lineales, Generalización

2 Redes Neuronales

3 Neuronas Artificiales

4 Teorema Aproximación Universal

5 Desafíos en Aprendizaje Profundo

2 / 38

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• a w ∈ Rd se lo conoce como vector de pesos (“weights”)

w : vector normal a la frontera de clasificación

• a b ∈ R se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training set(a diferencia del clasificador K-nn)

• Generalización a clasificación multiclase: (wi,bi), para i = 1, ..., c(conjunto de pesos por clase)

3 / 38

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• a w ∈ Rd se lo conoce como vector de pesos (“weights”)

w : vector normal a la frontera de clasificación

• a b ∈ R se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training set(a diferencia del clasificador K-nn)

• Generalización a clasificación multiclase: (wi,bi), para i = 1, ..., c(conjunto de pesos por clase)

3 / 38

Clasificadores Lineales

Un clasificador lineal tiene la forma:

f(x) = wTx+ b

• a w ∈ Rd se lo conoce como vector de pesos (“weights”)

w : vector normal a la frontera de clasificación

• a b ∈ R se le llama “bias” (de-centrado, sesgo)

• Un clasificador lineal no necesita memorizar el training set(a diferencia del clasificador K-nn)

• Generalización a clasificación multiclase: (wi,bi), para i = 1, ..., c(conjunto de pesos por clase)

3 / 38

Clasificadores Lineales• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Logistic regression (softmax)

Li = − log

(esyi∑j e

sj

)

• En general: datos no son linealmente separables...

4 / 38

Clasificadores Lineales• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Logistic regression (softmax)

Li = − log

(esyi∑j e

sj

)

• En ambos casos, hay que minimizar L(W) (+ regularización)

L(W) =

n∑i=1

Li(W) + λR(W)

• En general: datos no son linealmente separables...

4 / 38

Clasificadores Lineales• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Logistic regression (softmax)

Li = − log

(esyi∑j e

sj

)

• En ambos casos, hay que minimizar L(W) (+ regularización)

L(W) =

n∑i=1

Li(W) + λR(W)

• Descenso por gradiente:

∇WL(W) =

n∑i=1

∇WLi(xi, yi;W) + λ∇WR(W).

• En general: datos no son linealmente separables...

4 / 38

Clasificadores Lineales• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Logistic regression (softmax)

Li = − log

(esyi∑j e

sj

)

• En ambos casos, hay que minimizar L(W) (+ regularización)

L(W) =

n∑i=1

Li(W) + λR(W)

• Descenso por gradiente estocástico, nmb � n:

∇WL(W) ≈nmb∑i=1

∇WLi(xi, yi;W) + λ∇WR(W).

• En general: datos no son linealmente separables...

4 / 38

Clasificadores Lineales• Dado un dataset (xi, yi), i = 1, . . . ,n, con yi ∈ {1, . . . , c}• Supongamos que tenemos puntajes de la forma: s = Wx

• Vimos dos maneras de definir una función de ajuste (loss):

SVM (hinge)

Li =∑j 6=yi

max(0, sj − syi + 1)

Logistic regression (softmax)

Li = − log

(esyi∑j e

sj

)

• En general: datos no son linealmente separables...

4 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables

• ¿Cómo encontramos Φ(x) que transforme los datos a unespacio donde sean fácilmente separables?

f(x) = wTx+ b

1 Usar Φ(x) muy genérica que lleve los datos a un espacio de muy alta

dimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos (test).

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

f(x) = wTΦ(x) + b

1 Usar Φ(x) muy genérica que lleve los datos a un espacio de muy alta

dimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos (test).

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

1 Usar Φ(x) muy genérica que lleve los datos a un espacio de muy alta

dimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos (test).

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

1 Usar Φ(x) muy genérica que lleve los datos a un espacio de muy alta

dimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).

Problema: Difícil de generalizar bien a datos no conocidos (test).

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

1 Usar Φ(x) muy genérica que lleve los datos a un espacio de muy alta

dimension (puede ser infinita), en este espacio es fácil de separar lospuntos del conjunto de entrenamiento (e.g., kernel RBF).Problema: Difícil de generalizar bien a datos no conocidos (test).

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

2 Encontrar Φ(x) (artesanal) de manera de separar los datos.

Problema: Difícil de hacer en la práctica, el diseño depende de unconocimiento muy fino del problema

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

2 Encontrar Φ(x) (artesanal) de manera de separar los datos.Problema: Difícil de hacer en la práctica, el diseño depende de unconocimiento muy fino del problema

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

3 Aprendizaje Profundo: Aprender Φ(x). Partir de un modeloparamétrico Φ(x; θ) que define una representación y buscarminimizar el error de ajuste.

Objetivo: Definir Φ(x; θ) y luego entrenar (encontrar θ).

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

5 / 38

Clasificadores no Lineales

Se requiere que los datos sean linealmente separables• ¿Cómo encontramos Φ(x) que transforme los datos a un

espacio donde sean fácilmente separables?

3 Aprendizaje Profundo: Aprender Φ(x). Partir de un modeloparamétrico Φ(x; θ) que define una representación y buscarminimizar el error de ajuste.

Objetivo: Definir Φ(x; θ) y luego entrenar (encontrar θ).

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

5 / 38

Redes Neuronales

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales: familia de funciones no lineales, paramétricas, son la basefundamental del Aprendizaje Profundo.

• Una red neuronal define un mapeo y = f(x; θ), y buscaremos losparámetros θ que mejor aproximan f?.

• Son redes porque se componen de múltiples neuronas artificiales que secomunican entre sí.

6 / 38

Redes Neuronales

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales: familia de funciones no lineales, paramétricas, son la basefundamental del Aprendizaje Profundo.

• Una red neuronal define un mapeo y = f(x; θ), y buscaremos losparámetros θ que mejor aproximan f?.

• Son redes porque se componen de múltiples neuronas artificiales que secomunican entre sí.

6 / 38

Redes Neuronales

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales: familia de funciones no lineales, paramétricas, son la basefundamental del Aprendizaje Profundo.

• Una red neuronal define un mapeo y = f(x; θ), y buscaremos losparámetros θ que mejor aproximan f?.

• Son redes porque se componen de múltiples neuronas artificiales que secomunican entre sí.

6 / 38

Redes Neuronales

• Objetivo: Aproximar y = f?(x), mapeo de x en una salida y (e.g., una categoría).

• Redes neuronales: familia de funciones no lineales, paramétricas, son la basefundamental del Aprendizaje Profundo.

• Una red neuronal define un mapeo y = f(x; θ), y buscaremos losparámetros θ que mejor aproximan f?.

• Son redes porque se componen de múltiples neuronas artificiales que secomunican entre sí.

6 / 38

Redes Neuronales

• En general se componen de varias capas, y se modelan como unacomposición de funciones:

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x

sin existir conexiones de realimentación.• Es decir, son Grafos Acíclicos Direccionados (DAGs)

7 / 38

Redes Neuronales

• En general se componen de varias capas, y se modelan como unacomposición de funciones:

f(x) := f(n)(f(n−1)

(· · · f(2)

(f(1) (x)

)· · ·))

,

donde f(1) es la primera capa (first layer), f(2) la segunda ...

• Son prealimentadas (feedforward) porque la información fluye a partir de x

sin existir conexiones de realimentación.• Es decir, son Grafos Acíclicos Direccionados (DAGs)

7 / 38

Redes Neuronales ProfundasDeep Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Datos de entrenamiento no es observado por las capas intermedias, estas sonllamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona (o unidad) : dado unaserie de entradas calcula salida unidimensional (su función de activación)

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

8 / 38

Redes Neuronales ProfundasDeep Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Datos de entrenamiento no es observado por las capas intermedias, estas sonllamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona (o unidad) : dado unaserie de entradas calcula salida unidimensional (su función de activación)

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

8 / 38

Redes Neuronales ProfundasDeep Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Datos de entrenamiento no es observado por las capas intermedias, estas sonllamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona (o unidad) : dado unaserie de entradas calcula salida unidimensional (su función de activación)

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

8 / 38

Redes Neuronales ProfundasDeep Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Datos de entrenamiento no es observado por las capas intermedias, estas sonllamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona (o unidad) : dado unaserie de entradas calcula salida unidimensional (su función de activación)

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

8 / 38

Redes Neuronales ProfundasDeep Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Datos de entrenamiento no es observado por las capas intermedias, estas sonllamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona (o unidad) : dado unaserie de entradas calcula salida unidimensional (su función de activación)

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

8 / 38

Redes Neuronales ProfundasDeep Neural Networks

• La profundidad (depth) de la red: cantidad de capas en el modelo (deep)

• Primera, capa de entrada (input layer), última, capa de salida (output layer)

• El entrenamiento no especifica la salida de cada capa sino de punta a punta.

• Datos de entrenamiento no es observado por las capas intermedias, estas sonllamadas capas ocultas (hidden layers)

• Cada capa es en general una función vectorial: f(j) : Rnj → Rnj+1 .Dimensión nj determina el ancho de la capa (width).

• Cada elemento de una capa [f(j)]i es llamado neurona (o unidad) : dado unaserie de entradas calcula salida unidimensional (su función de activación)

f(1)

1st -layer

Feedforward networks

f(2)

2nd -layerf(3)

3rd -layerf(n)

nth -layerci=f(x)

8 / 38

Neuronas Artificiales

• Componente elemental del Aprendizaje Profundo

• Típicamente, está compuesta por: operación lineal + función deactivación no lineal.

• El nombre viene de su “paralelismo” con las neuronas biológicas

a(x) =n∑

i=1

wixi + b

h(x) = g(a(x))

9 / 38

Neuronas Artificiales

• Componente elemental del Aprendizaje Profundo

• Típicamente, está compuesta por: operación lineal + función deactivación no lineal.

• El nombre viene de su “paralelismo” con las neuronas biológicas

a(x) =n∑

i=1

wixi + b

h(x) = g(a(x))

9 / 38

Neuronas Artificiales

• Componente elemental del Aprendizaje Profundo

• Típicamente, está compuesta por: operación lineal + función deactivación no lineal.

• El nombre viene de su “paralelismo” con las neuronas biológicas

a(x) =n∑

i=1

wixi + b

h(x) = g(a(x))

9 / 38

Neuronas artificiales

• Una neurona artificial se compone (en general) de:una operación lineal + una función de activación no lineal

1 Pre-activación:

a(x) =n∑

i=1

wixi+b = wTx+b

2 Activación (salida):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

) x1

xn

input

1b

w1

wn

h(x)

10 / 38

Neuronas artificiales

• Una neurona artificial se compone (en general) de:una operación lineal + una función de activación no lineal

1 Pre-activación:

a(x) =n∑

i=1

wixi+b = wTx+b

2 Activación (salida):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

)

x1

xn

input

1b

w1

wn

h(x)

10 / 38

Neuronas artificiales

• Una neurona artificial se compone (en general) de:una operación lineal + una función de activación no lineal

1 Pre-activación:

a(x) =n∑

i=1

wixi+b = wTx+b

2 Activación (salida):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

) x1

xn

input

1b

w1

wn

h(x)

10 / 38

Neuronas artificiales

• Una neurona se compone (en general) de: una operación lineal + unafunción de activación no lineal. (linear units):

h(x) = g(a(x)) = g

(n∑

i=1

wixi + b

) x1

xn

input

1b

w1

wn

h(x)

11 / 38

Funciones de Activación

12 / 38

Funciones de Activación

12 / 38

Funciones de Activación

12 / 38

Funciones de Activación

12 / 38

Funciones de Activación

12 / 38

Neuronas lineales: Capacidad

• Una única neurona puede hacerclasificación binaria:

→ Frontera de decisión es lineal

x1

xn

input

1b

w1

wn

h(x)

13 / 38

Red neuronal de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

14 / 38

Red neuronal de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

14 / 38

Red neuronal de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

14 / 38

Red neuronal de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

14 / 38

Red neuronal de una capa oculta

• Entrada: x

• Pre-activación:

a = W(1)Tx+ b(1)

• Activación capa oculta:

h(1)(x) = g(a(x))

• Capa de salida:

f(x) = o(w(2)Th(1) + b(2)

)

h1

hi

hd

f(x)

x1

xj

xn

W(1)

W(1)

W(1)w(2)

w(2)

w(2)

1,1

j,i

2,1

1

i

d

input layer hidden layer

output layer

1 b(1)1

1b(2)

14 / 38

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

• Si buscamos un modelo lineal: f(x;w,b) = wTx+ b y resolvemos lasecuaciones normales

, se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

15 / 38

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

• Si buscamos un modelo lineal: f(x;w,b) = wTx+ b y resolvemos lasecuaciones normales

, se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

15 / 38

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

• Si buscamos un modelo lineal: f(x;w,b) = wTx+ b y resolvemos lasecuaciones normales

, se obtiene: w = 0,b = 12 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

15 / 38

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

• Si buscamos un modelo lineal: f(x;w,b) = wTx+ b y resolvemos lasecuaciones normales , se obtiene: w = 0,b = 1

2 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

15 / 38

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

• Si buscamos un modelo lineal: f(x;w,b) = wTx+ b y resolvemos lasecuaciones normales , se obtiene: w = 0,b = 1

2 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

15 / 38

Ejemplo: XOR

• Supongamos que queremos aproximar la función f?(x) = xor(x1, x2)

• 4 puntos : {(0, 0), (0, 1), (1, 0), (1, 1)}, con salidas 0, 1, 1, 0 respec.

• Objetivo: encontrar f que prediga bien los cuatro puntos

• Planteamos una regresión:

J(θ) =1

4

4∑i=1

(f?(xi)− f(x; θ))2

• Si buscamos un modelo lineal: f(x;w,b) = wTx+ b y resolvemos lasecuaciones normales , se obtiene: w = 0,b = 1

2 .

• J(θ) > 0: no se logra aproximar de maneraperfecta la salida.

• Era esperable porque los datos no sonlinealmente separables

15 / 38

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• ¿Qué pasa si f(1) es lineal?

• Utilizamos función de activación ReLU (rectified linear unit)g(x) = max(0, x) (aplicada elemento a elemento)

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(2)T max{0,W(1)Tx+ b(1)}+ b(2)

Solución con error cero (J(θ) = 0):

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

16 / 38

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• ¿Qué pasa si f(1) es lineal?

• Utilizamos función de activación ReLU (rectified linear unit)g(x) = max(0, x) (aplicada elemento a elemento)

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(2)T max{0,W(1)Tx+ b(1)}+ b(2)

Solución con error cero (J(θ) = 0):

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

16 / 38

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• ¿Qué pasa si f(1) es lineal?

• Utilizamos función de activación ReLU (rectified linear unit)g(x) = max(0, x) (aplicada elemento a elemento)

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(2)T max{0,W(1)Tx+ b(1)}+ b(2)

Solución con error cero (J(θ) = 0):

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

16 / 38

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• ¿Qué pasa si f(1) es lineal?

• Utilizamos función de activación ReLU (rectified linear unit)g(x) = max(0, x) (aplicada elemento a elemento)

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(2)T max{0,W(1)Tx+ b(1)}+ b(2)

Solución con error cero (J(θ) = 0):

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

16 / 38

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• ¿Qué pasa si f(1) es lineal?

• Utilizamos función de activación ReLU (rectified linear unit)g(x) = max(0, x) (aplicada elemento a elemento)

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(2)T max{0,W(1)Tx+ b(1)}+ b(2)

Solución con error cero (J(θ) = 0):

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

16 / 38

Ejemplo: XOR

Supongamos que se utilizan dos capas (una capa oculta)

• Es decir: y = f(x;W(1),b(1),w(2),b(2)) = f(2)(f(1)(x))

• ¿Qué pasa si f(1) es lineal?

• Utilizamos función de activación ReLU (rectified linear unit)g(x) = max(0, x) (aplicada elemento a elemento)

Si capa oculta tiene dos neuronas, tenemos:

f(2)(f(1)(x)) = w(2)T max{0,W(1)Tx+ b(1)}+ b(2)

Solución con error cero (J(θ) = 0):

W(1) =

[1 11 1

], b(1) =

[0−1

],w(2) =

[1−2

], b(2) = 0

16 / 38

Ejemplo: XOR

• Intuición: Se puede construir con dos capas que separan linealmente

17 / 38

Capacidad de red de una capa oculta

18 / 38

Capacidad de red de una capa oculta

18 / 38

Capacidad de red de una capa oculta

• Cuantas más neuronas, más capacidad de ajustar

• Capacidad relacionada con número de neuronas ocultas(volveremos sobre esto) y regularización

+λ‖W‖2 “weight decay”

Demo:

http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

18 / 38

Capacidad de red de una capa oculta

• Cuantas más neuronas, más capacidad de ajustar

• Capacidad relacionada con número de neuronas ocultas(volveremos sobre esto) y regularización

+λ‖W‖2 “weight decay”

Demo:

http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

18 / 38

Teorema de Aproximación Universal

Teorema (Cybenko, 1989; Hornik 1991)

“Una red neuronal prealimentada con una única capa oculta y unnúmero finito de neuronas, puede aproximar cualquier funcióncontinua en un espacio compacto de Rn.”

• Con los paramétros adecuados, se puede representar una granvariedad de funciones

• Cybenko (1989) para función de activación sigmoide

• Hornik (1991) muestra que lo importante es la arquitecturafeedfoward no función de activación

• Leshno et al. (1993) lo demuestra para una familia más general defunciones, que incluyen a la ReLU.

19 / 38

Teorema de Aproximación Universal

Teorema (Cybenko, 1989; Hornik 1991)

“Una red neuronal prealimentada con una única capa oculta y unnúmero finito de neuronas, puede aproximar cualquier funcióncontinua en un espacio compacto de Rn.”

• Con los paramétros adecuados, se puede representar una granvariedad de funciones

• Cybenko (1989) para función de activación sigmoide

• Hornik (1991) muestra que lo importante es la arquitecturafeedfoward no función de activación

• Leshno et al. (1993) lo demuestra para una familia más general defunciones, que incluyen a la ReLU.

19 / 38

Ejemplo: función Pulso con una Red Neuronal

• Utilizando una Red Neuronal con función de activación ReLU

g(x) = max{x, 0}

• ¿Cómo podemos construir el siguiente Pulso?

β1 β2 β3 β4

Pendiente γ

Slides de Miguel Calvo-Fullana

20 / 38

Ejemplo: función Pulso con una Red Neuronal

γ (x − β2)

γ (x − β1)

γ (x − β3)

γ (x − β4)

max{0, x}

max{0, x}

max{0, x}

max{0, x}

x

+

−

−

+

β1β2 β3β4

Slides de Miguel Calvo-Fullana

21 / 38

Ejemplo: función Pulso con una Red Neuronal

γ (x − β2)

γ (x − β1)

γ (x − β3)

γ (x − β4)

max{0, x}

max{0, x}

max{0, x}

max{0, x}

x

+

−

−

+

β1β2 β3β4

Slides de Miguel Calvo-Fullana

22 / 38

Ejemplo: función Pulso con una Red Neuronal

γ (x − β2)

γ (x − β1)

γ (x − β3)

γ (x − β4)

max{0, x}

max{0, x}

max{0, x}

max{0, x}

x

+

−

−

+

β1β2 β3β4

Slides de Miguel Calvo-Fullana

23 / 38

Ejemplo: función Pulso con una Red Neuronal

γ (x − β2)

γ (x − β1)

γ (x − β3)

γ (x − β4)

max{0, x}

max{0, x}

max{0, x}

max{0, x}

x

+

−

−

+

β1β2 β3β4

γ

Slides de Miguel Calvo-Fullana

24 / 38

Representando funciones continuas con el Pulso

−4 −3 −2 −1 0 1 2 3 4−100

−50

0

50

100

• Podemos aproximar funciones continuas usando pulsos

Slides de Miguel Calvo-Fullana

25 / 38

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

26 / 38

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

1. Redes poco profundas son ineficientes para representar funcionescomplejas

26 / 38

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

Montufar et al. [2014], “Red neuronal (ReLu), concon d entradas, L capas, n unidades por capa oculta,puede calcular funciones con:

O

(nd

)d(L−1)

nd

,

regiones lineales.”

• Número de regiones crece de manera exponencial con profundidadL y polinomial con n, (mucho más rápido que red de una capa ocultacon nL neuronas).

26 / 38

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

Montufar et al. [2014]

26 / 38

¿Por qué usar redes profundas?

• Una única capa oculta con número arbitrariamente grande deneuronas es un aproximador universal.

2. Los datos (o tareas) tienen en general una organización jerárquica

26 / 38

Arquitectura de red de múltiples capas

Red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b

(j))

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

• Tambien conocido como(Multi-layer Perceptron (MLP))

27 / 38

Arquitectura de red de múltiples capas

Red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b

(j))

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

• Tambien conocido como(Multi-layer Perceptron (MLP))

27 / 38

Arquitectura de red de múltiples capas

Red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b

(j))

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

• Tambien conocido como(Multi-layer Perceptron (MLP))

27 / 38

Arquitectura de red de múltiples capas

Red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b

(j))

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

• Tambien conocido como(Multi-layer Perceptron (MLP))

27 / 38

Arquitectura de red de múltiples capas

Red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b

(j))

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

• Tambien conocido como(Multi-layer Perceptron (MLP))

27 / 38

Arquitectura de red de múltiples capas

Red con L capas ocultas.

• Entrada:

x (= h(0))

• Pre-activación capa (j):

a(j)(x) =(W(j)Th(j−1) + b

(j))

• Salida capa (j)

h(j)(x) = g(a(j)(x))

• Salida de la red (capa L+ 1)

f(x) = o(a(L+1)

)

h(1)

h(1)

h(1)

h(2)

f(x)

x1

x2

x3

W(1)

W(1) W(2)

w(3)

w(3)

w(3)

1

2

3

4

1

2

3

1,1

3,3

2,1

3,4

1

2

4

input layer

1st hidden layer

2nd hidden layer

output layer

1 b(1)11 b(2)1

1b(3)h(2)

h(2)

h(2)

W(2)1,1

W(1)

Nomenclatura:

• “3-layer neural net” o“2-hidden-layer neural net”

• Capas totalmente conectadas(“Fully-connected layers”)

• Tambien conocido como(Multi-layer Perceptron (MLP))

27 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!

• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?

• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Desafíos en Aprendizaje Profundo

• Las Redes Neuronales proporcionan una familia de funcionesparamétricas capaz de aproximar cualquier función de losdatos.

• ¿Esto resuelve todos los problemas?

1 Optimización: Ya no es convexa!• Métodos eficientes, pero sin garantías (clase 8)

2 Arquitectura: ¿Cuántas capas, neuronas, conexiones, etc.?• Conocimiento del problema / datos (inductive bias)

3 Generalización: Aproxima la función de los datos deentrenamiento ¿y en evaluación?

• Regularización (clase 7), (también en clase 19)

28 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)fΘ(x)

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)fΘ(x) Error de

Aproximación

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)fΘ(x)

fΘ(x;D )

Error de Aproximación

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)fΘ(x)

fΘ(x;D )

Error de Aproximación

Error de Generalización

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)fΘ(x)

fΘ(x;D )

fΘ(x;D )

Error de Aproximación

Error de Generalización

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Espacio de funciones de predicción f(x)f*(x)

Espacio de funciones paramétricas de predicción fΘ(x)fΘ(x)

fΘ(x;D )

fΘ(x;D )

Error de Aproximación

Error de Generalización

Error de Optimización

Basado en slides de R. Vidal

29 / 38

Tres desafíos en Aprendizaje Profundo

Arquitectura(Aproximación)

Generalización Optimización

Basado en slides de R. Vidal

29 / 38

Aprendizaje basado en Optimización

Red de 50 capas Red de 100 capas

Li et al. “Visualizing the Loss Landscape of Neural Nets”, NeurIPS 2018

30 / 38

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime datos en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(¡Próxima clase!) [Repasar regla de la cadena]

31 / 38

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime datos en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(¡Próxima clase!) [Repasar regla de la cadena]

31 / 38

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime datos en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]

• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(¡Próxima clase!) [Repasar regla de la cadena]

31 / 38

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime datos en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(¡Próxima clase!) [Repasar regla de la cadena]

31 / 38

Aprendizaje basado en Optimización

• Queremos encontrar f(x; θ) que aproxime datos en un conjuntode puntos {(x1, y1), . . . , (x1, y1)},

• Definimos una arquitectura de red:

f(x; θ) := f (n)(f (n−1)

(· · · f (2)

(f (1) (x)

)· · ·))

.

• Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

parámetros θ =[W(1),W(2), . . . ,W(n)

]• Optimización mediante descenso por gradiente (estocástico)

• Necesitamos calcular el gradiente: Algoritmo Backpropagation(¡Próxima clase!) [Repasar regla de la cadena]

31 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

En realidad, nos gustaría minimizar error de predicción esperado:

θ? = argminθ

Ex,y

{L(f(x; θ), y)

}Para obtener una buena aproximación del error esperado necesito:

• contar con muchos datos (n � 1)

• los datos sean de la misma distribución subyacente.

32 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

En realidad, nos gustaría minimizar error de predicción esperado:

θ? = argminθ

Ex,y

{L(f(x; θ), y)

}

Para obtener una buena aproximación del error esperado necesito:

• contar con muchos datos (n � 1)

• los datos sean de la misma distribución subyacente.

32 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

Planteamos el problema como una minimización:

θ = argminθ

n∑i=1

L(f(xi; θ), yi)

En realidad, nos gustaría minimizar error de predicción esperado:

θ? = argminθ

Ex,y

{L(f(x; θ), y)

}Para obtener una buena aproximación del error esperado necesito:

• contar con muchos datos (n � 1)

• los datos sean de la misma distribución subyacente.

32 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• Error de generalización: valor esperado del error en una muestra noconocida (se asume proviene de la misma distribución subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: train + validation + test• validación cruzada + test

33 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• Error de generalización: valor esperado del error en una muestra noconocida (se asume proviene de la misma distribución subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: train + validation + test• validación cruzada + test

33 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• Error de generalización: valor esperado del error en una muestra noconocida (se asume proviene de la misma distribución subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: train + validation + test• validación cruzada + test

33 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• Error de generalización: valor esperado del error en una muestra noconocida (se asume proviene de la misma distribución subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: train + validation + test• validación cruzada + test

33 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que el algoritmo entrenadofuncione bien en datos no conocidos

• A esta habilidad se le llama generalización y se mide con el error degeneralización o test error

• Error de generalización: valor esperado del error en una muestra noconocida (se asume proviene de la misma distribución subyacente)

• Esto diferencia el aprendizaje automático de la optimización

• Podemos estimar el error de generalización en un conjunto de datosno utilizado durante la etapa de entrenamiento:

• partición de datos en: train + validation + test• validación cruzada + test

33 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =1

ntrain

ntrain∑i=1

Li(f(xi; θ), yi), Etest =1

ntest

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =1

ntrain

ntrain∑i=1

Li(f(xi; θ), yi), Etest =1

ntest

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =1

ntrain

ntrain∑i=1

Li(f(xi; θ), yi), Etest =1

ntest

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• Sea Dtrain,Dtest ∼ pdata(x, y) conjuntos de entrenamiento y testing generados apartir de la misma distribución generadora

• Entrenamos un sistema de manera de obtener los parámetros que minimizanla función

θ = argminθ

ntrain∑i=1

Li(f(xi; θ), yi)

• Podemos definir los errores en el conjunto de entrenamiento y de test,

Etrain =1

ntrain

ntrain∑i=1

Li(f(xi; θ), yi), Etest =1

ntest

ntest∑i=1

Li(f(xi; θ), yi)

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad, sobreajuste, subajustecapacity, overfitting, underfitting

• El objetivo del aprendizaje automático es que• Etrain sea muy pequeno• Etrain y Etest sean similares

• Si Etrain es grande: modelo subajusta (underfitting), modelo elegido no essuficientemente complejo como para representar los datos (poca capacidad)

• Si Etest − Etrain es grande: modelo sobreajusta (overfitting), modelo demasiadocomplejo y sobreajusta conjunto de entrenamiento (demasiada capacidad)

• Capacidad del modelo es controlada por: espacio de funciones (e.g.,polinomios de grado n), regularización, cantidad de parámetros

34 / 38

Capacidad: Ejemplo

Dado un conjunto de ntrain puntos de entrenamiento ajustamos unpolinomio de orden n,

y = b+

n∑i=1

wixi.

35 / 38

Capacidad: Ejemplo

Dado un conjunto de ntrain puntos de entrenamiento ajustamos unpolinomio de orden n,

y = b+

n∑i=1

wixi.

Evaluamos el error de ajuste utilizando un conjunto de testing

Capacidad ideal: orden ≈ 3

35 / 38

Capacidad: Ejemplo

Dado un conjunto de ntrain puntos de entrenamiento ajustamos unpolinomio de orden n,

y = b+

n∑i=1

wixi.

Evaluamos el error de ajuste utilizando un conjunto de testing

Capacidad ideal: orden ≈ 3

35 / 38

Capacidad: Ejemplo

ntrain = 5

36 / 38

Capacidad: Ejemplo

ntrain = 6

36 / 38

Capacidad: Ejemplo

ntrain = 7

36 / 38

Capacidad: Ejemplo

ntrain = 10

36 / 38

Capacidad: Ejemplo

Capacidad ideal depende del (tamaño) conjunto de

entrenamiento

ntrain = 5 ntrain = 10

36 / 38

Número de parámetros de una red

• Red de 2 capas

• 1 capa oculta (4 neuronas), 1 capa de salida (2 neuronas), 3 entradas

• 4 + 2 = 6 neuronas

• 3x4 + 4x2 = 20 pesos, 4 + 2 = 6 bias = 26 parámetros

37 / 38

Número de parámetros de una red

• Red de 3 capas

• 2 capas ocultas (4 neuronas cada una), 1 capa de salida (1 neurona)

• 4 + 4 + 1 = 9 neuronas

• 3x4 + 4x4 + 4x1 = 32 pesos, 4 + 4 +1 = 9 biases = 41 parámetros

37 / 38

Número de parámetros de una red

¿Es el número de parámetros una buena medida de la capacidad?

37 / 38

Número de parámetros de una red

w

• Redes de convolución (que vamos a ver más adelante), muyutilizadas en la práctica pueden llegar a tener decenas de capas yvarios millones de parámetros.

37 / 38

Número de parámetros de una red

Xie et al. “Exploring Randomly Wired Neural Networks for Image Recognition”, ICCV 2019

• No todas las redes neuronales tienen una estructura regular de capas!

37 / 38

Red Neuronal de Dos Capas en 16 líneas de código

• W1,W2 – parámetros a aprender (sin bias)

• Minimiza la norma 2 entre predicción y valor realEjemplo de J. Johnson

38 / 38