![Page 1: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/1.jpg)
Algoritmos Algoritmos BayesianosBayesianos
Karina Figueroa
![Page 2: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/2.jpg)
PreliminaresPreliminaresAprendizaje
◦cuál es la mejor hipótesis (más probable) dados los dato?
Red Bayesiana (RB)◦Red de creencia
Clasificación de una RB◦Aprendizaje Estructural. Obtener la estructura de la red
◦Aprendizaje Paramétrico Dada la estructura, obtener las probabilidades
asociadas
![Page 3: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/3.jpg)
Probabilidades conjuntasProbabilidades conjuntasP(A, B) Probabilidad de
ambas A y B. P(A,B)<P(A|B)
P(A|B) Probabilidad
condiciona.La probabilidad de A, dado B.
A B
![Page 4: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/4.jpg)
Probabilidades….Probabilidades….Condicional.
◦ Cuál es la prob.de que la 2ª canica sea roja dado que la 1ª es azul?
◦ P(R2|R1)?Conjunta
◦ Cuál es la prob.de que la 1ª sea roja y la 2ª azul?
◦ P(R1 y R2)?
![Page 5: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/5.jpg)
Red BayesianaRed BayesianaUna red bayesiana es un grafo
dirigido acíclico que consta de:◦Un conjunto de nodos, uno por cada
variable aleatoria del “mundo”◦Un conjunto de arcos dirigidos que
conectan los nodos◦Cada nodo tiene una probabilidad
condicional asociada ◦Cada arco X a Y indica una influencia
directa de X sobre Y
![Page 6: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/6.jpg)
Ejemplo: red BayesianaEjemplo: red Bayesiana
hijo hijo
Padre
![Page 7: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/7.jpg)
Ejemplo de una RBEjemplo de una RB
![Page 8: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/8.jpg)
Razones para usar un RBRazones para usar un RBDiagnóstico
◦Del efecto a la causa◦P(Dolor | Caries)
Predicción◦De la causa al efecto◦P(Caries | Dolor)
![Page 9: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/9.jpg)
Teorema de BayesTeorema de BayesRegla de Bayes
h es la hipótesis o clase◦Ej. Juega tenis o no
D conjunto de valores para los atributos◦Ej. temperatura, humedad, etc.
€
P(h |D) =P(D | h) ⋅P(h)
P(D)
![Page 10: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/10.jpg)
Teorema de BayesTeorema de BayesP(h) probabilidad a priori de una de
las clasesP(D) probabilidad a priori de que los
atributos tengan ciertos valoresP(D|h) probabilidad a priori de que
los atributos tengan ciertos valores dado que la instancia pertenece a una clase
P(h|D) es la probabilidad a posteriori de que una instancia pertenezca a cierta clase
![Page 11: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/11.jpg)
Probabilidades….Probabilidades….P(h). Fácil
◦Porcentaje de ejemplos de entrenamiento pertenecientes a una clase
P(D). Fácil en valores discretos◦Probabilidad de que los atributos tengan
un cierto conjunto de valores◦P(temp=calor, humedad=alta,
viento=poco)P(D|h). No tan fácil
◦Muy semejante a la P(D), pero sólo se consideran las que son instancias de h.
![Page 12: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/12.jpg)
EjemploEjemplo
A
B E
J M
P(B) P(E)
P(J | A) P(M | A)
P(A | B, E)
Probabilidad de influencia directaVariable
aleatoria
Red Bayesiana representa la probabilidad de dependencia/independencia entre las variables aleatorias
Prob.cond. dado sus padres
![Page 13: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/13.jpg)
Tipos de conexionesTipos de conexiones
a
b
ab
ca
c
b
c
Linear
Converging Diverging
IndependientesIndependientes
Dependientes dado E
![Page 14: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/14.jpg)
Aplicación de una RBAplicación de una RBDoctor's
NoteStudent
Ill
Frequent Absence
Student Disinterested
Computer Crash
Paper Late
Dog Ate It
“Dog Ate It”
Power Failure
Clocks Slow
Lives in Dorm
Hungry Dog
“Computer Crash”
Make up Excuse
![Page 15: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/15.jpg)
EjemploEjemploPredecir la probabilidad de que un cierto
paciente esté afectado por una enfermedadSe realiza un análisis de sangre al paciente
con resultado positivo (de acuerdo con el test, el paciente sufre la enfermedad)
Qué hipótesis tiene mayor probabilidad: afectado o no afectado?
Se conocen de antemano los siguientes datos◦ 0.8% de la población está afectada por la
enfermedad◦ Si una persona está afectada, el test ofrece un
resultado positivo en un 98% de los casos (2% tasa de error)
◦ Si una persona no está afectada, el test ofrece resultado negativo en un 97% de los casos (3% tasa de error)
![Page 16: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/16.jpg)
Qué hipótesis tiene mayor Qué hipótesis tiene mayor probabilidad: afectado o no probabilidad: afectado o no afectado?afectado?
Comparar numeradores…Conclusión?
€
P(afectado | test _ positivo) =P(test _ positivo | afectado) ⋅P(afectado)
P(test _ positivo)
€
P(no_ afectado | test _ positivo) =P(test _ positivo | no_ afectado) ⋅P(no_ afectado)
P(test _ positivo)
![Page 17: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/17.jpg)
ConclusionesConclusionesCondiciones
◦ Disponer de un gran número de ejemplos de entrenamiento
◦ Se dipone de algún conocimiento inicial sobre el problema a resolver
Ventajas ◦ Cada nuevo ejemplo puede aumentar o disminuir
la estimación de una hipótesis (flexibilidad - incrementalidad)
◦ Conocimiento a priori se puede combinar con datos para determinar la probabilidad de las hipótesis
◦ Da resultados con probabilidades asociadas◦ Puede clasificar combinando las predicciones de
varias hipótesis◦ Sirve de estandar de comparación de otros
algoritmos
![Page 18: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/18.jpg)
ProblemasProblemas
En una RB con 37 nodos se necesitan calcular:137,438,953,472
valores
![Page 19: Algoritmos Bayesianos Karina Figueroa. Preliminares Aprendizaje ◦ cuál es la mejor hipótesis (más probable) dados los dato? Red Bayesiana (RB) ◦ Red de](https://reader036.vdocumento.com/reader036/viewer/2022062808/5665b42c1a28abb57c8fc400/html5/thumbnails/19.jpg)
Teorema de BayesTeorema de BayesPuede ser muy complicado
calcular las probabilidades dependientes
Una solución propuesta, y muy común en la práctica, es considerar probabilidades independientes: Naïve Bayes
P(A,B) = P(A) P(B)◦Para sucesos independientes