Algoritmos BayesianosKarina Figueroa

PreliminaresAprendizajecul es la mejor hiptesis (ms probable) dados los dato?Red Bayesiana (RB)Red de creenciaClasificacin de una RBAprendizaje Estructural. Obtener la estructura de la redAprendizaje ParamtricoDada la estructura, obtener las probabilidades asociadas

Probabilidades conjuntasP(A, B) Probabilidad de ambas A y B. P(A,B)

Probabilidades.Condicional.Cul es la prob.de que la 2 canica sea roja dado que la 1 es azul?P(R2|R1)?ConjuntaCul es la prob.de que la 1 sea roja y la 2 azul?P(R1 y R2)?

Red BayesianaUna red bayesiana es un grafo dirigido acclico que consta de:Un conjunto de nodos, uno por cada variable aleatoria del mundoUn conjunto de arcos dirigidos que conectan los nodosCada nodo tiene una probabilidad condicional asociada Cada arco X a Y indica una influencia directa de X sobre Y

Ejemplo: red BayesianahijohijoPadre

Ejemplo de una RB

Razones para usar un RBDiagnsticoDel efecto a la causaP(Dolor | Caries)PrediccinDe la causa al efectoP(Caries | Dolor)

Teorema de BayesRegla de Bayes

h es la hiptesis o claseEj. Juega tenis o noD conjunto de valores para los atributosEj. temperatura, humedad, etc.

Teorema de BayesP(h) probabilidad a priori de una de las clasesP(D) probabilidad a priori de que los atributos tengan ciertos valoresP(D|h) probabilidad a priori de que los atributos tengan ciertos valores dado que la instancia pertenece a una claseP(h|D) es la probabilidad a posteriori de que una instancia pertenezca a cierta clase

Probabilidades.P(h). FcilPorcentaje de ejemplos de entrenamiento pertenecientes a una claseP(D). Fcil en valores discretosProbabilidad de que los atributos tengan un cierto conjunto de valoresP(temp=calor, humedad=alta, viento=poco)P(D|h). No tan fcilMuy semejante a la P(D), pero slo se consideran las que son instancias de h.

EjemploP(B)P(E)P(J | A)P(M | A)P(A | B, E)Probabilidad de influencia directaVariable aleatoriaRed Bayesiana representa la probabilidad de dependencia/independencia entre las variables aleatoriasProb.cond. dado sus padres

Tipos de conexionesIndependientesIndependientesDependientes dado E

Aplicacin de una RB

EjemploPredecir la probabilidad de que un cierto paciente est afectado por una enfermedadSe realiza un anlisis de sangre al paciente con resultado positivo (de acuerdo con el test, el paciente sufre la enfermedad)Qu hiptesis tiene mayor probabilidad: afectado o no afectado?Se conocen de antemano los siguientes datos0.8% de la poblacin est afectada por la enfermedadSi una persona est afectada, el test ofrece un resultado positivo en un 98% de los casos (2% tasa de error)Si una persona no est afectada, el test ofrece resultado negativo en un 97% de los casos (3% tasa de error)

Qu hiptesis tiene mayor probabilidad: afectado o no afectado?

Comparar numeradoresConclusin?

ConclusionesCondicionesDisponer de un gran nmero de ejemplos de entrenamientoSe dipone de algn conocimiento inicial sobre el problema a resolverVentajas Cada nuevo ejemplo puede aumentar o disminuir la estimacin de una hiptesis (flexibilidad - incrementalidad)Conocimiento a priori se puede combinar con datos para determinar la probabilidad de las hiptesisDa resultados con probabilidades asociadasPuede clasificar combinando las predicciones de varias hiptesisSirve de estandar de comparacin de otros algoritmos

ProblemasEn una RB con 37 nodos se necesitan calcular:137,438,953,472 valores

Teorema de BayesPuede ser muy complicado calcular las probabilidades dependientesUna solucin propuesta, y muy comn en la prctica, es considerar probabilidades independientes: Nave BayesP(A,B) = P(A) P(B)Para sucesos independientes