métodos de inteligencia artificial - ccc.inaoep.mxesucar/clases-metia/metia-16.pdf ·...
TRANSCRIPT
![Page 1: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/1.jpg)
Métodos deInteligencia Artificial
L. Enrique Sucar (INAOE)[email protected]
ccc.inaoep.mx/esucarTecnologías de Información
UPAEP
![Page 2: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/2.jpg)
Agentes que Aprenden:Tareas, Técnicas y Aplicaciones• Tareas de aprendizaje• Otras técnicas
– Redes neuronales• Aplicaciones• Retos
![Page 3: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/3.jpg)
Tareas de Aprendizaje
• Clasificación• Regresión• Segmentación• Aprendizaje de dependencias• Detección de desviaciones• Mejor acción• Optimización
![Page 4: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/4.jpg)
Clasificación
• Los datos son objetos caracterizadospor atributos que pertenecen adiferentes clases (etiquetas discretas).La meta es inducir un modelo parapoder predecir una clase dados losvalores de los atributos. Se usan porejemplo, árboles de decisió ́n, reglas,SVM, etc.
![Page 5: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/5.jpg)
Regresión
• Las clases son continuas. La meta esinducir un modelo para poder predecirel valor de la clase dados los valoresde los atributos. Se usan por ejemplo,á ́rboles de regresió ́n, regresió ́n lineal,redes neuronales, LWR, etc.
![Page 6: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/6.jpg)
Segmentación
• Separació ́n de los datos en subgruposo clases interesantes. Las clasespueden ser exhaustivas y mutuamenteexclusivas o jerá ́rquicas y contraslapes. Se usan algoritmos declustering, SOM (self-organizationmaps), EM (expectation maximization),k−means, etc.
![Page 7: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/7.jpg)
Aprendizaje de dependencias
• El valor de un elemento puede usarsepara predecir el valor de otro. Ladependencia puede ser probabilística,puede definir una red de dependenciaso puede ser funcional (leyes físicas).Se pueden utilizar redes Bayesianas,redes causales y reglas de asociación.
![Page 8: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/8.jpg)
Detección de desviaciones
• Detección de desviaciones, casos extremoso anomalías: Detectar los cambios mássignificativos en los datos con respecto avalores pasados o normales. Sirve parafiltrar grandes volúmenes de datos que sonmenos probables de ser interesantes. Elproblema esta ́ en determinar cuando unadesviación es significativa para ser deinterés.
![Page 9: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/9.jpg)
Aprendizaje de acciones
• Aprendizaje de la mejor acción a tomara partir de experiencia: Esto involucrabúsqueda y exploración del ambiente.Esto esta ́ relacionado principalmentecon aprendizaje por refuerzo, perotambién con técnicas comoaprendizaje de macro-operadores,chunking y EBL.
![Page 10: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/10.jpg)
Optimización
• Existen una gran cantidad de algoritmos debúsqueda tanto determinística comoaleatoria, individual como poblacional, localcomo global, que se utilizan principalmentepara resolver algún problema deoptimización. Aquí podemos incluir a losalgoritmos genéticos, recocido simulado, ant-colony, técnicas de búsqueda local,enjambres, etc.
![Page 11: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/11.jpg)
Otras técnicas
• A continuación veremos brevementealgunas otras técnicas de aprendizaje pararesolver algunas de las tareas anteriores
![Page 12: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/12.jpg)
Técnicas de aprendizaje
• Árboles de decisió ́n y regresión• Reglas de clasificació ́n• Reglas de asociació ́n• Programació ́n ló ́gica inductiva• Aprendizaje basado en grafos• Aprendizaje bayesiano
![Page 13: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/13.jpg)
Técnicas de aprendizaje
• Redes bayesianas• Aprendizaje basado en instancias y
casos• Clustering• Aprendizaje por refuerzo• Redes neuronales• Algoritmos genéticos
![Page 14: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/14.jpg)
Otras técnicas
• Aprendizaje basado en Kernels• Support Vector Machines• Ensambles de clasificadores• Selecció ́n de atributos• Aprendizaje semi-supervisado• Aprendizaje por transferencia
![Page 15: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/15.jpg)
Aprendizaje basado en instancias(vecino más cercano)
![Page 16: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/16.jpg)
Clustering
![Page 17: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/17.jpg)
Reglas de asociación
• Relacionan pares atributo-valor con otrospares atributo-valor
![Page 18: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/18.jpg)
Ensamble de clasificadores
![Page 19: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/19.jpg)
Redes Neuronales
![Page 20: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/20.jpg)
Redes neuronales• Estructura inspirada en un modelo simplificado de las
neuronas biológicas• Se forma de un conjunto de elementos sencillos
(neuronas) que tiene varias entradas y una salidaSalida = f ( Σ Wi Ei )
• Estos elementos se interconectan entre si para formarredes (red neuronal)
• Las RN se entrenan para aprender relaciones deentrada-salida mediante la presentación de ejemplos,modificando los pesos
![Page 21: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/21.jpg)
Neuronas biológicas
![Page 22: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/22.jpg)
Neuronas artificiales
![Page 23: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/23.jpg)
Neuronas artificiales
• Funciones base
U = Σ wi xi
• Función de activaciónf(U) = 1 / ( 1 + e-U/σ )
![Page 24: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/24.jpg)
Red Neuronal - Feedforward
![Page 25: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/25.jpg)
Aprendizaje - backpropagation
![Page 26: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/26.jpg)
Aprendizaje - backpropagation
• Se compara la salida “deseada” con lasalida “actual” y se genera un error
• Se utiliza dicho error para modificar los“pesos” en las neuronas de salida
wij(k+1) = wij (k) + Δij (k)• Se propaga dicho error hacia atrás,
modificando los pesos en las demásneuronas en la red
![Page 27: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/27.jpg)
Aplicaciones
• Una vez entrenada, la red neuronal sepuede utilizar para diversas tareas:– Clasificación– Clasificación no-supervisada– Asociación– Complementar patrones
![Page 28: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/28.jpg)
Aplicaciones
![Page 29: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/29.jpg)
Aplicaciones
• Predicción de demanda en cajeros automáticos
![Page 30: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/30.jpg)
Aplicaciones• astronomía• biología molecular• aspectos climatológicos• medicina• industria y manufactura• mercadotecnia• inversión en casas de bolsa y banca• detección defraudes y comportamientos inusuales• análisis de canastas de mercado• aprendizaje de tareas en robótica• ...
![Page 31: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/31.jpg)
Aprendiendo a volar …
• Imitación de comportamiento + aprendizajepor refuerzo …
![Page 32: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/32.jpg)
Etiquetado automático deimágenes …
• Aprendizaje semi-supervisado conensambles de clasificadores
ImágenesDigitales
ImágenesDigitales
![Page 33: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/33.jpg)
Robótica: seguimiento
• Aprendizaje de MDPs cualitativos …
![Page 34: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/34.jpg)
Reconocimiento de ademanes• Aprendizaje de clasificadores bayesianos
con algoritmos genéticos …
![Page 35: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/35.jpg)
Reconocimiento de ademanes• Aprendizaje de clasificadores bayesianos
con algoritmos genéticos …
![Page 36: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/36.jpg)
Algunas aplicaciones “famosas”
• Sistemas de reconocimiento de voz(e.g., SPHINX, Lee 89),
• Manejo de vehículos autónomos(ALVINN,Pomerleau 89)
• Clasificación de nuevas estructuras enastronomía (SkyCat, Fayyad et al. 95)
• Aprendiendo a jugar Backgammon (TD-Gammon, Tesauro 92)
![Page 37: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/37.jpg)
Retos• Volumen de datos (mega, giga y hasta terabytes)• Alta dimensionalidad y/o pocos datos• Sobreajuste (overfitting)• Datos y conocimiento dinámicos• Ruido, incertidumbre y datos incompletos y/o
esparsos• Relaciones complejas entre campos, jerarquías, etc.• Interpretación de los resultados• Incorporación de conocimiento del dominio• Interacción activa del usuario• Integración con otros sistemas
![Page 38: Métodos de Inteligencia Artificial - ccc.inaoep.mxesucar/Clases-MetIA/MetIA-16.pdf · (ALVINN,Pomerleau 89) •Clasificación de nuevas estructuras en astronomía (SkyCat, Fayyad](https://reader030.vdocumento.com/reader030/viewer/2022020315/5ab645a07f8b9a1a048da627/html5/thumbnails/38.jpg)
Tarea
• Leer Capítulo 19 de Russell• Proyecto de redes bayesianas para VIH en
Hugin– Reporte impreso– Presentación/demo en clase