¿qué es el aprendizaje? · carlos muñoz gutiérrez. dpto. lógica y filosofía de la ciencia 11...

33
Inteligencia Artificial Aprendizaje Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 1 ¿Qué es el APRENDIZAJE? INCREMENTO DEL REPERTORIO DE CONDUCTAS. CAMBIOS EN EL COMPORTAMIENTO DE UN SISTEMA: DE CARÁCTER PERMANENTE RELATIVO A ALGUNA DESTREZA DE SOLUCIÓN DE PROBLEMAS QUE MEJORA LA EJECUCIÓN DEL PROCESO DE RESOLUCIÓN TIENE LUGAR MEDIANTE ALGÚN MECANISMO DE ADQUISICIÓN DE INFORMACIÓN O CONOCIMIENTO QUE EL SISTEMA POSEE. APRENDIZAJE DE GENERALIDAD: LA INFORMACIÓN DE SALIDA PUEDE SER: DEL MISMO NIVEL DE NIVEL MÁS ALTO DE NIVEL MÁS BAJO QUE LA INFORMACIÓN DE ENTRADA

Upload: others

Post on 20-Mar-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Aprendizaje

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 1

¿Qué es el APRENDIZAJE?

• INCREMENTO DEL REPERTORIO DE CONDUCTAS.

• CAMBIOS EN EL COMPORTAMIENTO DE UN SISTEMA: DE CARÁCTER PERMANENTE RELATIVO A ALGUNA DESTREZA DE SOLUCIÓN DE

PROBLEMAS QUE MEJORA LA EJECUCIÓN DEL PROCESO DE

RESOLUCIÓN TIENE LUGAR MEDIANTE ALGÚN MECANISMO DE

ADQUISICIÓN DE INFORMACIÓN O CONOCIMIENTO QUEEL SISTEMA POSEE.

• APRENDIZAJE DE GENERALIDAD: LA INFORMACIÓN DESALIDA PUEDE SER:

DEL MISMO NIVEL DE NIVEL MÁS ALTO DE NIVEL MÁS BAJO

QUE LA INFORMACIÓN DE ENTRADA

Page 2: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Aprendizaje

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 2

• PROCESO CREATIVO: A LA SALIDA DEL PROCESO HAYIGUAL O MÁS CONOCIMIENTO QUE A LA ENTRADA.

• PARA ESTABILIZAR LA RESPUESTA DEL SISTEMA SESUELE REQUERIR UN PERÍODO DE ENTRENAMIENTO.

• EN SISTEMAS NATURAL EL APRENDIZAJE SUELE SERINCREMENTAL. EN LOS SISTEMAS ARTIFICIALES ES MÁSFRECUENTE EL APRENDIZAJE NO-INCREMENTAL.

• EL PROCESO NO GARANTIZA LA OBTENCIÓN DE LAMEJOR RESPUESTA, SINO SÓLO DE LA MEJORRESPUESTA DISPONIBLE EN UN ESTADO DEAPRENDIZAJE DADO

Page 3: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Aprendizaje

Carlos Muñoz Gutiérrez. Dpto. Lógica y

TIPOS DE APRENDIZAJE

ANALÍTICO• Conocimiento del mismo nivel• Basado en Memoria

SINTÉTICO• Conocimiento Nuevo

Subsimbólico• No crea Conocimiento• No explica los resultados

Simbólico• Basado en Ejemplos

EBLAprendizaje basado enla experiencia

• Inducción• Aprendizaje

ConceptualSupervisado

CBLRazonamientoBasado en Casos

Clustering Conceptual

Metáfora

Algoritmos genéticos

• Re• Si

Co

des Neuralesstemasnexionistas

Filosofía de la Ciencia 3

Page 4: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Aprendizaje

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 4

APRENDIZAJE SIMBÓLICO• El resultado del aprendizaje es un conjunto de creencias oprocesos.

• Inconvenientes de los modelos de aprendizaje simbólico:

• Orientados básicamente al tratamiento deinformación discreta

• No pueden hacerse cargo de problemas no-lineales.

• Ventajas:

• Interpretabilidad de los resultados

• El conocimiento adquirido para la realización de la tareapuede ser:

• Del mismo nivel que el suministrado al sistema:

• Razonamiento basado en casos (CBR)

• De nivel más general que el suministrado al sistema:

• Análisis de diferencias

• Inducción de reglas

• De nivel más bajo que el suministrado al sistema .

Page 5: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Aprendizaje

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 5

LOS MODELOS DE APRENDIZAJECOMO MODELOS HEURISTICOS

• Aunque los modelos de aprendizaje se expresan como

algoritmos (igual que cualquier modelo computacional), se trata

de modelos de procesos de prueba y error.

• No garantizan que el conocimiento obtenido pueda resolver en

todos los casos la tarea propuesta.

• Naturaleza incremental: Nueva información suministrada al

sistema puede cambiar los resultados obtenidos en anteriores

fases del aprendizaje.

• Control experimental de los modelos de aprendizaje a través del

ajuste de la función de aprendizaje:

• Medida de la tasa de error

• Control de la evolución temporal del aprendizaje.

Page 6: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 6

ANALISIS DE DIFERENCIAS

• Heurísticos de inducción que permiten aprender descripciones declases a partir de ejemplos positivos o negativos

• Heurísticos• Inducción• Aprendizaje:

• Presentación de ejemplos• Construcción de descripciones tentativas• Refinamiento progresivo de esta descripción

• Tipos de ejemplos:

• Positivos: “Relajan” el modelo• Negativos: “Restringen” el modelo

• Construcción inicial de la descripción (modelo) de trabajo

• Presentación inicial de un ejemplo típico de la clase Todos sus atributos pertenecen a la clase• Construcción del modelo inicial a partir del ejemplo• Modelo de objetos

• La presentación de ejemplos sucesivos, positivos o negativos,permite identificar características de los atributos

Page 7: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 7

HEURISTICOS DE ANALISIS DE DIFERENCIAS

• Heurístico de la relación necesaria

• Ejemplo negativo que contiene normalmente una soladiferencia con las instancias de la clase

• Se construye una descripción del objeto presentado• Se compara esa descripción con la de trabajo• Se identifica la diferencia• Se modifica la descripción de trabajo:

• “... tiene el atributo...” ⇒ “... debe tener el ...”• “... está en la relación...” ⇒ “... debe estar en la ...”

• Heurístico de la relación prohibida

• Ejemplo negativo cuya descripción contieneatributos/relaciones que no están en la descripción detrabajo

• Se modifica la descripción de trabajo:

• “... tiene el atributo...” ⇒ “... no debe tener el ...”• “... está en la relación...” ⇒ “... no debe estar en ...”

• Heurístico de la subida al árbol (tree climbing)

• Ejemplo positivo de un objeto diferente al del modelo detrabajo, pero relacionado con él mediante un árbol declasificación

• Se modifica la descripción de trabajo:

• Las propiedades/relaciones requeridas se asocian a laclase común más específica del árbol

Page 8: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 8

HEURISTICOS DE ANALISIS DE DIFERENCIAS (2) • Heurístico de ampliación:

• Ejemplo positivo en el que hay un objeto que no aparece enla descripción de trabajo, y no relacionado con él medianteel árbol de clasificación

• Se modifica la descripción de trabajo:

• Todas las propiedades/relaciones se asocian a unanueva clase compuesta por la unión de las dos clasesde objetos.

• Heurístico de eliminación:

• Ejemplo positivo en el que:

• Hay un objeto que no aparece en la descripción detrabajo y tal que, junto con los que aparecen, forma unconjunto exhaustivo.

• Se modifica la descripción de trabajo: Se eliminatoda referencia a ambas clases

• Falta una relación de la descripción de trabajo

• Se modifica la descripción de trabajo: Se quita lapropiedad/relación

Page 9: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 9

HEURISTICOS DE ANALISIS DE DIFERENCIAS (3) • Heurístico de cierre de intervalo:

• Ejemplo positivo con un número n que corresponde a otrom de la descripción de trabajo

• Se modifica la descripción de trabajo:

• Se sustituye el número de la descripción de trabajopor el intervalo n-m. Si la descripción de trabajo utilizaun intervalo, se amplía para capturar n

• Heurísticos adicionales

• En caso de duda, no hacer nada• Si un ejemplo positivo no coincide con una descripción de

trabajo suficientemente probada, crear un modelo de casoexcepcional

Page 10: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 10

ALGORITMOS DE USO DE HEURÍSTICOS • Procedimiento ESPECIALIZAR (ejemplos negativos):

1. Comparar la descripción de trabajo con el ejemplo 2. Determinar la diferencia más importante. Si no se puede,ignorar el ejemplo, y volver a comenzar con otro. Si es única ose puede determinar, continuar. 3. Si la descripción de trabajo tiene un enlace que no está enel ejemplo, aplicar el heurístico de la relación necesaria 4. Si el ejemplo tiene un enlace que no está en la descripciónde trabajo, aplicar el heurístico de la relación prohibida 5. En otro caso, ignorar el ejemplo, y comenzar con otro.

• Procedimiento GENERALIZAR (ejemplos positivos):

1. Comparar la descripción de trabajo con el ejemplo 2. Determinar la diferencia más importante. Si no se puede,ignorar el ejemplo. Si es única o se puede determinar,continuar (las diferencias se pueden clasificar) 3. Si un enlace apunta a una clase de la descripción detrabajo distinta de la clase a la que apunta el enlace delejemplo:

3.1. Si las clases son parte de un árbol de clasificación,aplicar el heurístico de subida al árbol 3.2. Si las clases forman un conjunto exhaustivo, aplicarel heurístico de eliminación 3.3. En otro caso, utilizar el heurístico de ampliación

4. Si en el ejemplo falta un enlace de la descripción, aplicar elheurístico de eliminación 5. Si en la diferencia intervienen números, o un intervalo y unnúmero fuera del mismo, utilizar el heurístico de cierre delintervalo

Page 11: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11

USO DE LA DESCRIPCION OBTENIDA

• Comprobar si el objeto desconocido es compatible con losenlaces imperativos de la descripción

• Los necesarios deben estar• Los prohibidos no deben estar

• Más flexible: medir el “grado de semejanza” mediante una “suma

ponderada” de los enlaces correspondientes. La ponderaciónindica la “relevancia” de cada enlace

• Ordenación de las descripciones

• Si hay pocos: lista. “Describe and match”• Red de semejanza:

• Nodos: descripciones• Arcos:

• conectan los modelos más parecidos• denotan diferencias

• El movimiento por la red es un procedimiento “hill-climbing”: se pasa a la descripción que parece másprobable que se parezca más al objeto

Page 12: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 12

EJEMPLOS: Arco (1) • Relación necesaria Descripción de trabajo: soporta-a soporta-a a la izquierda de Ejemplo negativo a la izquierda de Descripción resultante debe-soportar-a debe-soportar-a a la izquierda de

Page 13: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 13

EJEMPLOS: Arco (2) • Relación prohibida Descripción de trabajo: debe-soportar-a debe-soportar-a a la izquierda de Ejemplo negativo debe-soportar-a debe-soportar-a a la izquierda de toca-a Descripción resultante: debe-soportar-a debe-soportar-a a la izquierda de no-debe-tocar-a

Page 14: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Análisis de Diferencias

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 14

EJEMPLOS: Arco (3) • Subida al árbol

Descripción de trabajo: B es-un A

Ejemplo positivo: B es-un C

Descripción resultante: debe-ser-un B

Page 15: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 15

APRENDIZAJE POR INDUCCIÓN

INDUCCIÓN DE REGLAS

Page 16: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 16

INDUCCIÓN DE REGLAS

• Aprendizaje de procedimientos (reglas) de reconocimiento declases o conceptos (clasificación)

• Cada clase comprende un conjunto de casos

• Input:

• Colección de casos o ejemplos (trainig set)• Cada caso viene dado por:

• Su descripción respecto a unos atributos• Su pertenencia o no a una clase determinada

• Output: Conjunto de reglas de clasificación

• Antecedente: Conjunto de pares <atributo, valor>• Consecuente: Identificación de una clase

• Algoritmos de inducción:

• ID3, C4: R. Quinlan, ... (1979, 1983, 1986, 1987)• AQ, AQ11, AQ15: Michalski (1969, 1983, 1986)• Diferentes versiones:

• Uso de Arboles de Identificación o Decisión• Rango de valores discreto o continuo• Batch o incremental

• Problema: Eliminación del ruido en el training set

Page 17: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 17

Formato del Training Set

Caso Atributo1 ... Atributon Clase

Caso1 Valor11 ... Valor1n Clase1

... ... ... ... ...

Casom Valorm1 ... Valormn Clasek

Ejemplo (Winston 92)

• Atributos y su rango de valores:

• Pelo = {rubio, moreno, pelirrojo}• Altura ={normal, alto, bajo}• Peso = {normal, gordo, delgado}• Crema = {si, no}

Caso Pelo Altura Peso Crema Clase

Pablo rubio normal delgado no quemadoMaria rubio alto normal si normalRocio moreno bajo normal si normalRaul rubio bajo normal no quemadoSara pelirrojo normal gordo no quemadoPaula moreno alto gordo no normalPilar moreno normal gordo no normalJavier rubio bajo delgado si normal

Page 18: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 18

Ejemplo (Cont.)

• Hay 3 x 3 x 3 x 2 = 54 combinaciones posibles• 8 observaciones son un 15% del total (8/54 = 0.15)

Explosión combinatoria

• Si tuviéramos:

• 12 atributos por caso• 5 valores por atributo (con una frecuencia

parecida)

tendríamos 512 = 2.44 x 108 combinaciones

• Si en este caso tuviéramos 1 millón de casosobservados, sólo tendríamos el 0.4% del total

Page 19: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 19

ARBOLES DE IDENTIFICACION

• Un árbol de identificación es un árbol de decisión en el que

• Cada nodo no terminal está etiquetado con un atributo• Cada rama que sale de un nodo n está etiquetada con

un valor de ese atributo• Cada nodo terminal está etiquetado con un conjunto de

casos, cada uno de los cuales satisface todos losvalores de atributos que etiquetan el camino desde esenodo al nodo inicial

• La aplicación de un atributo como criterio de selecciónclasifica los casos en distintos conjuntos (tantos comovalores del atributo

• Problema: construcción del árbol de identificación más

sencillo que sea consistente con el training set:

• Eliminación de atributos irrelevantes• Ordenación de los atributos relevantes, desde la raíz a

los nodos terminales, de mayor a menor fuerzaclasificatoria

• La “fuerza clasificatoria” de un atributo es su capacidad paragenerar particiones en el training set que se ajusten en ungrado dado a las distintas clases posibles

• La clasificación de casos respecto a algún atributo introduceun orden en el training set

• El orden (y el desorden o “ruido”) de un conjunto de datos esmedible (Teoría de la Información)

• Medimos la fuerza clasificatoria de un atributo mediante sucapacidad para reducir la incertidumbre o “entropía”

Page 20: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 20

ETAPAS DE LA CONSTRUCCIÓN DEL ARBOL DEIDENTIFICACIÓN

1. Calcular la entropía que puede reducir cada atributo2. Ordenar los atributos de mayor a menor capacidadde reducción de entropía3. Construir el árbol de identificación siguiendo la listaordenada de atributos

1. CALCULO DE LA ENTROPIA DE CADA ATRIBUTO

• Sea c el número de clases• Sea nr el número de casos en una rama r• Sea na el número de casos en todas las ramas del

árbol a• Sea nrc el número de casos en la rama r de la clase c• La probabilidad P(c) de que un caso dado pertenezca

a la clase c es: nrc

P(c) = nr

• La medida de la entropía E viene dada por la fórmula:

cE = Σ -P(c) . log2 P(c)

i=1

Page 21: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 21

EJEMPLOS DE CALCULO DE LA ENTROPIA

• Si un conjunto de casos que contiene miembros dedos clases A y B, y el número de elementos de cadaclase es el mismo, el valor dado por la fórmula demedida de la entropía será 1, el máximo valor posible:

c 1 1 1 1E = Σ -P(c) . log2 P(c) = - log2 - log2 i=1 2 2 2 2

1 1 = + = 1 2 2

• Si sólo hay elementos de una clase, el valor de laentropía será 0, el mínimo valor posible:

cE = Σ -P(c) . log2 P(c) = - 1 log2 1 - 0 log2 0 = - 0 - 0 = 0 i=1

• A medida que nos movemos entre una distribuciónperfectamente equilibrada y una homogeneidadperfecta, la entropía va variando entre 0 y 1:

1.0

0.5

0 0 0.5 1

Page 22: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 22

2. ORDENACIÓN DE ATRIBUTOS

• Una vez calculada la entropía de cada atributo, seestablece una lista de los mismos ordenada de menora mayor entropía

3. CONSTRUCCIÓN DEL ÁRBOL

Hasta que cada nodo terminal contiene un subconjunto delconjunto de entrenamiento lo más homogéneo posible:

• Se selecciona un nodo terminal con un conjunto no-homogéneo

• Se sustituye el nodo por una prueba sobre el primeratributo de la lista no utilizado todavía en la rama.

• Esta prueba dividirá el conjunto en conjuntosmínimamente no-homogéneos

• Sobre cada uno de los conjuntos resultantes se reiterael procedimiento, hasta agotar los atributos disponibles

Color pelo

rubio pelirrojo moreno

crema protectora Sara Rocío Paula no si Pilar

Pablo Maria Raúl Javier

Page 23: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 23

Generación de Reglas

Para transformar el árbol de identificación en unconjunto de reglas:

• Se recorre cada rama de la red desde la raíz hasta elnodo terminal

• El antecedente de la regla es la conjunción de lospares <atributo, valor> recogidos en cada nodo

• El consecuente de la regla es el nodo terminal

Ej.:

Si el color del pelo = rubioy usa crema = si

Entonces no se quema

Si el color del pelo = rubioy usa crema = no

Entonces se quema

Si el color del pelo = pelirrojoEntonces se quema

Si el color del pelo = morenoEntonces no se quema

Page 24: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Inducción de Reglas

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 24

SIMPLIFICACIÓN DEL CONJUNTO DE REGLAS

• Eliminación de antecedentes innecesarios

Si usa crema = siEntonces no se quema

• Eliminación de reglas innecesarias

• Todas las reglas con el mismo consecuentepueden reducirse a una regla por defecto:

Si no se aplica ninguna otra regla, Entonces ...

• Elegir el conjunto más numeroso de reglascon el mismo consecuente

• Elegir el consecuente más común en eltraining set

• Elegir la regla por defecto más simple (conmenor número de antecedentes)

Page 25: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 25

RAZONAMIENTO BASADO EN CASOS

- Estrategia de búsqueda basada en la recuperación de lainformación almacenada más parecida posible a la quedescribe el problema actualmente planteado

- La adquisición de esta información (aprendizaje) consisteen el mero almacenamiento, más o menos estructurado.

- La información no se manipula hasta el momento de suutilización.

- Ingeniería del Conocimiento: Para dominios de problemasen los que resulta imposible construir un modelo

- Se basa en el heurístico de la consistencia, que se utilizacada vez que atribuímos a algo nuevo, que antes no hemosvisto, un rasgo de una cosa ya observada previamente:

- si queremos identificar el valor de un atributo de unobjeto a partir de un conjunto de casos de referencia:

- buscamos el caso más parecido en función delos atributos cuyo valor conocemos- conjeturamos que el valor que buscamos parael atributo será el mismo que el correspondientedel caso más parecido

- no se aplica mecanismo inferencial (razonamiento)alguno

- estimación de la semejanza del nuevo caso con alguno delos anteriores

Page 26: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 26

RAZONAMIENTO BASADO EN CASOS (2)

- Identificación basada en un espacio de atributos o rasgos:

- identificación de atributos- evaluación de atributos- construcción del espacio de rasgos: representaciónmultidimensional en la que cada atributo correspondea una dimensión de ese espacio- cada caso, objeto, problema, etc.... conocido serepresenta como un punto de coordenadas de eseespacio de rasgos- el caso o problema a resolver, o el objetodesconocido, se representa asimismo en el espacio derasgos- la solución o identificación será la del caso u objetorepresentado por el punto a menor distancia del querepresenta el caso u objeto desconocido

- el procedimiento más inmediato: si tenemos n casos,tendremos que calcular n distancias, y tendremos quehacer n-1 comparaciones de esas distancias hastaencontrar la menor: complejidad proporcional a n

- mediante los árboles k-d se puede encontrar rápidamenteel mayor parecido posible en un espacio de rasgos:procedimiento serial rápido en tiempo logarítmico: elnúmero de cálculos se reduce a log2 n (J. K. Friedman et al.(1977), “An Algorithm for Finding Best Matches inLogarithmic Expected Time”, ACM Trans. in Math. Softw.,3, 3.)

Page 27: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 27

ARBOLES DE DECISION MULTIDIMENSIONALES

- Un árbol de decisión es una representación que es unárbol semántico en el que:

- cada nodo está conectado a un conjunto derespuestas posibles- cada nodo no terminal está conectado a una prueba(test) que divide su conjunto de respuestas posiblesen subconjuntos que corresponden a diferentesresultados de la prueba- cada rama propaga a otro nodo el subconjuntoresultante de una prueba determinada

- En cada fase del análisis, el árbol nos indica cuál es laprueba que tenemos que realizar- Suponiendo que el espacio de rasgos tiene kdimensiones, las distancias tendrán que medirse paratodas ellas. Para ello, transformamos el árbol de decisiónen un árbol multidimensional.- Un árbol de decisión multidimensional es unarepresentación en la que:

- el conjunto de respuestas posibles está formado porpuntos, uno de los cuales puede ser el más próximo aun punto dado- cada prueba especifica una coordenada, un umbral yuna zona neutral alrededor del umbral que no contieneningún punto- cada prueba divide el conjunto de puntos en dosconjuntos, según a qué lado del umbral se encuentracada punto

Page 28: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 28

CONSTRUCCIÓN DEL ARBOL DE DECISIÓN

- Procedimiento para dividir los casos en conjuntos,construyendo un árbol de decisión:

- Si sólo hay un caso, parar.

- Si esta es la primera división de casos, tomar para lacomparación el eje vertical. En otro caso, tomar el ejeque sea distinto del que se encuentra en el siguientenivel superior

- Considerando sólo el eje de comparación, encontrarla posición media de dos objetos medios. Sea elumbral esta posición media.

Construir una prueba del árbol de decisión quecompare los casos desconocidos en el eje decomparación con el umbral.

Anotar, además, la posición de los dos objetos mediosen eje de comparación. Sean estas posiciones loslímites superior e inferior.

- Dividir todos los objetos en dos subconjuntos, segúna qué lado de la posición media (umbral) seencuentren

- Utilizando este procedimiento, dividir los objetos decada subconjunto, formando un subárbol para cadauno

Page 29: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 29

BÚSQUEDA DEL CASO MÁS PARECIDO

- Para encontrar el caso más parecido, basta con seguir uncamino por el árbol de decisión que refleja el modo en quelos objetos se han dividido en conjuntos

- Procedimiento para encontrar el caso más parecido:

- Determinar si sólo hay un elemento en el conjuntoque se considera. Si es así, informar de ello. En otrocaso:- Comparar el caso desconocido, en el eje decomparación, con el umbral del nodo actual. Elresultado determina el conjunto probable.- Encontrar el caso más parecido en el conjuntoprobable utilizando este procedimiento- Determinar si la distancia al caso más parecido en elconjunto probable es menor o igual a la distancia allímite del otro conjunto en el eje de comparación. Si esasí, informar de que se trata del caso más parecido enel conjunto probable. En otro caso:- Comprobar el conjunto no probable utilizando esteprocedimiento. Devolver el caso más parecido de losmás parecidos en el conjunto probable y en el noprobable

- El procedimiento tiene en cuenta la posibilidad de quehaya que examinar alternativas ignoradas previamente

- En general, un árbol de decisión con un factor deramificación 2 y con una profundidad p, tendrá 2p

terminales. Si hay que identificar n objetos, p tendrá queser lo bastante grande para asegurar que 2p ≥ n

- Si tomamos el logaritmo de ambos lados, el número decomparaciones que necesitamos, que corresponde a laprofundidad del árbol, será del orden de log2 n

Page 30: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 30

Ejemplo de construcción de un árbol de decisión multidimensional

Supongamos que tenemos 8 bloques, cada uno de loscuales tiene los siguientes rasgos:

color altura anchura identificación

amarillo 6 5 ampúrpura 5 6 purojo 6 2 r1naranja 5 2 narojo 2 1 r2azul 2 4 azverde 1 6 vevioleta 1 2 vi

- Supongamos que, por la naturaleza de los objetos delmundo de bloques, el valor del atributo “color” depende, dealguna forma desconocida, de los valores de los atributos“altura” y “anchura”.

- Supongamos que se nos pide que averigüemos cuál es elcolor de un bloque cuya altura es 4 y cuya anchura es 1

- Situamos los objetos en un sistema de coordenadas

Page 31: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 31

Ejemplo (continuación)

Altura 6 r2 am

5 na pu

4 ? (≥ 5)

3 (≤ 2)

2 r1 az

1 vi ve

0 1 2 3 4 5 6 Anchura

- consideramos primero la dimensión altura- dividimos por su altura los objetos en dos grupos, cadauno con el mismo número de objetos- el punto central de la diferencia entre el más alto de losbajos (límite inferior) y el más bajo de los altos (límitesuperior) está en 3.5, donde situamos el umbral- consideramos la dimensión anchura- dividimos por su anchura cada conjunto en dossubconjuntos con el mismo número de objetos- reiteramos el procedimiento hasta que en cadasubconjunto no quede más que un objeto

Page 32: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Razonamiento basado en Casos

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 32

Ejemplo (3): Arbol de Prueba

- Cada paso genera una prueba y un nodo en el árbol deprueba. El árbol correspondiente será:

¿alt > 3.5?

no si

¿anch > 3? ¿anch > 3.5?

no si no si

¿alt. > 1.5? ¿alt. > 1.5? ¿alt. > 5.5? ¿alt. > 5.5?

no si no si no si no si

violeta rojo verde azul naranja rojo púrpura amarillo

- Al final, el objeto desconocido quedará situado en una delas particiones, en la que estará el caso más próximo

Page 33: ¿Qué es el APRENDIZAJE? · Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 11 USO DE LA DESCRIPCION OBTENIDA • Comprobar si el objeto desconocido es compatible

Inteligencia Artificial Aprendizaje Subsimbólico

Carlos Muñoz Gutiérrez. Dpto. Lógica y Filosofía de la Ciencia 33

APRENDIZAJE SUBSIMBÓLICO

El resultado del aprendizaje se identifica con laconfiguración misma del sistema de aprendizaje.

• Inconvenientes de los modelos de aprendizajesubsimbólico:

• Ausencia de modelos que dirijan la configuracióndel sistema de aprendizaje

• Ausencia de interpretación simbólica del resultadodel aprendizaje

• Ventajas del aprendizaje subsimbólico:

• Plausibilidad biológica• Resolución de problemas de aprendizaje no-lineal• Admite información suministrada bajo la forma de

valores continuos

• Modelos de aprendizaje subsimbólico:

• Redes neuronales• Algoritmos genéticos