presentación lectura tfmi

Impacto del uso de realimentación colectiva sobre la recuperación de información en la Web

Impacto del uso de realimentación colectivasobre la

recuperación de información en la Web

David J. Brenes Martínez

Trabajo Fin de Máster de InvestigaciónI Máster en Ingeniería Web - Rama Investigadora

Escuela Universitaria en Ingeniería Técnica en Informática de Oviedo

24/Septiembre/2008


Estructura

1 Introducción

2 Cuestiones planteadas

3 Análisis de las características de los usuarios

4 Análisis de la intención de los usuarios

5 Análisis de las ayudas a la navegación

6 Conclusiones

7 Futuras líneas de investigación


Introducción

Introducción

1 Introducción





6 Conclusiones



Introducción

El problema de todos los SI

Introducción

1 IntroducciónEl problema de todos los SI

El problema de la CienciaEl problema de la Web


Introducción


Sobrecarga de Información

Cantidad de información generadaUsuario abrumado


Introducción


Necesidad de SRI

ConsejosAncianos

CatálogosÁreas temáticas‘Si te ha gustado...’


Introducción

El problema de la Ciencia

Introducción

1 IntroducciónEl problema de todos los SIEl problema de la Ciencia

El problema de la Web


Introducción


Demasiada Información

ArtículosIdeasProyectosPlazos


Introducción


Solución de organización

[Berners-Lee(1989)]Red de enlaces entre conceptosProyecto para el CERNSolución local para una organización


Introducción


Introducción

1 IntroducciónEl problema de todos los SIEl problema de la CienciaEl problema de la Web


Introducción


Demasiada información

Apertura de la WebDescentralizaciónSolución local aplicada globalmente

Nuevas tecnologíasNuevos modos de acceso

Popularización de la WebNuevos perfiles de usuarioNuevos intereses


Introducción


Un SRI para el SRI

La Web necesita SRIsDemasiada informaciónDemasiados usuarios

Comprender el sistema¿Cómo acceden los usuarios?¿Cómo se les puede ayudar?


Introducción


Pero... ¿Cómo navegan los usuarios?

No hay un usuario medio. [Krug(2005)]Futilidad de modelos simplistasNecesidad de modelos más complejos


Introducción


Pero... ¿Y qué pretenden los usuarios?

Análisis del ‘por qué’ no del ‘cómo’Análisis de temática de búsquedaAnálisis de intenciones


Introducción


Pero... ¿Y cómo les estamos ayudando?

Complejos SRIsFormados por iniciativas más pequeñasMúltiples influencias sobre el usuario

Escasos estudios de impactoEstudios más bien teóricosPocas conclusiones sobre los usuarios


Cuestiones planteadas


1 Introducción





6 Conclusiones




Características de las consultas

¿Poseen las consultas más populares característicasdistintas a las menos populares?

Diferencias entre consultas.Construcción de modelos de usuario más complejos.



Intencionalidad del usuario

¿Puede deducirse la intención de los usuarios enbase a características conductuales, de maneraautomatizada?

Enriquecimiento del modelo de usuario.Enfoque automático.



Estudio de SRIs

¿Podemos dividir los SRIs en ayudas más simples demanera que éstas puedan ser objeto de estudio?

Facilidad de análisis.Identificación de funcionalidades.



Evaluación de los efectos

¿Pueden diseñarse experimentos que nos permitanevaluar los efectos que éstos tienen sobre losusuarios?

Evaluación de las ayudas.Cambios en el modelo de usuario.


Análisis de las características de los usuarios


1 Introducción





6 Conclusiones




Estudios Previos


3 Análisis de las características de los usuariosEstudios Previos

El problemaAnálisis estratificadoConclusiones



Estudios Previos

En el principio

Perfiles de usuario muy técnicosUso de la web como herramientaExperiencia acumulada en otros SRI

Popularización de la WebAparición de otros perfilesAparición de otros usos de la webDiseños de los primeros SRIs: [Pinkerton(1994)],[Koster(1994)]



Estudios Previos

Cuando miramos a los usuarios

Primeros artículos de análisis de consultas:[Jansen et al.(1998a)], [Silverstein et al.(1998)],[Lau and Horvitz(1999)]

4 años después.Datos de logs de buscadores

Características únicasPocas consultasPocos términosPocos resultadosNo debido a usuarios inexpertos [Cothey(2002)]

Uso de características avanzadasPoco usoA veces incorrectoMás propio de usuarios más expertos[Höscher and Strube(2000)]



Estudios Previos

Conclusiones

SRIs diseñados para ‘otros’ usuariosCaracterísticas diferenciadoras de la Recuperación deInformación en la Web



El problema


3 Análisis de las características de los usuariosEstudios PreviosEl problema

Análisis estratificadoConclusiones



El problema

Perspectiva muy amplia

Bueno para detectar grandes tendenciasMalo para detectar fenómenos más cercanos al usuario

¿Por qué introducen pocas palabras?¿Por qué comprueban pocos resultados?¿Por qué no hacen uso de búsquedas avanzadas?



El problema

Otro enfoque

Análisis estratificadoCreación de agrupaciones de consultas y sesionesPosibilidad de hallar tendenciasPosibilidad de elaborar teorías



Análisis estratificado

Análisis de las características de los usuarios1

3 Análisis de las características de los usuariosEstudios PreviosEl problemaAnálisis estratificado

Conclusiones

1Artículo en revisión en Journal on Information Sciences




Criterio de agrupación

15 % de apariciones en el log de consultasSesiones agrupadas según primera consulta

Sesiones detectadas mediante intervalo fijo




Criterio de agrupación: Ejemplo

Grupo Consulta Apariciones Rango Diferencia1 google 332.002 0 02 ebay 139.171 49.800 192.8312 yahoo 130.535 20.875 8.6363 yahoo.com 97.518 20.875 41.6533 mapquest 88.268 14.628 9.2504 google.com 79.990 14.628 17.5284 myspace.com 77.202 11.998 2.7884 myspace 74.362 11.998 5.620




Resultados: Grupos de consultas

Número de consultas Número de aparicionesde la primera consulta

60 GruposLong-tail en número de consultas y de apariciones




Resultados: Grupos de sesiones

Número de sesiones Número de aparicionesde la consulta inicial

60 gruposLong-tail en número de apariciones




Resultados: Relaciones entre grupos

Consultas y sesiones Sesiones y consultas

Relaciones con grupos ‘equivalentes’Relaciones con últimos grupos




Resultados: Consultas (Longitud)

Más frecuentes las más cortasConsultas de términos comunesRepresentabilidad de estudios anteriores




Resultados: Consultas (Resultados Visitados)

Número de resultados Posición de resultados

Número: Aumento en las consultas menos frecuentesPosición: Aumento en las consultas menos frecuentes




Resultados: Consultas (Envíos fallidos)

Comportamiento inestable en primeros gruposDisminución en últimos grupos




Resultados: Consultas (Coeficiente Navegacional)

Indica cuándo el usuario buscaba una página en concretoMayor coeficiente para las más frecuentes




Resultados: Sesiones (Longitud)

Número de consultas

Mas consultas en losúltimos gruposPosibles desviacionesen los primeros

Longitud temporal

Disminución en losúltimos




Resultados: Sesiones (Resultados)

Número de resultados

Aumento en los últimosgrupos

Tiempo por resultado

Tiempo hasta lasiguiente interacciónMayor en las consultasde grupos intermedios




Resultados: Sesiones (Sesiones fallidas)

Mayor en las consultas de grupos intermedios



Conclusiones


3 Análisis de las características de los usuariosEstudios PreviosEl problemaAnálisis estratificadoConclusiones



Conclusiones

¿Poseen las consultas más populares característicasdistintas a las menos populares?

Las consultas más populares efectivamente exhiben unascaracterísticas diferentes a las de consultas menospopulares.



Conclusiones

Complejidad: Primeros grupos

Consultas más cortasMenor número de resultados visitadoMayor relación con ciertos resultados (CoeficienteNavegacional)Mayor cotidianeidad y menor complejidad.



Conclusiones

Complejidad: Últimos grupos

Consultas más largasMayor número de resultados visitadoMayor tiempo de sesiónMenos sesiones y envíos sin mirar resultadosResultados más lejanosMayor complejidad en esas consultas



Conclusiones

Importancia de la larga cola

Mayor parte de consultas realizadas pocas vecesMayor complejidad expresada por esas consultasMayor necesidad de ayuda por parte de SRIs



Conclusiones

Ventajas del análisis

Percepción de complejidad de sus metasAnálisis del esfuerzo realizado


Análisis de la intención de los usuarios


1 Introducción





6 Conclusiones




Estudios Previos


4 Análisis de la intención de los usuariosEstudios Previos

AnálisisConclusiones



Estudios Previos

¿Qué busca el usuario?

Primer interés básicoConocimiento de temas de búsqueda del usuarioModalidades

Términos o consultas más realizadosTaxonomía de temas de búsqueda

Más utilidad para webmasters y anunciantes



Estudios Previos

¿Qué tareas puede realizar?

Acciones a realizar sobre una consultaAdición de términosModificación de términosEliminación de términos

Comprensión de accionesDiseño de herramientas de ayudaAdaptación de los SRIs a los usuarios

Tareas muy generales



Estudios Previos

¿Con que intención?

Taxonomias

Intentos de categorización de consultasNo por la temática de la consultaBasado en el comportamiento del usuarioTradición en el área de Recuperación de Información

[Broder(2002)]Navegacionales:google, cnn, apple store

Informacionales:Acelerador de partículas, trenes alemania

Transaccionales:comprar entradas concierto, descarga películastorrent

Clasificación no unívoca



Estudios Previos

¿Con que intención?

Intentos de categorizaciónIntentos manuales

Más sencillosMenos completosCaracterísticas léxicas y semánticas

Longitud consulta, significado de los términos...Resultados dependientes del analizadorContradicciones entre ellos

Intentos automatizadosMás completosInferencia de intenciones complicadaCaracterísticas léxicas y semánticas [Jansen et al.(2008)]Características de comportamiento



Estudios Previos

El Problema

Características de búsqueda no informan sobre elescenario de búsqueda del usuario.Las tematicas de búsqueda no informan sobre el tipo debúsqueda.Las tareas realizadas no aclaran las razones.El análisis basado en léxico y semántica introducedesviaciones



Análisis

Análisis de la intención de los usuarios2

4 Análisis de la intención de los usuariosEstudios PreviosAnálisis

Conclusiones

2Artículo a presentar en Workshop on Information Retrieval



Análisis

Objetivo

Identificar consultas navegacionales a partir decaracterísticas estadísticasEncontrar criterios de ‘navegabilidad’

Coeficientes NavegacionalesBasados en el comportamiento del usuarioCriterios comparables

Realizar pruebas sobre el log de AOL



Análisis

Criterios: Relevancia del resultado mas importante

Comportamiento esperadoAlta concentración de visitas a un resultadoRelación fuerte entre consulta y resultadoLa consulta es el ‘nombre’ del resultadoPlanteado por Lee et al (2005)



Análisis


Formula planteada

NC =Visitas_al_resultado_mas_popular

Visitas_a_resultados

Porcentaje de visitas al resultado más popular.



Análisis


Consultadrudge retortsoulfuldetroitcosmology bookttologin.comjjj’s thumbnailgallery postbeteagleyscufrumsupportcricketnext.commsitf

Consultas con pocasrealizacionesConsultas atípicasInfluencia de lasacciones de usuariosindividuales



Análisis

Criterios: Número de resultados distintos

Comportamiento esperado

PolisemiaPara distintos usuarios la misma consulta puede llevar adistintos sitiosDistintas versiones del mismo sitioComportamiento navegacional para cada sitio



Análisis


Formula planteada

NC = 1 − Resultados_distintosVisitas_a_resultados

Cuantos más resultados menor caracter navegacional



Análisis


Resultados

Consultagoogle

yahoo.commapquestyahooebay

google.combank of americawww.google.comwww.yahoo.comyahoo mail

Consultas más típicasAltos valores de‘navegabilidad’Características léxicasy semánticas similaresa otros estudios



Análisis

Criterios: Porcentaje de sesiones navegacionales

Comportamiento esperadoConsultas navegacionales aisladas en una sola sesiónEl resultado satisface la consulta realizada



Análisis


Formula planteada

NC =Numero_de_Sesiones_navegacionales

Numero_de_Sesiones

Porcentaje de sesiones con caracter navegacional



Análisis


natural gas futurescashbreak.comallstar puzzlestimes enterpriseinstapunditclarksville leafchroniclefirst charter onlinemission viejo nadadorescounty of san joaquinbooking logthomas myspace editorbeta

Consultas atípicasConsultas pococomunesCaracterísticas léxicasy semánticas ‘similares’a otros estudios



Conclusiones


4 Análisis de la intención de los usuariosEstudios PreviosAnálisisConclusiones



Conclusiones

Conclusiones: Comparación

Un resultado concentrando el tráfico suele indicar pocosresultados distintosA la inversa no se cumple



Conclusiones


Un resultado relevante o un pequeño conjunto de resultados noasegura sesiones navegacionales



Conclusiones


Un porcentaje alto de sesiones navegacionales suele implicarresultados relevantes y pocos



Conclusiones

Conclusiones: Combinación de CN

NC = CN_3 ∗ CN_1 + CN_22

Mayor importancia al resultado del análisis de sesionesnavegacionalesCompensación de los dos primeros coeficientes



Conclusiones

Conclusiones: Combinación de CN

Consulta Coeficiente Mediosoulfuldetroit 0,9964

aol people magazine 0,9940cashbreak.com 0,7894allstar puzzles 0,7832

first charter online 0,7796mission viejo nadadores 0,7758

instapundit 0,7731times enterprise 0,7678

clarksville leaf chronicle 0,7561el canario by the lagoon 0,7511



Conclusiones

Conclusiones: Características léxicas y semánticas

Algunos resultados presentan esas característicasEl estudio no las buscabaAlgunas consultas no habrían sido detectadas



Conclusiones

Conclusiones: Relación entre estadística ycomportamiento

Comportamiento deducido de características estadísticasPosibilidad de evaluación automática de consultasExtensible, en principio, a otros tipos de consultas


Análisis de las ayudas a la navegación


1 Introducción





6 Conclusiones




Estudios Previos


5 Análisis de las ayudas a la navegaciónEstudios Previos

ProblemaAnálisisConclusiones



Estudios Previos

Aspectos técnicos

Propuestas de SRIsDesarrollo de ayudasEvaluación de uso



Problema


5 Análisis de las ayudas a la navegaciónEstudios PreviosProblema

AnálisisConclusiones



Problema

Escasa observación del impacto en los usuarios

De SRIs desarrolladosDe la evolución de la web



Problema

Complejidad de los SRIs

Conglomerado de ayudasDificil discernimiento de responsabilidades



Problema

Disgregación de datos

Necesidad de datos de comportamiento de usuariosMultitud de SRIs con datos almacenados sin coordinaciónSRIs propietarios con datos no accesibles



Análisis

Análisis de las ayudas a la navegación3

5 Análisis de las ayudas a la navegaciónEstudios PreviosProblemaAnálisis

Conclusiones

3Artículo aceptado en Workshop for Ph.D. Students in Information andKnowledge Management



Análisis

Objetivo

Taxonomía de AyudasDivisión de SRIs en ayudas atómicasAnalisis de características de las ayudas

Planteamiento de experimentosAlternativas a datos no accesiblesMedición de efecto sobre usuarios, no adecuaciónEfecto sobre usuarios ideales, no reales



Análisis

Ayudas navegacionales: Listas de referencias

EjemplosDirectorios Webdel.icio.usBuscadores

Ayuda más básicaDeja constancia de undocumento o aplicaciónweb



Análisis

Ayudas navegacionales: Listas de referencias

TamañoSobrecargan alusuarioRequieren otrasayudasnavegacionalesnormalmente (p.ej:clasificación opersonalizacion )Menor impacto de lasobrecarga si la listaes predecible por elusuario

EfectosRevisitación de sitiosweb



Análisis

Ayudas navegacionales: Ranking

EjemplosBuscadores

Ordenación de listas deelementos

Basado en criterio de‘calidad’Efecto psicológico deconfianza[Jansen et al.(2007b)]Desánimo trasprimeros resultadosinfructuosos



Análisis

Ayudas navegacionales: Ranking

EfectosPocas visitas deresultadosadicionales

Agravado porciertasherramientasConsistente conotros estudios

Revisitación deprimeros resultados



Análisis

Ayudas navegacionales: Sugerencias

Ayuda sobre quéintroducir en SRIEjemplos

Tags en del.icio.us obloggerConsultas en Yahooo Google

Efecto psicológico deconfianza



Análisis

Ayudas navegacionales: Sugerencias

EfectosRepetición debúsquedasrealizadasMenos variedad deresultados extraidos



Análisis

Ayudas navegacionales: Recomendaciones

Ayuda sobre resultadosdel SRI interesantesEjemplos

AmazonGoogle HistoryBarra de navegación

Efecto psicológico deconfianzaCentran la atención delusuario en elementosde su interés



Análisis

Ayudas navegacionales: Recomendaciones

EfectosLimitan el área debúsqueda delusuario

Comportamientosde revisitaciónFrustración albuscar cosasdiferentes



Análisis

Ayudas navegacionales: Clasificación

EjemplosFlickrLast.fmClusty

Diferenciación de lasáreas de búsquedaEfecto psicológico deconfianza entaxonomías yautomáticasPosible sobrecarga delusuario



Análisis


EfectosNavegación decategoríasAbandono deconsultasespecíficas



Análisis

Ayudas navegacionales: Personalización

EjemplosLast.fmGoogle History

Recomendaciónbasada en perfil deusuario

Registro de accionespasadasFuerte desviación deresultados



Análisis


EfectosRevisitación deresultadosRestricción del áreade búsquedaPosible frustraciónante necesidad denuevos resultados



Análisis

Ayudas navegacionales: Monitorización

Seguimiento denovedades en sitioswebLiberación deobligación derevisitaciónExpresión de interesesdel usuario



Análisis

Ayudas navegacionales: Monitorización

EfectosMenos revisitaciónMás concentraciónde visitas



Análisis

Experimentos

Estudios preliminaresExperimentos no realizadosPrimera aproximación



Análisis

Experimentos

Efectos de RankingComparación de listas de referencias con y sin rankingconocidoListas ordenadas

Buscadores típicosLog de AOL

Listas sin OrdenLogs privados (p. ej. Flickr o del.icio.us)Desarrollo de SRIs propiosUso de APIs de tercerosÁmbitos más cerrados

Comparación de características de las consultas similar alrealizado en este TFMI



Análisis

Experimentos

Sugerencia de consultas en buscadores

Comparación de las consultas realizadas y las sugeridas

Logs de consultas (AOL)Uso de API’s

Elección de sugerencia

Aspecto más complicado¿Se evalúan todas?Elección de consulta con más resultados en común con larealizada realmenteSimulación de confianza del usuario

Comparación de características de las consultas similar alrealizado en este TFMI



Análisis

Experimentos

Revisita en consultas navegacionales

Analizar costumbres de búsqueda de un usuario

¿Se concentran las búsquedas sobre diversos temas enterminos?

Análisis de cambios a lo largo del tiempo



Conclusiones


5 Análisis de las ayudas a la navegaciónEstudios PreviosProblemaAnálisisConclusiones



Conclusiones

Conclusiones

Posibilidad de dividir SRIs en elementos más simples yanalizables

Posibilidad de plantear experimentos a realizar

Estudio en estado menos avanzado que los anteriores


Conclusiones

Conclusiones

1 Introducción





6 Conclusiones



Conclusiones

Respuestas a las cuestiones planteadas

Conclusiones

6 ConclusionesRespuestas a las cuestiones planteadas


Conclusiones


Respuestas

¿Poseen las consultas más populares características distintasa las menos populares? Sí

¿Puede deducirse la intención de los usuarios en base acaracterísticas conductuales, de manera automatizada? Sí

¿Podemos dividir los SRIs en ayudas más simples de maneraque éstas puedan ser objeto de estudio? Sí

¿Pueden diseñarse experimentos que nos permitan evaluar losefectos que éstos tienen sobre los usuarios? Sí


Conclusiones


Conclusión general

Es posible obtener información de cómo buscan los usuariosde una manera descriptiva diferenciando escenarios debúsqueda (estratos)

Es posible usar estadísticas para obtener información acercade la intención de los usuarios de modo automático

Esas estadísticas podrían ayudarnos a evaluar el impacto delas ayudas de navegación sobre el comportamiento de losusuarios


Futuras líneas de investigación


1 Introducción





6 Conclusiones





Uso de otros criterios de estratificación de logs

P.Ej: criterios basados en intencionalidad

Posibilidad de obtener otros escenarios de búsqueda

Estratificación de otros logs y comparabilidad

Repetibilidad de los experimentos

Verificación de conclusiones




Combinación de criterios de navegacionalidad

Obtención de un criterio mas unificado

Estudio de otros logs de consultas para realizar comparacionesentre ellos

Análisis de otras intencionalidades del usuario

Análisis de comportamientos esperados de los usuarios

Repetición de experimentos para cada intencionalidadPropuesta para el ‘Workshop on Web Search Click Data’

‘Survey and evaluation of query intent detection methods’Acceso a log de búsquedas Microsoft 2006 RFP.

Uso de intencionalidades del usuario para detección desesiones de búsqueda

Realimentación del algoritmo de detección de sesiones

Prevención de creación de sesioens artificiales

Combinación con otros criterios de segmentación




Estudio más profundo de cada ayuda navegacional

Variaciones

Requisitos

Análisis de interacción entre las ayudas

Realización de experimentos de estudio sobre las ayudasnavegacionales

Planteamiento de nuevos experimentos

Implementación de experimentos ya planteados


Fin

And Now...

Muchas gracias por su atención (y paciencia...)

¿Preguntas?


Bibliografía

Bibliografía

T. Berners-Lee.Information management: A proposal, 1989.

Steve Krug.Don’t Make Me Think: A Common Sense Approach to WebUsability, 2nd Edition.New Riders Press, 2nd edition, August 2005.ISBN 0321344758.


Bibliografía

Bibliografía

Martijn Koster.Aliweb - archie-like indexing in the web.In First conference on World-Wide Web, pages 175–182,Geneva, Switzerland, 1994. Elsevier Science Publishers B. V.

Brian Pinkerton.Finding what people want: Experiences with the webcrawler.In Second International World Wide Web Conference, 1994.


Bibliografía

Bibliografía

Bernard J. Jansen, Amanda Spink, Judy Bateman, and TefkoSaracevic.Real life information retrieval: a study of user queries on theweb.SIGIR Forum, 32:5–17, 1998a.

Craig Silverstein, Monika Henzinger, Hannes Marais, andMichael Moricz.Analysis of a very large altavista query log, 1998.


Bibliografía

Bibliografía

Tessa Lau and Eric Horvitz.Patterns of search: analyzing and modeling web queryrefinement.In Proceedings of the seventh international conference on Usermodeling, pages 119–128, Banff, Canada, 1999.Springer-Verlag New York, Inc.

Vivian Cothey.A longitudinal study of world wide web users’information-searching behavior.J. Am. Soc. Inf. Sci. Technol., 53:67–78, 2002.

Christoph Höscher and Gerhard Strube.Web search behavior of internet experts and newbies.Comput. Networks, 33:337–346, 2000.


Bibliografía

Bibliografía

Andrei Broder.A taxonomy of web search.SIGIR Forum, 36:3–10, 2002.

Uichin Lee, Zhenyu Liu, and Junghoo Cho.Automatic identification of user goals in web search.In Proceedings of the 14th international conference on WorldWide Web, pages 391–400, Chiba, Japan, 2005. ACM.ISBN 1-59593-046-9.


Bibliografía

Bibliografía

Bernard J. Jansen, Danielle L. Booth, and Amanda Spink.Determining the informational, navigational, and transactionalintent of web queries.Inf. Process. Manage., 44:1251–1266, 2008.

Bernard J. Jansen, Mimi Zhang, and Ying Zhang.The effect of brand awareness on the evaluation of searchengine results.In CHI ’07 extended abstracts on Human factors in computingsystems, pages 2471–2476, San Jose, CA, USA, 2007b. ACM.

presentación lectura tfmi

Education