desarrollo de una herramienta de planificación social media

DESARROLLO DE UNA HERRAMIENTA DE PLANIFICACIÓN SOCIAL MEDIA

EN LA BLOGOSFERA ESPAÑOLA

Pablo Aragón Asenjo

Director: Íñigo García Morte

Ponente: Fernando Tricas García

Julio de 2010

ÍNDICE

• INTRODUCCIÓN ContextoObjetivos

• BLOGOSFERA AnálisisConclusiones

• ARQUITECTURA Diseño distribuidoRastreoExtracciónIndexaciónAgrupamiento

• RESULTADO Resultados funcionalesResultados estadísticoConclusionesTrabajo FuturoReconocimientos

INTRODUCCIÓNBLOGOSFERA

ARQUITECTURA RESULTADOS

Contexto: Cierzo Development

CONTEXTOOBJETIVOS

• Marketing online y gestión de la reputación en Internet

Contexto: Cierzo Development

• Marketing online y gestión de la reputación en Internet

• Ubicada en el CEEI de Aragón

• Plataforma SMMART



CONTEXTOOBJETIVOS

Contexto: Social Media

CLIENTEPLANIFICACIÓN

BLOGOSFERA

RECUPERACIÓNIDENTIFICACIÓN

MONITORIZACIÓN

1. Adquirir el conocimiento necesario en las tecnologías Amazon EC2, Hadoop, Nutch, Lucene y Solr



CONTEXTOOBJETIVOS

Contexto: Objetivos

2. Implementar un sistema de rastreo de la blogosfera española, extracción de entidades de posts e indexación de las mismas

3. Desarrollar un sistema de agrupamiento de posts en conversaciones

ÍNDICE







ANÁLISISCONCLUSIONES

Análisis: Estimaciones de la blogosfera

• Technorati (2007) Más de 112 millones de blogs

• Blogpulse (2009) Más de 126 millones de blogs

• Bitacoras.com (2010) 417371 blogs en español



Análisis: 1º Proceso de expansión




Análisis: 2º Proceso de expansión




Resultados


• Grandes volúmenes de información

• Aparición de nuevos blogs

• Variaciones en la frecuencia de publicación

ÍNDICE





Amazon EC2 es el servicio de computación en nube



DISEÑO DISTRIBUIDORASTREOEXTRACCIÓNINDEXACIÓNAGRUPAMIENTO

Diseño distribuido: Amazon EC2

computación en nube perteneciente a Amazon

Servidores y discos duros configurables

Plataforma escalable de almacenamiento, transferencia y computación bajo demanda



Diseño distribuido: MapReduce en Hadoop


Framework de computación a gran escalaFramework de computación a gran escala

• Paradigma de programación MapReduce

• Sistema distribuido de ficheros





MAP

Entrada: (k1,v1)Entrada: (k1,v1)Salida: list(k2,v2)





MAP

Entrada: (k1,v1)

REDUCE

Entrada: (k2,list(v2)) Salida: list(v3)

Entrada: (k1,v1)Salida: list(k2,v2)



Diseño distribuido: Sistema Distribuido de Ficheros de Hadoop


• Hadoop Distributed FileSystem divide los ficheros en fragmentos

• Cada fragmento se replica en varios nodos• Cada fragmento se replica en varios nodos

Diseño distribuido: Argumentos a favor de Hadoop


• Alta tolerancia a fallos



• Gestión de memoria

• Coste económico

• Comparación con otras tecnologías

Diseño distribuido: Módulos del sistema







CrawlDb• URL• Última consulta

Módulo de rastreo: Estructura y flujo de datos

• Última consulta• Estado• Metadatos

Segment

• URL• Contenido HTML• Enlaces salientes

� Filtros positivos y negativos de URLS

Módulo de rastreo: Parámetros de configuración




� Identificador del motor

� Retardo entre consultas sucesivas

� Volumen y concurrencia de los threads

1. Distinción entre URLS de blogs y posts

Módulo de rastreo: Factores de rastreo




2. Relevancia social del blog

3. Frecuencia de publicación

4. Idioma

� Detector de frecuencias de publicación

� Identificación de la frecuencia de blogs

Módulo de rastreo: Implementaciones sobre Nutch




� Mecanismo de expiración de posts

� Detección de idiomas basado en n-gramas

� Inclusión de metainformación en CrawldB

� Lenguaje

� Número de consultas

� Herramientas de gestión de CrawlDb


Módulo de rastreo: Esquema final



Módulo de extracción




Extracción de las entidades de un post

� XPath

� Densidad de texto en el HTML

Módulo de indexación


� Búsqueda a texto completo

� Ordenación de resultados



� Ordenación de resultados

� Lematización de tokens

� Filtrado de palabras frecuentes

� Interfaz web de administración

� Replicación de índices

El módulo de agrupamiento realiza:

1. Tokenización de entidades

Módulo de agrupamiento




1. Tokenización de entidades

2. Generación de una matrices de tokens y distancias

3. Algoritmo de clusterización

Los resultados corresponden con las conversaciones que forman los posts

ÍNDICE







Resultados funcionales: Herramienta de planificación

RESULTADOS FUNCIONALESRESULTADOS ESTADÍSTICOSCONCLUSIONESTRABAJO FUTURORECONOCIMIENTOS

La integración del índice de posts, el módulo de agrupamiento y la interfaz web conforma la herramienta de planificación social media



Resultados estadísticos: Volumen de posts


• Pocos blogs de elevado volumen• Pocos blogs de elevado volumen

• Más blogs con un volumen intermedio

• Muchos blogs de volumen ínfimo



Resultados estadísticos: Puntuación de blogs


Gráfica análoga a la anterior � El modelo se ajusta a la realidad



Resultados estadísticos: Detección de idioma




Conclusiones


1. Implementación de un sistema que cumple los requisitos propuestospropuestos

2. Diseño de una arquitectura con un alto grado de escalabilidad

3. El modelo implementado se ajusta a la realidad de la blogosfera



Trabajo futuro


1. Utilización de esta arquitectura en nuevos productos



Trabajo futuro


1. Utilización de este diseño distribuido en nuevos productos

2. Replicación del sistema para otras fuentes del social media



Trabajo futuro


1. Utilización de este diseño distribuido en nuevos productos

2. Replicación del sistema para otras fuentes del social media

3. Implementación de productos que consumen estas fuentes



Reconocimientos


Presentación en el Congreso Apache Lucene Eurocon 2010Presentación en el Congreso Apache Lucene Eurocon 2010

Muchas gracias por su atención…

desarrollo de una herramienta de planificación social media

Technology