creación de prototipo para la generación de reportes a partir de twitter

PROFESOR GUÍA: LAUTARO GUERRA GENSKOWSKYPROFESOR CORREFERENTE: RICARDO ACEVEDO ALMONACID

CREACIÓN DE PROTOTIPO PARA LA GENERACIÓN DE REPORTES A PARTIR DE TWITTER

MEMORIA PARA OPTAR AL TÍTULO DE INGERIERO CIVIL INFORMÁTICO

1

FRANCO CASTRO NAVEA

INDICE

ÍNDICE

1. Contexto

2. Problema a abordar

3. Propuesta

4. Resultados

5. Conclusiones y trabajos futuros

6. Preguntas y comentarios

2

4

|

"

#$

% &

'

(

|

"

#$

% &

'

(

5

|

"

#$

% &

'

(

6

CONTEXTO

'

%

#

& |

"

$

7

PROCESO GATEKEEPING

INFORMACIÓN EN BRUTO

NOTICIA

CONTEXTO / PROCESO DE GATEKEEPING

MEDIO DE PRENSA

FUERZAS: SELECCIONES NO OPERATIVAS

EJEMPLO: ¿VA ACORDEA LA LINEA EDITORIAL DEL MEDIO DE PRENSA?

8

PUERTAS: SELECCIONES OPERATIVAS.

EJEMPLO: ¿ES POSIBLE VERIFICAR LA FUENTE?

CONTEXTO / PROCESO DE GATEKEEPING 9


NOTICIAS GENERADAS

”UNA NOTICIA ES LA COMUNICACIÓN DE INFORMACIÓN SELECCIONADA SOBRE UN EVENTO ACTUAL QUE POSTERIORMENTE ES PRESENTADO A TRAVÉS DE CUALQUIER MEDIO DE COMUNICACIÓN EXISTENTE”.[66]

Clay Shirky [1]


GATEKEEPINGVISIONES REFERENTES AL

16

CONTEXTO / VISIONES REFERENTES AL GATEKEEPING 17

VISIONES REFERENTES AL GATEKEEPINGWhite [2] identifica el proceso como demasiado subjetivo, pues las distintas etapas dependen de aspectos personales del gatekeeper.

Breed [3] identifica que los gatekeepers principales

son los editores.Gans [4] considera que el proceso de construcción de una noticia no está principalmente en el periodista o editor, sino en el proceso, las rutinas y las a disposiciones de la organización se dedican a la creación de noticias. Lewin [5] señala que la redacción de una

noticia incluyen el nivel individual de cada periodista, el nivel de las rutinas o prácticas de periodismo, el nivel de organización, el

nivel de los medios de comunicación y el nivel del sistema social en cada uno de los

cuales actúan fuerzas.


)

*

+

,

-

.

/ 0

IRRUPCIÓN CON LAS REDES SOCIALES Y EL PERIODISMO CIUDADANO


)

*

+

,

-

./

012

HERMINDA [6]

NUESTRO ESTUDIO INDICA QUE LA SELECCIÓN O FILTRO, ES EL PROCESO DE GATEKEEPING MÁS CERRADO PARA LOS USUARIOS Y CREEMOS QUE LO SEGUIRÁ SIENDO

HERMINDA [6]


PROBLEMA A ABORDARA PESAR DE LA IRRUPCIÓN DE LAS REDES SOCIALES Y EL SURGIMIENTO DEL PERIODISMO CIUDADANO, NO EXISTE PARTICIPACIÓN EFECTIVA NI TRASPARENCIA PARA LOS CIUDADANOS REFERENTE A LOS PROCESOS DE GATEKEEPING O SELECCIÓN DE UNA NOTICIA.

21

PROPUESTA

PROPUESTA

▸ Twitter como red social presenta interesantes componentes que llevan a que mucha gente lo utilice hoy en día como fuente de información inmediata.

▸ Se busca diseñar e implementar una herramienta que permita generar reportes de hechos noticiosos basado en las potencialidades de Twitter de un determinando evento, privilegiando aquellos reportes con menor cantidad de intermediarios, siendo estos, las y los observadores más cercanos físicamente al lugar donde ocurrió el hecho.

22

PROPUESTA / OBJETIVO PRINCIPAL

OBJETIVO PRINCIPAL

▸ Desarrollar un algoritmo computacional que permita recoger tweets que reporten un evento, priorizando los tweets geoposicionados cercano al lugar de ocurrencia del evento, para generar un relato temporal referente a dicho evento que será presentado mediante una interfaz web.

23

PROPUESTA / OBJETIVOS SECUNDARIOS

OBJETIVOS SECUNDARIOS

▸ Analizar trabajos previos y herramientas creadas con anterioridad para encontrar la forma adecuada y mas conveniente de proceder a la construcción de esta herramienta.

▸ Dotar al público interesado en informarse sobre eventos noticiosos de una herramienta de reporte de eventos que minimiza el filtrado y tratamiento editorial de contenidos.

▸ Desarrollar una interfaz web que sea clara y fácil de usar por el usuario.

24

DESARROLLO DEL PROTOTIPO

25

DESARROLLO DEL PROTOTIPO / ARQUITECTURA DE LA SOLUCIÓN

ARQUITECTURA DE LA SOLUCIÓN

26

PRESENTACIÓN DE LOS DATOS

PROCESAMIENTO DE DATOS

CAPTURA DE DATOS

ARQUITECTURA DE LA SOLUCIÓN / CAPTURA DE DATOS


27



CAPTURA DE DATOS

CAPTURA DE DATOS / PROCESOS DE CAPTURA

PROCESOS DE CAPTURA

28

CAPTURA DE USUARIOS

GEOPOSICIONAMIENTO DE LOS USUARIOS

CAPTURA DE DATOS

CAPTURA DE TWEETS

CAPTURA DE USUARIOS

PROCESOS DE LA CAPTURA DE USUARIOS

29

CAPTURA DE USUARIOS

CAPTURA DE MEDIOS DE PRENSA

CAPTURA DE SEGUIDORES DE LOS MEDIOS DE PRENSA

CAPTURA DE USUARIOS 30

LISTA DE MEDIOSLISTA DE

SEGUIDORES DE LOS MEDIOS

CAPTURA DE MEDIOS DE PRENSA

CAPTURA DE SEGUIDORES DE LOS MEDIOS DE PRENSA

CAPTURA DE USUARIOS

ARQUITECTURA DE LA SOLUCIÓN / PROCESAMIENTO DE DATOS


31



CAPTURA DE DATOS

PROCESAMIENTO DE LOS DATOS


32


DEFINICIÓN DEL TÓPICO

OBTENCIÓN DEL CONJUNTO DE

TWEETS

CLASIFICACIÓN Y APLICACIÓN DE

FILTROS

PROCESAMIENTO DE DATOS / DEFINICIÓN TÓPICO

¿QUÉ ES UN TÓPICO?

▸ TÍTULO

▸ FECHA INICIO CAPTURA

▸ COMUNA ORIGEN

33

UN TÓPICO ES UN HECHO NOTICIOSO O UN CONJUNTO DE ELLOS SOBRE UNA MISMA TEMÁTICA.

PROCESAMIENTO DE DATOS / OBTENCIÓN CONJUNTO TWEETS

OBTENCIÓN DEL CONJUNTO DE TWEETS

34

OBTENCIÓN DEL CONJUNTO DE TWEETS

RECOGER CONJUNTO DE

TWEETS

ELIMINAR TWEETS REPETIDOS

APLICACIÓN CLASIFICADOR BAYER-NAIVE

PROCESAMIENTO DE DATOS / CLASIFICACIÓN Y APLICACIÓN DE FILTROS

CLASIFICACIÓN Y APLICACIÓN DE FILTROS

35

CLASIFICACIÓN Y APLICACIÓN DE FILTROS

CONJUNTO DE TWEETS

ORDEN CRONOLÓGICO

OBTENCIÓN DE ENLACES

ORDEN GEOGRÁFICO

ORDEN RELEVANCIA


ORDEN DE RELEVANCIA

▸ Busca ordenar los tweets en base a su relevancia, entendida como la utilidad del tweet para informar al usuario.

▸ Se basa en la cantidad de re-tweet. La acción de re-tweet incluye leer el tweet, decidir si vale la pena compartir y luego actuar sobre ella. Es posible considerar el re-tweet como una señal explícita de que el usuario considera el tweet como información relevante [77].

▸ Este orden implementa un sistema de penalización temporal.

36

{{PROCESAMIENTO DE DATOS / CLASIFICACIÓN Y APLICACIÓN DE FILTROS

ORDEN DE RELEVANCIA

▸ Sistema de penalización temporal

37

{FUERA DE FECHA TOTALMENTE

FUERA DE FECHA

VIGENTE


ORDEN DE RELEVANCIA


38

{PRIMERA CLASE

{SEGUNDA CLASE

TERCERA CLASE

Nº RT

{


ORDEN DE RELEVANCIA


39

{{Nº RT

{

Fuera de fecha

PRIMERA CLASE

SEGUNDA CLASE

TERCERA CLASE


ORDEN DE RELEVANCIA


40

Nº RT

TOTALMENTEFUERA DE FECHA

{{{

PRIMERA CLASE

SEGUNDA CLASE

TERCERA CLASE


ORDEN GEOGRÁFICO

▸ Busca ordenar los tweets en base a la cercanía geográfica de su autor con respecto al lugar del tópico.

▸ Los tweets no vinculados a una zona geográfica son sancionados bajo los que sí están vinculados.

41


ORDEN GEOGRÁFICO

42


ORDEN GEOGRÁFICO

43


ORDEN GEOGRÁFICO

44


ORDEN GEOGRÁFICO

45


PANEL DE ENLACES

46

3

'

%

#

& |

"

$


FILTRO MEDIOS DE PRENSA

47


FILTRO MEDIOS DE PRENSA

48

ARQUITECTURA DE LA SOLUCIÓN / PRESENTACIÓN DE DATOS


49

PRESENTACIÓN DE DATOS


CAPTURA DE DATOS


NUEVO TÓPICO

50


ORDEN CRONOLÓGICO

51


ORDEN GEOGRÁFICO

52


ORDEN RELEVANCIA

53


RESUMEN DE ENLACES COMPARTIDOS

54


MENÚ ON/OFF MEDIOS DE PRENSA

55


LISTA DE TÓPICOS

56

RESULTADOS57

MODELO EVALUACIÓN / ASPECTOS VALOR NOTICIOSO

¿CÓMO MEDIR EL VALOR NOTICIOSO QUE TIENEN LOS RESULTADOS RECOGIDOS?

58

NOTICIA DELIMITACIÓN

VIGENCIA

IMPACTO

QUE SURJA RESPECTO A UN HECHO CONCRETO OCURRIDO

QUE SE ENCUENTRE EN EL MARGENTEMPORAL CERCANO AL SUCESO QUE O ORIGINÓ

QUE SEA PRESENTADA PORALGÚN MEDIO DE PRENSA

RESULTADOS / MODELO EVALUACIÓN

¿QUE CONTIENEN LOS TWEETS RECOGIDOS PARA UN TÓPICO?

59

¿El tweet se refiere al tópico en cuestión?

¿El tweet se refiere en general o a un hecho en particular?

¿El hecho aludido es nacional o internacional?

¿Posee gran envergadura?Tweet

descartadoOpinión general

InsumoInternacional

Aporte a la discusión

Se refiere a un hecho noticioso

MODELO EVALUACIÓN / CRITERIOS DE SELECCIÓN MEDIOS DE REFERENCIA

¿CÓMO MEDIR LA REGENCIAS A LAS NOTICIAS?

60

NOTICIA

POPULARIDAD EN TWITTER

PUBLICACIÓN CONSTANTE

MÉTODO DE DIFUSIÓN

CANTIDAD DE SEGUIDORES EN TWITTER.

QUE SEA PRESENTADA PORALGÚN MEDIO DE PRENSA

PRIMERAS POSICIONES RANKING ALEXA

RANKING DE TRÁFICO

NOTICIAS GENERALISTAS

MODELO EVALUACIÓN / CRITERIOS DE SELECCIÓN MEDIOS DE REFERENCIA

MEDIOS CHILENOS DE REFERENCIA

61

24 Horas1.6M seguidores246K tweets15/11/2009

Bío-Bío Chile1.3M seguidores432K tweets3/05/2008

La Tercera0,9M seguidores265K tweets2/04/2007

62

CASO DE PRUEBA: EL ABORTO1 de junio del 2014 al 18 de febrero 2015

CASO DE PRUEBA: EL ABORTO

CONJUNTO DE TWEETS

▸ Tweets recogidos: 1357

▸ Ubicación tópico: Santiago.

▸ Enlaces recogidos: 613 enlaces.

63

CASO DE PRUEBA: EL ABORTO / ANÁLISIS DE CONTENIDO

ANÁLISIS DE CONTENIDO

64

35%65%

No hacen referenciaHacen referencia


CONTENIDOS QUE NO SE REFIEREN A UN HECHO NOTICIOSO

65

35%65%

8%18%

73%

Opinión GeneralAporte a la discusiónInsumo InternacionalTweet descartado


REFERENCIA A HECHOS NOTICIOSO CUBIERTOS POR LOS MEDIOS DE REFERENCIA

66

35%65%

54% 46%55% 45%

58%42%

Con referencia a hecho noticiosoSin referencia a hecho noticioso

CASO DE PRUEBA: EL ABORTO / ANÁLISIS TEMPORAL

ANÁLISIS TEMPORAL

67

CASO DE PRUEBA: EL ABORTO / ANÁLISIS TEMPORAL

HECHOS NOTICIOSOS DURANTE EL PERIODO

68


ANÁLISIS GEOGRÁFICO DE LOS AUTORES

69

CONCLUSIONES70

CONCLUSIONES

CONCLUSIONES

▸ Cumplimiento de objetivos.

▸ Aplicación a otras regiones geográficas.

▸ Consideraciones sobre las conclusiones.

71

MEJORAS Y TRABAJOS FUTUROS

MEJORAS Y TRABAJOS FUTUROS

▸ Geoposicionamiento de los usuarios

▸ Incorporación de AWS.

▸ Consideraciones sobre las conclusiones.

72

¿PREGUNTAS?¿COMENTARIOS?

73

BIBLIOGRAFÍA

BIBLIOGRAFÍA

▸ [1] Clay Shirky. Here Comes Everybody. Penguin Books, London, 2008.

▸ [2] D. M. White. The gate keeper: A case study in the selection of news. Journalism Quarterly. Bobbs-Merrill, 1950.

▸ [3] W. Breed. Social Control in the Newsroom: A Functional Analysis. Bobbs-Merrill Reprint Series in the Social Sciences, S34. Bobbs-Merrill, 1955.

▸ [4] H.J. Gans. Deciding What’s News: A Study of CBS Evening News, NBC Nightly News, Newsweek, and Time. Medill School of Journalism Visions of the American Press Series. Northwestern University Press, 1979.

▸ [5] K. Lewin. Field theory in social science: selected theoretical papers. Social science paperbacks. Harper, 1951.

▸ [6] Alfred Hermida. Twittering the news. Journalism Practice, 4(3):297–308, 2010.

74

PROFESOR GUÍA: LAUTARO GUERRA GENSKOWSKYPROFESOR CORREFERENTE: RICARDO ACEVEDO ALMONACID

CREACIÓN DE PROTOTIPO PARA LA GENERACIÓN DE REPORTES A PARTIR DE TWITTER

MEMORIA PARA OPTAR AL TÍTULO DE INGERIERO CIVIL INFORMÁTICO

FRANCO CASTRO NAVEA

ANEXOS76

ANEXOS/ EL PROCESO DE GATEKEEPING

MEDIO DE PRENSA 1 MEDIO DE PRENSA 2 MEDIO DE PRENSA 3

77

DISTINTOS MEDIOS DE PRENSA, DISTINTOS GATEKEEPING

78VISIONES REFERENTES AL GATEKEEPING

White [1] identifica el proceso como demasiado subjetivo, pues las distintas etapas dependen de aspectos personales del gatekeeper.

Breed [2] identifica que los gatekeepers principales

son los editores.Gans [3] considera que el proceso de construcción de una noticia no está principalmente en el periodista o editor, sino en el proceso, las rutinas y las a disposiciones de la organización se dedican a la creación de noticias.

Lewin [4] señala que la redacción de una noticia incluyen el nivel individual de cada

periodista, el nivel de las rutinas o prácticas de periodismo, el nivel de organización, el

nivel de los medios de comunicación y el nivel del sistema social en cada uno de los

cuales actúan fuerzas.

79VISIONES REFERENTES AL GATEKEEPING

Lorenzo Gomis en [8] desarrolla la siguiente idea: los medios de comunicación y los periodistas no sienten interés por los problemas derivados de las posibles repercusiones de sus mensajes, pues no son ellos quienes los generan intencionalmente, sólo los comunican y los efectos de ambas acciones son incomparables 3.

Jean-François en [7] crítica la tendencia a priori que

inducen los distintos medios de prensa en las

distintas noticias

Real, Agudiez, Príncipe en [9] afirman que actualmente existe un descontento y

desilusión ciudadana con los medios de prensa pues éstos últimos no cumplieron

con su parte del contrato social (la de velar por la transparencia y la difusión de ésta

información).

80FORMAS CIUDADANAS ACTUALES DEPARTICIPAR EN LOS MEDIOS DE PRENSA

Blogs.Envío de fotografías y vídeos.Entrevistas colectivas.Comentarios. Ranking de contenidos según votos de Usuarios.Foros.Encuestas. Comentarios en redes sociales.

12

USUARIOSGEOPOSICIONAMIENTO DE

81

ANEXOS

GEOPOSICIONAMIENTO DE LOS USUARIOS

▸ Cheng [10] identifica utilizando sólo el campo de ubicación a 12% de los usuarios mediante el campo ubicación. 10,12% utilizando el contenido de los tweets y mediante el uso de palabras más utilizadas de acuerdo a un contexto geográfico sin mucho éxito. (inferior al 10%)

▸ Al analizar técnicas mixtas (análisis de palabras típicas y relaciones sociales en la Twitter) logra posicionar el 54.26% de los usuarios.

82

GEOPOSICIONAMIENTO DE USUARIOS

GEOPOSICIONAMIENTO DE USUARIOS

▸ Se considera el campo ubicación del perfil del usuario de Twitter y se realiza una similitud con el nombre de las comunas de Chile [9] utilizando la distancia de Levenshtein.

▸ Se identifica que el valor más óptimo de la distancia de Levenshtein es 3, con el cual se consigue geoposicionar 114.016 del total de 650.000 usuarios (correspondiente al 17,54 % de usuarios).

83

GEOPOSICIONAMIENTO DE USUARIOS 84

GEOPOSICIONAMIENTO DE USUARIOS 85

Región Usuarios de Twitter Población realUsuarios(M) Porcentaje Habitantes(M) Porcentaje

Región de Arica y Parinacota 1,914 1,68 185,0 1,1Región de Tarapacá 4,477 3,93

5,27 314,5 1,8

Región de Antofagasta 6,005 5,27 575,3 3,4Región de Atacama 0,974 0,85 280,5 1,6Región de Coquimbo 4,411 3,87 718,7 4,2Región de Valparaíso 7,111 6,24 1759,2 10,3Región de O’higgins 4,756 4,17 883,4 5,2Región del Maule 6,183 5,42 1007,8 5,9Región del Bío-Bío 16,862 14,79 2036,4 11,9Región de La Araucanía 0,825 0,72 970,4 5,7Región de Los Ríos 2,245 1,97 379,7 2,2Región de Los Lagos 4,891 4,29 836,3 4,9Región de Aisén 0,565 0,5 104,8 0,6Región de Magallanes y la Antártica 1,298 1,14 158,7 0,9Región Metropolitana 51,499 45,17 6883,6 40,3Total 114,016 100 17094,3 100

Usuarios de Twitter por región de Chile.

CAPTURA DE LOS DATOS 86

Dato Nº registros

USUARIOS 650.000

TWEETS 17.300.000

Cantidad de datos capturados por el prototipo. Elaboración propia.

TIEMPOS DE LOS ALGORITMOS 87

Dato Tiempo (s)

USUARIO 2,6945

TWEET 0,9658

Tiempo promedio para descargar un dato respetando las restricciones de solicitudes por hora impuestos por la API TWITTER

ANÁLISIS DE RESULTADOS

MUESTRA REPRESENTATIVA

▸ Tamaño Conjunto = 1357

▸ Error Estándar = 15%

▸ Porcentaje estimado de la muestra P = 0,9

▸ Tamaño de la muestra 309

88

ANÁLISIS DE RESULTADOS

CONJUNTOS DE CLASIFICACIÓN BAYES-NAIVE

89

Clasificación Aceptados Rechazados Total

Entrenamiento 181 19 200

Validación 93 6 99

CASO DE PRUEBA: EL ABORTO 90

Comisiones de salud de las cámaras de diputados y senadores inician debate sobre proyectos de despenalización del aborto.

Anuncio del proyecto de despenalización del aborto.

ONU pide a Chile incluir violación como causa para hacerlo de forma legal.

Caso de joven de 13 años violada y embarazada.

2 JUNIO 2014

26 JUNIO 2014

24 JUNIO 2014

3 NOVIEMBRE 2014

Declaraciones de ministra de salud Henia Molina en La Segunda sobre los abortos en clínicas chicas.

30 DICIEMBRE 2014

CASO DE PRUEBA: EL ABORTO 91

Renuncia de la ministra de salud Henia Molina.

DC afirma que sus votos no están asegurados para apoyar el proyecto de despenalización del aborto.

Declaraciones Rector PUC respecto a trabajadores que quieran realizar abortos en la RED PUC

10 DICIEMBRE 2014

17 ENERO 2015

1 FEBRERO 2015

Red Clínicas privadas declara que no realizará abortos en sus recintos.5 FEBRERO 2015

6 FEBRERO 2015Críticas a dichos de Lorenzini sobre los motivos, que a su juicio, causarían una decisión.

Cade: 71% aprueba proyecto de ley de despenalización del aborto.9 FEBRERO 2015

ANEXOS

COTIZACIÓN EN AWS

92

Instancia DescripciónCosto Mensual

(US$)

EC2Linux c4.2xlarge, On demand con 1 adelanto parcial de reser-

va, 20 % utilizacion por mes. Transferencia de datos de entrada ́

10GB/Mes, Transferencia de datos de salida 3GB/Mes

102,930

EC2Linux t2.small, On demand con 1 adelanto parcial de reserva, 100 % utilizacion por mes. Transferencia de datos de entrada ́

10GB/Mes, Transferencia de datos de salida 3GB/Mes4,380

RDS db.r3.large, 100 GB, 200 IOPS, Mysql, 100 % utilización por mes 19,900

Costo total mensual344.2

($244.928,4)

creación de prototipo para la generación de reportes a partir de twitter

Software