seoplus 2016 - optimización del crawling por luis m. villanueva

Luis M. Villanueva

OPTIMIZACIÓN DEL CRAWLING – NIVEL PRO

UN POCO DE HISTORIA…

OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter @lu1sma

¿COMO FUNCIONA GOOGLE?


• Nuestras Arañas siguen los enlaces para llegar a otras páginas.• KW en el título, URL… SINÓNIMOS (Vídeo de 2010)• Relevancia de la Página = Enlaces Externos• Mostramos Resultados Imparciales

Matt Cutts.

Referencia: https://www.youtube.com/watch?v=BNHR6IQJGZs

https://www.youtube.com/watch?v=BNHR6IQJGZs

FRECUENCIA DE RASTREO


“Los Algoritmos de Google determinan que Sitios rastrear y con que frecuencia. Además dentro de cada Sitio también se decide

que URLS se van a explorar”.

Google

Referencia: https://www.google.com/intl/es/search/about/insidesearch/howsearchworks/crawling-indexing.html

https://www.google.com/intl/es/search/about/insidesearch/howsearchworks/crawling-indexing.html

HABLEMOS DE CRAWLING


CRAWL BUDGET

“Dependiendo de la Autoridad de cada página (Page Rank), cada Site tendrá asignado un Crawl Budget (Presupuesto de Rastreo)

diferente y limitado”.

Matt Cutts.

Referencia: https://moz.com/blog/an-illustrated-guide-to-matt-cutts-comments-on-crawling-indexation

https://moz.com/blog/an-illustrated-guide-to-matt-cutts-comments-on-crawling-indexation

APLICANDO LA LÓGICA


CRAWL BUDGET

“Debemos Facilitarle a GoogleBot el Crawleo y mejorar la experiencia de usuario en nuestra página”.

• Solo debemos indexar lo verdaderamente importante, dando respuesta a las preguntas de nuestros posibles clientes.

• La web tiene que estar ordenada de forma que el usuario se encuentre cómodo navegando por ella.

¿CÓMO SABEMOS CUAL ES EL NUESTRO?


IMPORTANTE: Google NO nos da el tiempo exacto que dedican sus arañas. Para eso están los LOGS.

LA LÓGICA NOS DICE QUE LA VELOCIDAD ES IMPORTANTE


WPO

• Hacemos que las Páginas pesen menos, por lo que el tiempo de descarga medio de páginas baja.

• Si tenemos el mismo Crawl Budget, pero nuestra web es más rápida, las arañas rastrearán más información.

EL WPO FUNCIONA (SIEMPRE Y CUANDO LA PÁGINA SEA CORRECTA)


IMPORTANTE: Comercio Electrónico que pasa de 190 visitas de media a 430 en 2 meses

AUMENTO DE + DEL 50%

3 CONSEJOS CLAVE ANTES DE LA PRÁCTICA


WPO

ELIMINAR URLS BASURA

POPULARIDAD

Mejorar la velocidad de Carga supone servir más páginas en menos tiempo.

Eliminar URLs irrelevantes supone que se rastrearán otras más interesantes.

Colocar más enlaces Internos y Externos a una página aumentará el rastreo de la misma.

LA AUDITORÍA SEO TÉCNICA


LAS BASES DE LA AUDITORÍA SEO

En la auditoría se analizarán los aspectos mas importantes de una página web a nivel de posicionamiento:

- Indexación: Que porcentaje de la web tiene Google en cuenta.

- Contenido: En que estado esta todo el contenido que se encuentra dentro de la web.

- Popularidad: Cual es la autoridad del dominio y la de sus competidores.

- Análisis: Todos los datos de analítica para identificar como interactúan las visitas.


SEGUIMOS LOS PASOS…

INDEXACIÓN

KW Research

A. Información

CONTENIDO

POPULARIDAD

Urls Indexadas, Urls Bloqueadas, Urls Necesarias, URLs Basura, etc.

Keywords rentables, keywords Competidas, Popularidad, etc.

Niveles de Clics, Estructura Web, Sintaxis URLs, etc.

Jerarquía Headings, Alts, Titles, Description, semantica, long tails, etc.

Enlazado Interno, Link Building, Nofollow, etc.


DEBEMOS CENTRARNOS EN…

INDEXACIÓN

KW Research

A. Información

CONTENIDO

POPULARIDAD

Urls Indexadas, Urls Bloqueadas, Urls Necesarias, URLs Basura, etc.

Keywords rentables, keywords Competidas, Popularidad, etc.

Niveles de Clics, Estructura Web, Sintaxis URLs, etc.

Jerarquía Headings, Alts, Titles, Description, semantica, long tails, etc.

Enlazado Interno, Link Building, Nofollow, etc.


¡EMPIEZA LA FIESTA!


¿POR DONDE EMPIEZO?


PÁGINAS / URLS RASTREADAS

PÁGINAS / URLS CORRECTAS

PÁGINAS / URLS BLOQUEADAS

PÁGINAS / URLS INDEXADAS

PÁGINAS / URLS CON TRÁFICO

DESGLOSANDO LA SEGMENTACIÓN DE URLS

URLS RASTREADAS

URLS CORRECTAS

URLS BLOQUEADAS

URLS INDEXADAS

URLS CON TRÁFICO

El Bot de Google las ha rastreado alguna vez (1,2,3M). Diferencia con Rastreables.

Son las URLs que se pueden Indexar, puesto que no impedimos su indexación.

Las URLs a las que les bloqueamos el acceso por Robots.txt

Son las URLs que Google tiene indexadas.

Son las URLs a las que Google está enviando tráfico.


EL DASHBOARD TÉCNICO


NECESITAMOS UNA HERRAMIENTA DE CRAWLEO


URLS TOTALES VS URLS RASTREADAS


IMPORTANTE: Pueden haber más URLs de las que muestra Screaming Frog – Se trata de un Crawler.

URLS CORRECTAS (INDEXABLES)


IMPORTANTE: Son todas aquellas URLs que no tienen NOINDEX, BLOQUEOS EN ROBOTS.TXT, ETC…

URLS CORRECTAS (INDEXABLES)


URLS BLOQUEADAS POR ROBOTS.TXT


URLS INDEXADAS (TOTALES) - APROX


URLS CON TRÁFICO ORGÁNICO


EMPEZAMOS A COMPLETAR EL DASHBOARD


¿QUÉ HAGO AHORA?


3 PREGUNTAS CLAVE¿CUALES SON MIS PÁGINAS +

IMPORTANTES?

¿QUÉ FRECUENCIA DE RASTREO TIENEN?

¿ESTÁN POSICIONADAS Y RECIBEN TRÁFICO?

“NO SE TRATA DE SABER USAR SOLO, SINO DE SABER INTERPRETAR”.

DEFINIENDO LA METODOLOGÍA…

1. Detección de Nº URLs Totales del Proyecto2. Detección URLS que se pueden Indexar (Correctas)3. URLs Indexadas4. URLS con Tráfico Orgánico5. URLs Canonicalizadas VS URLs con Canonical6. URLs con Noindex7. Noindex, Nofollow VS Robots.txt8. Niveles de Clics – A.I.9. Enlaces Internos diferentes a <200>10. Enlaces internos con “NOFOLLOW”??


OLVIDAMOS LO + IMPORTANTE


URLS RASTREADAS & FRECUENCIA DE RASTREO


1. Páginas rastreadas que no deben rastrearse & errores (3xx, 4xx, 5xx)2. ¿Páginas más rastreadas = Páginas más importantes?3. Tiempo de rastreo invertido en URLs y Recursos Innecesarios4. ¿URLs que no se están rastreando y son importantes?

CÓDIGOS RESPUESTA INCONSISTENTES


ANÁLISIS DE LOGS VS SIMULACIÓN DE CRAWLING


“Usar solo una herramienta de LOGS es un error, puesto que nos dejaremos páginas existentes

que hace tiempo que no son visitadas por bots o usuarios”.

¿QUÉ HAY QUE OPTIMIZAR?


OPTIMIZACIÓN RÁPIDA


ETIQUETA CANONICAL

ENLACES INTERNOS

CÓDIGOS RESPUESTA

CÓDIGOS 301

GOOGLE PANDA

No canonicalizar. Todas las URLs deben tener un canonical hacía ellas mismas.

Todos los enlaces internos deben apuntar a Páginas con códigos <200>.

Los códigos respuesta diferentes a 200, 301, 404 o 410, no deben existir.

Los códigos 301 pueden existir, pero no por enlazado nuestro.

Evitar el Contenido “SIMILAR” y el Thin Content.

OPTIMIZACIÓN AVANZADA


ETIQUETA NOINDEX

ROBOTS.TXT

PAGINACIONES

ENLACES NOFOLLOW

NIVELES – A.I.

Las URLs que deben llevar NOINDEX, son las que nos interesa el RASTREO.

El Robots.txt lo debemos usar para bloquear accesos a páginas IRRELEVANTES.

Paginaciones con rel next – prev, con noindex, bloqueadas, etc…

Aplicar en páginas que no queremos que se rastreen con frecuencia.

¿Qué páginas voy a alejar de la Home? - ¿Cuáles voy a acercar?

OPTIMIZACIÓN NIVEL PRO


“La mejor optimización es la diferenciación. Cambia, Analiza, Interpreta y vuelve a cambiar, analizar e Interpretar.”.

ERRORES COMUNES


NOINDEX, NOFOLLOW

CANONICALIZAR

CANONICAL -NOINDEX

SESIONES DE USUARIOS, ETC

Es prácticamente lo mismo que bloquear por Robots.txt - ¿Para qué?

¿Es realmente necesario? - ¿Hay otra forma mas eficiente de hacer lo mismo?

¡Cuidado con canonicalizar páginas con NOINDEX! – También NOINDEX, NOFOLOW

OJO CON LOS FILTROS, SESIONES, TRACKINGS, ETC… NO INDEXAR !!!

UN POCO DE LUZ EN ESTE INFIERNO


INDEXACIÓN + AI + POPULARIDAD

RESULTADOS - CASO Nº1

1




2




3


PARA TERMINAR…


Un truco SEO

“En el SEO no existen los magos ni los trucos rápidos, solo gente perseverante en busca de un objetivo: Mejorar la visibilidad y rentabilidad de

un Proyecto”.

MUCHAS GRACIAS

OPTIMIZACIÓN DEL CRAWLING – NIVEL PRO

seoplus 2016 - optimización del crawling por luis m. villanueva

Internet