uso de métodos estadísticos en campañas de adwords
Post on 22-Dec-2014
2.104 Views
Preview:
DESCRIPTION
TRANSCRIPT
Métodos Estadísticos para la Planificación de Campañas de Adwords
Justo IbarraSenior Analyst – Intellignos
jibarra@intellignos.com
Situación Inicial
Se utiliza Adwords para generar subscripciones a un Newsletter Deportivo.
La campaña muestra anuncios en español y en inglés. Se compraron 4 Keywords: Basket, Beisbol, Fútbol y Soccer. Se crearon dos grupos de anuncios, uno para fútbol y otro para el resto de los deportes.
Se emplean tanto la concordancia amplia como específica. Los copys tienen diferente nivel de calidad.
Estructura de la Campaña
Campaña Grupo de anuncios Keyword Concordancia CalidadEnglish Futbol Soccer Amplia 8
Otros Deportes Basket Amplia 5Español Futbol Futbol Amplia 0
Otros Deportes Beisbol Exacta 7
¿Cuánto influye cada uno de estos aspectos en el CPA global de nuestra campaña?
Los Desafíos
¿Es posible ajustar un modelo estadístico a una campaña con estas características? ¿Se puede determinar el impacto de cada aspecto en el CPA Global de nuestra campaña? ¿Qué combinación arrojaría mejores resultados? ¿Es posible estimar el CPA a partir de los datos disponibles?
El Modelo Estadístico
En función de los datos disponibles recurrimos a un modelo de Regresión Lineal Multivariante.
Este modelo busca estimar los valores de una variable independiente numérica a partir de los valores de un conjunto de variables independientes numéricas y dicotómicas (dummy).
Estadísticamente se expresa: Y = + X1 + X2 + ... + Xn + donde:Y = variable dependienteX1 , X2 , Xn = variables independientes
= coeficientes de regresión= error de predicción
Entendiendo el Modelo
La forma más sencilla de estimación lineal es utilizar el valor promedio de CPA, pero esto elimina sus variaciones
Entendiendo el Modelo
La regresión lineal busca estimar el CPA usando información de otras variables para disminuir el error de estimación
Entendiendo el Modelo
Lo importante es crear un modelo que permita maximizar la proporción de varianza explicada empleando pocas variables explicativas. Existen algunas restricciones a considerar:
- Colinealidad: las variables explicativas son independientes entre sí.- Homocedasticidad: el error de estimación tiene esperanza cero y distribución normal para todos los valores considerados.- No autocorrelación de los residuos: los residuos no presentan autocorrelación serial.- Especificación correcta: todas las variables explicativas han sido incluidas en el modelo y no se presenta sobre-determinación.
Planteamiento del Modelo
Para estimar el CPA planteamos las siguientes hipótesis:
- El CPA guarda relación directa con la cantidad de clics, el CPC y la posición promedio.- Mantiene relación inversa con la Calidad del Anuncio y el CPC Máximo.- Las Keywords más relevantes y el criterio de búsqueda exacto disminuyen el CPA.- La hipótesis nula indica que el CPA no es afectado por estas variables en grado significativo.
Analizando los Datos
Primero es necesario realizar la transformación de variables categóricas en dicotómicas (dummy) de la siguiente forma:
Var. Original:
Categorías:
Var. Dummy:
Categorías:
Keyword
Basket Beisbol Fútbol Soccer
d_Basket d_Beisbol d_Fútbol d_Soccer
Basket = 1Beisbol = 0Fútbol = 0Soccer = 0
Basket = 0Beisbol = 1Fútbol = 0Soccer = 0
Basket = 0Beisbol = 0Fútbol = 1Soccer = 0
Basket = 0Beisbol = 0Fútbol = 0Soccer = 1
Analizando los Datos
Es posible analizar los datos con Excel utilizando el complemento de análisis de datos que debemos instalar así:
1- Haga clic en el Botón Microsoft Office y, a continuación, haga clic en Opciones de Excel.
2- Haga clic en Complementos y, en el cuadro Administrar, seleccione Complementos de Excel.
3- Haga clic en Ir.
4- En el cuadro Complementos disponibles, active la casilla de verificación Herramientas para análisis y, a continuación, haga clic en Aceptar.
Tendremos ciertas limitaciones: - El formato de las variables debe ser numérico.- Los datos deben estar un rango continuo y sin celdas vacías.- No podemos analizar más de 16 variables independientes.- No podemos ajustar los criterios de entrada de las variables.
Analizando los Datos
Datos -> Análisis de Datos -> Regresión
Analizando los DatosRango Y -> var. dependiente Rango X -> var. Explicativas
Analizando los DatosObtendremos una salida de resultados de la siguiente forma
Analizando los Datos
Empleando el software SPSS podremos incrementar la capacidad de análisis estadístico y resolver los problemas que conlleva Excel respecto de la estructura de los datos.
El programa seleccionara las variables que integran el modelo y podremos realizar test para comprobar el cumplimiento de los supuestos que limitan el empleo de la regresión lineal.
ADVERTENCIA: Voy a mostrar números y fórmulas es el momento
apropiado para los que se quieran escapar de la sala
El éxodo masivo
AHORA QUE SE FUERON TODOS
Interpretando los Resultados
Existen dos modelos posibles uno que explica el CPA solo en base a los clics y otro que combina clics y gasto en Adwords.
Coeficiente de Correlación varía entre -1 y 1:1 correlación perfecta positiva-1 correlación perfecta negativa0 independencia estadística
Coeficiente de Regresión Lineal varía entre 0 y 1:Indica la proporción de varianza atribuible a la incidencia de las variables explicativas en este caso casi un 42%
Varianza o suma de cuadrados:Se descompone en la parte explicada por el modelo y la parte residual no explicada
Varianza Total =
Varianza Explicada =
Varianza Residual =
Interpretando los Resultados
Los coeficientes de regresión del modelo indican el impacto de las variables sobre el CPA
Coeficientes Beta ponderan el impacto de los cambios en los
valores de las variables explicativas: * X
Coeficientes estandarizados homogeneízan la escala de
medición para permitir comparar el impacto de las
variables
Nivel de Significación estadística su valor crítico
debe ser inferior a =0,05 o sea un error del 5%
Para que un coeficiente sea significativo el intervalo de confianza debe excluir al valor cero del rango que
cubre el mismo
La ecuación de la recta de regresión en nuestro caso sería:
CPA = - 0,022 + 0,024 * Clic +/- 0,42 error
Interpretando los Resultados
Para confirmar si las restricciones del modelo se cumplen tenemos que observar los siguientes gráficos:
La distribución de los residuos estandarizados debería ajustarse a una curva normal. En este caso se observa una mayor desviación hacia la derecha
lo que podría indicar que estamos subestimando sistemáticamente el CPA
La probabilidad acumulada de los residuos estandarizados debería
ajustarse a la línea diagonal. En este caso tenemos mayor cantidad de
residuos con valores pequeños que lo esperado lo que indica desajuste.
Interpretando los Resultados
Para confirmar si las restricciones del modelo se cumplen tenemos que observar los siguientes gráficos:
La distribución de los residuos estandarizados debería seguir un
patrón irregular para todos los valores. En nuestro caso encontramos
problemas de estimación cuando el CPA es cero o mayor a $ 0,60
Sobrestimación
Subestimación
La distribución de los residuos estandarizados debería seguir un
patrón irregular para todos los valores. En nuestro caso encontramos
problemas de estimación a medida que los valores predichos crecen
Subestimación
Sobrestimación
Interpretando los Resultados
Sin embargo no son tantos los casos donde el error de predicción es superior a 2 desvíos estándar:
Solo en 9 casos entre 124 la estimación realizada excedió el margen de error
determinado por una distribución normal
La línea media representa la recta de regresión lineal y las líneas en los
márgenes los límites superior e inferior de la estimación al 95% de confianza
Corrigiendo el Modelo
El modelo tiene errores de especificación porque la cantidad de clics es una función dependiente de otras variables. Para resolverlo plantearemos un nuevo modelo más complejo:
CPA
Clics
CPC Promedio
Impresiones
Posición Promedio
CPC Máximo
El nuevo Modelo
Este modelo plantea una regresión en dos etapas, en la primera se estiman los clics y el CPC promedio y posteriormente el CPA. Las hipótesis se formulan de la siguiente manera:
Mayor cantidad de impresiones y mejor posición incrementan la cantidad de clics obtenidos.
Mejor posición y mayor CPC que estamos dispuestos a pagar incrementan el CPC promedio de la campaña.
Mayor cantidad de clics y mayor CPC promedio a igual tasa de conversión incrementan el CPA final.
Comparando los Resultados
Puestos frente a frente los modelos comprobamos considerables mejoras en los estadísticos:
Mientras el primer modelo OLS solo permitía explicar el 42% de las variaciones
en el CPA el modelo 2SPS da cuenta del 62% lo que es una mejora de casi un 50%
El error del modelo se redujo considerablemente lo que incrementa la
precisión en las estimaciones del CPA
Estadísticos Modelo OLS Modelo 2SLS % de MejoraCoeficiente R 0,65 0,79 22%Coeficiente R^2 0,42 0,62 49%R^2 Ajustado 0,41 0,61 49%Error Estandar 0,22 0,09 -59%
Coeficientes Modelo OLS Modelo 2SLSConstante -0,022 - - - Clicks 0,024 0,032 CPC Promedio - - - -1,910 Error del Modelo 0,420 0,180
Además algunas de las restricciones dejan de aplicarse para los modelos 2SLS como la colinealidad entre variables.
Comparando los Resultados
Es necesario graficar los residuales para comprobar si existen problemas en el modelo:
Los residuales de la regresión se distribuyen con un mayor ajuste a la curva
normal debido a la mejora del modelo.
La dispersión del CPA pasa a estar explicada por 2 variables los clics y el CPC promedio lo que permite ajustar un plano
de regresión más adecuado.
La crisis existencial
Todo muy lindo nos rompemos la cabeza tratando de entender la Regresión Lineal pero…
COMO C@R@J@ PODEMOS ESTIMAR EL CPA EN ADWORDS!!!
Estimando el CPA
Es muy fácil y en realidad ya lo hicimos…
APLICANDO LA FÓRMULA!!!Y = + X1 + X2 +
O en nuestro análisis:
CPA = 0*constante + 0,032*clics – 1,19*CPC Prom. +/- 0,18 error
Estimando el CPA
Con ello vamos a crear distintos escenarios…
APLICANDO LA FÓRMULA!!!
Resultados de la campaña durante el primer mes:
Clics: 894 Prom. diario: 28,8
Conversiones: 53 Prom. Diario: 1,71
CPC Prom.: $0,05 CPA Prom.: $0,82
Estimando el CPA
Escenario 1: se mantienen los clics y CPC promedioCPA = 0,032 * 28,8 clics – 1,19 * $0,05 CPC Prom. +/- 0,18 error
CPA Estimado: $0,86 CPA Mínimo: $0,68 CPA Máximo: $1,04
Escenario 2: 80% de los clics y 60% del CPC promedioCPA = 0,032*23,1 clics – 1,19 * $0,03 CPC Prom. +/- 0,18 error
CPA Estimado: $0,70 CPA Mínimo: $0,52 CPA Máximo: $0,88
Escenario 3: 120% de los clics y 150% del CPC promedioCPA = 0,032*34,6 clics – 1,19 * $0,07 CPC Prom. +/- 0,18 error
CPA Estimado: $1,02 CPA Mínimo: $0,84 CPA Máximo: $1,20
Así podemos testear todos los escenarios que creamos probables
Precisión de la Estimación
Mucha estadística pero…
¿Funciona realmente?A las pruebas me remito…
CPA Real $ 0,89CPA Estimado $ 0,86Margen de error 3%
Conclusiones
Al ajustar el primer modelo de Regresión Lineal pudimos establecer las variables que carecían de incidencia como factores explicativos.
Los resultados del modelo OLS no fueron satisfactorios por lo que se busco un modelo alternativo.
El modelo 2SLS arrojó resultados más satisfactorios permitiendo mejorar en un 50% la capacidad explicativa respecto del modelo OLS.
El uso de escenarios alternativos nos permite realizar una planificación racional basada en datos estadísticos.
Al emplear modelos estadísticos mejoramos la comprensión de la dinámica de las campañas de Adwords.
Tips para analistas
Desarrollar modelos estadísticos con sustento lógico.
Testear diferentes modelos hasta encontrar el más apropiado a las variables que disponemos.
Validar si se cumplen los supuestos y restricciones para no extraer conclusiones erróneas.
Las conclusiones son válidas en tanto no se produzcan transformaciones de las condiciones estructurales que analiza el modelo estadístico.
Es posible que existan errores de especificación debidos a la falta de inclusión de variables relevantes.
Los modelos deben revisarse y ajustarse a cada campaña e inclusive periódicamente en una campaña de larga duración.
top related