Tip:
Highlight text to annotate it
X
Vídeo 5 - Experiências de campanha do Google AdWords: como entender os resultados e a importância estatística de sua experiência
Durante a Etapa 3, "Como configurar uma experiência de campanha do Google AdWords", você executou a
experiência e monitorou os resultados. Esta lição ajudará a entender alguns dos resultados que você
poderá obter durante a experiência.
Durante sua experiência de campanha, você verá o acúmulo de dados das divisões experimental e
de controle nos níveis de campanha, grupo de anúncios e palavra-chave. Se você ainda não
vir linhas separadas para controle e experiência em uma das guias, ative esse recurso clicando em
"Segmentar" e movendo o mouse para baixo para clicar em "Experiência".
Com o acúmulo dos resultados, você notará tipos diferentes de indicadores de importância estatística
na interface que ajudam a entender se as métricas sendo comparadas
são diferentes ou não.
Uma diferença estatisticamente significativa tem pouca probabilidade de ocorrer por acaso.
Se o valor de alteração de uma métrica não foi estatisticamente significativo, é possível que
ela não tenha sido afetada pela alteração experimental.
As setas cinza para cima e para baixo indicam que o valor da alteração de uma métrica não foi
estatisticamente significativo. Qualquer diferença pode ser apenas ruído experimental.
Um ícone de seta para cima indica que uma métrica sofreu aumento estatisticamente
significativo. Se você aplicasse suas alterações experimentais a todos os leilões, poderia esperar
que essa métrica aumentasse.
Um ícone de seta para baixo indica que uma métrica diminuiu com um valor estatisticamente
significativo. Se você aplicasse suas alterações experimentais a todos os leilões, poderia esperar
que essa métrica diminuísse.
Também há três níveis indicadores para os ícones que mostram o grau de certeza de que
os resultados se devem às alterações experimentais e não ao acaso:
Uma única seta para cima ou para baixo indica 95% de chance de a métrica ter aumentado
ou diminuído. Ou seja, as estatísticas mostram que, ao aplicar suas alterações experimentais
completamente, haveria apenas 5% de chance de a métrica não ser alterada na direção
indicada mantendo todo o resto igual.
Duas setas para cima ou para baixo indicam 99% de chance de a métrica ter aumentado
ou diminuído. Ou seja, as estatísticas mostram que, ao aplicar suas alterações experimentais
completamente, haveria apenas 1% de chance de a métrica não ser alterada na direção
indicada mantendo todo o resto igual.
Três setas para cima ou para baixo indicam 99,9% de chance de a métrica ter aumentado
ou diminuído. Ou seja, as estatísticas mostram que, ao aplicar suas alterações experimentais
completamente, haveria apenas 0,1% de chance de a métrica não ser alterada na direção
indicada mantendo todo o resto igual.
Se você estiver realizando uma experiência com tamanhos de divisão de controle/experimental
diferentes de 50/50 (por exemplo, 70/30 ou 20/80), as estatísticas acumuladas pela campanha nas
divisões de controle e experimental não poderão ser comparadas diretamente.
Imagine, por exemplo, uma experiência 90/10. Se ela não sofresse alterações, poderíamos esperar
900 impressões na divisão de controle para cada 100 impressões na divisão experimental
Dessa forma, se houvesse 900 impressões na divisão de controle e 400 impressões na
divisão experimental, isso implicaria um aumento significativo nas impressões,
pois 400 impressões é muito mais do que as 100 esperadas se nenhuma alteração fosse
feita. Isso significa que a aplicação de suas alterações poderia causar aumento nas impressões,
mesmo que aparentemente o número 900 seja maior do que 400.
Comparar as divisões de 50/50 é bem mais fácil, pois os números absolutos não mudarão se suas
alterações não tiverem impacto, e muitas campanhas não têm volume de tráfego suficiente
para gerar resultados conclusivos com divisões que não sejam de 50/50. Assim, recomendamos
que os anunciantes façam experiências de 50/50, a menos que estejam dispostos a fazer cálculos,
como para determinar a alteração percentual da métrica caso as alterações experimentais fossem aplicadas
para todos os leilões.