Erros na experimentação: seis cuidados de quem começa a fazer teste A/B

Os erros mais comuns de quem começa na experimentação são seis: encerrar o teste A/B antes da hora, testar com pouco tráfego, partir de hipótese fraca, desistir no primeiro resultado negativo, testar só de vez em quando e rodar vários testes juntos na mesma audiência. Todos levam a um resultado pouco confiável, e a decisão tomada sobre ele sai errada.

Por que o teste A/B precisa ser confiável?

Decidir com dados exige um teste bem feito. A intuição e a experiência servem para criar hipóteses, e só o experimento mostra se a hipótese se confirma. Quando o teste tem falha de método, o número que sai dele carrega a mesma falha. A empresa acredita que decidiu com evidência e, na prática, apostou.

Feita com método, a prática compensa: veja o que o negócio ganha com a experimentação. Os seis cuidados, em resumo:

1. Espere a significância estatística para encerrar o teste

O teste termina quando o resultado atinge significância estatística. A pressa de conhecer o vencedor costuma atropelar esse prazo, e a cena se repete:

1. a empresa publica uma variação da página;
2. poucos dias depois, a variação aparece com taxa de conversão maior;
3. a variação é declarada vencedora, com base só nesse número;
4. o aumento pode ter sido obra do acaso, e ninguém conferiu.

O cálculo de significância estatística mostra a probabilidade de aquele resultado vir da mudança, e não da sorte. O patamar mais usado no mercado é 95%. Abaixo dele, implementar a variação é arriscado.

2. Confira o tráfego antes de rodar o teste

Teste A/B precisa de volume de visitas para chegar a um resultado confiável. Com pouco tráfego, a significância demora muito ou nunca chega. Antes de investir em experimentação, veja se a página recebe gente suficiente. Uma calculadora de significância ajuda nessa conta: você informa visitantes e conversões de cada versão, e ela diz se a diferença é significativa.

Se o volume ainda for baixo, o primeiro passo é atrair mais visitantes. Dois caminhos: divulgar o produto com foco em conversão e trabalhar para o site aparecer no Google.

3. Parta de hipóteses bem fundamentadas

Hipótese boa nasce do estudo da página e do visitante. Testar qual é a “melhor cor” de um botão, sem motivo por trás, gasta tempo: a diferença tende a ser pequena demais para atingir significância.

Quando você observa como o público usa o site ou o aplicativo, aparecem hipóteses com chance bem maior de vencer. A informação que falta antes do formulário, o botão do WhatsApp que some no celular e a etapa do checkout que confunde são exemplos. A análise heurística é um bom ponto de partida para levantar essas hipóteses.

4. Registre o que o teste perdedor ensinou

Um teste em que a variação perde ainda ensina. Você fica sabendo o que deixa de funcionar para o seu visitante e leva esse aprendizado para as próximas hipóteses. Parar no primeiro resultado negativo joga fora justamente essa informação.

O que faz diferença é guardar o aprendizado. Um backlog de experimentos, com a hipótese, o que foi testado e o resultado, permite que qualquer pessoa da equipe consulte o histórico antes de propor uma ideia nova.

5. Coloque a experimentação na rotina da empresa

Experimentação dá resultado quando vira rotina. Dados e hipóteses entram na agenda com frequência definida, e a constância sustenta os ganhos ao longo do tempo. O ciclo tem quatro etapas, parecido com o de uma rotina de growth hacking:

1. gerar ideias em reuniões periódicas;
2. priorizar as hipóteses e escolher o que será testado;
3. rodar o teste e analisar o que foi descoberto;
4. recomeçar o ciclo.

Para o ciclo continuar girando, alguém responde por ele. Pode ser uma pessoa dedicada dentro da empresa ou uma consultoria de CRO que mantenha a experimentação ativa.

6. Rode um teste por vez na mesma audiência

Um teste por vez mantém o resultado legível. O público do site é um só, seja qual for o número de experimentos no ar. Quando dois rodam juntos, a mesma pessoa pode ver as duas mudanças, e uma hipótese interfere na outra. Fica difícil saber qual alteração causou o efeito.

Por isso a regra clássica para quem está começando é concluir um teste antes de abrir o próximo. O guia de como rodar um teste A/B mostra o passo a passo, do planejamento à leitura do resultado. Para os deslizes de execução, veja também os erros comuns em testes A/B.

Perguntas frequentes

Quanto tempo um teste A/B deve rodar?

O teste roda até o resultado atingir significância estatística, e o prazo depende do volume de visitas da página. O patamar mais usado é 95%. Encerrar antes, só porque a variação apareceu na frente nos primeiros dias, é arriscado: a diferença pode ser obra do acaso e sumir depois da implementação.

Posso fazer teste A/B em um site com pouco tráfego?

Com poucas visitas, o teste demora para chegar a um resultado confiável ou nunca chega. Confira o volume em uma calculadora de significância antes de começar. Se faltar tráfego, invista primeiro em atração, com divulgação e presença no Google, e aproveite esse período para estudar o comportamento dos visitantes.

Posso rodar dois testes A/B ao mesmo tempo?

Para quem está começando, o indicado é um teste por vez. A audiência do site é a mesma, então a pessoa pode ver as duas mudanças juntas, e uma hipótese interfere na outra. Com um experimento de cada vez, você sabe qual alteração causou o resultado.

Testes A/B com método no serviço de otimização de conversão

A Fysi Lab Digital faz otimização de conversão com mapa de calor, gravação de sessão, levantamento de hipóteses e teste A/B, para sites e landing pages de todo o Brasil. Veja como funciona o serviço de otimização de conversão ou confira o portfólio de projetos entregues.