Resultado de teste A/B: o que fazer quando ganha, perde ou empata

Aproveitar um teste A/B é tirar uma decisão de cada resultado. A versão que vence vai para o site. A que perde revela o que o visitante rejeita e poupa a empresa de publicar uma mudança ruim. O teste inconclusivo avisa que a hipótese ou a análise feita antes precisa de revisão. Nos três casos, o aprendizado registrado orienta o próximo experimento.

O que um teste A/B entrega além do placar?

O teste A/B entrega conhecimento sobre o visitante. Ele compara a página atual com uma variação e mede qual das duas leva mais gente à compra, ao formulário enviado ou ao clique no botão do WhatsApp. É uma das técnicas mais usadas na otimização de conversão porque comprova uma hipótese com dados mensuráveis.

Antes de cada teste existe estudo: a equipe procura problemas de usabilidade, formula uma hipótese e aplica a mudança para observar a reação das pessoas. As etapas estão no passo a passo para rodar um teste A/B.

Como escolher o que testar primeiro?

Comece pela hipótese que promete mais resultado e dá menos trabalho para implantar. Uma boa análise gera muitas ideias, e priorizar encurta o tempo entre a ideia e a decisão. Para ordenar a fila, responda duas perguntas sobre cada hipótese:

• Qual é a dificuldade de implantar? Trocar o texto de um botão é simples. Refazer o checkout envolve design e programação.
• Qual é o efeito esperado nos números? Uma mudança na página mais visitada alcança mais gente do que um ajuste em uma página pouco acessada.

As respostas dependem de conhecer o cenário atual do projeto e de tomar decisões apoiadas em dados. Para organizar a lista, veja os métodos de priorização de hipóteses, com exemplos.

Quantos testes A/B terminam com uma versão vencedora?

A minoria. Estimativas de ferramentas de teste reunidas em um artigo da CXL sobre testes inconclusivos indicam que cerca de 1 em cada 7 testes A/B termina com uma versão vencedora. A equipe que espera uma vitória por experimento se frustra cedo. A que trata o resultado negativo como informação aproveita também os outros seis.

O que um teste perdedor ensina

Um teste perdedor mostra como o visitante se comporta diante de uma mudança, e essa resposta aproxima a equipe do acerto no experimento seguinte. O resultado negativo serve para:

• identificar ações que trariam risco para a empresa se fossem direto para o site;
• encontrar problemas de usabilidade;
• entender melhor o comportamento do público e o problema que ele tenta resolver;
• descartar caminhos e deixar mais claro o objetivo dos próximos testes.

Registre a hipótese, o que mudou e a leitura do resultado. O próximo teste parte desse registro.

Duas práticas que melhoram as hipóteses

Dois cuidados tomados antes do teste aumentam a chance de um bom resultado.

O primeiro é a análise heurística, uma avaliação da interface baseada no comportamento do usuário, que aponta o que melhorar para elevar a taxa de conversão.

O segundo é cuidar do topo da página. Segundo o Nielsen Norman Group (2018), em estudo de rastreamento ocular sobre rolagem e atenção, 57% do tempo de visualização fica acima da dobra, a parte da página que aparece antes de rolar. Título, oferta e botão principal merecem estar ali.

Outras duas fontes de hipótese são a análise comportamental do usuário e a observação dos sites concorrentes.

O que fazer com um teste inconclusivo?

Volte três etapas e confira cada uma. Testes inconclusivos fazem parte da rotina de quem experimenta, e a revisão mostra onde o processo falhou:

1. A análise: a etapa de estudos deixou alguma lacuna sobre a página ou sobre o público?
2. A hipótese: a mudança era relevante para o visitante?
3. A prioridade: havia uma hipótese mais promissora na fila?

Confira também se o teste recebeu visitas suficientes e chegou à significância estatística. Rodar com pouco tráfego e desistir depois da primeira falha estão entre os erros comuns em testes A/B.

Feita a revisão, experimente de novo. Um bom resultado se mede pelo aprendizado que o teste trouxe: positivo ou negativo, ele sempre revela algo sobre o comportamento do visitante.

Perguntas frequentes

Teste A/B que perdeu foi tempo perdido?

O teste perdedor evita que uma mudança ruim vá para o site inteiro e revela como o público reage naquele ponto da página. Ele ajuda a identificar riscos, encontrar problemas de usabilidade e descartar caminhos. A hipótese seguinte parte desse conhecimento.

Quantos testes A/B dão resultado positivo?

Estimativas de ferramentas de teste citadas pela CXL apontam cerca de 1 vencedor a cada 7 testes A/B. A maior parte dos experimentos termina sem vitória da nova versão, e isso é esperado. Por isso vale medir o sucesso também pelo aprendizado de cada teste.

O que é um teste A/B inconclusivo?

É o teste em que a diferença entre a página atual e a variação fica pequena demais para apontar uma vencedora. Quando acontecer, revise a etapa de análise, a relevância da hipótese e a priorização. Depois rode um novo experimento com o que aprendeu.

Hipóteses, teste A/B e leitura de resultados para o seu site

A Fysi Lab Digital faz otimização de conversão: mapa de calor, gravação de sessão, hipóteses e teste A/B, com atendimento online em todo o Brasil. Veja como funciona o serviço de otimização de conversão e conheça os projetos no portfólio.