Significância estatística: como saber se o teste A/B tem um vencedor

Significância estatística é a medida que mostra se a diferença de conversão entre duas versões de uma página pode ser explicada pelo acaso. Em teste A/B, o padrão é exigir 95%. Nesse nível, se as duas versões fossem iguais, uma diferença daquele tamanho apareceria em apenas 5 de cada 100 testes. Abaixo disso, o resultado ainda é uma suspeita.

O que é significância estatística em um teste A/B?

É o grau de confiança de que a versão vencedora ganhou por mérito, com pouca participação da sorte. Todo teste compara a taxa de conversão de uma versão original (o controle) com a de uma versão nova. Como cada grupo de visitantes é diferente, as duas taxas quase nunca saem idênticas, mesmo quando a mudança testada é inútil.

O teste A/A deixa isso claro. Nele, as duas metades do público veem exatamente a mesma página, e ainda assim uma delas converte um pouco mais. Com o critério de 95%, cerca de 1 em cada 20 testes desse tipo aponta uma “vencedora” que só existe na planilha. A significância informa o tamanho desse risco, para você saber quando confiar no número e quando esperar mais dados.

Na prática, a leitura fica assim:

• 95% ou mais: a diferença dificilmente veio do acaso. A versão vencedora pode ser adotada.
• Menos de 95%: o teste ainda está sem resposta. Mantenha no ar por mais tempo ou trate o resultado como empate.

Por que conferir a significância antes de declarar uma versão vencedora?

Porque o acaso produz resultados convincentes com mais frequência do que parece. O glossário de CRO do Hotjar, ferramenta que hoje pertence à Contentsquare, ilustrava a ideia com cara ou coroa. A chance de uma pessoa tirar cara dez vezes seguidas é de 1 em 1.024. Parece raro. Coloque cinco mil pessoas para repetir a experiência e a probabilidade de pelo menos uma delas conseguir sobe para 99,24%.

Com teste A/B a lógica é a mesma. Quem roda muitos experimentos encontra, de tempos em tempos, uma variação que parece ótima por pura aleatoriedade. Adotar essa variação custa caro: a página muda, a conversão fica igual ou cai, e o trabalho de semanas vira uma decisão errada.

A significância serve para escolher quanto risco aceitar. Dois fatores fazem esse número subir: uma amostra maior de visitantes e uma distância maior entre as taxas das versões. Por isso, site com pouco tráfego depende de mudanças mais ousadas para chegar a uma conclusão.

Como calcular o tamanho do efeito e a significância?

O cálculo tem duas partes: o tamanho do efeito, que sai com uma conta simples, e a significância, que fica por conta de uma calculadora.

Tamanho do efeito: quanto a conversão mudou

Tamanho do efeito é a variação percentual entre a taxa de conversão do controle e a da versão nova. Exemplo com um controle que converte 10% e uma variação que converte 8%:

1. Subtraia uma taxa da outra: 10 menos 8 resulta em 2 pontos percentuais.
2. Divida essa diferença pela taxa do controle: 2 dividido por 10 é igual a 0,2.
3. Multiplique por 100: a variação converteu 20% menos que o controle.

Diferenças grandes são mais fáceis de confirmar, porque a sorte raramente produz um desvio desse porte. Ainda assim, o volume de visitas pesa. Com mil visitantes em cada versão, 100 conversões contra 80 ficam abaixo dos 95% de significância. Com dez mil visitantes em cada versão e a mesma proporção, o resultado passa com folga.

Calculadora de significância: o que informar

Uma calculadora online resolve a conta em segundos. A calculadora de significância para teste A/B do SurveyMonkey pede dois dados de cada versão: quantas pessoas visitaram e quantas converteram. Em troca, ela devolve a significância estatística do resultado.

Planejamento: quanto tráfego e quanto tempo o teste pede

A mesma calculadora ajuda a planejar o experimento antes de ele começar. Separe três informações:

• a taxa de conversão atual da página;
• o menor tamanho de efeito que já justificaria a mudança;
• a significância desejada, de 95% ou mais.

Simule quantidades de visitantes e de conversões até a calculadora chegar à significância definida. O volume encontrado, comparado com o tráfego mensal da página, indica por quantas semanas o teste precisa ficar no ar. O passo a passo de um teste A/B mostra onde esse planejamento entra.

O que as ferramentas de teste A/B mostram no relatório?

As ferramentas fazem a conta sozinhas, e cada uma apresenta o resultado à sua maneira. A Wingify, marca que hoje reúne VWO e AB Tasty, trabalha com um modelo estatístico bayesiano. O relatório dela troca o percentual único de significância por duas informações: a probabilidade de cada variação superar a original e a faixa de melhoria esperada, do pior ao melhor cenário.

Para apontar uma vencedora, a ferramenta exige pelo menos 25 conversões por variação, 1.500 visitantes no teste e uma semana de duração, segundo a central de ajuda da Wingify (consultado em 9 de outubro de 2026). Para quem ainda está escolhendo uma plataforma, há uma comparação entre ferramentas de teste A/B.

Como fica o cálculo quando o teste muda vários elementos?

O cálculo descrito aqui vale para testes com uma única variável, como um título novo ou um formulário mais curto. Quando a versão testada combina várias alterações e você quer medir o peso de cada uma, a estatística muda e o tráfego necessário cresce bastante. Esse é o território dos testes multivariados.

Testar uma variável por vez também pede critério na escolha. Trocar a cor de um botão raramente gera um efeito grande o bastante para ser detectado. Mudanças ligadas a uma dúvida do visitante, como a clareza da oferta ou a quantidade de campos do formulário, tendem a render testes mais conclusivos.

Como escolher o que testar primeiro?

Comece pelo ponto do site em que mais gente desiste e que mais pesa no faturamento. Três fontes de pistas ajudam a montar a lista de hipóteses:

• A voz do cliente. Pergunte a vendas e atendimento quais dúvidas se repetem. Se faltam registros, comece a coletar: a Contentsquare, que incorporou o antigo Hotjar, oferece pesquisas dentro do site já no plano gratuito, com limite de respostas por mês. Para pesquisa enviada por e-mail, o Typeform resolve.
• Os dados de navegação. No GA4, monte uma análise de funil em Explorar e localize a etapa com a maior queda.
• O comportamento na página. Mapas de calor e gravações de sessão revelam os elementos ignorados e os que confundem. O Microsoft Clarity é gratuito e destaca as sessões com cliques repetidos de irritação (rage clicks) e com cliques em áreas que nada respondem (cliques mortos).

Com a lista pronta, ordene as ideias pelo impacto esperado e pelo esforço de implementação. O guia de priorização de hipóteses detalha os critérios mais usados.

Perguntas frequentes

Qual é o nível de significância ideal para um teste A/B?

O padrão é 95% ou mais. Nesse nível, você aceita um risco de 5% de declarar vencedora uma versão que, na verdade, empata com a original. Abaixo de 95%, trate o resultado como indefinido: deixe o teste rodar por mais tempo ou considere que as duas versões têm desempenho parecido.

Quanto tráfego eu preciso para um teste A/B ser confiável?

Depende da taxa de conversão atual e do tamanho do efeito que você quer detectar. Quanto menor a diferença esperada, maior a amostra necessária. Como referência, a Wingify exige ao menos 25 conversões por variação, 1.500 visitantes no teste e uma semana no ar antes de apontar uma vencedora.

O que é tamanho do efeito?

É a variação percentual entre a taxa de conversão do controle e a da versão nova. Se o controle converte 10% e a variação converte 8%, o tamanho do efeito é uma queda de 20%. Diferenças grandes chegam à significância com menos visitantes do que diferenças pequenas, que exigem amostras maiores.

Posso encerrar o teste assim que uma versão sair na frente?

O mais seguro é esperar o volume de visitantes planejado e a significância de 95%. Nos primeiros dias, uma versão costuma abrir vantagem por acaso, como no exemplo da moeda. Encerrar cedo aumenta a chance de adotar uma mudança que, com mais dados, empataria com a página original.

Teste A/B com leitura estatística no seu site

A Fysi Lab Digital faz otimização de conversão com mapa de calor, gravação de sessão, levantamento de hipóteses e teste A/B. Conheça o serviço de otimização de conversão e veja no portfólio os sites e landing pages já entregues.