Como fazer teste A/B de mensagem no WhatsApp

Resposta curta: para saber qual de duas mensagens vende mais no WhatsApp, mande cada versão para um grupo sorteado da mesma base, no mesmo momento, e compare uma métrica escolhida antes do envio. Mude uma coisa só entre as versões, espere as respostas chegarem e só declare uma vencedora quando a diferença passar no teste de confiança. Com amostra pequena, o resultado mais comum é empate, e isso também é resposta: as duas mensagens rendem parecido.

Onde dá para testar no WhatsApp

Há três lugares, e cada um responde uma pergunta diferente:

Na campanha, o teste é rápido e a métrica é de resposta. Na jornada e no agente, o teste corre por semanas e a métrica pode ser venda.

Passo a passo

1. Escreva a pergunta e mude uma coisa só

"Abrir com o nome do produto vende mais do que abrir com o desconto?" é uma pergunta testável. "Qual campanha é melhor?" não é. Se A e B mudam o texto, a oferta e o botão ao mesmo tempo, o resultado não diz qual das três mudanças fez diferença.

Bons candidatos para o primeiro teste:

• abertura da mensagem (pergunta ou afirmação);
• oferta (frete grátis ou cupom);
• botão (ver o produto ou falar com a loja);
• tamanho (duas linhas ou um parágrafo).

2. Escolha a métrica antes de mandar

Escolher a métrica depois de ver o resultado é a forma mais fácil de achar uma vencedora que não existe. As opções mais comuns:

• Interação (resposta ou clique). É a mais útil para campanha, porque acontece com frequência suficiente para uma amostra pequena mostrar diferença.
• Resposta ou clique separados, quando a mensagem pede só uma das duas coisas.
• Leitura. Diz se a abertura chamou atenção, mas não se a mensagem convenceu.
• Venda. É a que importa no fim, mas acontece menos e precisa de amostra bem maior. Faz mais sentido em jornada e no agente, onde o teste dura semanas.

3. Sorteie os grupos, não escolha

Os dois grupos precisam parecer um com o outro. Se o grupo A tiver mais clientes recorrentes, o teste mede o público, não a mensagem. O sorteio resolve isso, e fica melhor quando é feito dentro de cada segmento, para os dois grupos terem a mesma proporção de clientes novos, recorrentes e inativos.

O mesmo cliente precisa ficar no mesmo grupo durante todo o teste. Se ele recebe A numa semana e B na outra, a comparação perde o sentido.

4. Mande as duas versões ao mesmo tempo

Mandar A na terça e B na quarta mede a diferença entre terça e quarta. As duas versões precisam sair juntas, intercaladas, para enfrentar o mesmo horário e a mesma concorrência na caixa de entrada do cliente.

Fora da janela de 24 horas, cada versão é um template aprovado pela Meta. O teste só começa quando as duas estão aprovadas.

5. Calcule o tamanho da amostra antes

Uma amostra pequena só consegue enxergar diferenças grandes. Se a taxa de resposta da loja é baixa e cada grupo tem poucas centenas de pessoas, só uma mensagem muito melhor que a outra aparece como vencedora. Diferença pequena vira ruído.

Por isso, antes do envio, vale saber qual é a menor diferença que aquela amostra consegue separar. Se o número for alto demais, aumente a fatia da base no teste ou teste uma mudança mais ousada.

6. Espere a resposta chegar

Resposta e clique continuam chegando horas depois do envio. Ler o resultado uma hora depois favorece a mensagem que gera resposta imediata, que nem sempre é a que gera mais resposta. Na ztgrowth, o padrão para campanha é abrir a decisão 24 horas depois do envio.

7. Leia o resultado com confiança estatística

A pergunta não é só "qual teve a taxa maior?", e sim "a diferença é grande o bastante para não ser acaso?". A régua mais usada em teste A/B é 95% de confiança. Na leitura, há quatro resultados possíveis:

• Vencedora conclusiva: diferença acima da régua de confiança, com amostra suficiente.
• Diferença não significativa: uma versão foi melhor, mas pode ter sido sorte.
• Amostra pequena: pouca gente em cada grupo para comparar.
• Empate: as duas renderam igual.

Os três últimos não são falha do teste. Dizem que as duas mensagens rendem parecido, ou que a amostra não deu para separar.

8. Mande a vencedora para o resto da base

O teste roda numa fatia da base. Quem ficou de fora recebe a versão que venceu. Se o resultado não foi conclusivo, escolha pela mensagem mais simples ou mais alinhada à marca, e guarde a pergunta para um teste com amostra maior.

Teste A/B não prova que o WhatsApp vende

O teste A/B compara duas mensagens. Ele diz qual é melhor, não se mandar mensagem vale a pena. Para isso, uma das versões tem que ser "não mandar nada", que é o grupo de controle. O guia como medir quanto o WhatsApp vende explica a diferença entre receita atribuída e incremental.

Erros comuns

• Mudar várias coisas de uma vez. A vencedora ganha, mas ninguém sabe por quê.
• Mandar A e B em dias diferentes. O teste mede o dia, não a mensagem.
• Escolher os grupos à mão. "Os melhores clientes no A" garante que o A vence.
• Ler o resultado cedo demais. A versão que gera resposta rápida parece melhor nas primeiras horas.
• Chamar de vencedora uma diferença sem confiança. Com poucas centenas de pessoas por grupo, uma diferença de taxa pequena costuma ser ruído.
• Dois sorteios ligados no mesmo fluxo. Se o segundo sorteio repete o primeiro para o mesmo cliente, ele manda todo mundo para o mesmo lado. Cada divisão precisa sortear de forma independente.

Como a ztgrowth faz

Teste A/B de campanha. Quando a campanha tem duas mensagens, o portal abre uma etapa de teste A/B. A loja escolhe a fatia da base que entra no teste (de 10% a 50%, dividida meio a meio entre A e B), a métrica que define a vencedora (interação, resposta, leitura ou clique) e quanto tempo esperar antes de decidir, de 1 a 48 horas. Antes do envio, a tela mostra a menor diferença que aquela amostra consegue distinguir. Na prática:

• o sorteio é estratificado por segmento e por perfil de compra (RFM);
• A e B saem intercalados, no mesmo minuto;
• a amostra espera os dois templates estarem aprovados pela Meta e, se um for reprovado, a campanha pausa;
• a vencedora só é declarada com pelo menos 200 envios por braço e 95% de confiança, e a tela diz quando o resultado foi empate ou amostra pequena;
• a decisão pode ser manual ou automática, e o restante da base recebe a vencedora dentro da janela de horário definida (padrão das 9h às 20h).

Divisor nas jornadas. Nas jornadas automáticas, o passo Divisor manda uma porcentagem dos clientes para um ramo e o resto para o outro, e o funil do portal mostra a conversão de cada ramo. Cada Divisor sorteia de forma independente: dois de 50% em sequência dão 25%, 25% e 50%. O mesmo cliente fica sempre do mesmo lado dentro do mesmo Divisor, inclusive quando a jornada ganha uma versão nova. A jornada de resgate de checkout já vem com um: metade recebe uma oferta de ajuda, metade recebe o carrinho guardado, e o resto da régua é igual para os dois. A diferença de conversão é da mensagem.

Teste A/B de configuração do agente. Para testar o próprio atendimento, a squad da ztgrowth configura um teste A/B de configuração: cada cliente é sorteado 50/50 entre duas versões da operação e fica no mesmo grupo até o fim. O teste pode ligar um subagente só num dos grupos (por exemplo, um agente vendedor para metade da base) e mudar mais de uma configuração junto. A comparação usa as conversas qualificadas de cada grupo: conversão, receita por conversa, ticket médio, custo por conversa e ROI. A squad acompanha o teste cliente a cliente: em que grupo cada um caiu e quais conversas dele entraram na conta.

Widget no site. O teste A/B do widget compara versões e uma variante de controle sem widget. A plataforma calcula a probabilidade de cada versão ser a melhor (cálculo bayesiano) e declara a vencedora quando essa probabilidade atinge o nível de confiança do teste, 95% por padrão.

Os resultados ficam em Insights.

Perguntas frequentes

Quantas pessoas preciso para um teste A/B no WhatsApp?

Não existe um número único: depende da taxa da métrica e do tamanho da diferença que você quer enxergar. Quanto menor a taxa e menor a diferença, maior a amostra. Na ztgrowth, o teste de campanha exige pelo menos 200 envios em cada versão para comparar, e a tela mostra antes do envio a menor diferença que a amostra consegue separar.

Qual métrica usar para escolher a vencedora?

Para campanha, interação (resposta ou clique), porque acontece com frequência suficiente para uma amostra pequena mostrar diferença. Venda é a métrica final, mas precisa de amostra maior e funciona melhor em teste de jornada ou do agente, que corre por semanas.

Posso testar mais de duas versões?

Num teste de campanha, são duas. Nas jornadas, dá para encadear Divisores, e cada um sorteia de forma independente. Mas cada versão a mais divide a amostra, e com a base menor por versão fica mais difícil achar uma vencedora conclusiva.

O teste deu empate. Fiz algo errado?

Não necessariamente. Empate, ou diferença sem confiança, é o resultado mais comum em bases de WhatsApp. Significa que as duas mensagens rendem parecido, ou que a amostra era pequena para separar uma diferença sutil. O próximo teste pode mudar algo mais ousado.

Teste A/B mostra quanto o WhatsApp vende?

Não. Ele compara duas mensagens. Para medir o que o canal gera, é preciso um grupo de controle que não recebe nada. Veja receita incremental.

Quer testar suas mensagens com sorteio, confiança estatística e a vencedora indo sozinha para o resto da base? Fale com a ztgrowth.