Lift é quanto uma variante de um teste A/B rende acima ou abaixo do grupo de controle, em porcentagem. Se o controle gera R$ 10 de receita por pessoa e a variante gera R$ 11, o lift é de +10%. O intervalo de confiança diz se essa diferença é real ou pode ser só acaso.
Como funciona
A conta é simples: valor da variante dividido pelo valor do controle, menos 1. Lift positivo, a variante ganha; negativo, perde; perto de zero, empata.
O lift sempre se refere a uma métrica. Num teste de e-commerce, as mais usadas são:
- RPU, receita por usuário: a soma da receita dividida por quantas pessoas entraram no grupo;
- OPU, pedidos por usuário: quantos pedidos cada pessoa fez, em média;
- AOV, ticket médio: receita dividida por pedidos.
Uma variante pode ter lift positivo em OPU e negativo em AOV: mais gente compra, mas compra menos. Por isso vale olhar a métrica que paga a conta, quase sempre a receita por usuário.
O número sozinho engana. Com poucas pessoas no teste, uma compra grande muda o lift de um dia para o outro. O intervalo de confiança resolve isso: é a faixa onde a diferença verdadeira provavelmente está. Um jeito comum de calculá-lo é o bootstrap: sorteia-se a amostra de novo, milhares de vezes, e mede-se a diferença em cada sorteio. Um intervalo de 95% é a faixa onde caem 95% desses resultados.
A leitura:
- intervalo todo acima de zero: a variante ganha do controle;
- intervalo todo abaixo de zero: a variante perde;
- intervalo que cruza o zero: ainda não dá para dizer. O teste precisa de mais tempo ou de mais gente.
Lift não é o mesmo que receita incremental. O lift compara duas versões e diz qual rende mais. A receita incremental compara quem recebeu com quem não recebeu nada e diz quanto o canal gerou. Quando o controle é "não mandar nada", o lift é a forma relativa da incrementalidade; quando o controle é outra mensagem, ele só diz qual mensagem é melhor.
Exemplo no e-commerce
Exemplo ilustrativo. Uma loja testa uma nova versão do widget do site contra o controle por duas semanas. No fim, o controle tem receita por usuário de R$ 10,00 e a variante, de R$ 10,80. O lift é de +8%.
Antes de trocar a versão, a loja olha o intervalo de confiança da diferença: de −R$ 0,20 a +R$ 1,80. Ele cruza o zero. O +8% é promissor, mas ainda pode ser acaso. A decisão certa é deixar o teste rodar mais, não declarar vencedora.
Como funciona na ztgrowth
No teste A/B do widget, o gráfico mostra uma métrica por vez (RPU, OPU ou AOV), acumulada dia a dia, com o controle em cinza tracejado. A visão Lift vs controle mostra a mesma métrica relativa ao controle, que vira a linha do zero. Na análise de bootstrap, cada variante aparece como uma barra: a barra é o intervalo de confiança da diferença de RPU (95% por padrão, com 10.000 sorteios), o ponto é a diferença observada e a cor diz o veredito: ganhou, perdeu ou ainda sem diferença significativa. O passo a passo para testar mensagens está no guia de teste A/B de mensagem no WhatsApp.