Como funciona o teste A/B?

O teste A/B é quando você tem pelo menos duas variações de algo que deseja testar. Normalmente, você tem um controle (que pode ser a variante atual) e, em seguida, uma variante de teste. Você cria uma hipótese em torno do problema que está resolvendo. Você também define suas métricas de sucesso. Normalmente, você executa o teste até que ele atinja significância estatística. Neste ponto, a maioria dos softwares de teste A/B informará o vencedor do teste e a melhoria que ele pode ter feito. Por exemplo, você tem um botão vermelho de "compre agora" em seu site. Você ouviu que botões verdes funcionam melhor, então quer testar essa teoria. O botão vermelho é a variante de controle. Você cria uma variante em que o botão é verde e esta seria a variante #1. Você define as métricas de sucesso para cliques no botão e decide que deseja enviar apenas 20% do seu tráfego para o teste. Os 20% representam uma pequena amostra do seu tráfego, o que reduz o risco se houver efeitos adversos da variante. O teste é executado até atingir significância estatística. Neste ponto, estatisticamente há um vencedor e podemos atribuir as mudanças que fizemos ou não fizemos como o fator que impulsiona o KPI. Podem haver muito mais etapas e nuances envolvidas. Este é o conceito básico de teste.