Comment fonctionne le test A/B ?

A/B testing est lorsque vous avez au moins deux variations de quelque chose que vous souhaitez tester. Typiquement, vous avez un contrôle (qui peut être la variante actuelle) et ensuite une variante de test. Vous créez une hypothèse autour du problème que vous résolvez. Vous définissez également vos indicateurs de succès. Vous exécutez généralement le test jusqu'à ce qu'il atteigne une signification statistique. À ce stade, la plupart des logiciels de test A/B vous indiqueront le gagnant du test et l'amélioration qu'il peut avoir apportée. Par exemple, vous avez un bouton "acheter maintenant" rouge sur votre site web. Vous avez entendu dire que les boutons verts fonctionnent mieux, donc vous voulez tester cette théorie. Le bouton rouge est la variante de contrôle. Vous créez une variante dans laquelle le bouton est vert et ce serait la variante n°1. Vous définissez les indicateurs de succès sur les clics de bouton et décidez que vous ne voulez envoyer que 20% de votre trafic au test. Les 20% représentent un petit échantillon de votre trafic, ce qui réduit le risque s'il y a des effets indésirables de la variante. Le test se déroule jusqu'à ce qu'il atteigne une signification statistique. À ce stade, statistiquement, il y a un gagnant et nous pouvons attribuer les changements que nous avons faits ou non comme le facteur qui influence le KPI. Il peut y avoir beaucoup plus d'étapes et de nuances impliquées. C'est le concept très basique du test.