Wie funktioniert A/B-Testing?

A/B-Tests sind, wenn Sie mindestens zwei Varianten von etwas haben, das Sie testen möchten. Typischerweise haben Sie eine Kontrollvariante (die möglicherweise die aktuelle Variante ist) und dann eine Testvariante. Sie erstellen eine Hypothese zu dem Problem, das Sie lösen möchten. Sie definieren auch Ihre Erfolgskennzahlen. Sie führen den Test typischerweise durch, bis er statistische Signifikanz erreicht. Zu diesem Zeitpunkt wird die meiste A/B-Testsoftware Ihnen den Testsieger und die Verbesserung, die er möglicherweise bewirkt hat, mitteilen. Angenommen, Sie haben einen roten "Jetzt kaufen"-Button auf Ihrer Website. Sie haben gehört, dass grüne Buttons besser funktionieren, also möchten Sie diese Theorie testen. Der rote Button ist die Kontrollvariante. Sie erstellen eine Variante, bei der der Button grün ist, und dies wäre Variante Nr. 1. Sie setzen die Erfolgskennzahlen auf Button-Klicks und entscheiden, dass Sie nur 20% Ihres Traffics dem Test aussetzen möchten. Die 20% repräsentieren eine kleine Stichprobe Ihres Traffics, was das Risiko verringert, falls es negative Auswirkungen der Variante gibt. Der Test läuft, bis er statistische Signifikanz erreicht. Zu diesem Zeitpunkt gibt es statistisch einen Gewinner, und wir können die Änderungen, die wir vorgenommen oder nicht vorgenommen haben, als den Faktor betrachten, der die KPI antreibt. Es können viel mehr Schritte und Nuancen beteiligt sein. Dies ist das sehr grundlegende Konzept des Testens.