Sample Size Rechner für AB Tests

Über den Sample Size Rechner

Grundsätzlich nehmen wir hier an, dass wir bei eine Signifikanz von 95% erreichen wollen, bevor wir hier von einem aussagekräftigen Experiment reden zu können. Darüber hinaus, sollte das Sample Size auch definieren wie lange der Test auch mindestens laufen sollte, bzw. wie viele User mindestens über die Buckets verteilt werden sollten.

Kein Test, wenn keine Signifikanz erzielt werden kann!

Setzen Sie Tests ein, wenn Sie wissen, dass Resultate erzielt werden können. Ein Test, der keine Resultate erzielen kann, ist Verschwendung ihrer AB Testing Ressourcen und bremst ihre Testing Velocity.

Was kann ich tun, wenn ein Test einen hohen Impact verspricht, ich aber nicht genug User habe?

Es ist keine Option den Test kürzer zu gestalten oder ähnliches. Sie können aber versuchen das Rauschen zu reduzieren oder eine alternative (aber sinnvolle!) primäre KPI zu definieren:

Tipp 1 - primary KPI wechseln Anstatt bei einem Test auf Produkt-Seiten darauf den Impact auf Purchases zu messen, kann auch der Impact auf die Add-To-Cart Rate gemessen werden. Sollte der Test signifikant sein, sollte dennoch ein Blick auf die Entwicklung der Purchases geworfen werden. Diese sollten nicht signifikant schlechter werden. Es kommt aber im Einzelnen darauf an. Wenn Sie die Einkaufstrecke durchtesten wollen, ist dies keine Alternative.

Tipp 2 - Rauschen reduzieren Manchmal ist das Targeting nicht ausreichend. Ein Test z.B. auf User auf allen Touchpoints ist kaum selten aussagekräftig. Ihr Sample sollte möglichst "rein" sein. Wenn Sie z.B. den Impact von Recommendations am Ende ihrer Start-Seite testen wollen, wo ohnehin nur 10% der User hinscrollen, dann sollten Sie auch nur dieses Segment in den Test einbeziehen. Die anderen 90% der User produzieren nur unnötiges Rauschen. Nehmen wir an, dass normalerweise die Klickrate auf das letzte Element vor ihrem Footer auf der Startseite ein Lead Formular ist, das von 1% der Kunden ausgefüllt wird. In einem Test wollen Sie diese Conversion um 10% erhöhen. Um hier signifikante Ergebnisse zu erzielen, müssten Sie mindestens 176.000 User. Wenn Sie aber nur die 10% der Kunden betrachten, die bis dorthin scrollen, liegt die Conversion Rate schon bei 10%. Wenn Sie nur in diesem Segment testen, brauchen Sie statt der 176.000 User nur noch 12.000 User. Wie sie feststellen sind 12.000 nicht 10% von 176.000, weil es keine proportionale Beziehung gibt. Sie könnten den Test durch eine Reduktion des Rauschens (in diesem Beispiel) in nur 2/3 der ursprünglichen Zeit schaffen.

einige Beispiele

Hero Banner auf Startseite

Ein guter Hero auf der Homepage eines Shops kann eine CTR von 10% haben. Nehmen wir an, Sie haben einen alternativen Banner entwickelt, der eine um 20% höhere CTR haben soll, also eine CTR von 12% haben soll. In diesem Fall müsste es mindestens 2.000 Besucher haben.

Filter auf Kategorien-/Such-Seite

mindestens 230.000 User

Nehmen wir an auf einer Kategorien-Seite kann der Kunde nach Produkten filtern. Kunden, die filtern klicken in 80% aller Fälle auf ein Produkt (Baseline Conversion). Um diese Rate zu steigern werden neue Filtermöglichkeiten hinzugefügt und die Logik leicht abgeändert. Es wird erwartet, dass die CTR, also die Klicks auf Produkte nach Anwendung der Filter um 12% steigt, nämlich auf 88%. In diesem Fall bräuchte man mindestens 230.000 User für einen Test. Wenn am Tag ca. 8.000 User die Filter verwenden, dann dauert der Test ca. einen Monat.

Frage per E-Mail:

Ich habe einen Magento Shop, woher weiß ich vorher wie viele User diese Filter benutzen, damit ich weiß, ob wir das sowas überhaupt testen können?

Antwort:

Ich kann darauf keine allgemeine Antwort geben, aber wenn es sich um einen Magento Shop nah am Standard handelt, ist es eine Möglichkeit die Klicks, bzw. die Auswahl eines Filters auf der Seite als Event zu erfassen:

document.querySelector('.filter-options').addEventListener('click',function(){
  window.dataLayer.push({'event':'filterClick'});
});

Der Push wird in GTM registriert und als Event in Google Analytics übertragen. Anschließend können User, die dieses Event hatten, gefiltert werden.

Prominenter Test auf Produkt-Seiten

36.000 User

Durch einen neuen Hinweis auf Ratenzahlung soll die Add-To-Cart Rate von 15% um 5% auf 15,75% angehoben werden. Um dies zu zeigen, sollten mindestens 36.000 User in der Testgruppe sein.

Würde man statt der KPI "Add-To-Cart Rate" als primary KPI "Purchases" nehmen und von eine Baseline Conversion auf Produktseiten von z.B. 5% annehmen, müsste das Sample schon 136.000 User umfassen.

Noch Fragen?

Wenn Sie noch Fragen oder Anmerkungen haben, schreiben Sie bitte eine E-Mail. Ich versuche so schnell wie möglich zu antworten. Wenn ihre Frage für viele Interessierte relevant ist, werde ich die Frage hier anonym veröffentlichen.