Die Definition zum Nachlesen
Könnt oder wollt ihr das Video gerade nicht anschauen? Dann gibt's hier noch einmal den Text zum Nachlesen:
Was ist A und was ist B?
“A/B-Tests” heißen so, weil man hier bei einer Software, App oder Website die Originalversion, die man als Version A bezeichnet, gegen eine veränderte Version testet, die man als Version B bezeichnet.
Beispiel-Szenario
Stellt euch vor, ihr habt eine Webseite, wo man sich zu einem Workshop anmelden kann, den ihr veranstaltet. Wenn ihr jetzt herausfinden wollt, ob ihr mit einer anderen Überschrift mehr Anmeldungen bekommen könnt, macht ihr am besten einen A/B-Test:
- Version A ist die jetzige Webseite – da verändert ihr nichts. Die Hälfte der Leute, die eure Webseite sehen, sieht diese unveränderte Version A.
- Version B ist dieselbe Webseite, aber mit einer anderen Überschrift. Diese Version bekommt die andere Hälfte zu sehen.
Und nun könnt ihr beide Versionen im Zeitverlauf vergleichen und anhand der Anmeldungen sehen, ob A oder B besser funktioniert.
A/B-Tests richtig aufsetzen
Wenn ihr einen A/B-Test plant, ist das Wichtigste, dass ihr immer nur eine Variable habt, das bedeutet, dass ihr in der Version B nur ein Element verändert und alles andere identisch zur Version A bleibt.
Tut ihr das nämlich nicht, ändert ihr also in Version B nicht nur die Überschrift, sondern zum Beispiel auch das Titelbild und vielleicht sogar noch den Button-Text, dann könnt ihr hinterher nicht mehr sicher sagen, welche Änderung jetzt zu mehr oder weniger Anmeldungen geführt hat.
Wenn ihr euch daran haltet, sind A/B-Tests zur solcher “Was funktioniert besser?”-Fragen wunderbar geeignet.
Tests mit mehreren Test-Versionen
Wenn ihr einmal mehrere Elemente testen wollt, also z. B. Überschrift und Button, könnt ihr einfach weitere Test-Versionen anlegen und alle gegeneinander antreten lassen:
- Version A: Wie immer der Status Quo, also die bisherige Version
- Version B: Andere Überschrift
- Version C: Anderer Button
- Version D: Andere Überschrift und anderer Button
So könnt ihr genau sehen, ob nur ein verändertes Element ein positives Ergebnis bringt oder die Kombination aus zwei Elementen – oder weder noch. Jede der Versionen bekommen in diesem Fall 25 % der Webseiten-Besucher·innen zu sehen (es sei denn, ihr stellt das anders ein).
Augen auf bei der Festlegung der Kennzahlen
Bevor ihr mit eurem Test startet, überlegt euch gut, was ihr überhaupt erreichen wollt – und welche Kennzahl ihr vergleichen müsst, um zu schauen, mit welcher Version das besser funktioniert. In unserem Beispiel ist das Ziel, dass sich mehr Leute für euren Workshop anmelden. Naheliegend aber trotzdem falsch wäre es jetzt zu vergleichen, bei welcher Test-Version mehr Leute auf den “Anmelden”-Button klicken: Denn wenn danach noch weitere Schritte notwendig sind, z. B. der Bezahlvorgang oder die Eingabe persönlicher Daten (Name, E-Mail-Adresse usw.), dann kann es sein, dass Leute dort noch abspringen. Die entscheidende Kennzahl ist also, bei welcher Version mehr Leute ihre Anmeldung am Ende verbindlich abgeschlossen haben.
Auswertung von A/B-Tests
Bevor ihr euch sicher sein könnt, welche Version den Test gewonnen hat, müsst ihr zwei Dinge sicherstellen:
- Die Validität: Ein Testergebnis ist dann valide, wenn eine genügende Anzahl von Menschen die jeweiligen Versionen eurer Workshop-Webseite gesehen haben, um eine repräsentative Aussagekraft zu haben.
- Die Signifikanz: Euer Testergebnis ist dann signifikant, also bedeutsam, wenn der Unterschied zwischen den Versionen A und B groß genug ist. Mit anderen Worten: Bei einem minimalen Unterschied kann es reiner Zufall gewesen sein, dass eine Version leicht gewonnen hat.
Die Grenzen von A/B-Tests
Was ihr mit A/B-Tests nicht herausfinden könnt, ist, warum die eine Version besser funktioniert als die andere. Um das zu klären, müssen qualitative Forschungsmethoden her, also z. B. Tiefen-Interviews mit Nutzer·innen. Doch dazu gibt's einen eigenen Wörterbuch-Eintrag.
Mehr Infos und hilfreiche Links
In 90 Sekunden kann man natürlich nur an der Oberfläche kratzen. Falls ihr jetzt neugierig geworden seid und tiefer einsteigen wollt, sind hier ein paar Möglichkeiten dazu:
Artikel von UXPin
In diesem Artikel erfahrt ihr das Wichtigste zum Thema A/B-Tests und auch, welche Tools es gibt, mit denen man diese Tests durchführen und auswerten kann. Diesen rein technischen Aspekt haben wir ja hier ausgeklammert.
Mehr Infos zum Thema Test-Tools
Welches Tool ihr benutzt, um A/B-Tests aufzusetzen und auszuwerten, hängt ganz davon ab, wie ihr eure Website oder App erstellt habt. Wenn ihr z. B. ein CMS verwendet (z. B. WordPress oder Typo3), dann sucht im Netz einfach gezielt nach diesen Schlagworten, also z. B. “A/B-Tests WordPress”. Ebenso könnt ihr verfahren, wenn ihr einen Website-Baukasten wie Jimdo, Wix, Strato oder Webflow verwendet.
Kostenloser Kurs von Udacity
Der E-Learning-Anbieter Udacity hat einen kostenlosen Einführungskurs zum Thema A/B-Tests, bei dem ihr in sechs Lektionen die wichtigsten Aspekte zu diesem Thema erfahrt.
