Großer A/B-Testing-Guide

Was ist A/B-Testing?

A/B-Testing, auch als Split-Testing bekannt, bezeichnen ein zufallsbasiertes Experimentierverfahren. Verschiedene Segmente von Website-Besuchern sehen gleichzeitig zwei oder mehr Versionen einer Variablen (Webseite, Seitenelement usw.). Anhand der Reaktionen erweist sich, welche Version die maximale Wirkung erzielt und die KPIs verbessert.

A/B-Tests beenden das Rätselraten bei der Website-Optimierung. Stattdessen können die Verantwortlichen datengestützte Entscheidungen treffen. Bei A/B-Tests bezieht sich A auf die „Kontrollvariante“, also die Version, in der die zu testende Variable unverändert ist. B hingegen bezeichnet die “ Testvariante“, also die Version mit der veränderten Variable. 

Die Version, die Ihre KPIs in eine positive Richtung bewegt, wird als „Gewinner“ bezeichnet. Wenn Sie die Änderungen dieser Gewinnervariante auf Ihrer getesteten Seite implementieren, optimieren Sie das Nutzererlebnis und steigern Ihren ROI.

TDie Kennzahl, an der Sie den Erfolg messen, ist bei jeder Website einzigartig. Bei E-Commerce-Seiten können das beispielsweise Verkäufe sein. Im B2B-Bereich kann es um die Generierung qualifizierter Leads gehen. 

A/B-Tests sind eine der Komponenten des übergreifenden Prozesses der Conversion-Rate-Optimierung (CRO), mit dem Sie sowohl qualitative als auch quantitative Erkenntnisse über die Nutzer sammeln. Sie können diese Daten nutzen, um das Nutzerverhalten, die Engagement-Rate, Pain Points und sogar die Zufriedenheit mit Website-Funktionen wie z. B. überarbeiteten Seitenabschnitten zu verstehen. Wenn Sie auf A/B-Tests verzichten, entgehen Ihnen Chancen, z. B. auf zusätzliche Umsätze.

Warum sollten Sie A/B-Tests durchführen?

IViele B2B-Unternehmen ärgern sich über unqualifizierte Leads. Shops kämpfen mit hohen Abbruchquoten. Medien beklagen eine geringe Kundenbindung. Nicht selten sind es typische Schwächen wie Mängel im Conversion Funnel und Hürden im Checkout-Prozess, die diese zentralen Kennzahlen beeinträchtigen.

Darum sollten Sie A/B-Tests durchführen:

Lösen Sie die Probleme der Besucher

Besucher kommen mit einem bestimmten Ziel auf Ihre Website. Vielleicht möchten sie mehr über Ihr Angebot erfahren, ein bestimmtes Produkt kaufen, mehr über ein bestimmtes Thema lernen oder einfach nur stöbern. Was auch immer das Ziel des Besuchers sein mag: Wahrscheinlich wird er auf Hürden treffen. Das kann ein verwirrender Text sein oder ein schlecht sichtbarer CTA-Button wie „Jetzt kaufen“, „Demo anfordern“ usw.

Wenn der Besucher sein Ziel nicht erreicht, macht er eine schlechte Erfahrung. In Folge sinkt die Conversion Rate. Um die Probleme Ihrer Besucher zu identifizieren und zu lösen, können Sie Daten sammeln und mit Tools zur Analyse des Besucherverhaltens wie Heatmaps, Google Analytics und Website-Umfragen auswerten. Dies gilt für Unternehmen aller Branchen: E-Commerce, Tourismus, SaaS, E-Learning, Medien usw.

Verwerten Sie den vorhandenen Traffic besser

Marketer kennen die teils hohen Kosten für hochqualitativen Website-Traffic. Mit A/B-Tests können Sie das Optimum aus Ihrem vorhandenen Traffic herausholen und die Conversion Rate steigern, ohne zusätzliches Geld für mehr Besucher auszugeben. A/B-Tests führen zu einem höheren ROI, denn manchmal können selbst kleinste Änderungen auf Ihrer Website zu erheblichen Verbesserungen Ihrer KPIs führen.

Senken Sie die Absprungrate

Eine der wichtigsten Kennzahlen, um die Performance Ihrer Website zu bewerten, ist die Absprungrate (Bounce Rate). Es gibt viele Gründe für eine hohe Absprungrate auf Ihrer Website, z. B. zu viele Optionen zur Auswahl, falsche Erwartungen, verwirrende Navigation, zu viel Fachjargon usw. 

Da verschiedene Websites unterschiedliche Ziele verfolgen und unterschiedliche Zielgruppen ansprechen, gibt es kein Patentrezept zur Verringerung der Absprungrate. Genau deshalb sind A/B-Tests so hilfreich. Mit A/B-Tests können Sie mehrere Varianten eines Elements Ihrer Website testen, bis Sie die bestmögliche Version gefunden haben. Dies hilft Ihnen nicht nur dabei, die Pain Points der Besucher zu finden und zu beseitigen, sondern auch das Gesamterlebnis Ihrer Website-Besucher zu verbessern. In Folge verbringen sie mehr Zeit auf Ihrer Website und lassen sich leichter in zahlende Kunden verwandeln.

Gehen Sie bei Änderungen behutsam vor

Nehmen Sie begleitet von A/B-Tests kleinere, schrittweise Änderungen an Ihrer Webseite vor, anstatt die gesamte Seite neu zu gestalten. So verringern Sie das Risiko, Ihre aktuelle Conversion Rate zu gefährden.

A/B-Tests helfen Ihnen dabei, Ihre begrenzten Ressourcen gezielt einzusetzen. Denn Sie können mit minimalen Änderungen den maximalen Output erzielen und so den ROI zu steigern. Ein Beispiel dafür sind Änderungen der Produktbeschreibungen. Sie können einen A/B-Test durchführen, wenn Sie planen, Ihre Produktbeschreibungen zu entfernen oder zu aktualisieren. Sie wissen nicht, wie die User auf die Änderung reagieren werden. Durch A/B-Tests können Sie deren Reaktion messen und beurteilen, welche Folgen die Veränderungen haben könnten.

Ein weiteres Beispiel für eine risikoarme Änderung ist die Einführung einer neuen Funktion. Bevor Sie eine neue Funktion installieren, können Sie diese im Rahmen eines A/B-Tests ausprobieren. So finden Sie heraus, ob die von Ihnen vorgeschlagene Änderung bei Ihren Usern ankommt oder nicht.

Verändern Sie Ihre Website ohne Test, kann sich das kurz- bis langfristig auszahlen – oder auch nicht. Verändern Sie Ihre Website mit Test, können Sie sich im Hinblick auf das positive Ergebnis viel sicherer sein.

Erzielen Sie statistisch signifikante Verbesserungen

A/B-Tests sind vollständig datengesteuert und lassen keinen Raum für Vermutungen, Bauchgefühle oder Instinkte. Daher können Sie schnell einen „Gewinner“ und einen „Verlierer“ ermitteln, und zwar auf Grundlage statistisch signifikanter Verbesserungen bei Kennzahlen wie der Verweildauer auf der Seite, der Anzahl der Demoanfragen, der Abbruchrate bei Warenkörben, der Klickrate usw.

Designen Sie die Website neu für künftige Geschäftserfolge

Das Spektrum reicht von der geringfügigen Änderung des CTA-Textes oder der Farbe auf bestimmten Seiten bis zu einer vollständigen Überarbeitung der Website. Die Entscheidung für die eine oder andere Version sollte bei A/B-Tests immer datengesteuert fallen. Hören Sie nicht auf zu testen, wenn eine Veränderung umgesetzt ist. Stellen Sie auch andere Elemente der Seite auf den Prüfstand, um sicherzustellen, dass den Besuchern die ansprechendste Version geboten wird.

Was können Sie A/B-testen?

Der Conversion Funnel Ihrer Website entscheidet über das Schicksal Ihres Unternehmens. Daher muss jeder Inhalt auf Ihrer Website auf sein maximales Potenzial hin optimiert werden. Dies gilt insbesondere für Elemente, die das Verhalten Ihrer Website-Besucher und die Conversion Rate Ihres Unternehmens beeinflussen können. Wenn Sie ein Optimierungsprogramm durchführen, sollten Sie die folgenden Schlüsselelemente Ihrer Website testen (Liste nicht vollständig):

Copy

Überschriften und Zwischenüberschriften

Eine Überschrift ist praktisch das erste, was ein Besucher auf einer Webseite wahrnimmt. Sie bestimmt den ersten und letzten Eindruck und entscheidet darüber, ob der Besucher zu einem zahlenden Kunden wird oder nicht. Daher ist bei den Überschriften und Zwischenüberschriften Ihrer Website besondere Vorsicht geboten. Achten Sie darauf, dass sie kurz, prägnant und einprägsam sind und die gewünschte Botschaft auf den ersten Blick vermitteln. Fahren Sie A/B-Tests mit verschiedenen Schriftarten und Schreibstilen und analysieren Sie, welche Überschrift die Aufmerksamkeit Ihrer Besucher am besten bindet und Conversions auslöst. Sie können auch das KI-gestützte Texterstellungssystem von VWO nutzen, um Empfehlungen für die vorhandenen Texte auf Ihrer Website zu generieren.

Fließtext

Anhand des Fließtexts auf Ihrer Website sollte der Besucher exakt erfahren, was er dort zu erwarten hat. Der Text sollte mit der Überschrift und den Zwischenüberschriften eine sinnhafte Einheit bilden. Ein gut geschriebener Text wirkt wie ein Magnet auf Besucher und steigert die Chancen auf zahlreiche Conversions signifikant.

Beachten Sie bei der Erarbeitung der Inhalte Ihrer Website diese beiden Parameter:

• Schreibstil: Verwenden Sie den für Ihre Zielgruppe passenden Tonfall. Ihr Text sollte den User direkt ansprechen und alle seine Fragen beantworten. Er muss Schlüsselsätze enthalten, die die Nutzerfreundlichkeit verbessern, und stilistische Elemente, die wichtige Punkte hervorheben.
• Formatierung: Verwenden Sie aussagekräftige Überschriften und Zwischenüberschriften, gliedern Sie den Text in kleine, übersichtliche Absätze und formatieren Sie ihn mit Hilfe von Aufzählungspunkten oder Listen so, dass er leicht zu überfliegen ist.

Interessanterweise können „Erfahrungsoptimierer“ jetzt die Vorteile künstlicher Intelligenz nutzen, um Website-Kopien zu erstellen. GPT-3 (Generative Pre-trained Transformer 3) ist ein KI-gestütztes neuronales Netzwerk, das in der Lage ist, nahezu fehlerfreie Texte für jeden beliebigen Kontext zu erstellen. GPT-3 wurde von OpenAI entwickelt und nutzt maschinelles Lernen, um Inhalte wie ein Mensch vorherzusagen und zu verfassen. Und das Beste daran: Sie können GPT-3 von OpenAI jetzt in Ihr VWO-Testing-Konto integrieren, Varianten für Ihre Website-Texte erstellen und diese ohne die Hilfe eines Texters bzw. IT-Experten einbinden.

Betreffzeilen

E-Mail-Betreffzeilen wirken sich direkt auf die Öffnungsrate aus. Wenn ein Empfänger nichts sieht, was ihm gefällt, landet die E-Mail wahrscheinlich in seinem Papierkorb.

AJüngsten Untersuchungen zufolge liegen die durchschnittlichen Öffnungsraten branchenübergreifend zwischen 25 und 47 Prozent. Selbst wenn Sie den Durchschnitt übertreffen, wird nur etwa die Hälfte Ihrer Abonnenten Ihre Newsletter öffnen.

Durch A/B-Tests der Betreffzeilen können Sie die Wahrscheinlichkeit erhöhen, dass die Leute klicken. Versuchen Sie es mit Fragen und Aussagen, testen Sie Signalwörter gegeneinander und ziehen Sie Betreffzeilen mit und ohne Emojis in Betracht.

Design und Layout

Weil alles gleich wichtig zu sein scheint, haben Unternehmen manchmal Mühe, nur die wirklich relevanten Elemente auf ihrer Website zu behalten. Mit A/B-Tests kann dieses Problem ein für alle Mal gelöst werden.

Beispiel: Für Online-Shops ist die Produktseite von zentraler Bedeutung für die Conversion. Die Kunden wünschen das Produkt in hoher Auflösung zu sehen, bevor sie es kaufen. Daher muss Ihre Produktseite in Bezug auf Design und Layout optimal gestaltet sein.

Neben dem Text gehören zum Design und Layout der Seite auch Bilder (Produktbilder, Angebotsbilder usw.) und Videos (Produktvideos, Demovideos, Werbung usw.). Ihre Produktseite sollte alle Fragen Ihrer Besucher beantworten, ohne sie zu verwirren und ohne unübersichtlich zu werden:

• Bieten Sie klare Informationen: Finden Sie – abhängig von den von Ihnen verkauften Produkten – kreative Wege, um alle Produktbeschreibungen und weiterführenden Informationen so bereitzustellen, dass potenzielle Käufer die Antworten auf ihre Fragen nicht suchen müssen. Schreiben Sie übersichtliche Texte und bieten Sie leicht erkennbare Größentabellen, Farboptionen usw.
• Heben Sie Kundenrezensionen hervor: Fügen Sie sowohl gute als auch schlechte Bewertungen für Ihre Produkte hinzu. Negative Bewertungen verleihen Ihrem Shop Glaubwürdigkeit.
• Schreiben Sie eingängige Texte: Verwirren Sie potenzielle Käufer nicht mit komplizierter Sprache und allzu blumigen Produktbeschreibungen. Fassen Sie sich kurz und texten Sie einfach und angenehm zu lesen.
• Arbeiten Sie mit Verknappung und Dringlichkeit: Fügen Sie Hinweise wie „Nur noch 2 Stück vorrätig“ oder Countdowns wie „Angebot endet in 2 Stunden und 15 Minuten“ hinzu, oder heben Sie exklusive Rabatte und Feiertagsangebote hervor, um die Interessenten zum sofortigen Kauf zu bewegen.

Andere wichtige Seiten, deren Design perfekt sein muss, sind Homepage und Landingpages. Verwenden Sie A/B-Tests, um die optimalen Versionen dieser wichtigen Seiten zu ermitteln. Überprüfen Sie so viele Ideen wie möglich, z. B. viel Weißraum und hochauflösende Bilder, Produktvideos anstelle von Bildern usw., und testen Sie verschiedene Layouts.

Entrümpeln Sie Ihre Seiten mithilfe von Heatmaps, Clickmaps und Scrollmaps, um „tote Klicks“ zu entdecken und Ablenkungen zu identifizieren. Je weniger überladen Homepage und Landingpages sind, desto einfacher und schneller finden Ihre Besucher, wonach sie suchen.

Navigation

Ebenfalls durch A/B-Tests optimieren können Sie die Navigation Ihrer Website. Sie ist das wichtigste Element, wenn es darum geht, ein hervorragendes Nutzererlebnis zu bieten. Stellen Sie sicher, dass Sie einen klaren Plan für die Struktur Ihrer Website und die sinnvolle Verknüpfung der verschiedenen Seiten miteinander haben.

Die Navigation Ihrer Website beginnt auf der Homepage. Die Homepage ist die übergeordnete Seite, von der alle anderen ausgehen und auf die alle anderen verweisen. Richten Sie sie so ein, dass jeder Besucher leicht findet, wonach er sucht, und sich nicht aufgrund eines unübersichtlichen Navigationspfads verirrt. Jeder Klick sollte den Besucher auf die gewünschte Seite führen.

Im Folgenden finden Sie ein paar Ideen, um Ihre Navigation zu verbessern:

• Erfüllen Sie die Erwartungen der Besucher, indem Sie Ihre Navigationsleiste an gelernten Positionen platzieren, oben horizontal oder links vertikal. Das erleichtert die Nutzung Ihrer Website.
• Machen Sie die Navigation auf Ihrer Website vorhersehbar, indem Sie ähnliche Themen im selben (oder wenigstens benachbarten) Bereich unterbringen. Dies verringert die kognitive Belastung Ihrer Besucher. Beispiel: Ihr Online-Shop bietet eine Vielzahl von Kopfhörern an, Modelle mit Kabel, andere ohne sowie Ohrstöpsel. Ermöglichen Sie einem Besucher, der nach Kopfhörern eines bestimmten Typs sucht, alle entsprechenden Produkte an einem Ort zu finden.
• Erstellen Sie eine flüssige, leicht zu navigierende Website, indem Sie ihre Struktur einfach und vorhersehbar halten und die Erwartungen Ihrer Besucher erfüllen. Dies erhöht nicht nur die Chancen auf mehr Conversions, sondern schafft auch ein angenehmes Nutzererlebnis. Ihre Kunden werden gerne wiederkommen.

Formulare

Formulare sind Medien, über die potenzielle Kunden mit Ihnen in Kontakt treten. Sie werden sogar noch wichtiger, wenn sie Teil des Kaufprozesses sind. So wie keine zwei Websites gleich sind, sind auch keine zwei Formulare (für unterschiedliche Zielgruppen) gleich. Während ein kleines, kompaktes Formular für einige Unternehmen gut geeignet ist, können bei anderen Unternehmen lange Formulare die Qualität der Leads deutlich steigern. 

Sie können herausfinden, welches Formular für Ihr Publikum am besten geeignet ist. Setzen Sie Recherchetools/Methoden wie die Formularanalyse ein, um die Problembereiche in Ihrem Formular sowie Ansätze zur Optimierung zu ermitteln.

CTA (Call-to-action)

Der CTA ist der Ort, an dem die eigentliche Action stattfindet. Mit diesem Klick melden sich User zum Newsletter an, schließen ihren Einkauf ab oder erfüllen ein anderes wichtiges Konversionsziel. Mit A/B-Tests können Sie verschiedene CTAs testen: Platzierung, Größe, Farbe usw. Solche Experimente helfen zu verstehen, welche Variante das Potenzial hat, die meisten Conversions zu erzielen.

Social Proof

Unter Social Proof verstehen Marketer bestimmte Formen von Empfehlungen und Bewertungen. Manchmal stammen sie von Experten des jeweiligen Fachgebiets oder von Prominenten, häufig aber auch einfach von anderen Kunden. Diese Nachweise können in Form von Siegeln, Rezensionen, Auszeichnungen, Zertifikaten usw. vorliegen. Der Zweck liegt auf der Hand: Empfehlungen Dritter bestätigen die Behauptungen auf Ihrer Website, z. B. dass Ihr Produkt von hoher Qualität ist. Mithilfe von A/B-Tests können Sie herausfinden, ob es eine gute Idee ist, Social Proofs hinzuzufügen oder nicht. Sie können sogar herausfinden, welche und wie viele am besten funktionieren. Testen Sie verschiedene Arten von Social Proofs sowie deren Layout und Platzierung, um den optimalen Effekt zu erzielen.

Inhaltliche Tiefe

Einige Website-Besucher bevorzugen lange Texte, in denen selbst die kleinsten Details ausführlich behandelt werden. Andere hingegen überfliegen die Seite nur und sind lediglich an einem bestimmten Punkt interessiert. Zu welcher Kategorie gehört Ihr Zielpublikum?

A/B-testen Sie Ihre inhaltliche Tiefe. Wenn Sie zwei Seiten mit demselben Inhalts erstellen, einmal lang, einmal kurz, erfahren Sie mehr Details über die Präferenzen. Analysieren Sie, welches Format Ihren Lesern besser gefällt. 

Machen Sie sich bewusst, dass die Tiefe der Inhalte Auswirkungen auf die Suchmaschinenoptimierung und viele andere KPIs wie die Conversion Rate, die Verweildauer auf der Seite und die Absprungrate hat. Mit A/B-Tests können Sie den idealen Informationsumfang herausfinden.

Welche Typen von A/B-Tests gibt es?

Nachdem Sie erfahren haben, welche Website-Elemente Sie testen können, um Ihre KPIs positiv zu beeinflussen, konzentrieren wir uns nun auf die verschiedenen Testmethoden und deren Vorteile.

Idealtypisch gibt es vier grundlegende Testmethoden: A/B-Tests, Split-URL-Tests, multivariate Tests und Multipage-Tests. Die erste Art, nämlich A/B-Tests, haben wir bereits besprochen. Sehen wir uns die anderen an.

Split-URL-Tests

Viele verwechseln Split-URL-Tests mit A/B-Tests. Diesen Typen unterscheiden sich jedoch grundsätzlich. Split-URL-Test meint ein Experimentierverfahren, bei dem eine völlig neue Version einer bestehenden Website-URL getestet wird, um zu analysieren, welche besser abschneidet.

In der Regel kommen A/B-Tests zum Einsatz, wenn Sie nur Front-End-Veränderungen an testen möchten. Split-URL-Tests hingegen sind sinnvoll, wenn Sie erhebliche Änderungen an Ihrer bestehenden Seite vornehmen möchten, insbesondere in Bezug auf das Design, und nicht nur kleinere Variationen bestimmter Elemente. 

Wenn Sie einen Split-URL-Test durchführen, wird Ihr Website-Traffic zwischen der Kontrollvariante (ursprüngliche URL) und der Testvariante (neue URL) aufgeteilt. Die jeweilige Conversion Rate wird gemessen, um den Gewinner zu ermitteln. 

Vorteile von Split-URL-Tests

• Ideal, um radikal neue Designs auszuprobieren und gleichzeitig das bestehende Seitendesign für vergleichende Analysen zu nutzen. 
• Empfehlenswert für Tests von Änderungen, die nicht die Benutzeroberfläche betreffen, wie z. B. der Wechsel zu einer anderen Datenbank, die Optimierung der Ladezeit Ihrer Seite usw. 
• Sinnvoll bei Änderungen von Workflows auf Webseiten. Workflows haben einen großen Einfluss auf die Conversions. Neue Pfade zu testen, bevor Änderungen implementiert werden, hilft dabei festzustellen, ob ein Knackpunkt übersehen wurde.
• Bessere und häufig empfohlene Testmethode für dynamische Inhalte. 

Multivariate Tests (MVT)

Multivariate Tests (MVT) bezeichnen eine Experimentiermethode, bei der Varianten mehrerer Seitenelemente gleichzeitig getestet werden, um zu analysieren, welche Kombination von allen möglichen Permutationen am besten funktioniert. Das Verfahren ist komplizierter als ein normaler A/B-Test und eignet sich am besten für fortgeschrittene Marketing-, Produkt- und Entwicklungsexperten.

Dieses Beispiel soll Ihnen den Ansatz multivariater Tests zu verstehen helfen. Nehmen wir an, Sie entscheiden sich, 2 Versionen einer Landingpage zu testen. Sie unterscheiden sich in puncto Hero-Image, Farbe der CTA-Buttons und Überschriften. Das bedeutet, dass insgesamt 8 Varianten erstellt werden, die gleichzeitig getestet werden, um die beste zu finden.

Hier ist eine einfache Formel zur Berechnung der Gesamtzahl der Versionen in einem multivariaten Test:

[Zahl der Varianten des Elements A] x [Zahl der Varianten des Elements B] x [Zahl der Varianten des Elements C] … = [Gesamtzahl der Versionen]

Sofern korrekt durchgeführt sorgen multivariate Tests dafür, dass Sie nicht mehrere aufeinanderfolgende A/B-Tests auf einer Webseite mit ähnlichen Zielen durchführen müssen. Die Durchführung gleichzeitiger Tests mit einer größeren Anzahl von Variationen hilft Ihnen, Zeit, Geld und Aufwand zu sparen und in kürzester Zeit zu einem Ergebnis zu kommen.

Vorteile multivariater Tests

Multivariate Tests bieten in der Regel vor allem drei Vorteile:

• Sie müssen nicht mehrere aufeinanderfolgende A/B-Tests mit demselben Ziel durchführen und sparen Zeit, da Sie die Performance der verschiedenen getesteten Seitenelemente gleichzeitig messen können.
• Sie können den Beitrag der einzelnen Seitenelemente zu den Verbesserungen erfassen.
• Sie können die Wechselwirkungen zwischen allen unabhängigen Elementvarianten (Seitenüberschriften, Bannerbild usw.) sehen.

Multipage-Tests

Multipage-Tests sind eine Form des Experimentierens, bei der Sie Änderungen an bestimmten Elementen auf mehreren Seiten testen können.

Es gibt zwei Möglichkeiten, einen Multipage-Test durchzuführen. Erstens können Sie neue Versionen aller Seiten Ihres Sales Funnels erstellen und diese Testvariante gegen die unveränderte Kontrollvariante antreten lassen. Dies wird als Funnel-Multipage-Test bezeichnet.

Zweitens können Sie testen, wie sich das Hinzufügen oder Entfernen wiederkehrender Elemente wie Siegel, Testimonials usw. auf die Conversions im gesamten Funnel auswirken. Das sind klassische oder konventionelle Multipage-Tests.

Vorteile der Multipage-Tests

Ähnlich wie A/B-Tests sind Multipage-Tests einfach zu erstellen und durchzuführen und liefern in kürzester Zeit aussagekräftige und zuverlässige Daten.

Alle Vorteile von Multipage-Tests:

1. Sie ermöglichen Ihnen, konsistente Erfahrungen für Ihre Zielgruppe zu schaffen.It enables you to create consistent experiences for your target audience. 
2. Sie helfen Ihrer Zielgruppe, eine in sich schlüssige Folge von Seiten zu sehen, unabhängig davon, ob es sich um die Kontroll- oder eine Testvariante handelt.
3. Sie können dieselbe Änderung auf mehreren Seiten vornehmen, um sicherzustellen, dass Ihre Website-Besucher nicht abgelenkt werden und beim Navigieren durch Ihre Website zwischen verschiedenen Varianten und Designs hin- und herspringen.

Welcher statistische Ansatz sollte für einen A/B-Test verwendet werden?

Nachdem Sie vier verschiedene Arten von A/B-Tests kennengelernt haben, sollten Sie auch die statistischen Ansätze verstehen, mit deren Hilfe Sie Tests erfolgreich durchführen und die richtigen Schlussfolgerungen ziehen können. 

Es gibt zwei Arten von statistischen Ansätzen, die bei A/B-Tests auf der ganzen Welt zum Einsatz kommen: Frequentistische und Bayes’sche Statistik. Beide Ansätze haben ihre Vor- und Nachteile. Wir bei VWO bevorzugen und verwenden jedoch den Bayes’schen Ansatz.

Der folgende Vergleich zwischen den beiden Ansätzen wird Ihnen helfen zu verstehen, warum.

Frequentistischer Ansatz:

Der Frequentistische Ansatz berechnet die Wahrscheinlichkeit eines Ereignisses auf Basis der relativen Häufigkeit (Frequenz), mit der ein bestimmtes Ereignis in einer großen Anzahl von Versuchen/Datenpunkten auftritt. Auf A/B-Tests bezogen bedeutet das, dass jeder, der dem Frequentistischen Ansatz folgt, mehr Daten benötigt (mehr Besucher über längere Zeiträume), um die richtigen Schlussfolgerungen ziehen zu können. Diese Anforderung erschwert die Skalierung von A/B-Tests. Nach dem Frequentistischen Ansatz hängt die Dauer eines A/B-Tests von der angestrebten Stichprobengröße ab, die für die gewünschte Aussagekraft erforderlich ist. Die Tests beruhen auf der Tatsache, dass jedes Experiment unendlich oft wiederholt werden kann.

Wenn Sie diesem Ansatz folgen, müssen Sie bei jedem Test sehr auf die Details achten. Denn bei gleicher Anzahl von Besuchern müssen sie Tests länger laufen lassen als beim Bayes’schen Ansatz. Da also in einem bestimmten Zeitrahmen nur wenige Tests durchgeführt werden können, ist Sorgfalt oberstes Gebot. Im Gegensatz zur Bayes’schen Statistik ist der Frequentistische Ansatz weniger intuitiv und oft schwer zu verstehen.

Bayes’schen Ansatz:

Im Vergleich zum Frequentismus ist die Bayes’sche Statistik ein theoriegestützter Ansatz auf Basis einer anderen Interpretation von Wahrscheinlichkeit. Nach Thomas Bayes ist Wahrscheinlichkeit als „Grad vernünftiger Glaubwürdigkeit“ zu verstehen. Mit anderen Worten: Je mehr man über ein Ereignis weiß, desto besser und schneller kann man das Endergebnis vorhersagen. Die Wahrscheinlichkeit ist kein fester Wert, sondern kann sich nach der Bayes’schen Statistik ändern, wenn neue Informationen gesammelt werden. Diese Überzeugung kann auf früheren Informationen beruhen, z. B. auf den Ergebnissen früherer Tests oder anderen Informationen über das Ereignis.

Gegenüber dem Frequentistischen Ansatz liefert der Bayes’sche Ansatz fast 50 % schneller verwertbare Ergebnisse und konzentriert sich dabei auf die statistische Signifikanz. Zu jedem beliebigen Zeitpunkt, genügend Daten vorausgesetzt, sagt Ihnen der Bayes’sche Ansatz die Wahrscheinlichkeit, dass Testvariante A eine niedrigere Conversion Rate erzielt als Testvariante B oder die Kontrollvariante. Er ist weder zeitlich begrenzt, noch erfordert er tiefgreifende Kenntnisse der Statistik.

Vereinfacht ausgedrückt entspricht der Bayes’sche Ansatz der Art und Weise, wie wir im täglichen Leben vorgehen. Beispiel: Sie haben Ihr Handy in Ihrem Haus verlegt. Als Frequentist würden Sie einen GPS-Tracker verwenden, um es zu orten, und nur den Bereich überprüfen, auf den der Tracker zeigt. Als Bayesianer hingegen würden Sie nicht nur einen GPS-Tracker verwenden, sondern auch alle Orte im Haus überprüfen, an denen Sie Ihr verlegtes Smartphone schon einmal gefunden haben. Im ersten Fall wird das Ereignis als fester Wert betrachtet, während im zweiten Fall das gesamte Wissen aus Vergangenheit und Zukunft genutzt wird, um das Handy zu finden.

Diese Vergleichstabelle hilft Ihnen dabei, ein besseres Verständnis der beiden statistischen Ansätze zu gewinnen:

Frequentistischen Ansatz	Bayes’sche Ansatz
Frequentistische Statistik folgt dem Verständnis von Wahrscheinlichkeit als Langzeithäufigkeit.	Bayes’sche Statistik folgt den Begriffen „Wahrscheinlichkeit als Grad der Überzeugung“ und „logische Wahrscheinlichkeit“.
Bei diesem Ansatz verwenden Sie nur Daten aus Ihrem aktuellen Experiment. Die frequentistische Lösung besteht darin, Tests durchzuführen und Schlussfolgerungen zu ziehen.	Bei diesem Ansatz verwenden Sie Ihr Vorwissen aus früheren Experimenten und versuchen, diese Informationen in Ihre aktuellen Daten einzubeziehen. Die Bayes’sche Lösung besteht darin, vorhandene Daten zu nutzen, um Schlussfolgerungen zu ziehen.
Gibt einen geschätzten Mittelwert (und eine Standardabweichung) der Stichproben an, bei denen A B schlägt, lässt aber die Fälle völlig außer Acht, in denen B A schlägt.	Berücksichtigt die Möglichkeit, dass A B schlägt, und errechnet die Spanne der zu erwartenden Verbesserung.
Der Test muss eine bestimmte Zeit lang laufen, um korrekte Daten zu generieren, aber er kann nicht feststellen, wie nah oder weit A und B tatsächlich beieinander liegen. Er kann nicht sagen, wie hoch die Wahrscheinlichkeit ist, dass A gegen B gewinnt.	Sie haben mehr Kontrolle über die Tests. Sie können besser planen, haben einen genaueren Grund für die Beendigung von Tests und können exakt sehen, wie nah oder weit A und B voneinander entfernt sind.

Sobald Sie herausgefunden haben, welche Testmethode und welchen statistischen Ansatz Sie verwenden möchten, ist es an der Zeit, die Methodik und Kunst der Durchführung von A/B-Tests mit Hilfe der VWO-Plattform zu erlernen.

Wie führt man einen A/B-Test durch?

A/B-Tests sind eine sehr systematische Methode, um herauszufinden, was bei einer Marketingkampagne funktioniert und was nicht. Die meisten Marketingmaßnahmen sind darauf ausgerichtet, mehr Besucher zu gewinnen. Da genau das immer schwieriger und teurer wird, ist es von entscheidender Bedeutung, den Nutzern auf der eigenen Website das bestmögliche Erlebnis zu bieten. Heißt konkret: Sie sollen schnell finden, wonach sie suchen, und ebenso schnell konvertieren. A/B-Tests die der Schlüssel, um aus Ihrem bestehenden Traffic das Maximum herauszuholen und den Umsatz zu steigern.

Ein strukturiertes A/B-Test-Programm kann Ihr Marketing profitabler machen, indem es diejenigen Probleme beleuchtet, die dringend der Optimierung bedürfen. Dabei sind A/B-Tests keine einmalige Angelegenheit, die alle Jubeljahre ansteht, sondern ein strukturiertes und kontinuierliches Projekt, das permanent im Rahmen eines gut definierten CRO-Prozesses laufen sollte. Im Großen und Ganzen geht es um folgende Schritte:

Schritt 1: Research

Bevor Sie einen Plan für A/B-Tests aufstellen, sollten Sie Funktionsweise Ihrer Website gründlich erkunden. Sie müssen Daten über alles sammeln, was damit zu tun hat: wie viele Nutzer auf die Website kommen, welche Seiten den meisten Traffic auf sich ziehen, die Konversionsziele der verschiedenen Seiten usw. Neben A/B-Test-Tools, die hier zum Einsatz kommen, benötigen Sie quantitative Web-Analyse-Werkzeuge wie Google Analytics, Omniture, Mixpanel usw., mit denen Sie die am häufigsten besuchten Seiten, die Seiten mit der höchsten Verweildauer oder die Seiten mit der höchsten Absprungrate ermitteln. Ein guter Anfang bestünde z. B. darin, die Seiten mit dem höchsten Umsatzpotenzial oder dem höchsten täglichen Traffic in die engere Auswahl zu nehmen. Anschließend können Sie sich mit den qualitativen Aspekten des Traffics befassen.

Heatmap-Tools verraten Ihnen, wo die Nutzer die meiste Zeit verbringen, wie sie scrollen usw. Dies hilft Ihnen dabei, Problembereiche auf Ihrer Website zu identifizieren. Ein weiteres beliebtes Tool für aufschlussreiche Untersuchungen sind Umfragen unter den Nutzern Ihrer Website. Umfragen sind eine direkte Brücke zwischen Ihrem Website-Team und den Usern und fördern oft Probleme zutage, die beim bloßen Blick in die Daten übersehen werden.

Darüber hinaus können Sie qualitative Insights aus Sitzungsaufzeichnungen gewinnen. Anhand der Daten zum Besucherverhalten entdecken Sie Lücken in der User Journey. Tools zur Sitzungsaufzeichnung geben in Kombination mit Umfragen zur Formularanalyse Aufschluss darüber, warum Nutzer Eingabemasken nicht fertig ausfüllen. Das kann an u. a. an der Abfrage zu persönlicher oder einfach zu vieler Informationen liegen.

Sowohl die quantitative als auch die qualitative Forschung liefern jede Menge verwertbare Erkenntnisse und bereiten uns so auf die nächsten Schritte im Prozess vor.

Schritt 2: Beobachtung und Formulierung einer Hypothese

Kommen Sie Ihren Unternehmenszielen näher, indem Sie Beobachtungen protokollieren und datengestützte Hypothesen zur Steigerung der Conversions aufstellen. Ohne diese Vorarbeit ist Ihre Testkampagne wie ein Kompass ohne Nadel. Die qualitativen und quantitativen Forschungstools können Ihnen nur beim Sammeln von Daten zum Besucherverhalten helfen. Aber sie kommen nicht um die Aufgabe herum, diese Daten zu analysieren und – in Kombination mit Insights aus Beobachtungen – zu nutzen, um datengestützte Hypothesen zu formulieren. Sobald Sie eine Hypothese aufgestellt haben, sollten Sie sie anhand verschiedener Parameter u. a. testen, wie überzeugt sie vom Testerfolg sind, wie viel Einfluss der Test auf ihre zentralen Ziele auswirkt und wie viel Aufwand mit der Durchführung verbunden ist.

Schritt 3: Varianten erstellen

Der nächste Schritt in Ihrem Testprogramm sollte darin bestehen, eine Variation auf Basis Ihrer Hypothese zu erstellen und sie mit der bestehenden Version (Kontrollvariante) zu vergleichen. Eine Variation unterscheidet sich von Ihrer aktuellen Version durch die Veränderungen, die Sie testen möchten. Sie können mehrere Testvarianten gegen die Kontrollvariante antreten lassen, um herauszufinden, welche am besten funktioniert. Erstellen Sie eine Variante auf der Grundlage Ihrer Hypothese, um die User Experience zu optimieren. Füllen zum Beispiel viele Leute die Formulare nicht aus? Hat Ihr Formular zu viele Felder? Erfordert es allzu persönliche Informationen? Vielleicht können Sie eine Variante mit einem kürzeren Formular ausprobieren oder eine andere Variante ohne Fragen nach sehr persönlichen Informationen.

Schritt 4: Test durchführen

Bevor Sie zur Tat schreiten, sollten Sie sich für die Testmethode und den Ansatz entscheiden. Diese Entscheidung sollte sich nach den Anforderungen Ihrer Website sowie Ihren Geschäftszielen richten (wie oben erläutert). Starten Sie den Test und warten Sie die vorgegebene Zeit ab, um statistisch signifikante Ergebnisse zu erzielen. Denken Sie daran: Egal, für welche Methode Sie sich entscheiden, Ihre Testmethode und die statistische Genauigkeit werden die Endergebnisse bestimmen. 

Eine solche Bedingung ist zum Beispiel der Zeitpunkt der Testkampagne. Der Zeitpunkt und die Dauer des Tests müssen genau stimmen. Berechnen Sie die Testdauer unter Berücksichtigung täglichen und monatlichen Traffics, der bestehenden Conversion Rate sowie der von Ihnen erwarteten Mindestverbesserung, der Anzahl der Varianten (einschließlich der Kontrollvariante), des Prozentsatzes der in den Test einbezogenen Besucher usw.

Verwenden Sie unseren Bayes-Rechner, um zu berechnen, wie lange Ihr A/B-Test dauern sollte, um statistisch signifikante Ergebnisse zu erzielen.

Schritt 5: Ergebnisse analysieren und Änderungen einführen

Der letzte Schritt besteht in der Analyse der Ergebnisse sowie der Ermittlung des Gewinners Ihres Tests. Anders formuliert: Nach der kontinuierlichen Datenerfassung und -analyse fahren Sie nun die „Ernte“ ein. Sobald Ihr Test abgeschlossen ist, nehmen Sie sich die Testergebnisse vor, indem Sie Kennzahlen wie prozentuale Steigerung, Konfidenzniveau, direkte und indirekte Auswirkungen auf andere KPIs usw. bestimmen. Wenn die Zahlen eine klare Sprache sprechen, war Ihr Test erfolgreich. Setzen Sie die erfolgreiche Variante ein. Wenn der Test nicht schlüssig ist, sollten Sie eben daraus Erkenntnisse ziehen und nachfolgende Tests anders justieren.

Mit A/B-Tests können Sie systematisch jeden Teil Ihrer Website durcharbeiten, um die Conversion Rate zu verbessern.

Wie man einen Zeitplan für A/B-Tests erstellt – planen und Prioritäten setzen

A/B-Tests sollten nie als isolierte Optimierungsübung betrachtet werden. Sie sind Teil eines umfassenderen, ganzheitlichen CRO-Programms und sollten auch als solche behandelt werden. Ein effektives Optimierungsprogramm besteht in der Regel aus zwei Teilen, nämlich aus Planung und Priorisierung. Eines Tages aufzuwachen und zu beschließen, Ihre Website zu testen, ist nicht die Art und Weise, wie CRO betrieben wird. Der richtige Weg führt über eine sorgfältige Konzeption und die Nutzung der Besucherdaten.

Im Klartext: Sie beginnen mit der Analyse vorhandener Websitedaten und der Sammlung von Daten zum Besucherverhalten, um anschließend auf dieser Grundlage eine Liste von Maßnahmen (Backlog) zu erstellen, die Punkte nach Relevanz zu sortieren, Tests durchzuführen und daraus Erkenntnisse für die Zukunft zu ziehen. Wenn Sie genügend Ad-hoc-Tests durchgeführt haben, können Sie Ihr A/B-Test-Programm skalieren, um es strukturierter und effizienter zu gestalten. 

Der erste Schritt dazu ist die Erstellung eines A/B-Testkalenders. Ein guter Testkalender oder ein gutes CRO-Programm führt Sie durch 4 Phasen:

Stufe 1: Messen

Diese Phase dient der Planung Ihres A/B-Testprogramms. Der Fokus liegt auf der Performance Ihrer Website im Hinblick darauf, wie sich die Besucher auf ihr verhalten. In dieser Phase sollten Sie herausfinden, was auf Ihrer Website geschieht und warum es geschieht. Das übergeordnete Ziel lautet: Alles, was auf Ihrer Website geschieht, sollte auf Ihr Geschäftsziel einzahlen. (Dazu müssen Sie sich natürlich im Klaren darüber sein, was Ihr Geschäftsziel ist.) Tools wie Google Analytics können Ihnen helfen, Ihre Ziele zu quantifizieren. Aber spätestens nach der Definition Ihrer Ziele sollten Sie Google Analytics einrichten, um Maßstäbe für Ihre wichtigsten KPIs zu gewinnen.

Nehmen wir einen Online-Shop für Handyhüllen als Beispiel. Das Geschäftsziel besteht darin, mehr Handyhüllen zu verkaufen. Der zur Verfolgung dieses Ziels festgelegte KPI wäre dann die Anzahl der Sales.

Mit der Definition von Website-Zielen und KPIs ist diese Phase jedoch noch nicht vorbei. Es geht auch darum, Ihre Besucher zu verstehen. Wir haben bereits die verschiedenen Tools besprochen, die zur Erfassung des Besucherverhaltens verwendet werden können. Sobald die Daten gesammelt sind, loggen Sie sich in die Beobachtungen ein und beginnen Sie von dort aus mit der Planung Ihrer Kampagne. Bessere Daten bedeuten höhere Umsätze.

Sobald die Geschäftsziele definiert, die KPIs festgelegt und die Daten der Website und des Besucherverhaltens analysiert sind, ist es an der Zeit, ein Backlog zu erstellen.

Backlog: „eine Liste nicht ausgeführter Aufgaben oder nicht verarbeiteter Materialien„.

Ihr Backlog sollte eine vollständige Liste aller Elemente der Website sein, die Sie auf Basis der von Ihnen analysierten Daten testen möchten. Wenn Sie ein datengestütztes Backlog erstellt haben, besteht der nächste Schritt in der Formulierung einer Hypothese für jedes Backlog-Element. Mit den in dieser Phase gesammelten Daten und ihrer Analyse verfügen Sie nun über einen ausreichenden Kontext für das, was auf Ihrer Website passiert und warum. Formulieren Sie auf dieser Grundlage eine Hypothese.

Beispiel: Nach der Analyse der Daten, die Sie mit Hilfe von quantitativen und qualitativen Forschungsinstrumenten in der ersten Phase gesammelt haben, kommen Sie zum Schluss, dass das Fehlen mehrerer Zahlungsoptionen dazu führt, dass die meisten Interessenten den Checkout-Prozess abbrechen. Sie stellen also die Hypothese auf, dass „das Hinzufügen mehrerer Zahlungsoptionen dazu beitragen wird, die Zahl der Kaufabbrüche zu verringern“.

Kurz gesagt, am Ende dieser Phase werden Sie wissen, wie und warum Ihre Website funktioniert.

Stufe 2: Priorisieren

In der nächsten Phase sortieren Sie Ihre Testmöglichkeiten nach Priorität. Die Priorisierung hilft Ihnen, mehrere Hypothesen nach wissenschaftlichen Kriterien zu sortieren. Inzwischen sollten Sie mit Website- und Besucherdaten ausgestattet sein und sich über Ihre Ziele im Klaren sein. Mit dem Backlog aus der ersten Phase und den Hypothesen für alle Testkandidaten haben Sie die Hälfte Ihres Optimierungsfahrplans geschafft. Jetzt kommt die Hauptaufgabe dieser Phase: die Priorisierung.

In Phase 2 sollten Sie in der Lage sein, Problembereiche auf Ihrer Website und Lecks in Ihrem Funnel zu identifizieren. Aber nicht in jedem Problem steckt der gleiche Effekt, wenn man es löst. Daher ist es unerlässlich, Ihre Backlog-Kandidaten in die richtige Reihenfolge zu bringen. Ganz oben sollten die Testkampagnen stehen, die z. B. das größte Optimierungspotenzial oder die größte Kostenersparnis versprechen, die die größte Bedeutung für Ihre Geschäftsziele haben oder sich auf die Seiten mit dem meisten Traffic beziehen usw.

Aber wie stellen Sie sicher, dass Sie die Reihenfolge objektiv und nicht aus dem Bauch heraus festlegen? Wir Menschen legen viel Wert auf Bauchgefühle, persönliche Meinungen, Ideen und Werte, weil uns diese Dinge im Alltag helfen. Aber CRO ist nicht das tägliche Leben. Es handelt sich um einen wissenschaftlichen Prozess, bei dem Sie objektiv sein und fundierte, datengestützte Entscheidungen treffen müssen. Der beste Weg, um Emotionen herauszuhalten, ist die Einführung eines Ordnungsrahmens (Framework) zur korrekten Priorisierung.

Es gibt viele Ordnungsrahmen, die selbst Experten verwenden, um ihre riesigen Backlogs zu überblicken. Auf dieser Seite erfahren Sie mehr über die gängigsten Frameworks, die UX-Experten verwenden: das CIE-Priorisierungsframework, das PIE-Priorisierungsframework und das LIFT-Modell.

1. CIE-Priorisierungsframework

Im CIE-Framework gibt es drei Parameter, anhand derer Sie Ihren Test auf einer Skala von 1 bis 5 bewerten müssen: Zuversicht, Bedeutung und Komplexität (Confidence, Importance,, Ease = CIE):

• Zuversicht: Bewerten Sie auf einer Skala von 1 (niedrig) bis 5 (hoch), wie zuversichtlich Sie sind, die in der Hypothese formulierte Verbesserung zu erreichen.
• Bedeutung: Bewerten Sie auf einer Skala von 1 (niedrig) bis 5 (hoch), wie wichtig der Test (für den die Hypothese erstellt wird) ist.
• Komplexität: Bewerten Sie auf einer Skala von 1 (schwierig) bis 5 (leicht) die Komplexität des Tests. Schätzen Sie, wie schwierig es sein wird, die für den Test ermittelten Änderungen umzusetzen.

Bevor Sie Ihre Hypothesen bewerten, sollten Sie diese 3 Dinge beachten:

A. Wie zuversichtlich sind Sie, dass Sie die Verbesserung erreichen?

Das Prototyping der von Ihnen anvisierten User Persona kann Ihnen helfen, das Potenzial einer Hypothese zu bestimmen. Wenn Sie über ein tiefes Verständnis Ihrer Zielgruppe verfügen, können Sie eine fundierte Annahme darüber treffen, ob die Hypothese die Bedenken und Zweifel der Nutzer tatsächlich adressiert und positiv auf die Conversion Rate wirkt oder nicht.

B. Wie wertvoll ist der Traffic, für den Sie diesen Test durchführen?

Vielleicht zieht Ihre Website eine Menge Besucher an, aber nicht alle Besucher konvertieren zu Käufern. Beispielsweise ist eine Hypothese, die sich auf den Checkout bezieht, wichtiger als eine Hypothese zur Seite mit den Produktmerkmalen. Klar, denn die User kurz vorm Kauf stecken sehr tief in Ihrem Sales Funnel und werden viel wahrscheinlicher zu zahlenden Kunden als die Besucher einer Produktseite.

C. Wie einfach ist es, diesen Test durchzuführen?

Um festzustellen, wie einfach sich ein Test durchführen lässt, sollten Sie einige Fragen beantworten: Würde die Umsetzung der Hypothese eine Menge strategischer Überlegungen Ihrerseits erfordern? Wie hoch ist der Aufwand für den Entwurf und die Entwicklung der in der Hypothese vorgeschlagenen Lösung? Können die in der Hypothese vorgeschlagenen Änderungen mit dem Visual Editor umgesetzt werden oder ist es notwendig, eigenen Code hinzuzufügen? Erst wenn Sie alle diese und andere Fragen beantwortet haben, sollten Sie den Parameter „Komplexität“ Ihres Backlog-Kandidaten bewerten.

2. PIE-Priorisierungsframework

Das PIE-Framework wurde entwickelt, um die Frage „Was sollte ich zuerst testen?“ zu beantworten. Zu diesem Zweck gibt es drei Kriterien, die Sie bei der Auswahl der zu testenden Elemente berücksichtigen sollten: Potenzial, Relevanz und Komplexität (Potential, Importance, Ease = PIE).

Potenzial meint die Fähigkeit einer Seite, sich zu verbessern. Aus der Planungsphase sollten Sie über alle notwendigen Daten verfügen, um dieses Potenzial einschätzen zu können.

Die Bedeutung bezieht sich auf den Wert einer Seite, also darauf, wie viel Traffic auf die Seite kommt. Wenn Sie eine Problemseite identifiziert haben, auf der aber nichts los ist, dann ist diese Seite im Vergleich zu anderen Seiten mit mehr Traffic von geringerer Bedeutung.

Das dritte und letzte Kriterium ist die Komplexität. Wie schwierig ist es, einen Test auf einer bestimmten Seite oder mit einem bestimmten Element durchzuführen? Eine Möglichkeit, den Aufwand des Testens zu bestimmen, ist die Verwendung von Tools wie dem Landingpage Analyzer, um den aktuellen Zustand Ihrer Landingpages zu bestimmen, die Anzahl und den Umfang der erforderlichen Änderungen abzuschätzen und Prioritäten zu setzen, ob überhaupt, und wenn ja, welche Änderungen durchgeführt werden sollen. Die Ressourcen sind begrenzt. Viele Unternehmen lassen die Idee einer A/B-Testkampagne fallen, weil ihnen die Ressourcen fehlen. Es gibt 2 Arten von Ressourcen:

A. Personal

Obwohl CRO und A/B-Tests schon länger eingesetzt werden, sind diese beiden Konzepte erst in jüngster Zeit in den Vordergrund gerückt. Daher verfügen die wenigsten Unternehmen über ein dediziertes Optimierungsteam, und wenn doch, dann handelt es sich in der Regel um eine Handvoll Leute. An dieser Stelle hilft ein Optimierungskalender sehr. Mit einem gut geplanten und nach Prioritäten geordneten Backlog kann ein kleines CRO-Team seine begrenzten Ressourcen auf die wichtigsten Punkte konzentrieren.

B. Tools

Je populärer CRO und A/B-Tests werden, desto populärer werden auch die zahlreichen A/B-Test-Tools – sowohl im unteren als auch im oberen Preissegment. Aber ohne Erfahrung in diesem Bereich beginnen Unternehmen womöglich damit, A/B-Tests für jedes einzelne Element des Backlogs durchzuführen. So kommen sie allerdings kaum zu statistisch signifikanten Ergebnissen. Dafür gibt es zwei Gründe: Erstens sind Tests ohne Priorisierung zum Scheitern verurteilt und bringen dem Unternehmen keinen Gewinn. Zweitens: Nicht alle Tools sind von gleicher Qualität.

Einige Tools sind teurer, bieten aber auch mehr. Entweder verfügen sie über Integrationen zu wertvollen Instrumenten für qualitative und quantitative Forschung oder es sind brillante Standalone-Tools, die direkt statistisch signifikante Ergebnisse liefern können. Günstigere Tools kosten weniger, leisten aber oft auch weniger. Die Kosten-Nutzen-Relation ist entscheidend. Eine Priorisierung hilft Ihnen, Ihren Backlog zu überblicken und die wenigen Ressourcen, die Ihnen zur Verfügung stehen, den profitabelsten Testkandidaten zu widmen.

Die Kandidaten im Backlog sollten danach bewertet werden, wie schwer sie technisch umzusetzen sind und wie sehr sie zum wirtschaftlichen Erfolg beitragen. Sie können jeden potenziellen Kandidaten auf Basis dieser Kriterien als Geschäftsmöglichkeit bewerten und denjenigen mit der höchsten Punktzahl auswählen. Als E-Commerce-Unternehmen könnten Sie zum Beispiel die Homepage, die Produktseite, die Checkout-Seite und die Bewertungsseite testen. Nach dem PIE-Framework reihen Sie diese Seiten auf und bewerten jeweils Potenzial, Relevanz und Aufwand.

*bewertet mit insgesamt 10 Punkten pro Kriterium.

3. Das LIFT-Modell

Das LIFT-Modell ist ein weiteres beliebtes Framework für die Conversion-Optimierung. Es hilft Ihnen dabei, Web- und Mobil-Erlebnisse zu analysieren und gute A/B-Test-Hypothesen zu entwickeln. Es stützt sich auf die 6 Konversionsfaktoren, um Erlebnisse aus der Perspektive des Seitenbesuchers zu bewerten: Nutzenversprechen, Klarheit, Relevanz, Ablenkung, Dringlichkeit und Ängstlichkeit.

Wenn Sie diesen Faktoren gemäß Prioritäten setzen, können Sie Ihr A/B-Test-Programm für mindestens 6 bis 12 Monate im Voraus festlegen. So haben Sie genügend Zeit zur Vorbereitung und können Ihre Ressourcen optimal einplanen.

Stufe 3: A/B-Test

Die dritte und wichtigste Phase ist die Testphase. Nach der Priorisierungsphase verfügen Sie über alle erforderlichen Daten und ein priorisiertes Backlog. Sobald Sie zu Ihrem Ziel passende Hypothesen formuliert und diese priorisiert haben, erstellen Sie Varianten und geben den Test frei. Während der Test läuft, sollten Sie sicherstellen, dass er alle Anforderungen erfüllt, um bis zu seinem Abschluss statistisch signifikante Ergebnisse zu erzielen. Das bedingt u. a., dass der Test mit dem richtigen Traffic durchgeführt wird, dass nicht zu viele Elemente gleichzeitig getestet werden und dass die Testdauer korrekt ist.

Stufe 4: Wiederholung

In dieser Phase geht es darum, aus dem vergangenen und dem aktuellen Test zu lernen und diese Erkenntnisse für künftige Experimente zu nutzen. Sobald Ihr Test die festgelegte Zeitspanne durchlaufen hat, stoppen Sie ihn und beginnen mit der Analyse der gesammelten Daten. Als erstes werden Sie feststellen, dass eine der vielen getesteten Versionen besser als alle anderen abgeschnitten und gewonnen hat. Es ist nun an der Zeit, dass Sie und Ihr Team herausfinden, warum das so ist. 3 Ergebnisse sind möglich:

• Ihre Testvariante bzw. eine Ihrer Testvarianten hat mit statistischer Signifikanz gewonnen.
• Ihre Kontrollvariante war besser und hat sich gegenüber den Testvarianten durchgesetzt.
• Ihr Test ist fehlgeschlagen und hat zu unklaren Ergebnissen geführt. Bestimmen Sie die Signifikanz Ihrer Testergebnisse mit Tools wie dem A/B-Test-Signifikanzrechner.

Bei den ersten beiden Szenarien sollten Sie Ihr Programm einfach fortsetzen. Nehmen Sie Verbesserungen an der Gewinnerversion vor und testen Sie weiter. Beim dritten Szenario sollten Sie den Testprozess reflektieren und feststellen, wo Sie einen Fehler gemacht haben. Beheben Sie den Fehler und wiederholen Sie den Test.

Hier finden Sie ein Beispiel für einen A/B-Testkalender zum Download. Klicken Sie im Hauptmenü auf die Option „Datei“ und dann auf „Herunterladen“.

Datei > Herunterladen

Wenn Sie Ihr A/B-Testprogramm skalieren, sollten Sie die folgenden Punkte beachten:

A: Wiederholung eines bereits abgeschlossenen Tests:

Mit einem priorisierten Kalender hat Ihr Optimierungsteam eine klare Vorstellung davon, was es als Nächstes testen wird und welcher Test wann durchgeführt werden muss. Sobald Sie jedes Element oder die meisten Elemente des Backlogs getestet haben, sollten Sie sowohl erfolgreiche als auch fehlgeschlagene Kampagnen erneut überprüfen. Analysieren Sie die Testergebnisse und stellen Sie fest, ob Sie in den Daten Anhaltspunkte finden, um einen erneuten Test zu rechtfertigen. Wenn dies der Fall ist, wiederholen Sie den Test mit den erforderlichen Modifikationen.

B. Steigerung der Testfrequenz:

Sie sollten zwar stets darauf achten, nicht zu viele Elemente gleichzeitig zu testen, aber eine höhere Testfrequenz ist für die Skalierung Ihres Testprogramms unerlässlich. Ihr Optimierungsteam muss es so planen, dass keiner der Tests andere oder die Leistung Ihrer Website beeinträchtigt. Eine Möglichkeit, dies zu erreichen, ist die gleichzeitige Durchführung von Tests auf verschiedenen Seiten Ihrer Website oder das Testen von Elementen derselben Seite zu unterschiedlichen Zeitpunkten. Auf diese Weise erhöhen Sie die Zahl der Test, ohne dass sie einander beeinflussen. Sie können zum Beispiel gleichzeitig je ein Element Ihrer Homepage, der Checkout-Seite und der Anmeldeseite testen und im Anschluss andere Elemente (jeweils ein Element) dieser Seiten.

C. Zeitliche Staffelung des Tests:

Dies ergibt sich aus dem vorhergehenden Punkt. Wenn Sie sich den obigen Kalender ansehen, werden Sie feststellen, dass sich pro Woche nicht mehr als zwei Tests überschneiden. Um die Häufigkeit Ihrer Tests zu erhöhen, sollten Sie keine Kompromisse bei der Gesamtkonversionsrate Ihrer Website eingehen. Wenn Sie zwei oder mehr kritische Elemente auf der gleichen Seite testen müssen, sollten Sie diese zeitlich voneinander trennen. Wenn Sie zu viele Elemente auf einer Seite gleichzeitig testen, wird es schwieriger, den Anteil der einzelnen Änderungen am Erfolg oder Misserfolg des Tests zu beurteilen.

Nehmen wir an, Sie möchten eine der Landingpages Ihrer Werbekampagne testen. Sie verändern den CTA, um die Zahl der Anmeldungen zu erhöhen, und die Banner, um die Absprungrate zu senken und die Verweildauer zu steigern. Beim CTA beschließen Sie auf Grundlage Ihrer Daten, den Text zu ändern. In Bezug auf das Banner testen Sie anstelle eines statischen Bildes ein Video. Sie führen beide Tests gleichzeitig durch und erreichen am Ende alle Ziele. Das Problem: Die Daten zeigen, dass durch den neuen CTA mehr Anmeldungen erfolgten, aber das Video (abgesehen von der Verringerung der Absprungrate und der Erhöhung der durchschnittlichen Verweildauer) ebenfalls dazu beitrug. Die meisten Personen, die sich das Video ansahen, meldeten sich auch an.

Da Sie die beiden Tests zeitlich nicht voneinander getrennt haben, ist es unmöglich zu sagen, welches Element am meisten zum Anstieg der Anmeldungen beigetragen hat. Hätten Sie die beiden Tests zeitlich getrennt, hätten Sie viel aussagekräftigere Erkenntnisse gewonnen.

D. Erfassung mehrerer Metriken: 

Normalerweise misst man die Leistung eines A/B-Tests anhand eines einzigen Konversionsziels, das allein darüber entscheidet, welche Variante siegt. Aber manchmal wirkt sich die siegreiche Variante auch auf andere Website-Ziele aus. Das obige Beispiel ist auch hier anwendbar. Das Video hat nicht nur die Absprungrate verringert und die Verweildauer erhöht, sondern auch zu mehr Anmeldungen beigetragen. Um Ihr A/B-Testprogramm zu skalieren, sollten Sie mehrere Messgrößen verfolgen, damit Sie mit weniger Aufwand mehr Erkenntnisse gewinnen.

Ein sorgfältig erstellter Kalender hilft, bei aller Rationalisierung die Übersicht zu bewahren.

VWO bietet eine eingebaute Kalenderfunktion, das sogenannte Kanban-Board, mit dem Sie den Fortschritt Ihrer Tests in verschiedenen Phasen verfolgen können.

Welche Fehler sind bei A/B-Tests zu vermeiden?

A/B-Tests zählen zu den effektivsten Methoden, um KPIs in eine positive Richtung zu lenken und den Umsatz zu steigern. Wie bereits erwähnt, erfordern A/B-Tests jedoch Planung, Geduld und Präzision. Fehler kosten Zeit und Geld, was Ressourcen verschwendet und Ihre Optimierungsstrategie intern schlecht aussehen lässt. Hier eine Liste der häufigsten Fehler, die Sie bei der Durchführung eines A/B-Tests vermeiden sollten:

Fehler Nr. 1: Keine Planung Ihres Optimierungsfahrplans

A. Ungültige Hypothese:

Bei A/B-Tests wird vor der Durchführung eine Hypothese formuliert. Alle weiteren Schritte hängen von dieser Hypothese ab: Was soll geändert werden, warum soll es geändert werden, was ist das erwartete Ergebnis usw. Wenn Sie mit der falschen Hypothese beginnen, sinkt die Wahrscheinlichkeit, dass der Test erfolgreich wird.

B. Auf die Erfahrungen anderer vertrauen:

Ein anderes Unternehmen hat den Anmeldeprozess verändert und damit die Conversion Rate um 30 % gesteigert. Aber das ist deren Testergebnis, basierend auf deren Traffic, deren Hypothese und deren Zielen. Sie können die Testergebnisse anderer nicht unverändert auf Ihre Website übertragen. Keine zwei Websites sind gleich – was bei den anderen funktioniert, funktioniert bei Ihnen nicht unbedingt. Die Besucherzahlen sind unterschiedlich, die Zielgruppe ist möglicherweise eine andere, die Optimierungsmethode vielleicht auch usw.

Fehler Nr. 2: Zu viele Elemente zusammen testen 

Experten warnen davor, zu viele Tests gleichzeitig durchzuführen. Wenn zu viele Elemente einer Website gleichzeitig getestet werden, ist es schwierig festzustellen, welches Element den Erfolg oder Misserfolg des Tests am stärksten beeinflusst hat. Je mehr Elemente getestet werden, desto mehr Traffic auf der betreffenden Seite ist erforderlich, um statistisch signifikante Tests zu bekommen. Daher ist eine Priorisierung der Tests für erfolgreiche A/B-Tests unerlässlich.

Fehler Nr. 3: Statistische Signifikanz ignorieren

Wenn Bauchgefühle oder Meinungen bei der Formulierung der Hypothesen oder bei der Festlegung der Ziele des A/B-Tests eine Rolle spielen, wird er höchstwahrscheinlich scheitern. Unabhängig von Erfolg oder Misserfolg müssen Sie den Test ganz durchlaufen lassen, damit er statistische Signifikanz erreicht.

Es ist nicht wichtig, ob Testergebnisse wie gewünscht ausfallen oder nicht. Sie müssen nur korrekt sein, um Insights liefern und bei der Planung der nächsten Tests helfen zu können.

Weitere Informationen zu den verschiedenen Fehlertypen erhalten Sie, wenn Sie sich mit der Mathematik der A/B-Tests befassen.

Fehler Nr. 4: Unausgewogener Traffic

Unternehmen testen oft mit unausgewogenem Traffic. A/B-Tests brauchen angemessenen Traffic, um aussagekräftige Ergebnisse zu erzielen. Wenn Sie zu wenig oder zu viel Traffic verwenden als für die Tests erforderlich, steigt die Wahrscheinlichkeit, dass Ihre Kampagne fehlschlägt oder keine aussagekräftigen Ergebnisse liefert.

Fehler Nr. 5: Tests mit falscher Dauer

Je nach Traffic und Zielsetzung müssen Sie A/B-Tests über einen bestimmten Zeitraum durchführen, um statistische Signifikanz zu erreichen. Ein zu langer oder zu kurzer Testzeitraum kann dazu führen, dass der Test fehlschlägt oder unbedeutende Ergebnisse liefert. Sollte eine Version Ihrer Website in den ersten Tagen nach Beginn des Tests zu gewinnen scheinen, bedeutet dies nicht, dass Sie den Test vorzeitig abbrechen sollten. Eine Kampagne zu lange laufen zu lassen, ist ebenfalls ein häufiger Fehler, den Unternehmen begehen. Die Dauer des Tests hängt von verschiedenen Faktoren ab, wie z. B. dem bestehenden Traffic, der bestehenden Conversion Rate, der erwarteten Verbesserung usw.

Erfahren Sie, wie lange Sie Ihren Test laufen lassen sollten.

Fehler Nr. 6: Kein iterativer Prozess

A/B-Tests sind ein iterativer Prozess, bei dem jedes Experiment auf den Ergebnissen des vorherigen aufbaut. Viele Unternehmen geben A/B-Tests auf, nachdem ihr erster Test fehlgeschlagen ist. Um jedoch die Erfolgschancen des nächsten Tests zu erhöhen, sollten Sie bei dessen Planung und Durchführung die Erkenntnisse aus den letzten Tests nutzen. Dies erhöht die Wahrscheinlichkeit, dass Ihr Test statistisch signifikante Ergebnisse liefert.

Außerdem sollten Sie nach einer erfolgreichen Testkampagne nicht einfach aufhören. Testen Sie jedes Element mehrfach, um zu immer besseren Versionen zu gelangen.

Fehler Nr. 7: Externe Faktoren nicht beachten

Um aussagekräftige Ergebnisse zu erzielen, sollten Tests in vergleichbaren Zeiträumen stattfinden. Beispielsweise kennen Online-Shops den Unterschied zwischen Traffic im Frühling (normal) mit dem der Vorweihnachtszeit (sehr hoch). Ein und derselbe Test würde je nach Zeitraum aufgrund des externen Faktors Weihnachten zu unterschiedlichen und wahrscheinlich verfälschten Ergebnissen führen. Verwenden Sie den A/B-Test-Signifikanzrechner von VWO, um herauszufinden, ob die Ergebnisse Ihres Tests signifikant sind oder nicht.

Fehler Nr. 8: Verwendung der falschen Tools

Mit zunehmender Popularität von A/B-Tests kamen auch diverse kostengünstige Tools auf den Markt. Nicht alle diese Tools sind gleich gut. Einige verlangsamen Ihre Website drastisch, andere bieten keine Integration mit den erforderlichen qualitativen Tools (Heatmaps, Sitzungsaufzeichnungen usw.), was zu schlechteren Daten führt. A/B-Tests mit solchen mangelhaften Tools können den Erfolg Ihres Optimierungsprogramms gefährden.

Fehler Nr. 9: Bei einfachen A/B-Tests stehenbleiben

Die meisten erfahrenen Optimierer empfehlen, dass Sie Ihren Aufbruch in die CRO-Welt mit kleinen A/B-Tests auf Ihrer Website beginnen sollten, um sich mit dem gesamten Prozess vertraut zu machen. Bleiben Sie aber auf diesem Niveau, werden Sie keine großen Fortschritte erzielen. Wenn Sie z. B. eine komplette Seite überarbeiten möchten, sollten Sie Split-Tests durchführen. Wenn Sie hingegen eine Reihe von Permutationen von CTA-Schaltflächen (Farbe, Text, Bild, Form etc.) sowie das Headerbild Ihrer Seite gleichzeitig testen möchten, sind multivariate Tests das Mittel der Wahl.

Was sind die Herausforderungen von A/B-Tests?

Der ROI von A/B-Tests kann enorm sein. Tests zeigen Problembereiche präzise an und ermöglichen Ihnen so, Ihre Ressourcen auf extrem relevante Elemente zu konzentrieren. Aber Testkampagnen bieten nicht nur für große Chancen, sondern auch Herausforderungen. Hier kommen die 6 wichtigsten Challenges:

Challenge Nr. 1: Entscheiden, was getestet werden soll

Sie können nicht einfach eines Tages aufwachen und beschließen, irgendwelche Elemente zu testen. Das heißt: Sie können das schon machen, aber die Chance, dass Sie eine willkürliche und einfache Veränderung Ihren Geschäftszielen näherbringt, ist gering. Auch für komplexe Änderungen gilt nichts anderes. Für kluge Entscheidungen benötigen Sie Daten aus Web-Analytics und Besucheranalysen. Denn erst diese Daten verraten Ihnen, was Sie testen sollen. Die Daten sagen Ihnen, welche Veränderungen auf welchen Seiten den größten Effekt auf Ihre Conversion Rate erzielen.

Herausforderung Nr. 2: Hypothesen formulieren

In engem Zusammenhang mit der ersten Herausforderung steht die zweite: die Formulierung einer Hypothese. Hier wird deutlich, wie wichtig es ist, über wissenschaftliche Daten zu verfügen. Wenn Sie Tests ohne geeignete Daten durchführen, richten Sie womöglich Schaden an. Mit Hilfe der Daten, die Sie im ersten Schritt (d. h. der Recherche) des A/B-Tests gesammelt haben, müssen Sie herausfinden, wo die Probleme mit Ihrer Website liegen, und eine Hypothese aufstellen. Dies geht nur dann, wenn Sie ein gut strukturiertes und geplantes A/B-Test-Programm durchführen.

Herausforderung Nr. 3: Stichprobenumfang festlegen

Nur wenige erfahrene Optimierer sind Statistiker. Wir machen oft den Fehler, Ergebnisse zu schnell für schlüssig zu erklären – einfach nur, weil wir auf schnelle Ergebnisse aus sind. Wirklich gute Ergebnisse hängen maßgeblich von der Stichprobengrößen ab. Wir müssen lernen, wie groß unsere Teststichprobe im Verhältnis zu den Besucherzahlen auf unserer Webseite sein sollte.

Herausforderung Nr. 4: Testergebnisse analysieren

Jeder Schritt bei A/B-Tests ist mit Erfolg und Misserfolg verbunden – sowohl bei erfolgreichen als auch bei fehlgeschlagenen Tests:

1. Erfolgreiche Kampagnen:

Sie haben zwei Tests durchgeführt, die beide zu statistisch signifikanten Ergebnissen geführt haben? Großartig! Und nun? Ja, der Gewinner wird eingesetzt, aber was kommt danach? Was erfahrene Optimierer oft nicht tun oder schwierig finden, ist die Interpretation von Testergebnissen. Aber es ist äußerst wichtig zu verstehen, warum ein Test erfolgreich war. Warum haben sich die Kunden so verhalten, wie sie es getan haben? Warum haben sie bei einer Version auf eine bestimmte Weise reagiert und bei den anderen Versionen nicht? Welche Erkenntnisse über die Besucher haben Sie gewonnen, und wie können Sie diese nutzen? Viele Experience-Optimierer tun sich schwer mit diesen Fragen. Aber die Antworten sind nicht nur der Schlüssel zum Sinn des aktuellen Tests, sondern liefern auch entscheidenden Input für den nächsten.

2. Fehlgeschlagene Kampagnen:

Manchmal scheuen erfahrene Optimierer den Rückblick auf fehlgeschlagene Tests. Vielleicht fällt es ihnen schwer, im Team über den Schlag ins Wasser zu sprechen. Oder sie haben keine Ahnung, was sie mit dem Misserfolg anfangen sollen. Aber auch ein fehlgeschlagener Test ist wertvoll, wenn man es schafft, daraus Lehren zu ziehen. Wenn man konstruktiv mit Misserfolgen umgeht, sind sie wie Zwischenschritte auf dem Weg zum Erfolg. Die während des gesamten A/B-Testprozesses gesammelten Daten sind ein Schatz, auch wenn der Test selbst nicht zum erhofften Ergebnis geführt hat. Die Daten enthalten Erkenntnisse, die dabei helfen können, Ihren nächsten Test zum Erfolg zu führen.

Ein weiterer Punkt: Gerade weniger erfahrene Optimierer laufen im Zuge der Datenanalyse Gefahr, die gesammelten Daten zu verfälschen. Beispiel: Ohne einen Prozess gibt es kein Ende des Scrollens durch Heatmap-Daten oder Sitzungsaufzeichnungen. Noch schwieriger wird es, wenn Sie verschiedene Tools für diese Zwecke verwenden. Denn dann steigt die Wahrscheinlichkeit von Datenverlusten beim Versuch, sie zu integrieren. So mancher scheiterte nicht an einem Mangel an Daten, sondern an einem Mangel an analytischem Know-how und der Fähigkeit, Muster zu erkennen und Wichtiges von Unwichtigem zu unterscheiden.

Herausforderung Nr. 5: Etablierung einer Testkultur

Eine entscheidende Erkenntnis im Zusammenhang mit Optimierungsprogrammen wie CRO und A/B-Tests ist, dass es sich um einen iterativen Prozess handelt. Damit Ihre Optimierungsbemühungen langfristig erfolgreich sind, sollten sie einen Zyklus bilden, der grob mit Research beginnt und mit Research endet.

Diese Herausforderung ist nicht nur eine Frage des Aufwands oder Wissens. Manchmal setzen Unternehmen aufgrund knapper Ressourcen A/B-Tests nur selten oder sporadisch ein und schaffen es nicht, eine angemessene Testkultur zu etablieren.

Herausforderung Nr. 6: Ändern von Experimenteinstellungen mitten in einem A/B-Test

Wenn Sie ein Experiment starten, müssen Sie es vollständig durchführen. Versuchen Sie nicht, während des Tests Ihre Experimenteinstellungen zu ändern, Ihre Testziele zu bearbeiten oder wegzulassen oder mit dem Design der Kontroll- oder Testvariante zu spielen. Versuchen Sie auch nicht, die Zuweisung des Traffics zu den Varianten zu ändern, da dies nicht nur die Stichprobengröße Ihrer wiederkehrenden Besucher verändern, sondern auch Ihre Testergebnisse massiv verfälschen wird.

Lohnt es sich also angesichts all dieser Herausforderungen, A/B-Tests durchzuführen?

Aus allem Wissen über A/B-Tests geht hervor, dass sie trotz aller Herausforderungen einen hohen ROI erzielen. Aus Sicht des Marketings nehmen A/B-Tests das Rätselraten aus dem Optimierungsprozess heraus. Strategische Marketingentscheidungen können datengestützt getroffen werden. Die Ausarbeitung einer idealen Marketingstrategie für eine Website mit klar definierten Zielen wird leichter. Ohne ein A/B-Test-Programm wird Ihr Marketingteam Elemente einfach nach dem Zufallsprinzip oder nach Bauchgefühlen oder Vorlieben testen. Solche datenlosen Tests sind wie Stochern im Nebel: sinnlos.

Wenn Sie mit einer guten Website- und Besucherdatenanalyse beginnen, lassen sich die ersten drei Herausforderungen leicht lösen. Anhand der umfangreichen Daten können Sie Prioritäten setzen, und Sie müssen nicht einmal entscheiden, was Sie testen wollen. Die Daten entscheiden für Sie. Mit derartigen Qualitätsdaten und Ihrem Fachwissen ist die Formulierung einer Arbeitshypothese nur noch eine Frage der Durchsicht der verfügbaren Daten und der Entscheidung, welche Änderungen im Hinblick auf Ihr Ziel am aussichtsreichsten sind. Um die dritte Herausforderung zu meistern, können Sie mit Hilfe vieler heute verfügbarer Tools die geeignete Stichprobengröße für Ihre Testkampagne berechnen.

Die letzten beiden Herausforderungen hängen mit Ihrer Herangehensweise zusammen. Wenn Sie A/B-Tests wie einen iterativen Prozess behandeln, haben Sie den halben Weg bereits geschafft. Die zweite Hälfte des Wegs meistern sie, indem Sie Experten auf diesem Gebiet einstellen oder sich darin schulen lassen, wie man Forschungsdaten und -ergebnisse richtig analysiert. Der richtige Ansatz zur Bewältigung der letzten Herausforderung besteht darin, Ihre limitierten Ressourcen auf die geschäftskritischsten Elemente zu konzentrieren und im Rahmen eines verbindlichen Testprogramms nach und nach eine Testkultur aufbauen.

A/B-Tests und SEO

Was die Auswirkungen von SEO auf A/B-Tests betrifft, hat Google in seinem Blogbeitrag mit dem Titel „Website Testing And Google Search“ Klarheit geschaffen. Die wichtigsten Punkte aus diesem Beitrag sind im Folgenden zusammengefasst:

Cloaking vermeiden

Cloaking – die Anzeige eines Inhalts für Menschen und eines anderen Inhalts für den Googlebot – verstößt gegen die Webmaster-Richtlinien, unabhängig davon, ob Sie einen Test durchführen oder nicht. Stellen Sie sicher, dass Sie nicht auf der Grundlage des User-Agents entscheiden, ob die Kontroll- oder die Testvariante ausgespielt wird. Ein Beispiel hierfür wäre, immer den Originalinhalt auszuliefern, wenn Sie den User-Agent „Googlebot“ sehen. Denken Sie daran, dass ein Verstoß gegen die Richtlinien dazu führen kann, dass Ihre Website herabgestuft oder sogar aus den Google-Suchergebnissen entfernt wird – wahrscheinlich nicht das gewünschte Ergebnis Ihres Tests.

Nur 302-Umleitungen verwenden

Wenn Sie einen A/B-Test durchführen, bei dem Nutzer von der Original-URL auf eine andere URL umgeleitet werden, verwenden Sie eine temporäre 302er-Umleitung und keine permanente 301er-Umleitung. Damit teilen Sie den Suchmaschinen mit, dass diese Weiterleitung nur vorübergehend ist – sie wird nur so lange bestehen, wie Sie das Experiment durchführen – und dass sie die ursprüngliche URL in ihrem Index behalten sollten, anstatt sie durch das Ziel der Weiterleitung (die Testseite) zu ersetzen. Auch JavaScript-basierte Weiterleitungen haben grünes Licht von Google erhalten.

Experimente für eine angemessene Dauer durchführen

Wie viel Zeit für einen zuverlässigen Test benötigt wird, hängt von Faktoren wie Ihren Conversion Rates und dem Traffic auf Ihrer Website ab. Ein gutes Test-Tool sollte Ihnen sagen, wann Sie genug Daten gesammelt haben, um zuverlässige Schlussfolgerungen ziehen zu können. Sobald Sie den Test abgeschlossen haben, sollten Sie Ihre Website mit der/den gewünschten Variante(n) aktualisieren und alle Elemente des Tests so schnell wie möglich entfernen, z. B. alternative URLs oder Testskripte und Markups.

Kanonische Links verwenden

Google empfiehlt die Verwendung des Link-Attributs rel=“canonical“ für alle alternativen URLs, um zu verdeutlichen, dass die ursprüngliche URL die bevorzugte ist. Dieser Vorschlag beruht auf der Tatsache, dass rel=“canonical“ Ihrer Absicht in dieser Situation besser entspricht als andere Methoden wie z. B. kein Index-Meta-Tag. Wenn Sie beispielsweise Varianten Ihrer Produktseite testen, wollen Sie nicht, dass Suchmaschinen Ihre Produktseite nicht indizieren. Sie wollen nur, dass sie verstehen, dass alle Test-URLs ähnliche Kopien oder Variationen der Original-URL sind und zusammen gruppiert werden sollten, wobei die Original-URL der Protagonist bleibt. In solchen Fällen kann die Verwendung von „no index“ anstelle von rel=“canonical“ unerwartete negative Auswirkungen haben.

Beispiele für A/B-Tests

A/B-Tests in der Medienbranche

Typische Ziele eines Medienunternehmens oder Verlags lauten: Zahl der Zuschauer und Leser erhöhen, Zahl der Abonnements steigern, Verweildauer der Besucher auf der Website erhöhen, Zahl der Videoaufrufe und anderer Inhalte durch die gemeinsame Nutzung sozialer Netzwerke usw. erhöhen. Sie können Variationen von Registrierungsmodalen, empfohlenen Inhalten, Social-Buttons, hervorgehobenen Abo-Hinweisen und andere Werbeoptionen testen.

Jeder Netflix-Kunde kennt das hervorragende Streaming-Erlebnis. Aber nicht jeder weiß, wie Netflix es schafft, so gut zu sein. Das Geheimnis liegt in einem strukturierten und rigorosen A/B-Testprogramm. Es soll das sichern, was andere Unternehmen trotz vieler Bemühungen auch heute noch nicht schaffen, nämlich ein großartiges Nutzererlebnis. Jede Änderung, die Netflix an seiner Website vornimmt, durchläuft einen intensiven A/B-Testprozess, bevor sie eingesetzt wird. Ein Beispiel dafür ist der Einsatz der Personalisierung.

Netflix personalisiert seine Homepage. Um jedem Besucher die optimale User Experience zu bieten, individualisiert der Streaming-Riese anhand des Nutzerprofils seine Startseite. Netflix entscheidet, wie viele Zeilen auf der Homepage erscheinen und welche Sendungen/Filme in die Zeilen aufgenommen werden, und zwar auf Basis der Streaming-Historie und der Vorlieben des jeweiligen Nutzers.

Dasselbe Verfahren kommt auch bei den Titelseiten der Medien zum Einsatz. Auf diesen Seiten personalisiert Netflix die Titel, die Miniaturansichten, den Titeltext, Social Proofs usw. Und das ist nur die Spitze des Eisbergs.

A/B-Tests in der E-Commerce-Branche

Mit Hilfe von A/B-Tests können Online-Shops den durchschnittlichen Bestellwert erhöhen, ihren Checkout-Funnel optimieren, die Zahl der Warenkorbabbrüche verringern usw. Sie können Folgendes testen: die Art und Weise, wie die Versandkosten angezeigt werden und wo, ob und wie die Funktion „kostenloser Versand“ hervorgehoben wird, Text- und Farbänderungen auf den Bezahlseiten, die Sichtbarkeit von Rezensionen und Bewertungen usw.

Amazon steht an der Spitze der CRO-Kunst, was zum einen an der Größe des Unternehmens liegt und zum anderen an seinem immensen Engagement für eine optimale Customer Experience. Unter den vielen revolutionären Praktiken, die das Unternehmen in der eCommerce-Branche eingeführt hat, ist die „1-Klick-Bestellung“ die bekannteste. Die in den späten 1990er Jahren nach vielen Tests und Analysen eingeführte 1-Click-Bestellung ermöglicht es den Nutzern, Einkäufe auch ohne Aufruf des Warenkorbs abzuschließen. 

Sobald die Benutzer ihre Standard-Rechnungskartendaten und die Lieferadresse hinterlegt haben, müssen sie nur noch auf die Schaltfläche klicken und auf die Lieferung der bestellten Produkte warten. Die Nutzer müssen ihre Rechnungs- und Versanddaten bei der Bestellung nicht erneut eingeben. Mit der 1-Klick-Bestellung wurden Einkäufe bei Amazon für die Benutzer so bequem, dass Wettbewerber schier keine Chance mehr hatten. Diese Änderung hatte einen so großen Einfluss auf das Geschäft, dass Amazon sie 1999 patentieren ließ. (Das Patent ist inzwischen abgelaufen.) Im Jahr 2000 erwarb sogar Apple eine Lizenz für dieses Verfahren, um es in seinem Online-Shop zu verwenden.

Das Optimierungsteam von Amazon wartet für Änderungen nicht auf plötzliche „Heureka“-Momente. Nur durch kontinuierliche und strukturierte A/B-Tests ist der E-Commerce-Primus in der Lage, ein derartig hervorragendes Nutzererlebnis zu gewährleisten. Jede Änderung auf der Website wird zunächst an der Zielgruppe getestet und dann umgesetzt. Wenn Sie sich den Sales Funnel von Amazon ansehen, werden Sie feststellen, dass er anderen zwar mehr oder minder ähnelt, aber jedes einzelne Element darin vollständig optimiert ist und den Erwartungen der Zielgruppe entspricht.

Jede Seite, von der Startseite bis zur Bezahlseite, enthält nur die wesentlichen Details und führt zu genau dem nächsten Schritt, der erforderlich ist, um die Nutzer weiter in Richtung Kauf zu bewegen. Darüber hinaus wird jeder Schritt anhand umfangreicher Nutzerdaten und Website-Daten so weit wie möglich vereinfacht, um alle Hürden aus dem Weg zu räumen.

Nehmen Sie zum Beispiel den allgegenwärtigen Einkaufswagen.

Oben rechts auf der Amazon-Startseite befindet sich ein kleines Einkaufswagen-Symbol, das unabhängig davon, auf welcher Seite Sie sich befinden, sichtbar bleibt.

Das Symbol ist nicht nur eine Verknüpfung zum Warenkorb oder eine Erinnerung an hinzugefügte Produkte. In seiner aktuellen Version bietet es 5 Optionen:

• Einkauf fortsetzen (wenn keine Produkte in den Warenkorb gelegt wurden)
• Informieren Sie sich über die heutigen Angebote (wenn keine Produkte in den Warenkorb gelegt wurden)
• Wunschliste (wenn dem Warenkorb keine Produkte hinzugefügt wurden)

• Zur Kasse gehen (wenn sich Produkte im Warenkorb befinden)
• Melden Sie sich für 1-Klick-Bestellungen an (wenn sich Produkte im Warenkorb befinden)

Ein Klick auf das winzige Symbol bietet so viele Optionen. Das reduziert die kognitive Belastung des Nutzers und verbessert seine Erfahrung gleichermaßen. Wie im obigen Screenshot zu sehen ist, werden auf der gleichen Warenkorb-Seite auch ähnliche Produkte vorgeschlagen, so dass die Kunden zurück auf die Website navigieren und ihren Einkauf fortsetzen können. All dies erreicht Amazon mit einer einzigen Waffe: A/B-Tests.

A/B-Tests in der Reisebranche

Typische Ziele: Zahl der erfolgreichen Buchungen auf der Website oder in der App steigern und Einnahmen aus Zusatzleistungen. Über A/B-Tests können Sie Homepage-Suchmodale, die Suchergebnisseite, die Präsentation von Zusatzprodukten, den Fortschrittsbalken an der Kasse usw. zu optimieren versuchen.

In der Reisebranche übertrifft Booking.com mit Leichtigkeit alle anderen E-Commerce-Unternehmen, wenn es um den Einsatz von A/B-Tests für die Verbesserung der User Experience geht. Seit dem ersten Tag fährt der Reisevermittler A/B-Tests wie am Fließband, um seinen Umsatz zu pushen. Vor allem Texte werden getestet. Während Sie dies lesen, laufen auf der Website von Booking.com fast 1000 A/B-Tests. 

Obwohl Booking.com seit mehr als einem Jahrzehnt A/B-Tests durchführt, ist das Unternehmen immer noch der Meinung, dass es mehr tun kann, um die Benutzerfreundlichkeit zu verbessern. Und das ist es, was Booking.com zu einem Ass im Spiel macht. Seit der Gründung des Unternehmens hat Booking.com A/B-Tests in seinen täglichen Arbeitsprozess integriert. Das Unternehmen hat seine Testgeschwindigkeit auf das heutige Niveau erhöht, indem es HiPPOs (highest paid person’s opinion) eliminiert und den Daten Vorrang vor allem anderen gegeben hat. Und um die Testgeschwindigkeit noch weiter zu erhöhen, durften alle Mitarbeiter von Booking.com Ideen testen, von denen sie glaubten, dass sie zum Wachstum des Unternehmens beitragen könnten.

Dieses Beispiel soll zeigen, wie weit Booking.com geht, um die Interaktion seiner Nutzer mit der Website zu optimieren. 2017 beschloss das Reiseunternehmen, seine Reichweite zu erhöhen, indem es neben Hotels auch Ferienwohnungen anbot. Dies führte dazu, dass Booking.com eine Partnerschaft mit Outbrain einging. Die Plattform für native Werbung sollte die Registrierung von Vermietern auf der ganzen Welt fördern.

In den ersten Tagen nach dem Start stellte das Team von Booking.com fest, dass viele Immobilienbesitzer auf der Landingpage der Kampagne zwar den ersten Anmeldeschritt abschlossen, dann aber steckenblieben.

Die beiden Teams erstellten gemeinsam drei Versionen der Landingpage-Kopie für Booking.com. Zusätzliche Details wie Social Proofs, Auszeichnungen, Rezensionen, Incentives usw. wurden zu den Varianten hinzugefügt.

Der Test lief zwei Wochen lang und führte zu einem Anstieg der Anmeldungen von 25 %. Die Testergebnisse zeigten auch einen deutlichen Rückgang der Kosten pro Registrierung.

A/B-Tests in der B2B/SaaS-Branche

Software-Anbieter sind darauf aus, die Zielgruppe unter den Website-Besuchern herauszufiltern, hochwertige Leads für das Vertriebsteam zu generieren, die Anzahl der Anfragen für kostenlose Testversionen zu steigern usw. Um diese und andere Ziele zu erreichen, stellen Marketingteams die relevantesten Inhalte auf ihre Website, spielen gezielte Anzeigen aus, führen Webinare durch, bieten Sonderaktionen an und viel mehr. Doch all ihre Bemühungen wären umsonst, wenn die Landingpage nicht exakt auf die Erwartungen der Interessenten hin ausgerichtet und optimiert ist.

Das Ziel von A/B-Tests für SaaS ist es, die beste User Experience zu bieten und mehr Conersions zu erzielen. Sie können versuchen, die Komponenten Ihres Lead-Formulars, den Ablauf der Anmeldung für die kostenlose Testversion, die Nachrichten auf der Homepage, den CTA-Text, den Social Proof auf der Homepage usw. zu testen.

POSist, eine führende SaaS-basierte Restaurant-Management-Plattform mit mehr als 5.000 Kunden an über 100 Standorten in sechs Ländern, wollte seine Demo-Anfragen erhöhen.

Die Homepage und die Kontaktseite sind die wichtigsten Stationen im Funnel. Das Team von POSist wollte die Bounce Rate auf diesen Seiten senken. Um dies zu erreichen, erstellte das Team jeweils zwei Testvarianten der Homepage sowie der Kontaktseite. Werfen wir einen Blick auf die Änderungen, die an der Homepage vorgenommen wurden. So sah die Kontrollvariante aus:

Das Team von POSist stellte die Hypothese auf, dass relevantere und konversionsorientierte Inhalte auf der Website die Nutzererfahrung verbessern und die Conversion Rate steigern. Also erstellten sie zwei Varianten, die im Vergleich zur Kontrollgruppe getestet wurden. So sahen die Variationen aus:

Zuerst trat die Testvariante 1 gegen die Kontrollvariante an und gewann. Um die Seite weiter zu verbessern, wurde anschließend Testvariante 1 gegen Testvariante 2 laufen gelassen, und der Gewinner war Variante 2. Die Zahl der Seitenbesuche stieg um etwa 5 %.

Fazit

Nach der Lektüre dieses umfassenden Beitrags über A/B-Tests sollten Sie nun bestens gerüstet sein, um Ihren eigenen Optimierungsfahrplan in Angriff zu nehmen. Befolgen Sie jeden einzelnen Schritt sorgfältig und achten Sie auf alle größeren und kleineren Fehler, die Sie machen können, wenn Sie den Daten nicht die Bedeutung beimessen, die sie verdienen. A/B-Tests sind von unschätzbarem Wert, wenn es um die Verbesserung der Conversion Rates Ihrer Website geht.

Wenn Sie A/B-Tests mit vollem Einsatz und Ihrem neuen Wissen durchführen, können Sie viele Fallen im Rahmen eines Optimierungsprogramms umgehen. Sie sind nun bereit, die Nutzerfreundlichkeit Ihrer Website erheblich zu verbessern, indem Sie alle Schwachstellen beseitigen und die am besten optimierte Version Ihrer Website finden.

Wenn Sie diesen Leitfaden nützlich fanden, verbreiten Sie ihn gerne weiter und helfen Sie anderen, A/B-Tests unfallfrei durchzuführen. Viel Spaß beim Testen!

Häufig gestellte Fragen zu A/B-Tests