Wie du CRO-Tests richtig durchführst: Sauberes Experimentieren

🎙 Unterwegs? Hör dir den Artikel in unserem Podcast Cave Bits an!

Weitere Folgen von Cave Bits anhören


 

Viele führen A/B-Tests durch, wenige machen es richtig.

Frag einen erfahrenen Conversion-Rate-Optimization-Profi, was die entscheidende Komponente für erfolgreiche CRO-Experimente ist, und er wird antworten: der richtige Prozess.

Aber wie sieht dieser richtige Prozess aus? Was sind die Voraussetzungen für einen guten Test, und wie führst du ihn korrekt durch? Was machst du anschließend mit deinen Testergebnissen? Was, wenn der Test nicht eindeutig ist?

In diesem Beitrag beantworten wir diese Fragen und versuchen, tiefer zu gehen, als solche Beiträge es üblicherweise tun, indem wir unsere Vorschläge mit dem Wissen verschiedener CRO-Experten mit jahrzehntelanger Erfahrung in Conversion Rate Optimization untermauern.

Los geht’s!

Definition

Ein Conversion-Rate-Optimization-(CRO)-Test ist ein Experiment auf einer Website mit dem Ziel herauszufinden, welche Version einer Seite mehr Besucher dazu bringt, eine gewünschte Aktion auszuführen (wie einen Kauf abzuschließen oder sich für einen Service anzumelden).

Ein CRO-Test beinhaltet die Erstellung verschiedener Versionen derselben Webseite, die unterschiedlichen Besuchergruppen gezeigt werden. Der CRO-Test schließt mit einer Analyse ab, welche Version besser darin war, Nutzer zur gewünschten Aktion zu bewegen, und warum. Normalerweise ist das Ziel eines CRO-Tests, deine Website effektiver darin zu machen, Besucher in Kunden zu verwandeln.

Copy linkLink copied

Zuerst gehen wir schnell die Liste der Dinge durch, die vorhanden sein sollten, bevor du deinen ersten Test durchführst.

    • Eine Website. Wir sind schließlich hier, um die Conversion Rate auf einer Website zu optimieren, oder?
    • Ein Website-Analytics-Tool. Das könnte Google Analytics 4, Adobe Analytics, Mixpanel oder ein anderes sein. Auch Mouseflow käme infrage, auch wenn es als quantitatives Analytics-Tool wahrscheinlich nicht so nützlich ist wie für qualitative Analysezwecke. Du brauchst ein Website-Analytics-Tool, um quantitative Daten zu sammeln, um a) Hypothesen für deine Experimente zu entwickeln und b) die Ergebnisse zu analysieren.
    • Ein A/B-Testing-Tool. Es gibt viele gute, wie AB Tasty, Convert Experiences, Optimizely und andere. Die meisten davon sind ziemlich teuer. Leider gibt es Google Optimize nicht mehr – es war eine gute kostenlose Alternative zu den oben genannten. Es gibt aber immer noch günstigere und voll funktionsfähige Optionen wie Varify.io mit fixen Kosten von etwas mehr als 100 $ pro Monat.
      An example of CRO test you can run
    • Ein Behavior-Analytics-/Customer-Experience-Analytics-Tool wie Mouseflow. Um qualitativ hochwertige Experimente durchzuführen, brauchst du viele der Features, die Behavior-Analytics-Plattformen bieten. Achte darauf, dass das von dir gewählte Tool ein gutes Heatmap-Tool, ein Session-Replay-Tool mit Friction-Events-Tracking, Conversion Funnels und ein Feedback-Umfrage-Tool bietet. Wir kommen im Verlauf des Experimentierprozesses darauf zurück, wann du diese brauchst. Ein weiterer Punkt, auf den du bei der Wahl eines Behavior-Analytics-Tools achten solltest, ist, dass es eine Integration mit dem von dir gewählten A/B-Testing-Tool hat. Das ist unbedingt notwendig, damit du Daten für jede Variante und jedes Experiment segmentieren – und separat analysieren – kannst. Mouseflow bietet zum Beispiel schnelle vorgefertigte Integrationen mit den 8 beliebtesten Tools sowie eine API, sodass du selbst eine Integration bauen kannst, falls sie fehlt. Wir haben einen detaillierten Vergleich der besten Heatmap- und Session-Replay-Tools, falls du eines auswählen musst.
    • Management-Buy-in. Das ist kein Tool, aber nicht weniger wichtig. Alle Stakeholder sollten wissen, was du tust und warum du es tust, und deine Initiative unterstützen. Diese Unterstützung brauchst du bei so gut wie jedem Schritt des CRO-Prozesses – von der Motivation von Entwicklern und Designern, das zu tun, was du brauchst, bis hin dazu, dass sich HIPPOs (auch bekannt als „Highest Paid Person’s Opinion”) nicht in das Experiment einmischen.

Das war’s mit der Liste der Voraussetzungen. Wir haben eine Liste der besten CRO-Tools aller Art in einem anderen Artikel besprochen, falls du deine Ausrüstung wählen musst, bevor du ins Experimentieren einsteigst.

Okay, wir sind bereit, um mit dem richtigen Experimentieren zu beginnen! Und es beginnt immer mit Research.

Alles, was du für CRO-Research brauchst

Mouseflow bietet Session Replay, 7 Arten von Heatmaps, User-Feedback-Umfragen und Conversion Funnels.
Kostenlos testen
Keine Kreditkarte erforderlich
Copy linkLink copied

Das Wichtigste an jedem Test ist, was du eigentlich testest – die Idee.

Natürlich hast du unzählige Ideen dafür, was du testen könntest – von verschiedenen Call-to-Action-Textvarianten bis hin zur kompletten Überarbeitung des Checkout-Prozesses. Also musst du klug auswählen.

Warum Research für CRO wichtig ist

Ideen sind großartig, aber viele CRO-Experten sind sich in einem Punkt einig: Führe niemals CRO-Experimente aus dem Bauchgefühl heraus durch. Selbst wenn sie nicht scheitern (was, seien wir ehrlich, unwahrscheinlich ist), lernst du aus einem zufälligen Experiment weniger als aus einem mit einer gut recherchierten Hypothese, die für deinen konkreten Fall relevant ist.

Dasselbe gilt für Ideen, die du von deinem Chef oder Kunden ohne zugrunde liegende Research bekommst. Weder dein Bauchgefühl noch das deines Chefs sollten CRO-Entscheidungen treffen.

Dein Chef oder Kunde braucht Überzeugungsarbeit?

Zeig ihm diese Geschichte von Shiva Manjunath, dem Host des Podcasts „From A to B”, über Spaghetti Testing.

Shiva Manjunath headshot

„Heute führe ich keine Tests mehr durch, wenn sie nicht durch irgendeine Form von Daten untermauert sind. Das war für mich ein riesiger Mindset-Wandel – vom Spaghetti Testing hin zu strategischem Testing durch die Zusammenführung von Datenquellen zu starken Hypothesen.”

Shiva Manjunath, Senior Web Product Manager, CRO bei Motive

Oder du kannst dich auf diese Geschichte von Daniël Granja Baltazar, CRO-Spezialist bei VodafoneZiggo, beziehen, über einen Kunden, der auf „großen und mutigen” Experimenten bestand, statt auf kleinen, aber gut recherchierten. Beide Geschichten zeigen die entscheidende Bedeutung von Research für erfolgreiches Experimentieren.

Das Hauptziel von CRO ist Lernen. Du willst aus jedem Test so viel wie möglich lernen, und wertvolles Lernen ist nur möglich, wenn die Idee, die du testen willst, ein Fundament hat.

Idealerweise solltest du eine Roadmap mit deinen gut recherchierten, priorisierten Hypothesen haben, sodass du jedes Mal das wirkungsvollste mögliche Experiment durchführst. Wir besprechen die Erstellung einer CRO-Roadmap in einem separaten Beitrag. Wenn du mit einem CRO-Audit deiner Website begonnen hast, hast du wahrscheinlich schon so etwas wie eine Roadmap, was großartig ist. Falls nicht, erstellst du eine im Verlauf.

Wie du eine Hypothese für einen CRO-Test formulierst

Eine Hypothese ist die Idee, dass sich, wenn du etwas auf deiner Website änderst, bestimmte Metriken verbessern würden, weil Nutzer sich anders verhalten würden. Wenn du eine Hypothese formulieren willst, hat sie normalerweise folgendes Format:

Wir vermuten, dass wir B erreichen (z. B. die Conversions zu Signups um 5 % steigern), wenn wir A tun (z. B. den CTA-Text auf einer Landingpage ändern), weil C (der durch Daten belegte Grund dafür).

Der Teil „weil C” wird oft übersehen, aber genau er macht deine Hypothese datengestützt. Und um diese Daten zu haben, musst du etwas Research betreiben.

Datenquellen zur Generierung einer Hypothese

Für eine Hypothese brauchst du Daten. Hier sind die wichtigsten oder üblichsten Quellen dafür:

  • Quantitative Analytics – GA4, Adobe Analytics, was auch immer du nutzt. Achte auf Unstimmigkeiten in den Zahlen – es gibt eine Menge, was man einem guten quantitativen Analytics-Tool entnehmen kann, wenn man nach Anomalien sucht.
  • Behavior Analytics. Genauer gesagt meine ich Heatmaps und Session Recordings. Wir haben Guides dazu, wie man eine Heatmap liest (alle Arten davon) und was man durch das Aufzeichnen von Website-Besuchern lernen kann. Ich empfehle, dort nachzuschauen, um alle Arten von Daten kennenzulernen, die du aus Heatmaps und Session Recordings gewinnen kannst. Um dir eine grobe Vorstellung zu geben: Es könnte etwa so aussehen wie „unsere Heatmaps deuten darauf hin, dass nur 40 % der Website-Besucher unsere wichtigsten Botschaften sehen” oder „unsere Recordings zeigen, dass manche Nutzer offenbar in eine Endlosschleife geraten, wenn sie versuchen, diese bestimmte Aufgabe in unserer App zu erledigen.”
  • User-Feedback-Umfragen (die dein Behavior-Analytics-Tool wahrscheinlich für dich übernehmen kann). Diese eignen sich gut, um direkte Fragen zu stellen. Ist die Seite hilfreich? Haben Nutzer gefunden, wonach sie gesucht haben? Natürlich ist es besser, Umfragen strategisch statt zufällig auszulösen, daher hilft es, einige Daten zu haben, die belegen, warum du Nutzer zu genau diesem Thema auf genau dieser Seite befragen möchtest. Wir haben einen Guide für dich, falls du neu bei User-Feedback-Umfragen bist, sowie einen taktischeren Blogbeitrag darüber, wen, was und wo man fragt, der dir helfen kann, mehr aus ihnen herauszuholen.
  • User Testing. Das ist fast wie Feedback, aber noch interaktiver (und teurer). Mit Plattformen wie Userlytics kannst du echte Nutzer einladen, die zu deinem Ideal Customer Profile passen, um bestimmte Aufgaben auf deiner Website auszuführen. Du kannst ihnen dabei zusehen und Fragen zu ihrer Wahrnehmung der Website stellen – was ist einfach, was ist schwer, was erwarten sie usw. Auch hier ist es besser, genau zu wissen, wozu du diese Fragen stellen willst, bevor du mit User Testing beginnst. Schau dir dieses Webinar mit Rawnets Optimization Strategist und CRO-Expertin Georgie Wells an, das genauer darauf eingeht, wie man das macht.

Es kann natürlich noch weitere Datenquellen geben. Das könnten Support-Tickets, Feature-Adoption-Daten, Fehlerprotokolle, Marktforschung, Bewertungen und so weiter sein. Wenn du tiefer eintauchen willst, wie du datengestützte CRO-Hypothesen auf Basis all dieser Datenarten erstellst, haben wir wie immer einen Beitrag dafür.

Matt Scaysbrook, ein CRO-Veteran mit über einem Jahrzehnt Erfahrung, empfiehlt, darauf zu achten, mindestens zwei übereinstimmende Datenquellen zu haben. Das erhöht die Wahrscheinlichkeit, dass dein Experiment gewinnt, und macht deine CRO-Strategie nachhaltiger.

Wenn du nicht weißt, wo du anfangen sollst, und noch keine Daten hast, eignen sich CRO-Best-Practices wie das Hinzufügen von Social Proof oder das Verschieben von CTAs über den Fold als gute Hypothesen zum Ausprobieren.

Andy Crestodina headshot

Best Practices sind keine in Stein gemeißelten Wahrheiten. Sie sind gute Hypothesen zum Testen. Diese Erkenntnis hat meine Karriere als Marketer und Optimierer verändert.

Andy Crestodina – Co-Founder and CMO bei Orbit Media (read Andy’s story)
Copy linkLink copied

Sobald du mit der Research fertig bist, ist es Zeit zu dokumentieren, wie dein Test aussehen wird. Deine Hypothese ist, was du testen wirst, und deine Dokumentation ist, wie du es testen wirst.

Die Dokumentation kann liegen, wo du willst, aber achte darauf, dass es ein Ort ist, zu dem du leicht zurückkehren kannst – wie zum Beispiel Google Sheets. Optimizely hat ein schönes Beispiel dafür, wie diese Tabelle aussehen kann. Sie sollte nicht nur die Hypothese enthalten, sondern noch einiges mehr:

  • Was genau und wie willst du es für die Variante(n) ändern? Schreib alles auf, was du anpassen möchtest, aber denk daran, dass idealerweise immer nur eine Sache auf einmal geändert werden sollte. Der Umfang dieser einen Sache kann dabei allerdings etwas flexibel sein: Zum Beispiel kannst du entweder nur den Text im Popup ändern oder den Text ändern und zusätzlich dafür sorgen, dass Nutzer es schließen können, indem sie außerhalb des Popups klicken. In beiden Fällen änderst du nur eine Sache – das Popup –, aber der Umfang der Änderungen ist unterschiedlich. Theoretisch ist der erste Ansatz sauberer, aber realistisch gesehen möchtest du vielleicht beim zweiten bleiben – wiederum, damit Experimente eindeutige Ergebnisse liefern.
    Example of a test that Derek Rose ranDas ist übrigens ein echtes Beispiel aus einem Test, den Derek Rose durchgeführt hat, und sie schafften es, ihre Conversions damit (fast) allein um 37 % zu verbessern.
  • Was sind die primären und sekundären Metriken, die du beobachten möchtest? Wahrscheinlich möchtest du nicht nur die Metrik berücksichtigen, die du in deiner Hypothese festgelegt hast, sondern auch einige andere Metriken, die du überwachen musst, um sicherzustellen, dass alles gut läuft. Hier ist ein Beispiel dafür, warum das nötig sein kann. Lucia van den Brink, Gründerin von Women in Experimentation, führte einmal ein Experiment durch mit dem primären Ziel, die Click-Through-Rate (CTR) zu steigern. Formal war das Experiment ein Erfolg – die CTR stieg an. Aber die Conversion Rate sank, weil Nutzer nur klickten, um fehlende Informationen zu bekommen, was sie frustrierte. Das ist wahrscheinlich etwas, das du vermeiden möchtest, oder?
  • Auf welches Zielgruppensegment (geografisch oder anderweitig segmentiert) möchtest du den Test ausrichten?
  • Auf welchen Seiten würden die Änderungen stattfinden? Führst du das Website-weit ein, oder nur auf ein paar spezifischen Seiten? Das beeinflusst die Testdauer, da du einen Test auf nur einer Seite deutlich länger laufen lassen musst, um zu einem eindeutigen Ergebnis zu kommen.
  • Was sind die erwarteten Ergebnisse? Ja, das ist Teil der Hypothese, aber in der Dokumentation kannst du sie etwas detaillierter festhalten.
  • Wie lange muss der Test laufen, und wie viel Traffic wird benötigt? Abhängig davon, wie viel Traffic die Seite pro Tag erhält, welcher Prozentsatz der Besucher die Variante sehen wird, welche Änderungen erwartet werden usw., musst du dein Experiment unterschiedlich lange laufen lassen, um statistische Signifikanz zu erreichen. Du kannst einen Experiment-Rechner wie diesen nutzen, um die Testdauer zu berechnen. Die meisten A/B-Testing-Tools haben auch einen eingebaut.
  • Welche Ressourcen werden benötigt, um den Test durchzuführen? Wer macht was, und wie viele Entwickler- und Designer-Stunden (oder Points, oder wie auch immer sie ihre Arbeit angeben) es kosten wird.
  • Wer sind die Stakeholder?

Arten von CRO-Tests

Jetzt ist auch der Zeitpunkt, um zu entscheiden, welche Art von Test du durchführen möchtest. Höchstwahrscheinlich wird das ein A/B-Test sein – das ist es, was die meisten CROs durchführen. Aber neben A/B-Tests gibt es noch weitere Testarten.

  • A/A-Test. Das bedeutet, die Seite gegen sich selbst zu testen, was normalerweise gemacht wird, um sicherzustellen, dass dein Test-Setup wie erwartet funktioniert und deine CRO-Bemühungen nicht wegen einer Fehlkonfiguration umsonst sind.
  • Split Testing. Das ist A/B-Testing sehr ähnlich, aber in diesem Fall sehen unterschiedliche Besucher unterschiedliche URLs. Für die Zwecke dieses Beitrags können wir sagen, dass Split Testing und A/B-Testing dasselbe sind.
  • A/B/n-Test. Am einfachsten lässt sich das erklären, indem man sagt, es ist ein A/B/C- oder A/B/C/D-Test. Natürlich könnte es noch mehr Varianten geben, die du gegen die Kontrollgruppe testest.
  • Multivariater Test. Das ist, wenn du mehr als eine Variable änderst und Varianten erstellst, die alle Kombinationen abdecken. Wenn du 2 Variablen änderst (eine mit den Versionen A und B, die andere mit den Versionen X und Y), ergibt das 4 Kombinationen: AX, AY, BX, BY. Multivariates Testing kann dir mehr Insights liefern, aber diese Art von Test ist schwerer zu analysieren und braucht deutlich mehr Website-Traffic, um zu einem eindeutigen Ergebnis zu kommen.
Copy linkLink copied

Nachdem du das Experiment gründlich dokumentiert hast und weißt, wer, wann und wo was macht, ist es an der Zeit, die Variante zu bauen, die du testen möchtest. Hier sind ein paar Best Practices, die CRO-Experten für diese Phase empfehlen.

  • Nutze Code statt Varianten über WYSIWYG(„What You See Is What You Get”)-Visual-Editoren von A/B-Testing-Tools umzusetzen. So musst du es normalerweise nicht erneut machen, sobald sich herausstellt, dass dein Experiment funktioniert hat. Außerdem gibt es keine unbekannten Variablen.
  • Baue deine Variante zuerst in der Staging-Umgebung und führe gründliche Quality-Assurance(QA)-Checks durch, bevor du sie in die Produktivumgebung überführst. Niemand will, dass Nutzer eine schlechte Experience haben, weil irgendwo Implementierungsfehler passiert sind. Ein wichtiger Teil der QA ist es, die aktualisierte Seite auf verschiedenen Geräten und in verschiedenen Browsern zu testen. Du kannst deine Kollegen um Hilfe bitten, da du wahrscheinlich nicht selbst den ganzen Geräte-Zoo besitzt. Profi-Tipp: Schau ihnen beim Testen nicht über die Schulter, sondern sieh dir hinterher einfach die Mouseflow-Aufnahmen an.
  • Schließlich: Auch wenn du dein Experiment natürlich lieber früher als später am Laufen haben willst, überstürze nichts. Und lass auch Designer und Entwickler nichts überstürzen. Nutzer werden glücklicher sein, wenn die Experience wirklich angenehm ist und die Seite schnell lädt. Und die Entwickler werden es dir danken, wenn am Ende nicht ein Haufen schlecht und in Eile geschriebener Code herauskommt, der später refaktoriert werden muss.
Copy linkLink copied

Oh, endlich können wir etwas durchführen!

Wenn es dein erster Test ist, führe zuerst einen A/A-Test durch (die Seite mit deinem A/B-Testing-Tool gegen sich selbst testen). Stephen Schultz von Varify empfiehlt das, um sicherzustellen, dass dein A/B-Testing-Setup einwandfrei funktioniert. Wenn ein A/A-Test einen Gewinner vermuten lässt und eindeutig ausfällt, hast du ein Problem mit deiner Einrichtung.

Wenn das Setup in Ordnung erscheint und aktuell keine anderen Experimente laufen, kannst du fortfahren.

Noch etwas: Da wir über CRO sprechen, geht es wahrscheinlich darum, die Conversion Rate irgendwo zu steigern. Um dir das Tracking dieser Conversion zu erleichtern, kannst du mit einem Tool wie Mouseflow Conversion Funnels für sowohl die Kontrollgruppe als auch die Varianten einrichten. Ein Conversion Funnel ist ein sehr einfaches visuelles Tool, um Conversion Rates darzustellen, und sehr nützlich fürs Reporting.

Führe immer nur einen Test durch und ändere nur eine Sache auf einmal

Es lässt sich kaum überbetonen, wie wichtig es ist, immer nur ein Experiment gleichzeitig durchzuführen, wenn du am Ende wirklich etwas Wertvolles lernen willst.

Angenommen, du führst zwei gleichzeitig durch. Wenn du großartige Ergebnisse siehst, welchem Experiment schreibst du sie zu? Oder, wenn das Gesamtergebnis uneindeutig erscheint, liegt es daran, dass beide Experimente uneindeutige Ergebnisse lieferten, oder daran, dass eines tatsächlich ein klarer Gewinner war und das andere ein klarer Verlierer?

Deshalb sollte es keine Überschneidungen zwischen CRO-Tests geben, und in jedem Test ändert sich nur eine Sache. In der Roadmap (falls du eine hast) folgt ein Experiment auf das nächste. Wenn du wirklich Tempo machen willst, probier multivariates Testing aus. Damit kannst du 2 oder 3 Dinge gleichzeitig testen, aber nur, wenn dein Traffic es zulässt.

Vermeide es, Tests zu früh zu beenden

In den meisten Fällen ist es besser, die volle Dauer des Experiments abzuwarten, bevor du es beendest und Schlüsse ziehst. Aber wir Menschen sind ungeduldig. Und das gilt auch für unsere Stakeholder – kein Wunder, die meisten von ihnen scheinen ebenfalls Menschen zu sein.

Nach ein paar Tagen mit sinkenden Conversions willst du vielleicht selbst, oder dein Kunde bzw. Manager, das Experiment stoppen. Das wäre wahrscheinlich ein Fehler.

Ubaldo Hervas, Head of CRO bei LIN3S, betont die Bedeutung des sogenannten Neuheitseffekts. Nutzer können durch etwas Neues verunsichert werden, was die Conversions sinken lässt. Mit der Zeit gewöhnen sie sich jedoch daran, und die Conversions könnten wieder steigen. Warte, bis sich der Neuheitseffekt etwas abschwächt, bevor du auf den Stopp-Knopf drückst.

Ubaldo Hervas headshot

Der „Neuheitseffekt” bezieht sich auf das Phänomen, dass eine Änderung oder etwas Neues auf einer Website (wie ein neues Design, Feature oder Produkt) zunächst mehr (oder weniger) Aufmerksamkeit und Engagement von Nutzern anzieht, was zu einem vorübergehenden Anstieg bzw. Rückgang bestimmter Metriken führt.

Ubaldo Hervas, Head of CRO bei LIN3S

Überprüfe das Nutzerverhalten, während der Test läuft

Etwas, worauf du achten solltest, während dein CRO-Test läuft, ist, ob sich die Nutzer so verhalten, wie du es erwartet hast. Wenn nicht, könnte das ein Ergebnis davon sein, dass etwas nicht richtig funktioniert – irgendwelche Fehler, defekte Links, Endlosschleifen, was auch immer.

Wenn du feststellst, dass es ein Problem mit dem technischen Setup gibt, das den Test schwerwiegend beeinträchtigt, ist das vielleicht die einzige Situation, in der es sich lohnt, ihn zu stoppen. Du hast dann bereits alles Wichtige aus diesem Test gelernt.

Profi-Tipp: Sieh dir Session Recordings von Website-Besuchern aus verschiedenen Browsern und Gerätetypen an – so weißt du, dass alle Nutzer eine gleichermaßen angenehme User Experience bekommen.

Copy linkLink copied

Das ist eigentlich der wichtigste, aber vielleicht auch mühsamste Teil.

Ist das Experiment eindeutig?

Als Erstes musst du hier feststellen, ob das Experiment eindeutig ist: Du hast statistische Signifikanz erreicht und siehst einen klaren Gewinner. Dafür kannst du einen Rechner für statistische Signifikanz verwenden. Beachte, dass 95 % Konfidenz nicht die magische Zahl ist. Wenn du nicht viel Traffic hast, erhöht ein Absenken auf 90 % Konfidenz deine Chance auf eindeutige Experimente (natürlich auf Kosten eines höheren Risikos).

Wenn dein Experiment eindeutig ist, herzlichen Glückwunsch! Falls nicht, oder wenn deine Variante klar gegen die Kontrollgruppe verloren hat, keine Sorge. Um wirklich mit einem Experimentier-Mindset zu arbeiten, musst du bereit sein, häufig zu scheitern – dazu gehören auch uneindeutige CRO-Tests.

Post-Test-Segmentierung und Learnings

Das Wichtige bei Conversion Rate Optimization ist, wie viel du gelernt hast. Und das geht weit über „diese Version hat gewonnen, diese verloren” hinaus. Die wichtigsten Learnings liegen darin zu verstehen, warum etwas passiert ist. Und dafür musst du wieder tief in die Daten eintauchen.

Nachdem der Test abgeschlossen ist, kannst du Heatmaps analysieren und Session Recordings für die Variante ansehen, um zu sehen, ob sich Nutzer so verhalten haben, wie du es erwartet hast. Genau hier kommt die Integration zwischen deinem Behavior-Analytics-Tool und deinem A/B-Testing-Tool zugute.

Wenn du einen Conversion Funnel eingerichtet hast, kannst du Recordings von denen, die konvertiert haben (oder nicht), separieren und ansehen, um Verhaltensmuster zu finden.

Das sind Beispiele für Segmentierung, und tatsächlich empfehlen viele CRO-Experten Post-Test-Segmentierung: deine Ergebnisse nach Gerätetyp oder Land zu segmentieren und zu versuchen zu sehen, ob etwas heraussticht.

Achte auf Ausreißer. Hier ein Beispiel: In seiner CRO-Journal-Geschichte erzählt Amrdeep Athwal, Founder & Director bei Conversions Matter LTD, von einem CRO-Experiment, bei dem ein einziger Kauf so groß war, dass er die Testergebnisse beeinflusste. Es stellte sich heraus, dass ein CEO das Produkt so sehr mochte, dass er es für jeden leitenden Mitarbeiter im Unternehmen kaufte. Solche Situationen kommen vor, also halte nach so etwas Ausschau.

Amrdeep Athwal headhshot

Ich habe auf die harte Tour gelernt, dass man sich in alle Experimente vertiefen muss, sowohl Gewinner als auch Verlierer, um Ausreißer zu finden, die die Daten verzerren könnten.

Amrdeep Athwal, Founder & Director bei Conversions Matter LTD

Die Segmentierung nach Desktop vs. Mobile und die Betrachtung zentraler Conversion-Metriken sowie Recordings für die verschiedenen Gerätetypen kann dir helfen zu verstehen, ob die User Experience gleichermaßen angenehm war oder ob es bei manchen Geräten Probleme gab. Waren die CTAs zum Beispiel sowohl auf Desktop als auch auf Mobile klar sichtbar? Brauchte der Nutzer auf diesen Geräten die gleiche Anzahl an Klicks oder Taps, um den Checkout-Prozess zu durchlaufen?

In dieser Phase ist das Wichtigste, alles zu dokumentieren, was du herausfindest. Das sind die wertvollsten Insights, und du wirst sie für weitere Experimente brauchen.

Copy linkLink copied

Bei einem Test bleibt es nie, oder? Wenn du einen durchführst, bekommst du gleich Ideen für drei weitere. Und so führst du sie immer weiter durch, optimierst deine Website kontinuierlich für Conversions, tauchst in die Ergebnisse ein und entwickelst neue Hypothesen. Wiederholen und weitermachen.

Es lohnt sich außerdem zu erwähnen, dass Conversion Rate Optimization eher eine Kultur als eine einmalige Maßnahme ist, also hab Geduld. Erfahrene CRO-Experten nennen es lieber einfach Optimierung oder Website-Optimierung, weil es nicht nur um Conversions geht. Es geht darum, das Mindset zu verändern, alles zu testen, bevor man sich blind darauf festlegt.

Besonders für SaaS-Unternehmen kann sich dieses Experimentier-Mindset weit über einzelne Landingpages hinaus erstrecken. CRO kann eine umfassendere SaaS-Marketingstrategie unterstützen, indem es Teams hilft zu testen, wie sie Nutzer gewinnen, konvertieren und aktivieren, und diese Learnings zu nutzen, um die Performance kontinuierlich zu verbessern.

Dieses Mindset hilft sehr beim Risikomanagement, beim Wachstum, und insgesamt sagen viele, dass es das einzig gesunde Mindset ist, das ein Unternehmen heutzutage haben kann. Ja, genau dieses Mindset beschreibt Eric Ries in seinem Bestseller „Lean Startup”. Und Conversion Rate Optimization ist ein guter Weg, es anzuwenden.

Lucia van den Brink headshot

Ich habe erlebt, wie Experimentieren Unternehmenskulturen verändert hat. Von Managern, die sagen: „Ich weiß, was funktioniert, und so werden wir es machen”, hin zu einer datengestützten Denkweise, bei der gemeinsam mit einem Team nach den besten Lösungen gesucht wird.

Lucia van den Brink, Founder bei Increase-conversion-rate.com
Copy linkLink copied

Dieser Beitrag gibt dir einen 6-Schritte-Aktionsplan für wirkungsvolle Conversion-Optimization-Tests, mit Ratschlägen und Beispielen von erfahrenen CRO-Experten. Sie bringen jahrzehntelange Erfahrung und erfolgreiche Karrieren im Bereich Conversion Optimization mit und haben ihren Kunden dank der von ihnen durchgeführten Experimente sechs- bis siebenstellige Gewinne beschert. Vieles von dem, was sie empfehlen, haben sie auf die harte Tour gelernt.

Und denk daran: Sei bereit, immer wieder zu scheitern. Das ist völlig in Ordnung, das haben all diese Experten auch getan. Was du aus deinen Misserfolgen lernst, ist das Wichtigste. Du lernst etwas über deine Kunden, du lernst etwas über den Markt, und am Ende helfen dir diese Learnings, erfolgreiche Tests durchzuführen, die Conversions steigern und deinem Umsatz einen schönen Schub geben.

Führe Experimente richtig durch

Nutze Mouseflows Session Replay, Heatmaps, User-Feedback-Umfragen und Conversion Funnels, um starke Hypothesen zu generieren und Testergebnisse zu analysieren.
Kostenlos testen
Keine Kreditkarte erforderlich