• Über den Autor
• Einstieg in multivariate Tests
• Der Unterschied zwischen A/B-Tests und multivariaten Tests
• Arten von multivariaten Tests
• Do’s And Don’ts
• Don’ts
• Do’s
• Fallstudien
• Multivariate Testing Tools And Resources
• Tools
• Ressourcen

Über den Autor

Paras Chopra ist der Gründer von Visual Website Optimizer, dem weltweit einfachsten A/B-Testing-Tool. Es wird von Tausenden von Unternehmen weltweit in mehr als 75 Ländern verwendet, …Mehr überParas Chopra↬

In einem multivariaten Test wird eine Webseite als eine Kombination von Elementen (einschließlich Überschriften, Bilder, Schaltflächen und Text) behandelt, die die Konversionsrate beeinflussen. Im Wesentlichen zerlegen Sie eine Webseite in verschiedene Einheiten und erstellen Variationen dieser Einheiten. Wenn Ihre Seite z. B. aus einer Überschrift, einem Bild und einem Begleittext besteht, erstellen Sie Variationen für jedes dieser Elemente. Zur Veranschaulichung des Beispiels nehmen wir an, dass Sie die folgenden Variationen erstellen:

• Überschrift: Überschrift 1 und Überschrift 2
• Text: Text 1 und Text 2
• Bild: Bild 1 und Bild 2

Das obige Szenario hat drei Variablen (Überschrift, Text und Bild), jede mit zwei Versionen. In einem multivariaten Test geht es darum, herauszufinden, welche Kombination dieser Versionen die höchste Konversionsrate erzielt. Mit Kombinationen meine ich eine der acht (2 × 2 × 2) Versionen der Webseite, die sich ergeben, wenn wir die Varianten der Abschnitte kombinieren:

• Kopfzeile 1 + Text 1 + Bild 1
• Kopfzeile 1 + Text 1 + Bild 2
• Kopfzeile 1 + Text 2 + Bild 1
• Kopfzeile 1 + Text 2 + Bild 2
• Kopfzeile 2 + Text 1 + Bild 1
• Kopfzeile 2 + Text 1 + Bild 2
• Kopfzeile 2 + Text 2 + Bild 1
• Kopfzeile 2 + Text 2 + Bild 2

In multivariaten Tests, teilt man den Traffic zwischen diesen acht verschiedenen Versionen der Seite auf und prüft, welche Kombination die höchste Konversionsrate ergibt – genau wie beim A/B-Testing, bei dem man den Traffic zwischen zwei Versionen einer Seite aufteilt.

Einstieg in multivariate Tests

Um Ihren ersten multivariaten Test zu erstellen, wählen Sie zunächst ein Tool oder Framework, das multivariate Tests unterstützt. Sie können eines der Tools verwenden, die im Abschnitt „Tools“ am Ende dieses Artikels aufgeführt sind. Bitte beachten Sie, dass nicht alle A/B-Testing-Tools multivariate Tests unterstützen. Vergewissern Sie sich also, dass das Tool Ihrer Wahl dies zulässt.

Wenn Sie sich für ein Tool entschieden haben, wählen Sie die Abschnitte, die in den Test einbezogen werden sollen. Wie Sie wissen, kann eine Webseite Dutzende oder Hunderte von verschiedenen Abschnitten enthalten (Fußzeile, Überschrift, Seitenleiste, Anmeldeformular, Navigationsschaltflächen usw.). Sie können nicht alle diese Abschnitte in den Test einbeziehen; die Erstellung von Variationen für alle wäre eine enorme Aufgabe (und, wie Sie weiter unten lesen werden, steigen die Anforderungen an den Datenverkehr für den Test mit jedem neuen Abschnitt exponentiell an). Beschränken Sie sich auf die wenigen Abschnitte der Seite, die Ihrer Meinung nach für das Konversionsziel am wichtigsten sind.

Die folgenden Teile einer Seite (in der Reihenfolge ihrer Wichtigkeit) werden in der Regel in einen multivariaten Test einbezogen:

• Kopfzeile und Überschrift,
• Aufforderungsschaltflächen (Farbe, Text, Größe, Platzierung),
• Text (Inhalt, Länge, Größe),
• Bild (Typ, Platzierung, Größe),
• Formularlänge.

Der Unterschied zwischen A/B-Tests und multivariaten Tests

Konzeptionell sind die beiden Techniken ähnlich, aber es gibt entscheidende Unterschiede. In erster Linie sind die Anforderungen an den Datenverkehr unterschiedlich. Wie ich bereits sagte, steigt die Anzahl der zu testenden Kombinationen bei einem multivariaten Test exponentiell an. Bei einem A/B-Test können Sie drei oder vier Versionen testen, bei einem multivariaten Test sind es Dutzende oder Hunderte von Versionen. Um zu aussagekräftigen Ergebnissen zu gelangen, ist also viel Verkehr – und Zeit – erforderlich.

Wenn Sie zum Beispiel drei Abschnitte mit jeweils drei Varianten haben, beträgt die Anzahl der Kombinationen 27. Fügen Sie einen weiteren Abschnitt mit drei Variationen hinzu, und die Gesamtzahl der Kombinationen steigt auf 81. Wenn Sie aussagekräftige Ergebnisse erzielen wollen, können Sie nicht ständig neue Abschnitte zum Test hinzufügen. Seien Sie selektiv. Eine gute Regel ist, die Gesamtzahl der Kombinationen auf 25 oder weniger zu begrenzen.

Verwenden Sie A/B-Tests für groß angelegte Änderungen, nicht zur Verfeinerung oder Optimierung bestehender Designs. Image by Meet the Chumbeques

Ein weiterer Unterschied besteht darin, wie diese Techniken eingesetzt werden. A/B-Tests sind in der Regel für große, radikale Änderungen reserviert (z. B. die vollständige Änderung einer Landing Page oder die Anzeige von zwei verschiedenen Angeboten). Multivariate Tests werden zur Verfeinerung und Optimierung eines bestehenden Designs eingesetzt. Für die mathematisch Interessierten: A/B-Tests werden zur Optimierung eines globalen Optimums verwendet, während multivariate Tests zur Optimierung eines lokalen Optimums dienen.

Ein Vorteil von multivariaten Tests gegenüber A/B-Split-Tests ist, dass sie Ihnen sagen können, welcher Teil der Seite den größten Einfluss auf die Conversion-Ziele hat. Angenommen, Sie testen die Überschrift, den Text und das Bild auf Ihrer Landing Page. Woher wissen Sie, welcher Teil den größten Einfluss hat? Die meisten Tools für multivariate Tests liefern Ihnen in ihren Berichten eine Metrik, den so genannten „Impact-Faktor“, der angibt, welche Bereiche die Konversionsrate beeinflussen und welche nicht. Bei A/B-Tests erhalten Sie diese Informationen nicht, da alle Abschnitte in einer Variante zusammengefasst werden.

Arten von multivariaten Tests

Abhängig davon, wie Sie den Traffic auf Ihre Kombinationen verteilen, gibt es verschiedene Arten von multivariaten Tests (MVT):

Vollfaktorielle TestsDies ist die Art, auf die man sich im Allgemeinen bezieht, wenn man über multivariate Tests spricht. Bei dieser Methode wird der Website-Verkehr gleichmäßig auf alle Kombinationen verteilt. Wenn es 16 Kombinationen gibt, erhält jede ein Sechzehntel des gesamten Website-Traffics. Da jede Kombination die gleiche Menge an Datenverkehr erhält, liefert diese Methode alle Daten, die benötigt werden, um festzustellen, welche Kombination und welcher Abschnitt am besten abschneiden. Vielleicht stellen Sie fest, dass ein bestimmtes Bild keinen Einfluss auf die Konversionsrate hatte, während die Überschrift den größten Einfluss hatte. Da die vollfaktorielle Methode keine statistischen oder mathematischen Annahmen voraussetzt, empfehle ich sie für multivariate Tests.

Erfassen und vergleichen Sie den resultierenden Verkehr für jede getestete Version. Image by ItoWorld

Teilweises oder fraktionales faktorielles TestenWie der Name schon sagt, wird bei dieser Methode nur ein Bruchteil aller Kombinationen dem Website-Verkehr ausgesetzt. Die Konversionsrate für die nicht exponierten Kombinationen wird von denjenigen abgeleitet, die in den Test einbezogen wurden. Wenn es zum Beispiel 16 Kombinationen gibt, wird der Verkehr nur auf acht davon aufgeteilt. Für die restlichen acht erhalten wir keine Konversionsdaten und müssen daher auf ausgeklügelte Mathematik zurückgreifen (mit einigen Annahmen), um einen Einblick zu erhalten. Aus offensichtlichen Gründen empfehle ich diese Methode nicht: Auch wenn die Anforderungen an die Besucherzahlen bei teilfaktoriellen Tests geringer sind, erzwingt die Methode zu viele Annahmen. Ganz gleich, wie fortgeschritten die Mathematik ist, harte Daten sind immer besser als Schlussfolgerungen.

Taguchi-TestsDies ist die esoterischste Methode von allen. Eine schnelle Google-Suche zeigt viele Tools, die behaupten, mit Taguchi-Tests die Testzeit und den Datenverkehr drastisch reduzieren zu können. Manch einer mag da anderer Meinung sein, aber ich halte die Taguchi-Methode für eine Mogelpackung; es handelt sich um eine Reihe von Heuristiken, nicht um eine theoretisch fundierte Methode. Ursprünglich wurde sie in der Fertigungsindustrie eingesetzt, wo bestimmte Annahmen gemacht wurden, um die Anzahl der Kombinationen zu verringern, die für die Qualitätssicherung und andere Experimente getestet werden mussten. Diese Annahmen sind auf Online-Tests nicht anwendbar, so dass Sie keine Taguchi-Tests durchführen sollten. Bleiben Sie bei den anderen Methoden.

Do’s And Don’ts

Ich habe Hunderte von multivariaten Tests beobachtet, und ich habe gesehen, dass viele Leute die gleichen Fehler machen. Hier sind einige praktische Ratschläge, die direkt aus meiner Erfahrung stammen.

Don’ts

• Nehmen Sie nicht zu viele Abschnitte in den Test auf. Mit jedem zusätzlichen Abschnitt verdoppelt sich die Anzahl der zu testenden Kombinationen. Wenn Sie zum Beispiel eine Überschrift und ein Bild testen, gibt es insgesamt vier Kombinationen (2 × 2). Wenn Sie dem Test eine Schaltfläche hinzufügen, gibt es plötzlich acht Kombinationen zu testen (2 × 2 × 2). Je mehr Kombinationen, desto mehr Besucher brauchen Sie, um aussagekräftige Ergebnisse zu erzielen.

Do’s

• Sehen Sie sich alle Kombinationen an. Bei multivariaten Tests werden Variationen eines Abschnitts (Bild, Überschrift, Schaltfläche usw.) kombiniert, um Seitenvarianten zu erstellen. Eine der Kombinationen könnte seltsam aussehen oder, schlimmer noch, unlogisch oder inkompatibel sein. Eine Kombination könnte zum Beispiel eine Überschrift mit der Aufschrift „15 $ Rabatt“ und eine Schaltfläche mit der Aufschrift „Kostenloses Abonnement“ enthalten. Diese beiden Meldungen sind unvereinbar. Erkennen und beseitigen Sie Inkompatibilitäten in der Vorschauphase.
• Entscheiden Sie, welche Abschnitte es am meisten wert sind, in den Test aufgenommen zu werden. In einem multivariaten Test haben nicht alle Abschnitte den gleichen Einfluss auf die Konversionsrate. Wenn Sie z. B. eine Überschrift, eine Call-to-Action-Schaltfläche und eine Fußzeile einbeziehen, werden Sie vielleicht feststellen, dass Variationen der Fußzeile nur geringe Auswirkungen haben und dass Variationen der Überschrift und der Call-to-Action zu erfolgreichen Kombinationen führen. Sie erhalten einen aussagekräftigen abschnittsspezifischen Bericht. Nachfolgend sehen Sie einen Beispielbericht aus Visual Website Optimizer. Beachten Sie, dass die Schaltfläche mehr Einfluss hat (91 %) als die Überschrift (65 %):
• Schätzen Sie den für aussagekräftige Ergebnisse erforderlichen Traffic. Verschaffen Sie sich vor dem Testen eine klare Vorstellung davon, wie viel Traffic Sie benötigen, um statistisch signifikante Ergebnisse zu erzielen. Ich habe schon Leute gesehen, die Dutzende von Abschnitten zu einer Seite hinzugefügt haben, die nur 100 Besucher pro Tag hat. Es würde Monate dauern, bis sich signifikante Ergebnisse aus einem solchen Test ergeben. Ich schlage vor, einen Rechner zu verwenden, wie z. B. diesen Rechner für die Dauer von A/B-Split- und multivariaten Tests, um abzuschätzen, wie viel Traffic für Ihren Test benötigt wird. Wenn es mehr ist als das, was akzeptabel ist, sollten Sie einige Abschnitte reduzieren.

Fallstudien

Es gibt viele Fallstudien zu A/B-Tests im Internet, aber leider ist es immer noch schwierig, Fallstudien zu multivariaten Tests zu finden. Deshalb habe ich das Internet durchforstet und relevante Fallstudien zusammengestellt.

Fallstudie zum Software-Download: Downloads um 60 % erhöhtDies ist ein multivariater Test, bei dem ich verschiedene Versionen von Überschriften und Links verglichen habe. Am Ende führte eine der Varianten zu einem Anstieg der Downloads um mehr als 60 %.

Microsoft Multivariate Testing Case StudyDiese Präsentation beschreibt die Varianten, die für diese Website getestet wurden, und den endgültigen Gewinner.

SiteSpect FallstudienDiese Seite präsentiert ein Dutzend Fallstudien zu multivariaten Tests von großen Unternehmen, die multivariate Tests und Behavioral Targeting zur Optimierung ihrer Websites einsetzen.

Maxymiser FallstudienEine weitere Reihe von Fallstudien zu multivariaten Tests.

Blick in ein multivariates Experiment mit 1.024 RezeptenYouTube hat 2009 einen gigantischen multivariaten Test durchgeführt. Das Unternehmen kann es sich leisten, Tests mit mehr als tausend Kombinationen durchzuführen, da es über ausreichend Traffic verfügt.

Multivariate Tests eines E-Mail-NewslettersEine Agentur testete Farbe und Text der Call-to-Action-Schaltfläche ihres E-Mail-Newsletters. Die beste Schaltfläche hatte die höchste CTR: 60 %.

Multivariate Testing Tools And Resources

Tools

Google Website OptimizerEin kostenloses grundlegendes Tool für multivariate Tests von Google. Es ist großartig, wenn Sie das Wasser testen möchten, bevor Sie Geld in multivariate Tests investieren. Der Nachteil? Sie müssen verschiedene Abschnitte der Webseite mit JavaScript markieren, was mühsam sein kann. Außerdem ist es fehleranfällig und zwingt Sie dazu, sich bei der Implementierung auf andere zu verlassen (z. B. die Technikabteilung).

Visual Website Optimizer (Haftungsausschluss: Ich bin der Entwickler dieses Tools)Der Hauptvorteil dieses kostenpflichtigen Tools besteht darin, dass Sie einen multivariaten Test visuell in einem WYSIWYG-Editor erstellen können, indem Sie verschiedene Bereiche der Seite auswählen. Sie können den Test dann durchführen, ohne die Abschnitte einzeln markieren zu müssen (obwohl ein Codeschnipsel in der Kopfzeile erforderlich ist). Das Tool umfasst Heatmap- und Clickmap-Berichte.

WhichMVTA-Website, auf der Benutzerbewertungen aller auf dem Markt erhältlichen multivariaten Testtools veröffentlicht werden. Wenn Sie planen, ein multivariates Testtool für Ihr Unternehmen einzusetzen, sollten Sie auf dieser Website recherchieren.

Testtools für UnternehmenOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends‘ Optimize und SiteSpect.

Ressourcen

Expert Guide to Multivariate Testing Success, von Jonathan MendezEine Reihe von Blogbeiträgen, die verschiedene Aspekte des multivariaten Testens erläutern.

Fail Faster With Multivariate Testing (PDF)Ein ausgezeichneter kostenloser Mini-Leitfaden zum multivariaten Testen.

Online Testing Vendor LandscapeEin kommerzieller Bericht von Forrester, der die verschiedenen Testanbieter auf dem Markt vergleicht.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationDieser Artikel erörtert Ideen für die Conversion-Rate-Optimierung anhand verschiedener Fallstudien.

Die folgenden verwandten Artikel könnten Sie interessieren:

• Ultimate Guide to A/B Testing
• Getting Started With E-Commerce: Ihre Optionen beim Online-Verkauf
• Verbessern Sie Ihr E-Commerce-Design mit brillanten Produktfotos
• Unsere 3-teilige Serie „Conversion Rates optimieren“.

(al)