• Over de auteur
• Aan de slag met multivariate tests
• Het verschil tussen A/B-testen en Multivariate testen
• Typen multivariate tests
• Do’s And Don’ts
• Don’ts
• Do’s
• Case Studies
• Multivariate Testing Tools And Resources
• Tools
• Bronnen

Over de auteur

Paras Chopra is oprichter van Visual Website Optimizer, ’s werelds eenvoudigste A/B-testtool. Gebruikt door duizenden bedrijven wereldwijd in 75+ landen, …Meer overParas Chopra↬

In een multivariate test wordt een webpagina behandeld als een combinatie van elementen (waaronder koppen, afbeeldingen, knoppen en tekst) die van invloed zijn op de conversieratio. In wezen ontleedt u een webpagina in afzonderlijke eenheden en maakt u variaties van die eenheden. Als uw pagina bijvoorbeeld bestaat uit een kop, een afbeelding en begeleidende tekst, dan maakt u variaties voor elk van hen. Laten we ter illustratie aannemen dat u de volgende variaties maakt:

• Kop: kop 1 en kop 2
• Tekst: tekst 1 en tekst 2
• Afbeelding: afbeelding 1 en afbeelding 2

Het bovenstaande scenario heeft drie variabelen (kop, tekst en afbeelding), elk met twee versies. Bij een multivariate test is het de bedoeling om te kijken welke combinatie van deze versies de hoogste conversie behaalt. Met combinaties bedoel ik een van de acht (2 × 2 × 2) versies van de webpagina die we zullen krijgen wanneer we variaties van de secties combineren:

• Headline 1 + Text 1 + Image 1
• Headline 1 + Text 1 + Image 2
• Headline 1 + Text 2 + Image 1
• Headline 1 + Text 2 + Image 2
• Headline 2 + Tekst 1 + Afbeelding 1
• Koplijn 2 + Tekst 1 + Afbeelding 2
• Koplijn 2 + Tekst 2 + Afbeelding 1
• Koplijn 2 + Tekst 2 + Afbeelding 2

In multivariate testen, verdeelt u het verkeer tussen deze acht verschillende versies van de pagina en kijkt u welke combinatie het hoogste conversiepercentage oplevert – net als bij A/B-tests, waarbij u het verkeer verdeelt tussen twee versies van een pagina.

Aan de slag met multivariate tests

Om uw eerste multivariate test te maken, kiest u eerst een tool of framework dat multivariate tests ondersteunt. U kunt een van de tools gebruiken die in de sectie “Tools” aan het eind van dit artikel worden genoemd. Houd er rekening mee dat niet alle A/B-testtools multivariate tests ondersteunen, dus zorg ervoor dat de tool van uw keuze dit toestaat.

Als u eenmaal hebt besloten welke tool u gaat gebruiken, kiest u welke secties u in de test opneemt. Zoals u weet, kan een webpagina tientallen of honderden verschillende secties bevatten (voettekst, koptekst, zijbalk, inlogformulier, navigatieknoppen, enzovoort). U kunt niet al deze secties in de test opnemen; variaties maken voor al deze secties zou een enorme opgave zijn (en, zoals u hieronder zult lezen, de verkeersvereisten voor de test zullen exponentieel toenemen met elke nieuwe sectie). Beperk je tot de paar paginaonderdelen die volgens jou het belangrijkst zijn voor het conversiedoel.

De volgende onderdelen van een pagina (in volgorde van belangrijkheid) worden doorgaans in een multivariate test opgenomen:

• Headline en heading,
• Call-to-action buttons (kleur, tekst, grootte, plaatsing),
• Text copy (inhoud, lengte, grootte),
• Image (type, plaatsing, grootte),
• Formulierlengte.

Het verschil tussen A/B-testen en Multivariate testen

Conceptueel zijn de twee technieken vergelijkbaar, maar er zijn cruciale verschillen. Eerst en vooral zijn de eisen die aan het verkeer worden gesteld verschillend. Zoals ik al zei, groeit het aantal combinaties dat moet worden getest exponentieel bij een multivariate test. Je kunt drie of vier versies testen in een A/B-test en tientallen of honderden versies in een multivariate test. Het is dus duidelijk dat er veel verkeer – en tijd – nodig is om tot zinvolle resultaten te komen.

Als u bijvoorbeeld drie secties hebt met elk drie variaties, is het aantal combinaties 27. Voeg nog een sectie met drie variaties toe, en het totale aantal combinaties springt naar 81. Als u zinvolle resultaten wilt, kunt u niet steeds secties aan de test toevoegen. Wees selectief. Een goede regel is om het totale aantal combinaties te beperken tot 25 of minder.

Gebruik A/B-tests voor grootschalige veranderingen, niet om bestaande ontwerpen te verfijnen of te optimaliseren. Afbeelding door Meet the Chumbeques

Een ander verschil zit in de manier waarop deze technieken worden gebruikt. A/B-testen is meestal gereserveerd voor grote radicale veranderingen (zoals het volledig veranderen van een landingspagina of het weergeven van twee verschillende aanbiedingen). Multivariate tests worden gebruikt om een bestaand ontwerp te verfijnen en te optimaliseren. Voor de wiskundig geïnteresseerden: A/B-tests worden gebruikt om te optimaliseren voor een globaal optimum, terwijl multivariate tests worden gebruikt om te optimaliseren voor een lokaal optimum.

Een voordeel van multivariate tests ten opzichte van A/B-splittests is dat het u kan vertellen welk deel van de pagina het meest van invloed is op conversiedoelen. Stel dat je de kop, tekst en afbeelding op je landingspagina test. Hoe weet je welk deel de meeste impact heeft? De meeste multivariate testtools geven je in hun rapporten een metriek, de “impactfactor”, die je vertelt welke onderdelen invloed hebben op het conversiepercentage en welke niet. U krijgt deze informatie niet van A/B-tests, omdat alle secties in één variatie worden samengevoegd.

Typen multivariate tests

Gebaseerd op de manier waarop u verkeer naar uw combinaties distribueert, zijn er verschillende typen multivariate tests (MVT):

Volledige factorial testsDit is het soort tests waar mensen over het algemeen naar verwijzen als ze het over multivariate tests hebben. Bij deze methode verdeelt men het websiteverkeer gelijkmatig over alle combinaties. Als er 16 combinaties zijn, krijgt elke combinatie een zestiende van al het websiteverkeer. Omdat elke combinatie evenveel verkeer krijgt, levert deze methode alle gegevens op die nodig zijn om te bepalen welke combinatie en welk onderdeel het best presteerden. U zou kunnen ontdekken dat een bepaalde afbeelding geen effect had op het conversiepercentage, terwijl de kop de meeste invloed had. Omdat de full factorial-methode geen aannames doet met betrekking tot statistieken of de wiskunde van het testen, raad ik deze methode aan voor multivariate tests.

Registreer en vergelijk het resulterende verkeer voor elke geteste versie. Afbeelding door ItoWorld

Partiële of fractionele factorial testsZoals de naam al doet vermoeden, wordt bij deze methode slechts een fractie van alle combinaties blootgesteld aan websiteverkeer. Het conversiepercentage voor niet-blootgestelde combinaties wordt afgeleid uit de combinaties die wel in de test zijn opgenomen. Als er bijvoorbeeld 16 combinaties zijn, dan wordt het verkeer slechts over acht van die combinaties verdeeld. Voor de overige acht krijgen we geen conversiegegevens, en dus moeten we onze toevlucht nemen tot ingewikkelde wiskunde (met een paar aannames) om inzicht te krijgen. Om voor de hand liggende redenen raad ik deze methode niet aan: ook al is er minder verkeer nodig voor partiële factorial tests, de methode dwingt te veel aannames af. Hoe geavanceerd de wiskunde ook is, harde gegevens zijn altijd beter dan gevolgtrekkingen.

Taguchi-testenDit is de meest esoterische methode van allemaal. Een snelle zoektocht op Google brengt een heleboel hulpmiddelen aan het licht die beweren dat u met Taguchi-testen uw testtijd en de benodigde hoeveelheid verkeer drastisch kunt verminderen. Sommigen zullen het er niet mee eens zijn, maar ik geloof dat de Taguchi methode een beetje een schijnvertoning is; het is een reeks heuristieken, geen theoretisch onderbouwde methode. De methode werd oorspronkelijk gebruikt in de productie-industrie, waar specifieke aannames werden gedaan om het aantal combinaties dat getest moest worden voor QA en andere experimenten te verminderen. Deze aannames zijn niet van toepassing op online testen, dus je zou geen Taguchi-testen hoeven te doen. Blijf bij de andere methoden.

Do’s And Don’ts

Ik heb honderden multivariate tests geobserveerd, en ik heb veel mensen dezelfde fouten zien maken. Hier volgt wat praktisch advies, rechtstreeks uit mijn ervaring.

Don’ts

• Neem niet te veel secties in de test op. Elke sectie die je toevoegt, verdubbelt het aantal te testen combinaties. Als je bijvoorbeeld een kop en een afbeelding test, zijn er in totaal vier combinaties (2 × 2). Als je een knop toevoegt aan de test, zijn er plotseling acht combinaties te testen (2 × 2 × 2). Hoe meer combinaties, hoe meer verkeer je nodig hebt om significante resultaten te krijgen.

Do’s

• Bekijk alle combinaties.. Bij multivariate tests worden variaties van een onderdeel (afbeelding, kop, knop, enzovoort) gecombineerd om paginavariaties te maken. Een van de combinaties kan er vreemd uitzien of, erger nog, onlogisch of onverenigbaar zijn. Een combinatie zou bijvoorbeeld kunnen bestaan uit een kop met de tekst “$15 korting” en een knop met de tekst “Gratis abonnement”. Die twee berichten zijn onverenigbaar. Detecteer en verwijder onverenigbaarheden in de preview fase.
• Beslis wel welke secties het meest waard zijn om in de test te worden opgenomen. In een multivariate test zullen niet alle secties een even grote impact hebben op het conversiepercentage. Als u bijvoorbeeld een kop, een call-to-action-knop en een voettekst opneemt, komt u er misschien achter dat variaties in de voettekst weinig effect hebben, en dat variaties in de kop en de call-to-action winnende combinaties opleveren. Je krijgt een krachtig sectie-specifiek rapport. Hieronder is een voorbeeld rapport van Visual Website Optimizer. Merk op hoe de knop meer impact heeft (91%) dan de kop (65%):
• Maak een schatting van het verkeer dat nodig is voor significante resultaten… Voordat je gaat testen, moet je een duidelijk idee hebben van hoeveel verkeer je nodig hebt om statistisch significante resultaten te krijgen. Ik heb mensen gezien die tientallen secties toevoegden aan een pagina die slechts 100 bezoekers per dag krijgt. Significante resultaten van zo’n test zouden maanden duren om op te bouwen. Ik stel voor een calculator te gebruiken, zoals deze A/B split en multivariate test duur calculator, om in te schatten hoeveel verkeer je test zal vergen. Als het meer is dan wat acceptabel is, verminder dan sommige secties.

Case Studies

Er zijn veel A/B test case studies op het web te vinden, maar helaas is het vinden van multivariate test case studies nog steeds moeilijk. Dus heb ik het internet afgestruind en relevante verzameld.

Software Download Case Study: downloads met 60% toegenomenDit is een multivariate test die ik heb gedaan om verschillende versies van headlines en links te vergelijken. Uiteindelijk resulteerde een van de variaties in een toename van het aantal downloads met meer dan 60%.

Microsoft Multivariate Testing Case StudyDeze presentatie geeft een gedetailleerd overzicht van de variaties die zijn getest voor deze website en de uiteindelijke winnaar.

SiteSpect-casestudiesOp deze pagina vindt u een tiental casestudy’s van multivariate tests bij grote bedrijven die gebruikmaken van multivariate tests en behavioral targeting om hun sites te optimaliseren.

Maxymiser-casestudy’sEen andere reeks casestudy’s van multivariate tests.

Kijkje in een multivariate experimenten met 1.024 receptenYouTube heeft in 2009 een gigantische multivariate test uitgevoerd. Het kan het zich veroorloven om tests te doen met meer dan duizend combinaties, omdat het voldoende verkeer heeft.

Multivariate tests van een e-mailnieuwsbriefEen bureau testte kleur en tekst op de call-to-actionknop van zijn e-mailnieuwsbrief. De beste knop had de hoogste CTR: 60%.

Multivariate Testing Tools And Resources

Tools

Google Website OptimizerEen gratis basis multivariate testing tool van Google. Het is geweldig als je het water wilt testen voordat je geld investeert in multivariate testen. Het nadeel? U moet verschillende secties van de webpagina taggen met JavaScript, wat omslachtig kan zijn. Het is ook gevoelig voor fouten en dwingt u om te vertrouwen op anderen (zoals de technologische afdeling) voor de uitvoering.

Visual Website Optimizer (Disclaimer: Ik ben de ontwikkelaar van deze tool)Het belangrijkste voordeel van deze betaalde tool is dat je een multivariate test visueel te maken in een WYSIWYG-editor door het kiezen van verschillende secties van de pagina. U kunt dan de test uitvoeren zonder secties afzonderlijk te moeten taggen (hoewel een stukje code in de header vereist is). De tool bevat heatmap- en clickmap-rapporten.

WhatMVTA-website die gebruikersbeoordelingen publiceert van alle multivariate testtools die op de markt zijn. Als u van plan bent om een multivariate testing tool voor uw organisatie, doe je onderzoek op deze website.

Enterprise testing toolsOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize, en SiteSpect.

Bronnen

Expert Guide to Multivariate Testing Success, door Jonathan MendezEen reeks blogposts waarin verschillende aspecten van multivariate testing worden belicht.

Fail Faster With Multivariate Testing (PDF)Een uitstekende gratis mini-gids voor multivariate testing.

Online Testing Vendor LandscapeEen commercieel rapport van Forrester waarin de verschillende leveranciers van tests worden vergeleken.

Lessen uit 21 casestudy’s over conversieoptimaliseringIn dit artikel worden ideeën voor conversieoptimalisering besproken aan de hand van verschillende casestudy’s.

U bent wellicht geïnteresseerd in de volgende gerelateerde artikelen:

• Ultimate Guide to A/B Testing
• Getting Started With E-Commerce: Your Options When Selling Online
• Im improve Your E-Commerce Design With Brilliant Product Photos
• Onze 3-delige serie “Optimizing Conversion Rates”.

(al)