Om forfatteren
Paras Chopra er grundlægger af Visual Website Optimizer, verdens letteste A/B-testværktøj. Brugt af tusindvis af virksomheder verden over i 75+ lande, …Mere omParas Chopra↬
- 10 min læsning
- Design,Test,Brugervenlighed
- Sparet til offline læsning
- Del på Twitter, LinkedIn
I en multivariat test behandles en webside som en kombination af elementer (herunder overskrifter, billeder, knapper og tekst), der påvirker konverteringsraten. I bund og grund dekomponerer man en webside i forskellige enheder og skaber variationer af disse enheder. Hvis din side f.eks. består af en overskrift, et billede og en ledsagende tekst, skal du oprette variationer for hver af dem. For at illustrere eksemplet antager vi, at du laver følgende variationer:
- Overskrift: overskrift 1 og overskrift 2
- Tekst: tekst 1 og tekst 2
- Billede: billede 1 og billede 2
Scenariet ovenfor har tre variabler (overskrift, tekst og billede), hver med to versioner. I en multivariat test er dit mål at se, hvilken kombination af disse versioner der opnår den højeste konverteringsrate. Med kombinationer mener jeg en af de otte (2 × 2 × 2 × 2) versioner af websiden, som vi kommer frem til, når vi kombinerer variationer af afsnittene:
- Headline 1 + tekst 1 + billede 1
- Headline 1 + tekst 1 + billede 2
- Headline 1 + tekst 2 + billede 1
- Headline 1 + tekst 2 + billede 1
- Headline 1 + tekst 2 + billede 2
- Headline 2 + Tekst 1 + Billede 1
- Headline 2 + Tekst 1 + Billede 2
- Headline 2 + Tekst 2 + Billede 1
- Headline 2 + Tekst 2 + Billede 2
I multivariat testning, deler du trafikken mellem disse otte forskellige versioner af siden og ser, hvilken kombination der giver den højeste konverteringsrate – ligesom ved A/B-testning, hvor du deler trafikken mellem to versioner af en side.
Gå i gang med multivariat testning
For at oprette din første multivariate test skal du først vælge et værktøj eller en ramme, der understøtter multivariat testning. Du kan bruge et af de værktøjer, der er anført i afsnittet “Værktøjer” i slutningen af denne artikel. Bemærk, at ikke alle A/B-testværktøjer understøtter multivariat test, så sørg for, at det værktøj, du vælger, tillader det.
Når du har besluttet dig for, hvilket værktøj du vil bruge, skal du vælge, hvilke afsnit der skal indgå i testen. Som du ved, kan en webside indeholde titusindvis eller hundredvis af forskellige sektioner (sidefod, overskrift, sidebar, log-in-formular, navigationsknapper osv.). Du kan ikke inkludere alle disse sektioner i testen; det ville være en enorm opgave at skabe variationer for dem alle (og, som du vil læse nedenfor, vil kravene til trafikken i testen vokse eksponentielt med hver ny sektion). Indsnævr det til de få sektioner af siden, som du mener er vigtigst for konverteringsmålet.
Følgende dele af en side (anført i rækkefølge efter vigtighed) indgår typisk i en multivariat test:
- Hovedlinje og overskrift,
- Call-to-action-knapper (farve, tekst, størrelse, placering),
- Tekstkopi (indhold, længde, størrelse),
- Billede (type, placering, størrelse),
- Formularlængde.
Forskellen mellem A/B-testning og multivariat testning
Konceptuelt set er de to teknikker ens, men der er afgørende forskelle. Først og fremmest er trafikkravene forskellige. Som sagt vokser antallet af kombinationer, der skal testes, eksponentielt i en multivariat test. Du kan teste tre eller fire versioner i en A/B-test og ti eller hundredvis af versioner i en multivariat test. Det er altså klart, at der skal meget trafik – og tid – til for at nå frem til meningsfulde resultater.
Hvis du f.eks. har tre afsnit med hver tre variationer, er antallet af kombinationer 27. Tilføj endnu et afsnit med tre variationer, og det samlede antal kombinationer springer til 81. Hvis du vil have meningsfulde resultater, kan du ikke blive ved med at tilføje sektioner til testen. Vær selektiv. En god regel er at begrænse det samlede antal kombinationer til 25 eller færre.
Brug A/B-test til store ændringer, ikke til at forfine eller optimere eksisterende design. Image by Meet the Chumbeques
En anden forskel ligger i, hvordan disse teknikker anvendes. A/B-testning er normalt forbeholdt store radikale ændringer (f.eks. en fuldstændig ændring af en landingsside eller visning af to forskellige tilbud). Multivariate test anvendes til at forfine og optimere et eksisterende design. For de matematisk interesserede bruges A/B-testning til at optimere for et globalt optimum, mens multivariat testning bruges til at optimere for et lokalt optimum.
En af fordelene ved multivariat testning i forhold til A/B split-testning er, at den kan fortælle dig, hvilken del af siden der har størst indflydelse på konverteringsmålene. Lad os sige, at du tester overskriften, teksten og billedet på din landingsside. Hvordan kan du vide, hvilken del der har størst indflydelse? De fleste multivariate testværktøjer giver dig en måleenhed, kaldet “impact factor”, i deres rapporter, som fortæller dig, hvilke dele der påvirker konverteringsraten, og hvilke der ikke gør. Du får ikke disse oplysninger fra A/B-testning, fordi alle sektioner er samlet i én variation.
Typer af multivariate tests
Baseret på, hvordan du fordeler trafikken til dine kombinationer, er der flere typer af multivariate tests (MVT):
Full factorial testingDette er den type, som folk generelt henviser til, når de taler om multivariate tests. Ved denne metode fordeler man webside-trafikken ligeligt mellem alle kombinationer. Hvis der er 16 kombinationer, vil hver af dem modtage en sekstedel af al websteds-trafikken. Da hver kombination får den samme mængde trafik, giver denne metode alle de data, der er nødvendige for at fastslå, hvilken bestemt kombination og hvilket afsnit der har klaret sig bedst. Du kan måske opdage, at et bestemt billede ikke havde nogen effekt på konverteringsraten, mens overskriften var mest indflydelsesrig. Da metoden med fuld faktoriel metode ikke gør nogen antagelser med hensyn til statistik eller matematikken i forbindelse med testning, anbefaler jeg den til multivariat testning.
Optag og sammenlign den resulterende trafik for hver testet version. Billede af ItoWorld
Partial eller fractional factorial testingSom navnet antyder, er det i denne metode kun en brøkdel af alle kombinationer, der udsættes for trafik på webstedet. Konverteringsraten for ikke-udsatte kombinationer udledes af de kombinationer, der blev inkluderet i testen. Hvis der f.eks. er 16 kombinationer, er trafikken kun fordelt på otte af disse kombinationer. For de resterende otte får vi ingen konverteringsdata, og derfor er vi nødt til at ty til smart matematik (med nogle få antagelser) for at få indsigt. Af indlysende grunde anbefaler jeg ikke denne metode: Selv om der er færre krav til trafikken ved delvis faktoriel test, tvinger metoden til for mange antagelser. Uanset hvor avanceret matematikken er, er hårde data altid bedre end slutninger.
Taguchi-testDette er den mest esoteriske metode af dem alle. En hurtig søgning på Google afslører en masse værktøjer, der hævder, at du kan reducere din testtid og dine trafikbehov drastisk med Taguchi-testning. Nogle vil måske være uenige, men jeg mener, at Taguchi-metoden er lidt af en fuser; det er et sæt heuristikker, ikke en teoretisk velfunderet metode. Den blev oprindeligt brugt i fremstillingsindustrien, hvor man lavede specifikke antagelser for at mindske antallet af kombinationer, der skulle testes i forbindelse med kvalitetssikring og andre eksperimenter. Disse antagelser gælder ikke for onlinetestning, så du bør ikke have behov for at foretage nogen Taguchi-testning. Hold dig til de andre metoder.
Do’s And Don’ts
Jeg har observeret hundredvis af multivariate tests, og jeg har set mange mennesker begå de samme fejl. Her er nogle praktiske råd, direkte fra min erfaring.
Don’ts
- Indlem ikke mange afsnit i testen. Hvert afsnit, du tilføjer, fordobler effektivt antallet af kombinationer, der skal testes. Hvis du f.eks. tester en overskrift og et billede, så er der i alt fire kombinationer (2 × 2). Hvis du tilføjer en knap til testen, er der pludselig otte kombinationer at teste (2 × 2 × 2 × 2). Jo flere kombinationer, jo mere trafik skal du bruge for at få signifikante resultater.
Do’s
- Forhåndsvis alle kombinationer… I multivariate test kombineres variationer af et afsnit (billede, overskrift, knap osv.) for at skabe sidevariationer. En af kombinationerne kan se mærkelig ud eller, endnu værre, være ulogisk eller uforenelig. En kombination kan f.eks. sammensætte en overskrift, hvor der står “15 $ rabat”, og en knap, hvor der står “Gratis abonnement”. Disse to budskaber er uforenelige. Opdag og fjern inkompatibiliteter i forhåndsvisningsfasen.
- Afgør, hvilke afsnit der er mest værdige til at indgå i testen… I en multivariat test vil ikke alle afsnit have lige stor indflydelse på konverteringsraten. Hvis du f.eks. medtager en overskrift, en call-to-action-knap og en sidefod, vil du måske indse, at variationer i sidefoden kun har ringe indvirkning, og at variationer i overskriften og call-to-action giver vindende kombinationer. Du får en effektiv sektionsspecifik rapport. Nedenfor er en eksempelrapport fra Visual Website Optimizer. Bemærk, hvordan knappen har større effekt (91 %) end overskriften (65 %):
- Du skal anslå den trafik, der er nødvendig for at opnå væsentlige resultater… Før du tester, skal du få en klar idé om, hvor meget trafik du skal bruge for at få statistisk signifikante resultater. Jeg har set folk tilføje snesevis af sektioner til en side, der kun får 100 besøgende om dagen. Signifikante resultater fra en sådan test ville tage måneder at akkumulere. Jeg foreslår, at du bruger en beregner, f.eks. denne beregner til beregning af varigheden af A/B-split- og multivariate tests, til at vurdere, hvor meget trafik din test vil kræve. Hvis det er mere end det acceptable, skal du reducere nogle afsnit.
Casestudier
Der findes mange casestudier om A/B-testning på nettet, men desværre er det stadig svært at finde casestudier om multivariate test. Så jeg har gennemsøgt internettet og samlet de relevante.
Software Download Case Study: downloads steg med 60 %Dette er en multivariat test, som jeg foretog for at sammenligne forskellige versioner af overskrifter og links. I sidste ende resulterede en af variationerne i en stigning på mere end 60 % i downloads.
Microsoft Multivariate Testing Case StudyDenne præsentation beskriver de variationer, der blev testet for dette websted, og den endelige vinder.
SiteSpect Case StudiesDenne side præsenterer et dusin casestudier om multivariat testning af store virksomheder, der bruger multivariat testning og adfærdsmæssig målretning til at optimere deres websteder.
Maxymiser Case StudiesEt andet sæt casestudier om multivariat testning.
Look Inside a 1,024-Recipe Multivariate ExperimentYouTube lavede en gigantisk multivariat test i 2009. De har råd til at lave test med over tusind kombinationer, fordi de har tilstrækkelig meget trafik.
Multivariat test af et e-mail-nyhedsbrevEt bureau testede farve og tekst på call-to-action-knappen i sit e-mail-nyhedsbrev. Den bedste knap havde den højeste CTR: 60 %.
Multivariate Testing Tools And Resources
Tools
Google Website OptimizerEt gratis grundlæggende multivariate-testværktøj fra Google. Det er godt, hvis du vil teste vandet, før du investerer penge i multivariate testning. Ulempen? Du skal tagge forskellige sektioner af websiden med JavaScript, hvilket kan være besværligt. Det er også tilbøjeligt til at begå fejl og tvinger dig til at stole på andre (f.eks. teknologiafdelingen) til implementering.
Visual Website Optimizer (Disclaimer: Jeg er udvikleren af dette værktøj)Den største fordel ved dette betalte værktøj er, at du kan oprette en multivariat test visuelt i en WYSIWYG-editor ved at vælge forskellige sektioner af siden. Du kan derefter køre testen uden at skulle tagge sektionerne individuelt (selv om en kodestump er påkrævet i overskriften). Værktøjet indeholder heat map- og click map-rapporter.
WhichMVTA-websted, der offentliggør brugeranmeldelser af alle de multivariate testværktøjer, der findes på markedet. Hvis du planlægger at indføre et multivariat testværktøj til din organisation, skal du lave din research på dette websted.
Enterprise testværktøjerOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize og SiteSpect.
Ressourcer
Expert Guide to Multivariate Testing Success, af Jonathan MendezEn serie blogindlæg, der beskriver forskellige aspekter af multivariat testning.
Fail Faster Faster With Multivariate Testing (PDF)En fremragende gratis mini-guide til multivariat testning.
Online Testing Vendor LandscapeEn kommerciel rapport fra Forrester, der sammenligner de forskellige testleverandører derude.
Lessons Learned from 21 Case Studies in Conversion Rate OptimizationDenne artikel diskuterer ideer til optimering af konverteringsraten detaljeret gennem forskellige casestudier.
Du vil måske være interesseret i følgende relaterede artikler:
- Ultimate Guide to A/B Testing
- Get Started Started With E-Commerce: Dine muligheder, når du sælger online
- Forbedre dit e-handelsdesign med strålende produktfotos
- Vores 3-delte serie “Optimering af konverteringsrater”.
(al)