• Om författaren
• För att komma igång med multivariat testning
• Skillnaden mellan A/B-testning och multivariat testning
• Typer av multivariata tester
• Do’s And Don’ts
• Don’ts
• Do’s
• Fallstudier
• Multivariate Testing Tools And Resources
• Tools
• Resurser

Om författaren

Paras Chopra är grundare av Visual Website Optimizer, världens enklaste verktyg för A/B-tester. Används av tusentals företag världen över i över 75 länder, …Mer omParas Chopra↬

I ett multivariat test behandlas en webbsida som en kombination av element (inklusive rubriker, bilder, knappar och text) som påverkar konverteringsgraden. I huvudsak delar man upp en webbsida i olika enheter och skapar variationer av dessa enheter. Om din sida till exempel består av en rubrik, en bild och tillhörande text, skapar du variationer för var och en av dem. För att illustrera exemplet antar vi att du skapar följande variationer:

• Headline: rubrik 1 och rubrik 2
• Text: text 1 och text 2
• Bild: bild 1 och bild 2

Scenariot ovan har tre variabler (rubrik, text och bild), var och en med två versioner. I ett multivariat test är ditt mål att se vilken kombination av dessa versioner som ger den högsta konverteringsgraden. Med kombinationer menar jag en av de åtta (2 × 2 × 2) versioner av webbsidan som vi får fram när vi kombinerar variationer av avsnitten:

• Rubrik 1 + Text 1 + Bild 1
• Rubrik 1 + Text 1 + Bild 2
• Rubrik 1 + Text 2 + Bild 1
• Rubrik 1 + Text 2 + Bild 1
• Rubrik 1 + Text 2 + Bild 2
• Rubrik 1 + Text 2 + Bild 2
• Rubrik 2 + Bild 2 2 + Text 1 + Bild 1
• Headline 2 + Text 1 + Bild 2
• Headline 2 + Text 2 + Bild 1
• Headline 2 + Text 2 + Bild 2

I multivariat testning, delar du upp trafiken mellan dessa åtta olika versioner av sidan och ser vilken kombination som ger den högsta konverteringsgraden – precis som vid A/B-testning, där du delar upp trafiken mellan två versioner av en sida.

För att komma igång med multivariat testning

För att skapa ditt första multivariat test väljer du först ett verktyg eller ramverk som stöder multivariat testning. Du kan använda något av verktygen som anges i avsnittet ”Verktyg” i slutet av den här artikeln. Observera att inte alla verktyg för A/B-testning har stöd för multivariat testning, så se till att det verktyg du väljer tillåter det.

När du har bestämt vilket verktyg du ska använda väljer du vilka avsnitt som ska ingå i testet. Som du vet kan en webbsida innehålla tiotals eller hundratals olika sektioner (sidfot, rubrik, sidofält, inloggningsformulär, navigeringsknappar etc.). Du kan inte inkludera alla dessa avsnitt i testet; att skapa variationer för alla skulle vara en enorm uppgift (och, som du kommer att läsa nedan, kommer trafikkraven för testet att växa exponentiellt med varje nytt avsnitt). Gräns ner till de få avsnitt på sidan som du tror är viktigast för konverteringsmålet.

Följande delar av en sida (listade i ordning efter betydelse) ingår vanligtvis i ett multivariat test:

• rubrik och rubrik,
• Knapparna för kallelse till handling (färg, text, storlek, placering),
• Textkopia (innehåll, längd, storlek),
• Bild (typ, placering, storlek),
• Formulärets längd.

Skillnaden mellan A/B-testning och multivariat testning

I princip liknar de två teknikerna varandra, men det finns avgörande skillnader. Först och främst är trafikkraven olika. Som sagt växer antalet kombinationer som måste testas exponentiellt i ett multivariat test. Du kan testa tre eller fyra versioner i ett A/B-test och tiotals eller hundratals versioner i ett multivariat test. Det är alltså uppenbart att det krävs mycket trafik – och tid – för att komma fram till meningsfulla resultat.

Om du till exempel har tre avsnitt med tre varianter vardera är antalet kombinationer 27. Lägg till ytterligare ett avsnitt med tre variationer och det totala antalet kombinationer stiger till 81. Om du vill ha meningsfulla resultat kan du inte fortsätta att lägga till sektioner till testet. Var selektiv. En bra regel är att begränsa det totala antalet kombinationer till 25 eller färre.

Använd A/B-testning för storskaliga förändringar, inte för att förfina eller optimera befintlig design. Image by Meet the Chumbeques

En annan skillnad är hur dessa tekniker används. A/B-testning är vanligtvis reserverat för stora radikala förändringar (som att helt ändra en landningssida eller visa två olika erbjudanden). Multivariat testning används för att förfina och optimera en befintlig design. För den matematiskt intresserade används A/B-testning för att optimera för ett globalt optimum, medan multivariat testning används för att optimera för ett lokalt optimum.

En fördel med multivariat testning jämfört med A/B split-testning är att den kan tala om för dig vilken del av sidan som har störst inflytande på konverteringsmålen. Säg att du testar rubriken, texten och bilden på din landningssida. Hur vet du vilken del som har störst inverkan? De flesta verktyg för multivariat testning ger dig ett mått, som kallas ”påverkansfaktor”, i deras rapporter som talar om vilka delar som påverkar konverteringsgraden och vilka som inte gör det. Du får inte den här informationen från A/B-testning eftersom alla avsnitt klumpas ihop till en variant.

Typer av multivariata tester

Baserat på hur du fördelar trafiken till dina kombinationer finns det flera olika typer av multivariata tester (MVT):

Full factorial testingDetta är den typ som folk i allmänhet hänvisar till när de pratar om multivariata tester. Med den här metoden fördelar man webbplatstrafiken jämnt mellan alla kombinationer. Om det finns 16 kombinationer får var och en av dem en sextondel av all webbplatstrafik. Eftersom varje kombination får samma mängd trafik ger denna metod alla uppgifter som behövs för att fastställa vilken särskild kombination och vilket avsnitt som presterade bäst. Du kanske upptäcker att en viss bild inte hade någon effekt på konverteringsgraden, medan rubriken var mest inflytelserik. Eftersom den fullständiga faktoriella metoden inte gör några antaganden när det gäller statistik eller testmatematik rekommenderar jag den för multivariata tester.

Registrera och jämför den resulterande trafiken för varje testad version. Image by ItoWorld

Partiell eller fraktionell faktoriell testningSom namnet antyder utsätts i denna metod endast en bråkdel av alla kombinationer för webbplatstrafik. Konverteringsgraden för oexponerade kombinationer härleds från de kombinationer som ingick i testet. Om det till exempel finns 16 kombinationer delas trafiken upp på endast åtta av dem. För de återstående åtta får vi inga konverteringsdata, och därför måste vi tillgripa fantasifull matematik (med några antaganden) för att få en inblick. Av uppenbara skäl rekommenderar jag inte denna metod: även om det finns färre trafikkrav för partiell faktortestning tvingar metoden fram för många antaganden. Oavsett hur avancerad matematiken är är hårda data alltid bättre än slutsatser.

Taguchi-testningDetta är den mest esoteriska metoden av alla. En snabb sökning på Google avslöjar en mängd verktyg som påstår att du kan minska din testtid och dina trafikbehov drastiskt med Taguchi-testning. Vissa kanske inte håller med, men jag anser att Taguchimetoden är lite av en bluff; det är en uppsättning heuristiker, inte en teoretiskt hållbar metod. Den användes ursprungligen inom tillverkningsindustrin, där man gjorde specifika antaganden för att minska antalet kombinationer som behövde testas för kvalitetssäkring och andra experiment. Dessa antaganden är inte tillämpliga på onlinetestning, så du borde inte behöva göra någon Taguchi-testning. Håll dig till de andra metoderna.

Do’s And Don’ts

Jag har observerat hundratals multivariata tester, och jag har sett många människor göra samma misstag. Här är några praktiska råd, direkt från min erfarenhet.

Don’ts

• Inkludera inte många avsnitt i testet. Varje avsnitt du lägger till fördubblar effektivt antalet kombinationer som ska testas. Om du till exempel testar en rubrik och en bild finns det totalt fyra kombinationer (2 × 2). Om du lägger till en knapp i testet finns det plötsligt åtta kombinationer att testa (2 × 2 × 2). Ju fler kombinationer, desto mer trafik behöver du för att få betydande resultat.

Do’s

• Gör en förhandsgranskning av alla kombinationer…. Vid multivariat testning kombineras variationer av ett avsnitt (bild, rubrik, knapp osv.) för att skapa sidvariationer. En av kombinationerna kan se konstig ut eller, ännu värre, vara ologisk eller inkompatibel. En kombination kan till exempel kombinera en rubrik som säger ”15 dollar i rabatt” och en knapp som säger ”Gratis prenumeration”. Dessa två budskap är oförenliga. Upptäck och ta bort inkompatibiliteter i förhandsgranskningsfasen.
• Bestäm vilka avsnitt som är mest värda att ingå i testet…. I ett multivariat test kommer inte alla avsnitt att ha lika stor inverkan på konverteringsgraden. Om du till exempel inkluderar en rubrik, en call-to-action-knapp och en sidfot kan du komma att inse att variationer i sidfoten har liten inverkan och att variationer i rubriken och call-to-action ger vinnande kombinationer. Du får en kraftfull avsnittsspecifik rapport. Nedan visas en exempelrapport från Visual Website Optimizer. Lägg märke till att knappen har större effekt (91 %) än rubriken (65 %):
• Gör en uppskattning av den trafik som behövs för betydande resultat… Innan du testar, ska du få en klar uppfattning om hur mycket trafik du behöver för att få statistiskt signifikanta resultat. Jag har sett folk lägga till tiotals sektioner på en sida som bara får 100 besökare per dag. Signifikanta resultat från ett sådant test skulle ta månader att ackumulera. Jag föreslår att du använder en kalkylator, t.ex. den här kalkylatorn för varaktighet för A/B split- och multivariata tester, för att uppskatta hur mycket trafik ditt test kommer att kräva. Om det är mer än vad som är acceptabelt, minska vissa avsnitt.

Fallstudier

En hel del fallstudier om A/B-testning finns på webben, men tyvärr är det fortfarande svårt att hitta fallstudier om multivariata tester. Så jag har letat på Internet och sammanställt relevanta sådana.

Fallstudie om nedladdning av programvara: nedladdningarna ökade med 60 %Detta är ett multivariat test som jag gjorde för att jämföra olika versioner av rubriker och länkar. I slutändan resulterade en av variationerna i en ökning av nedladdningar med mer än 60 %.

Microsoft Multivariate Testing Case StudyDen här presentationen beskriver de varianter som testades för den här webbplatsen och den slutliga vinnaren.

SiteSpect Case StudiesPå denna sida presenteras ett dussintal fallstudier om multivariat testning av stora företag som använder sig av multivariat testning och beteendemässig inriktning för att optimera sina webbplatser.

Maxymiser Case StudiesEn annan uppsättning fallstudier om multivariat testning.

Look Inside a 1,024-Recipe Multivariate ExperimentYouTube genomförde ett gigantiskt multivariat test 2009. De har råd att göra tester med över tusen kombinationer eftersom de har tillräckligt med trafik.

Multivariat testning av ett nyhetsbrevEn byrå testade färg och text på call-to-action-knappen i sitt nyhetsbrev. Den bästa knappen hade den högsta CTR: 60 %.

Multivariate Testing Tools And Resources

Tools

Google Website OptimizerEtt gratis grundläggande verktyg för multivariata tester från Google. Det är bra om du vill testa vattnet innan du investerar pengar i multivariat testning. Nackdelen? Du måste märka olika delar av webbsidan med JavaScript, vilket kan vara besvärligt. Det är också känsligt för fel och tvingar dig att förlita dig på andra (t.ex. teknikavdelningen) för genomförandet.

Visual Website Optimizer (Disclaimer: Jag är utvecklare av det här verktyget)Den största fördelen med det här betalda verktyget är att du kan skapa ett multivariat test visuellt i en WYSIWYG-redigerare genom att välja olika delar av sidan. Du kan sedan köra testet utan att behöva märka sektionerna individuellt (även om en kodbit krävs i rubriken). Verktyget innehåller rapporter om värmekartor och klickkartor.

WhichMVTA-webbplats som publicerar användarrecensioner av alla multivariata testverktyg som finns på marknaden. Om du planerar att införa ett verktyg för multivariat testning för din organisation, gör din forskning på den här webbplatsen.

Verktyg för företagstestningOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize och SiteSpect.

Resurser

Expert Guide to Multivariate Testing Success, by Jonathan MendezEn serie blogginlägg som beskriver olika aspekter av multivariat testning.

Fail Faster Faster With Multivariate Testing (PDF)En utmärkt gratis miniguide om multivariat testning.

Online Testing Vendor LandscapeEn kommersiell rapport från Forrester som jämför de olika testleverantörerna som finns.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationDen här artikeln diskuterar idéer för optimering av konverteringsfrekvens som beskrivs i detalj genom olika fallstudier.

Du kanske är intresserad av följande relaterade artiklar:

• Ultimate Guide to A/B Testing
• Geting Started With E-Commerce: Dina alternativ när du säljer online
• Förbättra din e-handelsdesign med briljanta produktfoton
• Vår tredelade serie ”Optimering av konverteringsfrekvens”.

(al)