• Despre autor
• Pentru a începe cu testarea multivariată
• Diferența dintre testarea A/B și testarea multivariată
• Tipuri de teste multivariate
• Ce trebuie făcut și ce nu trebuie făcut
• Don’ts
• Ce trebuie făcut
• Studii de caz
• Multivariate Testing Tools And Resources
• Tools
• Resurse

Despre autor

Paras Chopra este fondatorul Visual Website Optimizer, cel mai simplu instrument de testare A/B din lume. Folosit de mii de companii din întreaga lume în peste 75 de țări, …Mai multe despreParas Chopra↬

Într-un test multivariate, o pagină web este tratată ca o combinație de elemente (inclusiv titluri, imagini, butoane și text) care afectează rata de conversie. În esență, descompuneți o pagină Web în unități distincte și creați variații ale acestor unități. De exemplu, dacă pagina dvs. este compusă dintr-un titlu, o imagine și un text însoțitor, atunci veți crea variații pentru fiecare dintre ele. Pentru a ilustra exemplul, să presupunem că faceți următoarele variații:

• Titlu: titlu 1 și titlu 2
• Text: text 1 și text 2
• Imagine: imagine 1 și imagine 2

Scenariul de mai sus are trei variabile (titlu, text și imagine), fiecare cu două versiuni. Într-un test multivariat, obiectivul dvs. este de a vedea care combinație a acestor versiuni obține cea mai mare rată de conversie. Prin combinații, mă refer la una dintre cele opt (2 × 2 × 2 × 2) versiuni ale paginii web pe care le vom obține atunci când vom combina variantele secțiunilor:

• Titlu 1 + Text 1 + Imagine 1
• Titlu 1 + Text 1 + Imagine 2
• Titlu 1 + Text 2 + Imagine 1
• Titlu 1 + Text 2 + Imagine 1
• Titlu 1 + Text 2 + Imagine 2
• Titlu 1 + Text 2 + Imagine 2
• Titlu 2 + Text 1 + Imagine 1
• Headline 2 + Text 1 + Imagine 2
• Headline 2 + Text 2 + Imagine 1
• Headline 2 + Text 2 + Imagine 2

În testele multivariate, împărțiți traficul între aceste opt versiuni diferite ale paginii și vedeți care combinație produce cea mai mare rată de conversie – la fel ca în cazul testelor A/B, în care împărțițiți traficul între două versiuni ale unei pagini.

Pentru a începe cu testarea multivariată

Pentru a crea primul dvs. test multivariat, alegeți mai întâi un instrument sau un cadru care acceptă testarea multivariată. Puteți utiliza unul dintre instrumentele enumerate în secțiunea „Instrumente” de la sfârșitul acestui articol. Rețineți că nu toate instrumentele de testare A/B acceptă testarea multivariată, așa că asigurați-vă că instrumentul ales de dvs. permite acest lucru.

După ce ați decis ce instrument să utilizați, alegeți ce secțiuni să includeți în test. După cum știți, o pagină web poate conține zeci sau sute de secțiuni diferite (footer, titlu, bară laterală, formular de logare, butoane de navigare etc.). Nu puteți include toate aceste secțiuni în test; crearea de variații pentru toate acestea ar fi o sarcină enormă (și, după cum veți citi mai jos, cerințele de trafic pentru test vor crește exponențial cu fiecare secțiune nouă). Restrângeți la cele câteva secțiuni ale paginii pe care le considerați cele mai importante pentru obiectivul de conversie.

Următoarele părți ale unei pagini (enumerate în ordinea importanței) sunt de obicei incluse într-un test multivariat:

• Titlu și titlu,
• Butoane de apel la acțiune (culoare, text, dimensiune, amplasare),
• Copie text (conținut, lungime, dimensiune),
• Imagine (tip, amplasare, dimensiune),
• Lungime formular.

Diferența dintre testarea A/B și testarea multivariată

Conceptual, cele două tehnici sunt similare, dar există diferențe cruciale. În primul rând, cerințele de trafic sunt diferite. Așa cum am spus, numărul de combinații care trebuie testate crește exponențial într-un test multivariat. Puteți testa trei sau patru versiuni într-un test A/B și zeci sau sute de versiuni într-un test multivariat. Este clar, deci, că este nevoie de mult trafic – și timp – pentru a ajunge la rezultate semnificative.

De exemplu, dacă aveți trei secțiuni cu câte trei variante fiecare, numărul de combinații este de 27. Adăugați încă o secțiune cu trei variante, iar numărul total de combinații sare la 81. Dacă doriți rezultate semnificative, nu puteți continua să adăugați secțiuni la test. Fiți selectivi. O regulă bună este să limitați numărul total de combinații la 25 sau mai puțin.

Utilizați testarea A/B pentru schimbări pe scară largă, nu pentru a rafina sau optimiza modelele existente. Imagine de Meet the Chumbeques

O altă diferență constă în modul în care sunt utilizate aceste tehnici. Testarea A/B este, de obicei, rezervată pentru schimbări radicale mari (cum ar fi schimbarea completă a unei pagini de destinație sau afișarea a două oferte diferite). Testarea multivariată este utilizată pentru a rafina și optimiza un design existent. Pentru cei înclinați spre matematică, testarea A/B este folosită pentru a optimiza pentru un optim global, în timp ce testarea multivariată este folosită pentru a optimiza pentru un optim local.

Un avantaj al testării multivariate față de testarea divizată A/B este că vă poate spune ce parte a paginii are cea mai mare influență asupra obiectivelor de conversie. Să spunem că testați titlul, textul și imaginea de pe pagina dvs. de destinație. Cum știți care parte are cel mai mare impact? Cele mai multe instrumente de testare multivariate vă vor oferi o măsurătoare, numită „factor de impact”, în rapoartele lor, care vă spune ce secțiuni influențează rata de conversie și care nu. Nu obțineți aceste informații de la testarea A/B, deoarece toate secțiunile sunt grupate într-o singură variație.

Tipuri de teste multivariate

În funcție de modul în care distribuiți traficul către combinațiile dumneavoastră, există mai multe tipuri de teste multivariate (MVT):

Testarea factorială completăAcest tip este cel la care se referă în general oamenii când vorbesc despre teste multivariate. Prin această metodă, se distribuie traficul site-ului web în mod egal între toate combinațiile. Dacă există 16 combinații, fiecare dintre ele va primi o șaisprezecime din tot traficul site-ului web. Deoarece fiecare combinație primește aceeași cantitate de trafic, această metodă oferă toate datele necesare pentru a determina care anume combinație și secțiune a funcționat cel mai bine. Ați putea descoperi că o anumită imagine nu a avut niciun efect asupra ratei de conversie, în timp ce titlul a avut cea mai mare influență. Deoarece metoda factorială completă nu face nicio presupunere în ceea ce privește statistica sau matematica testării, o recomand pentru testarea multivariată.

Înregistrați și comparați traficul rezultat pentru fiecare versiune testată. Imagine pentru ItoWorld

Testarea factorială parțială sau fracționarăAșa cum sugerează și numele, în această metodă doar o fracțiune din toate combinațiile sunt expuse la traficul de pe site. Rata de conversie pentru combinațiile neexpuse este dedusă din cele care au fost incluse în test. De exemplu, dacă există 16 combinații, atunci traficul este împărțit doar între opt dintre acestea. Pentru cele opt rămase, nu obținem date de conversie și, prin urmare, trebuie să recurgem la matematică sofisticată (cu câteva ipoteze) pentru a obține informații. Din motive evidente, nu recomand această metodă: chiar dacă există mai puține cerințe de trafic pentru testarea factorială parțială, metoda forțează prea multe ipoteze. Indiferent cât de avansată este matematica, datele concrete sunt întotdeauna mai bune decât inferențele.

Testarea TaguchiAceasta este cea mai ezoterică metodă dintre toate. O căutare rapidă pe Google relevă o mulțime de instrumente care pretind că reduc drastic timpul de testare și cerințele de trafic cu ajutorul testelor Taguchi. S-ar putea ca unii să nu fie de acord, dar eu cred că metoda Taguchi este un pic cam prefăcută; este un set de euristici, nu o metodă solidă din punct de vedere teoretic. Ea a fost folosită inițial în industria de producție, unde se făceau presupuneri specifice pentru a reduce numărul de combinații care trebuiau testate pentru asigurarea calității și alte experimente. Aceste ipoteze nu se aplică la testarea online, așa că nu ar trebui să fie nevoie să efectuați niciun test Taguchi. Rămâneți la celelalte metode.

Ce trebuie făcut și ce nu trebuie făcut

Am observat sute de teste multivariate și am văzut mulți oameni făcând aceleași greșeli. Iată câteva sfaturi practice, direct din experiența mea.

Don’ts

• Nu includeți o mulțime de secțiuni în test. Fiecare secțiune pe care o adăugați dublează efectiv numărul de combinații de testat. De exemplu, dacă testați un titlu și o imagine, atunci există un total de patru combinații (2 × 2). Dacă adăugați un buton la test, există dintr-o dată opt combinații de testat (2 × 2 × 2 × 2). Cu cât sunt mai multe combinații, cu atât mai mult trafic veți avea nevoie pentru a obține rezultate semnificative.

Ce trebuie făcut

• Previzualizați toate combinațiile… În testele multivariate, variațiile unei secțiuni (imagine, titlu, buton etc.) sunt combinate pentru a crea variații de pagină. Una dintre combinații ar putea avea un aspect ciudat sau, mai rău, ilogic sau incompatibil. De exemplu, o combinație ar putea pune împreună un titlu care spune „15 dolari reducere” și un buton care spune „Abonament gratuit”. Aceste două mesaje sunt incompatibile. Detectați și eliminați incompatibilitățile în etapa de previzualizare.
• Decideți ce secțiuni sunt cele mai demne de a fi incluse în test… Într-un test multivariat, nu toate secțiunile vor avea un impact egal asupra ratei de conversie. De exemplu, dacă includeți un titlu, un buton de apel la acțiune și un footer, s-ar putea să vă dați seama că variațiile din footer au un impact redus și că variațiile de titlu și de apel la acțiune produc combinații câștigătoare. Obțineți un raport puternic specific fiecărei secțiuni. Mai jos este un exemplu de raport din Visual Website Optimizer. Observați cum butonul are un impact mai mare (91%) decât titlul (65%):
• Faceți o estimare a traficului necesar pentru rezultate semnificative… Înainte de testare, faceți-vă o idee clară cu privire la traficul de care veți avea nevoie pentru a obține rezultate semnificative din punct de vedere statistic. Am văzut oameni care au adăugat zeci de secțiuni la o pagină care primește doar 100 de vizitatori pe zi. Rezultatele semnificative ale unui astfel de test ar dura luni de zile pentru a se acumula. Îți sugerez să folosești un calculator, cum ar fi acest calculator de durată a testelor A/B split și multivariate, pentru a estima de cât trafic va avea nevoie testul tău. Dacă este mai mult decât ceea ce este acceptabil, reduceți unele secțiuni.

Studii de caz

O mulțime de studii de caz de testare A/B se află pe Web, dar, din păcate, găsirea studiilor de caz de testare multivariată este încă dificilă. Așadar, am răscolit Internetul și le-am compilat pe cele relevante.

Studiu de caz privind descărcarea de software: descărcările au crescut cu 60%Acesta este un test multivariat pe care l-am făcut pentru a compara diferite versiuni de titluri și link-uri. În final, una dintre variante a dus la o creștere de peste 60% a descărcărilor.

Studiu de caz de testare multivariată MicrosoftAceastă prezentare detaliază variantele care au fost testate pentru acest site web și câștigătorul final.

SiteSpect Case StudiesAceastă pagină prezintă o duzină de studii de caz de testare multivariate ale unor companii mari care folosesc testarea multivariate și targetarea comportamentală pentru a-și optimiza site-urile.

Maxymiser Case StudiesUn alt set de studii de caz de testare multivariate.

Look Inside a 1,024-Recipe Multivariate ExperimentYouTube a făcut un test multivariate gigantic în 2009. Își poate permite să facă teste cu peste o mie de combinații pentru că are suficient trafic.

Testarea multivariată a unui buletin de știri prin e-mailO agenție a testat culoarea și textul de pe butonul call-to-action al buletinului său de știri prin e-mail. Cel mai bun buton a avut cel mai mare CTR: 60%.

Multivariate Testing Tools And Resources

Tools

Google Website OptimizerUn instrument gratuit de testare multivariate de bază de la Google. Este excelent dacă doriți să testați apele înainte de a investi bani în testarea multivariatelor. Dezavantajul? Va trebui să marcați diferite secțiuni ale paginii web cu JavaScript, ceea ce poate fi greoi. De asemenea, este predispus la erori și vă obligă să vă bazați pe alții (cum ar fi departamentul de tehnologie) pentru implementare.

Visual Website Optimizer (Disclaimer: Sunt dezvoltatorul acestui instrument)Principalul avantaj al acestui instrument plătit este că puteți crea un test multivariat vizual într-un editor WYSIWYG, alegând diferite secțiuni ale paginii. Apoi puteți rula testul fără a fi nevoie să etichetați secțiunile individual (deși este necesar un fragment de cod în antet). Instrumentul include rapoarte de tip heat map și click map.

CeMVTA site care publică recenzii ale utilizatorilor pentru toate instrumentele de testare multivariate disponibile pe piață. Dacă intenționați să adoptați un instrument de testare multivariată pentru organizația dumneavoastră, faceți cercetări pe acest site.

Instrumente de testare pentru întreprinderiOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize și SiteSpect.

Resurse

Expert Guide to Multivariate Testing Success, de Jonathan MendezO serie de postări pe blog care detaliază diferite aspecte ale testării multivariate.

Fail Faster With Multivariate Testing (PDF)Un excelent mini-ghid gratuit pentru testarea multivariatelor.

Online Testing Vendor LandscapeUn raport comercial realizat de Forrester care compară diferiți furnizori de testare existenți.

Lecții învățate din 21 de studii de caz în optimizarea ratei de conversieAcest articol discută idei pentru optimizarea ratei de conversie detaliate prin diferite studii de caz.

Poate fi interesat de următoarele articole conexe:

• Ultimate Guide to A/B Testing
• Getting Started With E-Commerce: Opțiunile dvs. atunci când vindeți online
• Îmbunătățiți-vă designul E-Commerce cu fotografii de produs strălucitoare
• Seria noastră în 3 părți „Optimizarea ratelor de conversie”.

(al)