• 10 min read
• Design,Testing,Usabilità
• Salvato per lettura offline
• Condividi su Twitter, LinkedIn

In un test multivariato, una pagina web viene trattata come una combinazione di elementi (compresi titoli, immagini, pulsanti e testo) che influenzano il tasso di conversione. Essenzialmente, si scompone una pagina web in unità distinte e si creano variazioni di queste unità. Per esempio, se la tua pagina è composta da un titolo, un’immagine e un testo di accompagnamento, allora dovresti creare delle variazioni per ognuno di essi. Per illustrare l’esempio, supponiamo che facciate le seguenti variazioni:

• Titolo: titolo 1 e titolo 2
• Testo: testo 1 e testo 2
• Immagine: immagine 1 e immagine 2

Lo scenario sopra ha tre variabili (titolo, testo e immagine), ciascuna con due versioni. In un test multivariato, il tuo obiettivo è vedere quale combinazione di queste versioni raggiunge il più alto tasso di conversione. Per combinazione, intendo una delle otto (2 × 2 × 2) versioni della pagina web che otterremo quando combineremo le variazioni delle sezioni:

• Headline 1 + Testo 1 + Immagine 1
• Headline 1 + Testo 1 + Immagine 2
• Headline 1 + Testo 2 + Immagine 1
• Headline 1 + Testo 2 + Immagine 2
• Headline 2 + Testo 1 + Immagine 1
• Headline 2 + Testo 1 + Immagine 2
• Headline 2 + Testo 2 + Immagine 1
• Headline 2 + Testo 2 + Immagine 2

Nel test multivariato, si divide il traffico tra queste otto diverse versioni della pagina e si vede quale combinazione produce il più alto tasso di conversione – proprio come nel test A/B, dove si divide il traffico tra due versioni di una pagina.

Inizio dei test multivariati

Per creare il tuo primo test multivariato, scegli prima uno strumento o un framework che supporti i test multivariati. Potete usare uno degli strumenti elencati nella sezione “Strumenti” alla fine di questo articolo. Si prega di notare che non tutti gli strumenti di test A/B supportano i test multivariati, quindi assicuratevi che lo strumento scelto lo permetta.

Una volta deciso quale strumento utilizzare, scegliete quali sezioni includere nel test. Come sapete, una pagina Web può contenere decine o centinaia di sezioni diverse (piè di pagina, titolo, barra laterale, modulo di accesso, pulsanti di navigazione, ecc.) Non puoi includere tutte queste sezioni nel test; creare variazioni per tutte sarebbe un compito enorme (e, come leggerai più avanti, i requisiti di traffico per il test cresceranno esponenzialmente con ogni nuova sezione). Restringi il campo alle poche sezioni della pagina che pensi siano più importanti per l’obiettivo di conversione.

Le seguenti parti di una pagina (elencate in ordine di importanza) sono tipicamente incluse in un test multivariato:

• Titolo e intestazione,
• Bottoni di chiamata all’azione (colore, testo, dimensione, posizionamento),
• Testo (contenuto, lunghezza, dimensione),
• Immagine (tipo, posizionamento, dimensione),
• Lunghezza modulo.

La differenza tra A/B Testing e Multivariate Testing

Concettualmente, le due tecniche sono simili, ma ci sono differenze cruciali. Innanzitutto, i requisiti di traffico sono diversi. Come ho detto, il numero di combinazioni da testare cresce esponenzialmente in un test multivariato. Si possono testare tre o quattro versioni in un test A/B e decine o centinaia di versioni in un test multivariato. Chiaramente, quindi, è necessario molto traffico – e tempo – per arrivare a risultati significativi.

Per esempio, se hai tre sezioni con tre varianti ciascuna, il numero di combinazioni è 27. Aggiungete un’altra sezione con tre variazioni, e il numero totale di combinazioni salta a 81. Se volete risultati significativi, non potete continuare ad aggiungere sezioni al test. Sii selettivo. Una buona regola è quella di limitare il numero totale di combinazioni a 25 o meno.

Utilizzare i test A/B per cambiamenti su larga scala, non per perfezionare o ottimizzare i design esistenti. Image by Meet the Chumbeques

Un’altra differenza è nel modo in cui queste tecniche vengono utilizzate. Il test A/B è solitamente riservato ai grandi cambiamenti radicali (come cambiare completamente una landing page o mostrare due offerte diverse). Il test multivariato è usato per raffinare e ottimizzare un design esistente. Per i matematici, il test A/B è usato per ottimizzare per un optimum globale, mentre il test multivariato è usato per ottimizzare per un optimum locale.

Un vantaggio del test multivariato rispetto al test A/B split è che può dirvi quale parte della pagina è più influente sugli obiettivi di conversione. Diciamo che stai testando il titolo, il testo e l’immagine della tua pagina di destinazione. Come fai a sapere quale parte ha l’impatto maggiore? La maggior parte degli strumenti di test multivariati ti darà una metrica, chiamata “fattore di impatto”, nei loro rapporti che ti dice quali sezioni influenzano il tasso di conversione e quali no. Non si ottengono queste informazioni dai test A/B perché tutte le sezioni sono raggruppate in un’unica variazione.

Tipi di test multivariati

In base a come si distribuisce il traffico alle combinazioni, ci sono diversi tipi di test multivariati (MVT):

Test fattoriale completoQuesto è il tipo a cui la gente generalmente si riferisce quando parla di test multivariati. Con questo metodo, si distribuisce il traffico del sito web equamente tra tutte le combinazioni. Se ci sono 16 combinazioni, ognuna riceverà un sedicesimo di tutto il traffico del sito web. Poiché ogni combinazione riceve la stessa quantità di traffico, questo metodo fornisce tutti i dati necessari per determinare quale particolare combinazione e sezione ha funzionato meglio. Potresti scoprire che una certa immagine non ha avuto alcun effetto sul tasso di conversione, mentre il titolo è stato più influente. Poiché il metodo fattoriale completo non fa supposizioni per quanto riguarda le statistiche o la matematica dei test, lo consiglio per i test multivariati.

Registra e confronta il traffico risultante per ogni versione testata. Immagine di ItoWorld

Test fattoriale parziale o frazionaleCome suggerisce il nome, in questo metodo solo una frazione di tutte le combinazioni sono esposte al traffico del sito web. Il tasso di conversione per le combinazioni non esposte è dedotto da quelle che sono state incluse nel test. Per esempio, se ci sono 16 combinazioni, allora il traffico viene diviso solo tra otto di queste. Per le otto rimanenti, non otteniamo dati di conversione, e quindi dobbiamo ricorrere alla matematica di fantasia (con alcune ipotesi) per capire. Per ovvie ragioni, non raccomando questo metodo: anche se ci sono meno requisiti di traffico per i test fattoriali parziali, il metodo forza troppe ipotesi. Non importa quanto sia avanzata la matematica, i dati concreti sono sempre meglio dell’inferenza.

Taguchi testingQuesto è il metodo più esoterico di tutti. Una rapida ricerca su Google rivela un sacco di strumenti che sostengono di ridurre drasticamente il tempo di prova e i requisiti di traffico con i test di Taguchi. Qualcuno potrebbe non essere d’accordo, ma io credo che il metodo Taguchi sia un po’ una farsa; è un insieme di euristiche, non un metodo teoricamente solido. È stato originariamente utilizzato nell’industria manifatturiera, dove sono state fatte ipotesi specifiche per diminuire il numero di combinazioni da testare per il QA e altri esperimenti. Questi presupposti non sono applicabili ai test online, quindi non dovreste avere bisogno di fare alcun test Taguchi. Attenetevi agli altri metodi.

Do’s And Don’ts

Ho osservato centinaia di test multivariati, e ho visto molte persone fare gli stessi errori. Ecco alcuni consigli pratici, direttamente dalla mia esperienza.

Don’ts

• Non includere molte sezioni nel test. Ogni sezione aggiunta raddoppia effettivamente il numero di combinazioni da testare. Per esempio, se stai testando un titolo e un’immagine, allora ci sono un totale di quattro combinazioni (2 × 2). Se aggiungi un pulsante al test, ci sono improvvisamente otto combinazioni da testare (2 × 2 × 2). Più combinazioni, più traffico avrete bisogno per ottenere risultati significativi.

Do’s

• Fate un’anteprima di tutte le combinazioni. Nei test multivariati, le variazioni di una sezione (immagine, titolo, pulsante, ecc.) sono combinate per creare variazioni di pagina. Una delle combinazioni potrebbe avere un aspetto strano o, peggio, illogico o incompatibile. Per esempio, una combinazione potrebbe mettere insieme un titolo che dice “15 dollari di sconto” e un pulsante che dice “Iscrizione gratuita”. Questi due messaggi sono incompatibili. Rileva e rimuovi le incompatibilità in fase di anteprima.
• Decidi quali sezioni sono più degne di essere incluse nel test. In un test multivariato, non tutte le sezioni avranno un impatto uguale sul tasso di conversione. Per esempio, se includete un’intestazione, un pulsante di chiamata all’azione e un piè di pagina, potreste rendervi conto che le variazioni del piè di pagina hanno poco impatto, e che le variazioni dell’intestazione e della chiamata all’azione producono combinazioni vincenti. Si ottiene un potente rapporto specifico per sezione. Di seguito è riportato un esempio di report di Visual Website Optimizer. Notate come il pulsante ha più impatto (91%) rispetto all’headline (65%):
• Fai una stima del traffico necessario per ottenere risultati significativi. Prima di testare, fatti un’idea chiara di quanto traffico ti servirà per ottenere risultati statisticamente significativi. Ho visto persone aggiungere decine di sezioni a una pagina che riceve solo 100 visitatori al giorno. Ci vorrebbero mesi per accumulare risultati significativi da un tale test. Suggerisco di usare un calcolatore, come questo calcolatore di durata dei test A/B split e multivariati, per stimare quanto traffico richiederà il vostro test. Se è più di quello che è accettabile, riducete alcune sezioni.

Studi di casi

Sul web ci sono molti studi di casi di test A/B, ma purtroppo, trovare studi di casi di test multivariati è ancora difficile. Così, ho setacciato Internet e compilato quelli rilevanti.

Software Download Case Study: i download sono aumentati del 60%Questo è un test multivariato che ho fatto per confrontare diverse versioni di titoli e link. Alla fine, una delle variazioni ha portato a un aumento dei download di oltre il 60%.

Microsoft Multivariate Testing Case StudyQuesta presentazione dettaglia le variazioni che sono state testate per questo sito web e il vincitore finale.

SiteSpect Case StudiesQuesta pagina presenta una dozzina di studi di casi di test multivariati di grandi aziende che utilizzano test multivariati e behavioral targeting per ottimizzare i loro siti.

Maxymiser Case StudiesUn’altra serie di studi di casi di test multivariati.

Guarda dentro un esperimento multivariato di 1.024 ricetteYouTube ha fatto un gigantesco test multivariato nel 2009. Può permettersi di fare test con più di mille combinazioni perché ha abbastanza traffico.

Test multivariati di una newsletter via e-mailUn’agenzia ha testato il colore e il testo sul pulsante call-to-action della sua newsletter via e-mail. Il pulsante migliore ha avuto il più alto CTR: 60%.

Strumenti e risorse per i test multivariati

Strumenti

Google Website OptimizerUno strumento gratuito di test multivariati di base di Google. È ottimo se vuoi testare le acque prima di investire denaro nel test multivariato. Il lato negativo? Avrete bisogno di taggare diverse sezioni della pagina web con JavaScript, che può essere ingombrante. È anche incline all’errore e ti costringe a fare affidamento su altri (come il dipartimento tecnologico) per l’implementazione.

Visual Website Optimizer (Disclaimer: io sono lo sviluppatore di questo strumento)Il vantaggio principale di questo strumento a pagamento è che è possibile creare un test multivariato visivamente in un editor WYSIWYG scegliendo diverse sezioni della pagina. È quindi possibile eseguire il test senza dover etichettare le sezioni individualmente (anche se un frammento di codice è richiesto nell’intestazione). Lo strumento include rapporti di mappe di calore e mappe di clic.

Qual è il sito web che pubblica le recensioni degli utenti di tutti gli strumenti di test multivariati disponibili sul mercato. Se state pensando di adottare uno strumento di test multivariato per la vostra organizzazione, fate la vostra ricerca su questo sito web.

Strumenti di test aziendaliTest&Target di Omniture, Optimost di Autonomy, Vertster, Optimize di Webtrends e SiteSpect.

Risorse

Expert Guide to Multivariate Testing Success, di Jonathan MendezUna serie di post sul blog che dettagliano diversi aspetti del test multivariato.

Fail Faster With Multivariate Testing (PDF)Una eccellente mini-guida gratuita al test multivariato.

Online Testing Vendor LandscapeUn rapporto commerciale di Forrester che confronta i vari fornitori di test là fuori.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationQuesto articolo discute idee per l’ottimizzazione del tasso di conversione dettagliate attraverso diversi casi di studio.

Potresti essere interessato ai seguenti articoli correlati:

• Guida definitiva al test A/B
• Iniziare con l’e-commerce: Le tue opzioni quando vendi online
• Migliora il tuo E-Commerce Design con foto brillanti dei prodotti
• La nostra serie in 3 parti “Ottimizzare i tassi di conversione”.

(al)