Kirjoittajasta
Paras Chopra on maailman helpoimmaksi koetun A/B-testaus-työkalun Visuaalisen verkkosivujen optimointityökalun perustaja. Sitä käyttävät tuhannet yritykset maailmanlaajuisesti yli 75 maassa, …LisätietojaParas Chopra↬
- 10 min. luettu
- Suunnittelu,testaus,käytettävyys
- Tallennettu offline-lukemista varten
- Jaa Twitterissä, LinkedIn
Monimuuttujaisessa testauksessa Web-sivua käsitellään konversiolukuun vaikuttavien elementtien yhdistelmänä (mukaan lukien otsikot, kuvat, painikkeet ja teksti). Pohjimmiltaan verkkosivu puretaan erillisiin yksiköihin ja luodaan näistä yksiköistä variaatioita. Jos esimerkiksi sivusi koostuu otsikosta, kuvasta ja siihen liittyvästä tekstistä, luot variaatioita jokaiselle niistä. Esimerkin havainnollistamiseksi oletetaan, että teet seuraavat variaatiot:
- otsikko: otsikko 1 ja otsikko 2
- teksti: teksti 1 ja teksti 2
- kuva: kuva 1 ja kuva 2
Yllä olevassa skenaariossa on kolme muuttujaa (otsikko, teksti ja kuva), joista jokaisesta on kaksi versiota. Monimuuttujaisessa testissä tavoitteena on selvittää, millä näiden versioiden yhdistelmällä saavutetaan korkein konversioluku. Yhdistelmillä tarkoitan yhtä niistä kahdeksasta (2 × 2 × 2) verkkosivun versiosta, jotka syntyvät, kun yhdistämme osioiden variaatioita:
- otsikko 1 + teksti 1 + kuva 1
- otsikko 1 + teksti 1 + kuva 2
- otsikko 1 + teksti 2 + kuva 1
- otsikko 1 + teksti 2 + kuva 1
- otsikko 1 + teksti 2 + kuva 2
- otsikko 1 + teksti 2 + kuva 2
- otsikko 2 + Teksti 1 + Kuva 1
- Headline 2 + Teksti 1 + Kuva 2
- Headline 2 + Teksti 2 + Kuva 1
- Headline 2 + Teksti 2 + Kuva 2
Monimuuttujatestauksessa, jaat liikennettä näiden kahdeksan eri sivuversion välillä ja katsot, mikä yhdistelmä tuottaa korkeimman konversioluvun – aivan kuten A/B-testauksessa, jossa jaat liikennettä sivun kahden version välillä.
Monimuuttujatestauksen aloittaminen
Luoaksesi ensimmäisen monimuuttujatestin valitse ensin työkalu tai kehys, joka tukee monimuuttujatestausta. Voit käyttää jotakin tämän artikkelin lopussa kohdassa ”Työkalut” luetelluista työkaluista. Huomaa, että kaikki A/B-testaustyökalut eivät tue monimuuttujaista testausta, joten varmista, että valitsemasi työkalu sallii sen.
Kun olet päättänyt, mitä työkalua käytät, valitse, mitkä osiot haluat sisällyttää testiin. Kuten tiedät, verkkosivu voi sisältää kymmeniä tai satoja eri osioita (alatunniste, otsikko, sivupalkki, kirjautumislomake, navigointipainikkeet jne.). Kaikkia näitä osioita ei voi sisällyttää testiin; variaatioiden luominen niitä kaikkia varten olisi valtava tehtävä (ja kuten jäljempänä luet, testin liikennevaatimukset kasvavat eksponentiaalisesti jokaisen uuden osion myötä). Rajaa se muutamaan sivun osioon, jotka ovat mielestäsi tärkeimpiä konversiotavoitteen kannalta.
Sivun seuraavat osat (lueteltu tärkeysjärjestyksessä) sisältyvät tyypillisesti monimuuttujatestiin:
- otsikko ja otsikko,
- Kutsu-toimintapainikkeet (väri, teksti, koko, sijoittelu),
- tekstikopio (sisältö, pituus, koko),
- kuva (tyyppi, sijoittelu, koko),
- lomakkeen pituus.
A/B-testauksen ja monimuuttujaisen testauksen ero
Käsitteellisesti nämä kaksi tekniikkaa ovat samankaltaisia, mutta niissä on ratkaisevia eroja. Ensinnäkin liikennevaatimukset ovat erilaiset. Kuten sanoin, testattavien yhdistelmien määrä kasvaa eksponentiaalisesti monimuuttujatestissä. A/B-testissä voidaan testata kolmea tai neljää versiota ja monimuuttujaisessa testissä kymmeniä tai satoja versioita. On siis selvää, että tarvitaan paljon liikennettä – ja aikaa – jotta päästään mielekkäisiin tuloksiin.
Jos sinulla on esimerkiksi kolme osiota, joissa kussakin on kolme variaatiota, yhdistelmien määrä on 27. Lisää toinen osio, jossa on kolme variaatiota, niin yhdistelmien kokonaismäärä hyppää 81:een. Jos haluat mielekkäitä tuloksia, et voi jatkuvasti lisätä osioita testiin. Ole valikoiva. Hyvä sääntö on rajoittaa yhdistelmien kokonaismäärä enintään 25:een.
Käytä A/B-testausta laajamittaisiin muutoksiin, älä olemassa olevien mallien tarkentamiseen tai optimointiin. Kuva: Meet the Chumbeques
Toinen ero on siinä, miten näitä tekniikoita käytetään. A/B-testaus on yleensä varattu suuriin radikaaleihin muutoksiin (kuten laskeutumissivun muuttamiseen kokonaan tai kahden eri tarjouksen näyttämiseen). Monimuuttujatestausta käytetään olemassa olevan suunnittelun hiomiseen ja optimointiin. Matemaattisesti kiinnostuneille tiedoksi, että A/B-testausta käytetään globaalin optimin optimointiin, kun taas monimuuttujaista testausta käytetään paikallisen optimin optimointiin.
Monimuuttujaisen testauksen yksi etu A/B-jaottelutestaukseen verrattuna on se, että sen avulla voidaan kertoa, mikä sivun osa vaikuttaa eniten konversiotavoitteisiin. Sanotaan, että testaat laskeutumissivusi otsikkoa, tekstiä ja kuvaa. Mistä tiedät, mikä osa vaikuttaa eniten? Useimmat monimuuttujatestaustyökalut antavat raporteissaan ”vaikutuskertoimeksi” kutsutun mittarin, joka kertoo, mitkä osat vaikuttavat konversiolukuun ja mitkä eivät. Tätä tietoa et saa A/B-testauksesta, koska kaikki osiot niputetaan yhdeksi variaatioksi.
Monimuuttujatestien tyypit
Sitä mukaan, miten jaat liikennettä yhdistelmillesi, on olemassa useita monimuuttujatestien (MVT) tyyppejä:
Täydellinen faktoriaalinen testaustapaTätyyppiin viitataan yleensä monimuuttujatestauksesta puhuttaessa. Tällä menetelmällä jaetaan verkkosivuston liikenne tasaisesti kaikkien yhdistelmien kesken. Jos yhdistelmiä on 16, jokainen niistä saa yhden kuudestoistaosan kaikesta verkkosivuston liikenteestä. Koska jokainen yhdistelmä saa saman verran liikennettä, tämä menetelmä tuottaa kaikki tarvittavat tiedot sen määrittämiseksi, mikä yhdistelmä ja osio toimi parhaiten. Saatat huomata, että tietyllä kuvalla ei ollut vaikutusta konversiolukuun, kun taas otsikolla oli suurin vaikutus. Koska täysfaktoriaalinen menetelmä ei tee oletuksia tilastojen tai testauksen matematiikan suhteen, suosittelen sitä monimuuttujaiseen testaukseen.
Tallenna ja vertaa tuloksena syntynyttä liikennettä kunkin testatun version osalta. Kuva: ItoWorld
Partial eli murto-osittainen faktoriaalinen testausKuten nimestä voi päätellä, tässä menetelmässä vain murto-osa kaikista yhdistelmistä altistuu verkkosivuston liikenteelle. Altistamattomien yhdistelmien konversiokurssi päätellään testissä mukana olleista yhdistelmistä. Jos yhdistelmiä on esimerkiksi 16, liikenne jaetaan vain kahdeksan yhdistelmän kesken. Jäljelle jäävistä kahdeksasta ei saada konversiotietoja, joten meidän on turvauduttava hienostuneeseen matematiikkaan (ja muutamiin oletuksiin) saadaksemme tietoa. Ilmeisistä syistä en suosittele tätä menetelmää: vaikka osittaisessa faktoriaalisessa testauksessa on vähemmän liikennöintivaatimuksia, menetelmä pakottaa tekemään liikaa oletuksia. Olipa matematiikka kuinka kehittynyttä tahansa, kovat tiedot ovat aina parempia kuin päättely.
Taguchi-testausTämä on kaikkein esoteerisin menetelmä. Nopea Google-haku paljastaa paljon työkaluja, jotka väittävät vähentävänsä testaukseen kuluvaa aikaa ja liikennöintivaatimuksia rajusti Taguchi-testauksen avulla. Jotkut saattavat olla eri mieltä, mutta mielestäni Taguchi-menetelmä on hieman huijausta; se on joukko heuristiikkoja, ei teoreettisesti pätevä menetelmä. Sitä käytettiin alun perin valmistusteollisuudessa, jossa tehtiin tiettyjä oletuksia, jotta voitiin vähentää laadunvarmistuksessa ja muissa kokeissa testattavien yhdistelmien määrää. Näitä oletuksia ei voida soveltaa verkkotestaukseen, joten sinun ei pitäisi tarvita mitään Taguchi-testausta. Pysyttele muissa menetelmissä.
Do’s And Don’ts
Olen havainnoinut satoja monimuuttujatestejä, ja olen nähnyt monien ihmisten tekevän samoja virheitä. Tässä muutamia käytännön neuvoja suoraan kokemuksestani.
Ei saa
- Älä sisällytä testiin paljon osioita. Jokainen lisäämäsi osio käytännössä kaksinkertaistaa testattavien yhdistelmien määrän. Jos esimerkiksi testaat otsikkoa ja kuvaa, yhdistelmiä on yhteensä neljä (2 × 2). Jos lisäät testiin painikkeen, testattavia yhdistelmiä on yhtäkkiä kahdeksan (2 × 2 × 2). Mitä enemmän yhdistelmiä, sitä enemmän liikennettä tarvitset merkittävien tulosten saamiseksi.
Menettelyohjeet
- Esikatsele kaikki yhdistelmät … Monimuuttujaisessa testauksessa osioiden (kuva, otsikko, painike jne.) variaatioita yhdistetään sivuvariaatioiden luomiseksi. Yksi yhdistelmistä saattaa olla oudon näköinen tai, mikä vielä pahempaa, epälooginen tai yhteensopimaton. Yhdessä yhdistelmässä saatetaan esimerkiksi yhdistää otsikko, jossa lukee ”15 dollaria alennusta”, ja painike, jossa lukee ”Ilmainen tilaus”. Nämä kaksi viestiä ovat yhteensopimattomia. Havaitse ja poista yhteensopimattomuudet esikatseluvaiheessa.
- Tee päätös siitä, mitkä osiot kannattaa sisällyttää testiin… Monimuuttujaisessa testissä kaikilla osioilla ei ole yhtä suurta vaikutusta konversioasteeseen. Jos esimerkiksi otat mukaan otsikon, toimintakutsupainikkeen ja alatunnisteen, saatat huomata, että alatunnisteen variaatioilla on vain vähän vaikutusta ja että otsikon ja toimintakutsupainikkeen variaatiot tuottavat voittavia yhdistelmiä. Saat tehokkaan osiokohtaisen raportin. Alla on esimerkkiraportti Visual Website Optimizer -ohjelmasta. Huomaa, että painikkeella on enemmän vaikutusta (91 %) kuin otsikolla (65 %):
- Arvioi merkittäviin tuloksiin tarvittava liikenne… Hanki ennen testausta selkeä käsitys siitä, kuinka paljon liikennettä tarvitset saadaksesi tilastollisesti merkittäviä tuloksia. Olen nähnyt ihmisten lisäävän kymmeniä osioita sivulle, joka saa vain 100 kävijää päivässä. Merkittävien tulosten saaminen tällaisesta testistä kestäisi kuukausia. Suosittelen käyttämään laskuria, kuten tätä A/B-jako- ja monimuuttujatestauksen kestolaskuria, arvioidaksesi, kuinka paljon liikennettä testisi vaatii. Jos se on enemmän kuin on hyväksyttävää, vähennä joitakin osioita.
Tapaustutkimukset
Verkossa on paljon A/B-testauksen tapaustutkimuksia, mutta valitettavasti monimuuttujaisen testauksen tapaustutkimusten löytäminen on edelleen vaikeaa. Niinpä haravoin Internetiä ja kokosin relevantteja.
Tapaustutkimus ohjelmiston lataamisesta: Lataukset lisääntyivät 60 %Tämä on yksi monimuuttujainen testi, jonka tein vertaillakseni otsikoiden ja linkkien eri versioita. Lopulta yksi variaatioista johti yli 60 %:n lisäykseen latauksissa.
Microsoftin monimuuttujaisen testauksen tapaustutkimusTässä esityksessä kerrotaan yksityiskohtaisesti variaatioista, joita testattiin tätä verkkosivustoa varten, ja lopullisesta voittajasta.
SiteSpectin tapaustutkimuksetTällä sivulla esitellään kymmenkunta monimuuttujatestauksen tapaustutkimusta suurista yrityksistä, jotka käyttävät monimuuttujatestausta ja käyttäytymiseen perustuvaa kohdentamista sivustojensa optimointiin.
Maxymiserin tapaustutkimuksetJälleen yksi joukko monimuuttujatestauksen tapaustutkimuksia.
Katso sisälle 1024 reseptin monimuuttujakokeiluunYoutubessa tehtiin jättimäinen monimuuttujatesti vuonna 2009. Sillä on varaa tehdä testejä yli tuhannella yhdistelmällä, koska sillä on riittävästi liikennettä.
Sähköpostin uutiskirjeen monimuuttujatestausToimisto testasi sähköpostin uutiskirjeen call-to-action-painikkeen väriä ja tekstiä. Parhaalla painikkeella oli korkein CTR: 60 %.
Multivariaattisen testauksen työkalut ja resurssit
Työkalut
Google Website OptimizerGooglen ilmainen multivariaattisen testauksen perustyökalu. Se on hyvä, jos haluat testata vesiä ennen kuin investoit rahaa monimuuttujaiseen testaukseen. Huonot puolet? Sinun täytyy merkitä verkkosivun eri osat JavaScriptillä, mikä voi olla hankalaa. Se on myös altis virheille ja pakottaa sinut luottamaan muiden (kuten teknologiaosaston) toteuttamiseen.
Visual Website Optimizer (Vastuuvapauslauseke: olen tämän työkalun kehittäjä)Tämän maksullisen työkalun tärkein etu on se, että voit luoda monimuuttujaisen testin visuaalisesti WYSIWYG-editorissa valitsemalla sivun eri osioita. Tämän jälkeen voit suorittaa testin ilman, että sinun tarvitsee merkitä osioita erikseen (vaikka otsikkoon tarvitaankin koodinpätkä). Työkalu sisältää lämpökartta- ja klikkauskartta-raportit.
WhichMVTA-sivusto, joka julkaisee käyttäjäarvosteluja kaikista markkinoilla olevista monimuuttujatestityökaluista. Jos suunnittelet monimuuttujaisen testaustyökalun käyttöönottoa organisaatiossasi, tee tutkimusta tällä sivustolla.
YritystestaustyökalutOmnituren Test&Target, Autonomyn Optimost, Vertster, Webtrendsin Optimize ja SiteSpect.
Lähteet
Expert Guide to Multivariate Testing Success, kirjoittanut Jonathan MendezSarja blogikirjoituksia, joissa käsitellään yksityiskohtaisesti monimuuttujatestauksen eri osa-alueita.
Fail Faster With Multivariate Testing (PDF)Erinomainen ilmainen mini-opas monimuuttujatestaukseen.
Online Testing Vendor LandscapeForresterin kaupallinen raportti, jossa vertaillaan eri testaustoimittajia.
Lessons Learned from 21 Case Studies in Conversion Rate OptimizationTämä artikkeli käsittelee konversioluvun optimointiin liittyviä ideoita, jotka on eritelty erilaisten tapaustutkimusten kautta.
Voit olla kiinnostunut seuraavista aiheeseen liittyvistä artikkeleista:
- Ultimate Guide to A/B Testing
- Getting Started With E-Commerce: Your Options When Selling Online
- Improve Your E-Commerce Design With Brilliant Product Photos
- Meidän 3-osainen sarjamme ”Optimizing Conversion Rates”.
(al)