• A szerzőről
• A többváltozós tesztelés megkezdése
• A különbség az A/B tesztelés és a többváltozós tesztelés között
• A többváltozós tesztek típusai
• Do’s And Don’ts
• Nem szabad
• Megoldások
• Egyéni esettanulmányok
• Multivariate Testing Tools And Resources
• Tools
• Források

A szerzőről

Paras Chopra a Visual Website Optimizer, a világ legegyszerűbb A/B tesztelési eszközének alapítója. Világszerte több mint 75 országban több ezer vállalat használja, …További információParas Chopra↬

A többváltozós tesztelés során a weboldalt olyan elemek kombinációjaként kezeljük (beleértve a címsorokat, képeket, gombokat és szöveget), amelyek hatással vannak a konverziós arányra. Lényegében a weboldalt különálló egységekre bontja, és ezekből az egységekből variációkat hoz létre. Ha például az oldal egy főcímből, egy képből és a kísérő szövegből áll, akkor mindegyikhez létrehozhat variációkat. A példa illusztrálására tegyük fel, hogy a következő variációkat készíti el:

• Főcím: főcím 1 és főcím 2
• szöveg: szöveg 1 és szöveg 2
• kép: kép 1 és kép 2

A fenti forgatókönyv három változót (főcím, szöveg és kép) tartalmaz, mindegyiknek két változata van. A többváltozós tesztben az a célod, hogy megnézd, e változatok melyik kombinációja éri el a legmagasabb konverziós arányt. Kombináció alatt a weboldal nyolc (2 × 2 × 2) verziójának egyikét értem, amelyek a szakaszok variációinak kombinálásával jönnek létre:

• Főcím 1 + Szöveg 1 + Kép 1
• Főcím 1 + Szöveg 1 + Kép 2
• Főcím 1 + Szöveg 2 + Kép 1
• Főcím 1 + Szöveg 2 + Kép 2
• Főcím 1 + Szöveg 2 + Kép 2
• Főcím. 2 + Text 1 + Image 1
• Headline 2 + Text 1 + Image 2
• Headline 2 + Text 2 + Image 1
• Headline 2 + Text 2 + Image 2

A többváltozós tesztelésben, a forgalmat az oldal e nyolc különböző verziója között osztja meg, és megnézi, hogy melyik kombináció eredményezi a legmagasabb konverziós arányt – ugyanúgy, mint az A/B tesztelésnél, ahol a forgalmat egy oldal két verziója között osztja meg.

A többváltozós tesztelés megkezdése

Az első többváltozós teszt elkészítéséhez először válasszon egy olyan eszközt vagy keretrendszert, amely támogatja a többváltozós tesztelést. Használhatja a cikk végén található “Eszközök” című részben felsorolt eszközök egyikét. Ne feledje, hogy nem minden A/B tesztelési eszköz támogatja a többváltozós tesztelést, ezért győződjön meg róla, hogy a választott eszköz lehetővé teszi azt.

Mihelyt eldöntötte, hogy melyik eszközt használja, válassza ki, hogy mely szakaszokat kívánja bevonni a tesztbe. Mint tudja, egy weboldal több tíz vagy több száz különböző szakaszból állhat (lábléc, fejléc, oldalsáv, bejelentkezési űrlap, navigációs gombok stb.). Nem tudja mindezeket a szakaszokat bevonni a tesztbe; mindegyikhez óriási feladat lenne variációkat létrehozni (és, mint alább olvashatja, a teszt forgalmi követelményei exponenciálisan nőnek minden egyes új szakasszal). Szűkítse le az oldal azon néhány szakaszára, amelyekről úgy gondolja, hogy a legfontosabbak a konverziós cél szempontjából.

Az oldal következő részei (fontossági sorrendben felsorolva) jellemzően szerepelnek egy többváltozós tesztben:

• Főcím és címsor,
• Call-to-action gombok (szín, szöveg, méret, elhelyezés),
• szövegmásolat (tartalom, hossz, méret),
• kép (típus, elhelyezés, méret),
• űrlap hossza.

A különbség az A/B tesztelés és a többváltozós tesztelés között

Koncepcionálisan a két technika hasonló, de vannak döntő különbségek. Mindenekelőtt a forgalmi követelmények különböznek. Mint említettem, a tesztelendő kombinációk száma exponenciálisan nő a többváltozós tesztelésnél. Egy A/B tesztben három vagy négy változatot tesztelhet, egy többváltozós tesztben pedig több tíz vagy több száz változatot. Nyilvánvaló tehát, hogy rengeteg forgalomra – és időre – van szükség ahhoz, hogy értelmes eredményekre jussunk.

Ha például három szakasza van, mindegyikben három variációval, akkor a kombinációk száma 27 lesz. Ha hozzáadunk egy újabb három variációval rendelkező szakaszt, akkor a kombinációk száma 81-re ugrik. Ha értelmes eredményeket szeretne, nem adhat hozzá folyamatosan szakaszokat a teszthez. Legyen szelektív. Jó szabály, hogy a kombinációk teljes számát legfeljebb 25-re korlátozza.

A/B tesztelést nagyszabású változtatásokhoz használja, nem a meglévő tervek finomítására vagy optimalizálására. Kép: Meet the Chumbeques

Egy másik különbség abban van, hogy hogyan használják ezeket a technikákat. Az A/B tesztelés általában a nagy, radikális változtatásokhoz van fenntartva (például egy landing page teljes megváltoztatásához vagy két különböző ajánlat megjelenítéséhez). A többváltozós tesztelést egy meglévő design finomítására és optimalizálására használják. A matematikában jártasak számára az A/B tesztelés a globális optimumra való optimalizálásra szolgál, míg a többváltozós tesztelés a helyi optimumra való optimalizálásra.

A többváltozós tesztelés egyik előnye az A/B osztott teszteléssel szemben, hogy meg tudja mondani, hogy az oldal melyik része befolyásolja leginkább a konverziós célokat. Tegyük fel, hogy a landing page címsorát, szövegét és képét teszteli. Honnan tudod, hogy melyik résznek van a legnagyobb hatása? A legtöbb többváltozós tesztelési eszköz egy “hatásfaktornak” nevezett mérőszámot ad a jelentéseiben, amelyből megtudhatja, hogy mely részek befolyásolják a konverziós arányt, és melyek nem. Ezt az információt nem kapja meg az A/B tesztelésből, mivel az összes szakasz egy variációba van összevonva.

A többváltozós tesztek típusai

A többváltozós teszteknek (MVT) több típusa is létezik:

Teljes faktoriális tesztelésEz az a fajta, amelyre az emberek általában utalnak, amikor a többváltozós tesztelésről beszélnek. Ezzel a módszerrel az ember egyenlően osztja el a webhely forgalmát az összes kombináció között. Ha 16 kombináció van, mindegyik az összes webhelyforgalom egyhatodát kapja. Mivel minden kombináció ugyanannyi forgalmat kap, ez a módszer biztosítja az összes szükséges adatot annak meghatározásához, hogy melyik kombináció és melyik szakasz teljesített a legjobban. Lehet, hogy felfedezi, hogy egy bizonyos kép nem volt hatással a konverziós arányra, míg a főcím volt a legbefolyásosabb. Mivel a teljes faktoriális módszer nem tesz feltevéseket a statisztikával vagy a tesztelés matematikájával kapcsolatban, ezt ajánlom a többváltozós teszteléshez.

Feljegyezze és hasonlítsa össze az egyes tesztelt változatok eredő forgalmát. Kép: ItoWorld

Parciális vagy tört faktoriális tesztelésMint a neve is mutatja, ennél a módszernél az összes kombinációnak csak egy töredéke van kitéve a weboldal forgalmának. A ki nem tett kombinációk konverziós rátájára a tesztbe bevont kombinációkból következtetünk. Például, ha 16 kombináció van, akkor a forgalom csak nyolc kombináció között oszlik meg. A fennmaradó nyolc esetében nem kapunk konverziós adatokat, ezért a betekintés érdekében (néhány feltételezéssel) díszes matematikához kell folyamodnunk. Nyilvánvaló okokból nem ajánlom ezt a módszert: bár a részleges faktoriális teszteléshez kevesebb forgalomra van szükség, a módszer túl sok feltételezést kényszerít ki. Bármilyen fejlett is a matematika, a kemény adatok mindig jobbak, mint a következtetés.

Taguchi-tesztelésEz a legezoterikusabb módszer az összes közül. Egy gyors Google-keresés során rengeteg olyan eszközt találunk, amelyek azt állítják, hogy a Taguchi-teszteléssel drasztikusan csökkenthető a tesztelési idő és a forgalmi követelmények. Egyesek talán nem értenek egyet, de szerintem a Taguchi-módszer egy kicsit szemfényvesztés; ez egy heurisztikákból álló készlet, nem pedig elméletileg megalapozott módszer. Eredetileg a feldolgozóiparban használták, ahol konkrét feltevéseket tettek annak érdekében, hogy csökkentsék a minőségbiztosításhoz és más kísérletekhez tesztelendő kombinációk számát. Ezek a feltételezések nem alkalmazhatók az online tesztelésre, így nem kell Taguchi-tesztelést végeznie. Maradjon a többi módszernél.

Do’s And Don’ts

Több száz többváltozós tesztet figyeltem meg, és sok embert láttam ugyanazokat a hibákat elkövetni. Íme néhány gyakorlati tanács, közvetlenül a tapasztalataimból.

Nem szabad

• Ne tartalmazzon sok szakaszt a teszt. Minden egyes szakasz, amit hozzáadsz, gyakorlatilag megduplázza a tesztelendő kombinációk számát. Ha például egy főcímet és egy képet tesztel, akkor összesen négy kombináció áll rendelkezésre (2 × 2). Ha egy gombot is hozzáad a teszthez, akkor hirtelen nyolc kombinációt kell tesztelnie (2 × 2 × 2). Minél több kombináció, annál több forgalomra lesz szükséged ahhoz, hogy jelentős eredményeket érj el.

Megoldások

• Tekintsd meg az összes kombináció előnézetét! A többváltozós tesztelés során egy szakasz (kép, főcím, gomb stb.) variációit kombinálják, hogy oldalváltozatokat hozzanak létre. Az egyik kombináció lehet, hogy furcsán néz ki, vagy ami még rosszabb, logikátlan vagy összeegyeztethetetlen. Az egyik kombináció például összeállíthat egy “15 $ kedvezmény” feliratú főcímet és egy “Ingyenes előfizetés” feliratú gombot. Ez a két üzenet összeegyeztethetetlen. Az összeférhetetlenségeket már az előnézeti fázisban észlelje és távolítsa el.
• Döntse el, mely részek érdemesek leginkább arra, hogy bekerüljenek a tesztbe… Egy többváltozós tesztben nem minden szakasznak lesz egyforma hatása a konverziós arányra. Ha például tartalmaz egy főcímet, egy cselekvésre hívó gombot és egy láblécet, akkor rájöhet, hogy a lábléc variációinak kevés hatása van, a főcím és a cselekvésre hívás variációi pedig nyerő kombinációkat eredményeznek. Egy erőteljes, szekcióspecifikus jelentést kap. Az alábbiakban egy mintajelentés látható a Visual Website Optimizer programból. Vegye észre, hogy a gombnak nagyobb hatása van (91%), mint a főcímnek (65%):
• Becsülje meg a jelentős eredményekhez szükséges forgalmat… A tesztelés előtt szerezzen világos képet arról, hogy mekkora forgalomra van szüksége ahhoz, hogy statisztikailag szignifikáns eredményeket kapjon. Láttam már olyan embereket, akik több tíz szekciót adtak hozzá egy olyan oldalhoz, amely csak 100 látogatót kap naponta. Egy ilyen teszt jelentős eredményei csak hónapok múlva gyűlnének össze. Javaslom, hogy használjon egy kalkulátort, például ezt az A/B osztott és többváltozós tesztelési időtartam-kalkulátort, hogy megbecsülje, mennyi forgalomra lesz szüksége a tesztjéhez. Ha ez több, mint ami elfogadható, csökkentsünk néhány szakaszt.

Egyéni esettanulmányok

Egy csomó A/B tesztelési esettanulmány található a weben, de sajnos a többváltozós tesztelési esettanulmányok megtalálása még mindig nehézkes. Ezért átfésültem az internetet, és összeállítottam a relevánsakat.

Szoftverletöltési esettanulmány: a letöltések 60%-kal nőttekEz az egyik többváltozós teszt, amelyet a főcímek és linkek különböző verzióinak összehasonlítására végeztem. Végül az egyik variáció több mint 60%-os növekedést eredményezett a letöltések számában.

Microsoft többváltozós tesztelési esettanulmányEz a bemutató részletezi a weboldalon tesztelt variációkat és a végső győztest.

SiteSpect esettanulmányokEz az oldal egy tucat multivariáns tesztelési esettanulmányt mutat be nagyvállalatokról, amelyek multivariáns tesztelést és viselkedéses célzást alkalmaznak webhelyeik optimalizálására.

Maxymiser esettanulmányokMég egy sor multivariáns tesztelési esettanulmány.

Look Inside a 1,024-Recipe Multivariate ExperimentYouTube egy gigantikus multivariáns tesztet végzett 2009-ben. Megengedheti magának, hogy több mint ezer kombinációval végezzen teszteket, mivel elegendő forgalommal rendelkezik.

E-mail hírlevél többváltozós teszteléseEgy ügynökség az e-mail hírlevelének call-to-action gombjának színét és szövegét tesztelte. A legjobb gombnak volt a legmagasabb CTR-je: 60%.

Multivariate Testing Tools And Resources

Tools

Google Website OptimizerA Google ingyenes alapszintű multivariate tesztelési eszköze. Nagyszerű, ha tesztelni szeretné a vizet, mielőtt pénzt fektetne a többváltozós tesztelésbe. A hátránya? A weboldal különböző szakaszait kell megjelölnie JavaScript segítségével, ami nehézkes lehet. Emellett hajlamos a hibázásra, és arra kényszeríti, hogy másokra (például a technológiai osztályra) hagyatkozzon a végrehajtásban.

Visual Website Optimizer (Jogi nyilatkozat: én vagyok ennek az eszköznek a fejlesztője)Ennek a fizetős eszköznek a fő előnye, hogy az oldal különböző szakaszainak kiválasztásával vizuálisan, egy WYSIWYG-szerkesztőben hozhat létre többváltozós tesztet. Ezután lefuttathatja a tesztet anélkül, hogy a szakaszokat külön-külön meg kellene jelölnie (bár egy kódrészletre szükség van a fejlécben). Az eszköz tartalmaz hőtérkép és kattintási térkép jelentéseket.

WhichMVTA weboldal, amely felhasználói értékeléseket tesz közzé a piacon elérhető összes többváltozós tesztelési eszközről. Ha többváltozós tesztelési eszközt tervez bevezetni a szervezetébe, végezzen kutatást ezen a weboldalon.

Vállalati tesztelési eszközökOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize és SiteSpect.

Források

Expert Guide to Multivariate Testing Success, írta Jonathan MendezA többváltozós tesztelés különböző aspektusait részletező blogbejegyzések sorozata.

Fail Faster With Multivariate Testing (PDF)Egy kiváló ingyenes mini-útmutató a többváltozós teszteléshez.

Online Testing Vendor LandscapeA Forrester kereskedelmi jelentése, amely összehasonlítja a különböző tesztelési szolgáltatókat.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationEz a cikk a konverziós ráta optimalizálásával kapcsolatos ötleteket tárgyalja különböző esettanulmányokon keresztül részletezve.

Az alábbi kapcsolódó cikkek érdekelhetik:

• Ultimate Guide to A/B Testing
• Getting Started With E-Commerce: A lehetőségek az online értékesítés során
• Javítsa az e-kereskedelmi designt briliáns termékfotókkal
• A 3 részes sorozatunk “A konverziós arányok optimalizálása”.

(al)