• O autorovi
• Začínáme s vícerozměrným testováním
• Rozdíl mezi A/B testováním a vícerozměrným testováním
• Typy vícerozměrných testů
• Do’s And Don’ts
• Nedělejte to
• Do’s
• Případové studie
• Nástroje a zdroje pro multivariantní testování
• Nástroje
• Zdroje

O autorovi

Paras Chopra je zakladatelem Visual Website Optimizer, nejjednoduššího nástroje pro A/B testování na světě. Používají ho tisíce společností po celém světě ve více než 75 zemích, …Více oParas Chopra↬

Vícerozměrném testu se webová stránka považuje za kombinaci prvků (včetně nadpisů, obrázků, tlačítek a textu), které ovlivňují míru konverze. V podstatě rozkládáte webovou stránku na samostatné jednotky a vytváříte varianty těchto jednotek. Pokud se například stránka skládá z titulku, obrázku a doprovodného textu, vytvoříte varianty pro každý z nich. Pro ilustraci příkladu předpokládejme, že vytvoříte následující varianty:

• Titulek: titulek 1 a titulek 2
• Text: text 1 a text 2
• Obrázek: obrázek 1 a obrázek 2

Výše uvedený scénář má tři proměnné (titulek, text a obrázek), z nichž každá má dvě verze. Ve vícerozměrném testu je vaším cílem zjistit, která kombinace těchto verzí dosáhne nejvyššího konverzního poměru. Kombinací myslím jednu z osmi (2 × 2 × 2) verzí webové stránky, které nám vzniknou, když zkombinujeme varianty jednotlivých částí:

• Hlavička 1 + Text 1 + Obrázek 1
• Hlavička 1 + Text 1 + Obrázek 2
• Hlavička 1 + Text 2 + Obrázek 1
• Hlavička 1 + Text 2 + Obrázek 2
• Hlavní stránka 2 + Text 1 + Obrázek 1
• Headline 2 + Text 1 + Obrázek 2
• Headline 2 + Text 2 + Obrázek 1
• Headline 2 + Text 2 + Obrázek 2

Ve vícerozměrném testování, rozdělujete návštěvnost mezi těchto osm různých verzí stránky a zjišťujete, která kombinace přináší nejvyšší konverzní poměr – stejně jako při A/B testování, kdy rozdělujete návštěvnost mezi dvě verze stránky.

Začínáme s vícerozměrným testováním

Chcete-li vytvořit svůj první vícerozměrný test, vyberte si nejprve nástroj nebo framework, který vícerozměrné testování podporuje. Můžete použít některý z nástrojů uvedených v části „Nástroje“ na konci tohoto článku. Upozorňujeme, že ne všechny nástroje pro A/B testování podporují vícerozměrné testování, proto se ujistěte, že to vámi zvolený nástroj umožňuje.

Jakmile se rozhodnete, který nástroj použijete, vyberte, které části do testu zahrnete. Jak víte, webová stránka může obsahovat desítky nebo stovky různých sekcí (patička, titulek, postranní panel, přihlašovací formulář, navigační tlačítka atd.) Do testu nemůžete zahrnout všechny tyto sekce; vytvořit varianty pro všechny z nich by byl obrovský úkol (a jak se dočtete dále, nároky na návštěvnost testu s každou novou sekcí exponenciálně rostou). Zúžte jej na několik sekcí stránky, které jsou podle vás pro cíl konverze nejdůležitější.

Následující části stránky (uvedené v pořadí podle důležitosti) jsou obvykle zahrnuty do vícerozměrného testu:

• Titul a nadpis,
• Tlačítka výzvy k akci (barva, text, velikost, umístění),
• Kopie textu (obsah, délka, velikost),
• Obrázek (typ, umístění, velikost),
• Délka formuláře.

Rozdíl mezi A/B testováním a vícerozměrným testováním

Koncepčně jsou si obě techniky podobné, ale existují zásadní rozdíly. Především se liší požadavky na provoz. Jak jsem již řekl, počet kombinací, které je třeba otestovat, roste u vícerozměrného testu exponenciálně. V A/B testu můžete testovat tři nebo čtyři verze, v multivariačním testu desítky nebo stovky verzí. Je tedy zřejmé, že k dosažení smysluplných výsledků je zapotřebí hodně provozu – a času.

Pokud máte například tři sekce, každou se třemi variantami, počet kombinací je 27. V případě, že máte tři sekce se třemi variantami, je počet kombinací vyšší než počet kombinací. Přidejte další sekci se třemi variantami a celkový počet kombinací vyskočí na 81. Pokud chcete získat smysluplné výsledky, nemůžete do testu neustále přidávat sekce. Buďte selektivní. Dobrým pravidlem je omezit celkový počet kombinací na 25 nebo méně.

Testování A/B používejte pro rozsáhlé změny, nikoli pro zdokonalování nebo optimalizaci stávajících návrhů. Obrázek: Meet the Chumbeques

Další rozdíl je ve způsobu použití těchto technik. A/B testování je obvykle vyhrazeno pro velké radikální změny (například kompletní změnu vstupní stránky nebo zobrazení dvou různých nabídek). Multivariační testování se používá ke zdokonalení a optimalizaci stávajícího návrhu. Pro matematiky: A/B testování se používá k optimalizaci pro globální optimum, zatímco multivariační testování se používá k optimalizaci pro lokální optimum.

Jednou z výhod multivariačního testování oproti A/B split testování je, že vám může říct, která část stránky má největší vliv na cíle konverze. Řekněme, že testujete titulek, text a obrázek na vstupní stránce. Jak zjistíte, která část má největší vliv? Většina nástrojů pro multivariantní testování vám ve svých přehledech poskytne metriku zvanou „faktor dopadu“, která vám řekne, které části ovlivňují míru konverze a které ne. Tuto informaci z A/B testování nezískáte, protože všechny sekce jsou shrnuty do jedné varianty.

Typy vícerozměrných testů

Podle toho, jak rozdělujete návštěvnost svých kombinací, existuje několik typů vícerozměrných testů (MVT):

Plné faktorové testováníTento typ mají lidé obvykle na mysli, když mluví o vícerozměrném testování. Při této metodě se rozděluje návštěvnost webu rovnoměrně mezi všechny kombinace. Pokud existuje 16 kombinací, každá z nich obdrží jednu šestnáctinu veškeré návštěvnosti webu. Protože každá kombinace získá stejné množství návštěvnosti, poskytuje tato metoda všechna data potřebná k určení, která konkrétní kombinace a část se osvědčila nejlépe. Můžete zjistit, že určitý obrázek neměl na konverzní poměr žádný vliv, zatímco největší vliv měl titulek. Protože úplná faktorová metoda neklade žádné předpoklady s ohledem na statistiku nebo matematiku testování, doporučuji ji pro vícerozměrné testování.

Zaznamenejte a porovnejte výslednou návštěvnost pro každou testovanou verzi. Obrázek pro ItoWorld

Částečné neboli frakční faktorové testováníJak název napovídá, při této metodě je návštěvnosti webu vystavena pouze část všech kombinací. Konverzní poměr pro nevystavené kombinace je odvozen od těch, které byly do testu zahrnuty. Například pokud existuje 16 kombinací, pak je návštěvnost rozdělena pouze mezi osm z nich. Pro zbývajících osm nezískáme žádné údaje o konverzích, a proto se musíme uchýlit k efektní matematice (s několika předpoklady), abychom získali přehled. Ze zřejmých důvodů tuto metodu nedoporučuji: i když je pro částečné faktorové testování méně požadavků na návštěvnost, metoda si vynucuje příliš mnoho předpokladů. Bez ohledu na to, jak pokročilá je matematika, tvrdá data jsou vždy lepší než závěry.

Taguchiho testováníJedná se o nejesoteričtější metodu ze všech. Rychlé vyhledávání na Googlu odhalí spoustu nástrojů, které tvrdí, že pomocí Taguchiho testování drasticky snížíte dobu testování a nároky na provoz. Někdo může nesouhlasit, ale já se domnívám, že Taguchiho metoda je tak trochu podvod; je to soubor heuristik, nikoli teoreticky podložená metoda. Původně se používala ve výrobním průmyslu, kde se vycházelo ze specifických předpokladů, aby se snížil počet kombinací, které je třeba testovat pro zajištění kvality a další experimenty. Tyto předpoklady nejsou použitelné pro online testování, takže byste žádné Taguchiho testování neměli potřebovat. Držte se jiných metod.

Do’s And Don’ts

Pozoroval jsem stovky vícerozměrných testů a viděl jsem mnoho lidí dělat stejné chyby. Zde je několik praktických rad přímo z mé zkušenosti.

Nedělejte to

• Nezahrnujte do testu mnoho oddílů. Každý přidaný oddíl efektivně zdvojnásobuje počet kombinací k testování. Pokud například testujete titulek a obrázek, pak existují celkem čtyři kombinace (2 × 2). Pokud do testu přidáte tlačítko, je najednou k testování osm kombinací (2 × 2 × 2). Čím více kombinací, tím větší návštěvnost budete potřebovat, abyste dosáhli významných výsledků.

Do’s

• Proveďte náhled všech kombinací. Při vícerozměrném testování se varianty části (obrázek, titulek, tlačítko atd.) kombinují a vytvářejí varianty stránky. Jedna z kombinací může vypadat zvláštně, v horším případě nelogicky nebo nekompatibilně. Například jedna kombinace může dát dohromady titulek s nápisem „Sleva 15 dolarů“ a tlačítko s nápisem „Předplatné zdarma“. Tato dvě sdělení jsou neslučitelná. Zjistěte a odstraňte nekompatibilitu již ve fázi náhledu.
• Rozhodněte se, které sekce si nejvíce zaslouží zařazení do testu a.. Ve vícerozměrném testu nebudou mít všechny sekce stejný vliv na konverzní poměr. Pokud například zahrnete titulek, tlačítko s výzvou k akci a patičku, možná zjistíte, že varianty patičky mají malý vliv a že varianty titulku a výzvy k akci vytvářejí vítězné kombinace. Získáte tak výkonnou zprávu pro jednotlivé sekce. Níže je ukázka sestavy z nástroje Visual Website Optimizer. Všimněte si, že tlačítko má větší dopad (91 %) než titulek (65 %):
• Odhadněte návštěvnost potřebnou k dosažení významných výsledků, a.. Před testováním si udělejte jasnou představu o tom, jak velkou návštěvnost budete potřebovat, abyste dosáhli statisticky významných výsledků. Viděl jsem lidi, kteří přidávali desítky sekcí na stránku, kterou denně navštíví jen 100 návštěvníků. Významné výsledky takového testu by se hromadily měsíce. Doporučuji použít kalkulačku, například tuto kalkulačku délky trvání A/B split a multivariačního testování, abyste odhadli, jak velkou návštěvnost bude váš test potřebovat. Pokud je to více, než je přijatelné, zredukujte některé oddíly.

Případové studie

Na webu je spousta případových studií A/B testování, ale bohužel najít případové studie vícerozměrného testování je stále obtížné. Prohledal jsem tedy internet a sestavil ty relevantní.

Případová studie stahování softwaru: počet stažení se zvýšil o 60 %To je jeden multivariační test, který jsem provedl za účelem porovnání různých verzí nadpisů a odkazů. Nakonec jedna z variant vedla ke zvýšení počtu stažení o více než 60 %.

Případová studie vícerozměrného testování společnosti MicrosoftTato prezentace podrobně popisuje varianty, které byly testovány pro tento web, a konečného vítěze.

Případové studie společnosti SiteSpectTato stránka představuje tucet případových studií vícerozměrného testování velkých společností, které používají vícerozměrné testování a behaviorální cílení k optimalizaci svých webů.

Případové studie společnosti MaxymiserDalší sada případových studií vícerozměrného testování.

Pohled dovnitř vícerozměrného experimentu s 1024 receptyV roce 2009 provedla společnost YouTube obří vícerozměrný test. Může si dovolit provést testy s více než tisícem kombinací, protože má dostatečnou návštěvnost.

Multivariační testování e-mailového newsletteruAgentura testovala barvu a text na tlačítku výzvy k akci svého e-mailového newsletteru. Nejlepší tlačítko mělo nejvyšší CTR: 60 %.

Nástroje a zdroje pro multivariantní testování

Nástroje

Google Website OptimizerBezplatný základní nástroj pro multivariantní testování od společnosti Google. Je skvělý, pokud chcete otestovat vody předtím, než investujete peníze do multivariačního testování. Nevýhoda? Musíte označit různé části webové stránky pomocí JavaScriptu, což může být těžkopádné. Je také náchylný k chybám a nutí vás spoléhat se při implementaci na ostatní (například na technologické oddělení).

Vizuální optimalizátor webových stránek (Disclaimer: Jsem vývojářem tohoto nástroje)Hlavní výhodou tohoto placeného nástroje je, že můžete vytvořit vícerozměrný test vizuálně v editoru WYSIWYG výběrem různých částí stránky. Test pak můžete spustit, aniž byste museli jednotlivé sekce označovat (i když v záhlaví je vyžadován kousek kódu). Nástroj obsahuje přehledy heat map a map kliknutí.

Webová stránka WhichMVTA, která zveřejňuje uživatelské recenze všech nástrojů pro vícerozměrné testování dostupných na trhu. Pokud plánujete pořídit pro svou organizaci nástroj pro vícerozměrné testování, udělejte si průzkum na tomto webu.

Podnikové testovací nástrojeOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’s Optimize a SiteSpect.

Zdroje

Expert Guide to Multivariate Testing Success, Jonathan MendezSérie příspěvků na blogu, které podrobně popisují různé aspekty vícerozměrného testování.

Fail Faster With Multivariate Testing (PDF)Vynikající bezplatný miniprůvodce vícerozměrným testováním.

Online Testing Vendor LandscapeKomerční zpráva společnosti Forrester, která porovnává různé dodavatele testování.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationTento článek pojednává o nápadech pro optimalizaci konverzního poměru podrobně popsaných prostřednictvím různých případových studií.

Mohly by vás zajímat následující související články:

• Ultimate Guide to A/B Testing
• Začínáme s elektronickým obchodováním:
• Vylepšete design svého e-shopu pomocí skvělých produktových fotografií
• Náš třídílný seriál „Optimalizace konverzních poměrů“.

(al)