W testach wielowariantowych, strona internetowa jest traktowana jako kombinacja elementów (w tym nagłówków, obrazów, przycisków i tekstu), które wpływają na współczynnik konwersji. Zasadniczo, rozkładasz stronę internetową na odrębne jednostki i tworzysz wariacje tych jednostek. Na przykład, jeśli Twoja strona składa się z nagłówka, obrazka i towarzyszącego mu tekstu, to tworzysz wariacje dla każdego z nich. Aby zilustrować przykład, załóżmy, że tworzysz następujące wariacje:

• Nagłówek: nagłówek 1 i nagłówek 2
• Tekst: tekst 1 i tekst 2
• Obraz: obraz 1 i obraz 2

Powyższy scenariusz ma trzy zmienne (nagłówek, tekst i obraz), każda z dwoma wersjami. W teście wielowariantowym, Twoim celem jest sprawdzenie, która kombinacja tych wersji osiąga najwyższy współczynnik konwersji. Przez kombinacje rozumiem jedną z ośmiu (2 × 2 × 2) wersji strony internetowej, którą otrzymamy, gdy połączymy warianty sekcji:

• Headline 1 + Tekst 1 + Obraz 1
• Headline 1 + Tekst 1 + Obraz 2
• Headline 1 + Tekst 2 + Obraz 1
• Headline 1 + Tekst 2 + Obraz 2
• Headline 2 + Tekst 1 + Obraz 1
• Headline 2 + Tekst 1 + Obraz 2
• Headline 2 + Tekst 2 + Obraz 1
• Headline 2 + Tekst 2 + Obraz 2

W testach wielowariantowych, rozdzielasz ruch pomiędzy te osiem różnych wersji strony i sprawdzasz, która kombinacja daje najwyższy współczynnik konwersji – podobnie jak w testach A/B, gdzie rozdzielasz ruch pomiędzy dwie wersje strony.

Getting Started With Multivariate Testing

Aby stworzyć swój pierwszy test wielowariantowy, najpierw wybierz narzędzie lub framework, który wspiera testy wielowariantowe. Możesz użyć jednego z narzędzi wymienionych w sekcji „Narzędzia” na końcu tego artykułu. Pamiętaj, że nie wszystkie narzędzia do testowania A/B wspierają testowanie wielowariantowe, więc upewnij się, że twoje wybrane narzędzie na to pozwala.

Gdy już zdecydowałeś, którego narzędzia użyć, wybierz sekcje, które chcesz włączyć do testu. Jak wiesz, strona WWW może zawierać dziesiątki lub setki różnych sekcji (stopka, nagłówek, pasek boczny, formularz logowania, przyciski nawigacyjne, itd.) Nie możesz uwzględnić w teście wszystkich tych sekcji; tworzenie wariantów dla wszystkich z nich byłoby ogromnym zadaniem (a jak przeczytasz poniżej, wymagania dotyczące ruchu w teście będą rosły wykładniczo z każdą nową sekcją). Zawęź go do kilku sekcji strony, które Twoim zdaniem są najważniejsze dla celu konwersji.

Następujące części strony (wymienione w kolejności ważności) są zazwyczaj uwzględniane w testach wielowariantowych:

• Nagłówek i nagłówek,
• Przyciski call-to-action (kolor, tekst, rozmiar, umiejscowienie),
• Kopia tekstu (treść, długość, rozmiar),
• Obraz (typ, umiejscowienie, rozmiar),
• Długość formularza.

Różnica pomiędzy testami A/B i testami wielowariantowymi

Koncepcyjnie, te dwie techniki są podobne, ale istnieją zasadnicze różnice. Po pierwsze i najważniejsze, wymagania dotyczące ruchu są różne. Jak już wspomniałem, liczba kombinacji, które trzeba przetestować rośnie wykładniczo w teście wielomianowym. Możesz przetestować trzy lub cztery wersje w teście A/B, a dziesiątki lub setki wersji w teście wielowariantowym. Najwyraźniej więc, dużo ruchu – i czasu – jest wymagane, aby dojść do znaczących wyników.

Na przykład, jeśli masz trzy sekcje z trzema wariantami każda, liczba kombinacji wynosi 27. Dodaj kolejną sekcję z trzema wariantami, a całkowita liczba kombinacji skoczy do 81. Jeśli chcesz uzyskać sensowne wyniki, nie możesz ciągle dodawać sekcji do testu. Bądź selektywny. Dobrą zasadą jest ograniczenie całkowitej liczby kombinacji do 25 lub mniej.

Używaj testów A/B do zmian na dużą skalę, nie do udoskonalania lub optymalizacji istniejących projektów. Image by Meet the Chumbeques

Inna różnica polega na sposobie wykorzystania tych technik. Testy A/B są zazwyczaj zarezerwowane dla dużych, radykalnych zmian (takich jak całkowita zmiana strony docelowej lub wyświetlanie dwóch różnych ofert). Testy wielowariantowe są używane do udoskonalania i optymalizacji istniejącego projektu. Dla osób uzdolnionych matematycznie, testy A/B są używane do optymalizacji dla globalnego optimum, podczas gdy testy wielowariantowe są używane do optymalizacji dla lokalnego optimum.

Jedną z zalet testów wielowariantowych w porównaniu z testami A/B jest to, że mogą one powiedzieć Ci, która część strony ma największy wpływ na cele konwersji. Powiedzmy, że testujesz nagłówek, tekst i obrazek na swojej stronie docelowej. Skąd wiesz, która część ma największy wpływ? Większość narzędzi do testów wielowariantowych podaje w swoich raportach metrykę, zwaną „współczynnikiem wpływu”, która mówi, które sekcje mają wpływ na współczynnik konwersji, a które nie. Nie otrzymasz tej informacji z testów A/B, ponieważ wszystkie sekcje są wrzucane do jednej wariacji.

Types Of Multivariate Tests

Based on how you distribute traffic to your combinations, there are several types of multivariate tests (MVT):

Full factorial testingThis is the kind people generally refer to when they talk about multivariate testing. W tej metodzie, jeden dystrybuuje ruch na stronie internetowej równo między wszystkimi kombinacjami. Jeśli istnieje 16 kombinacji, każda z nich otrzyma jedną szesnastą całego ruchu na stronie internetowej. Ponieważ każda kombinacja dostaje taką samą ilość ruchu, metoda ta dostarcza wszystkich danych potrzebnych do określenia, która konkretna kombinacja i sekcja wypadła najlepiej. Możesz odkryć, że pewien obraz nie miał żadnego wpływu na współczynnik konwersji, podczas gdy nagłówek był najbardziej wpływowy. Ponieważ metoda pełnoczynnikowa nie czyni żadnych założeń w odniesieniu do statystyki lub matematyki testowania, polecam ją do testów wielowariantowych.

Zarejestruj i porównaj wynikowy ruch dla każdej testowanej wersji. Image by ItoWorld

Testy czynnikowe częściowe lub ułamkoweJak sama nazwa wskazuje, w tej metodzie tylko ułamek wszystkich kombinacji jest wystawiony na działanie ruchu na stronie. Współczynnik konwersji dla nieeksponowanych kombinacji jest wnioskowany na podstawie tych, które zostały uwzględnione w teście. Przykładowo, jeśli jest 16 kombinacji, to ruch jest dzielony tylko pomiędzy osiem z nich. Dla pozostałych ośmiu nie otrzymujemy danych o konwersji, a więc musimy uciec się do wymyślnej matematyki (z kilkoma założeniami), aby uzyskać wgląd w sytuację. Z oczywistych powodów nie polecam tej metody: nawet jeśli jest mniej wymagań dotyczących ruchu w przypadku częściowych testów czynnikowych, metoda ta wymusza zbyt wiele założeń. Nie ważne jak zaawansowana jest matematyka, twarde dane są zawsze lepsze niż wnioskowanie.

Testowanie TaguchiTo jest najbardziej ezoteryczna metoda ze wszystkich. Szybkie wyszukiwanie w Google ujawnia wiele narzędzi twierdzących, że można drastycznie skrócić czas testowania i wymagania dotyczące ruchu dzięki testom Taguchi. Niektórzy mogą się z tym nie zgodzić, ale uważam, że metoda Taguchi jest trochę fikcyjna; jest to zestaw heurystyk, a nie teoretycznie uzasadniona metoda. Pierwotnie była używana w przemyśle produkcyjnym, gdzie przyjęto określone założenia w celu zmniejszenia liczby kombinacji, które muszą być przetestowane dla zapewnienia jakości i innych eksperymentów. Założenia te nie mają zastosowania do testów online, więc nie powinieneś potrzebować żadnych testów Taguchi. Trzymaj się innych metod.

Do’s And Don’ts

Obserwowałem setki testów wielorakich i widziałem wielu ludzi popełniających te same błędy. Oto kilka praktycznych porad, bezpośrednio z mojego doświadczenia.

Don’ts

• Nie włączaj do testu wielu sekcji. Każda sekcja, którą dodajesz skutecznie podwaja liczbę kombinacji do przetestowania. Na przykład, jeśli testujesz nagłówek i obrazek, to w sumie są cztery kombinacje (2 × 2). Jeśli dodasz do testu przycisk, nagle pojawi się osiem kombinacji do przetestowania (2 × 2 × 2). Im więcej kombinacji, tym więcej ruchu będziesz potrzebował, aby uzyskać znaczące wyniki.

Do’s

• Do preview all combinations… W testach wielowariantowych, warianty sekcji (obraz, nagłówek, przycisk, itp.) są łączone w celu stworzenia wariantów strony. Jedna z kombinacji może być dziwnie wyglądająca lub, co gorsza, nielogiczna lub niekompatybilna. Na przykład, jedna kombinacja może połączyć nagłówek, który mówi „15 dolarów zniżki” i przycisk, który mówi „Darmowa subskrypcja.” Te dwie wiadomości są niekompatybilne. Wykryj i usuń niezgodności na etapie podglądu.
• Zdecyduj, które sekcje są najbardziej warte włączenia do testu. W teście wielowariantowym, nie wszystkie sekcje będą miały jednakowy wpływ na współczynnik konwersji. Na przykład, jeśli uwzględnisz nagłówek, przycisk wezwania do działania i stopkę, możesz zdać sobie sprawę, że warianty stopki mają niewielki wpływ, a warianty nagłówka i wezwania do działania dają zwycięskie kombinacje. Otrzymasz potężny raport specyficzny dla sekcji. Poniżej znajduje się przykładowy raport z Visual Website Optimizer. Zauważ, że przycisk ma większy wpływ (91%) niż nagłówek (65%):
• Oszacuj ruch potrzebny do uzyskania znaczących rezultatów… Przed rozpoczęciem testów, zorientuj się, jak duży ruch będzie potrzebny, aby uzyskać statystycznie istotne wyniki. Widziałem ludzi, którzy dodawali dziesiątki sekcji do strony, która odwiedzana jest przez zaledwie 100 osób dziennie. Uzyskanie znaczących wyników z takiego testu zajęłoby miesiące. Sugeruję użycie kalkulatora, takiego jak ten kalkulator czasu trwania testów A/B split i multivariate, aby oszacować, jak dużo ruchu będzie wymagał Twój test. Jeżeli jest to więcej niż to co jest akceptowalne, zmniejsz niektóre sekcje.

Studia przypadków

Wiele studiów przypadków testów A/B jest w sieci, ale niestety, znalezienie studiów przypadków testów wielorakich jest nadal trudne. Tak więc, przeszukałem Internet i zebrałem odpowiednie z nich.

Software Download Case Study: liczba pobrań wzrosła o 60%To jest jeden test wielowariantowy, który przeprowadziłem w celu porównania różnych wersji nagłówków i linków. W końcu, jeden z wariantów spowodował wzrost pobrań o ponad 60%.

Badanie przypadku testów wielowariantowych MicrosoftuTa prezentacja przedstawia szczegóły wariantów, które były testowane dla tej strony i ostatecznego zwycięzcy.

SiteSpect Case StudiesTa strona prezentuje kilkanaście studiów przypadku testów wielowariantowych dużych firm wykorzystujących testy wielowariantowe i targetowanie behawioralne do optymalizacji swoich stron.

Maxymiser Case StudiesKolejny zestaw studiów przypadku testów wielowariantowych.

Look Inside a 1,024-Recipe Multivariate ExperimentYouTube przeprowadził gigantyczny test wielowariantowy w 2009 roku. Może sobie pozwolić na testy z ponad tysiącem kombinacji, ponieważ ma wystarczający ruch.

Testy wielowariantowe biuletynu e-mailowegoAgencja testowała kolor i tekst na przycisku call-to-action w swoim biuletynie e-mailowym. Najlepszy przycisk miał najwyższy CTR: 60%.

Narzędzia i zasoby do testów wielowariantowych

Narzędzia

Google Website OptimizerDarmowe podstawowe narzędzie do testów wielowariantowych Google. Jest świetne, jeśli chcesz przetestować wody przed zainwestowaniem pieniędzy w testy wielorakie. Minusy? Będziesz musiał oznaczyć różne sekcje strony internetowej za pomocą JavaScript, co może być uciążliwe. Jest to również podatne na błędy i zmusza cię do polegania na innych (jak dział technologii) do wdrożenia.

Visual Website Optimizer (Disclaimer: Jestem twórcą tego narzędzia)Główną zaletą tego płatnego narzędzia jest to, że możesz stworzyć test wieloraki wizualnie w edytorze WYSIWYG, wybierając różne sekcje strony. Następnie możesz uruchomić test bez konieczności indywidualnego tagowania sekcji (chociaż wymagany jest wycinek kodu w nagłówku). Narzędzie zawiera raporty map cieplnych i map kliknięć.

WhichMVTA strona internetowa, która publikuje recenzje użytkowników wszystkich narzędzi do testów wielowymiarowych dostępnych na rynku. Jeśli planujesz zaadoptować narzędzie do testów wielowariantowych dla swojej organizacji, przeprowadź swoje badania na tej stronie.

Narzędzia do testów dla przedsiębiorstwOmniture’s Test&Target, Autonomy’s Optimost, Vertster, Webtrends’ Optimize i SiteSpect.

Źródła

Expert Guide to Multivariate Testing Success, by Jonathan MendezSeria postów na blogu szczegółowo opisujących różne aspekty testów wielowariantowych.

Fail Faster With Multivariate Testing (PDF)Doskonały darmowy mini-przewodnik po testach wielowariantowych.

Online Testing Vendor LandscapeRaport Forrestera, który porównuje różnych dostawców testów.

Lessons Learned from 21 Case Studies in Conversion Rate OptimizationTen artykuł omawia pomysły na optymalizację współczynnika konwersji wyszczególnione poprzez różne studia przypadków.

Możesz być zainteresowany następującymi powiązanymi artykułami:

• Ultimate Guide to A/B Testing
• Getting Started With E-Commerce: Your Options When Selling Online
• Improve Your E-Commerce Design With Brilliant Product Photos
• Our 3-part-series „Optimizing Conversion Rates”.

(al)

.