3113 0

W poprzedniej części odpowiedzieliśmy na pytania: "co testować?" oraz "jak testować?". W części drugiej odpowiemy na kolejne ważne pytania dotyczące testowania zmian w sklepie internetowym. Zapraszamy do lektury.

Przeczytaj część pierwszą

Czym testować?

Najprościej wpisać do wyszukiwarki frazę „platforma do testów AB”. Obecnie najpopularniejsze narzędzia to: OptimizelyVisual Website Optimizer oraz Marketizator. Każde z nich można przetestować i zweryfikować czy pasuje do indywidualnych wymagań. Nasz zespół najczęściej stosuje Marketizatora, ponieważ jako jedyny posiada możliwość precyzyjnego budowania segmentów użytkowników, którzy będą poddani testom (30 parametrów takich jak, zachowanie w bieżącej sesji, historia odwiedzin, historia zakupowa, UTM, geolokalizacja a nawet warunki pogodowe) oraz zawiera kompletne narzędzie do konstruowania ankiet na stronach sklepu wraz z analizowaniem odpowiedzi.

Kluczem do dokonania wyboru powinna być intuicyjność interfejsu graficznego, przy pomocy którego jesteśmy wstanie wprowadzić dowolne zmiany na stronie sklepu bez potrzeby angażowania webmastera.

Ile różnych testów możemy uruchomić na raz?

Po skonfigurowaniu i uruchomieniu testu, możemy przyglądać się jak wygląda sprzedaż dla grupy kontrolnej, która widzi oryginalną wersję strony (wariant A) oraz grupy poddanej eksperymentowi (wariant B). Jest to oczywiście najprostszy scenariusz, gdzie mamy tylko jeden wariant do przetestowania. Bardziej zaawansowane scenariusze składają się z kilku wariantów w ramach tego samego testu np.: wariant B – zmiana koloru CTA na czerwony, wariant C – zmiana rozmiaru CTA (kolor bez zmian), wariant D – zmiana zarówno koloru jak i rozmiaru CTA. Tym oto sposobem, w ramach jednego testu wielowariantowego ustalimy, który rodzaj zmian ma najlepszy wpływ na końcową konwersję.

O ile w ramach jednego testu możemy tworzyć dowolną liczbę wariantów, to jak poradzić sobie z uruchamianiem kilku testów, badających wpływ zmian na różne strony sklepu? Czy można uruchomiać je jednocześnie, czy też powinniśmy uruchamiać je po kolei – po zakończeniu poprzednich?

To dość trudne pytanie. Jak bowiem interpretować wyniki, jeśli uruchomimy w tym samym czasie na tej samej grupie odbiorców testy strony głównej, karty produktu i koszyka. To trzy niezależne testy (a nie warianty tego samego testu). Jeśli odwiedzający jest poddany każdemu z tych testów, to skąd na końcu będziemy wiedzieć, która zmiana (na której stronie) zadziałała? Niestety nie jesteśmy, dlatego zalecamy w takim wypadku przydzielić ruch i ustawić wyłączność testu:

  • 33,3% odwiedzających poddać testowi na stronie głównej
  • 33,3% odwiedzających poddać testowi na stronie produktu
  • 33,3% odwiedzających poddać testowi na stronie koszyka

Wyłączność zapewni nam obsługę sytuacji, że jeśli odwiedzający zobaczy test dla strony głównej, to nie zobaczy już żadnego innego testu. Dzięki temu będziemy wiedzieli, że tylko ta zmiana miała wpływ na decyzję odwiedzającego na sprzedaż.

Oczywiście w ramach każdego testu mamy grupę kontrolną, która widzi stronę oryginalną i jest punktem odniesienia, czy test jest skuteczny i realizuje postawioną hipotezę.

Kiedy zakończyć test?

Najlepsze praktyki mówią, że aby test był wiarygodny musimy zapewnić spełnienie wszystkich czterech warunków:

  • Liczba odwiedzających: Ustalamy ją na podstawie kalkulatorów (np.: https://www. easycalculation.com/other/ab-testing-calculator. php ). Końcowy wynik jest zależny od obecnego współczynnika konwersji, oczekiwanego wzrostu, liczby wariantów w ramach jednego testu, średniej liczby unikalnych użytkowników na dzień oraz ufności statystycznej, jakiej oczekujemy (im wyższa ufność tym test musi dłużej trwać).
  • Liczba konwersji: Zalecamy osiągnąć minimum 100 konwersji na każdy wariant testu
  • Czas trwania testu: Zalecamy, aby test trwał minimum jeden cykl biznesowy (dla sklepów to jeden tydzień) ponieważ różne dni tygodnia charakteryzują się innym zainteresowaniem i konwersją sprzedaży
  • Ufność statystyczna: To przedział, który informuje nas na ile możemy ufać osiągniętym rezultatom. Absolutne minimum, jakie powinno się stosować to 80%, zaleca się jednak dążyć do osiągnięcia 90% a nawet 95%. Im wyższy poziom chcemy osiągnąć, tym test dłużej test będzie trwał.

zmiany2

Czy zmiana się opłaca?

Podkreślaliśmy już, że testy dla testów nie mają sensu. Najważniejsze jest sprawne ich przeprowadzenie i wyciągnięcie końcowych wniosków – czy hipoteza jest spełniona, czy zmiana pomaga w sprzedaży i o ile np.: jeśli optymalizujemy stronę koszyka, to powinniśmy oczekiwać, że

  • Współczynnik konwersji wzrośnie,
  • Współczynnik zaangażowania spadnie (użytkownik będzie krócej na stronie, boma dokończyć zakupy, a nie błądzić, wracać i szukać pomocy)
  • Średnia wartość koszyka utrzyma się na podobnym poziomie, a najlepiej również wzrośnie.

Co z tego wynika? Jesteśmy w stanie precyzyjnie powiedzieć czy przetestowana zmiana opłaca się wdrażać. Czyli o ile wzrośnie roczny przychód sklepu. Możemy zestawić to z informacja od zespołu (lub firmy) zajmującego się utrzymaniem sklepu – jak kosztowna będzie to zmiana. Innymi słowy unikniemy typowego błędu wprowadzania nowych zmian, które są na pewno konieczne i pomocne, ale dziwnym trafem po ich wprowadzeniu sklep jest tu gdzie był, lub nawet końcowy wynik sprzedażowy jest gorszy niż przed zmianą.

zmiany3

 

analityka webowa

źródło: Mensis.pl nr 24, autor: Piotr Oracz

 

Tagi