Testy A\/B to podstawa optymalizacji konwersji w e-commerce. Brzmi prosto: pokazujesz dw\u00f3m grupom u\u017cytkownik\u00f3w r\u00f3\u017cne wersje strony i sprawdzasz, kt\u00f3ra dzia\u0142a lepiej. Problem w tym, \u017ce wiele firm \u2013 nawet tych z do\u015bwiadczeniem \u2013 pope\u0142nia podstawowe b\u0142\u0119dy statystyczne, kt\u00f3re prowadz\u0105 do fa\u0142szywych wniosk\u00f3w. W efekcie wdra\u017caj\u0105 zmiany, kt\u00f3re w rzeczywisto\u015bci nie dzia\u0142aj\u0105, albo odrzucaj\u0105 te, kt\u00f3re mog\u0142yby przynie\u015b\u0107 zyski.<\/p>\n
W tym artykule poka\u017c\u0119 trzy najcz\u0119stsze pu\u0142apki, kt\u00f3re widz\u0119 w projektach e-commerce. Opieram si\u0119 na realnych przypadkach \u2013 bez teorii, tylko praktyka.<\/p>\n
Pewien sklep z odzie\u017c\u0105 chcia\u0142 przetestowa\u0107 nowy uk\u0142ad karty produktu. Po zaledwie 3 dniach ruchu zobaczyli 15% wzrost konwersji w wariancie B. Entuzjazm by\u0142 ogromny \u2013 wdro\u017cyli zmian\u0119 od razu. Po miesi\u0105cu okaza\u0142o si\u0119, \u017ce konwersja wr\u00f3ci\u0142a do poziomu wyj\u015bciowego. Dlaczego?<\/p>\n
To klasyczny b\u0142\u0105d \u201epeekingu\u201d \u2013 zagl\u0105dania do wynik\u00f3w przed osi\u0105gni\u0119ciem istotno\u015bci statystycznej. W pierwszych dniach r\u00f3\u017cnice s\u0105 cz\u0119sto dzie\u0142em przypadku, zw\u0142aszcza przy ma\u0142ym ruchu. W tym przypadku wariant B trafi\u0142 akurat na segment u\u017cytkownik\u00f3w z wy\u017cszym zamiarem zakupu (np. weekendowy ruch). Po rozszerzeniu testu na pe\u0142ny tydzie\u0144 efekt znikn\u0105\u0142.<\/p>\n
Jak tego unikn\u0105\u0107?<\/strong> Ustal z g\u00f3ry minimaln\u0105 wielko\u015b\u0107 pr\u00f3by i czas trwania testu. Narz\u0119dzia takie jak Optimizely czy Google Optimize pokazuj\u0105 estymowany czas, ale warto doliczy\u0107 zapas. Dla sklep\u00f3w z ma\u0142ym ruchem (poni\u017cej 10 tys. odwiedzin miesi\u0119cznie) testy A\/B cz\u0119sto s\u0105 po prostu niewiarygodne \u2013 lepiej wtedy postawi\u0107 na badania jako\u015bciowe.<\/p>\n Wyobra\u017a sobie, \u017ce testujesz 10 r\u00f3\u017cnych wariant\u00f3w przycisku CTA. Por\u00f3wnujesz ka\u017cdy z kontrol\u0105. Przy poziomie istotno\u015bci 5%, statystycznie jeden z tych wariant\u00f3w wyka\u017ce r\u00f3\u017cnic\u0119 przypadkowo. Nazywa si\u0119 to problemem wielu por\u00f3wna\u0144.<\/p>\n Widzia\u0142em startup SaaS, kt\u00f3ry przetestowa\u0142 jednocze\u015bnie 5 zmian na stronie docelowej: kolor, tekst, obrazek, uk\u0142ad i formularz. Jeden z wariant\u00f3w wypad\u0142 o 20% lepiej. Wdro\u017cyli go. Ruch spad\u0142. Okaza\u0142o si\u0119, \u017ce \u201ezwyci\u0119zca\u201d by\u0142 statystycznym przypadkiem \u2013 przy 5 por\u00f3wnaniach prawdopodobie\u0144stwo fa\u0142szywie pozytywnego wyniku ro\u015bnie dramatycznie.<\/p>\n Jak tego unikn\u0105\u0107?<\/strong> Stosuj korekt\u0119 Bonferroniego lub testuj tylko kilka wariant\u00f3w. Albo jeszcze lepiej: testuj hipotezy sekwencyjnie \u2013 zmieniaj jedn\u0105 rzecz naraz. To wolniejsze, ale bezpieczniejsze.<\/p>\n \u015arednia konwersja w sklepie z elektronik\u0105 wynosi\u0142a 3%. Test na nowej stronie g\u0142\u00f3wnej pokaza\u0142 wzrost do 3,5% \u2013 sukces. Ale po wdro\u017ceniu og\u00f3lny przych\u00f3d nie wzr\u00f3s\u0142. Dlaczego? Bo nowa strona dzia\u0142a\u0142a lepiej na u\u017cytkownikach mobilnych (kt\u00f3rzy stanowili 70% ruchu), ale gorzej na desktopie. \u015arednia wzros\u0142a, ale najwi\u0119ksi klienci (B2B na desktopie) konwertowali rzadziej.<\/p>\n Jak tego unikn\u0105\u0107?<\/strong> Zawsze analizuj wyniki w podziale na segmenty: urz\u0105dzenie, \u017ar\u00f3d\u0142o ruchu, typ klienta. Mo\u017ce si\u0119 okaza\u0107, \u017ce zmiana pomaga jednej grupie, a szkodzi innej. Wtedy decyzja biznesowa powinna uwzgl\u0119dnia\u0107 warto\u015b\u0107 ka\u017cdego segmentu.<\/p>\n Testy A\/B to pot\u0119\u017cne narz\u0119dzie, ale tylko je\u015bli rozumiesz ich ograniczenia. Zbyt wczesne zako\u0144czenie, wielokrotne por\u00f3wnania i ignorowanie segmentacji to trzy b\u0142\u0119dy, kt\u00f3re regularnie widz\u0119 u klient\u00f3w. W JurskiTech uczymy, \u017ce optymalizacja konwersji to nie sprint, a maraton. Warto zainwestowa\u0107 czas w solidne testowanie \u2013 inaczej mo\u017cesz wdro\u017cy\u0107 zmiany, kt\u00f3re kosztuj\u0105 wi\u0119cej ni\u017c zyskuj\u0105.<\/p>\n Je\u015bli chcesz, aby Twoje testy A\/B faktycznie poprawia\u0142y wyniki \u2013 a nie tylko wygl\u0105da\u0142y dobrze w raporcie \u2013 zacznij od audytu obecnych proces\u00f3w. Cz\u0119sto wystarczy usun\u0105\u0107 te trzy b\u0142\u0119dy, by zyska\u0107 przewag\u0119.<\/p>\n","protected":false},"excerpt":{"rendered":" Wprowadzenie Testy A\/B to podstawa optymalizacji konwersji w e-commerce. Brzmi prosto: pokazujesz dw\u00f3m grupom u\u017cytkownik\u00f3w r\u00f3\u017cne wersje strony i sprawdzasz, kt\u00f3ra dzia\u0142a lepiej. Problem w tym, \u017ce wiele firm \u2013 nawet tych z do\u015bwiadczeniem \u2013 pope\u0142nia podstawowe b\u0142\u0119dy statystyczne, kt\u00f3re prowadz\u0105 do fa\u0142szywych wniosk\u00f3w. W efekcie wdra\u017caj\u0105 zmiany, kt\u00f3re w rzeczywisto\u015bci nie dzia\u0142aj\u0105, albo odrzucaj\u0105<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[776,125,866,124],"class_list":["post-2294","post","type-post","status-publish","format-standard","hentry","category-warto-wiedziec","tag-ai-e-commerce","tag-optymalizacja-konwersji","tag-statystyka","tag-testy-a-b"],"_links":{"self":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/posts\/2294","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/comments?post=2294"}],"version-history":[{"count":0,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/posts\/2294\/revisions"}],"wp:attachment":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/media?parent=2294"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/categories?post=2294"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/tags?post=2294"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Pu\u0142apka 2: Wielokrotne testowanie tych samych danych<\/h2>\n
Pu\u0142apka 3: Ignorowanie segmentacji u\u017cytkownik\u00f3w<\/h2>\n
Podsumowanie<\/h2>\n