Testy A\/B to standard w e-commerce. Ka\u017cdy wie, \u017ce trzeba testowa\u0107. Ale czy na pewno robisz to dobrze? Widz\u0119 w firmach, kt\u00f3re do nas trafiaj\u0105, \u017ce cz\u0119sto testy A\/B s\u0105 robione na odpierdol \u2013 bez zrozumienia statystyki, bez odpowiedniej wielko\u015bci pr\u00f3by, bez kontroli zmiennych. Efekt? Podejmujesz decyzje na podstawie przypadkowych waha\u0144, tracisz czas i pieni\u0105dze. A gorzej \u2013 wdra\u017casz zmiany, kt\u00f3re faktycznie pogarszaj\u0105 konwersj\u0119.<\/p>\n
W tym artykule poka\u017c\u0119 trzy najcz\u0119stsze b\u0142\u0119dy w testowaniu A\/B, kt\u00f3re widz\u0119 w sklepach internetowych. I co z nimi zrobi\u0107.<\/p>\n
Klasyka. Klient przychodzi i m\u00f3wi: \u201ezrobili\u015bmy test A\/B, wersja B wygra\u0142a o 10%, wi\u0119c wdro\u017cyli\u015bmy\u201d. Pytam: jak d\u0142ugo trwa\u0142 test? Odpowied\u017a: \u201edwa dni\u201d. Na ruchu 500 odwiedzin dziennie. To jest dramat.<\/p>\n
Statystyka rz\u0105dzi si\u0119 prawami. Je\u015bli chcesz wykry\u0107 realn\u0105 r\u00f3\u017cnic\u0119 na poziomie 10%, przy konwersji na poziomie 2%, potrzebujesz nawet kilku tysi\u0119cy u\u017cytkownik\u00f3w na wariant. Zbyt ma\u0142a pr\u00f3ba powoduje, \u017ce wyniki s\u0105 przypadkowe \u2013 mo\u017cesz mie\u0107 fa\u0142szywie pozytywny wynik (pomy\u0142ka statystyczna typu I) albo nie wykry\u0107 rzeczywistej r\u00f3\u017cnicy.<\/p>\n
Co robi\u0107?<\/strong> Przed rozpocz\u0119ciem testu oblicz wymagan\u0105 wielko\u015b\u0107 pr\u00f3by. Mo\u017cesz u\u017cy\u0107 kalkulator\u00f3w online. Ustal minimalny efekt, kt\u00f3ry chcesz wykry\u0107, i trzymaj si\u0119 tego. Test nie powinien ko\u0144czy\u0107 si\u0119 przed osi\u0105gni\u0119ciem za\u0142o\u017conej liczby u\u017cytkownik\u00f3w, nawet je\u015bli po tygodniu wygl\u0105da obiecuj\u0105co.<\/p>\n Drugi typowy b\u0142\u0105d: zmieniasz jednocze\u015bnie kolor przycisku, tekst nag\u0142\u00f3wka, uk\u0142ad strony i zdj\u0119cie produktu. Wynik: wariant B wygrywa. Ale co tak naprawd\u0119 zadzia\u0142a\u0142o? Nie wiesz. I nie mo\u017cesz tego powt\u00f3rzy\u0107.<\/p>\n To jest strata potencja\u0142u. Testy A\/B powinny by\u0107 precyzyjne \u2013 testuj jedn\u0105 zmienn\u0105 naraz. Je\u015bli chcesz przetestowa\u0107 kilka element\u00f3w, zr\u00f3b test wielowymiarowy (MVT), ale to wymaga jeszcze wi\u0119kszego ruchu. Dla typowego sklepu lepiej robi\u0107 seri\u0119 prostych test\u00f3w.<\/p>\n Przyk\u0142ad z \u017cycia:<\/strong> Klient testowa\u0142 nowy layout strony produktu \u2013 zmieni\u0142 uk\u0142ad zdj\u0119\u0107, opis, opinie, przycisk. Wariant B mia\u0142 wy\u017csz\u0105 konwersj\u0119 o 15%. Wdro\u017cyli. Po miesi\u0105cu konwersja wr\u00f3ci\u0142a do normy. Okaza\u0142o si\u0119, \u017ce to by\u0142 efekt nowo\u015bci (Hawthorne effect), a realnie \u017cadna zmiana nie dzia\u0142a\u0142a. Gdyby testowali pojedyncze zmiany, wiedzieliby, co jest grane.<\/p>\n Kolejny b\u0142\u0105d: testujesz na wszystkich u\u017cytkownikach tak samo. A przecie\u017c nowi u\u017cytkownicy reaguj\u0105 inaczej ni\u017c powracaj\u0105cy. Mobilni inaczej ni\u017c desktopowi. U\u017cytkownicy z kampanii reklamowej inaczej ni\u017c organiczni.<\/p>\n Je\u015bli nie segmentujesz, wyniki mog\u0105 by\u0107 wypaczone. Na przyk\u0142ad: zmiana, kt\u00f3ra dzia\u0142a \u015bwietnie na desktopie, mo\u017ce szkodzi\u0107 na mobile. \u015arednia wyjdzie neutralna, a Ty odrzucisz dobry pomys\u0142.<\/p>\n Co robi\u0107?<\/strong> Planuj\u0105c test, zastan\u00f3w si\u0119, jakie segmenty s\u0105 dla Ciebie wa\u017cne. Mo\u017cesz uruchomi\u0107 test r\u00f3wnolegle w kilku segmentach albo zrobi\u0107 test warstwowy (stratified split). W ka\u017cdym razie analizuj wyniki nie tylko globalnie, ale i w podziale na segmenty. Cz\u0119sto znajdziesz tam z\u0142oto.<\/p>\n Testy A\/B to pot\u0119\u017cne narz\u0119dzie, ale tylko je\u015bli s\u0105 robione poprawnie. B\u0142\u0119dy statystyczne, zbyt du\u017ca liczba zmiennych, brak segmentacji \u2013 to wszystko powoduje, \u017ce podejmujesz decyzje na podstawie szumu. A ka\u017cda decyzja oparta na z\u0142ych danych kosztuje.<\/p>\n W JurskiTech pomagamy firmom nie tylko wdro\u017cy\u0107 testy, ale przede wszystkim robi\u0107 je dobrze \u2013 od poprawnego zaprojektowania eksperymentu, przez odpowiedni\u0105 infrastruktur\u0119, po analiz\u0119 wynik\u00f3w. Bo optymalizacja konwersji to nie magia, to statystyka i dobra strategia. Je\u015bli chcesz by\u0107 pewien, \u017ce Twoje testy faktycznie dzia\u0142aj\u0105, warto skonsultowa\u0107 si\u0119 z kim\u015b, kto rozumie zar\u00f3wno kod, jak i biznes.<\/p>\n","protected":false},"excerpt":{"rendered":" Wprowadzenie Testy A\/B to standard w e-commerce. Ka\u017cdy wie, \u017ce trzeba testowa\u0107. Ale czy na pewno robisz to dobrze? Widz\u0119 w firmach, kt\u00f3re do nas trafiaj\u0105, \u017ce cz\u0119sto testy A\/B s\u0105 robione na odpierdol \u2013 bez zrozumienia statystyki, bez odpowiedniej wielko\u015bci pr\u00f3by, bez kontroli zmiennych. Efekt? Podejmujesz decyzje na podstawie przypadkowych waha\u0144, tracisz czas i<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[10,190,125,124],"class_list":["post-1622","post","type-post","status-publish","format-standard","hentry","category-warto-wiedziec","tag-ai-w-e-commerce","tag-bledy-firm","tag-optymalizacja-konwersji","tag-testy-a-b"],"_links":{"self":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/posts\/1622","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/comments?post=1622"}],"version-history":[{"count":0,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/posts\/1622\/revisions"}],"wp:attachment":[{"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/media?parent=1622"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/categories?post=1622"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/news.jurskitech.pl\/blog\/wp-json\/wp\/v2\/tags?post=1622"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}B\u0142\u0105d 2: Testowanie zbyt wielu zmian naraz<\/h2>\n
B\u0142\u0105d 3: Ignorowanie segmentacji u\u017cytkownik\u00f3w<\/h2>\n
Podsumowanie<\/h2>\n