A/B testování s malou návštěvností: kolik návštěv opravdu potřebujete

A/B test potřebuje tolik návštěvníků, kolik vyžaduje váš konverzní poměr a velikost efektu, který chcete zachytit: při konverzním poměru 2 % a hledaném zlepšení o 20 % je to zhruba 21 tisíc návštěvníků na variantu. Malý web proto neměří malé rozdíly, ale velké. Testuje odvážnější změny, testuje kroky s vyšším konverzním poměrem a u drobností se opírá o kvalitativní data. Rozhodující pojem je minimální detekovatelný efekt (MDE): nejmenší zlepšení, které test při vaší návštěvnosti spolehlivě odhalí.

Všechna čísla v článku počítáme pro oboustranný test, hladinu významnosti 5 % a sílu testu 80 %, stejně jako kalkulačka velikosti vzorku. Konkrétní weby v příkladech jsou ilustrativní, zaokrouhlená čísla.

Co je velikost efektu a minimální detekovatelný efekt?

Velikost efektu je rozdíl mezi variantami. Dá se vyjádřit dvěma způsoby a je dobré je nemíchat:

absolutně, v procentních bodech: z 2,0 % na 2,4 % je +0,4 p. b.,
relativně, v procentech: z 2,0 % na 2,4 % je +20 %.

Nástroje i kalkulačky obvykle pracují s relativním rozdílem. Když vám někdo řekne „test hledá zlepšení o 20 %“, myslí tím 2,0 % → 2,4 %, ne 2 % → 22 %.

Minimální detekovatelný efekt (MDE) je nejmenší skutečný rozdíl, který test při dané velikosti vzorku zachytí s 80% pravděpodobností. Pokud je skutečný efekt menší než MDE, test ho většinou neodhalí a skončí bez vítěze. A když ho přesto „odhalí“, bývá naměřený rozdíl přestřelený, protože do významnosti se s malým vzorkem dostanou jen výsledky, které náhoda nafoukla.

MDE je tedy vlastnost vašeho testu, ne vaší změny. Říká, jak velké změny má smysl testovat.

Kolik návštěvníků potřebujete pro různé efekty?

Potřebný vzorek roste s druhou mocninou: poloviční efekt stojí zhruba čtyřnásobek návštěvníků.

Konverzní poměr	Hledané zlepšení	Návštěvníků na variantu
2 %	+10 %	~81 000
2 %	+20 %	~21 000
2 %	+30 %	~9 800
2 %	+50 %	~3 800
5 %	+20 %	~8 200
20 %	+10 %	~6 500
20 %	+20 %	~1 700

Dvě věci z tabulky stojí za zapamatování. Vyšší konverzní poměr znamená menší potřebný vzorek, protože se sbírá víc konverzí. A drobné úpravy, které přinášejí jednotky procent, potřebují návštěvnost, jakou má jen malá část webů.

Příklad: web s 10 000 návštěvníky měsíčně

Ilustrativní web: testovaná stránka má 10 000 návštěvníků měsíčně a konverzní poměr 2 %. Při rozdělení 50/50 dostane každá varianta zhruba 5 000 návštěvníků za měsíc.

Po měsíci je MDE zhruba 43 %. Test spolehlivě zachytí jen zlepšení z 2,0 % na zhruba 2,9 %.
Po osmi týdnech (zhruba 9 000 na variantu) je MDE kolem 30 %, tedy z 2,0 % na 2,6 %.

Změna nadpisu nebo barvy tlačítka takový rozdíl skoro jistě nepřinese. Test by skončil bez výsledku a vy byste ztratili dva měsíce.

Proč malé weby musí testovat větší změny

Když víte, že MDE vašeho testu je 30 %, má smysl testovat jen změny, které mají reálnou šanci takový rozdíl udělat:

jiná nabídka nebo cenová prezentace, ne jiné slovo v nadpisu,
přestavěná struktura stránky, ne posunuté tlačítko,
výrazně zkrácený formulář nebo odstraněný krok, ne přejmenované pole,
jiná hlavní argumentace: zdůraznit jiný přínos, jinou cílovou skupinu nebo jinou obavu.

Nevýhodou je, že při výhře nevíte přesně, který prvek z velké změny zafungoval. Na malém webu je to přijatelná cena: lepší vědět, že nová verze stránky je lepší, než nevědět nic. Detaily můžete doladit později, až budete mít víc dat.

Testujte dřívější kroky s vyšším objemem

Konverzní poměr na celý nákup bývá nízký. Mezikroky mají konverzní poměr mnohem vyšší: z produktové stránky do košíku, z úvodní stránky na ceník, z prvního kroku formuláře do druhého.

Ve stejném ilustrativním příkladu: pokud z produktové stránky přidá zboží do košíku 20 % návštěvníků, stačí s 5 000 návštěvníky na variantu za měsíc MDE zhruba 11 %. To je řádově menší rozdíl než 43 % u nákupu, a tedy mnohem realističtější test.

Dvě pravidla, aby to fungovalo:

Mezikrok musí s nákupem souviset. Více přidání do košíku nemusí znamenat více nákupů, pokud změna přitáhne jen zvědavce. Hlavní metriku testu volte na mezikroku, ale sledujte i finální konverzi, aby varianta nezhoršila nákup.
Testujte tam, kudy prochází většina lidí. Úvodní stránka a stránky kategorií nasbírají vzorek rychleji než poslední krok pokladny. Kde přesně se ve funnelu ztrácí nejvíc lidí, najdete podle návodu na analýzu funnelu v GA4.

Vadí, když mají varianty různý počet návštěvníků?

Statistický test si s nestejně velkými skupinami poradí, takže výsledek s mírně odlišnými počty je v pořádku. Dvě situace jsou ale jiné:

Záměrně nerovné rozdělení (třeba 90/10, aby novou variantu vidělo méně lidí) je méně efektivní. Při poměru 80/20 potřebujete celkem zhruba 1,6krát víc návštěvníků než při 50/50, při 90/10 téměř trojnásobek. Na malém webu je 50/50 skoro vždy nejlepší volba.
Nečekaně nerovné rozdělení (plánovali jste 50/50 a vyšlo 55/45 na tisících návštěvníků) znamená chybu: přesměrování, cache, blokovaný skript nebo boti. Takový test nejde opravit, jen zahodit a spustit znovu.

Můžu snížit požadavky na vzorek?

Částečně, ale vždy za cenu. Pokud hladinu významnosti uvolníte z 5 % na 10 %, potřebujete zhruba o pětinu méně návštěvníků, ale falešných vítězů bude dvakrát víc. U levné a snadno vratné změny to může být rozumný obchod, u změny ceny nebo nabídky ne. Rozhodněte to předem, ne až uvidíte výsledek.

Co vzorek nesníží: průběžné nahlížení a ukončení testu, jakmile poprvé „vyjde“. To jen zvyšuje podíl falešných výsledků. Proč, vysvětluje článek proč vám A/B test lže. Test také nepřetahujte přes zhruba osm týdnů; za tu dobu se změní kampaně, sezóna i web.

Srovnání před a po: použitelné, ale opatrně

Když na test nemáte návštěvnost, zbývá změnu nasadit a porovnat období před a po. Problém je, že tím mícháte efekt změny se vším ostatním: sezónou, kampaněmi, výpadky, náhodou. Jako orientační signál to použít jde, pokud:

srovnáváte celé týdny a stejné dny v týdnu, ideálně aspoň dva týdny před a dva po,
v obou obdobích neměníte kampaně, ceny ani jiné části webu,
sledujete kontrolní metriku, kterou změna ovlivnit neměla (třeba konverzi stránky, na kterou jste nesáhli); když se pohnula i ona, změnu nejspíš způsobilo něco jiného,
u sezónních oborů srovnáte i stejné období loni.

Výsledek berte jako signál, ne důkaz. Pokud se konverze zhorší, změnu vraťte.

Kvalitativní metody: kde test nepotřebujete

Na malém webu je nejcennější opravit zjevné bariéry bez testu. Když pět lidí z pěti při uživatelském testování nenajde tlačítko pro odeslání formuláře, nepotřebujete A/B test, ale opravu.

Kvalitativní data, která fungují i při malé návštěvnosti:

uživatelské testování s pěti až osmi lidmi z cílové skupiny,
nahrávky relací a heatmapy, například v nástroji Microsoft Clarity (srovnání v článku Microsoft Clarity vs. Hotjar),
krátký dotazník na webu: „Co vám brání dokončit objednávku?“,
rozhovory se zákazníky, kteří nakoupili, i s těmi, kteří odešli.

Kvalitativní data vám řeknou, co opravit a co stojí za velký test. Test pak ověří, jestli to opravdu pomohlo.

Časté otázky

Kolik návštěvníků potřebuje A/B test?

Záleží na konverzním poměru a na velikosti efektu, který chcete zachytit. Při konverzním poměru 2 % a hledaném zlepšení o 20 % je to zhruba 21 tisíc návštěvníků na variantu, při zlepšení o 50 % zhruba 3 800. U kroku s konverzním poměrem 20 % stačí na zlepšení o 20 % asi 1 700 na variantu.

Co je minimální detekovatelný efekt (MDE)?

Nejmenší rozdíl mezi variantami, který test při dané velikosti vzorku spolehlivě zachytí, obvykle s 80% pravděpodobností při hladině významnosti 5 %. Čím menší vzorek, tím větší musí skutečný efekt být, aby ho test odhalil.

Můžu A/B testovat s malou návštěvností?

Ano, ale jinak než velké weby. Testujte větší změny, které mohou přinést velký rozdíl, testujte kroky s vyšším konverzním poměrem nebo vyšší návštěvností a drobné úpravy opírejte o kvalitativní data místo testu, který nemá šanci nic prokázat.

Vadí, když mají varianty různě velký vzorek?

Statistický test si s nestejnými skupinami poradí, ale nerovné rozdělení je méně efektivní: při poměru 90/10 potřebujete celkem téměř trojnásobek návštěvníků oproti 50/50. Pokud jste plánovali 50/50 a vyšlo vám výrazně jiné rozdělení, je to chyba měření a výsledek nelze použít.

Je srovnání před a po náhradou A/B testu?

Jen částečnou. Srovnání dvou období mísí efekt změny se sezónou, kampaněmi a náhodou. Je použitelné jako orientační signál, když srovnáváte celé týdny, stejné dny, bez změn v kampaních a s kontrolní metrikou, kterou změna ovlivnit neměla.

Co si z toho vzít

Malá návštěvnost neznamená, že testovat nemůžete. Znamená, že musíte předem vědět, jaký efekt váš test unese, a podle toho vybírat změny a kroky funnelu. Spočítejte si MDE, testujte odvážně a tam, kde je provoz, a zbytek opravujte podle kvalitativních dat.

Tuhle práci umí dělat i software. Kaen, AI agent pro optimalizaci konverzí, spočítá potřebný vzorek před každým testem, vybere krok, kde se dá výsledek změřit, a řekne vám i to, že se daná změna při vaší návštěvnosti změřit nedá. Na menším webu pustí jeden test a nechá ho běžet déle, dokud není výsledek jasný. Kolik by to stálo u vás, ukáže ukázka; bez vašeho schválení se nic nespustí.