Proč vám A/B test lže: statistická významnost a velikost vzorku

Varianta B po třech dnech vede o 30 %. Nástroj svítí zeleně, tým slaví, změna jde na web. Za dva měsíce je konverzní poměr tam, kde byl. Nikdo neví proč.

Důvod je prostý: ten rozdíl nikdy neexistoval. A/B test neměří pravdu, měří vzorek – a vzorek umí lhát několika spolehlivými způsoby. Tenhle článek je popisuje a ukazuje, jak se jim vyhnout.

Co statistická významnost doopravdy říká

Když hodíte mincí desetkrát, klidně padne sedmkrát panna. Mince kvůli tomu není cinknutá, malé vzorky prostě kolísají. S návštěvníky webu je to stejné: dvě naprosto identické stránky budou mít po pár dnech různý konverzní poměr čistě náhodou.

Statistická významnost odpovídá na jednu otázku: kdyby mezi variantami ve skutečnosti žádný rozdíl nebyl, jak často bychom naměřili takhle velký rozdíl jen náhodou? Obvyklá hranice 95 % znamená, že falešný poplach připouštíte zhruba v jednom případě z dvaceti.

Co významnost neříká:

• že je varianta B lepší „s 95% jistotou“,
• jak velký rozdíl doopravdy je,
• že se rozdíl udrží i po nasazení.

A hlavně: platí jen tehdy, když test proběhl podle pravidel. Většina lží vzniká jejich porušením.

Pět způsobů, jak vám A/B test zalže

1. Díváte se průběžně a vypnete, když to vyjde

Nejčastější chyba. Rozdíl mezi variantami během testu kolísá: jednou vede A, jednou B. Pokud se díváte každý den a test ukončíte ve chvíli, kdy nástroj poprvé ukáže významnost, nevybíráte vítěze, ale okamžik, kdy náhoda zrovna vychýlila čísla správným směrem.

Dopad není kosmetický: při každodenní kontrole se podíl falešných vítězů z plánovaných 5 % může vyšplhat na desítky procent.

Oprava: velikost vzorku a délku běhu určete předem. Dívat se smíte, rozhodovat až na konci.

2. Vzorek je moc malý – a výhry proto vypadají obří

Test s malým vzorkem má dvě vlastnosti. Skutečné zlepšení většinou nezachytí. A když už něco „zachytí“, je to skoro vždy přestřelené: do významnosti se s malým vzorkem dostanou jen výsledky, které náhoda nafoukla. Proto tolik testů hlásí +40 % a po nasazení z toho zbude zlomek, nebo nic.

Oprava: spočítat si potřebný vzorek (kalkulačka je níž) a nedůvěřovat velkým výhrám z malých čísel.

3. Sledujete dvacet metrik a jedna vyjde

Při hranici 95 % vyjde náhodou „významně“ jedna metrika z dvaceti. Pokud po testu procházíte konverze, prokliky, čas na stránce a scroll, každé zvlášť pro mobil, desktop, nové a vracející se návštěvníky, vítěze najdete vždycky. Nic to neznamená.

Oprava: jedna hlavní metrika určená před startem. Segmenty a vedlejší metriky berte jako zdroj dalších hypotéz, ne jako důkaz.

4. Test neběžel celé týdny

Lidé se v úterý dopoledne chovají jinak než v neděli večer. Test od středy do pondělí dá jedné části týdne větší váhu. Podobně zkreslují první dny: vracející se návštěvníci reagují na novinku jinak, než budou reagovat za měsíc.

Oprava: vždy celé týdny, ideálně aspoň dva. A počítat s tím, že část počátečního efektu je jen zvědavost.

5. Rozbité měření nebo nerovné rozdělení

Pokud má být návštěvnost rozdělená půl na půl a jedna varianta má znatelně víc návštěvníků, něco je špatně: přesměrování, cache, blokovaný skript, boti. Stejně tak když se konverzní event v jedné variantě nespouští spolehlivě. Výsledek takového testu nejde opravit, jen zahodit.

Oprava: po prvním dni zkontrolovat poměr návštěvníků ve variantách a to, že se konverze zapisují v obou. Jak si ověřit měření kroků, ukazuje návod na analýzu funnelu v GA4.

Kolik návštěvníků potřebujete

Potřebný vzorek určují dvě čísla: současný konverzní poměr a nejmenší zlepšení, které chcete spolehlivě zachytit. Čím nižší konverzní poměr a čím menší hledaný rozdíl, tím víc lidí potřebujete.

Dva příklady, které stojí za zapamatování:

• Konverzní poměr 2 %, hledané zlepšení o 20 % (na 2,4 %): zhruba 21 tisíc návštěvníků na variantu.
• Stejný web, hledané zlepšení o 10 %: zhruba 81 tisíc na variantu. Poloviční efekt stojí přibližně čtyřnásobek vzorku.

Z toho plyne nepříjemná, ale užitečná věc: drobné úpravy (barva tlačítka, jedno slovo v nadpisu) přinášejí drobné rozdíly, a ty většina webů nemá šanci změřit.

Co dělat s malou návštěvností

Testujte větší změny. Nová struktura stránky, jiná nabídka, zkrácený formulář. Větší zásah může přinést větší rozdíl a ten se dá změřit i na menším vzorku.

Testujte tam, kde je návštěvnost. Krok, kterým projde většina návštěvníků, nasbírá vzorek rychleji než poslední stránka košíku.

Nepřetahujte test přes osm týdnů. Za tu dobu se změní kampaně, sezóna i web sám. Test, který vychází na čtvrt roku, je potřeba navrhnout jinak.

Opřete se o kvalitativní data. Když pět lidí z pěti nenajde při uživatelském testování tlačítko pro odeslání, nepotřebujete na to A/B test. Zjevné bariéry se opravují, ne testují.

Přehled nástrojů a víc o testování s menší návštěvností je v článku A/B testování v roce 2026.

Kontrolní seznam před spuštěním

1. Máme hypotézu ve tvaru „protože vidíme X, čekáme, že změna Y zvedne Z“.
2. Máme jednu hlavní metriku.
3. Známe potřebný vzorek a z něj délku běhu v celých týdnech.
4. Test vychází na nejvýš osm týdnů; jinak ho navrhneme znovu.
5. Po prvním dni zkontrolujeme rozdělení návštěvnosti a zápis konverzí v obou variantách.
6. Rozhodneme až na konci, ať čísla v průběhu vypadají jakkoli.

Nic z toho není složité. Těžké je to dodržet pokaždé, zvlášť když varianta po třech dnech vede a všichni chtějí slavit. Proto tuhle kázeň čím dál častěji hlídá software: AI CRO agent spočítá vzorek předem, test neukončí dřív a řekne vám i to, že se při vaší návštěvnosti daná změna změřit nedá.

Časté otázky

Co znamená statistická významnost u A/B testu?

Říká, jak nepravděpodobné by bylo naměřit takový rozdíl mezi variantami, kdyby ve skutečnosti žádný nebyl. Hranice 95 % znamená, že falešný poplach připouštíte zhruba v jednom případě z dvaceti. Neříká, jak velký rozdíl je, ani že je varianta lepší s 95% jistotou.

Kolik návštěvníků potřebuji na A/B test?

Záleží na současném konverzním poměru a na tom, jak malé zlepšení chcete zachytit. Při konverzním poměru 2 % a hledaném zlepšení o 20 % je to zhruba 21 tisíc návštěvníků na variantu. Poloviční zlepšení vyžaduje přibližně čtyřnásobný vzorek.

Jak dlouho má A/B test běžet?

Dokud nenasbírá předem spočítaný vzorek, a vždy celé týdny, aby pokryl pracovní dny i víkendy. Prakticky dva až osm týdnů. Test, který by měl běžet déle, je lepší navrhnout jinak.

Co dělat, když mám na A/B testy málo návštěvnosti?

Testovat větší změny, které mohou přinést větší rozdíl, testovat kroky s vyšší návštěvností a u menších úprav se opřít o kvalitativní výzkum a opravu zjevných bariér místo testu, který nemá šanci nic prokázat.

---

Co si z toho vzít

A/B test nelže ze zlé vůle. Lže, když se ho zeptáte dřív, než má co říct, nebo když se ptáte dvacetkrát a vyberete si odpověď. Předem daný vzorek, jedna metrika, celé týdny a rozhodnutí až na konci – to stačí, aby čísla, podle kterých měníte web, něco znamenala.

Jestli chcete, aby tuhle kázeň za vás hlídal někdo jiný, Kaen je AI agent pro optimalizaci konverzí: postaví variantu, spočítá potřebný vzorek, po vašem schválení spustí test a výsledek vyhlásí, až když je co vyhlásit. Bez vašeho schválení se nic nespustí.