A/B-test significantie
Toets of het verschil in conversieratio tussen twee advertenties of landingspagina's significant is: lift, z-score, p-waarde, betrouwbaarheid en benodigde steekproef.
A/B-test significantie
Toets of het verschil in conversieratio tussen twee advertenties of landingspagina's statistisch significant is, en hoeveel clicks je nodig hebt om zeker te zijn.
Invoer
Resultaat
Hoe gebruik je de significantiecalculator?
Twee advertenties, twee conversieratio's: is het verschil echt of toeval? Vul per variant het aantal clicks (of bezoekers) en conversies in. De tool berekent de conversieratio's, de relatieve lift, de z-score, de p-waarde en de betrouwbaarheid, plus hoeveel clicks je per variant nodig hebt om het gemeten verschil overtuigend aan te tonen.
De formules (tweeproportie z-toets)
- Conversieratio per variant: p = conversies ÷ clicks
- Gepoolde ratio: p̂ = (convA + convB) ÷ (nA + nB)
- Standaardfout: SE = √( p̂ × (1 − p̂) × (1/nA + 1/nB) )
- Z-score: z = (pB − pA) ÷ SE
- p-waarde (tweezijdig) = 2 × (1 − Φ(|z|)), met Φ de standaardnormale verdeling
- Betrouwbaarheid = 1 − p-waarde
Een p-waarde onder 0,05 (betrouwbaarheid boven 95%) geldt als significant. Onder 0,10 is het een indicatie; verzamel dan meer data.
Voorbeeld
Advertentie A: 2.400 clicks, 96 conversies (4,00%). Advertentie B: 2.350 clicks, 118 conversies (5,02%). De lift is +25,5%. De gepoolde ratio is 4,5%, de standaardfout 0,0060 en de z-score 1,69. Dat geeft een p-waarde van 0,091: significant op 90%, maar niet op 95%. Bij een advertentiebudget van € 1,20 per klik heb je zo'n € 2.900 per variant uitgegeven; om deze lift op 95% te bewijzen (met 80% power) heb je circa 6.500 clicks per variant nodig, dus nog ruim 4.000 clicks oftewel ongeveer € 4.900 extra per variant.
Valkuilen
- Te vroeg stoppen (peeking): elke dag kijken en stoppen zodra het significant is, vergroot de kans op een vals positief resultaat. Bepaal vooraf de steekproefgrootte en houd je daaraan.
- Ongelijke perioden: test varianten gelijktijdig. Week 1 versus week 2 vergelijkt ook seizoen en concurrentie.
- Advertentierotatie: Google optimaliseert standaard naar de "beste" advertentie, waardoor de verdeling scheef wordt. Gebruik advertentievariaties of experimenten voor een eerlijke splitsing.
- Meerdere metrics: test op de metric die telt (conversies of omzet), niet op CTR. Een hogere CTR met lagere conversieratio is geen winst.
Veelgestelde vragen
Meer tools voor analyse
N-gram analyzer
Plak je zoektermenrapport en vind woorden en woordcombinaties die kosten zonder te converteren; met CPA, conversieratio, verspillingsmarkering en CSV-export.
Open tool →Impression share-calculator
Vertaal impression share naar totaal beschikbare en gemiste impressies (budget of rang) en schat extra clicks, conversies en kosten bij een hogere share.
Open tool →Naamgeving-generator
Stel een consistente naamgevingsconventie samen voor campagnes en advertentiegroepen met land, kanaal, type, thema, matchtype, doelgroep en biedstrategie.
Open tool →