Hvornår er en A/B-test signifikant?
To annoncer med 3 % og 4 % i konverteringsrate ser forskellige ud. Spørgsmålet er, om forskellen er ægte eller tilfældig. Beregneren svarer med en konfidens i procent.
Den bruger en tosidet z-test for to andele: den sammenligner konverteringsraterne og regner ud, hvor sandsynligt det er at se så stor en forskel, hvis annoncerne i virkeligheden var lige gode.
z = (rate B − rate A) ÷ √(p × (1 − p) × (1/n A + 1/n B)), hvor p er den samlede konverteringsrate
Regneeksempel
Annonce A: 2.000 klik og 60 konverteringer (3,0 %). Annonce B: 2.000 klik og 80 konverteringer (4,0 %). Konfidensen bliver 91,5 %, så forskellen er endnu ikke sikker.
Samme rater på 3.000 klik hver (90 og 120 konverteringer) giver 96,5 %. Forskellen er den samme. Datamængden er det, der gør den sikker.
Sådan læser du tallet
Beregneren farver 95 % og derover grønt, 80-95 % gult og under 80 % rødt. 95 % er den almindelige grænse for statistisk signifikans.
Stop ikke testen den dag, den rammer 95 %. Kigger du hver dag og stopper ved første grønne tal, finder du for mange forskelle, der ikke er der. Bestem på forhånd, hvor mange klik testen skal have.
Ofte stillede spørgsmål
Hvor mange klik skal en A/B-test have?
Det afhænger af, hvor stor forskellen er. I eksemplet med 3 % mod 4 % var 2.000 klik pr. annonce ikke nok, og 3.000 var. Små forskelle kræver flere data.
Hvad betyder 95 % konfidens?
At der er under 5 % sandsynlighed for at se så stor en forskel, hvis de to annoncer i virkeligheden var lige gode.
Kan jeg teste mere end to annoncer?
Beregneren sammenligner to ad gangen. Tester du mange varianter, stiger risikoen for en tilfældig vinder, så kræv en højere konfidens.