Tilbage til værktøjskassen
    Gratis Værktøj

    A/B Test Konfidensberegner

    Sammenlign to annoncer og find ud af, hvilken der performer bedst, med statistisk konfidens. Indtast data for begge varianter og se, om forskellen er signifikant.

    A

    Variant A

    B

    Variant B

    76,0%Konfidens
    KRITISK

    Ikke nok data endnu

    Ingen klar vinder

    Der er ikke nok data til at konkludere (76,0% konfidens). Lad testen køre, indtil du har mindst 100 konverteringer per variant for pålidelige resultater.

    CTR (Klikrate)

    A

    5,00%

    vs
    B

    5,20%

    B er 4,0% bedre

    Konverteringsrate

    A

    5,00%

    vs
    B

    6,73%

    B er 34,6% bedre

    ROAS

    A

    450%

    vs
    B

    520%

    B er 15,6% bedre

    Sådan læser du resultatet

    Konfidensniveauet viser, hvor sikker du kan være på, at forskellen mellem de to varianter er reel og ikke bare tilfældig variation. En konfidens på 95% eller højere er den gængse standard for statistisk signifikans. Under det niveau kan forskellen skyldes tilfældigheder, og du bør indsamle mere data før du konkluderer.

    Lad os tage en uforpligtende snak om dine kampagner

    Dette værktøj er en matematisk rettesnor baseret på dine input. Resultaterne er vejledende og kan variere baseret på markedsvilkår, datakvalitet og eksterne faktorer. Kontakt mig for en dybdegående analyse af dine specifikke tal.

    Hvornår er en A/B-test signifikant?

    To annoncer med 3 % og 4 % i konverteringsrate ser forskellige ud. Spørgsmålet er, om forskellen er ægte eller tilfældig. Beregneren svarer med en konfidens i procent.

    Den bruger en tosidet z-test for to andele: den sammenligner konverteringsraterne og regner ud, hvor sandsynligt det er at se så stor en forskel, hvis annoncerne i virkeligheden var lige gode.

    z = (rate B − rate A) ÷ √(p × (1 − p) × (1/n A + 1/n B)), hvor p er den samlede konverteringsrate

    Regneeksempel

    Annonce A: 2.000 klik og 60 konverteringer (3,0 %). Annonce B: 2.000 klik og 80 konverteringer (4,0 %). Konfidensen bliver 91,5 %, så forskellen er endnu ikke sikker.

    Samme rater på 3.000 klik hver (90 og 120 konverteringer) giver 96,5 %. Forskellen er den samme. Datamængden er det, der gør den sikker.

    Sådan læser du tallet

    Beregneren farver 95 % og derover grønt, 80-95 % gult og under 80 % rødt. 95 % er den almindelige grænse for statistisk signifikans.

    Stop ikke testen den dag, den rammer 95 %. Kigger du hver dag og stopper ved første grønne tal, finder du for mange forskelle, der ikke er der. Bestem på forhånd, hvor mange klik testen skal have.

    Ofte stillede spørgsmål

    Hvor mange klik skal en A/B-test have?

    Det afhænger af, hvor stor forskellen er. I eksemplet med 3 % mod 4 % var 2.000 klik pr. annonce ikke nok, og 3.000 var. Små forskelle kræver flere data.

    Hvad betyder 95 % konfidens?

    At der er under 5 % sandsynlighed for at se så stor en forskel, hvis de to annoncer i virkeligheden var lige gode.

    Kan jeg teste mere end to annoncer?

    Beregneren sammenligner to ad gangen. Tester du mange varianter, stiger risikoen for en tilfældig vinder, så kræv en højere konfidens.