Beregner til AB-test

I forbindelse med AB-testeksperimenter betyder statistisk signifikans, hvor sandsynligt det er, at forskellen mellem dit eksperiments kontrolversion og testversionen ikke skyldes en fejl eller et vilkårligt tilfælde.

Hvis du for eksempel udfører en test med et signifikansniveau på 95 %, kan du være 95 % sikker på, at forskellene er reelle.

Det bruges ofte i erhvervslivet til at observere, hvordan dine eksperimenter påvirker din virksomheds konverteringsfrekvens. I spørgeundersøgelser bruges statistisk signifikans normalt som en måde til at sikre, at du kan have tillid til resultaterne af din spørgeundersøgelse. Hvis du for eksempel spørger deltagerne, om de foretrækker annoncekoncept A eller annoncekoncept B i en spørgeundersøgelse, vil du være sikker på, at forskellen i deres resultater er statistisk signifikant, før du beslutter, hvilken en der skal bruges.

Det første skridt på vejen er at danne en hypotese. For hvert eksperiment er der er en nulhypotese, som siger, at der ikke er nogen relation mellem de to ting, du sammenligner, og en alternativ hypotese. En alternativ hypotese prøver typisk at bevise, at der er en relation, og det er det udsagn, du prøver at underbygge. Hvis du taler om konverteringsrate AB-test, kan din hypotese involvere at tilføje en knap, et billede eller materiale til en side for at se, om det påvirker konverteringsraterne. Når du bruger spørgeundersøgelser til koncepttestning, som i eksemplet ovenfor, kan din hypotese muligvis involvere afprøvning af forskellige annoncevarianter for at se, hvilken en de adspurgte synes er mest tiltalende.

Efter at have formuleret en nul- og alternativ hypotese udfører statistikere undertiden tests for at sikre, at deres hypoteser er forsvarlige. En z-score evaluerer gyldigheden af din nulhypotese. Det kan fortælle dig, om der rent faktisk ikke er nogen relation mellem de ting, du sammenligner. En p-værdi fortæller dig, om det bevis, du har til at underbygge din alternative hypotese, er markant.

Når du udfører tests om statistisk signifikans, er det praktisk at beslutte, om din test vil være ensidet eller tosidet. En ensidet test antager, at din alternative hypotese vil have en retningsbestemt virkning, mens en tosidet test gør rede for, at din hypotese også kan have en negativ effekt på dine resultater. Generelt er en tosidet test det mere forsigtige valg.

Selv professionelle statistikere bruger statistisk modelleringssoftware til at beregne signifikans og de tests, der underbygger den, så vi vil ikke gå i dybden her. Hvis du imidlertid udfører en AB-test, kan du bruge beregneren øverst på siden til at udregne den statistiske signifikans af dine resultater. Hvis du prøver at beregne signifikansen af resultaterne af din spørgeundersøgelse, kan SurveyMonkey gøre det automatisk for dig.