Beregner til A/B-test for statistisk signifikans

Statistisk signifikans er vigtig, når du bruger A/B‑tests, fordi det sikrer, at dine resultater er beregnet på en sikker måde og ikke er opstået tilfældigt. 

Indhent hurtige svar ved hjælp af SurveyMonkeys beregner til A/B‑test ovenfor.

A/B‑test, eller splittest, sammenligner resultaterne af to versioner – såsom et produktkoncept eller en annonce – for at finde ud af, hvilken variant der er mest tiltrækkende for din målgruppe.

Analytikere, kundeoplevelsesfagfolk og markedsføringseksperter bruger A/B‑test til at teste små ændringer, f.eks. en ny knap på webstedet eller et nyt design af startsiden. Det giver direkte feedback og data til hjælp med at træffe beslutninger om, hvilken variant der skal vælges. 

I A/B‑tests måler statistisk signifikans sandsynligheden for, at forskellen mellem kontrol‑ og testversionerne er sande og ikke skyldes fejl eller tilfældigheder.

Hvis du f.eks. kører en test med et 95 % signifikansniveau, kan du være 95 % sikker på, at forskellene er autentiske.

Statistisk signifikans bruges til at observere, hvordan A/B‑tests påvirker din virksomheds konverteringsrater. I spørgeundersøgelser bruges statistisk signifikans til at sikre, at resultaterne er pålidelige. 

Hvis du for eksempel i en spørgeundersøgelse spurgte, om folk foretrak annoncekoncept A eller annoncekoncept B, ville du sikre dig, at forskellen i resultaterne var statistisk signifikant, før du besluttede dig for, hvilket annoncekoncept du skulle bruge.

Først skal du opstille en hypotese. For ethvert eksperiment er der en nulhypotese, som fremfører, at der ikke er nogen sammenhæng mellem de to ting, du sammenligner, og en alternativ hypotese.

En alternativ hypotese forsøger typisk at bevise, at der findes et forhold og understøtter det udsagn, du forsøger at fremsætte. 

Hvis du for eksempel laver konverteringsrate af A/B‑testen, kan dine hypoteser være:

Når statistikere har formuleret nulhypoteser og alternative hypoteser, foretager de nogle gange tests for at sikre, at deres hypoteser er solide.

En z‑score angiver konfidensgraden og evaluerer gyldigheden af din nulhypotese, som kan fortælle dig, om der rent faktisk ikke er nogen sammenhæng mellem de ting, du sammenligner. En p‑værdi fortæller dig, om den dokumentation, du har til at påvise din alternative hypotese, er solid.

Derefter skal du beslutte, om din test skal være ensidig eller dobbeltsidig (nogle gange kaldet engrenet eller togrenet). En ensidig test antager, at din alternative hypotese vil have en direkte effekt, mens en dobbeltsidig test tager højde for, at din hypotese kan have en negativ effekt på dine resultater.

I eksemplet med konverteringsrate af A/B‑testen kunne din test for eksempel være:

Derefter indsamler du resultaterne fra din A/B‑test, herunder de relevante målinger for både kontrol‑ (A) og testversionerne (B). 

I vores eksempel kan resultaterne af A/B‑testen være: 

Derefter beregner du z‑scoren, som måler, hvor langt de observerede resultater ligger fra nulhypotesen for at fastlægge, om forskellen mellem A og B er statistisk signifikant. 

Derudover beregner du p‑værdien, som angiver sandsynligheden for, at den observerede forskel skyldes tilfældigheder. En mindre p‑værdi tyder på stærkere beviser mod nulhypotesen. 

I vores eksempel:

Du skal indstille et signifikansniveau (alfa) for at fastlægge den statistiske signifikans. Den sættes normalt til 0,05 (5 %), hvilket er det acceptable risikoniveau for fejlagtigt at forkaste nulhypotesen.

Sammenlign derefter din p‑værdi med alfaniveauet. Hvis p‑værdien er mindre end alfa‑niveauet, skal du afvise nulhypotesen og konkludere, at forskellen er statistisk signifikant. 

I vores eksempel er p‑værdien mindre end alfa‑niveauet, hvilket betyder, at forskellen på 14 % er statistisk signifikant.

Nu er det tid til at fortolke resultaterne. Hvis du får signifikante resultater, indikerer det, at den konstaterede forskel sandsynligvis ikke skyldes tilfældigheder, hvilket giver bevis for den alternative hypotese. Ikke‑signifikante resultater indikerer, at der ikke er tilstrækkelig dokumentation til at afvise nulhypotesen, hvilket betyder, at den observerede forskel kan skyldes tilfældige variationer.

Du får den mest effektive fremgangsmåde, når du bruger beregningsværktøjer såsom:

Kort sagt validerer statistisk signifikans dine A/B‑testresultater. Når du skal træffe informerede beslutninger baseret på A/B‑tests, er det vigtigt at bruge statistisk signifikans.

Prøv beregneren øverst på siden for automatisk at beregne betydningen af resultaterne af din spørgeundersøgelse.