Feilen med feilmarginene

Feilen med feilmarginene

En ubredt feiltolkning av feilmarginer i meningsmålinger er at alle verdier innenfor feilmarginene er like sannsynlig sanne. Slik er det ikke.

Meningsmålinger gjøres for få et inntrykk av befolkningens partivalg uten å avholde valg. Man spør et tilfeldig utvalg i stedet for å spørre alle. Selv om målingen utføres helt perfekt, vil den ikke nødvendigvis avspeile nøyaktig riktig stemmefordeling i befolkningen. Tilfeldigheter spiller inn. Et konfidensintervall (altså intervallet mellom de to feilmarginene) viser størrelsen på den tilfeldige variasjonen. Et stort utvalg gir høy presisjon, altså smale konfidensintervall.

Et konfidensintervall viser størrelsen på den tilfeldige variasjonen.

Konfidensintervallet med 95 % konfidensnivå defineres slik: Hvis utvelgingen og målingen gjentas mange ganger samtidig, vil den sanne andelen være i konfidensintervallet 95 % av gangene.

I en meningsmåling av 2000 personer svarer 600 at de vil stemme på parti A. Andelen er 30 % og et 95 % konfidensintervall går fra 28 % til 32 %. En utbredt misforståelse blant tolkere av meningsmålinger er at alle verdier innenfor feilmarginene er like sannsynlige, altså at befolkningens oppslutning om partiet A like godt kan være 28 % som 29 % eller 32 %, altså som den blå pila i figuren. Hvis så samme parti i neste måling får 28,5 %, avskrives dette som ubetydelig siden det er «innenfor feilmarginene»; det er «ikke signifikant». Helt unødvendig introduserer man en todeling, en dikotomisering, mellom sant/usant, viktig/uviktig eller signifikant/ikke-signifikant.

Sannheten er at sannsynligheten er størst for at den virkelige oppslutningen om parti A er 30 %, og at sannsynligheten synker jo lenger man kommer fra denne andelen. 32 % er mye mindre sannsynlig den sanne oppslutningen enn 31 % som igjen er mindre sannsynlig enn 30 %. At det virkelige resultatet er 31 %, er like sannsynlig som at det er 29 %. Konfidensintervallet må altså ses på som den røde linja i figuren. Linja viser alle mulige konfidensintervall: Den grønne streken er et 50 % konfidensintervall. Tolkningen er at det er fifty-fifty sjanse for at partiet A sin sanne oppslutning er mellom 29,3 % og 30,7 %.

Dette betyr at enhver endring kan ha en betydning, men jo større endringen er, jo mer sannsynlig reflekterer den en endring i virkeligheten og ikke bare en tilfeldig variasjon. Det finnes ikke en fast grense som indikerer når endringen er sann eller ikke.

Det finnes ikke en fast grense som indikerer når endringen er sann eller ikke.

(Forresten, er man interessert i endringen fra én måling til den neste, bør man normalt heller studere selve endringen og dens feilmargin. La oss si at i neste måling av et nytt utvalg på 2000 personer, svarte 576 at de vil stemme på A. Andelen er nå 28,8 %, altså ned 1,2 prosentpoeng fra forrige måling. Hvis vi er interessert i hvor betydningsfull denne endringen er, kan vi regne et 95 % konfidensintervall for endringen. Det vil gå fra ned 4,0 prosentpoeng til fram 1,6 prosentpoeng. Også her kan vi tegne en konfidensintervallkurve.)

Konfidensintervallet måler bare den tilfeldige variasjonen, ikke eventuelle skjevheter.

Til slutt et poeng om tilfeldighet. Med tilfeldig utvalg menes her at enhver person har like stor sjanse for å bli trukket ut i utvalget og avgi svar til meningsmålerne. Dersom utvalget ikke er tilfeldig, er det sannsynligvis skjevt, og da er man ute å kjøre uansett hvordan man forsøker å justere, vekte og manipulere tallene. Da er man hinsidens matematikken og over i gjetningen. Da blir konfidensintervallet misvisende. Konfidensintervallet måler bare den tilfeldige variasjonen, ikke eventuelle skjevheter. Det betyr at har man et skjevt (ikke tilfeldig) utvalg, for eksempel en nettavstemning om Sylvi på Nettavisen, har det ingen betydning at mange tusen har svart. Undersøkelsen har liten verdi, og konfidensintervallene er meningsløse.

Del denne artikkelen