Feilmargin er viktig å bruke korrekt

De siste dagene har det kommet mange nye meningsmålinger. Mye av fokuset er på Arbeiderpartiets nedgang, men fra et metodisk standpunkt er det Rødt som er mest interessant. I utgangspunktet har de lav oppslutning, noe som gjør det vanskelig å beregne korrekt. I tillegg blir den teoretiske feilmarginen liten, noe som kan få interessante følger. Dette gjelder spesielt for oss som prøver å tyde meningsmålingene og omdanne de til sannsynligheter.

I går, 15. august, kom både TV2 (Kantar TNS) og NRK (Norstat) med nye meningsmålinger. For Rødt sin del var TV2 oppløftende, med hele 4,7% oppslutning og dermed over sperregrensen. Statskanalen hadde derimot dyster lesing med kun 1,8% oppslutning. Mer enn en halvering fra TV2 sin måling. Dette er en av grunnene til å lage gjennomsnitt av meningsmålinger, sannsynligvis ligger den reelle oppslutningen en plass midt i mellom. Og det er her korrekt feilmargin kommer inn i bildet.

Teoretisk feilmargin

Snittet til Rødt er på 2,9% både i sannsynligvis.no sin modell og i gjennomsnittet til pollofpolls.no. pollofpolls.no regner ut en teoretisk feilmargin basert på totalt antall spurte i meningsmålingene som inngår i snittet.1"For dette gjennomsnittet gjelder det 6 målinger med til sammen 6 899 respondenter. " Dette er en helt korrekt måte å gjøre det på, men har sine praktiske utfordringer når man skal tolke meningsmålingene. Her blir feilmarginen til Rødt på ±0,4%, noe som skulle tilsi at det er 95% sjanse for at den reelle oppslutningen ligger mellom 2,5% og 3,3%. Likevel har to institutt klart å måle Rødt til langt utenfor feilmarginen.

Annonse:



Reell feilmargin

Dette er en av grunnene til at valgmodellen her på sannsynligvis.no i utgangspunktet bruker større feilmarginer, nemlig som om det var 1000 respondenter.2Les mer om det i hvordan modellen virker. Grunnen for dette er at en valgmodell må kunne fange opp den reelle feilmarginen, ikke den teoretiske. Den reelle feilmarginen er basert på hvor godt meningsmålingene faktisk har truffet ved tidligere valg. 95% av valgresultatene må være innenfor denne feilmarginen, og derfor er antallet respondenter satt til 1000 på landsnivå og 400 på fylkesnivå. Den kalkulerte feilmarginen basert på dette vil da være ±1,0%, noe som utvider konfidensintervallet til at oppslutningen er mellom 1,9% og 3,9%.

Justert feilmargin

Fremdeles er disse to målingene til dels langt utenfor dette området. Dette er noe av grunnen til at det gjøres enda en justering på feilmarginen i vår modell. Forenklet sett tar modellen forskjellen på høyeste og laveste oppslutning, deler på to, ganger med 0,95 og bruker dette som feilmargin. Dermed blir feilmarginen til Rødt i simuleringene ±1,38% i stedet.3(4,7%-1,8%)/2*0,95=1,3775% I tillegg er det en del andre elementer som også gjør feilmarginen større. Hovedpoenget er at en stor spredning i meningsmålingene indikerer usikkerhet, og dette må tas høyde for. I utgangspunktet bør 95% av alle publiserte meningsmålinger ligge innenfor 95% av simuleringene. Ved sist kjøring av modellen ble dette oppslutningen til Rødt.

Fordelt oppslutning Rødt ved siste kjøring av modellen

Her ser vi at 95% av simuleringene gir Rødt en oppslutning på mellom 1,3% og 5,1%.4De lyserøde søylene er utenfor de 95%.5 Hadde en derimot ikke gjort en justering for spredningen i meningsmålingene ville de mørkerøde søylene stått for 95% av simuleringene.6Nå står de for ca. 65% i stedet. Da ville det vært ca. 2,5% sjanse for at Rødt havner over sperregrensen, i stedet for de 15% modellen nå gir. Altså et veldig stort utslag!

Noe av viktigheten med å inkludere spredningen i meningsmålinger fikk vi et eksempel på ved det britiske valget i juni. Her viste snittet av målingene at de konservative ledet med 6,4%, men målingene viste fra 3% Labour til 13% Conservative. At de konservative til slutt vant med 2,5% gjorde at målingene tok feil med ca. 4%-poeng. Dette er helt normalt i Storbritannia, og man burde hatt det som den 4% som den reelle teoretiske feilmarginen.

Hva så med de andre partiene?

I de riksdekkende målingene de siste 30 dagene har også FrP, SV og MDG større spredning i meningsmålingene enn den teoretiske feilmarginen skulle tilsi. Valgmodellen bruker det partiet med størst justert feilmargin og fordeler på alle partiene. Dette for å ta høyde for at det er mye usikkerhet om hva de reelle oppslutningene er. I tillegg kan det være reelt at velgere skifter mening, noe man må ta høyde for. Dette er også noe av grunnen til at det kan være forskjell i diverse valgmodeller, og noe av grunnen til å sjekke metodikken.

Posted in Metodikk and tagged , , , , , , , .

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *