Valget er over og vi har fasiten i hånd. Det betyr at det er tid for en evaluering av sannsynlighetsmodellen og hvor bra/dårlig den traff.
Meningsmålingene
Siden modellen baserer seg på meningsmålinger, er det best å starte med en evaluering av de. Som ved valget for fire år siden så traff de nasjonale målingene bedre enn fylkesmålingene. Siden det var et sprik mellom de målingene, var det noe som i utgangspunktet kom de borgerlige til gode. Basert på artikkelen om meningsmålingene kom til å stemme, kom snittet av nasjonale målinger best ut. Snittet traff på alle partiene utenom MDG og Rødt.1Disse var likevel innen feilmarginen. Fylkesmålingene gjorde det noe dårligere og traff heller ikke på Høyre og Fremskrittspartiet. Modellens justerte snitt traff dermed heller ikke på de fire partiene. Evalueringen jeg bruker på treffsikkerhet er root-mean-square deviation (RMSD).2Denne "straffer" større feil hardere enn f.eks. et sum av avvik. Det er værre å bomme med 2% på ett parti enn 1% på to.
Snittet av nasjonale målinger har en RMSD på 0,67%, fylkesmålingene 1,02%, mens det justerte snittet endte på 0,95%. Av instituttenes siste publiserte målinger vant Kantar TNS for TV2 med en RMSD på 0,64% fulgt av Ipsos for Dagbladet med 0,81% og Respons for Aftenposten/Bergens Tidende/Adressa med 0,88%. Nederst var InFact for VG med 1,65%, fulgt av Opinion for ANB med 1,49%.
Annonse:
På de individuelle fylkene var det til dels store spredninger. De beste enkeltmålingene de siste to ukene var InFact for VG i Oslo og Respons for Høyre i Buskerud (0,72%), fulgt av Sentio for NRK i Østfold med 0,75%. Verst var InFacts to målinger for Bergensavisen, der den siste hadde en RMSD på hele 3,02%! Det gav til dels store forskjeller på modellens fylkessnitt. Den traff veldig bra i Akershus med 0,74%, samt Trøndelags-fylkene med 0,87%. Desidert verst var Hordaland og Troms, med RMSD på over 2%.
Evaluering av sannsynlighetsmodellen
Ved siste oppdatering av modellen viste den at det minst sannsynlige utfallet var borgerlig flertall, og gav det 17% sjanse for å skje. Dette er det samme som å trille 6 på et terningkast. Siden det ble utfallet, er det fristende å si at modellen bommet. Det blir dog litt vel lettvint, all den tid at man får terningkast 6 rett som det er.
Først er det verdt å ta en kikk på sperregrensen. Her var både Venstre og MDG omtrent like på målingene, noe som gav fire omtrent like sannsynlige scenarier. Utfallet ble det mest gunstige for de borgerlige, nemlig at kun Venstre kom over sperregrensen. Gitt at det ble dette scenariet var de borgerlige knappe favoritter i modellen.
Deretter må vi se på hvordan modellen var vektet. Den brukte fylkesmålingene som utgangspunkt og justerte deretter mot landssnittet. Siden det i år var flere fylkesmålinger (77 mot 59 i 2013), ble forskyvningen enda mer mot fylkesmålingene. Dette burde nok vært annerledes, og heller vært vektet mer mot landssnittet. Dette alternativet ville gitt de borgerlige 29% sjanse, de rød-grønne 14% og hele 57% sjanse for at ingen av blokkene ville få flertall. Gitt scenariet med bare Venstre over sperregrensen ville den modellen gitt 60% sjanse for borgerlig flertall. Her er nok den største bommen med modellen, og dette vil nok bli endret til neste valg.
Alternative scenarier
Videre er det verdt å ta i betraktning at de borgerlige fikk sitt drømmescenario. Som jeg skrev dagen før valget: "Heller valgresultatet mot de nasjonale målingene og gjerne enda litt bedre for de borgerlige får de flertall, spesielt kombinert med Venstre over og MDG under sperregrensen." En nyttig øvelse i en evaluering er å se hva som ville skjedd dersom det var lik forskyvning andre veien. Da tar jeg utgangspunkt i samme valgresultat, men at 0,5% av Venstres velgere stemte MDG i stedet, slik at begge havnet under sperregrensen. Videre "bytter" jeg endringen mot snittet for de to største partiene på hver fløy. Altså at Arbeiderpartiet slår sitt snitt med 1,0% og Høyre går ned 0,2%, mens Senterpartiet går opp 0,6% og Fremskrittspartiet 0,1%.
Dette ville gitt 85 mandater til de rød-grønne, MDG ville fått 2 mandater, Rødt 1, og de borgerlige 81. Altså et helt motsatt valgutfall med samme svingning motsatt vei. Bytter vi kun Venstre og MDGs resultater ville ingen av blokkene fått flertall, men vært avhengige av Miljøpartiet. Et MDG med samme resultat som Ventre ville gitt 84 mandater til de borgerlige, så her ville fintellingen blitt avgjørende. Siden Venstre og MDG var jamstore på meningsmålingene, virker det korrekt at omtrent det var omtrent 50% sjanse for at ingen av blokkene fikk flertall. Derimot burde nok modellen vært vektet mer mot det nasjonale snittet, og dermed gitt de borgerlige litt høyre sannsynlighet enn de rød-grønne.
Distriktsmandatene
Ett av målene med modellen var å spå utfallet i alle 20 valgene, ikke kun det nasjonale. Her var målet å gi de individuelle kandidatene en sannsynlighet for å havne på Stortinget som distriktsmandat. Hvordan gikk så det?
Modellen spådde at det var 98 sikre kandidater3over 95% sannsynlighet, og alle disse fikk stortingsplass. Videre var det 36 kandidater den anså som sannsynlige, altså mellom 70% og 95% sjanse. Av disse var det kun Tone Merete Sønsterud i Hedmark som ikke kom inn. En treffprosent på 97,2%. Det var 31 kandidater som hadde mellom 30% og 70% sjanse for å komme på Stortinget, og 12 av de gjorde det. (38,7%) Til slutt var det 46 stykker som ble betegnet som "long-shots" med 5% til 30% sjanse. Dette skjedde i Hordaland, Møre og Romsdal, Nordland, Oslo og Vestfold. Altså kom 11% av disse inn, og det er verdt å merke at det var tre fra Høyre og én hver fra Venstre og FrP som klarte det.
Med andre ord en veldig god treffsikkerhet. Om noe så var modellen litt vel forsiktig, all den tid det muligens burde vært flere "sikre" og "sannsynlige" kandidater som ikke kom inn.
Oppsummert
En slik evaluering av sannsynlighetsmodellen viser at den stort sett gav riktig pekepinn på at det kom til å bli et jevnt valg. Den bommet derimot på hvilken side som lå best an, og burde vært vektet mer mot landssnittet. Slik sett traff Norwegian Polls bedre som gav 34% sjanse for borgerlig seier. Jeg er også godt fornøyd med at ikke antok hvilke partier som kom til å gjøre det bedre/dårligere enn målingene. Videre er jeg godt fornøyd med kandidatvurderingen, og at modellen har kunne være en guide på hvor jevnt valget var og hvilke scenarier som kunne komme til å utspille seg. Så får vi se hva det blir ved neste valg.