Nyudviklet prognose korrigerer for såkaldte ”hus-effekter” i politiske meningsmålinger

Nogle analyseinstitutter måler konsekvent tilslutningen til bestemte partier for højt eller lavt. Nu kan medier undgå at blive snydt.

Kresten Roland Johansen. Foto: Celina Kimmie Dahl.
af Kresten Roland Johansen d. 10.05.2019 i Viden

Hvordan kan det være, at to meningsmålinger viser helt forskellige resultater for samme parti?
Som omtalt i flere medier så vi i ugen op til udskrivning af folketingsvalget, at YouGov målte tilslutningen til Nye Borgerlige til 6,3 procent af stemmerne, mens Voxmeter målte partiets tilslutning til under 1 procent. Man kunne med andre ord cherry-picke målinger til den historie, man måtte have lyst til at skrive.

Hvem har ret, og hvem tager fejl? Det ved vi faktisk ikke. Men vi ser masser af historier i medierne baseret på den type målinger. Nu kunne det jo godt være udtryk for en enkelt skævert fra et af de pågældende institutter. Men det interessante er, at YouGov systematisk og konsekvent måler Nye Borgerlige højt, mens Voxmeter systematisk og konsekvent måler Nye Borgerlige lavt. Når man sammenligner med øvrige institutters målinger. Er du i tvivl, så tjek denne glimrende oversigt.

Huseffekter
Den systematiske forskel er udtryk for såkaldte huseffekter (House Effects). Huseffekter er systematiske forskelle i meningsmålinger mellem meningsmålingsinstitutter. Altså at nogle institutter tilsyneladende konsekvent og systematisk måler tilslutningen til bestemte partier højere, end andre institutter gør. Forklaringerne på huseffekter kan være mange. Institutternes metoder varierer, fx i forhold til indsamlingsmetode, håndtering af tvivlere, håndtering af førstegangsvælgere og eventuel vægtning af de indsamlede svar. Valgforskere har tidligere undersøgt forekomsten af huseffekter i danske institutters politiske meningsmålinger.

Ny prognose korrigerer for hus-effekter
Der findes nu en dansk prognose, som faktisk korrigerer for huseffekter! Erik Gahner Larsen, forsker ved University of Kent, står bag den spritnye prognose, som – forlyder det – vil blive opdateret enkelte gange under valgkampen.

Prognosen bygger på data fra samtlige meningsmålinger foretaget efter 18. juni 2015 (altså seneste valgperiode). Der er tale om flere hundrede målinger med tilsammen over en halv million svar. Med så mange svar er den statistiske usikkerhed lille. Det betyder, at der er få ”tilfældige målefejl”. Det er i sig selv en god ting.

Nye meningsmålinger vægtes højest i prognosen, og de helt gamle meningsmålinger bruges ikke til at sige, hvor partiet ligger i dag, men udelukkende til at korrigere for huseffekter. Det betyder, at der er færre ”systematiske målefejl” sammenlignet med prognoser, som ikke korrigerer for hus-effekter.

Lad os kaste et kritisk blik på de målinger og værktøjer, vi allerede kender og benytter. Hvordan adskiller de sig fra den nye metode?

Dag-til-dag målingers begrænsninger
Vi kender alle sammen dag-til-dag målingerne fra nyhedsartikler, som forsøger at gøre os klogere på små bevægelser blandt vælgerne. Problemet er imidlertid, at små bevægelser er nærmest umulige at sige noget kvalificeret om ud fra institutternes enkeltmålinger.

En ny måling med svar fra 1200 danskere, som viser, at S står til at få 26 procent af stemmerne, har en statistisk usikkerhed på +/- 2,5 procentpoint. Hvis en ny måling to dage senere viser, at S står til at få 24 procent af stemmerne, så ligner det til forveksling en socialdemokratisk nedtur.

Men forskellen på de to målinger er ikke statistisk signifikant! Den kan skyldes rene tilfældigheder i stikprøverne. Måske er S faktisk gået frem. Hvis du er i tvivl om forskelle er signifikante, så regn selv efter her. Helt generelt gælder, at man ikke kan bruge enkeltmålinger til at sige noget kvalificeret om små forskelle i partiers tilslutning. Oven i usikkerheden vil vi med det typiske konfidensniveau på 95%, yderligere tage fejl i 5 procent af tilfældene. I hver tyvende måling ligger den sande tilslutning altså uden for den oplyste usikkerhedsmargin.

Men hvad så med de ”vægtede gennemsnit”? Kan vi ikke bare sætte vores lid til dem?

De vægtede gennemsnit: Bedre men ikke perfekte
Vægtede gennemsnit er et udmærket alternativ til enkeltmålinger. Der findes flere af slagsen, fx Ritzau Indeks, Berlingske Barometer og Altingets Risbjerg-snit.
Fordelen ved de vægtede snit er først og fremmest, at de baserer sig på en lang række enkeltmålinger fra forskellige institutter og dermed bygger på mange flere svar. Det gør usikkerheden mindre og betyder, at man mere troværdigt kan konkludere på små forskelle.
Man vægter normalt sådan, at de nyeste målinger tæller mere end de ældre. Det giver alt andet lige et mere retvisende billede af tingenes tilstand her og nu. Så langt, så godt.
Svagheden ved de vægtede gennemsnit er imidlertid, at de forudsætter, at de bagvedliggende målinger er uden systematiske fejl. Eller sagt på en anden måde: Hvis der er systematiske fejl i enkeltmålingerne, vil de slå igennem i de vægtede snit. Det er en problemstilling, der som regel forbigås i tavshed (eller blindhed?), når journalister bruger de vægtede gennemsnit. Det er lige præcis denne type systematiske fejl, som den nye prognose forsøger at korrigere for.

Konklusion
Samlet set er Gahner Larsens prognose en meget spændende metode, som først lige har set dagens lys. Jeg vil opfordre journalister og andre interesserede til at holde øje med den under valgkampen. Den bør være et rigtig godt alternativ til de målinger, vi allerede kender fra – og som indimellem misbruges i – dækningen.

Faktaboks

Nørde-alert: Rent teknisk laves en Bayesiansk analyse i R og JAGS, der estimerer, hvor det er mest sandsynligt, at partierne ligger givet meningsmålingerne. Hvis man er interesseret i den slags nørderier – og om det faktisk giver mere retvisende resultater end målinger, som ikke korrigerer for hus-effekter – så findes der offentliggjorte studier med detaljerede beskrivelser, fx her.

------
Brug for en valgekspert?
Her finder du listen over vores eksperter med emneord, kontaktinformation og pressefotos

Kategori:  Viden

Prefooter web-form

Foreslå indhold til underskoven

Underskoven

Instagram