'Flere piger elsker at game'. 'Børn er bange for at fejle i skolen'. 'Kvinder frygter indbrud om natten'. Kan du få øje på fællesnævneren?

Journalister er for hurtige til at generalisere på baggrund af spørgeskemaundersøgelser, viser ny forskning. Det kan føre til urigtige påstande.

Analyse bragt i Politiken den 23. februar 2020

Bladrer du igennem en avis, kan du næsten være hundrede procent sikker på at møde ordene ”Ny undersøgelse viser, at ...” eller ”En rundspørge peger på ...”. Det viser min egen nye undersøgelse af ti tilfældigt valgte dages indhold i landsdækkende danske dagblade.

På de ti dage møder læserne cirka 200 unikke artikler, som alle bruger en undersøgelse, rapport eller meningsmåling som belæg for påstande. Den helt centrale metode er spørgeskemaundersøgelser. 120 gange præsenteres vi for en spørgeskemaundersøgelse. Og hvad kan vi så bruge dem til?

Journalisterne bruger dem til at generalisere. Nu generaliserer du selv, tænker du måske? Ja, det gør jeg. Jeg har analyseret de 120 artikler, hvor spørgeskemaundersøgelser indgår, og i 80 procent generaliserer journalisten.

Omtrent 80 procent af spørgeskemaundersøgelserne, der danner baggrund for artiklerne i mit studie, kan siges at være repræsentative. Og så er det vel fint nok, at journalisterne generaliserer i 80 procent af artiklerne, tænker du sikkert. Men nej, for det er ikke de samme 80 procent – og dermed generaliserer journalisterne i en række tilfælde uden at have belæg for det.

Nu kan man jo tænke, at en lidt løs og hurtig generalisering næppe er et problemet, hvis nu historien ellers er god. Men det er det, for historien kan være forkert, og så ender journalisterne med at skaber fortællinger om virkeligheden, som forekommer at være veldokumenterede, men risikerer at være helt forkerte.

I min analyse finder jeg referencer til 18 ikke-repræsentative undersøgelser i artiklerne. Journalisterne generaliserer på baggrund af 12 af dem. Lad mig give et par konkrete eksempler:

»Ofre for voldtægt er blevet mere tilfredse med politiet« (Ritzau, 15. august, 2018). Belægget er en undersøgelse med blot 66 besvarelser. Det nævnes i undersøgelsen, at der kan være problemer med repræsentativiteten. Alligevel generaliserer journalisten.

Og her et andet eksempel fra den avis, du sidder og læser lige nu:

»78 procent af landets gigtpatienter med kroniske smerter er aldrig af egen læge eller en reumatolog blevet tilbudt alternativer til stærk smertemedicin« (Politiken, 17. marts, 2019). Belægget er en ny måling, Gigtforeningen har foretaget blandt 915 ikke-repræsentativt udvalgte gigtpatienter.

»Danske elever føler sig i en sådan grad pressede af karakterer« (Berlingske, 12-06-2018). Belægget er eleverne i 2. g på to danske gymnasier.

Man får let det indtryk, at journalisterne generaliserer per refleks. Men det modsatte forekommer også. I nogle tilfælde undlader journalisten at generalisere, selv om der faktisk er grundlag for at gøre det. Der bruges forsigtige formuleringer som »67 procent af de adspurgte, der stemte Leave i 2016, er parat til at ofre noget fremtidig økonomisk vækst for at gennemføre brexit«. og »Det mener et flertal af de adspurgte danskere i en ny måling«. Det er måske udtryk for et udvidet forsigtighedsprincip? Eller tvivl hos journalisten? Det fritager også journalisten for at forholde sig til eventuel statistisk usikkerhed.

Når journalister så hyppigt generaliserer, kunne man måske tro, at de samtidig tager højde for eller kommunikerer spørgeskemaundersøgelsernes statistiske usikkerhed. Men det sker ikke. Statistisk usikkerhed omtales kun i 4 procent af artiklerne. Repræsentativitet eller mangel på samme omtales i 9 procent af artiklerne. Den eneste metodeinformation, der jævnlig formidles, er antal svarpersoner (38 procent). Men det er jo – hvis det står alene – et særdeles tyndt grundlag at vurdere noget som helst ud fra.

Samtidig linkes der sjældent til undersøgelsen eller rapporten bag. I cirka 80 procent af mediernes analyserede online-artikler linkes der ikke. Det betyder, at formidlingen ikke er særlig transparent. Konsekvensen er, at det er nærmest umuligt for læseren at forholde sig til troværdigheden af påstandene. Det kræver i hvert fald et større detektivarbejde.

Cirka halvdelen af de kortlagte undersøgelser har en offentlig opdragsgiver. Det kan være en styrelse, et ministerium, et institut, et råd, et center eller en kommission. VIVE og Sundhedsstyrelsen er nogle af de hyppigste gæster i min aktuelle kortlægning. Ofte er der tale om meget solide undersøgelser, som medierne refererer med god grund. Det er bare pokkers svært for læseren selv at forholde sig til, hvis det holdes hemmeligt.

Men er mediernes formidling ikke blevet bedre, end den var engang? Vi har vel alle i nyere tid læst nyhedsartikler om meningsmålinger, hvor alle relevante metodeinformationer loyalt nævnes, og hvor journalisten tager højde for den statistiske usikkerhed? Jo, det er muligt, at det faktisk er blevet lidt bedre. Eksemplerne på det findes i hvert fald.

I Berlingskes artikel »Flere vil stemme Radikale end ved valget« (12. juni, 2018) kan man f.eks. læse, at:

»Forskellen på vælgertilslutningen til de to blokke er imidlertid så lille, at den ikke er statistisk signifikant. Ugens Barometertjek kan derfor ikke give et bud på, om regeringen eller oppositionen ville løbe med sejren ved et folketingsvalg.«

Det er klart formidlet. Men forudsætter, at læseren ved, hvad statistisk signifikans betyder. Tilbage står imidlertid, at medierne tilsyneladende har en ret inkonsistent formidlingspraksis. Hvis mediet selv har betalt for undersøgelsen, får læseren ofte alle relevante metodeinformationer og journalisten tager korrekt højde for usikkerheder. Her står journalisten på mål for målingen eller undersøgelsen. Når andre derimod betaler gildet, får vi som læsere ofte intet at vide, som kan guide os i forhold til at vurdere undersøgelsens troværdighed og styrke. Hvorfor denne inkonsistens? Hvorfor skal vi som læsere stole blindt på journalistens forklaringer og konklusioner?

Hvis medierne konsekvent brugte stærke og repræsentative undersøgelser som belæg for deres konklusioner, ville problemet måske være til at overse. Men sådan er virkeligheden ikke. Fik jeg nævnt artiklerne med overskrifterne: »Derfor græder vi mere på fly?« Eller »Faktisk er kun få af os curlingforældre?« Kan du på stående fod vurdere, om de bygger på troværdige og repræsentative undersøgelser? Næppe.

Dertil kommer, at knap 15 procent af de analyserede undersøgelser er betalt af private virksomheder. 25 procent er betalt af foreninger og interesseorganisationer. Skal vi stole på dem? Svaret er hverken selvindlysende eller entydigt. Men journalisterne kan hjælpe dig og mig. Og måske sig selv, hvis blot de gør en lille indsats. Det kræver, at de insisterer på ikke at fortælle gode historier, hvis de måske er forkerte. Og at journalisten faktisk er i stand til at finde ud af, om fundamentet for historien holder.

Sådan blev forskningsprojektet til

Kresten Roland Johansens undersøgelse bygger på en gennemgang af 200 artikler, der er repræsentativt udvalgt. Alle artikler i kortlægningen er fra 10 tilfældigt valgte dage i 2018 og 2019. Der knytter sig en statistisk usikkerhed på op til +- 9 procentpoint til delresultaterne.

I analysen indgår udelukkende artikler bragt i Information, Kristeligt Dagblad, B.T., Ekstra Bladet, Jyllands-Posten, Politiken og Berlingske.

Undersøgelsen kan læses i sin helhed i Kresten Roland Johansens kommende forskningsartikel ”Spørgeskemaundersøgelser i landsdækkende danske medier”.

Kresten Roland Johansen, Adjunkt i journalistik på DMJX