Derfor tager meningsmålingerne fejl gang på gang
more_vert
close
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.

Derfor tager meningsmålingerne fejl gang på gang

Meningsmålingerne forud for det britiske valg for en måned siden var uhørt unøjagtige – og forud for det israelske valg i marts og den skotske folkeafstemning om selvstændighed sidste år gik det også galt. På samme måde ender også exitpolls udført på selve valgdagen ofte som vildskud – DR’s ved kommunalvalget i 2013 endte f.eks. som en pinlighed.

Den amerikanske statistikguru Nate Silver, der blev verdensberømt for sine analyser op til det amerikanske præsidentvalg i 2012, konkluderede efter det britiske parlamentsvalg ligefrem, at verden har et meningsmålingsproblem.

Men hvordan er det kommet så vidt for en branche, der er baseret på den matematiske statistiks ubrydelige love? Før vi kommer til svaret, så lad os genopfriske matematikken.

Meningsmålingernes pålidelighed kan vurderes ud fra antallet af respondenter (n), målingens usikkerhed (y) og konfidensinterval (z) – disse tal er indbyrdes forbundne.

Spørger man alle vælgerne, og svarer de oprigtigt, så ved man med en usikkerhed på 0 pct. og et konfidensinterval på 100 pct., hvor mange der vil stemme rødt (r pct.).

Hvis man accepterer, at ud af 100 målinger skal ‘kun’ 95 indeholde det rigtige svar i intervallet r +/- 3 pct., kan man spørge langt færre. En sådan måling har et konfidensinterval på 95 pct. og en usikkerhed på 3 pct. Matematikken viser, vi kan nøjes med at spørge 1.067 personer.

Ifølge Danmarks Statistik kan 4.143.807 personer stemme ved folketingsvalget 18. juni. De 1.067 udgør en kvart promille heraf.

Hvis man med samme usikkerhed og konfidensinterval vil vide, hvordan 60.000 vælgere i en bestemt by vil sætte deres kryds, så kan man ikke nøjes med at spørge en kvart promille eller 15 personer, man er nødt til at spørge 1.048 personer eller næsten 2 pct.

Hvis man for hele landet vil mindske usikkerheden til 1 pct. og øge konfidensintervallet til 99 pct., skal man spørge 16.641 personer. Men det er også 16 gange så besværligt at få en sådan måling i stedet for den mere almindelige 3 pct./95 pct.-måling.

Den repræsentative gruppe

Alt dette er vel at mærke under den betingelse, at respondenterne udgør en repræsentativ gruppe med en sammensætning, der svarer til hele vælgerkorpset – og det er her, meningsmålingsproblemet opstår.

Den første meningsmåling ved et valg blev udført af avisen Harrisburg Pennsylvanian i 1824. Den forudsagde, at Andrew Jackson ville vinde over John Quincy Adams ved præsidentvalget. Jackson fik som forudsagt flest stemmer i daværende 24 stater, og han fik også flest delegerede i valgmandskollegiet. Han havde dog ikke absolut flertal i valgmands­kollegiet, da der var to andre kandidater, og Adams blev præsident.

Alt dette kunne man dog dårligt laste meningsmålingen. I årene derefter blev meningsmålinger mere og mere udbredte i USA.

Literary Digest begyndte med nationale målinger blandt sine læsere i 1916 og forudsagde udvalget af mange præsidentvalg helt korrekt.

I 1936 konkluderede Literary Digest på basis af 2,3 millioner personer, at Alf Landon ville slå Franklin D. Roosevelt. Sådan gik det dog ikke. Roosevelt vandt en overbevisende sejr med 61 pct. at stemmerne.

Literary Digest havde spurgt 10 millioner læsere, men ikke mindst, fordi de, som svarede, ikke udgjorde en repræsentativ gruppe, var forudsigelsen forkert. George Gallup lavede en undersøgelse med ‘kun’ 50.000 respondenter, der gav det korrekte resultat.

Også dengang havde meningsmålinger stor betydning. Literary Digest afgik ved døden i 1938, mens Gallup, der havde udvalgt en repræsentativ skare til sin undersøgelse og sendt personer ud for at indsamle data direkte ved personlig kontakt, stormede frem.

Gallups spørgeteknik var dyr, og meget hurtigt blev telefoninterviews den mest udbredte teknik.

Telefonabonnenter udgør dog ikke en repræsentativ gruppe, så de forskellige meningsmålingsbureauer måtte udvikle teknikker, der kunne kompensere herfor. Her begyndte matematikken for alvor at måtte vige for mere eller mindre velfunderede antagelser. Men med erfaring og justeringer var målingerne ofte præcise.

De webbaserede undersøgelser

I dag er web-undersøgelser baseret på paneler – som bl.a. undersøgelsen af, hvordan danske ingeniører vil stemme– blevet almindelige. De er hurtige og billige at gennemføre.

Læs også: GRAFIK: Sådan stemmer de danske ingeniører

De sidste dage op til det britiske valg blev der gennemført en stribe undersøgelser – de fleste online – der alle indikerede dødt løb mellem Konservative og Labour. Kun en telefonundersøgelse med 1.045 abonnenter dagen før valget var stort set identisk med valgresultatet.

Damian Lyons Lowe fra analysebureauet Survation turde dog ikke offentliggøre den.

»Jeg var en kylling; det er noget, jeg altid vil fortryde,« har han skrevet i et blogindlæg. Han konkluderer:

»Online-målinger kan bruges i mange sammenhænge, men te­le­fon­un­der­sø­gels­er vil være vores gyldne standard i fremtiden«.

Nate Silver bemærker, at undersøgelser også i USA har været holdt tilbage, så der har været en tendens til at opnå en falsk konsensus.

På den anden side har der i Danmark været kritik af, at medier har lagt for stor vægt på målinger, der afviger markant fra flertallet.

Det sidste ord får Nate Silver, der tager udgangspunkt i, at det er blevet sværere at kontakte vælgerne:

»Der kan være endnu sværere tider på vej for meningsmålings­branchen.«

Dem der sidder ved telefonerne tjener penge, analyseinstitutterne tjener penge og dem der bestiller analysen tjener penge.
De eneste der ikke tjener noget, er dem der leverer tid og data,...

-Så svar fra folk der har indset det, vil ofte mangle i analyserne.

  • 22
  • 0

ser dagligt meningsmålingerne i dr og politiken, hvor den ene siger 49,5/50,5 siger den anden 50,5/49,5. men med en fejl på +-3% er de jo ens!

Men dagens graverende fejl er ikke at analysere indenfor usikkerheden på tallene. Fejlen er: der laves ikke daglige interview med 1050 personer. Der laves kun interview med 350 personer og så samles der sammen over 3 dage.
Et reformforslag - eller en dumhed - fra et parti i dag tæller så først med om 3 dage.

  • 7
  • 0

ser dagligt meningsmålingerne i dr og politiken, hvor den ene siger 49,5/50,5 siger den anden 50,5/49,5. men med en fejl på +-3% er de jo ens!

Men dagens graverende fejl er ikke at analysere indenfor usikkerheden på tallene. Fejlen er: der laves ikke daglige interview med 1050 personer. Der laves kun interview med 350 personer og så samles der sammen over 3 dage.
Et reformforslag - eller en dumhed - fra et parti i dag tæller så først med om 3 dage.

At alle interviews ikke er indsamlet samme dag er en fordel, ikke en ulempe. Under en valgkamp sker tingene meget hurtigt og en dumhed eller reformforslag kan sætte dagsordenen en enkelt dag uden at have blivende effekt og ville derfor give et alt for erratisk billede. Og det er også en rimelig forventning at det man siger til et analyseinstitut er en del mere påvirket af den seneste dumhed/forslag end når man står nede i stemmeboksen, så en vis udglatning giver et bedre billede, selv på valgdagen. Hvis det påvirker det som respondenterne melder tre dage i træk må det formodes at have en blivende karakter.

Så det eneste man skal huske er at meningsmålingen ikker er en popularitetsmåling på gårsdagens medieoptræden men (et forsøg på) måling af hvad vælgerne rent faktisk ville stemme i valgboksen. Og det er vel strengt taget også formålet.

  • 4
  • 0

Jeg synes der må være legioner af fejlkilder i sådan noget.

For det første er der forskel på hvad folk siger de vil gøre, og så rent faktisk gør.

For det andet publikummet: Hvis der er andre til stede, vil nogen måske være utilpasse ved at indrømme at de vil stemme på DF eller SF. Så bliver der svaret noget andet på det.

Så er der feedback'et: Hvis man vakler mellem parti A og parti B, så ser man jo på hvor mange stemmer de har fået. Hvis så parti B er lidt bagud, vil man måske ændre sin stemme fra A til B - eller den anden vej, afhængig af omstændighederne.

Og hvis nu man synes man vil stemme på et af de dér småpartier, men hen mod slutningen ser at de ikke har en chance, så vil man måske stemme på et af de store i stedet for.

Meningsmålinger kan i bedste fald give et fingerpeg i en eller anden retning.

  • 7
  • 0

God artikel som journalisterne på de store omnibus medier burde læse for at få bare et rudimentært indblik i hvordan statistik fungerer. Jeg ser dagligt journalister skrive ting som "Rød blok står til at få 48.5% af stemmerne, men eftersom den statistiske usikkerhed er på 2 procent er det reelt umuligt at sige noget"

Ovenstående indeholder følgende indlysende fejl:
- Det ER muligt at sige noget fornuftigt, eftersom et kofidensinterval netop er en fordeling omkring en værdi. Med andre ord er det relativt usandsynligt at rød blok vil komme over 50% i ovenstående eksempel. Mange journalister ser ud til at tro at der er lige stor sandsynlighed for alle udfald i et givent interval.
- Der er ikke nævnt noget om at det er et 95% konfidens interval, og jeg tror faktisk aldrig jeg har set denne oplysning på et stort medie.
- Det er 2 procentpoint, ikke 2 procent.

Det sværeste ved meningsmlinger er, som artiklen påpeger, at spørge de rigtige for at få et repræsentativt svar. Men en næsten lige så svær disciplin er at få folk til at svare ærligt når man har fat i dem.

Spørger man alle vælgerne, og svarer de oprigtigt, så ved man med en usikkerhed på 0 pct. og et konfidensinterval på 100 pct., hvor mange der vil stemme rødt (r pct.).

Ovenstående er ikke nødvendigvis korrekt - der er mange der svarer noget andet end det de stemmer, eller har stemt. Det er for eksempel ikke usædvanligt at ekstreme partier er underrepræsenteret fordi folk ikke vil indrømme at de stemmer på dem. Desuden er der meget psykolig i hvordan et spørgsmål stilles, og det viser sig at være forbavsende svært at gøre det neutralt. Det første svar i et multiple choice svar vil f.eks. have en tendens til at være overrepræsenteret. Ligeledes vil man få divergerende svar alt efter om man spørger "er du enig i X", eller "er du uenig i det modsatte af X" fordi udsagnene psykologisk set er ladet forskelligt selvom de logisk set er de samme.

Statistisk er svært....

  • 7
  • 0

Er nye partier sværere at forudsige end etablerede?
Det kunne jo være at afvigelsen mellem meningsmålingen og selve krydset er større for partier som ikke har deres skare fastholdt i årtier, og dermed vil der komme en bias eller mindst en større usikkerhed i billedet.

  • 1
  • 0

Tilbage ved Folketingsvalget i 1998 havde TV2 AIM/ACNielsen som leverandør af en exitpoll og DR havde Gallup. Begge havde bestilt en exitpoll, men TV2 ville ikke vente med resultatet til slutningen på afstemningen kl. 20.00. Det var svært for leverandøren at levere, så de foreslog, at man lavede en dobbelt så stor sample dagen før. Med andre ord var kun 1/3 af den såkaldte "exitpoll" en ægte exitpoll, hvor folk havde stemt allerede. Totalsample var godt 3000, så størrelsen var egentlig fin - men det var ikke en rigtig exitpoll.
Gallup skulle først levere senere, da DR dengang havde moral nok til ikke at offentliggøre en exitpoll før afstemningen var lukket. De lavede en lige så stor sample, men som ægte exitpoll.
De to målinger var basis for de prognoser, som blev anvendt hele aftenen på de to stationer. TV2 sagde, at Uffe Ellemann ville blive ny statsminister, DR fastholdt Poul Nyrup.
De statistikkyndige valgeksperter, som sad hos DR, så TV2s såkaldte exitpoll og så et udsving i forhold til dagen før, hvor Ellemann ville vinde klart. Hvis det udsving kun kom fra en tredjedel af sample, måtte det være 3 gange så stort i den nye del af sample. Man sad på nåle og ventede ved faxen på resultatet fra Gallup. Ganske rigtigt, et sidste øjebliks udspil fra Nyrup om lejernes situation under en borgerlig regering havde flyttet mange stemmer.
Moralen er, at man ikke må bruge flere dages dataindsamling til at skabe et øjebliksbillede, som den sidste måling skal være. Man kan bruge flere dage, når det drejer sig om længere tendenser - eksempelvis undervejs i perioden - men aldrig til slut i forløbet.
ACNielsen var ikke længere leverandør til TV2 efter den fadæse. DR fortsatte med Gallup en rum tid endnu.

  • 9
  • 0

Men en næsten lige så svær disciplin er at få folk til at svare ærligt når man har fat i dem.

En del af mit statistikkursus på uni var rent faktisk at besøge respondenter og lave den slags interviews som i analyseinstitutter laves over telefon og internet, hvilket var en øjenåbner for psykologien i interviewsituationen. Det overordnede emne var børnefamilier og hvad der i dag ville blive kaldt work life balance.

Der var to spørgsmål som kom ret tæt på hinanden i interviewet, som nogenlunde lød sådan:

"Føler du at det nogen gange er svært at få pengene til at slå til?"

og

"Hvad er jeres husstandsindkomst om året?"

I hvilken rækkefølge lige præcist de spørgsmål blev stillet havde afgørende indflydelse på svaret på det første (jo højere på indkomstskalaen man lige har svaret at man ligger, jo sværere er det at indrømme at man har svært ved at få økonomien til at slå til) og er sjovt nok ikke en overvejelse jeg ellers har stødt på i vejledninger til udformning af spørgeskemaer. Subjektive spørgsmål hvis svar kræver en vurdering vil jeg som udgangspunkt altid sætte før faktuelle spørgsmål, da svar på subjektive spørgsmål er langt mere påvirkelige af faktuelle end omvendt. Ofte gøres det modsatte for at man kan lave demografisk frafaldsanalyse af dem, der kun får svaret på de første spørgsmål.

Der var et andet spørgsmål, som var et blandt flere som forsøgte at finde ud af hvilken betydning børn havde for de aktiviteter som parrene foretog sig (gik de mindre i biografen, ud og spise, til fester), men som havde en uheldig formulering:

"Hvilken aktivitet foretrækker du at lave med din partner hvis børnene ikke er til stede?"

"Øh, en biograftur" var det hyppigst fremstammede svar vi fik hvilket tydeligvis var løgn.

  • 13
  • 0

Man kan vel også forestille sig, at der er nogen, der bevist svarer forkert. Vedkomne er utilfreds med hvad A har foretaget sig den sidste valgperiode (politisk hukommelse er dog en sjælden ting), og vil gøre opmærksom på dette ved at svare B. Men i valgboksen svigter modet til at stemme B, hvorfor A igen få stemmen.

  • 2
  • 0

Man kan vel også forestille sig, at der er nogen, der bevist svarer forkert. Vedkomne er utilfreds med hvad A har foretaget sig den sidste valgperiode (politisk hukommelse er dog en sjælden ting), og vil gøre opmærksom på dette ved at svare B. Men i valgboksen svigter modet til at stemme B, hvorfor A igen få stemmen.

Eller hvis man virkelig vil lave rav i den: Påstår at man stemte A ved sidste valg og stemmer B ved denne.

En trofast DF´er vil f.eks. kunne påstå af hun stemte konservativt ved seneste valg og vil stemme DF ved dette. Hun vil være en af måske 40 af de interviewede, som vil stå som tidligere konservative vælgere som bare ved hendes udsagn så har mistet 2,5% af deres vælgere til DF og påvirke de konservatives opbakning i målingen relativt kraftigt nedad i forhold til hvis hun havde sagt af hun også stemte DF ved sidste valg.

  • 6
  • 0

Er det Belgien, der er så oplyst et land, at man der har forbudt alle meningsmålinger fra det øjeblik, hvor valget bliver udskrevet? Det burde vi også gøre her til lands.

Det ville give os valgkampe, der var langt mere spændende og uforudsigelige end i dag, hvor en usympatisk jagt på marginalvælgere er det, der præger billedet. Sikke nogle gode debatter vi ville få i stedet for den omgang billig populisme de seneste valgkampe har udviklet sig til.

Men de mange meningsmålingsinstitutter, der lever deraf, samt medier og popularitetssøgende politikere vil naturligvis være imod.

  • 12
  • 0

I Tyskland ender (eller gjorde det i det mindste i de "gamle dage") valgkampen tre dage inden valget. Plakaterne bliver selvfølgelig hængende, men der kommer ingen nye meningsmålinger, ingen tv-spots og ingen debatter.

En anden forskel er at det er ikke kun tre uger med valgkamp efter den siddende statsminister trykker på den kendte knap, fordi valgdatoen er kendt og bliver stort set altid overholdt. Westerwelle sagde en gang, valgkampen starter med det første statement efter exit polls...

  • 6
  • 0