Derfor tager meningsmålingerne fejl gang på gang
more_vert
close
close

Vores nyhedsbreve

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser og accepterer, at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.

Derfor tager meningsmålingerne fejl gang på gang

Meningsmålingerne forud for det britiske valg for en måned siden var uhørt unøjagtige – og forud for det israelske valg i marts og den skotske folkeafstemning om selvstændighed sidste år gik det også galt. På samme måde ender også exitpolls udført på selve valgdagen ofte som vildskud – DR’s ved kommunalvalget i 2013 endte f.eks. som en pinlighed.

Den amerikanske statistikguru Nate Silver, der blev verdensberømt for sine analyser op til det amerikanske præsidentvalg i 2012, konkluderede efter det britiske parlamentsvalg ligefrem, at verden har et meningsmålingsproblem.

Men hvordan er det kommet så vidt for en branche, der er baseret på den matematiske statistiks ubrydelige love? Før vi kommer til svaret, så lad os genopfriske matematikken.

Meningsmålingernes pålidelighed kan vurderes ud fra antallet af respondenter (n), målingens usikkerhed (y) og konfidensinterval (z) – disse tal er indbyrdes forbundne.

Spørger man alle vælgerne, og svarer de oprigtigt, så ved man med en usikkerhed på 0 pct. og et konfidensinterval på 100 pct., hvor mange der vil stemme rødt (r pct.).

Hvis man accepterer, at ud af 100 målinger skal ‘kun’ 95 indeholde det rigtige svar i intervallet r +/- 3 pct., kan man spørge langt færre. En sådan måling har et konfidensinterval på 95 pct. og en usikkerhed på 3 pct. Matematikken viser, vi kan nøjes med at spørge 1.067 personer.

Ifølge Danmarks Statistik kan 4.143.807 personer stemme ved folketingsvalget 18. juni. De 1.067 udgør en kvart promille heraf.

Hvis man med samme usikkerhed og konfidensinterval vil vide, hvordan 60.000 vælgere i en bestemt by vil sætte deres kryds, så kan man ikke nøjes med at spørge en kvart promille eller 15 personer, man er nødt til at spørge 1.048 personer eller næsten 2 pct.

**Ingeniøren følger valgkampen.** Vi tjekker regeringsgrundlaget. Vi tjekker fakta på de sager, vi løbende dækker. Og så bringer vi resultaterne af en række spørgeundersøgelser blandt danske ingeniører.

Hvis man for hele landet vil mindske usikkerheden til 1 pct. og øge konfidensintervallet til 99 pct., skal man spørge 16.641 personer. Men det er også 16 gange så besværligt at få en sådan måling i stedet for den mere almindelige 3 pct./95 pct.-måling.

Den repræsentative gruppe

Alt dette er vel at mærke under den betingelse, at respondenterne udgør en repræsentativ gruppe med en sammensætning, der svarer til hele vælgerkorpset – og det er her, meningsmålingsproblemet opstår.

Den første meningsmåling ved et valg blev udført af avisen Harrisburg Pennsylvanian i 1824. Den forudsagde, at Andrew Jackson ville vinde over John Quincy Adams ved præsidentvalget. Jackson fik som forudsagt flest stemmer i daværende 24 stater, og han fik også flest delegerede i valgmandskollegiet. Han havde dog ikke absolut flertal i valgmands­kollegiet, da der var to andre kandidater, og Adams blev præsident.

Alt dette kunne man dog dårligt laste meningsmålingen. I årene derefter blev meningsmålinger mere og mere udbredte i USA.

Literary Digest begyndte med nationale målinger blandt sine læsere i 1916 og forudsagde udvalget af mange præsidentvalg helt korrekt.

I 1936 konkluderede Literary Digest på basis af 2,3 millioner personer, at Alf Landon ville slå Franklin D. Roosevelt. Sådan gik det dog ikke. Roosevelt vandt en overbevisende sejr med 61 pct. at stemmerne.

Literary Digest havde spurgt 10 millioner læsere, men ikke mindst, fordi de, som svarede, ikke udgjorde en repræsentativ gruppe, var forudsigelsen forkert. George Gallup lavede en undersøgelse med ‘kun’ 50.000 respondenter, der gav det korrekte resultat.

Også dengang havde meningsmålinger stor betydning. Literary Digest afgik ved døden i 1938, mens Gallup, der havde udvalgt en repræsentativ skare til sin undersøgelse og sendt personer ud for at indsamle data direkte ved personlig kontakt, stormede frem.

Gallups spørgeteknik var dyr, og meget hurtigt blev telefoninterviews den mest udbredte teknik.

Telefonabonnenter udgør dog ikke en repræsentativ gruppe, så de forskellige meningsmålingsbureauer måtte udvikle teknikker, der kunne kompensere herfor. Her begyndte matematikken for alvor at måtte vige for mere eller mindre velfunderede antagelser. Men med erfaring og justeringer var målingerne ofte præcise.

De webbaserede undersøgelser

I dag er web-undersøgelser baseret på paneler – som bl.a. undersøgelsen af, hvordan danske ingeniører vil stemme– blevet almindelige. De er hurtige og billige at gennemføre.

Læs også: GRAFIK: Sådan stemmer de danske ingeniører

De sidste dage op til det britiske valg blev der gennemført en stribe undersøgelser – de fleste online – der alle indikerede dødt løb mellem Konservative og Labour. Kun en telefonundersøgelse med 1.045 abonnenter dagen før valget var stort set identisk med valgresultatet.

Damian Lyons Lowe fra analysebureauet Survation turde dog ikke offentliggøre den.

»Jeg var en kylling; det er noget, jeg altid vil fortryde,« har han skrevet i et blogindlæg. Han konkluderer:

»Online-målinger kan bruges i mange sammenhænge, men te­le­fon­un­der­sø­gels­er vil være vores gyldne standard i fremtiden«.

Nate Silver bemærker, at undersøgelser også i USA har været holdt tilbage, så der har været en tendens til at opnå en falsk konsensus.

På den anden side har der i Danmark været kritik af, at medier har lagt for stor vægt på målinger, der afviger markant fra flertallet.

Det sidste ord får Nate Silver, der tager udgangspunkt i, at det er blevet sværere at kontakte vælgerne:

»Der kan være endnu sværere tider på vej for meningsmålings­branchen.«

Dem der sidder ved telefonerne tjener penge, analyseinstitutterne tjener penge og dem der bestiller analysen tjener penge.
De eneste der ikke tjener noget, er dem der leverer tid og data,...

-Så svar fra folk der har indset det, vil ofte mangle i analyserne.

  • 22
  • 0

ser dagligt meningsmålingerne i dr og politiken, hvor den ene siger 49,5/50,5 siger den anden 50,5/49,5. men med en fejl på +-3% er de jo ens!

Men dagens graverende fejl er ikke at analysere indenfor usikkerheden på tallene. Fejlen er: der laves ikke daglige interview med 1050 personer. Der laves kun interview med 350 personer og så samles der sammen over 3 dage.
Et reformforslag - eller en dumhed - fra et parti i dag tæller så først med om 3 dage.

  • 7
  • 0

ser dagligt meningsmålingerne i dr og politiken, hvor den ene siger 49,5/50,5 siger den anden 50,5/49,5. men med en fejl på +-3% er de jo ens!

Men dagens graverende fejl er ikke at analysere indenfor usikkerheden på tallene. Fejlen er: der laves ikke daglige interview med 1050 personer. Der laves kun interview med 350 personer og så samles der sammen over 3 dage.
Et reformforslag - eller en dumhed - fra et parti i dag tæller så først med om 3 dage.

At alle interviews ikke er indsamlet samme dag er en fordel, ikke en ulempe. Under en valgkamp sker tingene meget hurtigt og en dumhed eller reformforslag kan sætte dagsordenen en enkelt dag uden at have blivende effekt og ville derfor give et alt for erratisk billede. Og det er også en rimelig forventning at det man siger til et analyseinstitut er en del mere påvirket af den seneste dumhed/forslag end når man står nede i stemmeboksen, så en vis udglatning giver et bedre billede, selv på valgdagen. Hvis det påvirker det som respondenterne melder tre dage i træk må det formodes at have en blivende karakter.

Så det eneste man skal huske er at meningsmålingen ikker er en popularitetsmåling på gårsdagens medieoptræden men (et forsøg på) måling af hvad vælgerne rent faktisk ville stemme i valgboksen. Og det er vel strengt taget også formålet.

  • 4
  • 0