I Aftenposten i går sto det en artikkel om meningsmålinger. Det viser seg at det er et ganske selektivt utvalg som svarer på slike. For eksempel er det mange unge som ikke svarer. Og når mange ikke svarer, særlig om det er en skjev fordeling i befolkningen, vil meningsmålingene miste validitet. Vi kan rett og slett ikke stole på dem.
Så mange som 3/4 av de som ringes sier nei til å la seg intervjue. Og da i særlig grad unge.
Noen av årsakene som listes av bransjen er:
- Et stort antall intervjuer gjør at folk blir lei – summen av henvendelser blir høy
- Undersøkelsene oppleves ikke som interessante
- En negativ erfaring gjør ønsket om å stille om neste gang mindre
For egen regning kan jeg legge til at timingen til meningsmålingsinstituttene noen ganger virkelig suger. Her i huset ringte de torsdag kveld. Hadde det nå enda vært en kort undersøkelse om hva jeg hadde tenkt å stemme, så ville det vært ok. Men det var en 15 minutters (det ville garantert tatt lenger tid) undersøkelse om dagligvarer. Det skal være en kjedelig torsdags kveld i helvete for at jeg skal gidde det.
I følge Hans Petter Wøien, daglig leder i Norstat Norge, ligger svarprosenten mellom 10 og 40%. Meningsmålingsinstituttene bruker statistiske metoder for å kompensere, ved at de vekter for å få representative utvalg. Så om få unge svarer, så vekter de de unge som svarer høyere. Men problemet er der, uansett:
“Det avgjørende er ikke svarprosenten, men om det er en systematikk i hvem som nekter. Hvis bortfallet langt pÃ¥ vei er tilfeldig, er det ikke sÃ¥ stort problem om svarprosenten blir lav. Med synkende svarprosenter mÃ¥ en undersøke om utvalget en sitter igjen med blir skjevt.”
Ottar Hellevik, professor ved Institutt for statsvitenskap, Universitetet i Oslo
Det er mange tilleggsfeilkilder, sier han:
- Folk som svarer i meningsmålinger, blir påvirket av forutsetninger i spørsmålsformuleringen.
- Folk husker ofte feil på spørsmål om hva de mente eller stemte tidligere.
- Om de ikke husker feil, svarer noen uansett feil om hva de mente eller stemte tidligere, fordi de ønsker å fremstå som stødige og konsise overfor den som spør.
- Om de ikke har noen mening om saken, sier de seg ofte enige i en påstand likevel, fordi de nødig vil gi inntrykk av å mangle en mening.
- Om folk blir intervjuet ansikt til ansikt, pynter noen på svarene, for eksempel for å fremstå mindre kritiske, mer lovlydige eller mer vellykkede.
- Om folk stemmer på ett parti når telefonintervjueren ringer, har de ofte ombestemt seg på valgdagen i politiske målinger.
Det er fristende å si at vi kanskje skal glemme politiske meningsmålinger i det store og hele. De har jo en tendens til å få politikerne til å snu kappen etter vinden, i tillegg til alle feilkildene. Men om vi skal ha dem, så må vi være klare over at de ikke alltid gir et godt svar, til det er feilkildene mange.
En måte å løse problemet med at folk generelt skyr meningsmålingsinstituttene når de ringer, kan være å dele opp nummerne det ringes fra i ulike grupper:
- Politisk meningsmÃ¥ling – max 5 minutter
- Dagligvarer og annet
Jeg hadde nemlig brukt 5 minutter pÃ¥ den første, men ingen minutter pÃ¥ den andre. Ã… legge opp til undersøkelser som tar 15 minutter er dessuten veldig dumt – det er lang tid en torsdags kveld. Særlig ettersom det spørres om veldig mye, gjerne ting du verken har tatt stilling til eller gidder Ã¥ ta stilling til.
Politikerne bør konsentrere seg om politikken sin, og ikke så mye om meningsmålingene. De er ikke helt til å stole på, og dessuten ser jeg mer enn gjerne at de snur kappen noe mindre etter vinden.
Bransjen har ikke vært flink nok til å gi noe tilbake til folk. Det trenger ikke handle om penger og ting, men noe så enkelt som å få folk til å forstå hvorfor det er viktig at de deltar, sier Pål Listuen, feltdirektør i Ipsos MMI og styremedlem i Norsk Markedsanalyse Forening
De skal jobbe bra lenge med å overbevise meg om at det er viktig at jeg uttaler meg om dagligvarer i 15 minutter+. I hvert fall for andre enn deres oppdragsgiver.
Tror ikke det det er noe vits i for dagligvarekjedene heller. Det samme med disse “fokusgruppene”. Veldig spesielle mennesker som gidder Ã¥ være med pÃ¥ en kveld med synsing og prøving av mat, og til gjengjeld fÃ¥r du 500 kr og pizza.
F eks solgte de juice-biola før, men folk syntes visstnok at den ikke var søt nok og dessuten for dyr. De hadde naturligvis testet den ut på fokusgrupper. Men de som ville ønske å kjøpe noe sånt, en juice som er dyrere, vil være generelt interessert i sunn mat, ville nok ønske seg en juice som var mindre søt, som var gjæra mer. Hvertfall gjelder det de menneskene jeg kjenner som har en sykdom som gjør at de må spise mye melkesyrebakterier. De tåler jo heller ikke søtt.
En generell fokusgruppe vil ikke fange opp denne lille, men betalingsvillige gruppen.
Har mer sansen for Sonys gamle metode: Lag det dere har lyst på selv. Slik fikk vi walkman.
Og en annen ting når det gjelder disse telefonundersøkelsene: må de absolutt vite hvem som er eldst og hvor mye jeg tjener og alt det der dillet? Det tar jo evigheter.
Og spørsmålene er dumme. Nesten alltid.
Et eksempel: Ble spurt om gjenvinning. I tillegg hadde de masse spørsmål om hvorvidt jeg er impulsiv eller ikke? Og det var liksom flere spørsmål om det, slik at de skulle sjekke om vi snakka sant. Men jeg kan planlegge noe nøye i flere år og så plutselig gjøre noe annet fordi jeg lærer noe nytt. Det tror jeg mange kan. Jeg kan jobbe hardt mot ett mål i framtida, mens når det gjelder andre ting gidder jeg ikke legge to pinner i kors. Kommer an på saken.
Så sånne generelle spørsmål for å finne ut om jeg er impulsiv?