Effektstudier, skråsikkerhet og skivebom

I reportasjen «Sentrale utdanningsforskere vil ha slutt på Hattie-forenklinger i skoledebatten» i Utdanning 7/2017 hevdes det at medisinsk forskning med sine randomiserte kontrollerte forsøk (RCT) er i en tillitskrise. Medisinsk forskning har jo på mange måter vært forbilde for forskningen på flere andre felt også.

Nå viser det seg imidlertid at «det som har vært ansett som viktige forskningsfunn, ikke lar seg reprodusere i nye studier» og «forskningen er langt mer feilbarlig enn mange har likt å tro». Det refereres til professor John Ioannidis som i en artikkel fra 2005 sier: «Det kan bevises at flertallet av forskningsfunn er feil». Grunnen til dette er «svake metoder» og at «det er blitt viktigere å publisere nye og spennende funn enn å sjekke om tidligere funn faktisk stemmer». Funn innen psykologisk forskning har også vist seg å være problematiske. Men det verste er at «forskere som har gjort karrière på en spesifikk teori, vil (…) fortsette å publisere artikler om den selv når bevisene viser at teorien er feil» (Ioannidis 2010).

Det interessante er at også utdanningsforskningen synes å være i en lignende situasjon. Det hevder i alle fall professorene Monica Melby-Lervåg og Arne Lervåg ved Universitetet i Oslo. I reportasjen sies det at de to mener «problemet kan være vel så stort innen utdanningsforskningen». En studie har vist at «kun 0,13 prosent av studiene i de beste forskningstidsskriftene på utdanningsfeltet er replikasjonsstudier» (som kan bekrefte eller avkrefte funn fra førstestudien). For ofte er det slik at «et funn fra en førstestudie viser seg å være feil når andre forskere forsøker å gjenta eksperimentet». Men slike replikasjonsstudier har ikke særlig høy prestisje i forskningsmiljøene. Slik blir funn ofte til «forskningsbaserte sannheter» som kan infisere senere metaanalyser. Velkontrollerte undersøkelser (for eksempel RCT) vil ofte gi lavere effektstørrelser, og kan slik risikere ikke å bli regnet med i forskning som for eksempel Hatties.

Derfor er det overraskende at Melby-Lervåg og Lervåg går så høyt ut på banen i innspillet «Skivebom fra Handal og Utdanningsforbundet om effektstudier» i samme nummer av Utdanning.

De hevder at effektstudier er en «svært viktig metode» for kunnskapsinnhenting, de kan hjelpe oss til «å studere årsaksforhold» og belyse om de tiltak vi setter inn «fører til læring hos barna». Selv om det er svakheter også ved denne forskningen, «er denne type undersøkelser faktisk det beste vi har for å få en forståelse av årsaksforhold knyttet til hva som påvirker barns læring og utvikling og hvordan vi kan fremme dette». Men den største utfordringen, ifølge forfatterne, er «å ta i bruk kunnskapen vi har fra denne typen undersøkelser». Ja, det er visstnok «en avgrunn» mellom forskningsresultatene og det som skjer på grasrotplanet i skolen. Funn som ville ha beriket praksis, blir ikke tatt i bruk. Derfor blir ikke lærerne tatt alvorlig som profesjon og går dermed glipp av den respekten som forfatterne mener de fortjener.

Dette reiser en del spørsmål. Hvordan skal lærere vite hva som er pålitelige og ikke pålitelige effektstudier? Følger det med et tydelig kvalitetsstempel i forskningslitteraturen på resultater som er sikret gjennom replikasjonsstudier? Bør man ikke være forsiktig med å ta i bruk resultater fra slike studier i skolens praksis, inntil forskersamfunnet har ordnet opp i eget hus og kvalitetssikret sine resultater? Kanskje mangelen på replikasjonsstudier er nok i seg selv til at lærere er skeptiske? En trenger ikke kvalitativ forskning i tillegg for å forklare motstanden. Hva hjelper det at effektstudier er det beste vi har, hvis de ikke er gode nok?

Da blir det også litt absurd å anklage Handal og Utdanningsforbundet for ikke sterkt nok å anbefale medlemmene å implementere resultatene fra effektstudier i deres egen praksis. I verste fall kan det være bare 0,13 prosent av utdanningsforskningen som det er grunn til å feste full lit til. Hva med de 99,87 prosent som ikke er kvalitetssikret gjennom replikasjonsstudier? Hvem er det som har størst grunn til å vise ydmykhet og tilbakeholdenhet?