Når ikke-forskere skal vurdere forskning

Forskningsbasering i profesjonsutøvelse og profesjonsutdanning har blitt mye diskutert de siste årene. Betydningen av kritisk tenkning og kritisk refleksjon har også lenge blitt fremhevet som sentralt i utdanning, og stadig oftere også for profesjonsutdanninger. Interessant nok ser vi i nyere rammeplaner for flere profesjonsutdanninger at disse to formålene, forskningsbasering og kritisk tenkning, blir slått sammen i ett ideal: Studentene skal øves opp til kritisk refleksjon over forskning. 

Men er dette så uproblematisk som det først kan virke?

I denne artikkelen spør vi hvorvidt det er mulig å øve opp profesjonsstudenter til kritisk refleksjon over og vurdering av forskning. [Se note 1] Lærerprofesjonen er vårt primære eksempel, men mange av resonnementene vil også ha gyldighet i andre profesjoner.

Dokumenter og bakgrunn

I sentrale norske offentlige dokument om profesjonsutdanninger er det flere eksempler på at vekten på forskningsorientering og vekten på kritisk tenkning/refleksjon (vi bruker disse i samme betydning) blir slått sammen. I Forskrift om rammeplan for grunnskolelærerutdanning for trinn 1–7 heter det at en utdannet kandidat «kan analysere og forholde seg kritisk til nasjonal og internasjonal forskning og anvende denne kunnskapen i profesjonsutøvelsen».

I tilsvarende rammeplan for trinn 8–13 er det lignende formuleringer: Kandidaten «kan orientere seg i faglitteratur, analysere og forholde seg kritisk til informasjonskilder og eksisterende teorier innenfor fagområdene». Idealet om kritisk vurdering av forskning er også tydelig uttrykt i de lengre og tradisjonelt sett tyngre profesjonsutdanningene, som psykologi og medisin. Derimot finner vi det ikke, i alle fall ikke like tydelig, i rammeplanen for barnehagelærerutdanningen. Her er det mer kritisk refleksjon over egen praksis som fremheves.

Vi finner det samme idealet om kompetanse i kritisk refleksjon over forskning også andre steder, som i en innflytelsesrik undersøkelse av forskningens rolle i lærerprofesjonen (BERA-RSA) . 

I sluttrapporten deres argumenteres det for at alle lærere bør bli «forskningslitterate» («research literate»). Forskning skal bli en naturlig del av deres identitet og praksis: De skal ikke bare forstå hvorfor forskning er viktig, men også selv kunne kritisk vurdere forskning (Furlong mfl., 2014). Både lærere og lærerutdannere må altså engasjere seg i og bli intelligente brukere av forskning, og holde seg oppdatert på den siste utviklingen både innen sitt undervisningsfag og innen utdanningsforskning. Men er dette realistisk?

Et pessimistisk syn

Hovedpoenget i en pessimistisk tilnærming til dette er at moderne forskning nå er så spesialisert at det er urealistisk (og uklokt!) å forvente at vi skal kunne ta selvstendig stilling til forskning (Hardwig, 1985, 1991). Vi må i stedet basere oss på tillit til forskningen.

Hardwig (1985) tar utgangspunkt i en hverdagslig observasjon: Som individ vet jeg mange ting uten selv å ha direkte belegg for det. For eksempel vet jeg at røyking kan føre til kreft, men jeg vet fint lite om hva dette er basert på. I noen tilfeller vet jeg hvordan jeg skulle gått frem for å skaffe til veie belegg, men livet er for kort til at jeg kan gjøre det i særlig mange tilfeller. Som oftest har jeg ikke annet valg enn å stole på de som har undersøkt saken langt grundigere enn jeg har tid, evner eller kompetanse til.

Hardwig mener at dette ikke er irrasjonelt: Vi kan ha gode grunner for å tro en bestemt ting (at røyking er farlig) dersom det er grunn til å tro at andre har gode begrunnelser (forskerne har belegg for at røyking er farlig). I noen tilfeller er det rasjonelt å avstå fra å tenke selv og heller lytte til eksperter. Selvstendig vurdering vil føre til at jeg får flere feilaktige oppfatninger enn hvis jeg «ukritisk» overtar oppfatningene til de som vet bedre. 

For eksempel valgte mange under koronaepidemien å stole på de medisinske ekspertene som anbefalte vaksiner, fordi de antok at deres egne medisinske vurderinger var dårligere. Dette gjelder også innenfor et fagfelt: Selv professorer er lekfolk så fort de beveger seg utenfor sin egen snevre kompetanse.

Å tro at vi alle skal være intellektuelt autonome og stole på egne vurderinger, er ifølge Hardwig et urealistisk romantisk ideal, som dessuten leder til mindre kunnskap. Praksiser, fag og samfunnet generelt er avhengig av kollektiv kunnskapsoppbygging. Hver enkelt kan ikke finne opp kruttet på nytt – vi er dypt avhengige av hverandre. Man må ha tillit til og overta kunnskapen som er bygd opp, vi har verken tid eller kompetanse til å vurdere alt selv.

Ut fra et slikt pessimistisk syn er det verken realistisk eller ønskelig at man i profesjonsutdanning skal sette opp et ideal om kritisk refleksjon over forskning. For de fleste profesjonsutøvere er det ikke sannsynlig at de vil utvikle forskningskompetanse i en slik grad at sjansen for å oppnå kunnskap ved kritisk refleksjon over forskning er større enn ved ukritisk aksept av forskerflertallets synspunkt. 

Dette har selvfølgelig ikke noe å gjøre med intelligensen til profesjonsutøvere, men skyldes den utstrakte spesialiseringen i moderne forskning. Hvis profesjonelle ble opplært til å være fullt kompetente innen alle relevante forskningsmetoder og forskningsfelt, kunne det muligens vært ønskelig at de selv vurderte forskningen kritisk, men det er ikke realistisk.

I profesjonsutdanninger som lærerutdanningen bør derfor målet ikke være å lære studentene å kritisk vurdere forskningen. Det er mer realistisk å lære studenter å forstå forskningen og vurdere dens implikasjoner for praksis.

Et mer optimistisk syn

Ifølge en optimistisk tilnærming har vi derimot relativt lett tilgjengelige strategier for å ta stilling til forskning. Selv om det kan være vanskelig for lekfolk å ta direkte stilling til kompleks, moderne forskning, finnes det andre, mer indirekte måter å kritisk vurdere forskning på. Profesjonsstudenter kan kanskje ikke lære å kritisk vurdere forskningens innhold, men de kan lære kritisk refleksjon over hvilke forskere de bør ha tillit til.

«Forskningslitterasitet» blir altså en andreordens vurdering av vitenskapelige resultater: Jeg kan stole på forskningen fordi jeg stoler på den som har utført forskningen. Selv en professor kan ikke alltid vurdere forskning utenfor sitt eget smale felt, men hun vil sannsynligvis likevel være en bedre metaekspert. 

En professor kjenner systemet, vet hvilke tidsskrift og universiteter som er pålitelige, har kanskje en rimelig treffsikker forståelse av overflatiske indikatorer på kvalitet, for eksempel språkføring. Dette er ikke bombesikre indikatorer på at forskningen virkelig er bra, men de er likevel bedre enn ingenting.

Et mål for profesjonsutdanningene kan derfor være å utvikle «metaekspertise»: å lære studentene hvilke eksperter de bør stole på. Men hvordan gjør man det? Elizabeth Anderson (2011) foreslår fire kriterier som vanlige borgere kan bruke for å vurdere påliteligheten av forskning:

a) meritter (f.eks. utdanning, institusjon og tidsskrift)

b) ærlighet (f.eks. interessekonflikter)

c) epistemisk ansvarlighet (f.eks. fagfellevurdering)

d) konsensus (f.eks. oversiktsartikler som oppsummerer forskningen)

Selv om Andersons kriterier er et lovende utgangspunkt for hvordan man kan øve opp også profesjonsstudenters evne til andreordens vurdering av vitenskap, vil vi gjerne bemerke at det ikke er fullt så lett å anvende dem som Anderson optimistisk tenker seg. De kan være vanskelige å anvende for dem som ikke selv er eksperter, og de er ikke alltid tilstrekkelige for å avgjøre hvem en skal ha tillit til. 

For eksempel har vi sett flere eksempler på at forskning fra veletablerte forskere i anerkjente tidsskrift likevel har vist seg å ha alvorlige mangler. I Norge er Sudbø-saken det mest kjente eksempelet, hvor en anerkjent professor ble avslørt i å ha fabrikkert forskningsresultater. Det er heller ikke alltid så lett å avgjøre hvilke meritter som er relevante: Er for eksempel en klimafornekter med vitenskapelig bakgrunn fra fysikk eller kjemi en ekspert på klima, eller er han eller hun utenfor sitt eget fagfelt?

En gyllen middelvei

Hvorfor trenger vi en middelvei? Den pessimistiske tilnærmingen kan virke for hard når den tegner opp et skarpt skille mellom eksperter og ikke-eksperter, mellom forskere og lekfolk. Det er relativt udiskutabelt at ikke alle kan regne seg som eksperter på kvantefysikk, men på mange andre områder er overgangene mer gradvise: fra innenfor til utenfor, fra forskere til lekfolk (Lane, 2014). Profesjonsutøvere, med sin erfaring og utdannelse, er et godt eksempel på noen som befinner seg i disse gråsonene.

På den andre siden kan den optimistiske tilnærmingen kritiseres for å overvurdere vår evne til å identifisere de beste ekspertene og forskerne. Andrehåndsvurdering er i mange tilfeller så krevende at man allerede må være ekspert selv for å vite hvilke forskere man kan stole på. For eksempel vil det være nær umulig hvis man ikke er ekspert selv, å vite om «Journal of X» er bedre enn «Journal of Y» innen et fagfelt. Dette problemet blir enda mer prekært når det ser ut til å være uenighet blant forskerne.

På bakgrunn av dette hevder vi at den pessimistiske tilnærmingen er for pessimistisk og den optimistiske for optimistisk. Som mellomvei holder vi frem metodekompetanse som en måte profesjonsutøvere kan ta informert stilling til forskning på, også innenfor felt hvor de selv ikke har spesiell ekspertise. Dette er ingen universalnøkkel, men likevel det beste vi kan håpe på.

Hva bør profesjonsutøvere kunne om forskning?

Det ideelle svaret på hva profesjonsutøvere bør kunne om forskning, er selvsagt «mest mulig», og aller helst når det gjelder forskning på eget fagområde. Samtidig er det mer realistiske svaret at profesjonsutøvere kan komme langt ved å lære seg noen viktige spørsmål som man bør stille til forskningen som profesjonsutøvelsen er basert på. Vi skal nå gi eksempler på noen sentrale metodiske spørsmål som kan være viktige for å kunne vurdere forskning. [Se note 2]

Et første spørsmål er hvorvidt dataene som er brukt, er egnet til å svare på det man lurer på. 

En tommelfingerregel er at kvantitative data ofte er nødvendig dersom man ønsker å si noe om omfang eller utbredelse, og dersom man ønsker å si noe om forskjeller mellom grupper som vil gjelde utover det utvalget man har undersøkt. 

Hvis forskningen for eksempel skal beskrive forskjeller i hva mannlige og kvinnelige lærere tenker om å slutte i yrket, kan man vanskelig konkludere om kvinnelige og mannlige lærere generelt ut fra kvalitative intervjuer med fem kvinnelige og fem mannlige lærere. De ti som forskeren har snakket med, er ofte ikke typiske for kvinner og menn generelt. En slik undersøkelse sier også lite om hvor mange som slutter som lærer.

Kvalitative data er særlig egnet hvis man ønsker å beskrive karaktertrekk, egenskaper eller kvaliteter ved et fenomen (Malterud, 2002). 

Med kvalitative data kan man utforske områder der det finnes lite kunnskap, og få frem mangfold og nyanser. For eksempel kan fokusgruppeintervjuer gi innsikt i hvordan lærere som slutter i yrket selv begrunner valget sitt. Dybdeintervjuer kan gi større forståelse av hvordan lærere som har opplevd vold i skolehverdagen, har blitt påvirket i utførelsen av yrket. Til slutt kan observasjon i klasserommet gi informasjon om samhandlingen mellom elever og lærere som vanskelig kan fanges i et spørreskjema. Malterud (2003) foreslår relevans, validitet og refleksivitet som sentrale kriterier man bør anvende for å vurdere kvalitative studier. Det betyr blant annet at man må vurdere om metoden som er brukt, er egnet til å svare på spørsmålet som stilles, hvorvidt utvalgets sammensetning kan ha hatt betydning for svarene man har fått, og om forskerens rolle og tolkning påvirket funnene.

Registerdata gir presis informasjon om hvor mange som slutter, og er dermed velegnet til å si noe om utbredelse og forskjeller mellom grupper. 

Slike data hentes fra offisielle registre som skatt- og arbeidstakerregistre. I likhet med mange kvantitative datakilder er imidlertid registerdata lite egnet til å si noe om årsaker, og de gir lite dybdekunnskap.

En kvantitativ spørreundersøkelse gir mulighet til å spørre lærerne selv om årsaker til at de vurderer å slutte, og kan også gi en del informasjon om utbredelse og forskjeller mellom grupper, dersom man lykkes med å få nok lærere til å svare. Men spørreskjemadata har også begrensninger når man vil konkludere om årsaker – som vi skal se, er det lett å finne statistiske sammenhenger, men vanskeligere å konkludere om årsak.

Data fra eksperimenter eller kvasieksperimenter er ofte mest velegnet til å si noe om årsak. Dersom elevene fordeles vilkårlig i to klasser som får ulik opplæring i matematikk, kan vi konkludere rimelig sikkert med at det var opplæringsformen som gjorde utslag, så lenge vi har sikre mål for prestasjonene før og etter eksperimentet. Eksperimenter vil imidlertid ofte være vanskelig gjennomførbare eller etisk utfordrende, og man kan også spørre hvorvidt resultatene alltid er overførbare til andre situasjoner. Trolig vil både lærere og elever påvirkes av at de vet at de er med i et eksperiment.

Som vi har sett, vil alle former for forskningsdata innebære begrensninger i hva man kan si noe om. For å kunne vurdere forskning er det viktigste spørsmålet hvorvidt dataene er egnet til å svare på akkurat det spørsmålet man bruker forskningen til. Vi må også vurdere om konklusjonene som trekkes, er edruelige, i den betydning at man ikke trekker videre eller mer skråsikre konklusjoner enn det er grunnlag for.

Profesjonsutøvere og andre som vil finne svaret på hva som er den beste praksisen, vil ofte ønske seg svar som forteller om årsaksforhold (kausalitet) når de vender seg til forskningen. Lærer elevene mer med en ny opplæringsmetode? Fører økt lærertetthet til bedre trivsel? Virker mobbeprogrammene? Å lære seg å være kritisk til bastante konklusjoner om årsaker er noe av det viktigste når man forholder seg til forskning. 

Særlig viktig er det å skille mellom statistiske sammenhenger og årsakssammenhenger. Om skolene på vestkanten i Oslo har færre elever med vedtak om særskilt opplæring, betyr det ikke at disse skolene følger opp utsatte elever bedre – det skyldes trolig at de tar inn elever med en annen bakgrunn i utgangspunktet. Før man konkluderer om årsaker og for eksempel premierer skoler med få elever med vedtak om særskilt opplæring (som har vært foreslått), bør man derfor kritisk vurdere om den statistiske sammenhengen vi ser, egentlig er en årsakssammenheng.

Tilsynelatende årsakssammenhenger kan i mange tilfeller skyldes at det er en tredje, bakenforliggende faktor som påvirker de to faktorene som vi undersøker. Hvis vi for eksempel finner at de lærerne som har tatt i bruk en ny opplæringsmetode, også får bedre resultater blant elevene, kan vi ikke automatisk konkludere med at den nye metoden er bedre – kanskje skyldes sammenhengen at de lærerne som er åpne for den nye metoden, også er mer motiverte og bedre lærere i utgangspunktet, og derfor uansett ville fått gode resultater hos elevene sine.

Det er også viktig å spørre seg om hvilken vei årsaksretningen går. De elevene som gjør mer lekser, opplever kanskje at de mestrer skolearbeidet bedre. Men det betyr ikke nødvendigvis at det var leksearbeidet som førte til mer mestring. Mestringsfølelsen barna allerede hadde, kan være den som motiverte dem for å gjøre lekser. For å si noe om årsakskjeder hjelper det med longitudinell forskning som følger dem man forsker på over tid. Er det slik at de elevene som begynner å gjøre mer lekser, i etterkant opplever bedre mestring?

En lærer som har lært forskjellen på statistiske sammenhenger og årsakssammenhenger, vil raskt kunne stille de riktige spørsmålene når noen hevder at en ny strategi for en skole må være riktig fordi elevenes resultater har gått opp i samme periode som den ble innført. Kanskje har det skjedd også andre endringer som har hatt vel så stor betydning, for eksempel seleksjon: at elevgrunnlaget til skolen endret seg fordi nye grupper flyttet til området.

Spørsmålene vi har drøftet her, gir ingen uttømmende liste for hvilke metodiske spørsmål man bør stille når man leser forskning, men viser noen av de mest sentrale metodekunnskapene som bør inngå i kunnskapsbasen til profesjonsutøvere. Å gi profesjonsutøvere en grunnleggende kompetanse til å vurdere metodiske spørsmål, vil kunne gjøre dem bedre rustet til både å forstå og anvende kunnskap fra forskning.

En mer realistisk forventning

Klassiske profesjonsteorier beskriver hvordan profesjonsutøvelsen både skal hvile på et vitenskapelig kunnskapsgrunnlag og ha rom for profesjonsutøverens selvstendige skjønn (se for eksempel Freidson (2001)). Samtidig er det viktig å anerkjenne at en stadig mer kompleks og spesialisert vitenskap fører til en indre spenning i profesjonene: Hensynet til vitenskapelig kunnskapsgrunnlag kan komme i motsetning til det selvstendige skjønnet. 

Satt på spissen: Hva skal veie tyngst når profesjonsutøverens magefølelse, basert på årelang erfaring, står i motsetning til et vitenskapelig kunnskapsgrunnlag som ofte både er komplekst å forstå og og gir motstridende resultater?

Tradisjonelt har man gjerne tenkt at det selvstendige skjønnet og det vitenskapelige kunnskapsgrunnlaget hører harmonisk sammen. Men i en tid hvor den enkelte profesjonsutøveren i liten grad kan ha håp om å forstå og holde tritt med den vitenskapelige utviklingen, oppstår det en spenning mellom disse to. Dette øker også sjansen for at forskning blir oppfattet som krav som kommer utenfra, og som står i motsetning til det profesjonelle skjønnet. 

I denne artikkelen har vi argumentert for at mer realistiske og konkrete forventninger til hvordan profesjonsstudenter skal forstå og kritisere forskning, kan minske avstanden mellom det vitenskapelige grunnlaget og det profesjonelle skjønnet. Mer spesifikt har vi fremhevet hvordan metodekompetanse kan gi profesjonsstudenter og profesjonsutøvere mulighet for å selv vurdere det vitenskapelige grunnlaget for profesjonsutøvelse.

Noter

1 Artikkelen er basert på en lengre versjon i boka En forskningsbasert skole? Forskningens plass i lærerutdanning og skole (Mausethagen mfl., 2023).

2 Se Fekjær (2016) for en nærmere drøfting av sentrale metodiske spørsmål som kan bidra til å vurdere forskningsarbeid.

Litteratur

Anderson, E. (2011). Democracy, Public Policy, and Lay Assessments of Scientific Testimony. Episteme 8(2), s. 144–164. https://doi.org/10.3366/epi.2011.0013

Fekjær, S.B. (2016). Statistikk i praksis. Gyldendal akademisk.

Freidson, E. (2001). Professionalism, the third logic: On the practice of knowledge. University of Chicago press.

Furlong, J., Menter, I., Munn, P., Whitty, G., Hallgarten, J. & Johnson, N. (2014). Research and the teaching profession: Building the capacity for a self-improving education system. Final report of the BERA-RSA Inquiry into the role of research in teacher education. London: British Educational Research Association (BERA).

Hardwig, J. (1985). Epistemic dependence. The Journal of Philosophy 82(7), s. 335–349. https://doi.org/10.2307/2026523

Hardwig, J. (1991). The role of trust in knowledge. The Journal of Philosophy 88(12), s. 693–708. https://doi.org/10.2307/2027007

Lane, M. (2014). When the experts are uncertain: Scientific knowledge and the ethics of democratic judgment. Episteme 11(1), s. 97–118. https://doi.org/10.1017/epi.2013.48

Malterud, K. (2003). Kvalitative metoder i medisinsk forskning. En innføring. Universitetsforlaget.

Mausethagen, S., Bøyum S., Caspersen, J., Prøitz T. & Thue F. (red.) (2023). En forskningsbasert skole? Forskningens plass i lærerutdanning og skole. Universitetsforlaget.

Om forfatterne

Steinar Bøyum er professor og instituttleder på Institutt for filosofi og førstesemesterstudier ved Universitetet i Bergen. Han har tidligere skrevet om særlig etiske og vitenskapsteoretiske spørsmål om utdanning.

Silje Fekjær er professor i profesjonsstudier og prorektor på OsloMet. Hun har tidligere undervist blant annet på lærerutdanningen og i universitets- og høyskolepedagogikk, og skrevet om profesjoner, utdanning og statistikk.