Evaluering av Praktisk Pedagogisk Utdanning - hvem kvalitetssikrer NOKUT-rapporter?

Det er grunn til å tro av to årsaker: For det første på grunn av kritikk av det foreslåtte opptaksgrunnlaget for denne utdanningen (masterutdanning som opptakskrav), og for det andre for kritikk av at rammeplanrevisjonen ikke bygde på tilgjengelig forutgående evaluering. Når NOKUT nå legger frem rapporten: PPUs relevans for undervisning i skolen. En kartlegging av studenters og nyutdannede læreres oppfatninger, februar 2013, er den svar på følgende oppdrag fra Kunnskapsdepartementet: «å gjennomføre en kartlegging og en analyse av PPUs relevans for undervisningen i skolen med sikte på å få et sikrere kunnskapsgrunnlag når det gjelder eventuelle forbedringer av PPU».  (Rapporten s. 1).

Jeg mener at både oppdragsbeskrivelsen fra departementet og måten kartleggingen er gjennomført på, bidrar til at vi fremdeles mangler kunnskapsgrunnlaget for forbedring av utdanningen. Jeg vil gå systematisk gjennom rapportens hoveddel og vise at den på vesentlige punkt ikke holder mål. Den gir ikke et troverdig svar på oppdraget, og den gir derfor verken hjelp til den enkelte utdanningsinstitusjons forbedringsarbeid eller til en pågående rammeplandebatt. Først noen få ord om oppdragsbeskrivelsen og grunnlaget for undersøkelsen.

Hvem skal uttale seg om studiets relevans?

Det presiseres innledningsvis i rapporten at KD har bedt NOKUT om å gjennomføre en enkel kartlegging ved hjelp av spørreskjema og intervju, for å få belyst i hvilken grad studenter og nyutdannede opplever at PPU gir relevante kunnskaper og ferdigheter, sett i forhold til de oppgavene kandidatene møter som lærere.

Jeg tar til etterretning at denne undersøkelsen kun dreier seg om studenters opplevelser, og regner med at dette er departementets første steg med tanke på å skaffe seg et grunnlag for vurdering av studiets relevans. Om departementet skulle mene at en undersøkelse blant studenter og nyutdannede var tilstrekkelig grunnlag for å trekke konklusjoner, ville det være både oppsiktsvekkende og uansvarlig (nokså uavhengig av hvilket profesjonsstudium vi snakker om). En må forvente at oppfatninger blant lærere, lærerutdannere, skoleeiere, skoleledere og andre som har erfaring med og god kjennskap til hva som kreves av dagens lærere, oppsummeres før konklusjoner om studiets relevans trekkes. Først når dette trekkes inn, får vi et kunnskapsgrunnlag for å vurdere hva studiet bør dekke. Dette vil kunne gjøre det mulig å vurdere relevans, både i et kort «overlevelsesperspektiv» og i et mer langsiktig perspektiv, innrettet mot det brede spekteret av oppgaver og utfordringer som en lærer vil møte.

Studentundersøkelser

Kunnskap om studenters og nyutdannedes oppfatninger av et studietilbuds kvalitet og relevans er en viktig del av grunnlaget for forbedring og videreutvikling av studietilbud. Utdanningsinstitusjonene driver derfor selv slik kunnskapsinnhenting og forsøker på basis av dette å forbedre egne studietilbud. Noen av de resultatene som da kommer frem, peker på lokale utfordringer, mens andre kan være av mer generell karakter og gjøre seg gjeldende ved PPU-utdanninger ved flere institusjoner.

Større undersøkelser på nasjonal basis, både blant studenter og nyutdannede, kan gi viktige supplement til slike undersøkelser. De kan bidra til forbedringer ved den enkelte institusjon og i neste omgang til rammeplanutvikling. NOKUTs undersøkelse bygger først og fremst på spørreskjema. Det er en klar svakhet ved undersøkelsen at svarprosenten, for de to gruppene den omfatter, ikke er høyere enn henholdsvis 31 og 35 %. I følge rapporten er det også gjennomført intervju med «et begrenset antall» nyutdannede og studenter. Det finnes ikke, heller ikke på forespørsel, noen mal eller guide for disse intervjuene. Alt dette svekker verdien av undersøkelsen. Hovedinnvendingen mot undersøkelsen er imidlertid at den ikke avklarer relevansbegrepet. Dette fører i neste omgang til manglende eller ufullstendig metodikk for undersøkelsen.

 Hva er et studiums relevans?

NOKUT-rapporten handler om PPU-studiets relevans. Rapporten drøfter eller avklarer imidlertid ikke relevansbegrepet. Likevel utarbeides det et spørreskjema som utgjør hovedgrunnlaget for studentundersøkelsen, en undersøkelse som skal avklare relevansen av studiet og studiets ulike komponenter! Det gir grunn til å tro at det må ligge implisitte forståelser av relevansbegrepet til grunn. Disse forståelsene burde det være mulig å avklare ved å gå gjennom og analysere de spørsmålene som stilles til studentene for nettopp å avklare relevans. Jeg har valgt å gjøre det ved å undersøke de spørsmålene som brukes for å avklare relevansen av studiets tre komponenter: Pedagogikk, fagdidaktikk og praksisopplæring. For å kunne gjøre det må jeg nødvendigvis først gi en definisjon av hva jeg oppfatter som et studiums relevans.

Hva er et studiums relevans? Et studiums relevans vil si dets nytteverdi i relasjon til å kunne løse et sett med sentrale oppgaver innenfor et definert felt. En undersøkelse av et studiums relevans må derfor innebære en avklaring av i hvilken grad studiet gir de kunnskaper og ferdigheter som skal til for å løse disse oppgavene. Hva som er de sentrale oppgavene innenfor feltet, vil det i mange tilfelle være ulike oppfatninger om. Ulike ståsted, roller og erfaringer vil kunne gi ulike perspektiv.

Av denne definisjonen følger det at en undersøkelse av PPU-utdanningens relevans må bygge på en oppfatning av hvilke oppgaver som er de sentrale innenfor læreryrket. Det forventes at en skal ha fått kunnskaper og ferdigheter som gjør det mulig å løse disse oppgavene på en bedre måte etter å ha gjennomført studiet Også her vil det være ulike oppfatninger om hva de sentrale oppgavene består i, og hvordan en best kan forberedes til å møte dem.  Studiets rammeplan og emneplaner, semesterplaner, praksisorganisering, utvalg av forelesningstema og litteratur er eksempel på forsøk på å avklare slike spørsmål og å foreta prioriteringer.

På bakgrunn av en oppfatning av hva som kan være de sentrale oppgavene innenfor læreryrket, må det så bygges opp spørsmål til respondentene som gir grunnlag for å avklare studiets relevans i relasjon til disse oppgavene. I tillegg må spørsmålene avklare kvaliteten på denne dekningen, det vil si om undervisningen foregikk på en slik måte at studentene reelt sett ble bedre i stand til å løse oppgavene. Med disse forventningene til undersøkelsen er det med undring en registrerer at NOKUT mener å kunne avklare PPU-komponentenes relevans gjennom spørsmålene nedenfor.

Spørsmålene som skal avdekke PPU-studiets relevans

Pedagogikkfagets praksisrelevans (alle andre steder i rapporten er praksisrelevans erstattet med relevans) avklares gjennom disse spørsmålene (grad av tilslutning til påstander)

- I pedagogikkfaget ble teoriundervisningen og praksisopplæringen integrert på en god måte

- I pedagogikkundervisningen ble studentenes praksiserfaringer i stor grad brukt som grunnlag for diskusjon

- Jeg opplevde/opplever at pedagogikkundervisningen i stor grad støtter opp om praksisopplæringen

Fagdidaktikkens relevans avklares gjennom disse spørsmålene (grad av tilslutning til påstander)

- Undervisningen i fagdidaktikk var i stor grad knyttet til mine undervisningsfag

- Undervisningen i fagdidaktikk støttet i stor grad opp om praksisopplæringen

- Undervisningen i fagdidaktikk tok i stor grad opp problemstillinger fra dagens skole

- I undervisningen i fagdidaktikk ble studentenes praksiserfaringer i stor grad brukt som grunnlag for diskusjon

- Jeg opplevde at fagdidaktikken ved PPU ga meg et godt grunnlag for videreutvikling av min undervisning

Praksisopplæringen (her har relevansbegrepet falt ut, men brukes i rapporten for øvrig) avklares gjennom disse spørsmålene (grad av tilslutning til påstander)

- I praksisopplæringen underviste jeg selv elever

- I praksisopplæringen samarbeidet jeg med andre studenter om undervisning av elever

- I praksisopplæringen observerte jeg øvingslærers undervisning

- I praksisopplæringen fikk jeg bruk for det jeg lærte i undervisningen ved universitetet/høgskolen.

- PPU ga meg tilstrekkelig kunnskap om skolen som arbeidsplass

- Jeg fikk god anledning til å reflektere over egne praksiserfaringer sammen med lærer(e) ved universitetet./høgskolen.

- Jeg fikk tilstrekkelig tid sammen med øvingslærer(e)/veileder(e) ved praksisskolen til å reflektere over og diskutere mine praksiserfaringer

- Jeg fikk konstruktive tilbakemeldinger fra øvingslærer(e)/veileder(e) ved praksisskolen på mine praksiserfaringer

Hva er NOKUTs implisitte oppfatning av relevans?

La meg prøve å besvare dette spørsmålet ved å se nærmere på spørsmålene knyttet til de tre komponentene i studiet: Pedagogikk, fagdidaktikk og praksis.

Pedagogikkundervisningens relevans avklares gjennom 3 spørsmål. I følge undersøkelsen er den relevant i den grad den er integrert med, og støtter opp om, praksisopplæringen. Dessuten må studentenes praksiserfaringer i stor grad bli brukt som grunnlag for diskusjon.

Samordning av teoriundervisning, herunder pedagogikkundervisningen, og praksisopplæring er en viktig oppgave og utfordring for utdanningsinstitusjonene og foregår på flere plan. De fleste tilbydere av PPU har forbedringsmuligheter på dette feltet. Det betyr imidlertid ikke at spørsmålet om fagets relevans kan avgjøres gjennom studentenes svar på dette spørsmålet! Svaret på spørsmålet om hvorvidt studentenes praksiserfaringer i stor grad ble brukt som grunnlag for diskusjon i pedagogikkundervisningen, er uklart knyttet til begrepet relevans, det er også uklart hvilken organisatorisk sammenheng spørsmålet inngår i. Siden denne undervisningen vanligvis tilbys i store grupper og med studenter med svært ulike praksiserfaringer (fag og antall år i praksis), settes det klare begrensninger for omfanget av slike diskusjoner. Det ville vært oppsiktsvekkende om studentene i stor grad bekreftet denne påstanden. Og om de hadde bekreftet, ville det ha økt eller redusert relevansen av denne delen av studiet?

Men mye viktigere enn det: Er dette det hele? Betyr det at om studentene mener at det er god integrasjon med praksis og stor grad av diskusjon om studenters praksiserfaringer, så er pedagogikkundervisningen relevant? Hva med alle de andre komponentene i fagets emneplan, hvor relevante eller irrelevante er de? Hva er studentenes oppfatninger av disse komponentene? Var dette de gode spørsmålene for å avklare pedagogikkdelens relevans?

For fagdidaktikkundervisningens vedkommende stilles det 5 spørsmål. Spørsmålet om hvorvidt denne undervisningen støttet opp om praksisopplæringen gjentas fra pedagogikkdelen av undersøkelsen. Også spørsmålet om hvorvidt studentenes praksiserfaringer i stor grad blir brukt som grunnlag for diskusjon gjentas. Her gir dette spørsmålet en viss mening siden fagdidaktikkundervisningen er fagorganisert og foregår i betydelig mindre grupper.  For de øvrige spørsmål er det helt nye tema som tas opp. Studentene blir bedt om å ta stilling til om fagdidaktikkundervisningen « i stor grad var knyttet til egne undervisningsfag». Dette er en påstand som i all hovedsak må forventes å bli bekreftet siden fagdidaktikkundervisningen nettopp er organisert slik, fag for fag, eventuelt faggruppe for faggruppe. Studentene blir så spurt om fagdidaktikken tar opp «problemstillinger i dagens skole» og om den har gitt «et godt grunnlag for videreutvikling i egen undervisning». Dette er svært generelle, men i og for seg relevante spørsmål for undersøkelsens problemstilling. Spørsmålene kunne gjerne ha vært stilt til alle deler av studiet.

Men igjen, dette gir samlet sett ikke grunnlag for noen avklaring av om fagdidaktikkundervisningen har vært relevant. Fagdidaktikken spenner over et vidt spekter av problemstillinger og utfordringer, alt fra spørsmål om fagets historiske bakgrunn, dets transformasjoner fra vitenskapsfag til skolefag, vurderinger av fagets plass i dagens samfunn, dets egenart og struktur, dets relasjoner til andre deler av skoleprogrammet og til en rekke spørsmål knyttet til undervisningsplanlegging, sekvensering, valg av undervisnings- og arbeidsmetoder og evaluering. Hvordan dette skal dekkes og vektes i undervisningssammenheng, byr på store utvalgsutfordringer innenfor et studium på 15 studiepoeng. Emneplaner og semesterplaner bygger derfor på nøye overveielser blant faglærere med tanke på å finne fram til det mest aktuelle innholdet.

Det er også relativt store forskjeller når det gjelder oppbyggingen av fagdidaktikken i de enkelte fag. Dette henger både sammen med fagenes egenart og med ulike formidlingskulturer, fagenes plass i skolen, deres utviklingslinjer og ulike forskningstradisjoner. En grundig undersøkelse av hvilke tema fagdidaktikken faktisk behandler og vurderinger av relevansen av disse, ville vært meget interessant og nyttig, både for det enkelte studiested og ikke minst med tanke på en rammeplandebatt. NOKUTs undersøkelse inviterer imidlertid overhodet ikke studenter til refleksjon over slike tema.

For praksisopplæringen stilles det 8 spørsmål. De tre første spørsmålene er relativt uinteressante med tanke på relevans. Studentene blir spurt om de fikk «undervise elever», om de «samarbeidet med andre studenter» og om de fikk anledning til «å observere øvingslærers undervisning». Det ville være meget oppsiktsvekkende om ikke studentene svarte bekreftende på det første spørsmålet. De to andre spørsmålene er svakt relatert til relevans. Det er vel mer sammenhengen samarbeidet med andre studenter og undervisningsobservasjonen inngikk i som er avgjørende for om denne undervisningen var relevant. Ble den for eksempel tatt opp i veiledningen og knyttet til pedagogisk og fagdidaktisk teori? Studentene blir så spurt om «de fikk bruk for det de lærte i undervisningen ved universitetet/høgskolen». Da evaluerer en vel strengt tatt ikke praksisopplæringen lengre. Annerledes ville det ha stilt seg om en hadde spurt om de mente at praksisopplæringen i stor grad støttet opp om eller utnyttet det de lærte i undervisningen ved universitetet/høgskolen. Da ville en ha ivaretatt en parallellitet til undersøkelsens to første deler.

Så følger to spørsmål med en noe usikker plassering i denne delen av undersøkelsen. Studentene blir spurt om PPU ga tilstrekkelig kunnskap om skolen som arbeidsplass. Slik det er formulert, angår det hele studiet og ikke spesielt praksisopplæringsdelen. Det er derfor vanskelig å vite hva som ligger til grunn for svarene på dette spørsmålet.  Så blir de (igjen?) spurt om de « fikk god anledning til å reflektere over egne praksiserfaringer sammen med lærer(e) ved universitetet/høgskolen. Dette spørsmålet er beheftet med den samme usikkerhet som det foregående.

De to siste spørsmålene dreier seg om hvorvidt studentene fikk tilstrekkelig med tid sammen med øvingslærer til å reflektere over og diskutere egne praksiserfaringer, og om de fikk konstruktive tilbakemeldinger på egne praksiserfaringer. Begge disse to spørsmålene har gyldighet når praksisopplæringens relevans skal vurderes.

Denne delen av undersøkelsen berører forhold som er knyttet til vurdering av relevans, men heller ikke mer. Vesentlige forhold knyttet til praksisopplæringens relevans er utelatt. Spørsmålene virker tilfeldige og en savner en systematisk gjennomgang av de oppgavene, kunnskapene og ferdighetene som denne opplæringen kan tenkes å skulle ivareta for å sikre høy relevans.

Rapporten for øvrig

I tillegg til dette oppsummerer rapporten svarene på 15 spørsmål knyttet til et bredt spekter av tema. Det dreier seg om studieinformasjon, forventninger til studiet, studiets generelle kvalitet og grad av fornøydhet, generelt om sammenheng mellom teori og praksis, om universitetets-/høgskolelærerne var oppdatert på skolens hverdag, om de fikk innføring i vitenskapelig metode, om deres interesse for faglig oppdatering ble vekket, om PPU forberedte dem godt for første lærerjobb, ga praktiske ferdigheter, fremmet evne til refleksjon over egen undervisning, ga god kunnskap om barn og unges læring og utvikling, ga innsikt i yrkesetiske problemstillinger og god kunnskap om skikkethetsvurdering.

Flere, men ikke alle, av disse spørsmålene har gyldighet i forhold til å undersøke et studiums relevans. Svarene er i og for seg interessante og gir noen indikasjoner på områder som det bør arbeides mer med å avklare ved det enkelte utdanningssted. Spørsmålene er imidlertid for spredte, for usystematiske og for lite avklaret i forholdet mellom relevans og kvalitet til at en kan trekke konklusjoner på bakgrunn av svarene. Jeg har vanskelig for å se at det kan trekkes kunnskapsbaserte rammplankonklusjoner på dette grunnlaget.

Rapportens kapittel 8, Variasjoner innenfor respondentpopulasjonene, inneholder interessante refleksjoner basert på analyser av svarvariasjoner mellom studentgrupper basert på deres utdanningsnivå, deres svar på oppfatning av studiets faglige nivå, deres motivasjon og begrunnelser for å ta PPU. Denne analysen gir et lite innblikk i hvor sammensatt gruppen er og hvor krevende det er å gjennomføre og tolke studieevalueringer innenfor dette området. Den understreker behovet for vel gjennomtenkte og grundige undersøkelser av begreper som relevans og kvalitet. Denne delen av undersøkelsen underbygger også det synspunktet at en relevansundersøkelse av PPU-studiet må bygge på en bredere målgruppe enn bare studenter.

Konklusjon

Mitt anliggende har vært å vise at rapporten på vesentlige punkt er for svakt gjennomarbeidet metodisk og at den i for liten grad evner å belyse den problemstillingen som den har satt seg fore å belyse. Den stiller ikke de spørsmålene som må stilles for å nærme oss en avklaring av studiekomponentenes relevans og kvalitet. Rapporten mangler en eksplisitt drøfting av relevansbegrepet, og dette medfører at undersøkelsen også mangler en gjennomtenkt metode for å kartlegge relevans i studiet. Jeg mener å ha påvist at spørsmålene som stilles til studentene for å avklare relevansen av pedagogikkdelen, fagdidaktikkdelen og praksisopplæringen, har et tilfeldig preg.  Det er derfor heller ikke mulig å avklare hva som er undersøkelsens implisitte definisjon av et studiums relevans. Denne delen av rapporten har derfor liten verdi, både med tanke på forbedring av studiet ved den enkelte utdanningsinstitusjon, og som grunnlag for rammeplanutvikling.

Universitets- og høgskolesektoren trenger grundige evalueringer som setter institusjonene i stand til å forbedre utdanningene. Da må grunnlaget for undersøkelsene klargjøres mye bedre enn dette. Det må klarlegge hva som legges i begreper som relevans og kvalitet, både for hele studiet og for de enkelte komponentene i det. Undersøkelser må bygge på formeninger om hvilke oppgaver studenter skal forberedes på å kunne løse/håndtere gjennom et relevant studium, og i neste omgang hvilke kunnskaper og ferdigheter som danner grunnlaget for dette. På bakgrunn av dette må det utarbeides en undersøkelsesplan, basert på spørreskjema/intervju, som gir respondentene mulighet for å avklare i hvilken grad studiet har dekket dette. Da vil svarene kunne gi grunnlag for forbedring.

Både studenter og alle andre som er opptatt av å gjøre PPU-utdanningen så god som mulig, fortjener mer seriøs oppmerksomhet om studiet enn dette. I en ny undersøkelse av PPUs relevans vil jeg, som nevnt innledningsvis, anbefale at målgruppen for undersøkelsen utvides. Det samme gjelder kanskje også en eventuell referanse-/styringsgruppe for en slik undersøkelse?

(Dette er en lengre versjon av kronikken i Utdanning nr. 12/2013.)