Ikke la prateroboter vurdere elevtekstene dine

Forestill deg at du har fått et nytt verktøy i læringsplattformen. En stor fin knapp merket «Vurderingsstøtte». Om du trykker på den, sendes elevteksten til en lærer du ikke kjenner – men en flink lærer, ifølge reklamen. Læreren ser over teksten og sender tilbake en ferdig vurdering med begrunnelse.

Ville du stolt på denne tilbakemeldingen? Ville du gitt den til eleven uten å ha lest elevteksten selv?

Jeg ville ikke. Jeg kjenner ikke den ukjente læreren. Jeg vet ikke hva vedkommende har lagt til grunn for vurderingen, eller om læreren har fått nok kontekst om eleven og oppgaven. For å avgjøre om vurderingen holder mål, må jeg uansett lese både teksten og tilbakemeldingen kritisk. Da er jeg tilbake til der jeg startet – uten å ha spart tid.

Fristende å takke ja

Men det er verre enn det. Jeg kan bli fristet til å akseptere vurderingen, fordi jeg er sliten og vil spare tid. Jeg kan la meg besnære av gode formuleringer og nikke anerkjennende til noe jeg nesten er enig i. Kanskje jeg tenker at det blir for mye arbeid å sette ord på hvorfor jeg er uenig med den godt formulerte teksten.

Hva om denne «flinke læreren» ikke er en lærer i det hele tatt, men en språkmodell? En praterobot som ikke forstår hva den leser eller skriver, men som setter sammen en sammenhengende, godt formulert tekst basert på mønstre den har sett i treningsdataene sine?

Hvis du ber en språkmodell vurdere og begrunne, så gjør den det. Men det den skriver er ikke basert på faglig skjønn eller en forståelse av kvalitet. Den baserer seg på mønstre. Den forstår ikke teksten, den regner ut hvilke ord som statistisk sett pleier å følge hverandre i en tekstsjanger kalt vurdering. Samtidig er den så kompleks at den vil skrive noe som ytre sett leses som noe som er riktig og godt tenkt, fordi den har trent på så mange tekster med vurderinger.

Roboten kan ikke vurdere tanken bak

Du kan teste dette selv. Ta en hvilken som helst elevtekst og lim den inn i en praterobot. Skriv at du gir teksten karakteren 5 og be prateroboten skrive begrunnelsen. Så gjør du det en gang til med karakteren 2, på samme tekst. Den vil gjøre begge deler, like overbevisende, fordi den ikke har noen mening om kvalitet. Den kan bare generere tekst som høres ut som en vurdering – fordi du ber den om det.

Selgere av EdTech-verktøy pakker nå inn språkmodeller i fancy grensesnitt med grafer og greier, og kaller det «vurderingsstøtte» eller «formativ feedback». Men under panseret er det fortsatt en praterobot som ikke forstår hva den gjør. Selv om verktøyet kan finne kommafeil, har det ingen forutsetning for å vurdere tanken bak teksten.

Som lærer er det du som må vurdere. Du kjenner eleven, konteksten, læringsmålene og utviklingsløpet. Du vet om denne teksten representerer en seier for akkurat denne eleven, eller et venstrehåndsarbeid. Du skjønner hva som er viktig (ikke riktig) i akkurat denne teksten, akkurat nå. En språkmodell ser bare ord i en tekst. Du ser eleven bak ordene.

Så når noen prøver å selge deg et verktøy som skal «hjelpe med vurdering». Si nei. Bruk heller tiden på å lese elevteksten selv. Det er ingen snarvei forbi faglig skjønn. Verken for eleven eller læreren.