Myter om hva generative språkmodeller kan og ikke kan brukes til i arbeid med tekst

29. februar skriver Paul Omar Lervåg om KI og skriveopplæring i Utdanningsnytt. Her peker han på relevante innvendinger mot ukritisk bruk av KI i skriveopplæringa, og slår samtidig fast at skriving er mer enn rettskriving og grammatikk. Det stemmer selvfølgelig, samtidig som grammatikk og rettskriving også må inngå i skriveopplæringa. 

Osloskolen foreslår at elevene kan bruke ChatGPT i bearbeiding av egne tekster, blant annet til korrektur og forbedring av grammatikk. I et innlegg på LinkedIn har Språkrådet skrevet om begrensningene til generativ kunstig intelligens (GKI) i skrivearbeid på disse områdene. Her viser de at det fungerer dårlig å la ChatGPT lese korrektur, bl.a. fordi den er mest trent på engelske tekster og har et språk som er prega av direkte oversettelser fra engelsk, og fordi språket blir veldig ensretta. Derfor er osloskolens råd om at KI kan brukes som korrekturleser i skolen, et dårlig råd.

I kommentarfeltet har flere lærere forsvart rådet i veilederen fra osloskolen med at det gjelder å skrive gode ledetekster og å lære opp elevene i å tenke kritisk. Selv om vi støtter utforsking av GKI i skolen (bl.a. gjennom publikasjoner om hvordan GKI kan brukes i grammatikkundervisning), vil vi her legge fram noen argumenter mot bruken av GKI som korrekturleser eller språkvasker – generelt og i skolen spesielt.

Den første myten om GKI som språkvasker er at med riktig ledetekst klarer roboten å korrekturlese eller språkvaske en tekst bedre og med mindre engelsk innflytelse. Språkrådet viste hvordan GKI mislyktes i å fange opp engelske skrivefeil, og at den til og med foreslo endringer som endra betydningsinnholdet i setninga. Som svar til dette var det flere i kommentarfeltet som mente at det bare gjelder å gi tydelige og gode nok ledetekster («prompts»). 

Det stemmer at bedre ledetekster gir bedre resultater, men selv om man ber den generative språkmodellen om å være ekspert på norsk språk, vil den bare snakke til deg som om den er det. Den blir ikke automatisk bedre i norske kommaregler av at du minner om at det er norsk den skal håndtere, og ikke engelsk.

Modellen fanger som regel opp åpenbare skrivefeil, som særskrivingsfeil (som språk modeller) eller dialektale former som kan brukas tel eller dem får til mye. Men GKI baserer denne kunnskapen på statistikk, ikke på kunnskap om gjeldende rettskrivingsnorm. Den er en språkmodell med emergent kunnskap, altså kunnskap som oppstår gjennom statistisk læring, ikke på kunnskapsoverføring (det er det som gjør disse modellene fasinerende og imponerende). 

Dermed korrigerer den feilaktig fullt tillatte former som utrulig og regjeringa. Dette problemet gjelder også KI-baserte retteprogram som f.eks. ser ut til å brukes i Google-dokumenter eller i Outlook (der man kan få rød strek under former som veit, fram og åssen i bokmålstekster). Inntrykket vårt etter testing med GKI er likevel at den ofte anbefaler enda mer språklig ensretting, samtidig som den påstår at det dreier seg om «grammatiske korrigeringer». 

GKI-tekster har også noen kommafeil som går igjen, for eksempel komma etter innledende preposisjonsfrase – noe den antakelig har overført fra engelsk og/eller «lært» fordi feilen fins i flertallet av norske tekster.

Den språklige ensrettinga hos GKI gjelder ikke bare valget mellom ordformer innad i bokmålet eller nynorsken, men også valget mellom de to norske skriftspråka. Svært ofte når vi har gitt modellene en nynorsktekst til språkvasking (inkl. ledetekst på nynorsk), «retter» de teksten til bokmål (se faktaboksen).

En annen myte om GKI er at den fungerer fint som korrekturleser så lenge man læres opp til å ha kritisk sans og ikke bruker den som eneste korrekturleser. For å kunne vurdere kvaliteten på korrekturarbeidet og språkvaskinga til GKI kritisk, må man ha gode kunnskaper om norsk språk, og man må kunne slå opp i ordbøker og grammatikker. Det er mye godt å si om norske elever, men de fleste har ikke så god oversikt over norsk rettskriving at de ser med en gang hvilke korrekturforslag fra GKI-en som er feil. Dette vil også være utfordrende for mange voksne språkbrukere. Dermed må elevene uansett bruke ordbøker og andre kilder til å kvalitetssikre forslaga fra GKI-en, og da faller mye av poenget med GKI-korrekturlesing bort.

I skolen skal elever lære å skrive og å revidere egen tekst ved hjelp av egnede hjelpemidler. Da er det en fordel at de faktisk bruker tid på å gjøre det framfor å få servert ferdige tekster og ferdige korrigeringer som de så skal vurdere, selv om dette naturligvis også kan inngå som aktivitet innimellom. Vi stiller oss bak Språkrådets innvendinger mot å anbefale KI-verktøy til korrektur for elever i osloskolen.

DEBATT ChatGPT og opphavsrett

Norsk skole er på jakt etter kvalitet – ChatGPT er neppe svaret

– Elevene er usikre på bruken av ChatGPT