Feil i skolestatistikk blir ikke rettet

• Følg Utdanning på Facebook og Twitter

Bladet Utdanning ønsket å lage en sak om hvor mange ungdomsskoleelever som tok fag på videregående skole. 

Basert på GSI-tallene begynte saken slik: «Færre elever på ungdomstrinnet vil ta videregående fag. Fra toppåret i 2014 da 2133 elever tok fag på videregående nivå, sank høstens tall ned til 1595 elever.»

Som regel stoler journalistene på tallene fra GSI, og saken var klar for publisering. I dette tilfellet gikk imidlertid Utdanning en ekstra runde med de fylkesvise tallene. Da viste det seg at tallet som viste en kraftig økning i 2014, i stor grad var resultatet av en feilrapportering fra én enkelt skole i Hordaland. 

Denne skolen hadde ført opp at 289 elever tok videregående fag i 2014, mens tallet for samme skole var én elev året før og null året etter.  At dette var en feilføring fra skolen, bekreftes av Utdanningsforbundet Hordaland som har sjekket saken.

Her er grafene som viser tallene som står i den offisielle GSI-rapporten og tilsvarende for hvordan det ville sett ut hvis tallet hadde blitt korrigert:

Baserer politiske beslutninger på tallene

Noen feil i GSI-tallene blir rettet, andre ikke. Det kommer an på hvor stor innvirkning feilen har, opplyser Utdanningsdirektoratet. Statistikken over hvor mange ungdomsskoleelever som tar fag på videregående blir ikke rettet.

Tallene fra GSI benyttes til å fatte politiske beslutninger, noe Kunnskapsdepartementet kan bekrefte.

– Tall fra GSI er en viktig del av kunnskapsgrunnlaget til Kunnskapsdepartementet i den nasjonale politikkutformingen rettet mot grunnskolen, sier avdelingsdirektør Ann Helen Elgsæther i Kunnskapsdepartementet.

Hun viser til at departementet i mange tilfeller er avhengig av informasjon fra GSI for å kunne kostnadsberegne tiltak, for eksempel ved timetallsendringer i grunnskolen.

– Et annet eksempel er at midlene som Stortinget i 2015-budsjettet bevilget til tidlig innsats i skolen gjennom økt lærerinnsats på 1.–4. trinn, er fordelt på kommunene med utgangspunkt i informasjon om gruppestørrelser fra GSI, sier Elgsæther.

– Departementet bruker også informasjon fra GSI når det rapporterer til Stortinget om resultatene av bevilgningene som er vedtatt, avslutter hun.

Koster å rette feilen

Avdelingsdirektør i statistikkavdelingen Kjetil Digre i Utdanningsdirektoratet forklarer hvorfor de ikke kan rette feilen.

– Det å rette feil i statistikk som er publisert, har store konsekvenser og medfører ekstrakostnader. Våre tall danner for eksempel grunnlaget for SSBs offisielle statistikk og skoleportalene sine statistikker, sier Digre til Utdanning.

Utdanning fant ut at det måtte være en feil i Hordaland som hadde stor innvirkning både på fylkesoversikten og landsoversikten. Hvis vi hadde laget en sak basert bare på landsoversikten, hadde vi ikke sett at tallene var feil. 

– Er det ikke et eller annet program som fanger opp unormale store avvik?

– I dette tilfellet var det ikke det.

– Hvordan kvalitetssikrer dere tallene i GSI?

– Hvis vi ser store avvik, sjekker vi om det kan være feil eller om det kan finnes en naturlig årsak til dette. 

– Det finnes jo dataprogrammer som kan programmeres til å fange opp avvik, bruker dere det?

– Fra og med innsamlingen høsten 2015 er det lagt inn en automatisk kontroll på dette feltet i GSI for å unngå at denne typen feilføringer gjentas.

– Hva ville det anslagsvis ha kostet å rette en slik feil?

– Å anslå kostnaden i kroner og øre er vanskelig. En utfordring ved å rette i publisert statistikk er at vi må være sikre på at alle andre som bruker tallene, er enige, og så velger å rette i sine systemer. Dette kan være enkelt hvis det er relativt store og systematiske feil, men mer krevende hvis den aktuelle feilen ikke oppleves som like viktig av alle. Kostnaden dreier seg derfor først og fremst om tidsbruk i forbindelse med vurderinger, dialog og avklaringer, noe som er vanskelig å tallfeste.

Les også: I 2013 avdekket Utdanning at tusen elever forsvant ut av GSI-statistikken i løpet av ett år. Heller ikke da fanget Utdanningsdirektoratet opp det store avviket.

Feilen blir stående

– Blir feilføringen i Hordaland rettet opp?

– Nei, den kommer vi ikke til å gjøre noe med. I tilfeller der det har større konsekvenser enn det har i dette tilfellet, ville vi ha rettet dem, sier Digre.

– Kan vi stole på tallene i GSI når påpekte feil ikke blir rettet?

– Som hovedregel stoler vi på de tallene som skolene rapporterer. Tallene blir kvalitetssikret av kommunen, fylkesmannen, Statistisk sentralbyrå og Utdanningsdirektoratet. Vi har også over 300 automatiske kontroller i systemet som fanger opp mange feil. Men skjemaet er stort, og det er vanskelig å få kvalitetssikret alle områder like godt. Kontrollsystemet fanger opp mye, men vil aldri bli helt vanntett, sier Digre.

Ikke store konsekvenser for SSB

SSB bruker GSI-tallene for å lage ulike statistikker. Rådgiver Rachel Ekren hos SSB sier at det ikke medfører store konsekvenser for dem om de må rette opp ett tall som er feil dersom tallet ikke blir brukt i noen av publiseringene.

– Vi bruker for eksempel flere GSI-tall i publiseringen av Kommune-stat-rapporteringen KOSTRA. Dersom disse tallene blir rettet opp etter KOSTRA-publiseringen, vil vi måtte rette opp dette i flere ulike systemer, og det kan være litt tungvint. 

– GSI-skjemaet er det Utdanningsdirektoratet som eier, og det har vært igjennom mange kontroller før vi publiserer. På et gitt tidspunkt fryses skjemaet og en gjør ikke flere endringer, forklarer Ekren.

–  Opp til direktoratet å rette feil

– Ville det ha vært en stor jobb å rette opp antallet som er feilført angående hvor mange ungdomsskoleelever som tar fag i videregående?

– Det er Utdanningsdirektoratet som eier skjemaet, så det er opp til dem å rette feil.

– Men da vil jo tallet bli stående som feil til evig tid?

– Ved KOSTRA-publiseringer pleier vi å legge inn en fotnote når vi blir klar over at noe er feil, og så blir det rettet ved neste kjøring. I andre publiseringer vil vi rette opp alvorlige feil selv etter publisering.

– Hvordan kan slike feil skje?

– Det er menneskelig å feile, og feil skjer. Det er store mengder med tall og det ligger mange kontroller i skjemaet, men alt blir dessverre ikke fanget opp. Skolene registrerer dataene i GSI, og både kommunen og fylkesmannen sjekker tallene, men likevel kan det skje at feil ikke oppdages før GSI lukkes og publisering av statistikken skjer i både Utdanningsdirektoratet og GSI. Det er hver enkelt fylkesmann som er ansvarlig for at kommunene rapporterer inn riktig, men av og til glipper det, sier Ekren.

– Hva ville det anslagsvis ha kostet å rette en slik feil?

– Å anslå kostnaden i kroner og øre er vanskelig. En utfordring ved å rette i publisert statistikk er at vi må være sikre på at alle andre som bruker tallene, er enige, og så velger å rette i sine systemer. Dette kan være enkelt hvis det er relativt store og systematiske feil, men mer krevende hvis den aktuelle feilen ikke oppleves som like viktig av alle. Kostnaden dreier seg derfor først og fremst om tidsbruk i forbindelse med vurderinger, dialog og avklaringer, noe som er vanskelig å tallfeste.