Dilemmaer ved oppdragsvirksomhet

Formålet med denne artikkelen er å vise ulike dilemmaer en må forholde seg til når en arbeider med oppdrag av forskjellig art, hvordan LÆRINGSlaben arbeider med kvantitative data og hvorfor LÆRINGSlaben velger å fremstille resultatene slik vi gjør.

I forbindelse med vår redegjørelse av hvordan vi arbeider med data, vil den observante leser se at de beskrivelser Camilla Schreiner har av Læringslaben, som for øvrig er Svein Sjøbergs nære samarbeidspartner, har av enkelte metodiske aspekter i rapporten ”Realisering av læringspotensial”, overhodet ikke er så selvsagte som hun skal ha det til.

Om spørreundersøkelsene
Når en skal vurdere kvaliteten på en spørreundersøkelse, eller en rapport, er det etter vår mening viktig at en sammenligner med noe som kan sies å være tilsvarende.

Det er i denne sammenheng viktig å klargjøre hva det er LÆRINGSlaben gjør. For det første har vi utviklet en spørreundersøkelse som er rettet mot medarbeidere. Kjernen i denne spørreundersøkelsen kan benyttes av alle typer organisasjoner. Denne undersøkelsen inneholder to sentrale dimensjoner; medarbeidernes opplevelse av de organisatoriske forutsetninger, samt medarbeidernes vurdering av læringstrykket i organisasjonen.

Hvis en skal sammenligne kvaliteten på denne spørreundersøkelsen, bør den i første omgang ses opp mot tilsvarende undersøkelser som benyttes i skole og arbeidsliv, eksempelvis fra Synovate MMI, Opinion, Norsk institutt for forskning om oppvekst, velferd og aldring (NOVA), Arbeidsforskningsinstituttet (AFI), NIFU STEP, PriceWaterhouseCoopers etc.

For det andre tilbyr LÆRINGSlaben en analyse av data fra Elevundersøkelsen (tidligere Elevinspektørene). Denne undersøkelsen eies av Utdanningsdirektoratet. Slik systemet er i dag, får skolene tilgang til frekvensene på alle enkeltspørsmålene. Mange skoler synes det er vanskelig å få en oversikt over datamaterialet når det blir presentert i form av enkeltfrekvenser.

Dersom en analyserer dataene i Elevundersøkelsen nærmere, vil en finne at også denne undersøkelsen inneholder to sentrale dimensjoner; elevenes vurdering av miljøet på skolen, samt elevenes vurdering av deres motivasjon for skolearbeidet. Forenklet sagt viser analysen at elevene jevnt over trives svært godt på skolen, men er bare sånn måtelig interessert i å yte en faglig innsats. Dette funnet kjenner mange lærere seg igjen i. Tidligere forskning har også vist det samme, for eksempel PISA-undersøkelsen. Hvis en skal sammenligne kvaliteten på vår analyse av Elevundersøkelsen, bør den i første omgang ses opp mot andre analyser av Elevundersøkelsen, eksempelvis fra Oxford Research.

Utviklingsrapporter og grunnlagsrapporter
Noen av våre rapporter har fått kritikk fordi de ikke viser hvordan vi er kommet fram til resultatene som presenteres. I denne forbindelse er det viktig å være klar over at vi skiller mellom utviklingsrapporter og grunnlagsrapporter. I utviklingsrapportene gis det tilbakemelding til en oppdragsgiver. Målsettingen i disse rapportene er å fremstille resultatene på en måte som er forståelig og som kan brukes av praksisfeltet. Slike rapporter bygger på et allerede eksisterende teori- og metodegrunnlag. Hvis en går til slike rapporter og forventer en oversikt over T-tester, faktormatriser etc., vil en bli skuffet. Siden utviklingsrapportene bygger på allerede eksisterende teori, vil teksten i disse rapportene være forholdsvis like, men resultatene er selvsagt forskjellige. Dette er noe oppdragsgiverne er innforstått med.

I det vi kaller grunnlagsrapporter fokuserer vi på grunnlaget for det som fremstilles i utviklingsrapportene. Hovedkilden for våre analyser av Elevundersøkelsen finnes i Læringssenterets publikasjon 1/2004: Analyse av Elevinspektørene 2003-2004, mens hovedkilden for analyser av personalundersøkelsen finnes i LÆRINGSlabens publikasjon 12/2005: Utvikling av skolen som en lærende organisasjon. Disse to rapportene kan anses som eksempler på grunnlagsrapporter. Disse kan nå fritt lastes ned fra vår hjemmeside. Når det gjelder personalundersøkelsen, blir drøftingen av den utdypet i det pågående doktorgradsarbeidet.

Noen grunnlagsrapporter har i større grad fokus på teoriutvikling. Et eksempel på en slik rapport er LÆRINGSlabens publikasjon 10/2005: Tilpasset og differensiert opplæring i lys av Kunnskapsløftet. Her benyttes empirien som grunnlag for teoriutvikling. Det finnes i tillegg to bøker som er basert på prosjekter utført av LÆRINGSlaben; Differensiering og tilpasning i grunnopplæringen (Dale/Wærness 2003) og Vurdering og læring i en elevaktiv skole (Dale/Wærness 2006).

Mens grunnlagsrapportene grenser mer mot forskning, er utviklingsrapportene av en slik art at de grenser mer mot konsulentvirksomhet. Poenget er at utviklingsrapportene bygger på et teoretisk og metodisk fundert pedagogisk grunnsyn. Dette grunnsynet kommer klart fram i grunnlagsrapportene, mens det anvendes i utviklingsrapportene. Det er i denne sammenheng viktig å være klar over at LÆRINGSlabens virksomhet i stor grad dreier seg om oppfølging i etterkant av en undersøkelse. På slike seminarer legges det stor vekt på å informere om de metodiske problemer som slike undersøkelser må ses i lys av. Hovedpoenget er å utvikle praksisfeltets kompetanse til å kritisk analysere resultatene, samt benytte de i arbeidet med å nå skolens mål.

I noen av våre utviklingsrapporter har vi ikke forklart godt nok hva målsettingen med den enkelte rapport er, og hvor en kan finne nødvendig bakgrunnsinformasjon. Vi beklager dette, og vil sørge for at slike hendelser ikke skal kunne inntreffe i fremtiden.

Bruk av rapporter
En av utfordringene når en arbeider tett opp mot praksisfeltet, er hvor langt man skal gå i å komme med anbefalinger. Dilemmaet er at hvis en ikke kommer med noen anbefalinger i det hele tatt, er det mindre sannsynlig at praksisfeltets konklusjoner bygger på systematisk innhentet informasjon. Utfordringen er å gi konkrete tilbakemeldinger, uten å forenkle for mye. Hvis en ikke gir slike tilbakemeldinger, er vår erfaring at noen lesere overforenkler, mens andre trekker konklusjoner det ikke er grunnlag for. På den andre siden kan anbefalingene oppleves som ”sannheter” og deretter misbrukes som akkurat det. Det er blant annet denne problematikken Kirsten Sivesind og Gjert Langfeldt reiser i sine kronikker, noe som er et velkjent dilemma for de miljøer som arbeider med oppdrag i skjæringspunktet mellom forsknings- og utviklingsarbeid.

Dette dilemmaet anser vi likevel som håndterbart, så lenge det går fram at våre tolkninger er basert på et pedagogisk grunnsyn, og så lenge vi gjør det klart at våre tolkninger er én av flere mulige tolkninger. Som vi sier det i innledningen til våre utviklingsrapporter: ”Det er derfor viktig at denne tolkningen ikke oppfattes som sannheten om tilstanden på skolen, men snarere som et utgangspunkt for å stille relevante spørsmål knyttet til skolens praksis”. Vi trekker ingen kausale slutninger i våre rapporter, men vi ser problemet hvis oppdragsgiver gjør det. Mange av våre oppdragsgivere er skoleeiere. Vår erfaring er at de er meget oppmerksomme på dette dilemmaet.

Et annet dilemma er hvilket motiv en oppdragsgiver har for å bestille en undersøkelse. Det er for eksempel stor forskjell på om oppdragsgiver har som motiv å realisere Kunnskapsløftets intensjoner, eller om motivet er rene nedskjæringer i skolebudsjettet.

Skolen står ovenfor en ny reform, Kunnskapsløftet. Skoleeiernes oppgave er å sørge for at Kunnskapsløftets intensjoner blir realisert. I denne forbindelse finner flere skoleeiere det interessant å samarbeide med LÆRINGSlaben, siden vårt pedagogiske grunnsyn er adekvat i forhold til arbeidet med å realisere intensjonene i Kunnskapsløftet. I slike prosjekter er det tett kobling mellom det pedagogiske grunnsynet, grunnlagsrapporter, utviklingsrapporter og oppfølgingen i etterkant av undersøkelsene. Slike prosjekter kjennetegnes som oftest av god dialog mellom skoleeier, skoleledere, lærere, tillitsvalgte og LÆRINGSlaben.

Når oppdragsgiver har andre målsettinger enn det som er beskrevet ovenfor, kan vi havne i en situasjon der våre rapporter misbrukes. Dette er også et velkjent dilemma for de miljøer som arbeider med oppdrag i skjæringspunktet mellom forsknings- og utviklingsarbeid. Vi skal gi et eksempel fra et tidligere oppdrag, der oppdragsgiver riktignok ikke tilhører utdanningssektoren. LÆRINGSlaben leverte en rapport som avdekte kvalitetssvikt som kunne få konsekvenser for de ansattes helse. Oppdragsgiver likte ikke disse funnene og ville ikke at rapporten skulle offentliggjøres. Samtidig som det ble klart at rapporten kom til å bli hemmeligstemplet, ble LÆRINGSlaben tilbudt et nytt, lukrativt oppdrag. Dette oppdraget skulle vi få hvis vi godtok hemmelighetsstemplingen, samt at vi ikke kommenterte den avdekte kvalitetssvikten i neste rapport. LÆRINGSlaben takket nei til tilbudet, noe som førte til at vi mistet de øvrige oppdragene fra denne sektoren.

Det er forskjell på å gjennomføre prosjekter i overensstemmelse med vårt pedagogiske grunnsyn, og prosjekter der det underveis dukker opp andre motiv hos oppdragsgiver, enn det vi hadde innsikt i på forhånd. I prosjekter der utviklingsrapportene er tett koblet til det pedagogiske grunnsynet, slik dette fremkommer i grunnlagsrapportene, er det vanskeligere å misbruke rapportene. Hvis denne koblingen derimot er uklar, kombinert med motiver som vi ikke har kjennskap til, kan vi få en situasjon der noen av de råd vi gir overdrives, mens andre råd ignoreres.

Dilemmaene som er skissert opp ovenfor, er noe vi kontinuerlig drøfter. Beklageligvis hender det at vi tråkker feil.

Undersøkelsenes målsetting
Målsettingen med de undersøkelsene vi gjennomfører i skolen, er å utvikle lærernes, skoleledernes og skoleeiers handlingsrefleksjon. Kvaliteten på handlingsrefleksjonen er avhengig av om en tenker i komplekser eller i begreper (Dale 1999: 227). Når yrkesutøveren har kompetanse til å tenke i begreper i og om sin egen praksis, kan en ny type indre bevissthet utvikles. En har fått kompetanse til å rette oppmerksomheten mot sin egen tenkning. En form for refleksiv bevissthet har oppstått. Når yrkesutøveren lærer å tenke i relevante praksisbegreper, forbedres forutsetningen for hans eller hennes praksisrefleksjon. Det blir mulig å nyansere praksiskonteksten og situasjonene som oppstår i den.

Ifølge Dale har lav kompetanse til refleksjon følgende kjennetegn: Situasjonen er vag og tvetydig. Samtidig tenker lærerne, skolelederne og skoleeiere i komplekser, og deres indre språk er inkonsistent og usammenhengende også for dem selv. I en slik situasjon er det vanskelig å oppdage bestemte problemer i praksisen og rette på egne feil. Om en blir kritisert i en slik situasjon, reagerer en gjerne med selvforsvar. Å løse problemer blir vanskelig.

Dersom en tenker i komplekser blir for eksempel tilpasset opplæring tilnærmet umulig. Dale refererer til Donald Schön, når han sier at lærerne utvider sitt handlingsrepertoar refleksivt om de har tilegnet seg grunnlag for å bygge opp overgripende teorier og er innviet i undersøkelsesmetoder.

Vi i LÆRINGSlaben mener overhodet ikke at våre undersøkelser alene kan bidra til å utvikle den nødvendige handlingsrefleksjonen. Men vi mener at de kan være til hjelp, særlig i bevisstgjøringsfasen.

Om analysen
Det er en stor utfordring å måle sammenhengen mellom de spørsmål som stilles i et spørreskjema, og de begreper vi er ute etter å få målt. Det blir da avgjørende å forstå sammenhengen mellom hva som tilføres begrepet gjennom empirisk informasjon, og hva som tilføres gjennom teoretisk konstruksjon.

Det er vanskelig å definere et begrep i relasjon til empiriske funn, og oppgaven har vært gjenstand for mange diskusjoner i forskningsverdenen. Vi går ut fra at begrepet tilføres mening gjennom tre kilder: Teori, sammenhenger i dataanalysen og det vi observerer. Disse komponentene går igjen i mange forsøk på å definere forskningsmessig begrepsbygging (Crocker & Algina 1986:230). Utfordringen ligger i at begrepet kun eksisterer på det teoretiske plan, og vi må bestemme oss for hvilke observerbare fenomen vi antar er kjennetegn for begrepet som vi ønsker å analysere.

Tanken er å ”oversette” begrepet fra teoriplan til dataplan og deretter teste om empirien gir hold for teorien. Vi må med andre ord gi begrepet en operasjonell definisjon som vi kan benytte i datainnsamlingen – en definisjon som for eksempel kan bestå av spørsmålene vi stiller respondenten gjennom spørreskjemaet. I utarbeidelsen av personalundersøkelsen arbeidet vi på denne måten.

Når det gjelder analysen av Elevundersøkelsen, stiller det seg litt annerledes. Her består arbeidet av å analysere resultater fra et allerede utarbeidet spørreskjema. Her blir det mer snakk om å oversette indikatorene fra dataplan til teoriplan. Men fortsatt er det særdeles viktig å analysere med utgangspunkt i teori. Hvis ikke, kan en ende opp med en ren datastyrt analyse.

Enhver analyse inneholder en rekke metodiske problemer som må håndteres, for eksempel skalabruk, varians, tilfeldige sammenhenger, tvetydig språk, begreper som er for generelle eller for spesifikke, utvalgsproblematikk, gjennomføringstidspunkt, gjennomføringsmåte, hvilken informasjon som blir gitt til informanten, informantens kognitive forutsetninger etc. Når vi gir tilbakemeldinger til skoleeiere, skoleledere eller lærere understreker vi på det sterkeste viktigheten av å tolke svar på spørreskjemaundersøkelser med varsomhet.

Vårt analysearbeid følger denne logikken:

1. I de undersøkelser der vi selv utvikler indikatorer er spørsmålene konstruert på bakgrunn av en modell som er teoretisk begrunnet. Denne modellen prøver vi å gjenfinne, eventuelt kritisere på bakgrunn av dataanalysene. Vi analyserer alltid data som massedata. Vi mener det ville vært helt feil å konfrontere et enkelt individ med sine svar på undersøkelser det en vurderer lærings- og arbeidsmiljøet.

2. Deretter analyseres fordelingen, for eksempel ved bruk av frekvensanalyser og ved å sjekke varians. En utfordring i slike undersøkelser er at en ikke alltid kan forvente normalfordeling.

3. Så tester vi om det finnes støtte i datamaterialet for de spørsmålene som vi forventer skal tilhøre en variabel (begrep). Her bruker vi blant annet Cronbach’s Alpha og korrelasjonsmatriser. Problemet er at endimensjonalitet i seg selv ikke beviser noe som helst (Cortina 1993:103). Forholdet mellom reliabilitet og validitet er et omstridt spørsmål innenfor metode og statistikk. Begrepsvaliditeten dreier seg om hvorvidt det er samsvar mellom hva vi har målt og det teoretiske begrepet vi ønsker å måle. Vi benytter ulike prosedyrer for statistisk begrepsvalidering, blant annet faktoranalyse, reliabilitetskoeffisienter, korrelasjonsanalyse og korrespondanseanalyse. Trusler mot begrepsvaliditeten kan deles i to grupper som må undersøkes, nemlig systematiske og tilfeldige målingsfeil. Vi integrerer validitets- og reliabilitetsproblematikken i én og samme ligning: Observert skåre = valid skåre + systematiske feil + tilfeldige feil (Kleven 1995:20). Ligningen sier oss da at det vi observerer er en blanding av det valide som vi skulle ha observert, systematiske feil som skriver seg fra innblanding av andre begreper enn det begrepet vi tolker resultatet i forhold til, og tilfeldige feil eller reliabilitetssvikt. Av denne ligningen ser vi at både tilfeldige og systematiske feil reduserer validiteten, og dermed at reliabilitet er en nødvendig, men ikke tilstrekkelig forutsetning for validitet. På bakgrunn av dette resonnementet er det viktig å poengtere at en alltid må forholde seg til det faktum at en må konstruere spørsmål for dermed å prøve å beskrive et begrep som i seg selv er konstruert. Vår rolle som medkonstruktør av resultater må derfor anses som en premiss i våre rapporter.

4. Vi er oppmerksomme på at det blant forskere i metode og statistikk er uenighet om hvorvidt en faktorløsning er velegnet til å styrke en teoretisk modell. Vi mener at siden vi bruker flere ulike typer faktoranalyser som gjentas på forskjellige utvalg på ulike måletidspunkt, og ser faktoranalysene opp mot alpha-skårer og korrelasjonsanalyser, har vi godt belegg for den modellen som fremkommer gjennom våre analyser. Til dette bruker vi faktoranalysene Maximum Likelihood, prinsipal komponentanalyse og korrespondanseanalyse. Det sentrale er å sjekke om itemene (enkeltspørsmålene) lader på forskjellige variabler, eller kanskje ikke på noen variabler i det hele tatt. Dette er i så fall et tegn på at itemet er flertydig eller dårlig konstruert. Ustabiliteter i faktorstrukturen kan blant annet oppstå når items ikke er normalfordelt, eller på bakgrunn av tilfeldigheter ved utvalget. For å bøte på disse problemene, gjennomfører vi mange faktoranalyser på flere utvalg av forskjellig størrelse, samt ulik sammensetning med hensyn til kjønn, geografi, alder etc. LÆRINGSlaben gjennomfører samme undersøkelse på mange forskjellige utvalg. At vi får reprodusert faktorstrukturen, anser vi som en styrke i våre undersøkelser. Det er også uenigheter blant forskere i metode og statistikk om hvor mange items som bør inngå i en variabel. Enkelte opererer med en laveste grense for hvor få items en variabel kan bestå av. Vi er enige i at variabler med få items er mer utsatt for tilfeldige feil. På den annen side ser vi ikke poenget i å stille mange spørsmål som er tilnærmet like, for så å la disse items konkurrere med et annet sett tilnærmet like items, som dreier seg om noe annet. Innenfor en slik strategi er det enklere å få klare faktorer, men spørsmålet er om begrepsvaliditeten styrkes. Vi fokuserer på om innholdet i spørsmålene som stilles faktisk dekker begrepet, og om faktorskårene (og alpha-koeffisientene) er jevne.

5. Etter å ha sjekket hvilke items som tilhører hvilke variabler, blir dette variabelsettet vurdert i forhold til den opprinnelige teoretiske modellen. Deretter kan vi lage sumvariabler basert på analysene så langt. Disse sumvariablene danner igjen grunnlaget for nye faktoranalyser, der vi tester hypotesene om helhetlige sammenhenger i undersøkelsen kan gjenfinnes i datamaterialet. Her er det viktig at variablene er av samme type, for eksempel utelukkende holdningsspørsmål med relativt lik skala. I Maximum Likelihood og prinsipal komponentanalyse foretas det ikke en signifikanstesting av itemets tilhørighet til en variabel. Vårt utgangspunkt er at et enkeltitem skal lade med en verdi på over 0.4, samtidig som de bør har relativt lik størrelse. Ved bruk av korrespondanseanalyse får vi i tillegg gjennomført en signifikanstest av enkeltitemets tilhørighet til (hoved-) variabelen. Vi sjekker at Maximum Likelihood, prinsipal komponentanalyse og korrespondanseanalysen viser omtrent det samme. Dersom de gjør det, kan vi si at det å gjennomføre analysen ved hjelp av tre forskjellige teknikker styrker vår modell. Det er på bakgrunn av slike analyser at vi i personalundersøkelsen skiller mellom organisatoriske forutsetninger og læringstrykk, mens vi i Elevundersøkelsen skiller mellom motivasjon og miljø. Disse faktormatrisene/ korrespondanseanalysekartene kan anses som LÆRINGSlabens analyseverktøy, siden øvrig informasjon analyseres i lys av dette. Vi understreker at det er en klar forskjell mellom personalundersøkelsen og Elevundersøkelsen. I personalundersøkelsen har vi selv kontroll over hele spørreundersøkelsen. Dette er ikke tilfelle når det gjelder Elevundersøkelsen. Derfor bør en være enda mer varsom når en tolker data fra Elevundersøkelsen.

6. Når analyseverktøyet (hovedvariabelstrukturen) først er etablert, sjekkes det om sumvariabler og grupper av sumvariabler som inngår i hovedvariabelstrukturen, henger sammen med andre typer spørsmål eller bakgrunnsinformasjon. Avhengig av spørsmålstype og målenivå benytter vi T-test og forskjellige korrelasjonskoeffisienter, som oftest Pearsons R (intervallnivå), ETA (intervall- mot nominalnivå) og Tau B (ordinalnivå). Gjennom korrespondanseanalyseprogrammet er det mulig å signifikansteste andre typer spørsmål eller bakgrunnsinformasjon (supplerende variabler) opp mot hovedvariabelstrukturen. Hvis de supplerende variabler har forskjellig antall svarmuligheter, blir det viktig å justere for slike eventuelle forskjeller når signifikansen vurderes. 

7. I våre utviklingsrapporter fremstilles data på tre måter. For det første benytter vi frekvenser, prosenter og gjennomsnittstall, slik at leseren selv kan gjøre seg opp en mening om hva respondentene har svart på de ulike spørsmålene. For det andre bruker vi korrespondanseanalysekart for å illustrere sammenhengen i funnene, på bakgrunn av analysene som er beskrevet i punktene 1-6. Årsaken til at alle utregningene ikke er tatt med i utviklingsrapportene, er at praksisfeltet har gitt uttrykk for at de ikke ønsker dette. Mange opplever 100 sider med faktormatriser, alpha-skårer og regresjonstabeller som fremmedgjørende. Men verken faktormatriser og korrespondanseanalyser sier noe om hva som er god kvalitet på de målte fenomener. Problemet er at vi må for det tredje forsøke å illustrere for leseren hva som er en høy og en lav verdi på en variabel. På bakgrunn av analysene som er beskrevet i punktene 1-7, setter vi grenseverdier på hva som kan sies å være lave og høye verdier. Avstanden mellom de høye og lave verdiene er alltid så stor at forskjellen kan anses som signifikant (målt med T-test). Et lavt nivå på en variabel henger sammen med fordelingen på andre variabler som også er på et lavt nivå. For eksempel er det slik at det er mer typisk for elever som har en lav verdi på variabelen sosial trivsel, å samtidig ha en lav verdi på variabelen mobbing. Dersom en skole har mange elever som sier at de blir mobbet, samtidig som de gir uttrykk for at de ikke trives, er det etter vår mening viktig at en på den aktuelle skolen setter spørsmålstegn ved om kvaliteten på det sosiale miljøet er godt nok. Når en skal sette grenseverdier, er en av utfordringene at mange variabler ikke er normalfordelt. Derfor er grenseverdiene forskjellige, avhengig av fordelingen på den enkelte variabel. Før vi kan bestemme om hva grensen for et høyt nivå skal være, må en ta hensyn til fordelingen, samt være sikker på at skoler som havner innenfor denne grenseverdien, har høye verdier på andre variabler som kan sies å uttrykke kvalitet. Det er ikke den enkelte respondents skåre på variabelen som er utgangspunktet for å sette disse grenseverdiene, men den enkelte skoles skåre. På denne måten får vi rettet fokus mot organisasjonsnivået. Når en skole har lav verdi på variablene, illustreres det med rødt. Når en skole har høy verdi på variablene, illustreres det med grønt. Når en skole har en verdi som ligger imellom høy og lav verdi, illustreres det med gult. I tillegg korrelerer vi høye og lave verdier på variablene med andre typer data som det er sannsynlig at henger sammen med god kvalitet. Eksempler på slike data er karakterutvikling og sykefravær. I tillegg har vi korrelert elevenes svar med lærernes svar på skolenivå. Med en slik fremgangsmåte blir vi sikrere på hva det er som kjennetegner et høyt nivå på variabelen.

Det er først og fremst i våre grunnlagsrapporter en finner beskrivelser av vårt analysearbeid. Rapporten Svein Lie refererer til i bladet Utdanning 20/2006, inneholder ikke den informasjonen som vi har beskrevet så langt. Derfor er det ikke så rart at Lie kritiserer rapporten for å være mangelfull i forhold til metodiske avklaringer. Dette beklager vi, og vi vil endre våre rapporteringsrutiner slik at enhver rapport inneholder den informasjonen som er nødvendig for å undersøke analysene som ligger bak.

Hvorfor er ikke alle våre rapporter bygd etter malen ovenfor? Dette kommer at av våre utviklingsrapporter kommuniserer med en annen målgruppe enn de som arbeider med metode og statistikk til daglig. For dem som er interesserte i å vite mer om hvordan vi analyserer data, kan gå til vår hjemmeside, www.laeringslaben.no. Her kan to eksempler på grunnlagsrapporter lastes ned nå.

Litteratur
Cortina, Jose M. 1993. What is Coeffisient Alpha? An examination of Theory and Applications. Journal of
Applied Psychology vol 78, No 1, 98-104.
Crocker, L. & Algina, J (1986). Introduction to Classical and Modern Test Theory. Orlando,
Florida: Holt, Rinehart & Winston Inc.
Dale, Erling Lars (1999): Utdanning med pedagogisk profesjonalitet. Oslo: Ad Notam Gyldendal
Dale, Erling Lars og Wærness, Jarl Inge (2003): Differensiering og tilpasning i
grunnopplæringen. Oslo: Cappelen Akademisk forlag
Dale, Erling Lars, Wærness, Jarl Inge og Lindvig, Yngve (2005): Tilpasset og differensiert opplæring i lys av
Kunnskapsløftet. Oslo: LÆRINGSlaben
Dale, Erling Lars og Wærness, Jarl Inge (2006): Vurdering og læring i en elevaktiv skole.
Oslo: Universitetsforlaget
Kleven, Thor Arnfinn (1995). Reliabilitet som pedagogisk problem. Rapport nr. 9/1995: Universitetet i Oslo,
Pedagogisk forskningsinstitutt
Lindvig, Yngve, Wærness, Jarl Inge og Dale, Erling Lars (2005): Utvikling av skolen som en lærende
organisasjon. Oslo: LÆRINGSlaben
Wærness, Jarl Inge og Kavli, Håkon (2004): Analyse av Elevinspektørene. Oslo: Læringssenteret, publ 1