En del av denne uken gikk med på at Georg og jeg beregnet interrater-reliabilitet hverandres SWOT-koding. SWOT-delen av M-SWOT går ut på at man tar hvert utsagn i et intervju og kategoriserer det som en styrke, svakhet, mulighet eller trussel/utfordring. De fire kategoriene bestemmes utfra tre dimensjoner: positiv/negativ, nåtid/fremtid og intern/ekstern.
Vi bruker en kodingsmal, eller en veiledning, til å kode slik at vi vurderer utsagnene etter de samme kriteriene. En eventuell forskjell skal ideelt skyldes faktisk uenighet, ikke ulik vurdering.
Mandag fikk vi en Cohens kappa på 0.55 på mitt materiale. Når minimumskravet er 0.70 så var det et ganske trist tall. Tirsdagen brukte jeg på å finne ut hvorfor vi vurderte ting annerledes. Da så på om Georg og jeg hadde systematiske forskjeller (f.eks. om han konsekvent koder som styrker det som jeg koder som muligheter), og vi snakket oss gjennom en testkoding.
Det vi kom fram til var følgende:
– I SWOT-koding så må man definere S, W, O og T i forhold til noe, f.eks. sikkerhet eller ekspertise.
– Man må kode utfra hvilket spørsmål informanten svarer på. “Vi har mange opplæringsdager” kan være alle fire kategoriene, samt residual, avhengig av hvilket spørsmål som blir stilt.
– Dimensjonen nåtid/fremtid krasjer iblant med dimensjonen intern/ekstern. Det var viktig å få satt opp i hvilken rekkefølge dimensjonene skulle bli vurdert, slik at dette gjøres på en konsistent måte.
Etter at disse justeringene hadde blitt gjort, testet vi det ut på et nytt intervju og fikk en kappa på 0.77, som er godt nok for en masteroppgave.
Kodingsmalen vil bli tilgjengeliggjort på duo.uio.no når jeg legger ut masteroppgaven der.
Vi bruker en kodingsmal, eller en veiledning, til å kode slik at vi vurderer utsagnene etter de samme kriteriene. En eventuell forskjell skal ideelt skyldes faktisk uenighet, ikke ulik vurdering.
Mandag fikk vi en Cohens kappa på 0.55 på mitt materiale. Når minimumskravet er 0.70 så var det et ganske trist tall. Tirsdagen brukte jeg på å finne ut hvorfor vi vurderte ting annerledes. Da så på om Georg og jeg hadde systematiske forskjeller (f.eks. om han konsekvent koder som styrker det som jeg koder som muligheter), og vi snakket oss gjennom en testkoding.
Det vi kom fram til var følgende:
– I SWOT-koding så må man definere S, W, O og T i forhold til noe, f.eks. sikkerhet eller ekspertise.
– Man må kode utfra hvilket spørsmål informanten svarer på. “Vi har mange opplæringsdager” kan være alle fire kategoriene, samt residual, avhengig av hvilket spørsmål som blir stilt.
– Dimensjonen nåtid/fremtid krasjer iblant med dimensjonen intern/ekstern. Det var viktig å få satt opp i hvilken rekkefølge dimensjonene skulle bli vurdert, slik at dette gjøres på en konsistent måte.
Etter at disse justeringene hadde blitt gjort, testet vi det ut på et nytt intervju og fikk en kappa på 0.77, som er godt nok for en masteroppgave.
Kodingsmalen vil bli tilgjengeliggjort på duo.uio.no når jeg legger ut masteroppgaven der.
Lærelogg 