Tag Archives: utsagn

Metodologiske kvaler II

For snart tre uker siden strevde jeg med å finne en god definisjon på hva som er et utsagn, slik at jeg får en god intrarater (eller riktigere, intrajudge) reliabilitet på utsagnsuttak. Men jeg har lenge hatt en mistanke om at selv ikke en god definisjon er nok.

Jeg kan godt øve meg slik at jeg trekker ut utsagn på samme måte hver gang. Det er noe som delvis kommer med trening. Problemet er interjudge-reliabilitet. Dersom en annen person skulle ta utgangspunkt i det samme datasettet som jeg har (intervjuene), ville vedkommende komme fram til andre konklusjoner hvis det er lav interjudge-reliabilitet på utsagnsuttak.

Man har et prinsipp i forskningen kalt replikabilitet, som betyr at en studie bør komme fram til samme resultater hvis den gjentas helt likt.

Nå har jeg rekruttert Lars-Martin fra “Lille-Arb.Org.” (2010/12-kullet). Han fulgte det jeg trodde var en god definisjon, og han fikk trening, men allikevel kom vi fram til 63,6 % enighet. En revisjon av definisjonene økte enigheten til 68,9 %. Med tanke på at jeg siktet på 90 % så er de resultatene jeg har fått ganske dårlige. Det sier noe om at utsagnsuttak kan være en svært subjektiv vurdering, og da må jo spørre seg om ikke forskning basert på utsagn fra intervjutranskripsjoner har dårlig validitet.

Metodologiske kvaler (Hva er et utsagn?)

Nå er jeg ferdig med å transkribere alle intervjuene mine. Jeg har fremdeles litt kvalitetssjekk å gjøre på enkelte av transkripsjonene, men kan sette i gang med neste steg av forskningen, som er å trekke ut utsagn.

Utsagn er de ordene, setningene eller avsnittene jeg senere skal kategoriseres etter mønster fra en sikkerhetsklimamodell. Jeg har siden flere uker før juleferien samlet sammen alt jeg finner av definisjoner på et utsagn, og trukket ut de viktigste fellesnevnerne. Det førte til en (foreløpig) definisjon: The smallest meaningful unit that concerns a separable, coherent theme.

Den enorme utfordringen akkurat nå er å få god reliabilitet på uttak av utsagn. I går tok jeg ut utsagn fra 3 avsnitt. I dag så jeg på to av de samme avsnittene med nye øyne, og prøvde å ta ut utsagn uavhengig av hva jeg gjorde i går. Og her kommer problemet: Det er forskjell på hva jeg så på som utsagn i går og i dag.

Noe er selvfølgelig likt. Det er de tingene jeg er helt sikre på er utsagn, nemlig ting informantene har sagt som går rett inn i sikkerhetsklimamodellen. Det er i tvilstilfellene at problemet dukker opp. Jeg har trukket ut utsagn av ulik lengde, med ulik start- og sluttpunkt, og ulikt antall utsagn.

Gruble-gruble…

Disse tre tingene henger nok sammen, og koker ned til hvordan jeg definerer starten og slutten på et utsagn. Men hvordan gjør man det?

Mer grubling… En lunsjpause og en kopp kakao senere finner jeg en foreløpig løsning:

Starten på et utsagn er der informanten starter å snakke om et nytt tema. Da må jeg svare på et nytt spørsmål: Hva er et tema? Hvordan vet jeg at en ting er et tema, mens et annet ikke er det?

På videregående hadde vi en usedvanlig flink engelsklærer, Margret, som hadde en effektiv metode for å skille verdifull formidling fra svada. Hver gang hun kom over et poeng, satte hun et “tick” i margen. Dersom vi hadde ticks på alle linjene, og gjerne flere ticks på hver linje, så visste vi at vi hadde gjort en god jobb.

Og der ligger nøkkelen til hva som er et nytt tema. Dersom det informanten sier er et poeng, så kan det regnes som et tema, og dermed som et utsagn.

Så i praksis sitter jeg igjen med en definisjon som sier at et utsagn er Each meaningful, separable point.