Tag Archives: M-SWOT

Analyseutfordringer

Til analysen av datamaterialet vårt skal både Georg og jeg bruke chi-kvadrat, one-way ANOVA, general linear model (repeated measures) og t-tester. Vi vet at vi skal bruke det (for det er det vi er blitt fortalt), men vi vet ikke helt hvilke hypoteser som skal besvares med hvilke analysemetoder. Ennå.

Ett problem som jeg nå regner som løst er t-tester. En t-test brukes til å sammenligne gjennomsnittskåren til to grupper med data. Problemet var at det fins 3 former for t-tester (om ikke flere): one-sample t-test, paired-samples t-test og unpaired/independent samples t-test. Hvilken skal vi velge?

Denne siden gir en grei måte å velge på:

1. Vil du sammenligne gjennomsnittet til dine data oppmot et selvvalgt tall eller en slags standard? I så fall velger du one-sample t-test, fordi du har EN gruppe som du sammenligner med noe normativt. F.eks.: Er gjennomsnittet av månedlig sjokoladespising høyere enn en anbefalt “dose” på 3 sjokoladeplater?

2. Vil du sammenligne to forskjellige gjennomsnitt fra samme gruppe eller fra to grupper som ligner veldig på hverandre? Bruk paired-samples t-test. Det som skjer da er at du da kan anta at de to gruppene er så like som mulig – en nødvendig antakelse ved f.eks. eksperiment.

3. Ved alle andre tilfeller, bruker du unpaired-samples t-test. F.eks. hvis de to gjennomsnittene du måler kommer fra grupper som er forskjellige.

M-SWOT og interrater-reliabilitet

En del av denne uken gikk med på at Georg og jeg beregnet interrater-reliabilitet hverandres SWOT-koding. SWOT-delen av M-SWOT går ut på at man tar hvert utsagn i et intervju og kategoriserer det som en styrke, svakhet, mulighet eller trussel/utfordring. De fire kategoriene bestemmes utfra tre dimensjoner: positiv/negativ, nåtid/fremtid og intern/ekstern.

Vi bruker en kodingsmal, eller en veiledning, til å kode slik at vi vurderer utsagnene etter de samme kriteriene. En eventuell forskjell skal ideelt skyldes faktisk uenighet, ikke ulik vurdering.

Mandag fikk vi en Cohens kappa på 0.55 på mitt materiale. Når minimumskravet er 0.70 så var det et ganske trist tall. Tirsdagen brukte jeg på å finne ut hvorfor vi vurderte ting annerledes. Da så på om Georg og jeg hadde systematiske forskjeller (f.eks. om han konsekvent koder som styrker det som jeg koder som muligheter), og vi snakket oss gjennom en testkoding.

Det vi kom fram til var følgende:
– I SWOT-koding så må man definere S, W, O og T i forhold til noe, f.eks. sikkerhet eller ekspertise.
– Man må kode utfra hvilket spørsmål informanten svarer på. “Vi har mange opplæringsdager” kan være alle fire kategoriene, samt residual, avhengig av hvilket spørsmål som blir stilt.
– Dimensjonen nåtid/fremtid krasjer iblant med dimensjonen intern/ekstern. Det var viktig å få satt opp i hvilken rekkefølge dimensjonene skulle bli vurdert, slik at dette gjøres på en konsistent måte.

Etter at disse justeringene hadde blitt gjort, testet vi det ut på et nytt intervju og fikk en kappa på 0.77, som er godt nok for en masteroppgave.

Kodingsmalen vil bli tilgjengeliggjort på duo.uio.no når jeg legger ut masteroppgaven der.

En del av denne uken gikk med på at Georg og jeg beregnet interrater-reliabilitet hverandres SWOT-koding. SWOT-delen av M-SWOT går ut på at man tar hvert utsagn i et intervju og kategoriserer det som en styrke, svakhet, mulighet eller trussel/utfordring. De fire kategoriene bestemmes utfra tre dimensjoner: positiv/negativ, nåtid/fremtid og intern/ekstern.

Vi bruker en kodingsmal, eller en veiledning, til å kode slik at vi vurderer utsagnene etter de samme kriteriene. En eventuell forskjell skal ideelt skyldes faktisk uenighet, ikke ulik vurdering.

Mandag fikk vi en Cohens kappa på 0.55 på mitt materiale. Når minimumskravet er 0.70 så var det et ganske trist tall. Tirsdagen brukte jeg på å finne ut hvorfor vi vurderte ting annerledes. Da så på om Georg og jeg hadde systematiske forskjeller (f.eks. om han konsekvent koder som styrker det som jeg koder som muligheter), og vi snakket oss gjennom en testkoding.

Det vi kom fram til var følgende:
– I SWOT-koding så må man definere S, W, O og T i forhold til noe, f.eks. sikkerhet eller ekspertise.
– Man må kode utfra hvilket spørsmål informanten svarer på. “Vi har mange opplæringsdager” kan være alle fire kategoriene, samt residual, avhengig av hvilket spørsmål som blir stilt.
– Dimensjonen nåtid/fremtid krasjer iblant med dimensjonen intern/ekstern. Det var viktig å få satt opp i hvilken rekkefølge dimensjonene skulle bli vurdert, slik at dette gjøres på en konsistent måte.

Etter at disse justeringene hadde blitt gjort, testet vi det ut på et nytt intervju og fikk en kappa på 0.77, som er godt nok for en masteroppgave.

Kodingsmalen vil bli tilgjengeliggjort på duo.uio.no når jeg legger ut masteroppgaven der.

M-SWOT: Teoriutvikling eller måling?

Min post nr. 100 tenkte jeg å dedikere til en viktig avgjørelse man kan glemme å ta når man bruker M-SWOT-metoden.

Er du en konsulent eller masterstudent som skal bruke M-SWOT så er følgende veldig viktig å være oppmerksom på: Det finnes to hovedbruksområder for M-SWOT. Disse er teoriutvikling (TU) og klima-/meningsmåling (KMM). Dette er kjempeviktig for arbeidsmengden du får i etterkant.

Du kan nemlig variere arbeidsmengden gjennom måten du trekker ut utsagn på, og de valgmulighetene du har er avhengig av om du driver med TU eller KMM. Derfor er det smart å være bevisst på hva du vil med M-SWOT før du setter i gang.

Til deg som ikke gidder lese hele innlegget – her er hovedpoenget: Hvis du bare skal kjøre en KMM kan du definere utsagn som avsnitt istedenfor “minste meningsbærende enhet”, og slippe blodslitet med å kode tusenvis av utsagn.

KMM er enklest. Der har du en modell du vet du stoler på og som du har tenkt å bruke til å måle noe. TU er verre. Der er du skeptisk til modellen, og du må derfor også samle opp utsagn som ikke faller inn i modellen.

Hittil har M-SWOT-brukere definert et utsagn som noe sånt som “den minste meningsbærende enheten som sier noe om temaet som studeres”. Min forskning har demonstrert at det er svært lav reliabilitet på uttak av utsagn som følger slike subjektive definisjoner. Men grunnen til at det “må” være såpass små utsagn er regelen om at et utsagn bare kan kodes én gang.

Murphy & Ciszewska-Carr (2005) kom også fram til samme konklusjon, nemlig lav interjudge-reliabilitet på utsagnsuttak. De skiller mellom semantisk (meningsbærende) og syntaktisk (setninger, avsnitt) utsagnsuttak. Kort sagt, sier de at da det hadde liten effekt på kodingen at de byttet fra semantisk til syntaktisk utsangsuttak. Men det skyldes delvis at informantene deres var veldig strukturerte i tekstene de skrev (intervjuobjekter hopper mer mellom tema), og at de hadde nesten like mange syntaktiske som semantiske utsagn. Også de fulgte regelen om at et utsagn kun kan ha én kode.

“Har du lyst, har du lov”
Og her kommer den nye tanken i M-SWOT-sammenheng: Du har faktisk lov til å kode et (syntaktisk / avsnitt) utsagn i flere kategorier. Hvis en kategori dukker opp flere ganger i det samme utsagnet, vel, så skriv antallet ganger temaet dukker opp! Da slipper du å kode tusenvis av utsagn, og du slipper å bruke tid på å gruble over om nøyaktig hvor du skal avslutte et utsagn og starte det neste.

Sorry-borry, dette funker bare for KMM.
Da har du en modell du “vet” er sann. Hvis du derimot driver og tester ut et modell i en ny setting (TU) slik jeg gjør i min masteroppgave, så er det viktig å også trekke ut de utsagnene som ikke passer med modellen. Så en TU må nødvendigvis være mer krevende enn en KMM.

Konsekvenser for reliabiliteten
Murphy & Ciszewska-Carr har rapportert at det å velge ut avsnitt er en langt mer reliabel måte å trekke ut utsagn på. I deres tilfelle brukte de skrevet tekst. I intervjuer blir det litt verre; mennesker snakker jo ikke i avsnitt. Likevel transkriberer vi inn avsnitt eller setninger der informanten tar en pause, eller starter på et nytt tema, eller der vi føler for det. Resultatet er at den potensielle feilkilden (og den tilhørende reliabilitetssjekken) blir forskjøvet til transkriberingsstadiet! Derfor må man operasjonalisere avsnitt (eller setninger).

Samtidig er det et annet reliabilitetsproblem som dukker opp. Hvis du kan kode et utsagn i flere kategorier, så begynner reliabiliteten å dreie seg om hvor mange koder du og din interrater ser i hvert utsagn. Ja, så har du det gamle spørsmålet om hvilke koder dere har satt på utsagnene også.

Oppsummering
Så kort oppsummert, kan du redusere arbeidsmengden og øke utsagns-reliabiliteten ved å velge ut større utsagn basert på syntaktiske kriterier, men må betale litt for det ved å se på en annen type reliabilitet.

En kjapp intro til M-SWOT-analyse

Når man skriver masteroppgave på universitetet anbefales det at man bruker innsamlet data (i motsetning til en ren teoretisk oppgave). Disse dataene skal analyseres. Det fins utallige analysemetoder som passer til ulike typer data. Én av disse analysemetodene heter M-SWOT, og det er den metoden jeg bruker til min masteroppgave.

M-SWOT brukes til å analysere SWOT-intervjuer. Den er utviklet ved Psykologisk institutt ved UiO, av Cato Bjørkli, Roald Bjørklund og Thomas Hoff, samt minst et titalls masterstudenter, over flere år.

Når intervjuene er ferdig transkribert, skal man ifølge M-SWOT trekke ut utsagn (en prosess som er kjent som unitizing på engelsk). Disse utsagnene blir så plassert under hverandre i SPSS eller Excel. Bortover har man flere modeller som disse utsagnene skal krysses av i.

Den første “modellen” er SWOT, hvor bokstavene står for Strenghts, Weaknesses, Opportunities og Threats. Alle utsagn skal inn i én av disse kategoriene (noen ganger bruker man også en R-kategori, altså rest eller residual, for utsagn som bare ikke passer inn).

Så har man den teoretiske modellen som den aktuelle forskningen handler om (M’en i M-SWOT). Modellene man bruker har gjerne flere kategorier, og man krysser av i disse kategoriene hver gang et utsagn handler om den kategorien. Hvert utsagn kan kun kodes i én kategori.

Til slutt, legger man sammen antallet utsagn som har falt i hver kategori, og da kan man si noe om hva intervjuobjektene er opptatt av. Dette sammenlignes opp mot fordelingen av S, W, O og T, og da kan man også si noe om bl.a. hvor positive/negative disse holdningene er.

Dette var en overfladisk introduksjon til hva M-SWOT-analyse er. Det kommer mer under taggen m-swot i tiden fremover til oppgaveinnlevering i mai.

Forsker bruker studenter i forskningen

Én måneds erfaring som vitenskapelig assistent er over. I juleferien (som varer i godt over en måned), engasjerte Thomas Hoff omtrent halve klassen til å hjelpe ham med å intervjue, transkribere og skåre intervjuer av designere og de som kjøper designertjenester.

Et slikt initiativ er prisverdig. Selv om vi ikke fikk formelle studiepoeng, har vi fått en meget viktig erfaring. Vi har sett hvordan forskning gjøres i det virkelige liv. Det er mye mer spennende enn å lese om det i en bok, selv vi har hatt gode og interessante metodebøker også. Å lese om bilkjøring kan være interessant, men hva kan/vet du egentlig før du faktisk har kjørt en bil?

Dette er virkelig forskningsdrevet undervisning, som UiO også nevner mer enn én gang i sin strategi. Dette kan vel også kalles undervisningsdrevet forskning. Vi er med på å utvikle M-SWOT-metoden, en metode for innsamling av data (bl.a. folks refleksjoner). Riktignok, skal jo Thomas gå igjennom alt det vi har gjort for å sjekke kvaliteten på arbeidet, men vi har gitt et bidrag etter evne. Det finnes mer ubrukte evner der ute blant studentene.

Flere vitenskapelige ansatte burde følge Thomas sitt eksempel. Det er en vinn-vinn-situasjon. Forskeren får redusert mengden av rutinearbeid (og får dermed styrt mye større prosjekter) mens studentene får en verdifull erfaring som de kan bruke i sin masteroppgave (som igjen hever forskningens nivå).

Studenter burde bli brukt mer til slikt. Avhengig av hvordan min masteroppgave blir, kan jeg tenke meg å bruke andre studenter til bearbeiding av data. Håper det ikke er noen betydelige svakheter ved det (man kan jo dobbeltsjekke dataanalysen i etterkant).

Det kan også nevnes at jeg ble sertifisert til å bruke M-SWOT-metoden. Jeg var gruppeleder for 8 medstudenter i forskningsprosjektet Design supporting interdisciplinary environments. Det er et samarbeid mellom AHO og UiO, og finansiert av Norges forskningsråd.