Tag Archives: forskningsmetode

Analyseutfordringer

Til analysen av datamaterialet vårt skal både Georg og jeg bruke chi-kvadrat, one-way ANOVA, general linear model (repeated measures) og t-tester. Vi vet at vi skal bruke det (for det er det vi er blitt fortalt), men vi vet ikke helt hvilke hypoteser som skal besvares med hvilke analysemetoder. Ennå.

Ett problem som jeg nå regner som løst er t-tester. En t-test brukes til å sammenligne gjennomsnittskåren til to grupper med data. Problemet var at det fins 3 former for t-tester (om ikke flere): one-sample t-test, paired-samples t-test og unpaired/independent samples t-test. Hvilken skal vi velge?

Denne siden gir en grei måte å velge på:

1. Vil du sammenligne gjennomsnittet til dine data oppmot et selvvalgt tall eller en slags standard? I så fall velger du one-sample t-test, fordi du har EN gruppe som du sammenligner med noe normativt. F.eks.: Er gjennomsnittet av månedlig sjokoladespising høyere enn en anbefalt “dose” på 3 sjokoladeplater?

2. Vil du sammenligne to forskjellige gjennomsnitt fra samme gruppe eller fra to grupper som ligner veldig på hverandre? Bruk paired-samples t-test. Det som skjer da er at du da kan anta at de to gruppene er så like som mulig – en nødvendig antakelse ved f.eks. eksperiment.

3. Ved alle andre tilfeller, bruker du unpaired-samples t-test. F.eks. hvis de to gjennomsnittene du måler kommer fra grupper som er forskjellige.

M-SWOT: Teoriutvikling eller måling?

Min post nr. 100 tenkte jeg å dedikere til en viktig avgjørelse man kan glemme å ta når man bruker M-SWOT-metoden.

Er du en konsulent eller masterstudent som skal bruke M-SWOT så er følgende veldig viktig å være oppmerksom på: Det finnes to hovedbruksområder for M-SWOT. Disse er teoriutvikling (TU) og klima-/meningsmåling (KMM). Dette er kjempeviktig for arbeidsmengden du får i etterkant.

Du kan nemlig variere arbeidsmengden gjennom måten du trekker ut utsagn på, og de valgmulighetene du har er avhengig av om du driver med TU eller KMM. Derfor er det smart å være bevisst på hva du vil med M-SWOT før du setter i gang.

Til deg som ikke gidder lese hele innlegget – her er hovedpoenget: Hvis du bare skal kjøre en KMM kan du definere utsagn som avsnitt istedenfor “minste meningsbærende enhet”, og slippe blodslitet med å kode tusenvis av utsagn.

KMM er enklest. Der har du en modell du vet du stoler på og som du har tenkt å bruke til å måle noe. TU er verre. Der er du skeptisk til modellen, og du må derfor også samle opp utsagn som ikke faller inn i modellen.

Hittil har M-SWOT-brukere definert et utsagn som noe sånt som “den minste meningsbærende enheten som sier noe om temaet som studeres”. Min forskning har demonstrert at det er svært lav reliabilitet på uttak av utsagn som følger slike subjektive definisjoner. Men grunnen til at det “må” være såpass små utsagn er regelen om at et utsagn bare kan kodes én gang.

Murphy & Ciszewska-Carr (2005) kom også fram til samme konklusjon, nemlig lav interjudge-reliabilitet på utsagnsuttak. De skiller mellom semantisk (meningsbærende) og syntaktisk (setninger, avsnitt) utsagnsuttak. Kort sagt, sier de at da det hadde liten effekt på kodingen at de byttet fra semantisk til syntaktisk utsangsuttak. Men det skyldes delvis at informantene deres var veldig strukturerte i tekstene de skrev (intervjuobjekter hopper mer mellom tema), og at de hadde nesten like mange syntaktiske som semantiske utsagn. Også de fulgte regelen om at et utsagn kun kan ha én kode.

“Har du lyst, har du lov”
Og her kommer den nye tanken i M-SWOT-sammenheng: Du har faktisk lov til å kode et (syntaktisk / avsnitt) utsagn i flere kategorier. Hvis en kategori dukker opp flere ganger i det samme utsagnet, vel, så skriv antallet ganger temaet dukker opp! Da slipper du å kode tusenvis av utsagn, og du slipper å bruke tid på å gruble over om nøyaktig hvor du skal avslutte et utsagn og starte det neste.

Sorry-borry, dette funker bare for KMM.
Da har du en modell du “vet” er sann. Hvis du derimot driver og tester ut et modell i en ny setting (TU) slik jeg gjør i min masteroppgave, så er det viktig å også trekke ut de utsagnene som ikke passer med modellen. Så en TU må nødvendigvis være mer krevende enn en KMM.

Konsekvenser for reliabiliteten
Murphy & Ciszewska-Carr har rapportert at det å velge ut avsnitt er en langt mer reliabel måte å trekke ut utsagn på. I deres tilfelle brukte de skrevet tekst. I intervjuer blir det litt verre; mennesker snakker jo ikke i avsnitt. Likevel transkriberer vi inn avsnitt eller setninger der informanten tar en pause, eller starter på et nytt tema, eller der vi føler for det. Resultatet er at den potensielle feilkilden (og den tilhørende reliabilitetssjekken) blir forskjøvet til transkriberingsstadiet! Derfor må man operasjonalisere avsnitt (eller setninger).

Samtidig er det et annet reliabilitetsproblem som dukker opp. Hvis du kan kode et utsagn i flere kategorier, så begynner reliabiliteten å dreie seg om hvor mange koder du og din interrater ser i hvert utsagn. Ja, så har du det gamle spørsmålet om hvilke koder dere har satt på utsagnene også.

Oppsummering
Så kort oppsummert, kan du redusere arbeidsmengden og øke utsagns-reliabiliteten ved å velge ut større utsagn basert på syntaktiske kriterier, men må betale litt for det ved å se på en annen type reliabilitet.

En kjapp intro til M-SWOT-analyse

Når man skriver masteroppgave på universitetet anbefales det at man bruker innsamlet data (i motsetning til en ren teoretisk oppgave). Disse dataene skal analyseres. Det fins utallige analysemetoder som passer til ulike typer data. Én av disse analysemetodene heter M-SWOT, og det er den metoden jeg bruker til min masteroppgave.

M-SWOT brukes til å analysere SWOT-intervjuer. Den er utviklet ved Psykologisk institutt ved UiO, av Cato Bjørkli, Roald Bjørklund og Thomas Hoff, samt minst et titalls masterstudenter, over flere år.

Når intervjuene er ferdig transkribert, skal man ifølge M-SWOT trekke ut utsagn (en prosess som er kjent som unitizing på engelsk). Disse utsagnene blir så plassert under hverandre i SPSS eller Excel. Bortover har man flere modeller som disse utsagnene skal krysses av i.

Den første “modellen” er SWOT, hvor bokstavene står for Strenghts, Weaknesses, Opportunities og Threats. Alle utsagn skal inn i én av disse kategoriene (noen ganger bruker man også en R-kategori, altså rest eller residual, for utsagn som bare ikke passer inn).

Så har man den teoretiske modellen som den aktuelle forskningen handler om (M’en i M-SWOT). Modellene man bruker har gjerne flere kategorier, og man krysser av i disse kategoriene hver gang et utsagn handler om den kategorien. Hvert utsagn kan kun kodes i én kategori.

Til slutt, legger man sammen antallet utsagn som har falt i hver kategori, og da kan man si noe om hva intervjuobjektene er opptatt av. Dette sammenlignes opp mot fordelingen av S, W, O og T, og da kan man også si noe om bl.a. hvor positive/negative disse holdningene er.

Dette var en overfladisk introduksjon til hva M-SWOT-analyse er. Det kommer mer under taggen m-swot i tiden fremover til oppgaveinnlevering i mai.

Metodologiske kvaler II

For snart tre uker siden strevde jeg med å finne en god definisjon på hva som er et utsagn, slik at jeg får en god intrarater (eller riktigere, intrajudge) reliabilitet på utsagnsuttak. Men jeg har lenge hatt en mistanke om at selv ikke en god definisjon er nok.

Jeg kan godt øve meg slik at jeg trekker ut utsagn på samme måte hver gang. Det er noe som delvis kommer med trening. Problemet er interjudge-reliabilitet. Dersom en annen person skulle ta utgangspunkt i det samme datasettet som jeg har (intervjuene), ville vedkommende komme fram til andre konklusjoner hvis det er lav interjudge-reliabilitet på utsagnsuttak.

Man har et prinsipp i forskningen kalt replikabilitet, som betyr at en studie bør komme fram til samme resultater hvis den gjentas helt likt.

Nå har jeg rekruttert Lars-Martin fra “Lille-Arb.Org.” (2010/12-kullet). Han fulgte det jeg trodde var en god definisjon, og han fikk trening, men allikevel kom vi fram til 63,6 % enighet. En revisjon av definisjonene økte enigheten til 68,9 %. Med tanke på at jeg siktet på 90 % så er de resultatene jeg har fått ganske dårlige. Det sier noe om at utsagnsuttak kan være en svært subjektiv vurdering, og da må jo spørre seg om ikke forskning basert på utsagn fra intervjutranskripsjoner har dårlig validitet.

Hva er en avhengig/uavhengig variabel?

I forskning ser man ofte på hvordan en ting påvirker en annen ting. F.eks. så er det gjort mye forskning på om PC-spill fører til voldelig atferd, om brus fører til fedme og om alkoholinntak under svangerskapet påvirker barnets mentale evner (intelligens, konsentrasjon o.l.). Disse “tingene” kalles variabler.

Variabler er “ting” som varierer. Variablene over kan deles inn i to grupper; avhengige og uavhengige variabler. Avhengig variabel (AV) betyr at nivået i variabelen påvirkes av en annen variabel. Mentale evner påvirkes av hvor mye mor drikker under svangerskapet, og er dermed en avhengig variabel i dette eksemplet.

Uavhengig variabel (UV) betyr at den ikke blir påvirket av noen andre av de variablene vi ser på. At et 6 år gammelt barn har en IQ på 120 vil ikke få moren til å drikke mer eller mindre under svangerskapet, ettersom IQ ikke har tilbakevirkende kraft.

Forholdet mellom UV og AV er at man ser på hvor mye UV påvirker AV. Ofte vil man ha 3-4 “nivåer” av UV, og måle AV på en kontinuerlig skala.

I alkoholinntakeksemplet over, så kunne man delt inn alle forsøksmødrene etter om de drikker [aldri], [opptil 2 glass i uken], [opptil 2 glass om dagen] eller [mer enn 2 glass om dagen]. Når barna deres når 6-årsalderen måler man mentale evner på en kontinuerlig skala, f.eks. IQ fra 0-200. Når man får resultatene, ser man etter om det er et mønster. Hvis de fleste barna etter avholdsmødre får høyere IQ enn alle de andre gruppene, kan man si at alkoholinntak under svangerskap (UV) påvirker mental evne (AV) negativt.

Dette er forskjellen mellom UV og AV. Ofte må man se på flere UVer, for det er flere ting enn alkohol som påvirker mentale evner (narkotika, foreldres IQ og genetiske sykdommer, bare for å ta noen). Derfor prøver man enten å kontrollere for andre variabler, d.v.s. enten sørge for at alle skårer helt likt eller at man plasserer folk i grupper slik at forskjellene utjevnes (slik man ofte deler opp i “rettferdige” lag når man spiller fotball i gymtimen).

Men akk, hadde det bare vært så enkelt! Neste gang skal jeg forklare hvorfor avhengige og uavhengige variabler ofte ikke er nok, og hvordan forskere løser det problemet.

Forelesning for Politihøgskolen

Det dukket opp en ganske så interessant forespørsel i e-postkassen (norsk for inbox) min på mandag. Politihøgskolen ser etter psykologistudenter som kan undervise studentene deres i kvalitativ metode, med hovedvekt på intervju og utforming av intervjuguide. Dette er ifra slutten av mars til midten av april.

Det hadde vært kult å forelese for dem, men tidspunktene passer dårlig, og jeg har tre andre viktige foredrag i mars. Så jeg får gjøre et forsøk ved en senere anledning.

Komahistorie er svindel og sprøyt

Dette er riktignok ikke en direkte relevant ift. mine masterstudier, men det er relevant ift. forskningsmetode og etikk. Bakgrunnen er at noen oppdaget at en komapasient visstnok har vært ved bevissthet i 23 år, men vært stengt inne i seg selv. Saken ble dekket i medier i mange land (i Norge gikk i hvert fall TV2Dagbladet, VG og Aftenposten rett på (Aftenposten ser ut til å ha fjernet artikkelen i etterkant)) . Selv, ble jeg veldig fascinert, helt til jeg så videoen.

Alle de norske mediene skriver at “Rom Houben sier” det ene og det andre. Faktum er at han ikke sier noe som helst. Han kommuniserer gjennom et tastatur. Og hvordan? Med egne hender? Neeeida, han får hjelp! Av en medhjelper som holder armen hans og fører hånden til de ulike bokstavene. Og medhjelperen? Hun ser tilfeldigvis også på skjermen. Alle psykologistudenter i Norge lærer om dette på førsteåret.

Fenomenet kalles “Facilitated Communication” og er erklært som svindel av de seriøse interesseorganisasjonene til komapasienter, autister og andre som har kommunikasjonsvansker. Ikke nok med at noen her kommer til å tjene fett på boken som Rom skal skrive, men nå begynner folk å rope at helsepersonellet bør bli saksøkt fordi de stilte riktig diagnose.

For en mer følelsesladet argumentasjon, se her.
De som er interessert i fenomenet, kan lese om Den kloke hesten Hans, som kunne regne.