Category Archives: Learning log

Mine studier, både v/ UiO og på eget initiativ

Hvordan italienske tomater reddet masteroppgaven min

Pomodoro-teknikken har sitt navn fra denne typen kjøkkenklokke som teller ned sekundene du har til rådighet

Hvis man ønsker å skrive en god masteroppgave, er man avhengig av god selvdisiplin. Man må bruke tiden man har til rådighet på en effektiv måte. En teknikk for å oppnå dette er Pomodoro-teknikken, som jeg selv har brukt.

Slik jeg har forstått og brukt Pomodoro-teknikken, så er det en konsentrasjonsteknikk basert på tidsdisponering. Kort sagt, går den ut på at man har en 30-minutters arbeidssyklus hvor man jobber i 25 minutter og tar pause i 5.

I de 25 minuttene skal man kun jobbe med én oppgave. Multitasking er fy-fy. Dersom du sitter fast, skal du ikke hoppe over på noe annet. Vær forøvrig nøye med når du tar pause. Det er fristende å fortsette når man først har kommet i en god flyt, men stopper man arbeidet mens man er i flyt, vil man være motivert for å ta opp igjen arbeidet etter 5 minutters pause. Dersom man jobber til man stopper opp, og så tar en pause, så er det faktisk tyngre.

Personlig, fulgte jeg ikke Pomodoro-teknikken slavisk, og ikke over særlig lang tid. Jeg brukte den for å lære meg å konsentrere meg umiddelbart, og den arbeidsrytmen jeg innarbeidet gjennom Pomodoro-teknikken var faktisk en god måte å oppnå umiddelbar konsentrasjon på. Nå og da, når jeg synes det blir vanskelig å konsentrere seg, tar jeg frem Pomodoro-teknikken igjen.

Dette er egentlig all info man trenger for å komme i gang, men er du nysgjerrig på mer, finner du mer om teknikken her.

Analyseutfordringer

Til analysen av datamaterialet vårt skal både Georg og jeg bruke chi-kvadrat, one-way ANOVA, general linear model (repeated measures) og t-tester. Vi vet at vi skal bruke det (for det er det vi er blitt fortalt), men vi vet ikke helt hvilke hypoteser som skal besvares med hvilke analysemetoder. Ennå.

Ett problem som jeg nå regner som løst er t-tester. En t-test brukes til å sammenligne gjennomsnittskåren til to grupper med data. Problemet var at det fins 3 former for t-tester (om ikke flere): one-sample t-test, paired-samples t-test og unpaired/independent samples t-test. Hvilken skal vi velge?

Denne siden gir en grei måte å velge på:

1. Vil du sammenligne gjennomsnittet til dine data oppmot et selvvalgt tall eller en slags standard? I så fall velger du one-sample t-test, fordi du har EN gruppe som du sammenligner med noe normativt. F.eks.: Er gjennomsnittet av månedlig sjokoladespising høyere enn en anbefalt “dose” på 3 sjokoladeplater?

2. Vil du sammenligne to forskjellige gjennomsnitt fra samme gruppe eller fra to grupper som ligner veldig på hverandre? Bruk paired-samples t-test. Det som skjer da er at du da kan anta at de to gruppene er så like som mulig – en nødvendig antakelse ved f.eks. eksperiment.

3. Ved alle andre tilfeller, bruker du unpaired-samples t-test. F.eks. hvis de to gjennomsnittene du måler kommer fra grupper som er forskjellige.

M-SWOT og interrater-reliabilitet

En del av denne uken gikk med på at Georg og jeg beregnet interrater-reliabilitet hverandres SWOT-koding. SWOT-delen av M-SWOT går ut på at man tar hvert utsagn i et intervju og kategoriserer det som en styrke, svakhet, mulighet eller trussel/utfordring. De fire kategoriene bestemmes utfra tre dimensjoner: positiv/negativ, nåtid/fremtid og intern/ekstern.

Vi bruker en kodingsmal, eller en veiledning, til å kode slik at vi vurderer utsagnene etter de samme kriteriene. En eventuell forskjell skal ideelt skyldes faktisk uenighet, ikke ulik vurdering.

Mandag fikk vi en Cohens kappa på 0.55 på mitt materiale. Når minimumskravet er 0.70 så var det et ganske trist tall. Tirsdagen brukte jeg på å finne ut hvorfor vi vurderte ting annerledes. Da så på om Georg og jeg hadde systematiske forskjeller (f.eks. om han konsekvent koder som styrker det som jeg koder som muligheter), og vi snakket oss gjennom en testkoding.

Det vi kom fram til var følgende:
– I SWOT-koding så må man definere S, W, O og T i forhold til noe, f.eks. sikkerhet eller ekspertise.
– Man må kode utfra hvilket spørsmål informanten svarer på. “Vi har mange opplæringsdager” kan være alle fire kategoriene, samt residual, avhengig av hvilket spørsmål som blir stilt.
– Dimensjonen nåtid/fremtid krasjer iblant med dimensjonen intern/ekstern. Det var viktig å få satt opp i hvilken rekkefølge dimensjonene skulle bli vurdert, slik at dette gjøres på en konsistent måte.

Etter at disse justeringene hadde blitt gjort, testet vi det ut på et nytt intervju og fikk en kappa på 0.77, som er godt nok for en masteroppgave.

Kodingsmalen vil bli tilgjengeliggjort på duo.uio.no når jeg legger ut masteroppgaven der.

En del av denne uken gikk med på at Georg og jeg beregnet interrater-reliabilitet hverandres SWOT-koding. SWOT-delen av M-SWOT går ut på at man tar hvert utsagn i et intervju og kategoriserer det som en styrke, svakhet, mulighet eller trussel/utfordring. De fire kategoriene bestemmes utfra tre dimensjoner: positiv/negativ, nåtid/fremtid og intern/ekstern.

Vi bruker en kodingsmal, eller en veiledning, til å kode slik at vi vurderer utsagnene etter de samme kriteriene. En eventuell forskjell skal ideelt skyldes faktisk uenighet, ikke ulik vurdering.

Mandag fikk vi en Cohens kappa på 0.55 på mitt materiale. Når minimumskravet er 0.70 så var det et ganske trist tall. Tirsdagen brukte jeg på å finne ut hvorfor vi vurderte ting annerledes. Da så på om Georg og jeg hadde systematiske forskjeller (f.eks. om han konsekvent koder som styrker det som jeg koder som muligheter), og vi snakket oss gjennom en testkoding.

Det vi kom fram til var følgende:
– I SWOT-koding så må man definere S, W, O og T i forhold til noe, f.eks. sikkerhet eller ekspertise.
– Man må kode utfra hvilket spørsmål informanten svarer på. “Vi har mange opplæringsdager” kan være alle fire kategoriene, samt residual, avhengig av hvilket spørsmål som blir stilt.
– Dimensjonen nåtid/fremtid krasjer iblant med dimensjonen intern/ekstern. Det var viktig å få satt opp i hvilken rekkefølge dimensjonene skulle bli vurdert, slik at dette gjøres på en konsistent måte.

Etter at disse justeringene hadde blitt gjort, testet vi det ut på et nytt intervju og fikk en kappa på 0.77, som er godt nok for en masteroppgave.

Kodingsmalen vil bli tilgjengeliggjort på duo.uio.no når jeg legger ut masteroppgaven der.

M-SWOT: Teoriutvikling eller måling?

Min post nr. 100 tenkte jeg å dedikere til en viktig avgjørelse man kan glemme å ta når man bruker M-SWOT-metoden.

Er du en konsulent eller masterstudent som skal bruke M-SWOT så er følgende veldig viktig å være oppmerksom på: Det finnes to hovedbruksområder for M-SWOT. Disse er teoriutvikling (TU) og klima-/meningsmåling (KMM). Dette er kjempeviktig for arbeidsmengden du får i etterkant.

Du kan nemlig variere arbeidsmengden gjennom måten du trekker ut utsagn på, og de valgmulighetene du har er avhengig av om du driver med TU eller KMM. Derfor er det smart å være bevisst på hva du vil med M-SWOT før du setter i gang.

Til deg som ikke gidder lese hele innlegget – her er hovedpoenget: Hvis du bare skal kjøre en KMM kan du definere utsagn som avsnitt istedenfor “minste meningsbærende enhet”, og slippe blodslitet med å kode tusenvis av utsagn.

KMM er enklest. Der har du en modell du vet du stoler på og som du har tenkt å bruke til å måle noe. TU er verre. Der er du skeptisk til modellen, og du må derfor også samle opp utsagn som ikke faller inn i modellen.

Hittil har M-SWOT-brukere definert et utsagn som noe sånt som “den minste meningsbærende enheten som sier noe om temaet som studeres”. Min forskning har demonstrert at det er svært lav reliabilitet på uttak av utsagn som følger slike subjektive definisjoner. Men grunnen til at det “må” være såpass små utsagn er regelen om at et utsagn bare kan kodes én gang.

Murphy & Ciszewska-Carr (2005) kom også fram til samme konklusjon, nemlig lav interjudge-reliabilitet på utsagnsuttak. De skiller mellom semantisk (meningsbærende) og syntaktisk (setninger, avsnitt) utsagnsuttak. Kort sagt, sier de at da det hadde liten effekt på kodingen at de byttet fra semantisk til syntaktisk utsangsuttak. Men det skyldes delvis at informantene deres var veldig strukturerte i tekstene de skrev (intervjuobjekter hopper mer mellom tema), og at de hadde nesten like mange syntaktiske som semantiske utsagn. Også de fulgte regelen om at et utsagn kun kan ha én kode.

“Har du lyst, har du lov”
Og her kommer den nye tanken i M-SWOT-sammenheng: Du har faktisk lov til å kode et (syntaktisk / avsnitt) utsagn i flere kategorier. Hvis en kategori dukker opp flere ganger i det samme utsagnet, vel, så skriv antallet ganger temaet dukker opp! Da slipper du å kode tusenvis av utsagn, og du slipper å bruke tid på å gruble over om nøyaktig hvor du skal avslutte et utsagn og starte det neste.

Sorry-borry, dette funker bare for KMM.
Da har du en modell du “vet” er sann. Hvis du derimot driver og tester ut et modell i en ny setting (TU) slik jeg gjør i min masteroppgave, så er det viktig å også trekke ut de utsagnene som ikke passer med modellen. Så en TU må nødvendigvis være mer krevende enn en KMM.

Konsekvenser for reliabiliteten
Murphy & Ciszewska-Carr har rapportert at det å velge ut avsnitt er en langt mer reliabel måte å trekke ut utsagn på. I deres tilfelle brukte de skrevet tekst. I intervjuer blir det litt verre; mennesker snakker jo ikke i avsnitt. Likevel transkriberer vi inn avsnitt eller setninger der informanten tar en pause, eller starter på et nytt tema, eller der vi føler for det. Resultatet er at den potensielle feilkilden (og den tilhørende reliabilitetssjekken) blir forskjøvet til transkriberingsstadiet! Derfor må man operasjonalisere avsnitt (eller setninger).

Samtidig er det et annet reliabilitetsproblem som dukker opp. Hvis du kan kode et utsagn i flere kategorier, så begynner reliabiliteten å dreie seg om hvor mange koder du og din interrater ser i hvert utsagn. Ja, så har du det gamle spørsmålet om hvilke koder dere har satt på utsagnene også.

Oppsummering
Så kort oppsummert, kan du redusere arbeidsmengden og øke utsagns-reliabiliteten ved å velge ut større utsagn basert på syntaktiske kriterier, men må betale litt for det ved å se på en annen type reliabilitet.

En kjapp intro til M-SWOT-analyse

Når man skriver masteroppgave på universitetet anbefales det at man bruker innsamlet data (i motsetning til en ren teoretisk oppgave). Disse dataene skal analyseres. Det fins utallige analysemetoder som passer til ulike typer data. Én av disse analysemetodene heter M-SWOT, og det er den metoden jeg bruker til min masteroppgave.

M-SWOT brukes til å analysere SWOT-intervjuer. Den er utviklet ved Psykologisk institutt ved UiO, av Cato Bjørkli, Roald Bjørklund og Thomas Hoff, samt minst et titalls masterstudenter, over flere år.

Når intervjuene er ferdig transkribert, skal man ifølge M-SWOT trekke ut utsagn (en prosess som er kjent som unitizing på engelsk). Disse utsagnene blir så plassert under hverandre i SPSS eller Excel. Bortover har man flere modeller som disse utsagnene skal krysses av i.

Den første “modellen” er SWOT, hvor bokstavene står for Strenghts, Weaknesses, Opportunities og Threats. Alle utsagn skal inn i én av disse kategoriene (noen ganger bruker man også en R-kategori, altså rest eller residual, for utsagn som bare ikke passer inn).

Så har man den teoretiske modellen som den aktuelle forskningen handler om (M’en i M-SWOT). Modellene man bruker har gjerne flere kategorier, og man krysser av i disse kategoriene hver gang et utsagn handler om den kategorien. Hvert utsagn kan kun kodes i én kategori.

Til slutt, legger man sammen antallet utsagn som har falt i hver kategori, og da kan man si noe om hva intervjuobjektene er opptatt av. Dette sammenlignes opp mot fordelingen av S, W, O og T, og da kan man også si noe om bl.a. hvor positive/negative disse holdningene er.

Dette var en overfladisk introduksjon til hva M-SWOT-analyse er. Det kommer mer under taggen m-swot i tiden fremover til oppgaveinnlevering i mai.

Hvordan skrive en god masteroppgave

I forrige uke var det flere kom hit ved å søke på “hvordan få A på masteroppgaven” o.l. Siden det er interesse for det, og siden jeg selv trenger å reflektere over hva jeg har gjort bra og dårlig, kommer det noen tips fremover. Første i rekken er: PLANLEGG!

Oppsummering for de som ikke gidder å lese alt (tilfeldig rekkefølge):

  1. Lag en oversiktlig mappestruktur.
  2. Bruk beskrivende filnavn for å finne fram lettere.
  3. Lag en liste over alle oppgaver du har å gjøre. Hold den oppdatert.
  4. Tidsbuffer: Folk bruker ofte lang tid på å svare.
  5. Sett av tid til å skrive godt.
  6. Ha alltid en Plan B.
  7. Skippertak er greit, men ta skippertaket tidlig. Ta gjerne flere skippertak.

Disse tipsene gjelder ikke bare bacheloroppgaver, masteroppgaver eller doktorgradsavhandlinger, men mange andre typer krevende oppgaver. Jeg har et tilsvarende system for planelggingen av Vikingkonferansen, som tilfeldigvis er samtidig som innlevering av masteroppgaven.

Litt moraliserende pekefinger først
Backup! Før jul leste jeg en melding i Universitas’ sms-spalte hvor en student tryglet om at de som fant/stjal minnepinnen hennes med hele masteroppgaven skulle levere den tilbake. Er det så vanskelig?! PCene på universitetet er stabile og har nok med lagringsplass. Bruk minnepinne og gjerne en hjemme-PC, og legg sikkerhetskopier på forskjellige steder.

Arbeidsplan
Lag en fil hvor du lister opp alt som må gjøres fra start til slutt. Hver gang du kommer på en ny oppgave, skriv den inn i filen. Jeg har en utskrift hvor jeg krysser ut oppgaver jeg blir ferdig med. Dermed får jeg en viss oversikt over hvilke arbeidsoppgaver som er igjen, pluss at det er motiverende å krysse ut ting jeg har jobbet mye med.

Ha orden på filsystemet ditt. Jeg har nå over 300 MB med viktige filer, men jeg vet nøyaktig hvor alle filene er. Lag en mappe for artikler, for tekst du har skrevet, for datamateriale, analyse o.s.v. Ha beskrivende filnavn, f.eks. “Hoff (2009) SWOT-artikkel interessant metode-del.pdf”. Da slipper du å åpne filen for å finne fram til artikkelen du leter etter. Denne nyttige formen for OCD kan jeg takke min gamle kollega Therese for, som sammen med meg brukte 2 mnd på å få orden på filsystemet på den gamle jobben min.

Legg inn en tidsbuffer når planen involverer andre. Folk svarer ikke alltid umiddelbart på e-poster, og de har kanskje ikke tid til å møte deg før i neste uke. Og vet du hva? Ingen andre enn deg (og kanskje din veileder) føler seg stresset av fristene dine. Hvordan påvirker det arbeidsplanen din? Hva kan du gjøre for å motvirke denne typen forsinkelser?

Ha en plan B for kritiske stadier av prosjektet ditt. Jeg har egentlig vært heldig med at Jernbaneverket har vært så positive. Flere av mine klassekamerater har mistet enorme mengder med respondenter nå rundt juletider. De må forbrenne tid og frustrasjon på å finne nye respondenter. Hvis man har en backup-plan i en slik situasjon, så blir livet litt lettere.

Det er viktig at du skriver forståelig, uten å skrive for mye. En masteroppgave på 200 sider er ikke imponerende hvis du like godt kunne skrevet den på 50 sider med et mer presist språk. Sett av tid til skriving, både underveis (!) og ekstra tid mot slutten.

Det er ikke noe galt med skippertak; Det er bare timingen som ofte er ille. Georg i klassen har satt standarden som flere av oss har begynt å følge. Vi tar skippertakene nå, lenge før vi trenger å ta dem. Dermed kan vi ta flere skippertak.

Har du andre tips rundt planlegging eller det å skrive en god masteroppgave, er jeg interessert i å høre i kommentarfeltet.

Metodologiske kvaler (Hva er et utsagn?)

Nå er jeg ferdig med å transkribere alle intervjuene mine. Jeg har fremdeles litt kvalitetssjekk å gjøre på enkelte av transkripsjonene, men kan sette i gang med neste steg av forskningen, som er å trekke ut utsagn.

Utsagn er de ordene, setningene eller avsnittene jeg senere skal kategoriseres etter mønster fra en sikkerhetsklimamodell. Jeg har siden flere uker før juleferien samlet sammen alt jeg finner av definisjoner på et utsagn, og trukket ut de viktigste fellesnevnerne. Det førte til en (foreløpig) definisjon: The smallest meaningful unit that concerns a separable, coherent theme.

Den enorme utfordringen akkurat nå er å få god reliabilitet på uttak av utsagn. I går tok jeg ut utsagn fra 3 avsnitt. I dag så jeg på to av de samme avsnittene med nye øyne, og prøvde å ta ut utsagn uavhengig av hva jeg gjorde i går. Og her kommer problemet: Det er forskjell på hva jeg så på som utsagn i går og i dag.

Noe er selvfølgelig likt. Det er de tingene jeg er helt sikre på er utsagn, nemlig ting informantene har sagt som går rett inn i sikkerhetsklimamodellen. Det er i tvilstilfellene at problemet dukker opp. Jeg har trukket ut utsagn av ulik lengde, med ulik start- og sluttpunkt, og ulikt antall utsagn.

Gruble-gruble…

Disse tre tingene henger nok sammen, og koker ned til hvordan jeg definerer starten og slutten på et utsagn. Men hvordan gjør man det?

Mer grubling… En lunsjpause og en kopp kakao senere finner jeg en foreløpig løsning:

Starten på et utsagn er der informanten starter å snakke om et nytt tema. Da må jeg svare på et nytt spørsmål: Hva er et tema? Hvordan vet jeg at en ting er et tema, mens et annet ikke er det?

På videregående hadde vi en usedvanlig flink engelsklærer, Margret, som hadde en effektiv metode for å skille verdifull formidling fra svada. Hver gang hun kom over et poeng, satte hun et “tick” i margen. Dersom vi hadde ticks på alle linjene, og gjerne flere ticks på hver linje, så visste vi at vi hadde gjort en god jobb.

Og der ligger nøkkelen til hva som er et nytt tema. Dersom det informanten sier er et poeng, så kan det regnes som et tema, og dermed som et utsagn.

Så i praksis sitter jeg igjen med en definisjon som sier at et utsagn er Each meaningful, separable point.