Monthly Archives: January 2011

Apropos usability…

En litt morsom notis fra en human factors-blogg, hvor en annenpilot sendte flyet ned i et stup da han prøvde å justere stolen sin :P

Minner litt om en annen hendelse hvor en automatisert beskjed om nødlanding ved en feil ble sendt til passasjerene over høyttaleranlegget.

Advertisements

M-SWOT: Teoriutvikling eller måling?

Min post nr. 100 tenkte jeg å dedikere til en viktig avgjørelse man kan glemme å ta når man bruker M-SWOT-metoden.

Er du en konsulent eller masterstudent som skal bruke M-SWOT så er følgende veldig viktig å være oppmerksom på: Det finnes to hovedbruksområder for M-SWOT. Disse er teoriutvikling (TU) og klima-/meningsmåling (KMM). Dette er kjempeviktig for arbeidsmengden du får i etterkant.

Du kan nemlig variere arbeidsmengden gjennom måten du trekker ut utsagn på, og de valgmulighetene du har er avhengig av om du driver med TU eller KMM. Derfor er det smart å være bevisst på hva du vil med M-SWOT før du setter i gang.

Til deg som ikke gidder lese hele innlegget – her er hovedpoenget: Hvis du bare skal kjøre en KMM kan du definere utsagn som avsnitt istedenfor “minste meningsbærende enhet”, og slippe blodslitet med å kode tusenvis av utsagn.

KMM er enklest. Der har du en modell du vet du stoler på og som du har tenkt å bruke til å måle noe. TU er verre. Der er du skeptisk til modellen, og du må derfor også samle opp utsagn som ikke faller inn i modellen.

Hittil har M-SWOT-brukere definert et utsagn som noe sånt som “den minste meningsbærende enheten som sier noe om temaet som studeres”. Min forskning har demonstrert at det er svært lav reliabilitet på uttak av utsagn som følger slike subjektive definisjoner. Men grunnen til at det “må” være såpass små utsagn er regelen om at et utsagn bare kan kodes én gang.

Murphy & Ciszewska-Carr (2005) kom også fram til samme konklusjon, nemlig lav interjudge-reliabilitet på utsagnsuttak. De skiller mellom semantisk (meningsbærende) og syntaktisk (setninger, avsnitt) utsagnsuttak. Kort sagt, sier de at da det hadde liten effekt på kodingen at de byttet fra semantisk til syntaktisk utsangsuttak. Men det skyldes delvis at informantene deres var veldig strukturerte i tekstene de skrev (intervjuobjekter hopper mer mellom tema), og at de hadde nesten like mange syntaktiske som semantiske utsagn. Også de fulgte regelen om at et utsagn kun kan ha én kode.

“Har du lyst, har du lov”
Og her kommer den nye tanken i M-SWOT-sammenheng: Du har faktisk lov til å kode et (syntaktisk / avsnitt) utsagn i flere kategorier. Hvis en kategori dukker opp flere ganger i det samme utsagnet, vel, så skriv antallet ganger temaet dukker opp! Da slipper du å kode tusenvis av utsagn, og du slipper å bruke tid på å gruble over om nøyaktig hvor du skal avslutte et utsagn og starte det neste.

Sorry-borry, dette funker bare for KMM.
Da har du en modell du “vet” er sann. Hvis du derimot driver og tester ut et modell i en ny setting (TU) slik jeg gjør i min masteroppgave, så er det viktig å også trekke ut de utsagnene som ikke passer med modellen. Så en TU må nødvendigvis være mer krevende enn en KMM.

Konsekvenser for reliabiliteten
Murphy & Ciszewska-Carr har rapportert at det å velge ut avsnitt er en langt mer reliabel måte å trekke ut utsagn på. I deres tilfelle brukte de skrevet tekst. I intervjuer blir det litt verre; mennesker snakker jo ikke i avsnitt. Likevel transkriberer vi inn avsnitt eller setninger der informanten tar en pause, eller starter på et nytt tema, eller der vi føler for det. Resultatet er at den potensielle feilkilden (og den tilhørende reliabilitetssjekken) blir forskjøvet til transkriberingsstadiet! Derfor må man operasjonalisere avsnitt (eller setninger).

Samtidig er det et annet reliabilitetsproblem som dukker opp. Hvis du kan kode et utsagn i flere kategorier, så begynner reliabiliteten å dreie seg om hvor mange koder du og din interrater ser i hvert utsagn. Ja, så har du det gamle spørsmålet om hvilke koder dere har satt på utsagnene også.

Oppsummering
Så kort oppsummert, kan du redusere arbeidsmengden og øke utsagns-reliabiliteten ved å velge ut større utsagn basert på syntaktiske kriterier, men må betale litt for det ved å se på en annen type reliabilitet.

En kjapp intro til M-SWOT-analyse

Når man skriver masteroppgave på universitetet anbefales det at man bruker innsamlet data (i motsetning til en ren teoretisk oppgave). Disse dataene skal analyseres. Det fins utallige analysemetoder som passer til ulike typer data. Én av disse analysemetodene heter M-SWOT, og det er den metoden jeg bruker til min masteroppgave.

M-SWOT brukes til å analysere SWOT-intervjuer. Den er utviklet ved Psykologisk institutt ved UiO, av Cato Bjørkli, Roald Bjørklund og Thomas Hoff, samt minst et titalls masterstudenter, over flere år.

Når intervjuene er ferdig transkribert, skal man ifølge M-SWOT trekke ut utsagn (en prosess som er kjent som unitizing på engelsk). Disse utsagnene blir så plassert under hverandre i SPSS eller Excel. Bortover har man flere modeller som disse utsagnene skal krysses av i.

Den første “modellen” er SWOT, hvor bokstavene står for Strenghts, Weaknesses, Opportunities og Threats. Alle utsagn skal inn i én av disse kategoriene (noen ganger bruker man også en R-kategori, altså rest eller residual, for utsagn som bare ikke passer inn).

Så har man den teoretiske modellen som den aktuelle forskningen handler om (M’en i M-SWOT). Modellene man bruker har gjerne flere kategorier, og man krysser av i disse kategoriene hver gang et utsagn handler om den kategorien. Hvert utsagn kan kun kodes i én kategori.

Til slutt, legger man sammen antallet utsagn som har falt i hver kategori, og da kan man si noe om hva intervjuobjektene er opptatt av. Dette sammenlignes opp mot fordelingen av S, W, O og T, og da kan man også si noe om bl.a. hvor positive/negative disse holdningene er.

Dette var en overfladisk introduksjon til hva M-SWOT-analyse er. Det kommer mer under taggen m-swot i tiden fremover til oppgaveinnlevering i mai.

Metodologiske kvaler II

For snart tre uker siden strevde jeg med å finne en god definisjon på hva som er et utsagn, slik at jeg får en god intrarater (eller riktigere, intrajudge) reliabilitet på utsagnsuttak. Men jeg har lenge hatt en mistanke om at selv ikke en god definisjon er nok.

Jeg kan godt øve meg slik at jeg trekker ut utsagn på samme måte hver gang. Det er noe som delvis kommer med trening. Problemet er interjudge-reliabilitet. Dersom en annen person skulle ta utgangspunkt i det samme datasettet som jeg har (intervjuene), ville vedkommende komme fram til andre konklusjoner hvis det er lav interjudge-reliabilitet på utsagnsuttak.

Man har et prinsipp i forskningen kalt replikabilitet, som betyr at en studie bør komme fram til samme resultater hvis den gjentas helt likt.

Nå har jeg rekruttert Lars-Martin fra “Lille-Arb.Org.” (2010/12-kullet). Han fulgte det jeg trodde var en god definisjon, og han fikk trening, men allikevel kom vi fram til 63,6 % enighet. En revisjon av definisjonene økte enigheten til 68,9 %. Med tanke på at jeg siktet på 90 % så er de resultatene jeg har fått ganske dårlige. Det sier noe om at utsagnsuttak kan være en svært subjektiv vurdering, og da må jo spørre seg om ikke forskning basert på utsagn fra intervjutranskripsjoner har dårlig validitet.

Hvordan skrive en god masteroppgave

I forrige uke var det flere kom hit ved å søke på “hvordan få A på masteroppgaven” o.l. Siden det er interesse for det, og siden jeg selv trenger å reflektere over hva jeg har gjort bra og dårlig, kommer det noen tips fremover. Første i rekken er: PLANLEGG!

Oppsummering for de som ikke gidder å lese alt (tilfeldig rekkefølge):

  1. Lag en oversiktlig mappestruktur.
  2. Bruk beskrivende filnavn for å finne fram lettere.
  3. Lag en liste over alle oppgaver du har å gjøre. Hold den oppdatert.
  4. Tidsbuffer: Folk bruker ofte lang tid på å svare.
  5. Sett av tid til å skrive godt.
  6. Ha alltid en Plan B.
  7. Skippertak er greit, men ta skippertaket tidlig. Ta gjerne flere skippertak.

Disse tipsene gjelder ikke bare bacheloroppgaver, masteroppgaver eller doktorgradsavhandlinger, men mange andre typer krevende oppgaver. Jeg har et tilsvarende system for planelggingen av Vikingkonferansen, som tilfeldigvis er samtidig som innlevering av masteroppgaven.

Litt moraliserende pekefinger først
Backup! Før jul leste jeg en melding i Universitas’ sms-spalte hvor en student tryglet om at de som fant/stjal minnepinnen hennes med hele masteroppgaven skulle levere den tilbake. Er det så vanskelig?! PCene på universitetet er stabile og har nok med lagringsplass. Bruk minnepinne og gjerne en hjemme-PC, og legg sikkerhetskopier på forskjellige steder.

Arbeidsplan
Lag en fil hvor du lister opp alt som må gjøres fra start til slutt. Hver gang du kommer på en ny oppgave, skriv den inn i filen. Jeg har en utskrift hvor jeg krysser ut oppgaver jeg blir ferdig med. Dermed får jeg en viss oversikt over hvilke arbeidsoppgaver som er igjen, pluss at det er motiverende å krysse ut ting jeg har jobbet mye med.

Ha orden på filsystemet ditt. Jeg har nå over 300 MB med viktige filer, men jeg vet nøyaktig hvor alle filene er. Lag en mappe for artikler, for tekst du har skrevet, for datamateriale, analyse o.s.v. Ha beskrivende filnavn, f.eks. “Hoff (2009) SWOT-artikkel interessant metode-del.pdf”. Da slipper du å åpne filen for å finne fram til artikkelen du leter etter. Denne nyttige formen for OCD kan jeg takke min gamle kollega Therese for, som sammen med meg brukte 2 mnd på å få orden på filsystemet på den gamle jobben min.

Legg inn en tidsbuffer når planen involverer andre. Folk svarer ikke alltid umiddelbart på e-poster, og de har kanskje ikke tid til å møte deg før i neste uke. Og vet du hva? Ingen andre enn deg (og kanskje din veileder) føler seg stresset av fristene dine. Hvordan påvirker det arbeidsplanen din? Hva kan du gjøre for å motvirke denne typen forsinkelser?

Ha en plan B for kritiske stadier av prosjektet ditt. Jeg har egentlig vært heldig med at Jernbaneverket har vært så positive. Flere av mine klassekamerater har mistet enorme mengder med respondenter nå rundt juletider. De må forbrenne tid og frustrasjon på å finne nye respondenter. Hvis man har en backup-plan i en slik situasjon, så blir livet litt lettere.

Det er viktig at du skriver forståelig, uten å skrive for mye. En masteroppgave på 200 sider er ikke imponerende hvis du like godt kunne skrevet den på 50 sider med et mer presist språk. Sett av tid til skriving, både underveis (!) og ekstra tid mot slutten.

Det er ikke noe galt med skippertak; Det er bare timingen som ofte er ille. Georg i klassen har satt standarden som flere av oss har begynt å følge. Vi tar skippertakene nå, lenge før vi trenger å ta dem. Dermed kan vi ta flere skippertak.

Har du andre tips rundt planlegging eller det å skrive en god masteroppgave, er jeg interessert i å høre i kommentarfeltet.

Metodologiske kvaler (Hva er et utsagn?)

Nå er jeg ferdig med å transkribere alle intervjuene mine. Jeg har fremdeles litt kvalitetssjekk å gjøre på enkelte av transkripsjonene, men kan sette i gang med neste steg av forskningen, som er å trekke ut utsagn.

Utsagn er de ordene, setningene eller avsnittene jeg senere skal kategoriseres etter mønster fra en sikkerhetsklimamodell. Jeg har siden flere uker før juleferien samlet sammen alt jeg finner av definisjoner på et utsagn, og trukket ut de viktigste fellesnevnerne. Det førte til en (foreløpig) definisjon: The smallest meaningful unit that concerns a separable, coherent theme.

Den enorme utfordringen akkurat nå er å få god reliabilitet på uttak av utsagn. I går tok jeg ut utsagn fra 3 avsnitt. I dag så jeg på to av de samme avsnittene med nye øyne, og prøvde å ta ut utsagn uavhengig av hva jeg gjorde i går. Og her kommer problemet: Det er forskjell på hva jeg så på som utsagn i går og i dag.

Noe er selvfølgelig likt. Det er de tingene jeg er helt sikre på er utsagn, nemlig ting informantene har sagt som går rett inn i sikkerhetsklimamodellen. Det er i tvilstilfellene at problemet dukker opp. Jeg har trukket ut utsagn av ulik lengde, med ulik start- og sluttpunkt, og ulikt antall utsagn.

Gruble-gruble…

Disse tre tingene henger nok sammen, og koker ned til hvordan jeg definerer starten og slutten på et utsagn. Men hvordan gjør man det?

Mer grubling… En lunsjpause og en kopp kakao senere finner jeg en foreløpig løsning:

Starten på et utsagn er der informanten starter å snakke om et nytt tema. Da må jeg svare på et nytt spørsmål: Hva er et tema? Hvordan vet jeg at en ting er et tema, mens et annet ikke er det?

På videregående hadde vi en usedvanlig flink engelsklærer, Margret, som hadde en effektiv metode for å skille verdifull formidling fra svada. Hver gang hun kom over et poeng, satte hun et “tick” i margen. Dersom vi hadde ticks på alle linjene, og gjerne flere ticks på hver linje, så visste vi at vi hadde gjort en god jobb.

Og der ligger nøkkelen til hva som er et nytt tema. Dersom det informanten sier er et poeng, så kan det regnes som et tema, og dermed som et utsagn.

Så i praksis sitter jeg igjen med en definisjon som sier at et utsagn er Each meaningful, separable point.

Kan iPhone-feil føre til industriulykke?

Det vil nok være å dra det litt for langt, men ta en titt på dette scenariet: Anta at det bryter ut brann i.f.m. en lekkasje på et oljeraffineri.

  1. Lekkasjen ble ikke oppdaget fordi arbeiderne var slitne
  2. De var slitne fordi de jobbet overtid på nattskiftet
  3. De jobbet overtid fordi de som skulle ta over for dem var forsinket
  4. De som skulle ta over var forsinket fordi de hadde forsovet seg
  5. De forsov seg fordi vekkerklokken deres ikke virket

Dette er en grov forenkling av en ulykke og overser div. sikkerhetssystemer, men den tjener som en grei illustrasjon for poenget om at små feil kan ha store konsekvenser.

I dag feilet vekkerklokken på iPhones over hele verden. Det er altså en systematisk (i motsetning til en tilfeldig) feil som kan påvirke mange arbeidere samtidig.

Noen prøver å forhindre at dette skjer igjen ved å legge inn en barrière ved vekkerklokkenivået:

– Jeg kommer i alle fall til å kjøre noen testalarmer, og den første tiden vil jeg nok ha flere klokker stående på, sier Cotte.

Samme feil kan forventes ved overgang mellom sommer- og vintertid. Spørs om ikke den gamle vekkerklokken bør graves frem fra loftet.