Reliabilitet og validitet

Reliabilitet og validitet beksriver henholdsvis påliteligheten og gyldighetene til undersøkelsene våre. Kan vi stole på resultatene våre, og måler vi det vi tror vi måler?

I sammenheng med testing og måling refererer validitet til i hvilken grad et måleinstrument måler det det er ment å måle. Med andre ord, det er et mål på hvor godt dataene representerer de faktiske fenomenene eller konseptene de er ment å beskrive. Reliabilitet viser til måleinstrumentets konsistens eller stabilitet over tid. Et instrument er reliabelt hvis det gir lignende resultater under like forhold på forskjellige tidspunkter (Fullerton, 1993). I tillegg til disse overordnede forklaringene av de to begrepene, finnes det flere sammenhenger hvor ulike former av disse er viktige. Lenger nede på siden kan du blant annet lese mer om konstruktvaliditet og test-retest reliabilitet med eksempler som tydeliggjør hva begrepene betyr.

Validitet og reliabilitet er viktige elementer for forskningens integritet. Uten høy grad av begge, kan forskningsresultater bli misvisende, feiltolket, eller irrelevante. Dette kan føre til feilaktige konklusjoner og beslutninger, samt fremskritt i feil retning. Når forskere designer sine studier, må de nøye vurdere valg av design og målemetoder for å maksimere både validitet og reliabilitet. Dette innebærer valg av passende instrumenter for datainnsamling, utvikling av klare og nøyaktige definisjoner og bruk av standardiserte prosedyrer for datainnsamling og analyse. 

Valget mellom kvantitative og kvalitative forskningsmetoder har også implikasjoner for validitet og reliabilitet. Kvantitative metoder, som gjerne bruker standardiserte måleinstrumenter, legger vekt på målbarhet og repeterbarhet (reliabilitet). Samtidig kreves det grundig undersøkelse for å avgjøre om det målingene viser faktisk representerer den virkeligheten de forsøker å beskrive (validitet). Kvalitative metoder, som fokuserer mer på dybdeforståelse av menneskelige erfaringer, krever forskjellige strategier for å sikre validitet, som triangulering, medlemskontroll, og tykk beskrivelse. Siden kvalitative tilnærminger anerkjenner menneskers subjektiviteten og hvordan deres erfaringer påvirkes av kontekst, snakker man gjerne ikke om reliabilitet i denne forskningstradisjonen da målet sjeldent er å generalisere funnene (Leung, 2015). Man benytter heller en videre forståelse av validitet som inkluderer gyldighet, men samtidig legger vekt på transparens, kontekst, grundighet i analysene og redegjørelser av forskerens potensielle bias (Cypress, 2017).

Under kan du lese mer om noen viktige former for validitet og reliabilitet, samt se eksempler på når de blir viktige å tenke på

Innholdvaliditet (content validity) refererer til i hvilken grad et måleinstrument dekker området av det konseptet det er ment å måle. Dette innebærer en systematisk undersøkelse av instrumentet for å sikre at alle aspekter av konseptet er representert. 

Eksempel: Hvis du utvikler en matematikktest for barn på femte trinn, må testen inneholde spørsmål som dekker alle relevante områder av matematikk pensum for femte trinn, som addisjon, subtraksjon, multiplikasjon, divisjon, brøk, og geometri. Manglende spørsmål om et viktig område, som geometri, vil redusere testens innholdvaliditet. 

Kriterievaliditet (criterion validity) vurderer hvor godt et måleinstrument reflekterer et bestemt utfall eller kriterium. Det er ofte delt inn i 1) prediktiv validitet: Evnen til et måleinstrument til å forutsi fremtidig ytelse eller oppførsel, og 2) konkurrent validitet: Korrelasjonen mellom instrumentet og et annet mål tatt samtidig. 

Eksempel på prediktiv validitet: En karriereinteressetest som med god nøyaktighet kan forutsi hvilken type jobb en person vil trives i, basert på deres interesser og ferdigheter. 

Eksempel på konkurrent validitet: Sammenligning av resultater fra en ny engelsk språktest med resultater fra en allerede etablert og anerkjent test for å måle engelskkunnskaper, tatt av de samme personene på samme tidspunkt. 

Konstruktvaliditet (construct validity) undersøker om et testinstrument faktisk måler det teoretiske konstruktet det er ment å måle. Dette kan deles inn i 1) konvergent validitet: Grad av korrelasjon mellom målinger som antas å måle det samme konstruktet, og 2) divergent validitet: Mangel på korrelasjon mellom målinger som antas å måle forskjellige konstrukt. 

Eksempel: For å vurdere konstruktvaliditeten av et nytt instrument for å måle angst, kan forskeren sammenligne resultatene med de fra et etablert måleinstrument (konvergent validitet) og et instrument for måling av depresjon (divergent validitet). Forventningen er at den nye angsttesten korrelerer sterkt med den etablerte angsttesten, men ikke med depresjonstesten. 

Test-retest reliabilitet vurderer konsistensen av et måleinstrument over tid ved å administrere det samme testen til de samme personene under like forhold ved to forskjellige tidspunkt. En god test-retest validitet vil tilsi lav variasjon mellom målingene. Du kan lese mer om hvordan dette undersøker på siden om intraclass correlation coefficient (ICC).

Eksempel: En forsker måler stressnivået til en gruppe studenter to ganger med en måneds mellomrom, under like forhold, uten at det har skjedd noen betydelige hendelser som kunne påvirke stressnivået. Hvis resultatene er svært like, anses instrumentet for å ha høy test-retest reliabilitet. Hvis resultatene ikke er like, må man anta enten at testen ikke har god test-retes reliabilitet eller at ukjente faktorer har påvirket utfallet (stressnivået).

Inter-rater reliabilitet måler graden av enighet mellom ulike observatører som vurderer det samme fenomenet. Dette kan for eksempel brukes dersom man har flere psykologer som skal vurdere en tilstand, eller flere eksperter som skal evaluere en video av en utøver som gjennomfører en bestemt øvelse.

Eksempel: I en studie der forskere observerer barns atferd under lek, bør flere uavhengige observatører vurdere de samme atferdstrekkene. Hvis observatørene gir lignende vurderinger, er inter-rater reliabiliteten høy. 

Intern konsistens vurderer hvor godt forskjellige deler av et måleinstrument måler det samme konseptet og om de er konsistente med hverandre. 

Eksempel: La oss se for oss en personlighetstest som består av flere spørsmål ment for å måle ekstroversion. Hvis en respondent som svarer høyt på ett spørsmål om ekstroversion også svarer høyt på de andre som er ment å måle ekstroversjon, antyder det at testen har høy intern konsistens. 

Referanser:

Cypress, B. S. (2017). Rigor or Reliability and Validity in Qualitative Research: Perspectives, Strategies, Reconceptualization, and Recommendations. Dim Crit Care Nurs, 36(4), 253-263. 

Fullerton, J. T. (1993). Evaluation of research studies: Part IV: Validity and reliability—Concepts and application. J Nurse Midwifery, 38(2), 121-125.

Leung, L. (2015). Validity, reliability, and generalizability in qualitative research. J Family Med Prim Care, 4(3),  324-327.