De ins en outs van validiteit

Betrouwbaarheid en validiteit zijn belangrijke onderdelen van je onderzoeksmethode en je scriptie. Veel studenten vinden het lastig om dit goed op papier te zetten. Na mijn vorige blog over betrouwbaarheid, neem ik je nu graag mee langs de ins en outs van validiteit.

Het belang van validiteit
Een valide onderzoek betekent dat de onderzoeksresultaten inhoudelijk kloppen. Zijn gevonden verbanden juist, zijn begrippen goed gemeten en zijn de resultaten van toepassing op de onderzochte populatie? De drie belangrijkste vormen van validiteit zijn constructvaliditeit, interne validiteit en externe validiteit.

Constructvaliditeit
Constructvaliditeit gaat over of je meet wat je wilt meten. Stel dat je het prijsimago wilt meten van een supermarkt, hoe meet je dan het begrip prijsimago? Uit welke onderdelen bestaat het? Hiervoor kun je het beste in je theoretisch kader ingaan op de kernbegrippen waar je onderzoek naar gaat doen. Bij het operationaliseren van een begrip kun je dan altijd terugverwijzen naar de theorie. Je kunt je dan baseren op wat andere onderzoekers al hebben uitgedacht over het begrip, dat zorgt voor minder willekeurigheid (het is niet alleen maar jouw idee) en hogere validiteit.

Wat betekent dit voor jouw scriptie?

  • Het theoretisch kader is dé plek waar je de variabelen uit je onderzoek goed uitdiept. Baseer hierop de operationalisatie van je begrippen in de methode.
  • Indien je gebruik wilt maken van een enquête of vragenlijst in je onderzoek, dan raad ik je aan om eerst uit te zoeken of er al bestaande gevalideerde vragenlijsten zijn die jouw onderwerp meten. Dan weet je zeker dat je meet wat je wilt meten. Indien je zelf een vragenlijst moet opstellen, baseer je vragen dan weer op je theoretisch kader.

Interne validiteit
Interne validiteit gaat over de mate waarin het redeneren binnen een onderzoek juist is. Wanneer je een verband vindt, is dit dan een causaal verband? Daarvoor kijk je naar of de onafhankelijke variabele daadwerkelijk van invloed is op de afhankelijke variabele. Vaak vinden we wel een correlatie, dus een samenhang tussen twee verbanden, maar dat is nog geen causaal verband. Dit gaat nog wel eens mis in de media, waar een correlatie tussen luisteren naar bepaalde muziek en klein crimineel gedrag uitgroeit tot de stelling dat hiphop crimineel gedrag veroorzaakt. Dat zou wel mooi zijn, dan hoeven we alleen hiphop te verbieden om de criminaliteit te verminderen.

Wat betekent dit voor jouw scriptie?

  • Vraag jezelf af hoe de verbanden lopen in je onderzoek. Welke andere niet onderzochte variabelen zouden het gevonden verband ook kunnen verklaren?

Externe validiteit
Externe validiteit gaat over de mate waarin je onderzoek te generaliseren valt. Valt een onderzoek naar bijvoorbeeld teameffectiviteit bij de afdeling Werk & Inkomen van een gemeente te generaliseren naar andere afdelingen van deze gemeente? En naar andere gemeenten? En naar andere non-profit organisaties? En naar commerciële bedrijven? En zijn de uitkomsten van je onderzoek alleen geldig voor organisaties in Nederland? Dat hangt ervan af hoe representatief de onderzochte teams zijn voor de hele populatie.

Wat betekent dit voor jouw scriptie?

  • Indien je je onderzoek uitvoert bij één organisatie, bedenk dan hoe specifiek deze organisatie is. Wat voor soort organisaties lijken op jouw organisatie, bijvoorbeeld door het soort werkzaamheden of de organisatiestructuur?
  • Indien je voor jouw onderzoek respondenten een vragenlijst laat invullen, bedenk dan hoe representatief deze respondenten zijn. Wat is de totale populatie waar je een uitspraak over wilt doen en in hoeverre lijken jouw respondenten daarop?

Gebruikte bronnen:
Digitaal Universiteitsblad Universiteit Utrecht (2013). Muziekvoorkeur is indicator, géén oorzaak van criminaliteit. Geraadpleegd op 
http://www.dub.uu.nl/artikel/uitgeperst/muziekvoorkeur-indicator-geen-oorzaak-criminaliteit.html

Hoe maak je je onderzoek betrouwbaar?

Betrouwbaarheid en validiteit zijn belangrijke onderdelen van je onderzoeksmethode en je scriptie. Veel studenten vinden het lastig om dit goed op papier te zetten. Wat houdt het begrip betrouwbaarheid nu eigenlijk in en hoe maak je duidelijk wat de betrouwbaarheid is van jouw onderzoek?

Betrouwbaarheid
Betrouwbaarheid gaat over in hoeverre een onderzoek dezelfde uitkomsten heeft indien het opnieuw wordt uitgevoerd. Stel dat een medestudent of onderzoeker jouw onderzoek herhaalt, krijgt hij of zij dan dezelfde of heel andere uitkomsten?

Het herhalen van onderzoek klinkt saai, maar is bijzonder belangrijk voor de wetenschap. Onlangs hebben 270 psychologen in totaal 100 psychologiestudies herhaald. Het gaat om vrij recente onderzoeken, uit 2008, in drie gerenommeerde Amerikaanse wetenschappelijke tijdschriften. In maar 39 procent van de onderzoeken kwam het resultaat overeen met de eerdere resultaten. Schokkend? Ja, best wel. In de wetenschap is er gelukkig veel aandacht voor betrouwbaarheid en validiteit, zodat we duidelijke uitspraken kunnen doen naar aanleiding van onderzoek of (helaas in de meeste gevallen) kunnen aangeven waarom de resultaten niet zo zeker zijn.

Wat betekent dit voor jouw scriptie?

  • Denk na over de betrouwbaarheid: indien een medestudent jouw onderzoek zou uitvoeren, zou deze dan andere uitkomsten krijgen? Waarom wel of niet?
  • Een goed onderzoek is repliceerbaar, dat betekent dat een andere onderzoeker het makkelijk opnieuw kan uitvoeren. Beschrijf in de methode heel duidelijk alle stappen die je neemt in je onderzoek, zo kan je onderzoek gerepliceerd worden.
  • Zorg ervoor dat je resultaten niet teveel van toevalligheden afhangen. Hoe meer observaties je doet, hoe betrouwbaarder je onderzoek wordt.

Wees duidelijk over de beperkingen van je onderzoek
Bijna elk onderzoek heeft wel één of meerdere problemen rond betrouwbaarheid en validiteit. Zorg ervoor dat je zelf duidelijk aangeeft welke problemen jouw onderzoek heeft. Dit doe je in de discussie. Je hoeft zeker niet je eigen onderzoek af te kraken (liever niet!), maar wees wel scherp in je analyse. Geef aan wat je gedaan hebt om de problemen te verminderen of wat de positieve kanten van je onderzoek zijn.

Gebruikte bronnen
NRC (2015). Ja, veel uitkomsten zijn twijfelachtig, maar…. Geraadpleegd op http://www.nrc.nl/next/2015/08/29/ja-veel-uitkomsten-zijn-twijfelachtig-maar-1526472