Deugt die test eigenlijk?
Van thema 3 tot en met 11 hebben de egels een pienterheidstest gedaan. We hebben er z-scores van gemaakt, een betrouwbaarheidsinterval omheen gelegd, de kraaien ertegen afgezet. Eén ding hebben we in al die thema’s nooit gedaan: de test zelf wantrouwen. Honderddertig, zei hij over die ene egel — en wij geloofden hem.
Dit thema stelt de vraag die daaronder ligt: deugt die test eigenlijk? Dat is geen rekenvraag; er komt geen getal uit. Het is de andere helft van het vak, en het tentamen vraagt er net zo hard naar. Acht blokken, in drie stappen. Eerst de test:
- Wat is pienterheid, en hoe wordt dat een 130? — van begrip naar getal
- Meet de test wat hij belooft, en meet hij morgen hetzelfde? — betrouwbaar of valide
- En als de test deugt: deugt dan ook wat je met de uitslag concludeert? — welke validiteit?
Dan het onderzoek waarin je hem gebruikt:
- Wie deelde de pil uit — en mag je daarom “oorzaak” zeggen? — experiment of vergelijking
- Wie trekt er nog meer aan de touwtjes? — de derde variabele
- Hoe kwamen die 25 egels in je steekproef? — loten of grijpen
En tot slot de vraag erachter:
- Waar kwam je hypothese vandaan, en wat bewijst een uitkomst? — inductie, deductie, weerleggen
- Mocht dit onderzoek eigenlijk wel? — ethiek
Van begrip naar getal — hoe wordt “pienter” een 130?
De test zei 130. Maar wat is pienterheid — en wie heeft bedacht dat je die in puzzels kunt tellen?
Conceptueel — wat het begrip betekent. Pienterheid: nieuwe problemen kunnen oplossen. Operationeel — het recept: wat je telt, waarmee, hoe lang — zo precies dat een ander het nadoet. Pienterheid: aantal puzzels dat een egel in tien minuten oplost.
Kan ik zien hoe pienter een egel is? Nee. Ik kan niet in zijn kop kijken. Pienterheid zit binnenin, en daar kom je niet bij — latent heet dat: misschien wel aanwezig, maar onzichtbaar. Wat zich wél laat zien, is gedrag: lost deze egel die puzzel op, ja of nee? Dat is manifest, dat kun je turven. Het getal 130 is dus geen pienterheid. Het is een indicator van pienterheid, een aanwijzing — en niet één op één. Een egel met een hoge score is waarschijnlijk pienter. Waarschijnlijk, niet zeker.
Tussen het begrip en het getal zit een keten, en elke schakel is een keuze. Je begint met een begrip in woorden — de conceptuele definitie. Daar kun je niets mee meten, dus je vertaalt hem naar een recept: wat tel je, waarmee, hoe lang — de operationele definitie. Dat recept wordt een instrument (de pienterheidstest: veertig puzzels en een stopwatch), en het instrument levert het getal.
Hoe je aan dat getal komt, kan op vier manieren: kijken (observatie), meten aan het lichaam (fysiologisch), vragen (zelfrapportage) of bestaande gegevens gebruiken (archief). Bij de egels lieten we ze puzzelen en turfden we — observatie.
Dat de operationalisatie een keuze is, laat ik in de les wel eens zien met iets simpels: lengte. Ik vraag drie studenten hoe lang ze zijn, en schrijf alleen de centimeters boven de meter op: 80, 84, 80. Iedereen zit toch boven de één? Dan noem ik iemand van 40. Is die van 80 nu twee keer zo lang als die van 40? Nee — het is 1,80 tegenover 1,40. Ik heb lengte opnieuw geoperationaliseerd, en de nul betekent ineens “één meter”. Dezelfde mensen, dezelfde lengte, een ander getal. (Waarom je met dat andere getal ineens niet meer mag delen, stond in Deel 0 bij de meetniveaus; dat hoef je hier niet paraat te hebben.)
Bij pienterheid is het net zo, alleen zie je de keuze minder snel. “Aantal puzzels in tien minuten” is één recept; “seconden tot de egel de uitgang van het doolhof vindt” is een ander — de vork in het plaatje. Beide leveren een getal, en de twee getallen zeggen niet hetzelfde. Welk recept pienterheid is, hangt af van wat je met dat woord bedoelde. Daarom komt de conceptuele definitie éérst.
En of die 130 ook écht pienterheid meet? In thema 3 zei ik: daar hebben we het nu niet over, we zijn met statistiek bezig. Nu wel. Dat is blok 2.
Nog één paar om het bij je te houden: leesvaardigheid → aantal goed gelezen woorden per minuut. Links wat het betekent, rechts het recept. Die stap zet je pas als je iets gaat toetsen — blok 7 noemt dat de deductie.
“Pienterheid is het vermogen om een moeilijke taak te vervullen.” Dat klinkt lekker concreet — er staat een táák in. Maar er staat niet welke taak, niet wat je telt, niet hoe lang. Een ander kan het niet nadoen, dus er komt geen getal uit. Conceptueel, hoe concreet het ook klinkt.
De toets is steeds dezelfde: kan een ander het met hetzelfde recept nadoen, en komt er een getal uit? Zo nee, dan is het conceptueel — ook als er woorden als taak, gedrag of vermogen in staan. Een telwoord (aantal, seconden, score op) is een goed teken, maar geen bewijs: “hoe snel” klinkt als seconden en is toch geen recept, zolang er niet bij staat snel waarín en gemeten hoe.
Oefenen
Bij elk geval: is dit een conceptuele of een operationele definitie? En noem het woord dat je op het spoor zette.
Welbevinden is je prettig voelen in je omgeving.
Welbevinden is het aantal keer dat een peuter in een uur vrij spel lacht, geturfd door een observator.
Pienterheid is hoe snel een egel nieuwe dingen doorheeft.
Een observator turft met een checklist of een peuter “boos gedrag” laat zien: ja of nee. Wat als boos telt, heeft niemand opgeschreven.
(a) Conceptueel — prettig voelen zegt wat het begrip betekent, niet hoe je het ziet. (b) Operationeel — aantal keer, in een uur, geturfd door: een ander kan het nadoen en er komt een getal uit. (c) Conceptueel — hoe snel klinkt als iets meetbaars, maar er staat geen recept: snel waarin, gemeten hoe? Dit is de val van hierboven. (d) Nog niet operationeel — niemand heeft opgeschreven. De checklist levert wel een ja of nee, maar het recept ontbreekt: een tweede observator weet niet of een duw of een frons telt en turft dus iets anders. Zodra vóór het turven vastligt wat “boos” is, wél. Daar peilt een tentamenvraag over checklists dan ook op: het nadeel van zo’n lijst zit niet in het turven, maar ervóór — in het vastleggen van wát je turft.
Welke van deze uitspraken over doorzettingsvermogen is een operationele definitie?
- Doorzettingsvermogen is de neiging om door te gaan als iets tegenzit
- Doorzettingsvermogen is een combinatie van wilskracht en zelfvertrouwen
- Doorzettingsvermogen is het aantal minuten dat een kind aan een onoplosbare puzzel blijft werken voordat het opgeeft
- Doorzettingsvermogen is het vermogen om een saaie taak toch af te maken
Optie 3. Het aantal minuten aan een onoplosbare puzzel — een ander kan die puzzel pakken, de klok erbij zetten en hetzelfde soort getal krijgen. Dat is het recept.
Optie 1, 2 en 4 zeggen alle drie wat doorzettingsvermogen is: een neiging, een combinatie, een vermogen. Het lokkertje is optie 4, want een saaie taak afmaken klinkt als iets wat je kunt afnemen. Maar welke taak, en wat tel je? Er staat geen telwoord in. Conceptueel.
Eerst drie definities: zijn ze operationeel, ja of nee?
- Slaaptekort is minder dan zeven uur slaap per nacht, afgelezen van een polsband, gemiddeld over een week.
- Pesten is iemand herhaaldelijk en met opzet kwetsen terwijl die zich moeilijk kan verweren.
- Nieuwsgierigheid is de drang om nieuwe dingen te willen begrijpen.
Dan andersom. Eén recept kan bij meer dan één begrip horen: hoe vaak een egel ’s nachts zijn snuit uit het nest steekt kun je gebruiken om nieuwsgierigheid te meten, maar net zo goed onrust. Geef bij elk recept het begrip dat erachter kan zitten; er zijn meerdere antwoorden goed.
- Netto inkomen in euro’s per maand, van de loonstrook.
- Aantal woorden dat een kind in één minuut foutloos voorleest.
- Aantal seconden dat een peuter een vreemde aankijkt vóór hij naar zijn moeder terugloopt.
- Aantal goede antwoorden op het tentamen van dit vak.
- Aantal seconden dat een kleuter wacht vóór hij het koekje pakt dat voor hem ligt, terwijl hem twee koekjes zijn beloofd als hij wacht.
- Of de ouders samenwonen, en hoeveel broers en zussen er in huis zijn.
Eerste deel — operationeel of niet.
- Slaaptekort: ja. Een grens (zeven uur), een instrument (de polsband) en een periode (een week). Iedereen die meet, komt tot hetzelfde ja of nee.
- Pesten: nee. Herhaaldelijk, met opzet, moeilijk verweren — een mooie omschrijving, maar geen van drie kun je turven zonder eerst af te spreken hoe je “opzet” van buiten ziet.
- Nieuwsgierigheid: nee. Drang en willen begrijpen zitten binnenin; er staat geen recept.
Tweede deel — het begrip achter het recept. Meerdere antwoorden zijn goed; dit zijn de onze.
| netto inkomen per maand |
inkomen — of breder: welvaart, sociaal-economische status |
| foutloos gelezen woorden per minuut |
leesvaardigheid — of preciezer: technisch lezen |
| seconden dat een peuter een vreemde aankijkt |
verlegenheid — of juist: belangstelling, gehechtheid |
| goede antwoorden op het tentamen van dit vak |
kennis van onderzoeksmethoden en statistiek |
| seconden wachten op het tweede koekje |
zelfbeheersing — het recept dat in T13.13 terugkomt |
| samenwonen, broers en zussen |
gezinssamenstelling — of: gezinssituatie |
Let op de richting: van getal terug naar begrip is altijd gissen — de egel die zijn snuit uit het nest steekt kan nieuwsgierig zijn of onrustig, en bij de peuter die een vreemde aankijkt kun je verlegenheid bedoelen, maar net zo goed belangstelling. Dat is precies waarom de conceptuele definitie éérst komt: het begrip bepaalt welk recept past, niet andersom.
Betrouwbaar of valide — de weegschaal
In blok 1 werd pienterheid een recept: puzzels tellen, tien minuten. Nu de test die daaruit kwam. Meet hij wat hij belooft te meten — pienterheid — en meet hij morgen hetzelfde als vandaag? Dat zijn twee verschillende vragen. Ze hebben elk een eigen woord, en dit hele blok bestaat omdat die twee woorden in gewoon Nederlands bijna hetzelfde klinken.
Betrouwbaar — consistent. Meet je nog een keer, dan komt er hetzelfde uit. Valide — raak. Je meet wat je wilt meten.
Meer hoeft er nu niet in je hoofd. De rest van dit blok is uitpakken.
Denk aan een weegschaal. Je gaat erop staan en hij geeft 10 kilo te veel aan. Je stapt eraf, je stapt erop: weer 10 kilo te veel. En nog een keer: 10 kilo te veel. Is dat consistent? Ja — dus heel betrouwbaar. Maar valide? Nee, want hij zit er steeds 10 kilo naast. Wél betrouwbaar, niet valide. En andersom: geeft hij de ene keer 70 en de andere keer 85, dan is hij niet consistent, en dan is hij sowieso niet valide — je weet niet eens welk getal je zou moeten geloven.
Uiteindelijk gaat het om validiteit. Betrouwbaarheid is de drempel die je eerst over moet.
Vier schietschijven
Het klassieke plaatje hiervoor is de schietschijf — vier stuks. De roos is wat je wilt meten; elk schot is één meting. Teken ze straks zelf een keer na, dat is twintig seconden en je hebt het blok.
| in de roos |
betrouwbaar én valide |
het vierde hokje — zie hieronder |
| naast de roos |
betrouwbaar, niet valide — de weegschaal |
onbetrouwbaar én niet valide |
Het vierde hokje is onmogelijk voor een meetinstrument. Dat is het antwoord; nu de reden. Schoten wijd verspreid waarvan het gemiddelde in de roos ligt — dat kun je tekenen, maar geen enkel schot is zelf raak. Validiteit is een eigenschap van elke losse meting, niet van het gemiddelde van honderd metingen. Als je instrument niet consistent is, weet je bij déze ene meting niet wat je gemeten hebt, dus kun je ook niet zeggen dat je het góede hebt gemeten. De weegschaal zei het al: niet consistent, dan sowieso niet valide.
Twee vragen die je erover kunt krijgen, en ze hebben hetzelfde antwoord:
- Welke combinatie is onmogelijk bij een meetinstrument? → valide maar niet betrouwbaar.
- Is er bij dit plaatje sprake van betrouwbaarheid en validiteit? → wijd verspreid is niet betrouwbaar, en dan noem je hem ook niet valide.
Je komt dat vierde plaatje weleens tegen met het etiket “onbetrouwbaar maar valide” eronder. Dat etiket beschrijft de tekening — het gemiddelde ligt op de roos — niet het instrument. Laat je er niet door van je stuk brengen: bij een vraag over een instrument wint de regel hierboven.
Twee formuleringen die het onderscheid in één regel dragen, en die je zo mag opschrijven:
Betrouwbaarheid — herhaald meten onder dezelfde omstandigheden geeft dezelfde uitkomst. Validiteit — het begrip zoals bedoeld is het begrip zoals bepaald.
Die tweede is de mooiste definitie van het hele vak: twee woorden die op elkaar lijken en samen het hele onderscheid dragen. Bedoeld is wat je wilde meten; bepaald is wat er uit je instrument kwam. Valide is als die twee samenvallen.
Waar de fout zit: de ware score
Nu één laag dieper, want het tentamen vraagt ernaar. Elke meting die je doet is eigenlijk een optelsom:
\[\text{waargenomen score} = \text{ware score} + \text{toevallige fout} + \text{systematische fout}\]
De ware score is wat iemand écht heeft — de daadwerkelijke pienterheid van die egel. Die staat stil. Wat danst, zijn de metingen eromheen. Twee thermometers in dezelfde kamer geven ergens achter de komma een ander getal, terwijl de kamer maar één temperatuur heeft. Twee keer een pasgeboren baby meten geeft twee lengtes, terwijl die baby maar één lengte heeft. Dat verschil is meetfout.
En er zijn twee soorten, en dát is het hele geheim van dit blok:
| toevallige fouten |
heffen elkaar op |
betrouwbaarheid |
| systematische fouten |
heffen elkaar niet op |
validiteit |
De weegschaal nog één keer: die 10 kilo te veel is een systematische fout — hij zit er elke keer, dus middelt hij nooit weg, dus is de weegschaal nooit valide. Zou hij de ene keer 3 te veel geven en de andere keer 4 te weinig, dan is dat toevallige fout — die middelt over veel metingen weg, maar één losse meting kun je niet vertrouwen. Toevallige fout eet je betrouwbaarheid op; systematische fout eet je validiteit op.
Drie manieren om “nog een keer meten” te doen
Herhaald meten kan op drie manieren, en elke manier heeft een eigen naam. Onthoud vooral dat het één idee is:
- Test-hertest — hetzelfde instrument, dezelfde groep, twee momenten. Hangt de score met zichzelf samen?
- Interbeoordelaar — dezelfde situatie, verschillende beoordelaars. Zien twee observatoren hetzelfde?
- Inter-item (interne consistentie) — verschillende items binnen één afname. Hangen de vragen onderling samen? De maat daarvoor is Cronbachs alfa.
Het tentamen vraagt dit als naam-bij-situatie: Jet wil de interne consistentie van haar vragenlijst bepalen; welke maat? → Cronbachs alfa. Signaalwoorden: “meerdere items” en “één afname” wijzen naar Cronbachs alfa; “twee keer afgenomen” wijst naar test-hertest.
Stel dat een toets voor leesvaardigheid twee keer bij dezelfde groep kinderen wordt afgenomen, en de test-hertestbetrouwbaarheid is ,90. Wat mag je dan zeker concluderen? Eén ding: de invloed van toevallige meetfouten is niet groot. Meer niet. Over systematische fouten zegt een betrouwbaarheid van ,90 helemaal niets — de weegschaal heeft een test-hertest van 1,00 en zit er nog steeds 10 kilo naast.
En een valstrik: een lage test-hertestcorrelatie heeft twee mogelijke verklaringen — een onbetrouwbaar instrument, óf het begrip zelf is in de tussentijd veranderd. Een stemmingsvragenlijst die in januari iets anders zegt dan in juli is niet per se stuk; stemming beweegt. Wie alleen de eerste verklaring kent, kiest fout zodra de tweede tussen de opties staat.
1. Betrouwbaarheid. In thema 7 heette iets anders al zo: het betrouwbaarheidsinterval — twee grenzen rond een gemiddelde, die zeggen hoe zeker je bent over dat gemiddelde. De betrouwbaarheid van dít blok is één getal tussen 0 en 1 over een instrument. Zelfde woord, twee dingen: een interval rond een schatting tegenover een eigenschap van een vragenlijst.
2. Alfa. In thema 8 was \(\alpha\) het significantieniveau, meestal .05, en hoe lager hoe strenger. Cronbachs alfa is een heel ander ding: een betrouwbaarheid, tussen 0 en 1, en hoe hoger hoe beter. Daarom staat er in dit blok altijd Cronbachs alfa voluit. Zie je op het tentamen “alfa is 0.30”, vraag dan eerst: welke van de twee? Staat er een vragenlijst met items bij, dan is het Cronbachs alfa — en dan is ,30 laag, niet “groter dan .05”.
Hoe hoog is hoog?
Je hoeft geen grens uit je hoofd te kennen. Een Cronbachs alfa van ,30 is laag, ,90 is hoog, en daarmee doe je de tentamenvraag. Wil je één getal als houvast: de gangbare vuistregel is ,70 voor “voldoende”. Een vuistregel, geen wet.
Wat wél telt: een schaal wordt pas betrouwbaar als hij uit meerdere items bestaat — mits die items hetzelfde meten; een item dat de andere kant op trekt, haalt de alfa juist omlaag (zie T13.7). Dan middelt de toevallige fout per item uit. Eén enkele vraag is bijna per definitie onbetrouwbaar — er zit veel ruis in en je weet niet goed wat je meet.
Ik heb onderzoek gedaan naar een vragenlijst voor kwaliteit van leven. In Nederland werkte hij prima, vertaald naar het Engels in Engeland ook. Vertaald naar het Afrikaans viel hij uit elkaar: de betrouwbaarheid was ineens weg, en de vragen bleken daar iets anders te meten dan hier — want kwaliteit van leven gaat daar over eten: niet wát je eet, maar hoevéél.
De les: de validiteit van een vragenlijst is populatie-afhankelijk. Zegt iemand “die lijst is allang gevalideerd”, vraag dan: ook op jóuw populatie? Je neemt ook geen IQ-test af bij een groep waar hij nooit voor gemaakt is en doet dan alsof het dezelfde meting is.
Geen tentamenstof. Wel het verhaal dat ik erbij vertel als iemand me vraagt of een lijst “gevalideerd” is — verteld in een bijles, januari 2026.
Coda: de ja-zeggers
Nog één tentamenvraag hoort hier. Sommige mensen vullen overal “eens” in, wat je ook vraagt — de ja-zeggers. Dat is een systematische fout: hij zit er elke keer. Hoe betrap je zo iemand? Positief en negatief gestelde items afwisselen. Zet naast “ik voel me vaak somber” ook “ik ben meestal opgewekt” — een echte ja-zegger zegt op allebei ja, en dat kan niet allebei waar zijn. (Het afwisselen zit in het ontwerp, vóóraf. Achteraf draai je zo’n omgekeerd item om vóór je optelt: op een schaal van 1 tot 5 wordt een 5 een 1 en een 4 een 2.)
De val: de afleider op het tentamen is “standaardiseren”. Dat klinkt als een oplossing, maar standaardiseren is rekenwerk achteraf en verandert niets aan hoe iemand de vragen invulde.
De ja-zegger is er één uit een rijtje van zes manieren waarop een antwoord scheef kan gaan zonder dat de vragenlijst zelf slecht is. Alleen de ja-zegger is in 2023 gevraagd; de andere vijf hoef je alleen te herkennen, en één keer lezen is genoeg.
- ja-zeggers (en nee-zeggers) — overal “eens” (of overal “oneens”), wat je ook vraagt;
- sociale wenselijkheid — over jezelf antwoorden wat netjes klinkt;
- halo-effect — één goede indruk van iemand kleurt alles wat je verder over hem oordeelt;
- leniency bias — wie een ander beoordeelt, oordeelt te mild;
- centrale tendentie — altijd het midden van de schaal aankruisen: de ja-zegger zet overal een 5, deze overal een 3;
- logische fout — twee vragen hetzelfde beantwoorden omdat ze bij elkaar lijken te horen: goed in wiskunde, dus vast ook goed in statistiek.
Oefenen
Bij elk geval: gaat dit over betrouwbaarheid of over validiteit? En noem het woord dat je op het spoor zette.
Een pienterheidstest geeft dezelfde egel op maandag 112 en op woensdag 89.
Een pienterheidstest geeft elke egel consequent twintig punten te veel.
Een observator turft “opstandig gedrag” bij peuters; een tweede observator turft dezelfde video en komt op heel andere aantallen.
Een toets voor leesvaardigheid blijkt vooral te meten hoe snel een kind kan schrijven.
(a) Betrouwbaarheid — nog een keer meten geeft iets anders. Toevallige fout. (b) Validiteit — hij is consistent (dus betrouwbaar) maar zit er systematisch naast: de weegschaal. (c) Betrouwbaarheid, en wel interbeoordelaar: twee beoordelaars, zelfde situatie, ander getal. (d) Validiteit — bedoeld (leesvaardigheid) is niet bepaald (schrijfsnelheid).
Val: bij (b) willen veel mensen “onbetrouwbaar” zeggen omdat het getal fout is. Maar betrouwbaar betekent niet goed; het betekent consistent. Fout en consistent kan prima samen.
Sander heeft een vragenlijst voor faalangst gemaakt met tien items. Hij berekent Cronbachs alfa en vindt ,35. Hoe moet hij die waarde uitleggen?
- De betrouwbaarheid van zijn lijst is te laag: de items meten niet hetzelfde begrip
- De validiteit van zijn lijst is te laag: de items meten niet het bedoelde begrip
- De betrouwbaarheid van zijn lijst is hoog, gezien hoe lastig faalangst te meten is
- De validiteit van zijn lijst is hoog, gezien hoe lastig faalangst te meten is
Optie 1. Cronbachs alfa is een betrouwbaarheid, dus optie 2 en 4 vallen meteen af — over validiteit zegt Cronbachs alfa niets, hoe je het ook draait. Dan blijft: is ,35 laag of hoog? Laag. De items trekken niet aan dezelfde kar.
Twee lokkertjes. Optie 2 klinkt slim, want “de items meten niet het bedoelde begrip” is precies wat je bij een slechte lijst vermoedt — maar dat is een uitspraak over validiteit, en die kun je met Cronbachs alfa alleen niet doen. Optie 3 zegt “gezien hoe lastig faalangst te meten is”: faalangst is een lastig begrip, dus is ,35 dan misschien best goed? Nee — hoe lastig het begrip is verandert niets aan wat het getal meet. Items die niet samenhangen, hangen niet samen, ook niet bij een moeilijk begrip.
Een kinderdagverblijf laat een observatielijst maken om betrokkenheid tijdens vrij spel te meten: is een kind met zijn spel bezig, of kijkt het rond? Honderdtwintig kinderen van 2 tot 4 jaar worden ermee geobserveerd door de pedagogisch medewerkers. De lijst heeft vijf items, elk “ja” of “nee”.
De makers willen weten of alle vijf items werkelijk hetzelfde begrip meten. Welk soort betrouwbaarheid, en welke maat?
De lijst wordt door verschillende medewerkers gebruikt. Hoe kom je erachter of zij tot dezelfde conclusie komen, en hoe heet die betrouwbaarheid?
Die betrouwbaarheid valt tegen. Noem één ding dat helpt.
Daarna observeert elke medewerker elk kind twee keer, een week na elkaar, en de correlatie tussen beide keren wordt berekend. Hoe heet dít soort betrouwbaarheid?
Die correlatie blijkt ,30. Wat betekent dat — en welke tweede verklaring mag je niet vergeten?
(a) Interne consistentie; Cronbachs alfa. Signaalwoorden: vijf items, hetzelfde begrip. (b) Twee of meer medewerkers dezelfde kinderen laten scoren en vergelijken: interbeoordelaarsbetrouwbaarheid. (c) De medewerkers trainen, of scherper omschrijven wanneer “ja” ja is — wat telt als bezig met zijn spel? (d) Test-hertest: zelfde instrument, zelfde kinderen, twee momenten. (e) Laag: veel toevallige fout. Óf: de betrokkenheid zelf is in die week veranderd — een peuter op maandag is niet dezelfde als een week later, en op een regendag speelt iedereen anders. Welke van de twee, weet je pas als je weet hoe stabiel betrokkenheid bij een peuter hóórt te zijn.
Een schaal van vier items heeft een Cronbachs alfa van ,66. De uitdraai geeft per item hoe sterk het samenhangt met de andere drie, en wat Cronbachs alfa zou worden als je dat item weglaat:
| 1 |
−,04 |
,87 |
| 2 |
,63 |
,45 |
| 3 |
,65 |
,44 |
| 4 |
,69 |
,42 |
- Welk item kun je verwijderen?
- Is de schaal daarna voldoende betrouwbaar?
- Item 1: het trekt niet aan dezelfde kar (−,04) en zonder item 1 stijgt Cronbachs alfa van ,66 naar ,87.
- Ja — ,87 ligt ruim boven de vuistregel van ,70.
- Lees de eerste kolom. Drie items hangen rond ,63–,69 samen met de rest; item 1 zit op −,04 — zelfs een fractie de andere kant op. Dat item praat niet mee.
- Lees de tweede kolom. Item 2, 3 of 4 weglaten laat Cronbachs alfa dalen (naar ,42–,45): die dragen. Item 1 weglaten laat Cronbachs alfa stijgen naar ,87.
- Beslissing. Item 1 eruit. Twee aanwijzingen wijzen dezelfde kant op — lage samenhang én hogere alfa zonder.
- Is ,87 genoeg? Ruim boven ,70. Ja.
- Val op: een hogere Cronbachs alfa is niet automatisch een betere schaal. Met drie items over dek je misschien minder van het begrip — en dát is een validiteitsvraag, die deze tabel niet beantwoordt. Wat je hier beslist gaat alleen over consistentie.
Welke validiteit? — de test of het onderzoek
Stel, de pienterheidstest deugt: betrouwbaar én valide. Dan kun je er nog steeds een onderzoek mee doen dat nergens op slaat — want “valide” wordt twee keer gevraagd, één keer over de test en één keer over het onderzoek, en het tentamen vraagt naar allebei.
Van de test — meet het instrument wat het moet meten? Inhoud, construct, criterium. Van het onderzoek — mag je uit de uitkomst concluderen wat je concludeert? Intern: was het echt de oorzaak? Extern: geldt het ook buiten deze egels?
Bijna alles wat je over validiteit leest gaat over de instrumenten. Vergeet de tweede vraag niet — is het onderzoek als geheel valide? — want de tentamenvraag over causale conclusies zit aan die kant.
Vraagt iemand me of een test valide is, dan denk ik aan een hark. De steel is de vraag — meet hij het goede? — en de tanden zijn alles wat daarvoor moet kloppen. Pas als álle tanden goed zitten, mag je “valide” zeggen. Zit alleen de betrouwbaarheid goed? Dan niet: betrouwbaarheid is een noodzakelijke voorwaarde voor validiteit, geen voldoende — precies de weegschaal van blok 2. Het onderzoek heeft zijn eigen vraag, en dus zijn eigen hark. Op het tentamen heet elke tand een “vorm van validiteit” en vraagt de opgave er één per keer; de hark zegt dat ze allemaal moeten kloppen — zelfde ding, twee manieren van praten.
De linkerhark — de test. De tanden heten elk naar de vraag die ze stellen. Bij alle tanden op één na — inhoud — leg je de score naast iets anders en bereken je een correlatie; wat dat andere is, bepaalt de tand. Is het een andere test voor hetzelfde of een verwant begrip: construct. Is het iets buiten de tests, in de wereld — een advies, hoe iemand het later doet, hoeveel kevers een egel vindt: criterium. Zo’n ding buiten de test heet een ijkpunt: waar je de score tegen afzet.
| inhoud |
dekt de test het héle begrip, of maar een hoekje? |
“alleen vragen over…”, beoordeeld door experts vóóraf |
| construct — convergent |
hangt hij samen met een test voor wat erop lijkt? |
“een andere, bestaande test voor hetzelfde” — hoge correlatie |
| construct — discriminant |
hangt hij niet samen met een test voor wat er niet bij hoort? |
“wil zeker weten dat hij niet X meet” — lage correlatie |
| criterium — concurrent |
klopt hij met een ijkpunt van nu? |
“advies”, “oordeel”, “dezelfde week” |
| criterium — predictief |
voorspelt hij een ijkpunt van later? |
“een jaar later”, “blijkt daarna”, “functioneren” |
(Er bestaat nog één naam die je kunt tegenkomen, indruksvaliditeit: ziet de test er voor wie hem invult uit alsof hij meet wat hij belooft. Herken de naam; meer hoef je er niet mee.)
Voor de egels: een test met alleen puzzels over eten zoeken dekt het begrip niet (inhoud). Hangt hij sterk samen met de oude doolhoftest — een andere test — dan is dat convergent. Leg je de score naast het oordeel van de boswachter van dezelfde week: criterium, concurrent — een ijkpunt van buiten, nú. Vinden de hoogscoorders van het voorjaar in de zomer de meeste kevers: criterium, predictief — hetzelfde soort ijkpunt, maar láter.
De rechterhark — het onderzoek. Je geeft twintig egels een vitaminepil en meet hun pienterheid; die stijgt. Mag je zeggen dat de pil pienter maakt? Dat is interne validiteit: is het effect alleen toe te schrijven aan de manipulatie — het ding dat jíj veranderde, hier de pil — of waren de pil-egels toevallig ook de best gevoede? Geldt de uitkomst ook voor de egels in het volgende bos, volgend jaar? Dat is externe validiteit: generaliseren naar andere dieren, situaties en tijden. De derde tand, construct, vraagt of de opzet de vraag überhaupt kán beantwoorden: meet je, om te weten of de pil pienter maakt, alleen hoeveel de egels eten, dan kan geen uitkomst je vraag beantwoorden.
Bij elke tentamenvraag over validiteit dus eerst: welke hark? Een test, lijst, toets of score → links, en kies de tand. Een conclusie, oorzaak, effect of generaliseren → rechts.
Voor de rechterhark twee omschrijvingen die je zo mag opschrijven. Interne validiteit is de mate waarin je uit een onderzoek een oorzakelijk verband mag concluderen. Externe validiteit is de mate waarin je de uitkomst mag generaliseren naar andere mensen, andere situaties en een andere tijd.
Het tentamen vroeg: welke vorm van validiteit gaat over het kunnen trekken van causale conclusies? Veel mensen kiezen construct, want dat klinkt als “het hele onderzoek”. Maar constructvaliditeit is op de linkerhark een instrumentvraag (meet de test het begrip? — via correlaties met andere tests), en op de rechterhark de vraag of de opzet de vraag kan beantwoorden. Over oorzaak zegt geen van beide iets.
Oorzaak → intern. Generaliseren → extern. Correlaties tussen tests → de linkerhark, en dan kies je de tand.
Oefenen
Bij elk geval: gaat dit over de validiteit van de test of van het onderzoek — en welke tand van de hark?
Volgens de conceptuele definitie gaat pienterheid over problemen oplossen, onthouden én de weg vinden. De test meet alleen hoe snel een egel telt.
De boswachter, die de egels al jaren kent, geeft elke egel een cijfer voor slimheid. De onderzoeker legt de testscores van diezelfde week ernaast en berekent de samenhang.
Het pil-onderzoek is in de winter gedaan, bij egels die net uit hun winterslaap kwamen. Zegt het iets over egels in de zomer?
In het pil-onderzoek zaten de egels zónder pil in een kouder hok dan de egels mét pil.
(a) Test — inhoud: drie stukken begrip, de test dekt er één. Signaal: alleen. (b) Test — criterium, concurrent: de score wordt naast een ijkpunt buiten de test gelegd (het oordeel van de boswachter), van hetzelfde moment. Signaal: diezelfde week. Was het oordeel een jaar later gevraagd, dan predictief. (c) Onderzoek — extern: generaliseren van winter naar zomer, van deze egels naar andere. Signaal: zegt het iets over. (d) Onderzoek — intern: kou is een andere verklaring voor het verschil in pienterheid tussen de twee groepen, dus je mag de oorzaak niet aan de pil toeschrijven. Signaal: zónder pil … kouder.
Val: (b) lijkt op de boswachter uit de uitleg, maar let op wat er naast de score ligt: een oordeel van buiten (criterium), geen andere test (construct). En bij (c) en (d) gaat het niet over de test maar over wat je uit het onderzoek mag halen. Eerst de hark, dan de tand.
Bij welke vorm van validiteit gaat het om de vraag of je uit je onderzoek iets over oorzaak en gevolg mag zeggen?
- Criteriumvaliditeit
- Constructvaliditeit
- Interne validiteit
- Externe validiteit
Optie 3. Oorzaak en gevolg — dat is een uitspraak over een onderzoek, dus de rechterhark, en daar is oorzaak de tand intern.
Optie 1 en 2 zijn tanden van de linkerhark: die gaan over of een test het goede meet, niet over wat je uit een onderzoek mag concluderen. Optie 4 zit wel op de goede hark, maar gaat over generaliseren, niet over oorzaak. Het lokkertje is optie 2, om de reden uit de val hierboven.
Drie onderzoeksopzetten waarmee je een vorm van validiteit onderzoekt. Zeg bij elke opzet om welke vorm het gaat.
Leestip: zoek per geval alleen twee dingen op — wat wordt er naast de score gelegd (een andere test, of iets van buiten), en wanneer (nu, of later).
Een onderzoeker heeft een nieuwe vragenlijst gemaakt voor faalangst bij brugklassers, en wil zeker weten dat hij niet gewoon algemene angstigheid meet. Hij laat honderd brugklassers zijn lijst invullen en, in dezelfde les, een bestaande vragenlijst voor algemene angst. Daarna berekent hij de samenhang tussen de twee.
Er is een korte screeningstest gemaakt die aan het begin van groep 3 moet aanwijzen welke kinderen leesproblemen gaan krijgen. Een onderzoeker neemt hem af bij alle kinderen van vijf scholen. Aan het eind van groep 4 vraagt hij op elke school de intern begeleider — die alle kinderen al sinds groep 1 volgt — welke kinderen extra leeshulp nodig hadden. Hij bekijkt of de test dat had voorspeld.
Een onderzoeker heeft een nieuwe intelligentietest gemaakt voor kinderen die nog geen Nederlands spreken. Hij neemt die test én een bestaande, taalvrije intelligentietest af bij dezelfde kinderen en berekent de samenhang tussen de scores.
Alle drie gaan over een test (een lijst, een toets) — linkerhark. Nu de tand.
(a) Discriminante validiteit (een vorm van constructvaliditeit). Signaal: wil zeker weten dat hij niet … meet. Hij hoopt op een lage samenhang tussen de faalangstlijst en de angstlijst — is die hoog, dan meet zijn lijst iets anders dan hij bedoelde.
(b) Criteriumvaliditeit, predictief. Naast de score ligt een oordeel van buiten de test (de intern begeleider), dus criterium. En wanneer? De test is afgenomen aan het begin van groep 3; het oordeel wordt pas aan het eind van groep 4 gevraagd — later, dus predictief. Val: volgt alle kinderen al sinds groep 1 trekt je naar “nu”, maar het gaat erom wanneer het ijkpunt wordt gevraagd, niet hoe lang iemand de kinderen al kent.
(c) Convergente validiteit (een vorm van constructvaliditeit). Naast de score ligt een bestaande intelligentietest — een andere test voor hetzelfde begrip, dus construct, en je verwacht een hoge samenhang: convergent. Had de onderzoeker de scores naast het oordeel van een leerkracht of een intern begeleider gelegd, dan was het criterium geweest.
Experiment of vergelijking — wie deelde de pil uit?
In blok 3 kregen twintig egels een vitaminepil en steeg hun pienterheid. Eén ding heb ik daar overgeslagen: hoe kwámen die egels aan hun pil? Wie besliste welke egel er een kreeg? Dat ene woord — wie — bepaalt welk soort onderzoek het is, en dus wat je aan het eind mag zeggen.
Stel bij elk onderzoek drie vragen, in deze volgorde: is er een ingreep — zijn er twee condities (pil of geen pil, film of geen film) die een behandeling zijn die iemand heeft ondergaan, ook als niet deze onderzoeker hem uitdeelde? Zo ja: is er geloot wie wat kreeg? Zo nee: wordt er naar een verband gevraagd?
| nee |
— |
nee |
beschrijvend — één ding tellen of beschrijven |
| nee |
— |
ja |
(cor)relationeel — twee dingen meten en kijken of ze samenhangen |
| ja |
nee |
— |
quasi-experimenteel — wél ingegrepen, niet geloot: de groepen bestonden al |
| ja |
ja |
— |
experimenteel — ingegrepen én geloot |
Het pil-onderzoek kan op drie manieren zijn gegaan, en ze heten alle drie anders.
De boswachter vangt veertig egels en gooit per egel een munt op: kop krijgt de pil, munt niet. Twintig pil, twintig geen pil, en na een maand doet iedereen de pienterheidstest. Dat is een experiment: hij greep in (de pil) én hij lootte (de munt). Loten klinkt slordig, maar het is het scherpste gereedschap dat er is. Vóór de pil verschillen de twee groepen alleen door toeval — in leeftijd, in eetlust, in kou, en ook in alles wat je níét gemeten hebt. Scoort de pil-groep daarna hoger, dan blijft er maar één verklaring over.
Let wel: loten is een munt of een dobbelsteen, niet “om en om”. Op volgorde van binnenkomst indelen lijkt willekeurig, maar de egels die als eerste in de val lopen zijn misschien de hongerigste — dat is systematisch, en dus geen loting. De enige echte oplossing is loten.
Tweede manier. De boswachter van het noordbos was enthousiast en gaf ál zijn egels de pil; die van het zuidbos deed niet mee. Je vergelijkt noord met zuid. Er is ingegrepen — de pil — maar er is niet geloot: de groepen bestonden al, want een egel woont nu eenmaal ergens. Quasi-experimenteel. Scoort noord hoger, dan kan dat de pil zijn. Of het noordbos heeft meer kevers. Of minder vossen. Je weet het niet, en dat is precies wat de loting had opgelost.
Derde manier. Niemand deelt iets uit. Je meet bij elke egel hoeveel kevers hij per week eet en wat hij op de test scoort, en je berekent een correlatie. (Cor)relationeel — het woord relatie zit erin. Niets veranderd, niets geloot, alleen gemeten. Is het verband er, dan weet je dat het er is; waar het vandaan komt, is blok 5.
En beschrijvend? Dan meet je één ding en vertel je hoe het ervoor staat: hoeveel procent van de egels in het bos boven de 100 scoort. Geen tweede variabele, geen verband. Nog één, dichter bij huis: een docent bladert zijn oude tentamens door en telt hoe vaak het goede antwoord op a, b, c of d stond. Is dat een experiment? Nee — er is niets gemanipuleerd. Beschrijvend: één ding geteld.
Een experiment is in drie regels samen te vatten. Regel 1: manipuleer ten minste één variabele — dat is het verschil tussen alleen meten en ingrijpen. Regel 2: zorg voor vergelijkbare groepen — dat is de loting, en dus het verschil tussen quasi en echt. Regel 3: houd andere variabelen gelijk — dat is de derde variabele, en die krijgt blok 5. Samen: maak condities die alleen verschillen in de “oorzaak”, en meet daarna wat er met het “gevolg” gebeurt.
Bij een quasi-experiment is er wél gemanipuleerd (regel 1), maar zijn de groepen niet geloot: wie wat kreeg, loopt mee met iets wat de proefpersoon al was — zijn klas, zijn leeftijd, zijn bos. Zo’n kenmerk heet een proefpersoonvariabele: niemand heeft het hem gegeven.
Eén geval verdient een aparte regel, want daar gaat het mis. Stel, de vraag is of slaappillen het tentamencijfer drukken, en je vergelijkt studenten die slaappillen slikken met studenten die dat niet doen. Niemand heeft die pillen uitgedeeld — en toch heet dit quasi-experimenteel, geen correlationeel. Zet het naast leeftijd:
| slaappillen |
een behandeling die iemand heeft ondergaan — een pil, een lesmethode, een training — en die een onderzoeker in principe hád kunnen uitdelen; alleen deed niemand dat, en lootte dus ook niemand |
quasi-experimenteel |
| leeftijd |
niets wat je kunt ondergaan of uitdelen: een kenmerk dat er al was |
(cor)relationeel |
De kevers van de derde manier horen bij de tweede rij: er zijn geen twee condities, je meet bij elke egel een hoeveelheid. Pas als er een kever-groep en een geen-kever-groep is die een onderzoeker hád kunnen maken en die de egels zelf vormden, zit je in de eerste rij. Houd deze tabel bij de hand bij T13.12 hieronder.
Oorzaak en gevolg, hierboven bij de drie regels, zijn twee woorden die het tentamen ook los vraagt. De onafhankelijke variabele is de “oorzaak”: wat de onderzoeker uitdeelt of verandert, met ten minste twee condities — pil of geen pil. De afhankelijke variabele is het “gevolg”: wat je daarna meet — de score op de pienterheidstest, die afhangt van wat je uitdeelde. Kijk nog eens naar de tekening van de twee opzetten: de vork is de onafhankelijke variabele, het vakje aan het eind de afhankelijke. Uitgedeeld → onafhankelijk; gemeten → afhankelijk.
Zonder ingreep — de derde manier, kevers en testscore — is er niets uitgedeeld, en dan bestaat de pijl alleen als jij hem tekent. Je mag kevers de onafhankelijke variabele noemen, omdat het eten vóór de test komt en jij het als oorzaak vermoedt, maar dat is jouw keuze, niet de opzet — zonder ingreep is het onderscheid soms onduidelijk, en dat mag je zo zeggen. In 2023 stelde het tentamen de vraag alleen bij een experiment, en daar is hij eenduidig.
De val: er kan meer dan één onafhankelijke variabele zijn. Denk aan een onderzoek met drie variabelen:
- de aankleding van het lokaal — saai of vrolijk — uitgedeeld;
- de taak — vervelend of leuk — uitgedeeld;
- de concentratie van de kinderen — daarna beoordeeld.
“Zijn deze variabelen afhankelijk of onafhankelijk?”, over de eerste twee. De opties: de één afhankelijk en de ander onafhankelijk (twee keer, in beide richtingen), allebei afhankelijk, of allebei onafhankelijk. Aankleding én taak zijn uitgedeeld, dus allebei onafhankelijk; het enige gevolg is de concentratie. Het lokkertje is “één van de twee is het gevolg” — wie denkt “één oorzaak, één gevolg” zoekt een gevolg dat er niet bij staat.
Het tentamen beschrijft graag een onderzoeker die mensen “in twee groepen verdeelt” en daarna “de gemiddelden vergelijkt”. Dat klinkt als een experiment. Kijk naar waar de groepen vandaan komen. Moeders ouder dan 40 tegenover moeders jonger dan 40: niemand heeft iemands leeftijd veránderd, en niemand hád dat gekund. Geen ingreep, dus geen experiment — en ook geen quasi-experiment, want quasi vraagt wél een ingreep (iets wat je had kunnen uitdelen), alleen zonder loting. Het is (cor)relationeel: het verband tussen leeftijd en opvoeden, gemeten.
De vraag is dus niet zijn er groepen? maar heeft de onderzoeker de groepen gemáákt? “Verdeelt de kinderen aselect in drie groepen” → gemaakt én geloot. “Verdeelt de moeders in twee groepen: ouder en jonger dan 40” → gevonden, niet gemaakt.
En nog één woord dat twee kanten op trekt: aselect betekent alleen geloot. Waarover? Loten wie meedoet — een aselecte steekproef — is blok 6 en zegt niets over de opzet. Loten wat iemand krijgt — aselect toewijzen aan condities — is dit blok. Vraag dus bij aselect altijd: zijn er condities? Zo nee, dan gaat het over de steekproef.
Oefenen
Bij elk geval: beschrijvend, (cor)relationeel, quasi-experimenteel of experimenteel? Beantwoord steeds de drie vragen: is er een ingreep, is er geloot, wordt er naar een verband gevraagd?
De boswachter telt hoeveel van de tweehonderd egels in zijn bos boven de 100 scoren op de pienterheidstest.
Hij vangt veertig egels, gooit per egel een munt op, en geeft de kop-egels een vitaminepil. Na een maand test hij allemaal.
Alle egels in het noordbos krijgen de pil, die in het zuidbos niet. Na een maand vergelijkt hij de twee bossen.
Hij telt bij elke egel hoeveel kevers hij per week eet, en legt dat naast de testscore.
In geval (b): welke variabele is onafhankelijk, welke afhankelijk? En in geval (d)?
(a) Beschrijvend — geen ingreep, geen verband gevraagd, één ding geteld. Signaal: telt hoeveel. (b) Experimenteel — een ingreep (de pil) én geloot (de munt). Signaal: gooit een munt op. (c) Quasi-experimenteel — een ingreep (de pil), niet geloot: het bos bepaalde de groep. Signaal: alle egels in het noordbos. (d) (Cor)relationeel — geen ingreep, wél een verband gevraagd: twee dingen gemeten en naast elkaar gelegd. Signaal: legt dat naast. (e) In (b) is de pil onafhankelijk — uitgedeeld, twee condities — en de testscore afhankelijk. In (d) is niets uitgedeeld; noem je kevers toch de onafhankelijke — het eten komt vóór de test — dan is die pijl jouw keuze, niet de opzet.
Val: (c) en (d) lijken op elkaar omdat je in beide gevallen niets loot. Het verschil is de ingreep: bij (c) gaf iemand de pil, bij (d) aten de egels wat ze zelf vonden.
Wouter wil voor zijn masterscriptie weten of kinderen die op een sportclub zitten andere sociale vaardigheden hebben dan kinderen die dat niet doen. Via drie basisscholen benadert hij ouders van kinderen van 6 tot 10 jaar; uiteindelijk doen er 84 mee. Elk kind vult een vragenlijst over sociale vaardigheden in, en de ouder geeft aan of het kind op een club zit. Wouter maakt twee groepen — 39 kinderen met club, 45 zonder — en vergelijkt de gemiddelde scores. Die verschillen nauwelijks. Hoe noem je de opzet van dit onderzoek?
- (cor)relationeel
- beschrijvend
- experimenteel
- zowel (cor)relationeel als experimenteel
Optie 1. Twee vragen. Is er iets veranderd? Nee — het lidmaatschap heeft Wouter niet uitgedeeld, en de vragenlijst is een meting. Is er geloot? Nee — de kinderen zijn ingedeeld op wat ze al waren. Dan is het (cor)relationeel: het verband tussen sportclub en sociale vaardigheden, gemeten bij bestaande groepen.
Optie 3 is het lokkertje, om de reden uit de val: maakt twee groepen en vergelijkt de gemiddelden klinken als een experiment. Optie 4 stapelt dat lokkertje op het goede antwoord. Optie 2 valt af omdat er twéé variabelen zijn en naar hun verband wordt gevraagd. (Dat de gemiddelden niet verschillen, verandert niets aan de soort onderzoek — de opzet heet hetzelfde, wat er ook uitkomt.)
Ter vergelijking: was bij zestig kinderen door loting bepaald wie er drie weken lang elke avond werd voorgelezen en wie niet, dan was er wél iets veranderd én geloot. Experimenteel.
Let bij dit soort vragen op twee woorden die veel op elkaar lijken en iets heel anders zeggen. Aselect gekozen betekent: uit de populatie getrokken — dat gaat over je steekproef. Aselect toegewezen betekent: aan een conditie geloot — dat gaat over je opzet. Alleen dat tweede maakt een onderzoek experimenteel, en juist dat verschil wordt vaak slordig opgeschreven.
Een onderzoeker wil weten hoe zelfbeheersing — kunnen wachten op iets wat je graag wilt — bij jonge kinderen werkt. In een overleg komen drie voorstellen op tafel.
Leestip: lees per voorstel alleen de zin met verdeelt, trekt of nodigt uit erin, en de laatste zin. Daar staat de ingreep, de loting en het doel; de rest is aankleding.
Je nodigt zestig kinderen van vijf jaar met hun ouders uit op de universiteit en verdeelt de kinderen aselect in drie groepen van twintig. De eerste groep ziet een filmpje waarin een poppetje geduldig wacht op een koekje en er daarna twee krijgt; de tweede groep ziet een neutraal filmpje (het poppetje speelt in de tuin); de derde groep ziet een filmpje waarin het poppetje het koekje meteen pakt. Daarna krijgt elk kind een koekje voor zich, met de belofte van een tweede als het wacht tot de onderzoeker terug is. Je meet hoeveel seconden het kind wacht, en gaat na of het filmpje daar invloed op had.
Je trekt een aselecte steekproef van kinderen van vier jaar en stuurt hun ouders een vragenlijst over hoe vaak hun kind kan wachten, met daarbij enkele vragen over achtergrondkenmerken zoals geslacht en opleiding van de ouders. Je gaat na hoe vaak wachten in je groep lukt, berekent gemiddelde scores, en zegt daarmee iets over zelfbeheersing bij vierjarigen.
Je nodigt kinderen van drie jaar met hun moeder uit en laat ze in de speelkamer een half uur samen spelen, op video. Uit dat half uur wordt gecodeerd hoe sensitief de moeder op haar kind reageert. Daarna doet het kind alleen de koekjestaak, en het aantal seconden wachten is de score. Je gaat na of de sensitiviteit van de moeder samenhangt met hoe lang het kind kan wachten.
Van welke soorten onderzoek is in voorstel 1, 2 en 3 sprake?
Formuleer voor één van de drie een werkhypothese: een voorspelling die kan uitkomen of niet, met een richting erin.
Behalve de drie soorten die hier voorkomen, kent het vak nog een vierde. Welke?
Waarin verschilt die vierde soort van de andere drie? En wat is het nadeel ervan, gezien het doel van zo’n onderzoek — een oorzaak aanwijzen?
Bedenk een voorbeeld van die vierde soort, over zelfbeheersing.
(a) Voorstel 1 is experimenteel: er is een ingreep (welk filmpje) én geloot (verdeelt de kinderen aselect in drie groepen). Voorstel 2 is beschrijvend: geen ingreep, en er wordt niet naar een verband gevraagd — het doel is iets zeggen over zelfbeheersing bij vierjarigen, hoe het ervoor staat. Dat er ook geslacht en opleiding worden gevraagd, maakt het niet correlationeel: er wordt niets naast elkaar gelegd. Voorstel 3 is (cor)relationeel: geen ingreep, en wél een verband gevraagd — of sensitiviteit van de moeder samenhangt met het wachten van het kind.
Val bij 2: aselecte steekproef is geen loting over condities. Er zijn geen condities. Aselect trekken wíe je onderzoekt (blok 6) is iets anders dan aselect toewijzen wát iemand krijgt (dit blok).
(b) Een werkhypothese is een voorspelling die kan falen, met een richting erin. Voor voorstel 1 bijvoorbeeld: kinderen die het wacht-filmpje zien, wachten daarna langer op het tweede koekje dan kinderen die het neutrale filmpje zien. Voor voorstel 3: hoe sensitiever de moeder, hoe langer het kind wacht.
(c) Quasi-experimenteel.
(d) Er wordt wél iets gemanipuleerd, maar de groepen zijn niet geloot — ze bestonden al (een klas, een school, een leeftijdsgroep). Het nadeel volgt uit het doel: je wilt een oorzaak aanwijzen, en juist dat kan zonder loting niet sluitend, want een verschil dat er al was tussen de groepen kan de uitkomst net zo goed verklaren als de ingreep.
(e) Bijvoorbeeld: twee peuterspeelzalen. De ene doet een half jaar lang elke dag een wachtspelletje, de andere niet; daarna doen alle peuters de koekjestaak. Er is ingegrepen (het spelletje), maar wie in welke speelzaal zat, stond al vast.
De derde variabele — wie trekt er nog meer aan de touwtjes?
In thema 5 stond het al: correlatie is geen causatie. Schoenmaat en leesvaardigheid hangen samen, en het is de leeftijd die meeloopt. Nu krijgt die meeloper een naam — drie namen zelfs — en het tentamen vraagt niet óf er een derde variabele is, maar welke soort. En één keer: of de genoemde variabele er überhaupt één is.
Common response — z veroorzaakt x én y. IJs eten en verdrinken hangen samen; de warmte doet allebei. Confounding (verstrengeling) — x en z zitten aan elkaar vastgeplakt zonder dat z x veroorzaakt. Je kunt niet zien wie van de twee y veroorzaakt. Mediation (indirecte relatie) — x veroorzaakt z, en z veroorzaakt y. Het effect is echt, het loopt alleen vía z.
Eén vraag beslist: waar wijzen de pijlen heen? Teken ze — zo:
Er is een verband tussen ijs eten en verdrinken. Meer ijs, meer verdrinkingen. IJs verbieden dan? Nee — als het warm is, gaan meer mensen zwemmen én eten meer mensen ijs. De warmte is de derde variabele: hij wijst naar allebei. Dat is common response, en het verband tussen ijs en verdrinken is dan een schijnverband: het lijkt of ijs iets doet met verdrinken, maar de pijl loopt van de warmte naar ijs en van de warmte naar verdrinken, en tussen ijs en verdrinken loopt niets. Als onderzoeker moet je hier de wijsneus zijn: ja, maar is dat wel zo? Heb je rekening gehouden met een derde?
Nu de pil van blok 4, in de quasi-versie. Het noordbos kreeg de pil en scoort hoger. Maar het noordbos heeft ook meer kevers. Pil en kevers zitten aan elkaar vast: elke egel met een pil is een noordbos-egel met veel kevers, en andersom. Was het de pil, of waren het de kevers? Je kunt ze niet uit elkaar trekken — dat is confounding, verstrengeling. Het verschil met common response zit in één pijl: bij common response veroorzaakt de warmte het ijs eten; bij confounding veroorzaken de kevers de pil niet — die twee komen alleen samen voor, omdat de boswachter per bos uitdeelde. Op de tekening: bij common response staat z eronder en wijst hij omhoog naar allebei; bij confounding staan x en z boven elkaar aan een balk, en wijzen ze allebei met een vraagteken naar y. (Dat het bos de pil uitdeelde, zoals in de tekening van blok 4, is geen pijl van kevers naar pil: het bos is de indeling, de kevers zijn wat erin meeloopt.)
De derde is anders van aard. Kinderen die thuis vaak worden voorgelezen, lezen op school beter. Is dat een schijnverband? Nee. Voorlezen vergroot de woordenschat, en een grote woordenschat maakt lezen makkelijker. Het effect van voorlezen op leesvaardigheid is echt, alleen loopt het via een tussenstap. Denk aan een estafette: het stokje gaat van voorlezen naar woordenschat, en van woordenschat naar lezen. Dat is mediation, een indirecte relatie. De vraag is dan niet is het verband echt? maar is het stokje onderweg doorgegeven, of ging het rechtstreeks?
Zo houd je de eerste twee uit elkaar bij een casus die je nog nooit zag — en op het tentamen zie je altijd een nieuwe. Vraag: veroorzaakt de derde variabele ook x? De warmte veroorzaakt het ijs eten: common response. De kevers veroorzaken de pil niet, ze zaten er toevallig bij: confounding. Het platteland veroorzaakt de ooievaars: common response. De aandacht van de studenten veroorzaakt de thee niet, ze kwamen samen: confounding. Er zit een brug naar blok 4 in: confounding hoort bij een opzet waarin iemand per groep iets uitdeelde — de pil per bos, de thee per verdieping — en common response bij een verband waarin niemand iets uitdeelde en de wereld gewoon zo in elkaar zit. Zie je een quasi-opzet, denk dan eerst aan confounding; zie je een gemeten verband, eerst aan common response.
Wanneer mag je dan wél “oorzaak” zeggen? Daar zijn drie voorwaarden voor, en ze werken als afvinklijst: (1) x en y hangen samen — covariatie; (2) de oorzaak komt eerder dan het gevolg — volgorde in tijd; (3) er is geen andere verklaring. Common response en confounding zijn allebei een aanval op de derde voorwaarde. Voorwaarde 2 heeft zijn eigen manier om te sneuvelen, en daar komt geen derde variabele aan te pas: de pijl kan gewoon de andere kant op lopen. Kinderen die judo doen verschillen van kinderen die dat niet doen — maar misschien verandert judo ze niet en gingen kinderen die al zo waren nu net judoën. Vraag dus niet alleen is er een derde? maar ook wie kwam er eerst? Mediation niet: een tussenstap is geen andere verklaring, het is een nadere. Daarom is het experiment van blok 4 zo sterk — de loting maakt de derde voorwaarde waar, ook voor derde variabelen die je nooit hebt bedacht.
Nog een paar namen die je hier tegenkomt. Een derde variabele die “op de loer ligt” heet ook wel een lurking variable — de verzamelnaam voor alle drie de soorten. Een schijnverband heet spurieus — Latijn voor schijn — en dat hoort bij common response. En de paradox van Simpson (thema 11) is een derde variabele die het verband niet alleen wegneemt maar omdraait. Hier alleen de naam; de uitleg staat in thema 11.
Het tentamen: een moeder wijst op het verband tussen fijnstof en longproblemen. De zoon zegt: “dat bewijst nog niet dat er een causaal verband is, in sigaretten zitten ook stoffen die longproblemen veroorzaken.” Geeft de zoon een alternatieve verklaring voor het verbánd?
Teken de pijlen. Roken → longproblemen, ja. Maar roken → fijnstof in de lucht? Nee. En loopt roken mee met fijnstof, zitten ze aan elkaar vast? Ook niet. Roken verklaart dus wel longproblemen, maar niet waarom fijnstof en longproblemen samenhangen. Het is een tweede oorzaak van y, geen verklaring voor het verband tussen x en y. Antwoord: nee — geen common response, geen confounding, geen indirecte relatie.
De toets is steeds: raakt de genoemde variabele x én y? Als oorzaak van allebei (common response), vastgeplakt aan x en mogelijke oorzaak van y (confounding), of als tussenstap (mediation). Raakt hij alleen y, dan is het geen derde variabele in de zin van dit blok, hoe waar de zin verder ook is.
Oefenen
Bij elk geval: common response, confounding, mediation — of geen van de drie? Teken de pijlen.
Egels die meer slakken eten, scoren hoger op de pienterheidstest. Oudere egels eten meer slakken én scoren hoger.
De egels mét pil zaten in het noordbos, de egels zonder in het zuidbos. In het noordbos zijn meer kevers.
Egels die de doolhof vaker lopen, scoren hoger. Doolhof lopen traint het geheugen, en een goed geheugen helpt bij de puzzels van de test.
Kraaien met een groter nest brengen meer jongen groot. Iemand zegt: “ja, maar roofvogels eten ook jongen.”
(a) Common response — leeftijd wijst naar slakken én naar de score. Tussen slakken en pienterheid loopt niets. (b) Confounding — pil en bos zitten aan elkaar vast; je kunt niet zien of de pil of de kevers de score verklaart. (c) Mediation — doolhof → geheugen → score. Het effect is echt, het loopt via het geheugen. (d) Geen van de drie — roofvogels wijzen naar jongen, niet naar nestgrootte. Een tweede oorzaak van y verklaart het verband tussen x en y niet. Dit is de fijnstof-val.
Val: (a) en (b) lijken op elkaar — in beide gevallen is er iets dat meeloopt. Stel de vraag uit de uitleg: veroorzaakt de derde variabele ook x? Bij (a) ja — de leeftijd maakt dat een egel meer slakken eet. Bij (b) nee — de kevers hebben de pil niet uitgedeeld; ze zaten er alleen bij.
Een moeder en haar zoon praten over het verband tussen schermtijd en slechte concentratie op school. De moeder wijst haar zoon op dat verband. De zoon zegt: “dat verband is er wel, maar daarmee is nog niet bewezen dat het een oorzaak is. Van een gehoorprobleem krijg je óók een slechte concentratie in de klas.” Geeft de zoon een alternatieve verklaring voor het verband tussen schermtijd en concentratie, en zo ja, wat voor soort verklaring is dat?
- Ja; een indirecte causale relatie
- Ja; confounding
- Ja; common response
- Nee
Optie 4. De zoon noemt een tweede oorzaak van slechte concentratie, niet iets dat schermtijd én concentratie allebei veroorzaakt of aan elkaar plakt. Zonder pijl naar schermtijd is er geen verklaring voor het verband. Bijna iedereen kiest hier “ja”, omdat de zoon zo redelijk klinkt — en hij hééft gelijk dat het verband geen oorzaak bewijst. Alleen: dat is een algemene waarheid, geen alternatieve verklaring.
Vergelijk het met het ijsje en de verdrinkingen. Als iemand zegt “dat komt doordat het warm weer is”, dan wijst het weer naar het ijsje én naar het zwemwater: twee pijlen uit één bron, en dat is common response. Zelfde vraagvorm, één pijl meer. Dáár is het antwoord wél “ja”.
Twee verhalen die je uit de uitleg al kent; hier gaat het erom dat je ze zélf uit elkaar haalt en tekent.
Studenten doen onderzoek op basisscholen en vinden een flinke positieve correlatie tussen de schoenmaat van kinderen en hun leesvaardigheid. Ze concluderen dat grote voeten het lezen bevorderen.
Een andere groep studenten is ervan overtuigd dat kruidenthee gezond is. Ze gaan een paar maanden lang elke week langs bij de bewoners van één verdieping van een verzorgingshuis en schenken daar thee. Na afloop meldt de staf dat de bewoners van die verdieping opgewekter en fitter zijn dan de bewoners van de andere verdiepingen. De studenten concluderen dat hun thee werkt.
Welke twee soorten derde variabele uit dit blok maken dat een verband dat oorzakelijk lijkt, het niet hoeft te zijn?
Leg per verhaal uit waarom de conclusie niet hoeft te kloppen: welke variabelen zijn in het spel, en hoe hangen ze samen?
Teken per verhaal de pijlen, zoals in de figuur van dit blok.
(a) Common response en confounding. Mediation is de derde soort uit dit blok, maar geen reden om aan het verband te twijfelen — het effect is dan echt, het loopt alleen via een tussenstap. Vraagt een opgave naar verklaringen waarom het verband niet oorzakelijk hoeft te zijn, dan zijn het er dus twee.
(b) Schoenmaat. Drie variabelen: schoenmaat (x), leesvaardigheid (y), leeftijd (z). Oudere kinderen hebben grotere voeten én lezen beter; de leeftijd wijst naar allebei. Common response — grote voeten doen niets met lezen.
Kruidenthee. De thee (x) zit vastgeplakt aan het wekelijkse bezoek van studenten die aandacht geven (z), en aan die ene verdieping: elke bewoner met thee kreeg óók bezoek, en de bewoners zonder thee kregen geen van beide. Was het de thee, de aandacht, of een verdieping waar toevallig al de fitste bewoners woonden? Niet uit elkaar te halen: confounding.
Twee zwaktes komen er nog bij, en die mag je noemen. De staf wist welke verdieping thee kreeg en oordeelde zelf wie opgewekter was — de verwachting kleurt het oordeel. En niemand heeft geloot wie thee kreeg; misschien kozen de studenten de verdieping waar ze het hartelijkst werden ontvangen.
(c) De tekeningen staan hierboven: schoenmaat is de linker (z onder, twee pijlen omhoog), kruidenthee de middelste (x en z aan elkaar, vraagtekens naar y).
Loten of grijpen — hoe kwamen die 25 egels in je steekproef?
In thema 7 nam iedereen een steekproef van 25 egels, rekende het gemiddelde uit en hing het op een bordje. Ik heb toen nooit gezegd hóe je die 25 pakte. Pak je de 25 die het dichtst bij je hut wonen, dan zegt je bordje iets over egels bij hutten — en de foutenmarge uit thema 7 helpt je daar niet mee, want die gaat over toeval, niet over scheef grijpen.
Kans bekend (probability) — je weet vooraf hoe groot de kans is dat een egel in je steekproef komt, want je loot. Kans onbekend (non-probability) — je weet het niet: wie er toevallig was, wie zich meldde.
Alleen bij bekende kans komt de tweede laag: Gestratificeerd — eerst hokjes maken die binnen gelijk zijn (mannetjes, vrouwtjes), dan uit élk hokje loten. Cluster — eerst hele groepen loten (drie van de twaalf bossen), dan alles of een deel daarbinnen.
De eerste laag is de belangrijkste, en het tentamen vraagt er zelden rechtstreeks naar — daarom mis je hem. Bij een populariteitsstemming op televisie stemt wie het het hardst voelt; bij een oproep “egels gezocht, beloning: kevers” komen de hongerige egels. Je weet van geen enkele egel hoe groot zijn kans was om mee te doen, en dus weet je ook niet hoe scheef je steekproef is. Meer stemmen helpt daar niet tegen: een grote steekproef maakt de foutenmarge klein, maar de scheefheid blijft precies even groot. Van de soorten met onbekende kans hoef je er twee te herkennen: wie zich zélf meldt is een voluntary response sample; wie je pakt omdat hij er toevallig is, een convenience sample — gelegenheidssteekproef.
Loot je, dan is de kans bekend, en dan komt de vraag: wát loot je? Egels, of bossen? Het bos heeft twaalf hoeken. Deel je de egels eerst in op iets wat er toe doet — mannetjes en vrouwtjes — en loot je daarna uit élke groep twintig, dan is dat gestratificeerd. Je wint precisie: allebei de soorten zitten er zeker in, in de verhouding die jij kiest. Loot je in plaats daarvan drie van de twaalf hoeken en test je alle egels dáár, dan is dat cluster. Je wint tijd: je hoeft maar drie hoeken in. Het verschil zit in wat je loot — bij gestratificeerd loot je egels binnen élk hokje, bij cluster loot je de hokjes zelf.
Een onderzoek doet dat vaak in stappen, en dan heet elke stap apart. De boswachter loot eerst drie van de twaalf hoeken (cluster), en loot daarna binnen elke getrokken hoek apart uit de mannetjes en apart uit de vrouwtjes (gestratificeerd). Vraag bij elke stap: wat wordt hier geloot — groepen, of egels binnen een indeling? Het tentamen vraagt precies dat: per stap de naam.
Een paar namen die je moet herkennen. Gewoon loten uit de hele populatie heet een simple random sample (SRS); gestratificeerd en cluster zijn daar varianten van, en cluster in meer stappen heet ook multi-stage sampling. Bij onbekende kans ken je nu de twee van hierboven; er bestaan er meer (quota, purposive), en die staan in “Wat blijft liggen”.
Een steekproef kan op drie manieren scheef raken: onderdekking (undercoverage) — een deel van de populatie staat niet eens op je lijst; non-respons — wie wél op de lijst staat, doet niet mee; en de manier van trekken zelf, het onderwerp van dit blok.
Wat een steekproef “beter” maakt heet hier foutenmarge — de standaardfout van thema 7 in andere woorden; hij hangt af van de steekproefgrootte en de spreiding. Vraagt een opgave wat een grotere steekproef oplevert, dan is foutenmarge het woord, niet het betrouwbaarheids-getal van blok 2. Lees je ergens “een betrouwbaarder schatting”, dan is dat de gewone betekenis: zekerder.
Twee zinnen die op elkaar lijken en het tegenovergestelde betekenen. Ze trekt een steekproef uit alle basisscholen van Leiden: uit de verzameling van álle scholen trekt ze er een paar — de scholen zijn de lootjes, dus cluster. Op elke getrokken school loot ze uit de jongens en uit de meisjes apart vijf leerlingen: binnen élk hokje van een indeling wordt geloot — gestratificeerd.
Signaalwoord uit elk of uit ieder hokje van een indeling op een kenmerk (mannetjes/vrouwtjes, jongens/meisjes) → gestratificeerd. Een aantal van de (gemeenten, scholen, klassen) → cluster. En alle is een valse vriend: het zegt waaruit je loot, niet dat je overal loot.
Pas op met elk alleen: op elke getrokken school betekent dat je op de gelote scholen doorgaat — dat is de tweede trap van de cluster, en die maakt de stap nog niet gestratificeerd. Gestratificeerd wordt hij door uit de jongens en uit de meisjes apart: dat zijn de hokjes. Kijk dus naar wát er na elk staat — een indeling op een kenmerk, of gewoon de plek waar je bent.
Oefenen
Bij elk geval: welke soort steekproef is dit — en weet je van elke egel hoe groot zijn kans was om erin te komen?
De boswachter loot drie van de twaalf hoeken van het bos en test alle egels die daar wonen.
Hij deelt de egels in op mannetjes en vrouwtjes en loot uit elke groep twintig.
Hij test de egels die ’s avonds op zijn erf komen eten.
Hij hangt een bordje op: “egels gezocht voor pienterheidstest, beloning: kevers.”
(a) Cluster — hij loot hoeken, niet egels. Kans bekend (elke hoek had 3 op 12). (b) Gestratificeerd — eerst hokjes die binnen gelijk zijn, dan uit elke groep loten. Kans bekend. (c) Convenience — wie er toevallig is. Kans onbekend: van een egel die nooit op het erf komt, weet je niet eens dat hij bestaat (onderdekking). (d) Voluntary response — wie zichzelf meldt. Kans onbekend, en de hongerige egels komen vaker.
Val: (a) en (b) zijn allebei loting; het verschil is wat er geloot wordt. (c) en (d) zijn allebei geen loting; het verschil is wie de keuze maakt — de onderzoeker (c) of de egel zelf (d).
Een onderwijskundige wil weten hoeveel plezier leerlingen in lezen hebben. Ze trekt om te beginnen een steekproef uit alle basisscholen van Nederland (stap 1). Van de getrokken scholen krijgt ze per school twee lijsten: de leerlingen van groep 5 en die van groep 8. Uit elk van die twee lijsten trekt ze, op elke school, acht leerlingen (stap 2). Zijn stap 1 en stap 2 cluster- of gestratificeerd steekproeftrekken?
- beide gestratificeerd
- stap 1 cluster, stap 2 gestratificeerd
- beide cluster
- stap 1 gestratificeerd, stap 2 cluster
Optie 2. Stap 1: uit álle scholen worden er een paar getrokken — de scholen zijn de lootjes, en een school is een groep leerlingen. Cluster. Stap 2: twee lijsten (groep 5, groep 8) zijn twee hokjes die vanbinnen gelijk zijn, en uit elk hokje worden er acht geloot. Gestratificeerd.
Lokkertje: wie uit alle scholen leest als uit elke school, kiest optie 1. Zie de val.
Een omroep laat kijkers via een app stemmen op de leukste leraar van Nederland.
Hoe heet deze manier van steekproeftrekken?
Wat zijn, vanuit de steekproef gezien, de nadelen en de voordelen ervan?
Wat zou een onderzoeker aan die nadelen kunnen doen?
De omroep doet veel moeite om zoveel mogelijk mensen te laten stemmen. Welk doel dient dat — en welk niet?
Na 80.000 stemmen wordt een tussenstand gemeld; de einduitslag, na 120.000 stemmen, wijkt daar sterk van af. Een statisticus zegt op de radio dat zo’n verschil onmogelijk is. Heeft hij gelijk?
(a) Een voluntary response sample: mensen kiezen zelf of ze meedoen. Kans onbekend.
(b) Nadeel: niet representatief — wie stemt, is wie het het hardst voelt, en je weet niet hoeveel de rest ervan afwijkt. Voordeel: snel, goedkoop, en je krijgt er zonder moeite duizenden.
(c) Loten uit een lijst van de hele populatie (een steekproefkader), zodat de kans bekend is; en daarna de non-respons klein houden, want ook een geloot iemand kan weigeren.
(d) Een grotere steekproef maakt de foutenmarge kleiner — het toevalsdeel. Aan de scheefheid van wie er stemt, verandert het niets: een grote scheve steekproef is nog steeds scheef.
(e) Wat het toeval betreft heeft hij gelijk. Bij 80.000 stemmen is de toevalsmarge piepklein — thema 7: de standaardfout krimpt met de wortel uit n. Voor wie het wil zien (je hoeft dit niet na te rekenen): bij een percentage rond de 50% is de spreiding per stem 0,5, dus de variantie — de spreiding in het kwadraat, thema 1 — is 0,25. De standaardfout is de wortel uit 0,25 gedeeld door 80.000: eerst delen, dan de wortel, en dat is 0,0018. Keer 1,96 is dat 0,0035 — ruim een derde procentpunt. Veertigduizend extra stemmen kunnen het beeld dus niet door toeval sterk veranderen. Maar onmogelijk is te sterk: bij een voluntary response sample kan ná de tussenstand een andere groep gaan stemmen — een school die een oproep doet voor haar eigen leraar — en dan verschuift de uitslag écht. Dus: niet door toeval, wél mogelijk door wie er stemt.
Van klein naar groot, van groot naar klein — inductie en deductie
Waar kwam de vraag maakt de pil pienter? eigenlijk vandaan? Er zijn twee routes naar een hypothese, ze lopen tegengesteld, en het tentamen vraagt welke van de twee je hebt gelopen.
Inductie — van waarnemingen naar een algemene regel. Je ziet het tien keer en maakt er een theorie van. Klein → groot. Deductie — van een theorie naar een toetsbare voorspelling. Groot → klein.
De boswachter ziet elke lente hetzelfde: egels die de winter in de hooiberg doorbrachten, lijken pienterder dan egels die buiten sliepen. Na drie winters maakt hij er een regel van: warmte in de winter houdt het egelbrein wakker. Dat is inductie — van losse waarnemingen naar een theorie, een informed guess: een gok met een reden, opgeschreven als uitspraken over hoe begrippen met elkaar samenhangen — en juist daardoor te toetsen. Nu draait hij hem om. Als die theorie klopt, dan moeten egels die deze winter in een verwarmd hok zitten, in maart hoger scoren op de pienterheidstest dan egels buiten. Dat is deductie: uit de theorie een voorspelling halen die kan falen — een werkhypothese, mét recept (blok 1: score op de pienterheidstest in maart). Dan toetst hij, en dan kijkt hij of de theorie het overleefd heeft.
Die vijf stappen — observatie, inductie, deductie, toetsing, evaluatie — heten samen de empirische cyclus, en het is een cyclus omdat de evaluatie weer een nieuwe waarneming is. Je hoeft de vijf niet te kunnen opdreunen; je moet de twee middelste uit elkaar houden.
Het tentamen verstopt het antwoord in de eerste zin. “De theorie van de differentiële ontvankelijkheid gaat ervan uit dat …” en daarna “onderzoekt deze hypothese”: de hypothese kwam uit de theorie — deductie. “Omdat ik regelmatig zie dat kinderen die veel lezen verbaal voorlopen, stel ik de hypothese op dat …”: de hypothese kwam uit wat iemand zag — inductie.
Let niet op de steekproef die erna komt (“bij 78 kinderen”) — die zegt iets over de toetsing, niet over waar de hypothese vandaan kwam. En de afleiders methodologische convergentie en sluitende inferentie bestaan niet als route; ze klinken alleen zo.
Bevestigen bewijst niet, weerleggen wel — bijna
De egels in het verwarmde hok scoren hoger. De boswachter is blij: zijn theorie klopt! Nee. Zijn voorspelling kwam uit, en dat steunt de theorie. Maar het bewijst hem niet — de impossibility of proof heet dat — want een andere theorie had precies hetzelfde voorspeld — misschien eten egels in een verwarmd hok gewoon meer. (Ja, dat is de derde variabele van blok 5: een andere verklaring ís een andere theorie.) Andersom is het strenger. Scoren de hok-egels níét hoger, dan is de voorspelling mis, en een theorie die verkeerd voorspelt, is weerlegd. Eén tegenvoorbeeld is genoeg. Dat is de reden dat een hypothese iets moet kunnen verliezen: “egels zijn soms pienter en soms niet” kan niet falen en is dus geen hypothese.
Bevestigen — de voorspelling komt uit. Steunt de theorie, bewijst hem niet. Weerleggen (falsificeren) — de voorspelling komt niet uit. Eén keer is in principe genoeg.
Twee woorden die erop lijken en niet hetzelfde zijn: falsifieerbaar is dat een hypothese kán falen — dat moet altijd. Gefalsificeerd is dat hij in de praktijk onderuit is gehaald — en dat lukt zelden, zie hieronder.
Vergelijk thema 8, Beslissing is niet hetzelfde als werkelijkheid: de nulhypothese behouden bewijst niet dat hij waar is — je hebt alleen niets gevonden, en dat kan een gemiste vondst zijn (de type-II-fout). Zo bewijst een uitgekomen voorspelling niet dat de theorie waar is.
Nu het bijna. In principe weerlegt één mislukte voorspelling de theorie. In de praktijk niet, en de reden zit in blok 2: een voorspelling die niet uitkomt, kan aan de theorie liggen — of aan de meting. Was de pienterheidstest wel betrouwbaar? Mat hij wel pienterheid, of vooral honger?
In een bijles zei ik het eens zo, tegen een student wier voorspelling in haar scriptie niet was uitgekomen: niks is erg — misschien lag het aan de vragenlijsten, dat die niet zo betrouwbaar waren. Dan kun je je eigen tegenvaller goed praten en meteen een suggestie doen voor vervolgonderzoek: neem een lijst die wél betrouwbaar en valide is.
Dat is het hele bijna. Je meet nooit zonder fout, dus je weet nooit zeker of het de theorie was die faalde. Wat overblijft is herhalen — met andere instrumenten, andere steekproeven, andere onderzoekers. Dat heet methodologisch pluralisme (meer dan één methode) en replicatie (nog eens doen).
Eén woord om niet te verwarren met verifiëren: publieke verificatie is een kenmerk van wetenschap — anderen moeten je werk kunnen nakijken. Het betekent niet dat je een theorie kunt verifiëren. Nakijkbaar, niet bewezen.
Een vraag die je hierover kunt verwachten: waarom kun je een theorie niet falsificeren als de hypothesen die eruit volgden niet uitkomen? Het antwoord: omdat je in sociaal-wetenschappelijk onderzoek nooit zonder fouten meet. Let op de twee afleiders die er meestal bij staan — dat het logisch onmogelijk zou zijn, of dat falsificatie niet van uitkomsten afhangt. Allebei het tegendeel van wat blok 7 zegt: logisch kán het wel, het is de meetfout die dwarszit.
Oefenen
Bij elk geval: inductie of deductie? Noem het woord dat je op het spoor zette.
De boswachter ziet drie lentes achter elkaar dat hooiberg-egels pienterder lijken, en stelt: warmte in de winter houdt het egelbrein wakker.
Uit de theorie dat warmte het brein wakker houdt, leidt hij af dat egels in een verwarmd hok in maart hoger scoren.
Een theorie over gehechtheid stelt dat een sensitieve moeder tot een veiliger gehechtheid leidt. Een onderzoeker toetst bij honderd baby’s of dat zo is.
Een leerkracht valt op dat kinderen die ’s ochtends ontbijten beter opletten, en formuleert de hypothese dat ontbijten samenhangt met concentratie.
(a) Inductie — ziet drie lentes achter elkaar → regel. Klein naar groot. (b) Deductie — uit de theorie leidt hij af. Groot naar klein. (c) Deductie — een theorie stelt, en de hypothese volgt eruit. Dat er honderd baby’s zijn, gaat over de toetsing. (d) Inductie — valt op dat → hypothese. Uit waarnemingen.
Val: (b) en (c) gaan allebei over toetsen, en toetsen voelt als “klein”. Maar de vraag is waar de hypothese vandaan kwam, en dat staat in de eerste zin.
De gehechtheidstheorie gaat er onder meer van uit dat kinderen die als baby veilig gehecht waren, later beter met tegenslag omgaan dan kinderen bij wie dat niet zo was. Een onderzoeker die in die theorie geïnteresseerd is, toetst deze verwachting bij een steekproef van 92 kinderen. Op welke manier is deze hypothese tot stand gekomen?
- Op basis van deductie
- Op basis van inductie
- Op basis van empirische verzadiging
- Op basis van convergente afleiding
Optie 1. De theorie … gaat ervan uit — de hypothese is uit een theorie afgeleid. Deductie.
Draai het om en je krijgt inductie: “Omdat een leerkracht keer op keer ziet dat kinderen die veel buiten spelen minder snel ruzie maken, stelt zij de hypothese op dat buitenspelen samenhangt met minder conflicten.” Daar is het omdat ik keer op keer zie — je begint bij de waarneming en klimt naar de regel.
Let op de volgorde van de opties: die ligt niet vast. Op een ander tentamen kan inductie optie 3 zijn. Lees dus wat er staat, niet waar het staat. Empirische verzadiging en convergente afleiding klinken geleerd maar betekenen hier niets — dat soort afleiders staat er om je te laten twijfelen aan een antwoord dat je al goed had.
Welke van de volgende stellingen over het gebruik van hypothesen in wetenschappelijk onderzoek is juist?
- Je stelt een hypothese pas op als je de uitkomsten van je onderzoek kent.
- Een hypothese moet in principe onderuit kunnen gaan.
- Beide stellingen zijn onjuist
- Beide stellingen zijn juist
- Alleen 1) is juist
- Alleen 2) is juist
Optie 4. Stelling 2 is de kern van dit blok: een hypothese moet iets kunnen verliezen — falsifieerbaar zijn — anders valt er niets te toetsen. Dat botst niet met “een theorie is niet te falsificeren”: dat gaat over of het in de praktijk lúkt, dit over of het in principe kán.
Stelling 1 is de cyclus achterstevoren. Een hypothese mag uit waarnemingen komen (inductie, de leerkracht die iets opvalt) — maar dat zijn waarnemingen vóór het onderzoek. Stelling 1 zegt dat je hem opstelt als je de uitkomsten al kent: dan heb je geen voorspelling gedaan maar een beschrijving achteraf, en die kan nooit falen.
Wat is het belangrijkste kenmerk van een theorie, waarmee hij zich onderscheidt van een los vermoeden?
Waarom kun je nooit zeggen dat een theorie bewezen is?
Een theorie weerleggen lukt in de praktijk ook zelden. Waarom?
Hoe lossen onderzoekers het probleem van (b) en (c) in de praktijk op — en hoe goed werkt dat?
(a) Een theorie is onderbouwd met empirische gegevens — er ligt waarneming onder — en hij doet toetsbare voorspellingen: er zijn uitkomsten die hem tegenspreken. Een vermoeden hoeft geen van beide; dat kan nergens op rusten. Een theorie is een stel uitspraken over hoe begrippen met elkaar samenhangen — en die samenhang kun je toetsen.
(b) Een uitgekomen voorspelling steunt de theorie maar bewijst hem niet: een andere theorie kan dezelfde voorspelling doen, en er zijn altijd nog voorspellingen die je niet getoetst hebt. Dat heet de impossibility of proof: bewijzen kan niet, steunen wel.
(c) Omdat je nooit zonder fout meet. Komt een voorspelling niet uit, dan kan dat aan de theorie liggen, aan het instrument (blok 2), aan het recept (blok 1) of aan de steekproef (blok 6). Je weet niet welke.
(d) Herhalen: hetzelfde toetsen met andere instrumenten, andere steekproeven, andere onderzoekers — methodologisch pluralisme en replicatie. Dat werkt redelijk: hoe vaker een theorie een eerlijke kans krijgt om te falen en dat niet doet, hoe meer je hem vertrouwt. Sluitend wordt het nooit; het blijft steunen, geen bewijzen. En er zit een lek in dat je moet noemen: onderzoek dat een theorie niet onderbouwt haalt de tijdschriften veel minder vaak, want “wij vonden niets” leest niet lekker. Dat heet publicatiebias, en het betekent dat de stapel waaruit je telt al is voorgeselecteerd op bevestiging.
Mocht dit eigenlijk wel? — drie manieren om die vraag te beantwoorden
Experimenteel onderzoek is de beste manier om causaliteit vast te stellen, maar een echt experiment kan niet altijd. Welk verband kun je op ethische gronden níét experimenteel onderzoeken? Roken → longkanker. Nicotinepleisters mag je toewijzen, een geheugentraining ook, een leermethode ook. Roken niet, want dan deel jij de schade uit. Dat mag niet klinkt als één regel. Het zijn er drie, en het tentamen wil weten welke je gebruikt.
Deontologie — er is één morele code die voor iedereen en in elke situatie geldt. Wat verkeerd is, is altijd verkeerd, hoe belangrijk het onderzoek ook is. Utilitarisme — weeg de kosten tegen de baten. Het mag als de winst (kennis, betere zorg) groter is dan de schade. Ethische scepsis — er is geen regel die overal en altijd geldt; wat mag, hangt af van tijd, plaats en cultuur, en de onderzoeker beslist uiteindelijk naar eigen geweten.
Mag je egels een winter in de kou zetten om te kijken of kou dom maakt? De deontoloog zegt nee: dieren leed aandoen is fout, punt, ook als je er iets van leert. De utilitarist vraagt door: hoeveel egels, hoeveel kou, en hoeveel weten we straks meer? Weegt dat op tegen elkaar, dan mag het. De scepticus zegt dat er geen weegschaal is die voor iedereen hetzelfde weegt: de boswachter moet het zelf weten, en ermee kunnen leven. Let op wat de drie gemeen hebben — ze geven alle drie antwoord op mag dit, niet op werkt dit. Een onderzoek kan methodisch perfect zijn en toch niet mogen.
In de praktijk komt de ethiek het onderzoek binnen via toestemming: wie meedoet, moet vooraf weten wat er gaat gebeuren en mag nee zeggen. Dat is netjes, en het heeft een prijs die je in blok 4 herkent: wie nee zegt tegen de loting, kun je niet stilletjes in de controlegroep zetten — dan is de controlegroep geen geloot groepje meer maar de groep weigeraars, en weigeraars verschillen misschien in precies datgene wat je meet. De ethiek en de opzet trekken hier aan hetzelfde touw.
Onthoud bij deontologie drie woorden — universeel, iedereen, elke situatie — want zo omschrijft het tentamen hem, en dat is het signaal. De andere twee hebben elk hun eigen: hangt af van (scepsis) en weegt op tegen (utilitarisme).
Het beroemdste geval: in het gehoorzaamheidsonderzoek van Milgram, begin jaren zestig, kregen gewone mensen de opdracht een ander steeds zwaardere stroomstoten te geven; de stroom was nep, hun gehoorzaamheid niet. Het is het schoolvoorbeeld van wat er ethisch misging — en methodisch was het niet eens een experiment: één groep, niets om mee te vergelijken, geen loting. Een demonstratie, hoe overtuigend ook, is geen experiment — in de tabel van blok 4 is het beschrijvend: één groep, niets vergeleken.
Bij de rookvraag kiest iemand soms “Cognitieve training → verbeterde geheugenfunctie”, omdat dat moeilijk klinkt. Maar moeilijk is niet verboden: je mag mensen een training geven. De vraag is of je de oorzaak mag uitdelen. Roken uitdelen is schade uitdelen — en dat mag van geen van de drie benaderingen, want zelfs de utilitarist ziet hier geen baat die tegen longkanker opweegt.
En sceptisch betekent hier niet kritisch op het onderzoek. Het is een positie over de moraal: dat er geen regel voor iedereen is.
Oefenen
Bij elke uitspraak: deontologie, utilitarisme of ethische scepsis?
“Proefpersonen misleiden is fout, ook als het onderzoek er beter van wordt.”
“Een half uur stress bij tweehonderd studenten is te verdedigen als we er een betere behandeling voor angst mee vinden.”
“Of dit mag, kan niemand voor mij beslissen; ik moet er zelf achter kunnen staan.”
“De kinderen krijgen een vervelende taak, maar de klas leert er meer van dan het ze kost.”
(a) Deontologie — fout, ook als — de regel geldt ongeacht de opbrengst. (b) Utilitarisme — te verdedigen als we er … mee vinden — kosten tegen baten. (c) Ethische scepsis — niemand voor mij, zelf achter staan — geen regel voor iedereen. (d) Utilitarisme — meer dan het ze kost — weer een weging.
Val: (b) en (d) klinken heel verschillend (studenten, kinderen) en zijn dezelfde benadering. Kijk niet naar wie er in de zin zit, maar naar of er gewógen wordt.
Volgens welke benadering ligt goed en fout vast in regels die voor iedereen en in elke situatie gelden, ongeacht wat ze opleveren?
- Empirisme
- Deontologie
- Ethische scepsis
- Utilitarisme
Optie 2. Voor iedereen, elke situatie, ongeacht wat ze opleveren — één code, geen weging. Deontologie.
Optie 4 zou juist wél wegen: bij utilitarisme telt wat er onder de streep uitkomt. Optie 3 zegt dat zo’n code helemaal niet bestaat. Optie 1, empirisme, is geen ethische benadering maar de opvatting dat kennis uit waarneming komt — een afleider uit een ander vak.
Een nieuwe behandeling voor slaapproblemen bij pubers wordt vergeleken met de gewone begeleiding. Meedoen mag alleen als de puber en de ouders vooraf instemmen met loting: wie meedoet, wordt aselect aan de nieuwe behandeling of aan de gewone begeleiding toegewezen. Een deel van de gezinnen wil dat niet; die pubers krijgen gewoon de gewone begeleiding.
Waarom mag je die pubers niet als controlegroep gebruiken — ze krijgen toch dezelfde gewone begeleiding?
Omdat de controlegroep dan niet meer geloot is. Wie weigert te loten, is niet zomaar iemand: misschien slaapt hij slechter, misschien is het gezin angstiger, misschien juist beter geïnformeerd. Zet je de weigeraars bij de controlegroep, dan verschilt die groep van de behandelgroep in precies die dingen — nog vóór er een behandeling is gegeven. Elk verschil dat je daarna vindt, kan de behandeling zijn of de weigering. Dat heet de bestaande situatie — de groepen verschilden al vóór de ingreep — en het is dezelfde valkuil als het noordbos in blok 4: een groep die zichzelf heeft gevormd.
Ethisch juist (niemand wordt tegen zijn wil geloot) en methodisch juist (de groepen blijven geloot) gaan hier samen door de weigeraars buiten het onderzoek te houden — ze krijgen de gewone begeleiding, maar tellen niet mee als controle.
Wat blijft liggen
Dit thema is bewust smal gehouden: wat het tentamen vraagt, en de uitleg die dat draagt. Wat hieronder staat heb je voor geen enkele opgave van dit thema nodig; het staat hier zodat je de naam herkent als hij in een college of in het handboek van het vak voorbijkomt, en niet schrikt.
- De lijst bedreigingen van de interne validiteit — vijf namen: bestaande situatie (selectie), historie, maturatie, uitval (attrition), verstrengelde variabelen (confounding); onder die laatste nog vijf kleinere (placebo, verwachtingen van de onderzoeker, demand characteristics — de proefpersoon raadt wat je wilt zien en doet dat —, andere confounds, volgorde-effecten). Blok 4 en 5 leren je het principe erachter: elke bedreiging is een andere verklaring.
- …en één voorbeeld bij de eerste drie: de behandelgroep sliep al beter vóór de behandeling begon (bestaande situatie); een schoolstaking midden in het onderzoek (historie); peuters die vanzelf beter gaan praten (maturatie).
- Uitbreidingen van het basisdesign — herhaalde metingen, volgorde-manipulatie, het Solomon-vierhoeksdesign.
- Causaliteit zónder experiment — vijf criteria (plausibel, sterk, consistent, oorzaak vooraf, dosis-respons) voor als manipulatie niet kan of niet mag.
- Quota- en purposive sampling — twee soorten met onbekende kans: hokjes vullen tot een vast aantal (zoveel mannen, zoveel vrouwen, maar wie je pakt is aan jou), en gericht kiezen (precies de mensen die je denkt nodig te hebben).
- Twee betrouwbaarheidssoorten die blok 2 niet noemt — paralleltest (twee gelijkwaardige versies van de test, omdat dezelfde test twee keer afnemen een leereffect geeft) en split-half (de test in twee helften knippen en die vergelijken).
- Indruksvaliditeit — een validiteit, geen betrouwbaarheid: ziet de test er voor wie hem invult uit alsof hij meet wat hij belooft. Blok 3 noemde de naam al; meer hoef je er niet van te weten.
- De paradox van Simpson — die staat in thema 11, met de uitleg.
Tot slot
Deugt die test eigenlijk? Daar begon dit thema mee, en het antwoord is: misschien — en dan begint het pas. Een test die betrouwbaar en valide is, zegt nog niets over wat je ermee mag concluderen. Wie deelde de pil uit, en werd er geloot? Wie trekt er nog meer aan de touwtjes — en trekt hij wel aan béide kanten? Hoe kwamen de egels in je steekproef, en weet je van elke egel hoe groot zijn kans was? Waar kwam je hypothese vandaan, en wat heeft een uitkomst bewezen — niets, of bijna alles? En mocht het?
Geen van die vragen heeft een getal als antwoord. Toch zijn het de vragen die bepalen of de getallen uit elf thema’s iets betekenen. Elke keer dat je een uitkomst leest — in een artikel, in een krant, op een tentamen — stel je ze in deze volgorde, en meestal stopt het al bij de eerste. Dat is niet cynisch; dat is het vak.
Handrekenen — bij OZP 1 · Thema 13, versie 0.1 (theorie). Doorlopend voorbeeld: de egels.
Terug naar boven
