Hoofdstuk 7 · Power en fouten

Power, type I en II · statistical power

De prikkel

Een onderzoeker heeft iets bedacht waar ze in gelooft. Een nieuwe aanpak, zorgvuldig opgezet, dertig mensen doen mee. Aan het eind is er een verschil, de goede kant op — maar de toets zegt p = .21. Niet significant. En ergens in een verslag verschijnt de zin: “de interventie bleek niet effectief.”

Wacht even.

Hier is het getal dat jeukt.1 Stel dat de aanpak écht werkt — een keurig middelgroot effect, niks bijzonders. Bij een studie van dit formaat is de kans dat de toets dat echte effect ook víndt… ongeveer 40%. De studie mist vaker dan hij raakt. Een muntje opgooien had een eerlijker kans gegeven.

Die kans heeft een naam: power — de kans dat je een écht effect ook vindt. In dit blok vragen we ’m eerst op, dan gaan we ’m zien, en dan snappen we waarom “niet significant” zo vaak iets anders betekent dan “werkt niet”.

Speel het

Vraag SPSS hoe sterk zo’n studie eigenlijk staat. Recente versies van SPSS hebben daar een eigen menu voor: Analyze → Power Analysis → Means → Independent-Samples T Test.

OpmerkingIn SPSS · trek eraan · Power Analysis
  • Analyze → Power Analysis → Means → Independent-Samples T Test.
  • Wat is mijn power? Kies Estimate: Power, vul in: groepsgroottes 24 en 24, effectgrootte (Cohens d) 0.5, α = .05 → SPSS geeft power ≈ .40.
  • Hoeveel mensen heb ik nodig? Kies Estimate: Sample size, vul in: power .80 en d = 0.5 → n = 64 per groep.
  • Oudere SPSS-versies hebben dit menu niet. Geen ramp: G*Power (gratis) is het klassieke gereedschap voor precies deze som — of leen het R-broertje, waar het één regel power.t.test() is.

Daar staan de twee getallen van dit blok. Met 24 per groep is de power maar .40: zes van de tien keer komt zo’n studie thuis met “niet significant” — over een effect dat er wél is. Wil je de gangbare norm van power = .80 halen, dan heb je 64 per groep nodig. Geen 24. Vierenzestig. En trek gerust nog even verder aan die knoppen: maak d kleiner en kijk wat er met n gebeurt. Het wordt niet gezellig.

Voel het

Power is een kans, en kansen kun je tellen. Dus bouwen we duizend werelden waarin het effect écht bestaat — door ons eigenhandig ingebakken. In elke wereld trekken we twee groepen van 24: de ene rond 0.5, de andere rond 0, spreiding 1. Dat is een echt effect van d = 0.5, gegarandeerd, want wij hebben ’m er zelf in gestopt. Dan draaien we in elke wereld de t-toets, en tellen we hoe vaak hij het effect oppikt.

Dat duizend-keer-tellen is geen knop in SPSS — het is één regel R, uit het R-broertje geleend. Geen R bij de hand? Lees dan gewoon mee: het idee is wat telt.

OpmerkingVoel het · leen-moment uit het R-broertje 
set.seed(42)
mean(replicate(1000, t.test(rnorm(24, 0.5), rnorm(24, 0))$p.value < .05))
# → ongeveer 0.40

Ongeveer 400 van de duizend studies vinden het effect dat er — op ons woord — écht in zit. De andere zeshonderd komen thuis met “niet significant”, over iets dat bestáát. Verander nu de twee 24’s in 64 en tel opnieuw: ongeveer 80% slaagt. Dat aandeel ís de power — niet uit een formule, maar uit hoe vaak de studie slaagt als er echt iets te vinden valt.

En zie je de spiegeling? In de schud-blokken bouwden we duizend werelden waarin niks was, en telden we hoe vaak het toeval tóch iets liet zien — dat aandeel werd de p. Hier bouwen we duizend werelden waarin wél iets is, en tellen we hoe vaak we het zien. Twee kanten van dezelfde telling. En dus, zo meteen: twee fouten.

Snap het

Elke toets kan op twee manieren de mist in. Ze hebben saaie namen en een heel verschillende reputatie.

  • Type I — het valse alarm. Er is niks, en toch zegt je toets p < .05: je ziet een effect dat er niet is. De kans daarop heb je zelf gekozen: α = .05. Uit de schud-blokken ken je ’m al — het zijn die ~50 van de 1000 toeval- werelden die toevallig tóch ver genoeg komen.
  • Type II — het missen. Er is wél iets, en je toets ziet het niet. De kans daarop is 1 − power. Bij onze studie van 24 per groep: 1 − .40 = .60.

Kijk even goed naar die twee getallen naast elkaar. Het valse alarm bewaken we streng en collectief — .05, afspraak, iedereen houdt zich eraan. En het missen laten we ondertussen vrolijk oplopen tot .60, zonder dat er een haan naar kraait. We zijn doodsbang om een spook te zien, en halen onze schouders op over het niet zien van wat er wél is.

Daarom de kern van dit blok: “niet significant” bij een kleine studie betekent vaak niet “geen effect” maar “te weinig power om het te zien”. En dit is geen randgeval: groepen van 20–25 zijn in veel onderzoek — verpleegkundig, psychologisch — eerder regel dan uitzondering. Een flink deel van de “geen effect gevonden”-conclusies gaat dus over studies die een echt effect meestal niet eens hádden kunnen zien. Afwezigheid van bewijs is geen bewijs van afwezigheid — en bij weinig power is afwezigheid van bewijs vooral afwezigheid van kijkvermogen.

Het wordt erger bij kleine effecten. Die 64 per groep gold voor een middelgroot effect. Is het echte effect klein (d = 0.2) — en veel echte effecten zíjn klein — dan heb je voor power .80 zo’n 394 per groep nodig. Wie met dertig mensen naar een klein effect zoekt, zoekt met een theelepeltje naar een onderstroom.

Hoe beslis je dan? Twee momenten:

  • Vooraf, als het jouw studie is: kies het kleinste effect dat je nog de moeite waard vindt, en reken uit hoeveel mensen je nodig hebt voor power .80. (En besef: ook dan accepteer je nog één op de vijf kans om het te missen — .80 is een norm, geen garantie.)
  • Achteraf, als je andermans “niet significant” leest: kijk éérst naar de n. Klein? Dan is de eerlijke lezing niet “werkt niet” maar “dit onderzoek kon het niet zien”. Dat is geen detail — het is het verschil tussen een aanpak afschrijven en een vraag open houden.

◠ Zelfde vorm in het boek

Hier: duizend werelden waarin het effect écht bestaat, en tellen hoe vaak je studie ’m ziet — dat aandeel is de power.

In het boek: W7 — Hoe beslis je?

Daar wordt beslissen een afweging tussen twee fouten: het spook zien dat er niet is, en het missen van wat er wél is — en waarom we de eerste streng bewaken en de tweede stilletjes laten gebeuren.

TODO (broertje, geschreven naar het charter): stem-pas nog doen; nummering/ordening van de blokken volgt later (roadmap spoor 1 — herordening naar de boek-hoofdstukken). Geen dataset in dit blok — het gaat over ontwerp; alle getallen komen uit power.t.test(): power bij n=24 = .3959 (afgerond .40), n voor power .80 = 63.77 → 64 per groep; d=0.2 → 393.4 → 394 per groep. De simulatie wiebelt met de seed rond die waarden (≈ .40 / ≈ .80). Deelt de tekst met het R/JASP-blok; alleen “Speel het” (en de wrapper van het leen-moment in “Voel het”) verschilt. Bij de screenshot-ronde: SPSS-Power-Analysis-menu per versie checken — het menu bestaat pas vanaf recente versies (ca. v27+), en de veldnamen (Estimate: Power / Sample size) kunnen per versie afwijken.

Voetnoten

  1. Alle getallen in dit blok zijn nagerekend met power.t.test() in R en met de simulatie in Voel het — berekend, niet overgetikt. Middelgroot effect = Cohens d = 0.5 (Cohen, 1988).↩︎