Significantie en power
significance & power
Vooraf, in één zin: “niet significant” bij een kleine steekproef is vaak geen uitspraak over de behandeling maar over het kijkvermogen van de studie — een toets die te weinig power heeft, mist echte effecten aan de lopende band; waarom, staat onderaan bij Wat het niet zegt.
Wat je ziet
In het kort. Een p boven de .05, soms met de afkorting “n.s.” (not significant) erachter, en een conclusie in de trant van no significant effect. De schrijver heeft een beslisregel toegepast: is p kleiner dan de afgesproken grens α = .05, dan heet het resultaat significant; zo niet, dan niet. Wat je in het fragment hieronder níét ziet — en wat dit blok je leert opzoeken — is de power / statistical power van de studie: hoe groot de kans was dat deze toets een echt effect ook daadwerkelijk zou opmerken.
Zo ziet het eruit in het wild:
Voorbeeldfragment, geschreven in de stijl van een resultatensectie — het artikel bestaat niet.
A paired-samples t-test revealed no significant effect of the intervention on total problem scores (SDQ), t(23) = 1.40, p = .174 (n.s.); mean scores decreased from 20.50 (SD = 4.38) at baseline to 19.29 (SD = 4.73) at follow-up. These findings suggest that the intervention does not reduce problem behavior in this population.
Herken je de getallen? Dit zijn exact de vierentwintig jongeren uit het t-toets-blok (sdq_toekomstkamer.csv), alleen is de laatste zin nieuw — en die laatste zin is precies de valkuil waar dit blok over gaat.
Wat er staat
In het kort. De daling is er gewoon: gemiddeld 1.21 SDQ-punten per jongere, een klein effect (dz = 0.29). De toets zegt desondanks “niet significant”, en dat is bij deze combinatie — klein effect, N = 24 — geen verrassing maar verwácht gedrag: de power van deze studie voor zo’n effect is ongeveer .29. Dat betekent: zelfs áls de interventie echt een klein effect heeft, vindt een studie van deze omvang dat in nog geen drie van de tien keer. “Niet significant” is hier dus vooral een uitspraak over te weinig kijkvermogen, niet over “geen effect”.
Nu rustig van voren af aan. De toets uit het fragment ken je al: stel dat er niets aan de hand is — hoe verrassend is deze data dan? Het antwoord, p = .174, ligt boven de afgesproken alarmgrens α = .05, dus de toets slaat geen alarm. Maar een beslisregel die alarm kan slaan, kan op twee manieren de mist ingaan, en die twee fouten zijn niet elkaars spiegelbeeld:
- Type I-fout / type I error — vals alarm: de toets zegt “significant” terwijl er in werkelijkheid niets is. De kans daarop heb je zelf afgesproken: dat ís je
α = .05— in een wereld zonder effect gaat het alarm in één op de twintig studies tóch af. - Type II-fout / type II error — een echt effect missen: er ís iets, maar de toets ziet het niet. De kans dat de toets een echt effect wél oppikt heet de power; de kans om het te missen is dus 1 − power.
En hier wordt N = 24 belangrijk. Power hangt af van drie dingen: hoe groot het echte effect is, hoe streng je alarmgrens staat, en hoeveel mensen je hebt. Bij een klein effect (dz ≈ 0.3) en vierentwintig paren komt de power uit op ongeveer .29 — de studie mist zo’n effect in ruim zeven van de tien pogingen. Wil je zo’n klein effect met 80 procent zekerheid kunnen oppikken (de gebruikelijke lat), dan heb je ongeveer negentig deelnemers nodig, bijna vier keer zoveel. Vierentwintig mensen is genoeg om een gróót effect te zien; voor de kleine effecten die in de zorg de regel zijn, is het een vergrootglas met te weinig vergroting. Dáárom is N = 24 zo vaak te klein — niet omdat het getal magisch is, maar omdat kleine effecten nu eenmaal veel kijkvermogen vragen.
Waar het vandaan komt
Dit hoort bij de boek-eenheid Hoe beslis je? — waar de toets die je in het vorige blok leerde lezen een beslisregel wordt, en waar het boek de twee fouten tegenover elkaar zet: het valse alarm dat je met α afkoopt, en het gemiste effect dat je met power moet afkopen. De les daar is dat die twee in balans horen: wie alleen op α let, bewaakt de voordeur en laat de achterdeur wagenwijd openstaan. En dit blok bouwt rechtstreeks voort op het t-toets-blok: dezelfde data, dezelfde toets, dezelfde p — alleen kijken we nu niet naar wat de toets zégt, maar naar wat hij kón zien.
Eén naamkwestie moet hier even expliciet, want hij struikelt in de praktijk vaak: deze α is niet Cronbachs α. Zelfde Griekse letter, twee totaal verschillende dingen — hier is α de afgesproken kans op vals alarm (.05), in het betrouwbaarheidsblok is Cronbachs α een maat voor de interne consistentie van een vragenlijst. Welke van de twee bedoeld is, lees je af aan de context.
Zelf doen in JASP
⬇ Download de data — sdq_toekomstkamer.csv
Bij dit blok hoort het databestand sdq_toekomstkamer.csv — hetzelfde als bij het t-toets-blok: 24 rijen (de jongeren), drie kolommen — id, tds_t0 (SDQ-totaal vóór) en tds_t1 (SDQ-totaal ná).
- Open het bestand → klik T-Tests → Paired Samples T-Test.
- Maak één paar aan: sleep
tds_t0entds_t1samen in het vak. - Vink aan: Effect Size en Descriptives.
Rechts: t(23) = 1.40, p = .174, Cohen’s d (hier dz) = 0.29; in de Descriptives-tabel M = 20.50 (SD = 4.38) op T0 en M = 19.29 (SD = 4.73) op T1. Lees de twee getallen nu in één adem: p = .174 zegt “geen alarm”, dz = 0.29 zegt “en het effect waar we naar zochten is klein” — en juist díé combinatie, kleine dz bij kleine N, is het signaal dat je aan power moet denken voor je conclusies trekt.
Eén ding vind je in dit JASP-menu niet: een power-berekening. Dat is geen gemis van dit werkboek maar een les over volgorde — power hoort bij de opzet van een studie, niet bij de analyse achteraf. Wie een onderzoek plant, rekent vóóraf uit hoeveel deelnemers er nodig zijn om het verwachte effect te kunnen zien; daarvoor bestaat gratis gereedschap zoals G*Power, en vuistregels per toetsfamilie. Jij hoeft in dit werkboek geen power te berekenen. Jij moet iets anders kunnen: bij het lézen van andermans onderzoek herkennen dat N = 24 met een klein effect een studie is die vrijwel niets kón vinden — en de conclusie no significant effect dus op eigen gewicht wegen.
Zelf opschrijven
Voor je eigen Nederlandstalige literatuurstudie:
De totale probleemscore (SDQ) daalde van voor- naar nameting met gemiddeld 1.21 punt, maar dit verschil was niet significant (gepaarde t-toets, t(23) = 1.40, p = .17, dz = 0.29). Gezien de kleine steekproef (N = 24) had deze studie weinig power om een klein effect aan te tonen; een klein werkelijk effect kan daarom niet worden uitgesloten.
Drie werkafspraken daarbij:
- Schrijf “niet significant”, nooit “geen effect”. De toets heeft niets aangetoond — ook niet dat er niets is. “Geen aantoonbaar verschil” is de eerlijke formulering; “de interventie werkt niet” is een claim die deze data niet kunnen dragen.
- Zet de power-kanttekening erbij als N klein is. Eén bijzin is genoeg — zoals in de modelzin hierboven. Een niet-significant resultaat uit een kleine studie hoort in je evidencetabel als “geen uitspraak mogelijk”, niet als bewijs tégen de interventie.
- Rapporteer de exacte p, niet alleen “n.s.”. De afkorting mag in een tabel; in je lopende tekst wil je lezer p = .17 kunnen zien — een p van .17 en een p van .90 zijn allebei “n.s.”, maar het zijn geen gelijke berichten.
Wat het niet zegt
De verleidelijkste zin staat al in het fragment zelf: “no significant effect — these findings suggest that the intervention does not reduce problem behavior.” Dat is in één beweging van “niet significant” naar “geen effect” naar “werkt niet” gesprongen, en elke stap in die sprong is er één te veel.
“Niet significant” is niet “geen effect”. p = .174 zegt: een daling van deze omvang ontstaat bij vierentwintig mensen ook makkelijk in een wereld waarin de interventie niets doet. Dat is iets anders dan: de interventie doet niets. De daling van 1.21 punt staat er gewoon, en het interval eromheen (dat zag je in het t-toets-blok: [−0.57, 2.99]) omvat zowel niets als een echte, bescheiden winst — de data kunnen die twee niet uit elkaar houden. Afwezigheid van bewijs is geen bewijs van afwezigheid.
Een p boven .05 bij kleine N is verwacht gedrag, geen conclusie. Reken even mee: als het echte effect klein is (dz ≈ 0.3), vindt een studie met N = 24 in ongeveer 29 procent van de gevallen een significant resultaat. Zeven van de tien van zulke studies eindigen dus op “n.s.” terwijl het effect er is. Wie uit één zo’n studie “werkt niet” concludeert, leest de zwakte van de studie als eigenschap van de behandeling. De juiste leesconclusie is bescheidener: deze studie kon het niet zien.
En andersom, kort: significant is niet hetzelfde als groot of belangrijk — een piepkleine p uit een grote studie kan op een triviaal effect zitten. Die kant van de medaille woont in het effectgrootte-blok; dit blok gaat over de spiegelfout, en die is in de GGZ-literatuur minstens zo veelvoorkomend: kleine pilots die “no significant effect” melden en daarmee, per ongeluk, een behandeling begraven die nooit een eerlijke kans heeft gehad.
Oefening
Leesopgave. Hieronder twee voorbeeldfragmenten (verzonnen) over dezelfde soort interventie. Spreken ze elkaar tegen? Gebruik het woord power in je antwoord — en zeg wat je over studie A in je literatuurstudie zou opschrijven.
Study A (N = 22): the intervention had no significant effect on depressive symptoms, t(21) = 1.35, p = .19 (n.s.). We conclude that the intervention is not effective in this population.
Study B (N = 240): patients receiving the intervention improved more than controls, d = 0.28, 95% CI [0.03, 0.53], p = .029.
Doe-opgave. Draai de gepaarde toets van hierboven (sdq_toekomstkamer.csv) en noteer p en dz. Beantwoord dan twee vragen op een kladblaadje. Vraag één: stel dat de interventie in werkelijkheid níéts doet — hoe groot is dan de kans dat deze toets tóch “significant” had geroepen, en hoe heet die fout? Vraag twee: stel dat de interventie in werkelijkheid een klein effect heeft (dz = 0.3) — van tien onderzoeksteams die elk met 24 jongeren precies deze studie doen, hoeveel vinden er dan naar verwachting een significant resultaat? En wat betekent dat voor hoe zwaar één “n.s.” mag wegen?
Uitwerking leesopgave
Nee — ze spreken elkaar niet tegen, ze hebben verschillend kijkvermogen. Studie B vindt met 240 deelnemers een klein effect (d = 0.28) en heeft genoeg power om het significant te krijgen. Studie A zoekt vermoedelijk een effect van diezelfde orde met 22 deelnemers — een studie die zo’n effect maar in grofweg een kwart tot een derde van de gevallen kán vinden. Dat studie A “n.s.” meldt is dus precies wat je verwacht áls het effect bestaat; het is geen tegenbewijs. De conclusiezin van studie A — not effective — is de fout uit dit blok in het wild: van “niet significant” naar “werkt niet” zonder tussenstop. In je literatuurstudie schrijf je over studie A dat een kleine studie geen aantoonbaar effect vond en, gezien de steekproefomvang, weinig power had om een klein effect op te pikken; het gewicht van je conclusie leg je bij studie B.
Uitwerking doe-opgave
JASP geeft p = .174 en dz = 0.29. Vraag één: als er in werkelijkheid niets is, is de kans op een onterecht alarm precies de grens die we hebben afgesproken — α = .05, één op de twintig. Dat zou een type I-fout zijn. Vraag twee: bij dz = 0.3 en N = 24 is de power ongeveer .29, dus van tien teams vinden er naar verwachting zo’n drie een significant resultaat en melden er zeven “n.s.” — over een effect dat er, in dit gedachte-experiment, écht is. Die zeven maken elk een type II-fout. Eén “n.s.” uit een kleine studie mag daarom maar weinig wegen: het is het verwachte resultaat in twee werelden tegelijk — de wereld zonder effect én de wereld met een klein effect — en een resultaat dat twee werelden niet uit elkaar houdt, beslist niets.
◠ Zelfde vorm in het boek
Hier: de toets als beslisregel, en de twee manieren waarop die beslissing kan mislopen — vals alarm (type I, kans α) en een echt effect missen (type II, tegengif: power).
In het boek: W7 — Hoe beslis je?
Daar staat de vraag centraal wat “beslissen” eigenlijk betekent als de data twee werelden niet uit elkaar kunnen houden.
TODO: stem-pas. En: getallen consistent houden met blok_t_toets (dat blok noemt mogelijk t=1.43/p=.165 uit de generator-target; echte csv geeft t=1.40/p=.174 — bij stem-pas gelijktrekken). Check bij die pas ook of de boek-eenheid W7 (Hoe beslis je?) inmiddels meer is dan een grove schets; de “twee fouten”-framing hier is een aanname over hoe het boek het brengt.