Derde beweging · Verschil op de proef

Oefening 6.2 · Power, type I en II

Power, type I en II · statistical power

Data bij deze oefening — plantgroei.csv plantgroei onder drie condities · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

De studie die vaker mist dan raakt

power · niet-significant ondanks een echt effect

Een onderzoeker heeft iets bedacht waar ze in gelooft. Een nieuwe aanpak, zorgvuldig opgezet, dertig mensen doen mee. Aan het eind is er een verschil, de goede kant op — maar de toets zegt p = .21. Niet significant. En ergens in een verslag verschijnt de zin: “de interventie bleek niet effectief.”

Wacht even.

Hier is het getal dat jeukt.1 Stel dat de aanpak écht werkt — een keurig middelgroot effect, niks bijzonders. Bij een studie van dit formaat is de kans dat de toets dat echte effect ook víndt… ongeveer 26% — ruwweg één kans op vier. De studie mist vaker dan hij raakt. Een muntje opgooien had een eerlijker kans gegeven.

Die kans heeft een naam: power — de kans dat je een écht effect ook vindt. In dit blok vragen we ’m eerst op, dan gaan we ’m zien, en dan snappen we waarom “niet significant” zo vaak iets anders betekent dan “werkt niet”.

speel het

Vraag de power op in SPSS

aantal per groep · Cohens d · de norm power = .80

Dertig mensen, dat zijn twee groepen van vijftien. Vraag SPSS hoe sterk zo’n studie daarmee eigenlijk staat. Recente versies van SPSS hebben daar een eigen menu voor: Analyze → Power Analysis → Means → Independent-Samples T Test.

OpmerkingIn SPSS · trek eraan · Power Analysis
  • Analyze → Power Analysis → Means → Independent-Samples T Test.
  • Wat is mijn power? Kies Estimate: Power, vul in: groepsgroottes 15 en 15, effectgrootte (Cohens d) 0.5, α = .05 → SPSS geeft power ≈ .26.
  • Hoeveel mensen heb ik nodig? Kies Estimate: Sample size, vul in: power .80 en d = 0.5 → n = 64 per groep.
  • Oudere SPSS-versies hebben dit menu niet. Geen ramp: G*Power (gratis) is het klassieke gereedschap voor precies deze som — of leen het R-broertje, waar het één regel power.t.test() is.

Daar staan de twee getallen van dit blok. Met 15 per groep is de power maar .26: ruim zeven van de tien keer komt zo’n studie thuis met “niet significant” — over een effect dat er wél is. Wil je de gangbare norm van power = .80 halen, dan heb je 64 per groep nodig. Geen 15. Vierenzestig. En trek gerust nog even verder aan die knoppen: maak d kleiner en kijk wat er met n gebeurt. Het wordt niet gezellig.

voel het

Duizend werelden waarin het effect écht bestaat

power als geteld aandeel · spiegeling met de p-waarde

Power is een kans, en kansen kun je tellen. Dus bouwen we duizend werelden waarin het effect écht bestaat — door ons eigenhandig ingebakken. In elke wereld trekken we twee groepen van 15: de ene rond 0.5, de andere rond 0, spreiding 1. Dat is een echt effect van d = 0.5, gegarandeerd, want wij hebben ’m er zelf in gestopt. Dan draaien we in elke wereld de t-toets, en tellen we hoe vaak hij het effect oppikt.

Dat duizend-keer-tellen is geen knop in SPSS — het is één regel R, uit het R-broertje geleend. Er is voor power géén schud-speeltje in de browser; wil je het echt zíen dansen, dan draai je het R-broertje. Geen R bij de hand? Lees dan gewoon mee: het idee is wat telt.

OpmerkingVoel het · leen-moment uit het R-broertje 
set.seed(42)

# var.equal = FALSE is de standaard: elke wereld krijgt een Welch-toets
# mean() → 0.245
mean(replicate(1000,
  t.test(rnorm(15, 0.5), rnorm(15, 0), var.equal = FALSE)$p.value < .05))

Niet .26? Klopt, en het is geen afrondkwestie. Die .26 die het Power Analysis-menu hierboven uitrekende is de kans zélf dat zo’n studie het effect oppikt; deze .245 is wat duizend werelden van die kans lieten zien. Tellen kruipt naar een waarde toe zonder er ooit precies op te gaan zitten.

Tweehonderdvijfenveertig van de duizend studies vinden dus het effect dat er — op ons woord — écht in zit. De andere 755 komen thuis met “niet significant”, over iets dat bestáát.

Verander je in het R-broertje de twee 15’s in 64 en tel je opnieuw, dan slaagt ongeveer 80%. Dat aandeel ís de power — niet uit een formule, maar uit hoe vaak de studie slaagt als er echt iets te vinden valt.

En zie je de spiegeling? In de schud-blokken bouwden we duizend werelden waarin niks was, en telden we hoe vaak het toeval tóch iets liet zien — dat aandeel werd de p. Hier bouwen we duizend werelden waarin wél iets is, en tellen we hoe vaak we het zien. Twee kanten van dezelfde telling. En dus, zo meteen: twee fouten.

snap het

Het valse alarm en het missen

type I- en type II-fout · α = .05 · 1 − power

Elke toets kan op twee manieren de mist in. Ze hebben saaie namen en een heel verschillende reputatie.

  • Type I — het valse alarm. Er is niks, en toch zegt je toets p < .05: je ziet een effect dat er niet is. De kans daarop heb je zelf gekozen: α = .05. Uit de schud-blokken ken je ’m al — het zijn die ~50 van de 1000 toeval- werelden die toevallig tóch ver genoeg komen.
  • Type II — het missen. Er is wél iets, en je toets ziet het niet. De kans daarop is 1 − power. Bij onze studie van 15 per groep: 1 − .26 = .74.

Kijk even goed naar die twee getallen naast elkaar. Het valse alarm bewaken we streng en collectief — .05, afspraak, iedereen houdt zich eraan. En het missen laten we ondertussen vrolijk oplopen tot .74, zonder dat er een haan naar kraait. We zijn doodsbang om een spook te zien, en halen onze schouders op over het niet zien van wat er wél is.

Daarom de kern van dit blok: “niet significant” bij een kleine studie betekent vaak niet “geen effect” maar “te weinig power om het te zien”. En dit is geen randgeval: groepen van 15–25 zijn in veel onderzoek — verpleegkundig, psychologisch — eerder regel dan uitzondering. Een flink deel van de “geen effect gevonden”-conclusies gaat dus over studies die een echt effect meestal niet eens hádden kunnen zien. Afwezigheid van bewijs is geen bewijs van afwezigheid — en bij weinig power is afwezigheid van bewijs vooral afwezigheid van kijkvermogen.

Het wordt erger bij kleine effecten. Die 64 per groep gold voor een middelgroot effect. Is het echte effect klein (d = 0.2) — en veel echte effecten zíjn klein — dan heb je voor power .80 zo’n 394 per groep nodig. Wie met dertig mensen naar een klein effect zoekt, zoekt met een theelepeltje naar een onderstroom.

Hoe beslis je dan? Twee momenten:

  • Vooraf, als het jouw studie is: kies het kleinste effect dat je nog de moeite waard vindt, en reken uit hoeveel mensen je nodig hebt voor power .80. (En besef: ook dan accepteer je nog één op de vijf kans om het te missen — .80 is een norm, geen garantie.)
  • Achteraf, als je andermans “niet significant” leest: kijk éérst naar de n. Klein? Dan is de eerlijke lezing niet “werkt niet” maar “dit onderzoek kon het niet zien”. Dat is geen detail — het is het verschil tussen een aanpak afschrijven en een vraag open houden.

jouw beurt

Hoe klein mocht het verschil zijn?

de derde knop · kleinste nog zichtbare verschil · effect in grammen

Bekende planten, en de knop die nog niet gedraaid is. Een power-berekening heeft er drie, en je hebt er twee gebruikt. De derde stand: vul het aantal en de power in, en vraag welk effect daar nog bij past. Dat is de vraag hoe klein mocht een verschil zijn om deze opzet het nog te laten zien? — een vraag over de opzet zelf, niet over de p die eruit kwam. Je stelt hem aan de studie die je al getoetst hebt: controle tegen behandeling 2, tien planten per groep.

De laatste vraag heet Z): de aannames staan altijd achteraan, en die letter is met opzet geen volgletter. En onder Tentamenvragen, aan het eind van deze oefening, staan dezelfde onderwerpen nog een keer in de vorm waarin een tentamen ze stelt.

OpmerkingIn G*Power · de derde stand · Sensitivity

SPSS heeft wel een Power Analysis-menu, maar geen stand die het effect terugrekent. Voor deze ene vraag stap je dus over op G*Power.

  • Kies Test family: t tests en Statistical test: Means — difference between two independent means (two groups).
  • Zet Type of power analysis op Sensitivity.
  • Vul in: α = .05, Power (1-β) = .80, Sample size group 1 = 10 en group 2 = 10, en laat de toets tweezijdig staan.
  • Klik Calculate. Onder Output Parameters staat Effect size d.

Staat Type of power analysis nog op A priori, dan vraagt G*Power je om een effect in plaats van het terug te geven.

De spreiding van de twee groepen samen krijg je hier kado: 0.5176 gram. Waar dat getal vandaan komt — en waarom je twee groepen zo tot één spreiding mag samenvoegen — reken je zelf uit in de oefening over Cohens d; hier is het even een gegeven.

OpmerkingJouw beurt

a) Welke twee standen van de power-berekening heeft dit blok al gedraaid? Noem ze met hun uitkomst. (twee standen, elk met zijn getal)

b) Draai nu de derde stand, zoals hierboven beschreven. (rapporteer d)

c) Hoe verhoudt die d zich tot het middelgrote effect van 0.5 waar dit hele blok mee rekende? (rekenmachine erbij, het is één deling)

d) Een knop vertrouw je pas als hij beide kanten op draait. Zet in hetzelfde venster de twee groepsgroottes op 64 en reken opnieuw. (rapporteer het getal, en zeg waarom er 0.499 op je scherm staat en geen gladde 0.5)

e) Die d praat in standaardafwijkingen en planten wegen grammen. Vertaal hem met de gegeven spreiding van 0.5176. (rapporteer het verschil in grammen)

f) Vraag de standaarddeviatie eens op over alle twintig planten op één hoop, zonder onderscheid naar groep. Er komt iets anders uit dan 0.5176. Waarom is dat een ándere spreiding? (het getal, en één zin over wat er wél in zit)

g) Lees de twee gemiddelden af en reken het verschil uit dat er werkelijk lag, tussen controle en behandeling 2. (rapporteer het verschil in grammen)

h) Hoe sterk stond deze opzet voor een verschil van díé grootte? Zet G*Power terug op Post hoc, vul het verschil in grammen in en 0.5176 als spreiding. Let op: staat het verschil in grammen, dan moet de spreiding dat ook. (rapporteer de power)

i) Het gevonden verschil is kleiner dan het kleinste verschil uit e) waar deze opzet sterk voor stond — en tóch werd het significant, t(16.79) = 2.13, p = .048. Hoe kan dat allebei waar zijn? (één zin, waarin het woord “toeval” voorkomt)

j) Stel je honderd van zulke opzetten voor, elk met precies dit echte effect erin. Ongeveer de helft komt thuis met “significant”. Kijk alleen naar de verschillen die díé helft rapporteert: vallen die gemiddeld groter of kleiner uit dan het echte effect? (groter of kleiner, waarom, en wat het over ónze ene studie zegt)

Z) Mag je alles hierboven geloven? Twee dingen om na te lopen. Kijk eerst naar de vorm en de spreiding van de twintig planten (een boxplot van gewicht, gesplitst op groep, met voer één eruit gefilterd). En kijk daarna nog eens goed naar wat je bij h) gedaan hebt: je hebt een power uitgerekend met een effect dat uit je eigen data kwam. Wat weet je daarna dat je bij b) tot en met e) nog niet wist?

a) Van het aantal naar de power: 15 per groep gaf .26. En van het gewenste effect naar het aantal: voor d = 0.5 bij power .80 heb je 64 per groep nodig.

b) d = 1.32. Dat is het kleinste effect dat een opzet met tien planten per groep met power .80 nog te zien krijgt.

c) 1.32 / 0.5 = 2.65, dus ruim tweeënhalf keer zo groot als het middelgrote effect. Deze opzet ziet alleen olifanten.

d) Er komt 0.50 uit — het middelgrote effect waar dit blok mee begon, dus de knop draait echt beide kanten op. Op je scherm staat 0.499 en geen gladde 0.5, want die 64 was zelf al naar boven afgerond: de som gaf 63.77 per groep, en een studie met 63.77 planten bestaat niet.

e) 1.32 × 0.5176 = 0.69 gram. Pas vanaf een verschil van 0.69 gram in drooggewicht stond deze opzet er sterk voor; bij alles daaronder zakt de kans om het te zien onder de .80.

f) Dan krijg je 0.56 in plaats van 0.5176. Die standaarddeviatie gooit de twintig planten op één hoop en telt dus het verschil tússen de twee groepen mee als spreiding. En juist dat verschil is wat je wilt meten — dat hoort niet in de meetlat te zitten waarmee je het afmeet.

g) 5.53 − 5.03 = 0.49 gram.

h) Met een verschil van 0.49 gram en een spreiding van 0.5176 komt er .52 uit. Dat is het muntje uit het begin van dit blok, maar nu echt: zo’n opzet vindt een verschil van deze grootte ongeveer even vaak wél als niet. En merk op wat je níét gedaan hebt — een Cohens d uit de data rekenen. Alles bleef in grammen; de knop deed het werk.

i) Omdat power over de lange baan gaat en deze studie er één keer op is gegooid: bij .52 vindt ongeveer de helft van zulke studies het verschil, en deze zat door toeval in die helft. Een opzet die iets meestal mist, mist het niet altijd.

j) Groter. Om de streep te halen bij weinig power moet het toeval een handje helpen, dus juist de studies waarin het verschil toevallig groot uitviel komen erdoor; die waarin het klein uitviel blijven in de la. Gemiddeld over de hele stapel rapporteren de geslaagde studies dus een te groot effect.

En dan het lastigste stukje van deze hele oefening, dus lees het langzaam. Dat geldt over de stapel. Over deze ene studie zegt het niets: welke van de honderd je in handen hebt, kun je er niet aan zien. Je weet iets over de stapel en niets over de losse trekking, en daarom mag je hier níét opschrijven dat onze 0.49 gram wel nep zal zijn. Wat je wél opschrijft, bevat twee dingen die allebei waar zijn en die tegen elkaar in lijken te gaan: dát er een verschil gevonden is, en dat de grootte ervan bij deze opzet wankel staat. Een zin die maar één van die twee noemt, is de helft.

Z) Het eerste stuk mag je geloven, het tweede niet zoals het eruitziet.

De aannames van de toets liggen er goed bij: de twintig gewichten zijn redelijk symmetrisch, en de twee spreidingen liggen niet ver uiteen — 0.58 tegen 0.44, een verhouding van 1.32, en het huis houdt onder de 2 aan. Elke plant is één keer gewogen.

Maar bij h) is er iets anders aan de hand, en dat is het vermelden waard omdat half onderzoekend Nederland erin trapt. Bij b) tot en met e) voerde je een effect in dat je zelf koos — power .80, d = 0.5, d = 1.32 — en dan is de uitkomst een eigenschap van je opzet. Bij h) voerde je een effect in dat uit je eigen data kwam. Zo’n achteraf-power vertelt je niets nieuws: bij een vast aantal planten en een vaste spreiding loopt hij één op één met de p die je al had. Een kleine p geeft altijd een hoge waargenomen power, een grote p altijd een lage. Je hebt dus dezelfde uitkomst een tweede keer opgeschreven, in andere eenheden.

De weg terug:

  • Blijft staan: alles bij b) tot en met g). Dat zijn vragen over de opzet — hoeveel planten, welke power, welk effect — en die staan los van wat er toevallig uit dit ene experiment kwam.
  • Doe je over: de lezing van de .52 bij h). Lees hem als “voor een verschil van 0.49 gram, een grootte die ik de moeite waard vind, staat deze opzet zwak” en niet als “deze studie had power .52”. Het eerste is een uitspraak over de opzet en is bruikbaar; het tweede is de p in vermomming.

Dáárom hoort een power-berekening vóór het onderzoek en niet erna. En dáárom rekent de Eindopdracht hieronder de power van behandeling 1 uit met d = 0.5, een effect dat we zelf kiezen — en niet met het verschil dat er toevallig lag.

eindopdracht

Met de power-bril terug naar de planten

t-toets · power natellen · eerlijke conclusie

OpmerkingEerst zoals in het boek — de twaalf diamantjes
  1. Open diamantjes.csv en tel de rijen in Data View: twaalf.
  2. Analyze → Regression → Linear, glans als Dependent en karaat bij Independent(s), en kijk in de tabel Coefficients naar de p van karaat (kolom Sig.).

Twaalf steentjes, en de uitkomst hangt aan één daarvan.

* Twaalf rijen: kijk hoe fragiel die p van karaat is.
REGRESSION
  /DEPENDENT glans
  /METHOD=ENTER karaat.

Die p = .049 van net hangt aan een zijden draad: met n = 12 had één ander steentje de uitkomst zo terug over de streep geduwd. Dat draadje heet power.

Nu jij — terug naar de plantjes, en dan de vraag die je niet aan één dataset kunt zien: hoe vaak zou dit onderzoek het effect überhaupt gevónden hebben?

Dit is de afsluiter van het hele hoofdstuk: de p-waarde en de power komen samen in één taak. Herinner je de planten uit de p-waarde-opdracht: dertig planten, drie potjes voer. Behandeling 2 haalde daar nipt de grens (p = .048) — maar behandeling 1 kwam thuis met p = .25, “dik niet-significant”. Tijd om dat oordeel met de power-bril na te lezen.

OpmerkingIn SPSS · het andere paar klaarzetten

Open plantgroei.csv weer, ga naar Analyze → Compare Means → Independent-Samples T Test en typ bij Define Groups behandeling1 als Group 1 en controle als Group 2.

* voer een als Group 1, controle als Group 2: voer twee doet niet mee.
T-TEST GROUPS=groep('behandeling1' 'controle')
  /VARIABLES=gewicht
  /CRITERIA=CI(.95).

SPSS rekent Group 1 mín Group 2, dus behandeling 1 mín controle. Bij a) hoort de t dan negatief te zijn, zoals in de antwoorden. Staat hij positief op je scherm, dan heb je de twee groepen omgekeerd ingetypt.

OpmerkingEindopdracht

a) Draai de Independent-Samples T Test en lees de rij Equal variances not assumed. (rapporteer t, df en p)

b) Kijk naar de twee gemiddelden bij Group Statistics. Welke kant ging het verschil op, en wat is daar merkwaardig aan? (beide M’s, en één zin)

c) Hoe sterk stónd deze studie eigenlijk, met tien planten per groep? Vraag via Analyze → Power Analysis → Means → Independent-Samples T Test de power bij een middelgroot effect, d = 0.5. (rapporteer de power)

d) Voel het na: in het R-broertje worden duizend werelden gebouwd waarin dat middelgrote effect écht bestaat, met tien per groep, en wordt geteld hoe vaak de toets het oppikt. Daar komt ongeveer .18 uit. (vergelijk dat met je antwoord bij c)

e) Hoe groot is de kans dat deze studie een écht middelgroot effect mist? (één getal, en hoe je het uit c) krijgt)

f) Hoeveel planten per groep hadden de onderzoekers nodig gehad voor de norm van .80? Je kent het antwoord al uit dit blok — reken het voor de zekerheid nog eens na. (rapporteer n per groep)

g) Wat mag je op grond van p = .25 wél zeggen? (één zin, over de planten en niet over de toets)

h) En wat mag je er níét uit concluderen? (één zin)

i) Er ligt ook een valkuil aan de ándere kant. Lage power betekent “deze studie kon het niet zien” — waarom betekent het níét “dus het effect bestaat stiekem wel”? (één zin)

j) Schrijf de eerlijke conclusie over behandeling 1, in twee of drie zinnen. (de uitkomst, de power, en wat er open blijft; meer antwoorden zijn goed — welke zinnen je kiest is aan jou, wát erin hoort niet)

Z) Mag je alles hierboven geloven? Kijk naar de twee standaarddeviaties bij Group Statistics en naar de vorm van de twintig gewichten. En let bij c) tot en met f) op wáár het effect van 0.5 vandaan komt: uit de data, of van jezelf?

a) t(16.52) = −1.19, p = .25. Niet significant, en niet op het randje — dit zit er dik naast.

b) Behandeling 1 gaf gemiddeld 4.66 gram, de controleplanten 5.03. Het verschil ging dus zelfs de “verkeerde” kant op: de behandelde planten wogen mínder dan de onbehandelde. Bij een niet-significante uitkomst is dat geen tegenbewijs — het is precies wat je verwacht als er niets is en het toeval een kant kiest.

c) SPSS geeft power ≈ .18.

d) Ongeveer .18, dezelfde uitkomst als bij c) maar nu geteld in plaats van berekend: ruim acht van de tien van zulke studies missen een effect dat er gegarandeerd in zit. Bij een andere greep komt er .15 of .19 uit; duizend werelden is zélf ook maar een greep.

e) 1 − .18 = .82. Dat is de kans op een type II-fout: er ís iets, en deze studie ziet het niet. Vier van de vijf keer.

f) 64 per groep, hetzelfde getal als in de romp van dit blok. De onderzoekers hadden er tien.

g) Dat het toeval alleen al zo’n verschil moeiteloos maakt — in een kwart van de werelden — dus dat deze planten geen aanwijzing geven dat behandeling 1 iets doet.

h) Níét dat behandeling 1 niet werkt. “Niet significant” betekent niet aangetoond, niet aangetoond dat er niks is. Afwezigheid van bewijs is geen bewijs van afwezigheid.

i) Omdat lage power een uitspraak is over wat deze studie kón zien, en niet over wat er is. Hij haalt de conclusie “werkt niet” onderuit, maar zet er geen conclusie “werkt wel” voor in de plaats. Wat overblijft is een open vraag — en een open vraag is ook een antwoord.

j) Meer antwoorden zijn goed; er is geen voorgeschreven verwoording. Bijvoorbeeld:

Behandeling 1 gaf geen aantoonbaar verschil in drooggewicht ten opzichte van de controle, t(16.52) = −1.19, p = .25. Met tien planten per groep had deze opzet echter maar een kans van .18 om een middelgroot effect te vinden, dus een echt effect had hier makkelijk gemist kunnen worden. Op grond van deze data is de vraag of behandeling 1 werkt niet beantwoord maar open gebleven.

Wat erin hoort: de uitkomst, de power, en dat het een open vraag blijft. Wat er niet in hoort: “de behandeling werkt niet” — en ook niet “hij werkt waarschijnlijk wel”.

Z) Ja, hier mag het — en let op het verschil met de Jouw beurt hierboven.

De aannames liggen er redelijk bij. De spreidingen zijn SD = 0.79 voor behandeling 1 en 0.58 voor de controle, een verhouding van 1.36, en het huis houdt onder de 2 aan. De gewichten zijn redelijk symmetrisch en elke plant is één keer gewogen.

Belangrijker is waar dat effect van 0.5 vandaan komt: van jezelf, niet uit de data. Je hebt niet gevraagd “hoe sterk stond deze studie voor het verschil dat er toevallig lag”, want dan had je de p van a) een tweede keer opgeschreven. Je hebt gevraagd: “stel dat er een middelgroot effect was — had deze opzet het dan gezien?” Dat is een vraag over de opzet, en die is wél te beantwoorden zonder in een kringetje te lopen. Precies de val waar de Jouw beurt je bij h) tegenaan liet lopen.

De weg terug:

  • Blijft staan: de gemiddelden bij b), en de power bij c) tot en met f). Die eerste zijn optellen en delen; die tweede gaan over de opzet en niet over deze uitkomst.
  • Doe je over: de p bij a), en daarmee het oordeel bij g). Die leunt op de vorm van de gewichten en op de gedeelde spreiding.

rapportage

Schrijf het op als een onderzoeker

niet-significant eerlijk rapporteren · power vermelden

OpmerkingRapportage

Hoe rapporteer je “niks gevonden” zonder te liegen? Niet met “de behandeling werkt niet” — dat heeft de toets nooit gezegd. En ook niet door het resultaat weg te moffelen. Zo:

Om te onderzoeken of behandeling 1 het drooggewicht van planten beïnvloedde, vergeleken we tien behandelde planten met tien onbehandelde. De behandelde planten wogen gemiddeld 4.66 g (SD = 0.79), de onbehandelde 5.03 g (SD = 0.58); dat verschil was niet significant, t(16.52) = −1.19, p = .25. Met tien planten per groep had de studie echter weinig power (.18 voor een middelgroot effect, d = 0.50), zodat een echt effect hier makkelijk gemist kon worden.

Kijk wat die laatste zin doet: hij zegt niet “de behandeling doet niks” en ook niet “hij doet stiekem wél iets” — hij vertelt precies hoe ver het kijkvermogen van deze studie reikte, en laat de vraag netjes open. Dat is geen slap compromis; dat is de waarheid. Verder alles zoals je het kent: alléén de symbolen (SD, t, p, d) cursief, de gewone woorden rechtop; verleden tijd, want je vertelt wat er gevónden werd; en de zinnen staan op eigen benen — wie ze uit dit blok tilt, snapt ze nog steeds.

Jouw beurt: terug naar de onderzoeker uit het begin van dit blok. In haar verslag stond “de interventie bleek niet effectief” — herschrijf die zin tot een eerlijke rapportage. Je hebt eraan: p = .21, en de power van ongeveer .26 die we uitrekenden. Twee tot drie zinnen; de vorm van de modelzin hierboven mag je lenen.

tentamen

Tentamenvragen

wat “niet significant” wél zegt · type I en II · achteraf-power · tellen tegenover uitrekenen

Deze zes hebben de vorm waarin een tentamen dit onderwerp stelt: vier opties, en precies één is de beste — de andere drie kunnen best waar klínken en toch niet het beste antwoord zijn. Zwaar rekenwerk zit er niet in: vraag 2 is een aftreksom en vraag 3 een verhouding die je mag schatten.

OpmerkingTentamenvragen

1. Een onderzoekster vergelijkt twee groepen van vijftien mensen en vindt p = .21. In haar verslag staat: “de interventie bleek niet effectief.” Voor een middelgroot effect (d = 0.5) had haar opzet een power van .26. Welke lezing is de beste?

  1. De interventie werkt niet, en met vijftien per groep is dat genoeg aangetoond.
  2. Deze opzet had een kans van .74 om een middelgroot effect te míssen, dus de vraag is open gebleven.
  3. Omdat de power zo laag was en er tóch een verschil de goede kant op stond, bestaat het effect van de interventie waarschijnlijk wel degelijk.
  4. Het onderzoek was met vijftien per groep te klein voor deze vraag, dus deze uitkomst had helemaal niet gerapporteerd mogen worden.

2. Bij tien deelnemers per groep is de power voor een middelgroot effect .18, en je toetst met α = .05. Hoe groot is de kans op een type I-fout, en hoe groot die op een type II-fout?

  1. type I .05 · type II .18
  2. type I .05 · type II .82
  3. type I .18 · type II .82
  4. type I .82 · type II .05

3. Voor een middelgroot effect (d = 0.5) heb je 64 deelnemers per groep nodig om power .80 te halen. Het echte effect blijkt niet middelgroot maar klein: d = 0.2. Hoeveel deelnemers per groep heb je dan nodig?

  1. 96
  2. 160
  3. 394
  4. Evenveel, 64: het aantal hangt aan de norm van .80, en die verandert niet.

4. Tien planten per groep, en als effect vul je niet iets in dat je zelf kiest maar het verschil dat je gemeten hébt: 0.49 gram, bij een gedeelde spreiding van 0.5176 gram. Dan komt er een power van .52 uit. Wat zegt dat getal?

  1. Dat deze studie 52% kans had om het effect van het voer op het drooggewicht te vinden, en dus vaker mist dan een goede opzet zou doen.
  2. Dat je had moeten stoppen: onder de norm van .80 mag je een uitkomst niet rapporteren, hoe overtuigend het verschil er ook uitziet.
  3. Dat het gevonden verschil waarschijnlijk toeval was, want .52 is amper beter dan een muntje, en op een opzet die het net zo vaak mist als vindt bouw je geen conclusie.
  4. Niets nieuws over deze uitkomst: bij een vast aantal planten en een vaste spreiding loopt zo’n achteraf-power één op één met de p die je al had, dus je schrijft hetzelfde resultaat een tweede keer op in andere eenheden.

5. Stel je honderd van zulke opzetten voor, elk met precies hetzelfde echte effect erin en elk met power .52. Je kijkt alleen naar de ongeveer helft die “significant” haalt. Hoe groot valt het gerapporteerde verschil in díé helft gemiddeld uit?

  1. Gemiddeld even groot als het echte effect, want het toeval werkt beide kanten op.
  2. Gemiddeld kleiner dan het echte effect, want de allergrootste verschillen worden als uitschieter weggelaten.
  3. Gemiddeld groter dan het echte effect, want om de streep te halen moet het toeval een handje helpen.
  4. Daar valt niets over te zeggen: elke studie trekt zijn eigen steekproef.

6. Het Power Analysis-menu geeft voor 15 per groep en d = 0.5 een power van .26. Het R-broertje bouwt met set.seed(42) duizend werelden waarin dat effect écht zit, en telt hoe vaak de t-toets p < .05 geeft: 245 van de 1000. Wat is hier aan de hand?

  1. De simulatie is fout: met set.seed(42) ligt de uitkomst vast, dus er hoort gewoon .26 uit te komen en niet iets anders.
  2. De .26 is de kans zelf, en .245 is wat duizend trekkingen uit die kans lieten zien.
  3. De .245 hoort nog afgerond te worden, en .25 ligt dicht genoeg bij .26 om hetzelfde getal te heten.
  4. De simulatie draait Welch (de rij Equal variances not assumed) terwijl de formule achter die .26 gelijke spreiding aanneemt (de rij assumed), en dáár zit het hele verschil van vijftien duizendsten.

1 b · 2 b · 3 c · 4 d · 5 c · 6 b

Hieronder staat per vraag waaróm, en waarom de drie andere opties aantrekkelijk zijn. Heb je er een goed, dan kun je die overslaan.

1. b. Niet aangetoond is niet hetzelfde als aangetoond dat er niets is, en bij een power van .26 is dat geen spitsvondigheid maar het hele verhaal. a is de zin uit haar verslag, netjes opgeschreven — en dat is precies waarom hij zo makkelijk blijft staan. c draait de fout om in plaats van hem te herstellen: lage power zegt wat deze studie kón zien, niet wat er ís. Hij haalt de conclusie “werkt niet” onderuit en zet er geen conclusie “werkt wel” voor in de plaats. d is de overcorrectie. Een kleine studie mag gewoon gerapporteerd worden; er hoort alleen bij te staan hoe ver haar kijkvermogen reikte.

2. b. De type I-fout is het valse alarm, en die kans heb je zelf gekozen: α = .05. De type II-fout is het missen, en die is 1 − power = 1 − .18 = .82. a haalt power en type II-fout door elkaar: .18 is de kans dat je het effect wél ziet. c vervangt de α door de power, en dat is de fout die de twee wereldjes verwart — de type I-fout gaat over werelden waarin niets is, de type II-fout over werelden waarin wél iets is. d verwisselt de twee getallen, en dat is meteen ongerijmd: dan zou vier van de vijf keer vals alarm slaan een aanvaarde afspraak zijn.

3. c. Het aantal loopt niet mee met de verkleining van het effect maar met haar kwadraat. Een d van 0.2 is 2.5 keer zo klein als 0.5, en 2.5² = 6.25, dus je verwacht ruim zes keer zoveel deelnemers. Nagerekend zijn het er 394 tegen 64, en dat is 6.16 keer. Die 6.25 is dus een vuistregel en geen exacte wet: 6.25 × 64 zou 400 geven. En het ligt niet aan het afronden naar hele deelnemers — onafgerond zijn het er 63.77 en 393.41, en die verhouding is 6.17, nog altijd geen 6.25. Voor het kiezen van je antwoord is dat genoeg: uit “ruim zes keer” volgt 394 en geen van de andere drie. b is de rekenfout die daar vlak naast ligt: 64 × 2.5 = 160, alsof het aantal recht evenredig meeloopt met het effect. a is 64 × 1.5 = 96 en zit er nog verder naast. d houdt de norm van .80 vast en laat het effect los, terwijl het juist het effect is dat hier verandert — de hele oefening gaat erover dat die twee aan elkaar hangen.

4. d. Een achteraf-power rekent met een effect dat uit je eigen data komt, en dan loopt hij bij een vast aantal en een vaste spreiding één op één met de p: een kleine p geeft altijd een hoge waargenomen power, een grote p altijd een lage. Je hebt dezelfde uitkomst een tweede keer opgeschreven, in andere eenheden. a is de lezing die half onderzoekend Nederland eraan geeft, en het is het cirkeltje zelf: je doet alsof die 0.49 gram het échte effect is, terwijl het de schatting is die je net uit deze ene steekproef trok. b verzint een verbod dat niet bestaat. c klinkt bescheiden en zegt iets wat dit getal helemaal niet kán zeggen: een power gaat over hoe vaak je iets zou vínden over vele studies heen, nooit over de vraag of jóuw verschil toeval was. Die vraag stelt een toets, en ook die beantwoordt hem niet met ja of nee.

Let op dat er wél een eerlijke lezing van .52 bestaat, en die staat bij Z) hierboven: “voor een verschil van 0.49 gram, een grootte die ik de moeite waard vind, staat deze opzet zwak.” Het verschil met a zit in één woord. Bij a is 0.49 het effect dat er is; bij de eerlijke lezing is 0.49 een grootte die ik alvast de moeite waard noem. Het eerste haal je uit je data en dan loop je in een kringetje; het tweede kies je zelf, en dan gaat het over je opzet.

5. c. Om de streep te halen bij weinig power moet het toeval meewerken, dus juist de studies waarin het verschil toevallig groot uitviel komen erdoor. Over de hele stapel rapporteren de geslaagde studies dus een te groot effect. a klinkt eerlijk en vergeet de zeef: het toeval werkt inderdaad beide kanten op, maar alleen één van die twee kanten haalt de publicatie. b verzint een opschoning die hier nergens gebeurt. d is waar over één studie en niet over de stapel — en dat onderscheid is precies wat deze vraag toetst. Over de stapel weet je dit; over jóuw ene studie weet je het niet, en daarom mag je uit dit antwoord níét afleiden dat jouw gevonden verschil wel nep zal zijn.

6. b. De .26 is de kans, de .245 is een telling uit duizend trekkingen van die kans. (Ook die .26 is trouwens een afgerond getal — voluit is de kans .2619 — maar hij komt uit een formule en niet uit een greep, en dát is het verschil waar deze vraag over gaat.) a verwart een zaadje met een garantie: set.seed(42) maakt de telling herhaalbaar, niet exact. c wil het gat wegpoetsen met een afronding, maar afronden verandert de meting niet: ook .25 is nog steeds een andere waarde dan .26, en wat je hier ziet is een echte wiebel en geen schrijfwijze. d noemt een echt verschil, alleen niet het verschil dat je zoekt: draai je diezelfde duizend werelden met de toets die gelijke spreiding aanneemt in plaats van Welch, dan telt hetzelfde zaadje .246 in plaats van .245 — het R-broertje rekent dat voor je uit. Eén duizendste dus, en het gat naar .26 is er vijftien.

Wil je de getallen uit vraag 3 zelf zien ontstaan, pak dan je rekenmachine:

  • het aantal loopt met het kwadraat van de verkleining: (0.5 / 0.2)² = 6.25
  • zoveel keer zoveel zijn 394 en 64 werkelijk: 394 / 64 = 6.16
  • daarom is de vuistregel een vuistregel: 6.25 × 64 = 400
  • waar de afleiders a en b vandaan komen: 64 × 1.5 = 96 en 64 × 2.5 = 160

De onafgeronde aantallen (63.77 en 393.41, verhouding 6.17) en de twee tellingen van vraag 6 (.245 met Welch, .246 met de gepoolde toets, allebei vanaf set.seed(42)) haal je niet uit SPSS; die rekent het R-broertje uit.

◠ Zelfde vorm in het boek

Hier: duizend werelden waarin het effect écht bestaat, en tellen hoe vaak je studie ’m ziet — dat aandeel is de power.

In het boek: W7 — Hoe beslis je?

Daar wordt beslissen een afweging tussen twee fouten: het spook zien dat er niet is, en het missen van wat er wél is — en waarom we de eerste streng bewaken en de tweede stilletjes laten gebeuren.

Voetnoten

  1. Alle getallen in dit blok zijn nagerekend met power.t.test() in R en met de simulatie in Voel het — berekend, niet overgetikt. Middelgroot effect = Cohens d = 0.5 (Cohen, 1988).↩︎