De p-waarde

Hoe slecht passen de data bij ‘geen verschil’? · p value

Vooraf, in één zin: de p is níét de kans dat de nulhypothese waar is, en ook niet de kans dat het toeval was — wat er dan wél staat, lees je hieronder, en wat je er allemaal níét uit mag halen staat onderaan bij Wat het niet zegt.

Wat je ziet

In het kort. Een cursieve p met een klein getal erachter: p = .045, p = .21, p < .001. Soms als sterretjes onder een tabel (* p < .05). Je vindt hem bij vrijwel elke toets, meestal in het gezelschap van het woord significant. Het is het getal dat je in artikelen het vaakst zult tegenkomen — en het getal dat het vaakst verkeerd wordt gelezen, ook door de auteurs zelf.

Zo bijvoorbeeld:

Voorbeeldfragment, geschreven in de stijl van een resultatensectie — het artikel bestaat niet.

Patients were randomly assigned to a nurse-led self-management programme (n = 41) or care as usual (n = 38). At 8 weeks, patients in the self-management group reported less severe depressive symptoms (M = 12.3, SD = 4.9) than patients receiving care as usual (M = 14.6, SD = 5.1), mean difference = −2.3, 95% CI [−4.5, −0.1], t(77) = −2.04, p = .045, d = −0.46. For worry, the difference was of similar magnitude (M = 48.3, SD = 9.7, vs. M = 52.5, SD = 9.4), mean difference = −4.2, 95% CI [−8.5, 0.1], t(77) = −1.95, p = .055, d = −0.44. These results indicate that the programme improves depressive symptoms, but has no effect on worry.

Wat er staat

In het kort. De p is de kans op een verschil zo groot als dit — of groter, naar welke kant ook — als er in werkelijkheid niets aan de hand zou zijn. Klein getal: deze data passen slecht bij “er is niets”. De afspraak: komt p op of onder .05 uit, dan heet het verschil significant. Meer dan die afspraak betekent dat woord niet — niet “groot”, niet “belangrijk”, niet “bewezen”.

Nu hetzelfde, rustig en van voren af aan. Vertel het fragment eerst gewoon na. Patiënten met terugkerende depressieve klachten werden geloot: de ene groep volgde een zelfmanagementprogramma onder leiding van een verpleegkundig specialist, de andere kreeg gebruikelijke zorg. Na acht weken is de somberheid in de programmagroep gemiddeld 2.3 punten lager, en het piekeren 4.2 punten lager. Twee uitkomsten, beide in het voordeel van het programma.

Dan de p’s. Ook als het programma in werkelijkheid níéts doet, zijn twee gelote groepen nooit precies gelijk — het lot verdeelt nooit helemaal eerlijk. De p beantwoordt precies die ene vraag: stel dat dat de hele verklaring is, hoe vaak zie je dan tóch een verschil als dit? Voor somberheid: p = .045. Van elke duizend studies in een wereld waarin het programma niets doet, vinden er ongeveer 45 een verschil dat er zo uitziet als dit — of groter. Dat is zeldzaam genoeg om de gedachte “er is niets aan de hand” slecht bij deze data te vinden passen. Voor piekeren: p = .055. Nauwelijks anders. Maar hij staat aan de andere kant van de afgesproken grens van .05 — en dus schrijft het artikel over de ene uitkomst significant en over de andere no effect, terwijl de twee verschillen vrijwel even groot zijn. Onthoud dit fragment; onderaan, bij Wat het niet zegt, komen we hier met gereedschap terug.

Er staat ook nog d = −0.46 en d = −0.44. Die laat ik hier bewust liggen: de effectgrootte / effect size krijgt in dit werkboek zijn eigen blok. Het enige dat je hier van de d nodig hebt, is wat je zo al zag: −0.46 en −0.44 zijn vrijwel hetzelfde getal.

Waar het vandaan komt

De p wordt geboren in de boek-eenheid Bestaat het verschil echt?. Daar krijg je hem niet uitgereikt maar gebouwd: schud de data net zo lang tot er zéker niets aan de hand is, tel hoe vaak er dan toch een verschil verschijnt zo groot als het jouwe, en dat aandeel ís de p. Wat je er vervolgens mee dóét, hoort bij de eenheid Hoe beslis je?: daar krijgt “er is niets aan de hand” zijn officiële naam — de nulhypothese / null hypothesis — en daar staat de beslisregel (p ≤ .05: verwerpen, en dat heet dan significant), samen met de twee manieren waarop die beslissing kan mislukken en waarom kleine studies zo vaak ten onrechte zwijgen. Artikelen schudden overigens niet: ze rekenen de p met een formule (via de t-verdeling), net als JASP. Zelfde idee, snellere route.

Het boek zet daarbij het schatten vóór het toetsen, en die volgorde neem je mee naar elk artikel: eerst “hoe groot is het en hoe precies weten we dat?” — het verschil en zijn interval — en dan pas, als bijvraag, “zou het ook toeval kunnen zijn?” De p beantwoordt alleen die bijvraag.

Zelf doen in JASP

⬇ Download de data — zelfmanagement.csv

Bij dit blok hoort het databestand zelfmanagement.csv: 79 rijen, vier kolommen — id (deelnemernummer), groep (interventie of controle), somber_8w (somberheidsscore na acht weken, schaal 0–27) en piekeren_8w (piekerscore, schaal 16–80). De rijen zijn gegenereerd — er zit geen echte patiënt in — en ze reproduceren precies de uitkomsten uit het fragment.

OpmerkingIn JASP · JASP 0.98.1

1. Open het bestand in JASP (menu linksboven → Open).
2. Klik in de balk bovenin op T-Tests en kies onder Classical Independent Samples T-Test.
3. Sleep somber_8w én piekeren_8w naar het vak Dependent Variables en groep naar Grouping Variable.
4. Vink onder Additional Statistics aan: Location parameter met daaronder Confidence interval (laat de 95 staan), Effect size (JASP kiest Cohen’s d) en Descriptives.

De tabel rechts toont nu twee rijen — één analyse per uitkomst. Voor somber_8w: t(77) = −2.039, p = .045, Mean Difference −2.293 met interval [−4.532, −0.053], d = −0.459. Voor piekeren_8w: t(77) = −1.951, p = .055, Mean Difference −4.200 met interval [−8.486, 0.086], d = −0.439. Leg het fragment ernaast: dat zijn — het artikel rondt af — precies de getallen die daar stonden. JASP rekent; jij leest.

Twee leesgewoontes. Eén: kijk wélke groep JASP van welke aftrekt. Hier rekent JASP interventie min controle, en dus is het verschil negatief — de programmagroep scoort lager. Zie je +2.293 staan, dan staat controle voorop: zelfde informatie, ander teken. Twee: lees de twee p’s in deze tabel als buren. Ze verschillen .010, en toch vallen ze in het fragment in verschillende werelden. Dat is niet de schuld van JASP.

Zelf opschrijven

OpmerkingSchrijf het op — de p-waarde

Voor je eigen Nederlandstalige literatuurstudie:

De deelnemers aan het zelfmanagementprogramma rapporteerden na acht weken minder somberheid dan de deelnemers die gebruikelijke zorg kregen; het verschil was gemiddeld −2.3 punten (95%-betrouwbaarheidsinterval −4.5 tot −0.1), t(77) = −2.04, p = .045. Het verschil in piekeren was van vergelijkbare grootte (−4.2 punten, 95%-BI −8.5 tot 0.1), maar net niet significant, t(77) = −1.95, p = .055.

Drie werkafspraken daarbij:

• Rapporteer de exacte p. Dus p = .045, niet “p < .05” — die laatste vorm gooit informatie weg. Alleen bij heel kleine waarden schrijf je p < .001, want preciezer meldt JASP het niet.
• p cursief, geen nul voor de punt: p = .045, niet p = 0.045. Een kans die nooit boven 1 kan komen, krijgt in APA geen voorloopnul (JASP toont hem wél; in jouw tekst verdwijnt hij).
• “Significant” alleen mét het verschil erbij. “Er was een significant verschil” is een lege mededeling: zeg waarin, tussen wie en hoe groot. De p mag pas komen als het verschil er al staat.

Wat het niet zegt

De verleidelijkste lezing van p = .045 is: “er is 4.5% kans dat dit toeval was” — of erger: “de kans dat er eigenlijk niets aan de hand is, is .045.” Allebei fout, en geen misvatting wordt in de literatuur vaker opgeschreven. De p is berekend onder de aanname dat er niets aan de hand is; hij kan diezelfde aanname niet ook nog eens een kans geven. Wat hij zegt: áls er niets is, dan is een verschil als dit zeldzaam. Wat hij niet zegt: hoe waarschijnlijk “er is niets” zelf is. Die twee richtingen — de kans op deze data gegeven de niks-wereld, en de kans op de niks-wereld gegeven deze data — zijn niet inwisselbaar. Het boek noemt dat de omkeer-valkuil (de eenheden Bestaat het verschil echt? en Hoe beslis je?) en laat je hem daar voelen; hier hoef je alleen te onthouden dat de p altijd in de eerste richting spreekt.

Dan de grens. Het fragment behandelt p = .045 en p = .055 als een wel en een niet, maar er gebeurt bij .05 niets in de werkelijkheid — geen knik, geen drempel in de natuur, alleen een afspraak tussen onderzoekers over hoeveel vals alarm we acceptabel vinden (de eenheid Hoe beslis je? noemt het een foutenbudget). Een p van .049 en een p van .051 zijn praktisch dezelfde uitkomst en verdienen dezelfde behandeling. Hier liggen twee verschillen van vrijwel gelijke grootte tien duizendsten uit elkaar, en de slotzin knipt er een wel/niet-verhaal van. Dat verhaal staat niet in de data; het staat alleen in de afspraak.

En die slotzin verdient nog een tweede tik: “has no effect on worry” maakt van “niet aangetoond” stilletjes “aangetoond dat niet”. Kijk naar het interval van het piekerverschil: [−8.5, 0.1]. Deze data passen bij vrijwel geen verschil, maar net zo goed bij een verschil van acht punten — het onderzoek kón het gewoon niet vastpakken. Een p boven .05 is een schouderophalen, geen vrijspraak. En met 79 deelnemers is dat schouderophalen bijna voorgeprogrammeerd: bij deze steekproefomvang / sample size mist een toets echte verschillen aan de lopende band (de eenheid Hoe beslis je?: power), en groepen van veertig zijn in de literatuur die jij gaat lezen eerder regel dan uitzondering. Lees “no significant effect” bij een kleine studie dus als: hier waren de ogen misschien te klein — niet als: hier is niets.

Ten slotte: de p zegt niets over hoe gróót een effect is. In dit fragment krijgen twee vrijwel even grote effecten verschillende verdicten; in de leesopgave hieronder krijgt een verwaarloosbaar klein effect bij een grote steekproef dezelfde p als ons somberheidsverschil. Een piepklein effect wordt significant als je maar genoeg deelnemers hebt, en een fors effect blijft onder de radar als je er te weinig hebt. Wie wil weten hoe groot iets is, leest het verschil, het interval en de effectgrootte; de p vertelt alleen hoe slecht de data zich verdragen met “er is niets” — en dat is nooit de hele vraag.

Oefening

OpmerkingOefening

Leesopgave. Hieronder een voorbeeldfragment (verzonnen). Vertel in twee of drie gewone Nederlandse zinnen wat er staat, en zeg wat je op grond van deze p wél en níét mag concluderen. Vergelijk daarna deze p met die van het somberheidsverschil bovenaan dit blok: wat zegt die vergelijking over wat een p meet?

In a randomized trial of a smartphone-based mindfulness app (N = 1,208), participants using the app reported lower stress at 6 weeks than controls (M = 21.4, SD = 6.1, vs. M = 22.1, SD = 6.1), mean difference = −0.70, 95% CI [−1.39, −0.01], t(1206) = −1.99, p = .046, d = −0.11.

Doe-opgave. Draai in JASP de analyse van hierboven (zelfmanagement.csv, beide uitkomsten). Twee vragen: het piekerverschil is in punten groter dan het somberheidsverschil (−4.2 tegenover −2.3) en toch is de p ervan gróter — hoe kan dat? En: herschrijf de slotzin van het fragment (“These results indicate…”) in één eerlijke Nederlandse zin.

OpgeletUitwerkingen — klik open

Uitwerking leesopgave

Na zes weken scoort de app-groep gemiddeld 0.7 punt lager op stress dan de controlegroep, en dat verschil is significant, p = .046. Wat je mag concluderen: deze data passen slecht bij “de app doet niets” — en tegelijk laat het interval zien dat het verschil hoogstens zo’n 1.4 punt is, op een schaal waarop mensen onderling ruim 6 punten van elkaar verschillen. Significant en verwaarloosbaar klein tegelijk; of iemand er iets van merkt, is een klinische vraag die de p niet beantwoordt. De vergelijking met het somberheidsverschil is het eigenlijke leerpunt: vrijwel dezelfde p (.046 tegenover .045), maar een effect dat vier keer zo klein is (d = −0.11 tegenover −0.46). Dezelfde p, totaal verschillende werkelijkheden — omdat ruim twaalfhonderd deelnemers ook een verschil-van-bijna-niks zichtbaar maken. Een p meet dus niet hoe groot of belangrijk iets is; hij meet hoe slecht de data bij “geen verschil” passen, en dat hangt net zo hard af van de steekproefomvang als van het effect.

Uitwerking doe-opgave

Omdat de p niet naar punten kijkt maar naar punten ten opzichte van spreiding. De piekerschaal is langer (16–80) en de spreiding groter (SD ≈ 9.5, tegenover ≈ 5 bij somberheid): in eenheden van spreiding zijn de twee verschillen vrijwel even groot (d = −0.46 en −0.44), en het piekereffect is daarin nét een fractie kleiner. Nét een fractie — en dat duwt de p nét over de streep. Wie alleen de p’s vergelijkt, ziet een verschil dat er in de data nauwelijks is.

De slotzin, eerlijk: “Het programma verlaagde zowel somberheid als piekeren in vergelijkbare mate; voor piekeren haalde het verschil de significantiegrens net niet (p = .055) en bevat het interval nog de nul.” Beide uitkomsten wijzen dezelfde kant op en zijn vrijwel even groot — alleen de afspraak bij .05 knipt ze in tweeën, en een eerlijke zin laat dat knippen zien in plaats van het als een ontdekking te verkopen.

◠ Zelfde vorm in het boek

Hier: hoe slecht de data passen bij “er is niets aan de hand” — één getal, vaak verkeerd gelezen.

In het boek: W6 — Bestaat het verschil echt?

Daar wordt de p geschud in plaats van gegeven, en komt hij ná de schatting: eerst hoe groot, dan pas of het toeval kan zijn.

TODO: de boek-eenheid W6 (Bestaat het verschil echt?) is nog een grove schets (v0), en de omkeer-valkuil leunt ook op W7 (Hoe beslis je?, nog te schrijven). Anker en formulering hier checken zodra die hoofdstukken staan.