De effectgrootte — Cohens d

Hoe groot is het verschil? · effect size

Vooraf, in één zin: een grote d betekent níét dat het effect zeker is — hoe gróót een effect is en hoe zéker je ervan mag zijn, zijn twee verschillende vragen; waarom, staat onderaan bij Wat het niet zegt.

Wat je ziet

In het kort. Een klein getal ergens in de buurt van de 0 of de 1, vaak met een minteken, achter een toets: Cohen’s d = −0.90. Dit is een effectgrootte / effect size — een antwoord op de vraag hoe groot is het verschil? — en Cohens d is het familielid dat je bij een verschil tussen twee groepen tegenkomt. Voluit heet hij het gestandaardiseerd gemiddeld verschil / standardized mean difference, en onder die naam vind je hem ook in meta-analyses.

Zo ziet hij eruit in het wild:

Voorbeeldfragment, geschreven in de stijl van een resultatensectie — het artikel bestaat niet.

In this pilot study, participants receiving running therapy in addition to usual care reported lower depressive symptoms (BDI-II) at 12 weeks (M = 16.4, SD = 8.9, n = 13) than participants receiving usual care alone (M = 24.6, SD = 9.3, n = 12), t(23) = −2.25, p = .034, Cohen’s d = −0.90, 95% CI [−1.72, −0.07].

Wat er staat

In het kort. d drukt het verschil tussen de groepen uit in standaardafwijkingen: hier ligt de running-groep 0.90 standaardafwijking onder de usual-care-groep. Omdat de meetlat van de vragenlijst zelf uit het getal is weggedeeld, kun je deze d naast de d van elk ander onderzoek leggen, wat de vragenlijst daar ook was. En kijk meteen even naar de haken erachter: dit interval loopt van bijna niets (−0.07) tot heel groot (−1.72).

Nu hetzelfde, rustig en van voren af aan. Twee groepen patiënten met depressieve klachten: de ene kreeg runningtherapie naast de gebruikelijke behandeling, de andere alleen de gebruikelijke behandeling. Na twaalf weken scoort de running-groep gemiddeld 16.4 op de BDI-II, de andere groep 24.6. Het verschil is −8.2 punten, en het minteken is goed nieuws: lager is minder klachten.

Maar is 8.2 punten véél? Dat kun je aan het getal zelf niet zien. Op een vragenlijst die tot 63 telt is het iets anders dan op één die tot 27 telt, en ze bestaan allebei. Daarom deelt d het verschil door de standaardafwijking — de gemiddelde spreiding bínnen de groepen, hier ongeveer 9 punten. Je legt dat lineaaltje van negen langs een verschil van acht: de groepen liggen 0.90 lineaaltje uit elkaar. Dát getal heeft geen BDI-punten meer in zich, en juist daardoor kan het reizen: een d uit een studie met de BDI-II en een d uit een studie met een heel andere depressielijst zijn vergelijkbaar geworden. Dit is de reden dat meta-analyses bestaan — die stapelen geen ruwe punten van verschillende meetlatten, die stapelen d’s.

En dan de haken: 95% CI [−1.72, −0.07]. De −0.90 is de beste schatting, maar het is een schatting uit 25 mensen, en het interval laat zien hoe hard hij meewiebelt: deze data passen bij een verschil van bijna niets én bij een verschil van bijna twee volle lineaaltjes. Onthoud dat beeld — het komt onderaan terug.

Waar het vandaan komt

De familienaam effectgrootte kreeg je al in de boek-eenheid Hangen ze samen?, bij de correlatie; Cohens d zelf komt terug waar het boek groepen als getallen leert lezen, in de sectie Hoe groot dan?. Daar is het verschil tussen de twee groepen stenen twintig glanspunten en is de gepoolde standaardafwijking / pooled standard deviation — het gedeelde lineaaltje van de twee groepen — óók twintig: d = 1.00, het sprongetje is precies één lineaaltje groot. En daar staat dat getal naast p = .114: een gróót effect, en niet significant. Dat mag naast elkaar bestaan, en bij kleine steekproeven bestaat het voortdurend. Neem die les mee naar dit blok; hij is hier de hoofdles.

Eén ding uit het boek moet je hier even paraat hebben: er lopen meer smaken d rond, want je kunt ook door de standaardafwijking van één van de twee groepen delen, en dan komt er een ander getal uit. Een artikel dat er niet bij zegt waardoor gedeeld is, geeft je dus een half getal. De gebruikelijkste keuze — ook die van JASP en van dit fragment — is het gedeelde lineaaltje van beide groepen samen.

Zelf doen in JASP

⬇ Download de data — depressie_running.csv

Bij dit blok hoort het databestand depressie_running.csv: 25 rijen, drie kolommen — id (deelnemernummer), groep (running of usual) en bdi_12w (de BDI-II-score na twaalf weken). De rijen zijn gegenereerd — er zit geen echte patiënt in — en ze reproduceren precies de uitkomsten uit het fragment.

In JASP · JASP 0.98.1

Open het bestand in JASP (menu linksboven → Open).
Klik in de balk bovenin op T-Tests en kies onder Classical Independent Samples T-Test.
Sleep bdi_12w naar het vak Dependent Variables en groep naar Grouping Variable; de kolom id laat je staan waar hij staat.
Vink onder Additional Statistics aan: Effect Size — JASP noemt hem op z’n Engels Cohen’s d — en daaronder Confidence interval (laat de 95 staan), plus Descriptives.

In de tabel rechts staat nu Cohen’s d = −0.902, met daarnaast de onder- en bovengrens van het interval: −1.719 en −0.066. In de Descriptives-tabel: de running-groep M = 16.38 en SD = 8.93 (n = 13), de usual-groep M = 24.58 en SD = 9.27 (n = 12). Leg het fragment ernaast: dat zijn — het artikel rondt af — precies de getallen die daar stonden, tot en met t(23) = −2.25 en p = .034. JASP rekent; jij leest.

En dezelfde leesgewoonte als bij het betrouwbaarheidsinterval: kijk wélke groep JASP van welke aftrekt. Hier rekent JASP running min usual, en dus is d negatief — de running-groep scoort lager, en lager is hier beter. Had usual vooropgestaan, dan had er +0.902 gestaan: zelfde verschil, ander teken.

Zelf opschrijven

Schrijf het op — de effectgrootte

Voor je eigen Nederlandstalige literatuurstudie:

De deelnemers die naast de gebruikelijke behandeling runningtherapie kregen, rapporteerden na twaalf weken minder depressieve klachten dan de deelnemers die alleen de gebruikelijke behandeling kregen; het verschil was groot, maar onnauwkeurig geschat (Cohens d = −0.90, 95%-betrouwbaarheidsinterval −1.72 tot −0.07).

Drie werkafspraken daarbij:

Noem de meetlat. d heeft de eenheden weggedeeld, maar jouw lezer wil weten: een verschil in wat, op welke vragenlijst, tussen welke groepen. “Een groot effect” zonder uitkomstmaat is een effect van niks op niets.
Neem d altijd mét zijn interval over in je evidencetabel: −0.90 [−1.72, −0.07]. De twee getallen tussen de haken zijn geen versiering; zonder die haken staat er een half getal.
Schrijf “klein”, “middelmatig” of “groot” niet zomaar op. Gebruik je een vuistregel, zeg dan wélke — en lees eerst hieronder waarom die vuistregels op drijfzand staan.

Wat het niet zegt

De verleidelijkste redenering die je over dit fragment kunt opschrijven is: “d = −0.90, dat is groot volgens Cohen, en p < .05 — runningtherapie werkt.” Eén korte zin, drie haarscheurtjes.

“Groot volgens Cohen.” De vuistregels — 0.2 klein, 0.5 middelmatig, 0.8 groot — staan in bijna elk handboek, maar Cohen zelf bood ze aan als noodgreep, voor wie écht niets beters heeft. Wat “groot” is hangt af van de uitkomstmaat en van wat er klinisch toe doet: een half punt winst op een angstschaal is iets anders dan een half punt op een kwaliteit-van-leven-schaal, ook al levert het dezelfde d op. Er is bijna altijd iets beters dan de vuistregel: terugvertalen naar de meetlat. Hier: ruim 8 BDI-punten — en dan is de vraag aan jou als behandelaar of 8 punten op déze lijst een verschil is dat je aan het bed terugziet.

“d = −0.90.” Dat is de schatting; het interval is het eerlijke verhaal. Van −0.07 tot −1.72: deze pilot kan een verwaarloosbaar effect te pakken hebben of een enorm, en alles ertussenin. Kleine steekproeven zijn in deze literatuur eerder regel dan uitzondering, en bij kleine steekproeven is d zelf een wiebelig getal. Een effectgrootte zonder betrouwbaarheidsinterval is daarom een half getal — precies zoals een odds ratio zonder interval dat is.

“Runningtherapie werkt.” Bij wie? d is een verschil tussen groepsgemiddelden. Ook bij d = −0.90 overlappen de twee groepen fors: er zitten deelnemers in de running-groep die hoger scoren dan het gemiddelde van de usual-groep, en omgekeerd. Wat d níét zegt: dat déze patiënt, morgen in jouw spreekkamer, baat zal hebben. Groepsgetallen doen geen uitspraken over individuen — dat geldt voor elke effectmaat in dit werkboek.

En de p dan, die keurige .034? Die beantwoordt een ándere vraag: of zo’n verschil ook in een wereld zonder effect makkelijk ontstaat. Hoe gróót is niet hoe zéker — in het boek staat een d van 1.00 naast een p van .114, groot en niet significant; hier staat een significante p naast een interval dat van bijna niets tot bijna twee lineaaltjes loopt: zeker dat het niet nul is, en verder vooral onbekend. En allebei die vragen zijn nog iets anders dan de derde: of het verschil klinisch iets betekent. Statistische significantie en klinische relevantie zijn twee verschillende dingen, en dat is geen mening van dit werkboek — het hoofdstuk in jullie eigen boek waar de effectmaten wonen, Polit & Beck hoofdstuk 21, heet niet voor niets Clinical Significance.

Oefening

Leesopgave. Hieronder twee voorbeeldfragmenten (verzonnen), uit twee studies naar dezelfde soort interventie. Vertel in gewone Nederlandse zinnen wat er staat. Welke studie meldt het grootste effect — en welke studie vertelt je het meest over hoe groot het effect werkelijk is? Wat zou je over studie B opschrijven in je literatuurstudie?

Study A (N = 400): patients in the intervention group improved more than controls, d = 0.30, 95% CI [0.10, 0.50], p = .003.

Study B (N = 20): patients in the intervention group improved more than controls, d = 0.85, 95% CI [−0.08, 1.76], p = .073.

Doe-opgave. Draai de analyse van hierboven (depressie_running.csv) en pak de Descriptives-tabel erbij. Reken d nu zelf na op een kladblaadje: neem het verschil tussen de twee gemiddelden en deel het door een lineaaltje van ongeveer 9 (de twee standaardafwijkingen, 8.93 en 9.27, zeggen je waarom dat een redelijk lineaaltje is). Twee vragen: komt je kladje in de buurt van JASP’s −0.902? En vink dan ook Location parameter met Confidence interval aan, zodat je het interval van het ruwe verschil in BDI-punten ziet — vertelt dat een ander verhaal dan het interval rond d, of hetzelfde?

Uitwerkingen — klik open

Uitwerking leesopgave

Studie A vindt een klein tot middelmatig effect en weet dat behoorlijk precies: het interval loopt van 0.10 tot 0.50 en blijft overal boven de 0. Studie B meldt een véél groter effect — 0.85 tegen 0.30 — maar het interval loopt van net ónder de 0 tot 1.76: deze studie weet vooral dat ze het nog niet weet. Het grootste gerapporteerde effect zit dus in de studie die er het minst over te zeggen heeft, en dat is bij twintig deelnemers geen schande maar rekenkunde. In je literatuurstudie: studie A kun je gebruiken als bewijs voor een klein tot middelmatig effect; over studie B schrijf je dat een kleine pilot een groot maar onnauwkeurig geschat en niet-significant effect vond — veelbelovend, niet aangetoond. Wie alleen de twee d’s had overgenomen, zonder haken, had precies de verkeerde studie het zwaarst laten wegen.

Uitwerking doe-opgave

Het verschil is 16.38 − 24.58 = −8.2 punten; deel dat door ongeveer 9.1 — het gedeelde lineaaltje ligt tussen de 8.93 en de 9.27 in — en je komt op ongeveer −0.90. JASP zegt −0.902; JASP rekent de gepoolde standaardafwijking alleen iets preciezer uit (9.09) dan jouw kladje. Dat is de hele d: verschil gedeeld door lineaaltje, meer machinerie zit er niet in. En het ruwe interval, [−15.73, −0.67], vertelt exact hetzelfde verhaal als het interval rond d: van bijna niets tot heel veel, alleen nu in BDI-punten in plaats van in lineaaltjes. Het interval rond d voegt geen nieuwe onzekerheid toe en haalt er geen weg — het zegt hetzelfde, maar dan in de eenheid die kan reizen.

◠ Zelfde vorm in het boek

Hier: hoe groot een verschil is, uitgedrukt in standaardafwijkingen, zodat het naast ander onderzoek kan liggen.

In het boek: W4 — Hangen ze samen? (waar de effectgrootte als familie geplant wordt).

Daar is d familie van r: allebei brengen ze iets op maat — een verschil of een samenhang — los van de meetlat waarop het gemeten werd.

TODO: anker-keuze W4 (effectgrootte-als-familie) i.p.v. W9 (waar d en η² in de ANOVA-context gelezen worden) — bewust de trap-terug naar waar het concept geboren wordt. Herzien als het boek die verdeling anders trekt; W4 (Hangen ze samen?) is bovendien nog een grove schets (v0).