Vierde beweging · Verschil onthechten

Oefening 9.3 · Effectgrootte: Cohens d

Een verschil gedeeld door de spreiding · effect size

Data bij deze oefening — penguins.csv 342 pinguïns · plantgroei.csv plantgroei onder drie condities · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

Is 1375 gram veel?

verschil zonder maatstok · spreiding binnen groepen

Twee pinguïnsoorten op de weegschaal. De Gentoo’s wegen gemiddeld 5076 gram, de Adélies 3701 gram.1 Het verschil: 1375 gram — ruim een kilo pinguïn.

Is dat veel?

Denk er even over na vóór je verder leest. Want eerlijk: aan “1375 gram” alleen kun je het niet zien. Veel of weinig hangt ervan af hoeveel de pinguïns binnen elke soort al onderling verschillen. Een kilo is enorm als alle Gentoo’s bijna even zwaar zijn — en niks als de één 4 kilo weegt en de ander 6. Het getal 1375 staat daar maar wat te wezen, zonder maatstok.

Trek even mee. We gaan dat verschil een maat geven die wél iets zegt.

speel het

Reken Cohens d uit in SPSS

gepoolde SD · verschil gedeeld door de spreiding

Laat SPSS het verschil tussen de twee soorten meteen mét effectgrootte uitrekenen. De t-toets heeft daar een vinkje voor.

OpmerkingEerst zoals in het boek — de twaalf diamantjes
  1. Draai de Independent-Samples T Test van hierboven.
  2. SPSS toont de effectgrootte in de tabel Independent Samples Effect Sizes (vanaf versie 27).

d = 1.00.

T-TEST GROUPS=merk('golfje' 'sterretje')
  /VARIABLES=glans
  /ES DISPLAY(TRUE).

De gepoolde SD is precies 20, dus het merkverschil is d = 1.00 — één hele standaardafwijking, een groot effect volgens elk tabelletje. En tóch was het net niet significant. Effectgrootte en significantie beantwoorden verschillende vragen.

Nu jij — bij de pinguïns: is 1375 gram verschil veel? Zelfde beesten als net, andere vraag.

OpmerkingIn SPSS · trek eraan
  1. Open penguins.csv in SPSS: File → Open → Data, bestandstype CSV.
  2. Ga naar Analyze → Compare Means → Independent-Samples T Test.
  3. Zet gewicht bij Test Variable(s) en soort bij Grouping Variable.
  4. Klik Define Groups en typ Gentoo en Adelie — zo houd je de twee zwaargewichten over en valt de derde soort weg.
  5. In SPSS 27 en later staat Cohen’s d in de aparte Effect Sizes-tabel bij de output.

Rechts verschijnt het verschil in gemiddelden (Gentoo 5076 g, Adélie 3701 g — dus 1375 g), en daaronder Cohen’s d = 2.87. Let op wat dat laatste getal is: het verschil, gedeeld door de gewone spreiding binnen de groepen (zo’n 480 gram, het “lineaaltje” van de onderlinge variatie). Er zitten geen grammen meer in — grammen door grammen valt weg. Wat overblijft is een kaal getal: bijna drie lineaaltjes uit elkaar. En juist doordat de eenheid weg is, kan dat getal reizen.

voel de maat

Twee bergjes die elkaar amper raken

overlap tussen groepen · grootte-vraag versus toeval-vraag

Wat betekent “2.87 lineaaltjes uit elkaar” nou eigenlijk? Stel je de twee soorten voor als twee bergjes op dezelfde weegschaal — Adélie rond 3701, Gentoo rond 5076, elk met z’n eigen spreiding van ~480 — en kijk hoeveel ze over elkaar heen vallen.

OpmerkingIn SPSS · zie de twee bergjes
  1. Ga naar Graphs → Chart Builder → Histogram en sleep gewicht op de x-as.
  2. Open het tabblad Groups/Point ID, vink Rows panel variable aan en sleep soort erin — zo krijg je een histogram per soort onder elkaar.
  3. Bekijk de twee verdelingen naast elkaar: twee bergjes die elkaar amper raken.

Bijna geen overlap. Twee bergjes die elkaar nauwelijks aanraken — dát is wat d = 2.87 er in het echt uitziet: je kunt een willekeurige pinguïn oppakken en vrijwel altijd goed raden welke soort het is, puur op gewicht. Hoe groter d, hoe verder de bergjes uit elkaar schuiven; hoe kleiner, hoe meer ze in elkaar overvloeien. (Wil je de twee kansverdelingen strak over elkaar getekend zien, zoals in het R-broertje — dat is één plaatje daar, of in het schud-speeltje.)

Merk op: hier hoefden we niks te schudden. De schud-zet vraagt “is dit verschil echt of toeval?” — dat is de vraag van de t-toets (zie het t-toets-blok). Effectgrootte vraagt iets anders: “hóé groot is het?” Twee verschillende vragen, en dit blok gaat over de tweede.

snap het

Wat d = 2.87 wél en niet zegt

vuistregels van Cohen · meta-analyse · groep versus individu

d = 2.87 is gigantisch — in de meeste onderzoeken kom je zoiets nooit tegen. Je hebt vast de vuistregels van Cohen weleens langs zien komen: 0.2 is “klein”, 0.5 “middel”, 0.8 “groot”. Handig als eerste houvast, maar het zijn noodgrepen — Cohen bedoelde ze zelf als laatste redmiddel voor als je écht niks beters hebt. Beter is terugvertalen naar de meetlat waar je net stond: 2.87 lineaaltjes, twee bergjes die elkaar nauwelijks raken. Dát zegt meer dan het etiket “groot”.

Waaróm die kale maat de moeite waard is: omdat er geen grammen meer in zitten, kun je ’m naast een d uit een heel ander onderzoek leggen. Een d van gewichtsverschil tussen pinguïnsoorten en een d van, zeg, het effect van een therapie op een angstscore — verschillende werelden, verschillende eenheden, maar dezelfde taal. Effectgrootte is de gemeenschappelijke munt. Daarom draagt bijna elke moderne studie ’m, en daarom kan een meta-analyse tientallen onderzoeken optellen die anders onvergelijkbaar waren.

Twee dingen om vast te houden, want hier gaan mensen de mist in:

  • “Significant” is niet “groot”. Het t-toets-blok vraagt of een verschil echt is (geen toeval). Dit blok vraagt hoe groot het is. Bij grote steekproeven kan een piepklein, oninteressant verschil kraakhelder significant zijn — echt, maar nietig. En omgekeerd. Echt en groot zijn twee losse knoppen.
  • d gaat over de groepsgemiddelden, niet over individuen. Zelfs bij deze enorme d = 2.87 zegt het iets over de bergjes als geheel, niet over elke pinguïn. In de kleine overlap die er wél is, kan een zware Adélie best boven een lichte Gentoo uitkomen. De soorten verschillen gemiddeld enorm; dat sluit een individuele uitzondering niet uit.

Zou je het in één eerlijke zin opschrijven, dan niet “de soorten verschillen 1375 gram”, maar: de Gentoo’s zijn gemiddeld bijna drie standaardafwijkingen zwaarder dan de Adélies (d = 2.87) — de twee soorten overlappen in gewicht nauwelijks.

jouw beurt

Een d voor het halve grammetje

gepoolde SD · overlap tussen twee bergjes · twee losse knoppen

Jouw beurt — bekende data, maar uit een ander hoofdstuk: de plantjes uit plantgroei.csv, waar controle tegen voer twee nét de streep haalde met p = .048 (de oefening over de p-waarde). Dat verschil in gewicht kreeg daar een oordeel; een maat kreeg het nooit.

Zet eerst klaar, en beantwoord daarna de vragen. De laatste heet met opzet Z) en niet l): de aannames staan altijd achteraan, en die vreemde letter zegt “en ook, elke keer, deze”.

OpmerkingIn SPSS · zet klaar
  1. Open plantgroei.csv in SPSS.
  2. Ga naar Analyze → Compare Means → Independent-Samples T Test, zet gewicht bij Test Variable(s) en groep bij Grouping Variable, en typ bij Define Groups behandeling2 als Group 1 en controle als Group 2. Voer één doet zo niet mee.

Let op de volgorde die je intypt: SPSS rekent Group 1 mín Group 2, dus voer twee mín controle. Draai je ze om, dan staat er straks een min vóór het verschil én vóór de d.

OpmerkingJouw beurt

a) Hoeveel plantjes zitten er in elke groep? Klik OK en lees de twee N’s af bij Group Statistics. (twee getallen)

b) Hoeveel wegen ze gemiddeld, en hoeveel spreiding zit er binnen elke groep? (rapporteer M en SD per groep)

c) Hoeveel gram scheelt het, ruw? (één getal, in grammen)

d) Reken de gepoolde SD met de hand uit — de twee spreidingen samengevoegd tot één lineaaltje. Bij twee even grote groepen mag dat zo: kwadrateer beide SD’s, middel die twee kwadraten, en trek uit dat gemiddelde de wortel. Neem de SD’s zoals je scherm ze geeft, mét alle decimalen. (rapporteer de gepoolde SD)

e) Deel het verschil door dat lineaaltje. Kijk daarna of SPSS op jouw getal uitkomt: in SPSS 27 en later staat Cohen’s d in de aparte Effect Sizes-tabel bij de output. (rapporteer d, en zeg in gewone woorden wat het getal betekent)

f) Deel nu eens de twee afgeronde getallen op elkaar: 0.49 / 0.52. Je komt niet op hetzelfde uit als bij e). Hoeveel scheelt het, en waar komt dat verschil vandaan? (twee getallen en één regel)

g) Leg je d naast die van de pinguïns uit dit blok. Hoeveel keer zo groot is die? (twee d’s en één verhouding)

h) Leg elke behandelde plant naast elke controleplant — dat zijn honderd paren. Zo’n telling is geen knop; in het R-broertje is hij één regel, en daar komt uit dat de behandelde er 75 wint. Maak daar een kans van, en doe hetzelfde in je hoofd voor een muntje. (twee kansen, en de pinguïn-kans van .98 ernaast)

i) De p was .048 en de d is groot. Beantwoorden die twee dezelfde vraag? (twee vragen in je eigen woorden, één per getal)

j) Schrijf één eerlijke zin op over wat dit voer doet. “Het werkt nauwelijks”, “het werkt flink”, of geen van beide? (één zin, met allebei de getallen erin)

k) Deze d komt uit tien plantjes per groep. Waarom is dat getal zelf ook wiebelig, en waar in dit oefenboek gaat dat over? (één zin en een verwijzing)

Z) Mag je alles hierboven geloven? Cohens d deelt door één gezamenlijk lineaaltje. Welke aanname zit daar onder, en houdt hij hier stand? Kijk naar de twee SD’s uit b). (één aanname en het getal waarop je hem beoordeelt)

a) Tien in elke groep, dus twintig plantjes in totaal.

b) Controle M = 5.03, SD = 0.58. Voer twee M = 5.53, SD = 0.44.

c) 0.49 gram: 5.526 mín 5.032, gerekend met de decimalen van je scherm. Trek je de afgeronde 5.53 en 5.03 van elkaar af, dan staat er 0.50 — één honderdste ernaast door alleen het afronden. En daar sta je dan: 0.49 gram, zonder maatstok.

d) Gepoolde SD = 0.52, voluit 0.5176 — de gewone onderlinge variatie tussen twee willekeurige plantjes uit dezelfde groep, je lineaaltje. Kwam je op 0.51 uit, dan heb je met de afgeronde 0.58 en 0.44 gerekend in plaats van met de schermdecimalen: dezelfde val als bij c).

e) d = 0.95, en de Effect Sizes-tabel komt op hetzelfde uit. Het verschil is bijna één heel lineaaltje groot: de twee groepsgemiddelden liggen bijna één standaardafwijking uit elkaar. Ben legt de vorm zo uit — het is dezelfde breuk als een z-score: “je kijkt gewoon hoe vaak dit ding hier tussen past.” Bij een z-score vergelijk je één persoon met het gemiddelde, hier vergelijk je het ene gemiddelde met het andere.

f) 0.49 / 0.52 = 0.94, en bij e) stond 0.95. Dat is geen fout van jou: bij e) rekende je nog met de schermdecimalen — 0.494 gedeeld door 0.5176 — en rondde je pas aan het eind af; hier deel je twee getallen die al afgerond waren. Eén duizendste in de invoer wordt een honderdste in de uitkomst. Rond af aan het eind, nooit onderweg.

g) Plantjes d = 0.95, pinguïns d = 2.87 — die is er 3.0 keer zo groot.

h) Van de honderd paren wint de behandelde plant er 75, dus de kans is .75. Bij de pinguïns is diezelfde kans .98, en een muntje zou op .50 uitkomen. Zo voel je wat een d van 0.95 tegenover een d van 2.87 in het echt betekent: twee bergjes die elkaar flink raken tegenover twee die elkaar amper raken.

i) Nee, twee verschillende vragen. De p beantwoordt “zijn we er vrij zeker van dát het voer iets doet?” — en hier maar nét, want .048 zit tegen de streep aan. De d beantwoordt “hoe véél doet het?” — en dat is fors. Bij de pinguïns wezen die twee knoppen dezelfde kant op; hier wijzen ze elk een andere.

j) Bijvoorbeeld: “Het voer maakte de plantjes gemiddeld bijna een halve gram zwaarder, een groot effect (d = 0.95), al is het bewijs dat er überhaupt een effect is maar nét overtuigend (p = .048).” Niet “het werkt nauwelijks” — dat verwart nét-significant met klein. En niet “het werkt flink” zonder meer — dat laat weg hoe wankel het bewijs is. Allebei de getallen, allebei hun eigen zin.

k) Omdat d uit twee gemiddelden en twee spreidingen komt, en die zijn bij tien plantjes per groep zelf al onzeker. Trek nog eens tien plantjes en er komt een andere d uit. Hoe hard dat wiebelt en wat je eraan kunt doen, gaat de oefening over power.

Z) De aanname onder de gepoolde SD is dat de twee groepen ongeveer even veel spreiden. Je voegt hun spreidingen namelijk samen tot één lineaaltje, en dat mag alleen als het bij allebei ongeveer past. Hier: 0.58 tegen 0.44, de grootste is 1.32 keer de kleinste. Dat is geen probleem.

De weg terug, voor als dat wél was misgegaan:

  • Blijft staan: het ruwe verschil van 0.49 gram bij c), en de twee gemiddelden en spreidingen bij b). Dat zijn beschrijvingen van deze twintig plantjes.
  • Doe je over: de gepoolde SD bij d) en dus de d bij e). Je zou dan geen gezamenlijk lineaaltje meer gebruiken, maar de spreiding van één groep — meestal de controlegroep — en dat er duidelijk bij zeggen.

En let op wat er níét in dit rijtje staat: dat de gewichten normaal verdeeld moeten zijn. Cohens d is een verhouding en toetst niets; hij vraagt alleen om een lineaaltje dat bij allebei past.

◠ Zelfde vorm in het boek

Hier: een verschil in grammen dat pas iets zegt als je het door de spreiding deelt.

In het boek: W4 — Hangen ze samen? (waar de effectgrootte als familie geplant wordt)

Daar is de effectgrootte geen los trucje maar een familie — d, r, en de rest zijn allemaal manieren om “hoe groot?” een eenheidloze maat te geven.

Voetnoten

  1. Palmer Penguins — Gorman, Williams & Fraser (2014), Palmer Station Antarctica LTER; via het R-pakket palmerpenguins (CC0). Alle getallen in dit blok zijn op die échte data nagerekend.↩︎