Hoofdstuk 9 · De t-toets

Bestaat het verschil echt? · paired & independent t-test

De prikkel

Twee kleine raadsels, allebei over hetzelfde woord: verschil.

Het eerste is meer dan honderd jaar oud.¹ Tien mensen krijgen twee nachten lang elk een ander slaapmiddel, en iemand meet hoeveel uur extra slaap ze ervan krijgen. Middel A levert gemiddeld 0.75 uur op, middel B 2.33 uur. Middel B wint dus met 1.58 uur. Maar het zijn er maar tien, en mensen slapen de ene nacht nu eenmaal anders dan de andere. Is die 1.58 uur een echt verschil tussen de middelen — of hadden we gewoon een paar goede nachten voor B?

Het tweede raadsel staat op een rots bij Antarctica.² Gentoo-pinguïns wegen gemiddeld 5076 gram, Adélies 3701 gram. Dat is 1375 gram verschil — anderhalve kilo, een flink beest lichter. Maar we hebben niet álle pinguïns gewogen, alleen degene die we toevallig oppakten. Is die 1375 gram het échte soortverschil, of hadden we pech (of geluk) met wie er in onze armen belandde?

Dezelfde vraag, twee keer: bestaat het verschil echt, of danst het op toeval? En let straks op iets moois — bij de pinguïns wordt het antwoord zó overweldigend dat de interessante vraag verschuift. Trek even mee.

Speel het

⬇ Download de data — slaap_middelen.csv

⬇ Download de data — penguins.csv

Twee raadsels, twee toetsen — en het verschil zit in het design. Bij de slaapmiddelen meten we dezelfde tien mensen twee keer; die twee kolommen horen per rij bij elkaar. Dat vraagt een gepaarde t-toets (paired). Bij de pinguïns hebben we twee losse groepen dieren, geen koppels — dat vraagt een onafhankelijke t-toets (independent). Doe ze allebei.

OpmerkingIn JASP · de slaapmiddelen (gepaard) · JASP 0.98.1

1. Open slaap_middelen.csv in JASP (menu linksboven → Open).
2. Klik bovenin op T-Tests en kies Paired Samples T-Test.
3. Sleep het paar slaap_middelA en slaap_middelB samen naar het vak Variables (JASP koppelt ze als één rij).
4. Vink onder Additional Statistics ook Effect size aan.

Rechts lees je af: het verschil A − B = −1.58 uur, t(9) = −4.06, p = 0.003, en een 95%-interval van [−2.46, −0.70]. Het min-teken zegt alleen dat A mínder oplevert dan B; de grootte is 1.58 uur. De p van 0.003 zegt: als de twee middelen in werkelijkheid even goed waren, zou je zó’n verschil bij tien mensen zelden per ongeluk tegenkomen. En dat interval is eerlijker dan de p: het beste dat je over het echte verschil durft te zeggen is “ergens tussen 0.70 en 2.46 uur in B’s voordeel”. Klein onderzoek, breed interval — het interval is meteen zijn eigen slag om de arm.

OpmerkingIn JASP · de pinguïns (onafhankelijk)

1. Open penguins.csv. Maak eerst met het trechtertje (Filter) boven de data de selectie soort == "Gentoo" of soort == "Adelie", zodat alleen die twee soorten meedoen.
2. Klik op T-Tests en kies Independent Samples T-Test.
3. Sleep gewicht naar Dependent Variables en soort naar Grouping Variable.
4. Vink Effect size aan (dat geeft je straks Cohens d).

Rechts: het verschil is ongeveer 1375 gram, met een t van bijna −23.6 en een p die zó klein is dat JASP ’m als “< .001” toont. Bij de slaapmiddelen was de t −4.06 en dat vonden we al overtuigend; hier is-ie bijna zes keer zo groot. Onthoud dat cijfer even — in “Snap het” blijkt het minder indrukwekkend dan het lijkt.

Schud het

Nu de vraag die telt: bestaat het verschil écht? Je zou het toeval willen nabouwen. De truc is telkens dezelfde, en hij is mooi: je bouwt duizend werelden waarin de waarheid nul is — waarin er per definitie géén verschil bestaat — en kijkt hoe ver puur geluk het gemeten verschil dan tóch van nul wegtrekt. In geen enkele van die werelden meet je precies nul; het toeval laat het verschil dansen om nul. Die dans is een bergje. Ligt jouw echte verschil ín het bergje, dan kan toeval het verklaren. Ligt het erbuiten, dan is het echt.

Bij de pinguïns bouw je die nul-werelden door de soort-labels te husselen: je houdt alle gewichten precies zoals ze zijn, maar plakt er lukraak “Gentoo” of “Adélie” op. Bij de slaapmiddelen — ander design — gooi je per persoon een muntje dat bepaalt of zijn verschil met plus of min meetelt. Twee manieren van husselen, één idee.

En hier moet ik eerlijk zijn: dat husselen is geen knop in JASP. JASP rekent één keurige uitkomst uit; duizend nul-werelden bouwen en kijken waar het toeval landt is speeltje- of code-werk. Dat is geen gemis van jou of van JASP — het boek doet het bewust zo: de schud-ervaring loopt via een schud-speeltje in de browser (of via het R-broertje, waar het een paar regels zijn).

Wat je in dat speeltje ziet, voor de pinguïns: duizend werelden waarin soort er niet toe doet, en het toeval komt niet verder dan zo’n 386 gram van nul — een klein beetje geschommel. En dan de echte 1375 gram, kilometers rechts van het hele bergje. Geen enkele nul-wereld haalt jouw verschil, of komt zelfs maar in de buurt. Voor de slaapmiddelen hetzelfde beeld: het toeval danst om nul en de echte −1.58 uur ligt aan de uiterste rand. Dát is “geen toeval”: geen p-waarde die je moet geloven, maar een afstand die je zíet. Kort gezegd: duizend werelden waarin de waarheid nul is, maar het gemeten verschil nooit precies nul.

Dus: beide verschillen zijn echt. Zaak gesloten? Nee — en dit kun je wél gewoon weer in JASP.

Snap het

Allebei de verschillen zijn dus echt, geen toeval. Maar “echt” is niet hetzelfde als “belangrijk”, en juist de pinguïns laten dat scherp zien.

Herinner je die t van −23.6 en de p die als “< .001” verscheen? Die duizelingwekkende getallen betekenen niet dat het pinguïn-verschil belangrijker is dan het slaap-verschil. Ze zijn zo groot om twee saaie redenen: het verschil is bruut (anderhalve kilo) én we hebben veel dieren (274 stuks). Een t-toets straft kleine steekproeven af en beloont grote; gooi er genoeg waarnemingen in en zelfs een schamel verschil wordt “hoogsignificant”. Bij een groot, duidelijk verschil met een royale N is significantie triviaal — de toets bevestigt alleen wat je met het blote oog al zag. De interessante vraag is dan niet óf er verschil is, maar hoe groot.

Daarvoor bestaat de effectgrootte (effect size) — een verschil losgemaakt van de steekproefgrootte. Voor twee groepen is dat Cohens d: het verschil uitgedrukt in standaarddeviaties. Je hebt het bij “Speel het” al aangevinkt.

OpmerkingIn JASP · hoe groot is groot? (Cohens d)

Kijk in de output van de Independent Samples T-Test naar de kolom Effect Size (Cohen’s d). Staat-ie er niet, vink dan Effect size aan onder Additional Statistics.

d = 2.87. Dat is enorm — de twee soorten liggen bijna drie standaarddeviaties uit elkaar; wijs een willekeurige Gentoo en een willekeurige Adélie aan en de Gentoo is vrijwel altijd zwaarder. Dáár zit het echte verhaal, niet in de t.

En de slaapmiddelen, met hun bescheiden N van 10? De effectgrootte voor een gepaard verschil (JASP toont ’m als Cohen’s d bij de Paired Samples T-Test) is hier −1.28 — ook fors. Het verschil tussen A en B is meer dan één standaarddeviatie groot. Klein onderzoek, maar geen klein effect. Precies het omgekeerde plaatje van de pinguïns: daar was de t spectaculair en het nieuws de grootte; hier is de t bescheiden en is de grootte nog steeds het nieuws.

De les van dit blok, in drie zinnen:

• Het design kiest de toets. Dezelfde mensen twee keer gemeten → gepaard. Twee losse groepen → onafhankelijk. Dat is geen smaak maar een feit over je data.
• Significant zegt “waarschijnlijk niet nul”, niet “groot”. Bij veel data is significantie goedkoop; laat je niet imponeren door een t van 23.
• De grootte is de vraag die overblijft. Rapporteer altijd een effectgrootte naast de toets — d, een interval, of gewoon het verschil in gewone eenheden (uren, grammen). Dát is wat een mens wil weten.

Zou je het in één eerlijke zin opschrijven: niet “het verschil is significant (p < .001)”, maar Gentoo’s zijn gemiddeld 1375 gram zwaarder dan Adélies (95%-CI [1261, 1490]), een zeer groot effect (d = 2.87). Het getal met een maat eromheen, niet een sterretje.

◠ Zelfde vorm in het boek

Hier: twee groepen (of twee metingen), één verschil, en de vraag of dat verschil het toeval overleeft — plus hoe groot het eigenlijk is.

In het boek: W6 — Bestaat het verschil echt?

Daar komt de toets pas ná het interval en na de simulatie: eerst vóélen hoe ver toeval reikt, dan pas de vraag “stel dat er niks was”.

BESLIST (Ben, 24-7): “Schud het” kan JASP niet zelf → speeltje + hop. Het schud-speeltje (boek/04_speeltjes/w6_schud_verschil.html) is het thuis van de simulatie; het JASP-broertje verwijst ernaar (of naar het R-broertje). Nog te doen: de echte link naar het speeltje inwiren zodra de speeltjes-plek definitief is — één speeltje dat beide husselingen kan (label-shuffle én teken-shuffle), of twee. W6 boek-schets nog grof; verhaal-stem-opening = eerste stem-pas. De R-tweeling deelt deze tekst; alleen “Speel het / Schud het” verschilt.

Voetnoten

1. Cushny & Peebles (1905), het klassieke slaapmiddelen-experiment — dezelfde data waarop Student in 1908 zijn t-verdeling demonstreerde. slaap_middelen.csv, 10 personen. Alle getallen nagerekend.

2. Palmer Penguins — Gorman, Williams & Fraser (2014), Palmer Station Antarctica LTER; via het R-pakket palmerpenguins (CC0). penguins.csv. Alle getallen op die échte data nagerekend.