Vierde beweging · Verschil onthechten

Oefening 9.2 · De t-toets

Twee gemiddelden vergelijken, gepaard of onafhankelijk · paired & independent t-test

Data bij deze oefening — penguins.csv 342 pinguïns · slaap_middelen.csv slaapmiddelen, 1905 · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

Twee raadsels over één woord: verschil

verschil tussen twee gemiddelden · echt of toeval

Twee kleine raadsels, allebei over hetzelfde woord: verschil.

Het eerste is meer dan honderd jaar oud.¹ Tien mensen krijgen twee nachten lang elk een ander slaapmiddel, en iemand meet hoeveel uur extra slaap ze ervan krijgen. Middel A levert gemiddeld 0.75 uur op, middel B 2.33 uur. Middel B wint dus met 1.58 uur. Maar het zijn er maar tien, en mensen slapen de ene nacht nu eenmaal anders dan de andere. Is die 1.58 uur een echt verschil tussen de middelen — of hadden we gewoon een paar goede nachten voor B?

Het tweede raadsel staat op een rots bij Antarctica.² Gentoo-pinguïns wegen gemiddeld 5076 gram, Adélies 3701 gram. Dat is 1375 gram verschil — anderhalve kilo, een flink beest lichter. Maar we hebben niet álle pinguïns gewogen, alleen degene die we toevallig oppakten. Is die 1375 gram het échte soortverschil, of hadden we pech (of geluk) met wie er in onze armen belandde?

Dezelfde vraag, twee keer: bestaat het verschil echt, of danst het op toeval? En let straks op iets moois — bij de pinguïns wordt het antwoord zó overweldigend dat de interessante vraag verschuift. Trek even mee.

speel het

Draai allebei de t-toetsen

gepaard versus onafhankelijk · t · p · 95%-CI

Twee raadsels, twee toetsen — en het verschil zit in het design. Bij de slaapmiddelen meten we dezelfde tien mensen twee keer; die twee kolommen horen per rij bij elkaar. Dat vraagt een gepaarde t-toets (paired). Bij de pinguïns hebben we twee losse groepen dieren, geen koppels — dat vraagt een onafhankelijke t-toets (independent). Doe ze allebei.

Eerst zoals in het boek — de twaalf diamantjes · JASP 0.98.1

T-Tests → Independent Samples T-Test.
glans naar Variables, merk naar Grouping Variable.
Vink onder Additional Statistics de Effect size (Cohen’s d) aan.

t(10) = −1.73, p = .11 — zichtbaar verschil, en tóch niet significant bij twaalf.

Golfje tegen sterretje: t(10) = −1.73, p = .114. Het verschil is met het blote oog te zien, maar de toets zegt: bij twaalf steentjes kan dit ook toeval zijn. Onthoud die −1.73 — hij komt in de volgende twee oefeningen nog terug. In de vórige oefening stond hij er trouwens ook al, met een plus ervoor: daar was het golfje het vertrekpunt, dus rekende de dummy sterretje mín golfje. Zelfde toets, andere richting.

Nu jij — twee keer, want er zijn twee soorten t-toets. De pinguïns ken je; de slaapmiddelen van 1905 zijn nieuw, en die zijn juist bedoeld om het verschil tussen de twee toetsen te laten voelen.

In JASP · de slaapmiddelen (gepaard) · JASP 0.98.1

Open slaap_middelen.csv in JASP (menu linksboven → Open).
Klik bovenin op T-Tests en kies Paired Samples T-Test.
Sleep het paar slaap_middelA en slaap_middelB samen naar het vak Variables (JASP koppelt ze als één rij).
Vink onder Additional Statistics ook Effect size aan.

Rechts lees je af: het verschil A − B = −1.58 uur, t(9) = −4.06, p = 0.003, en een 95%-interval van [−2.46, −0.70]. Het min-teken zegt alleen dat A mínder oplevert dan B; de grootte is 1.58 uur. De p van 0.003 zegt: als de twee middelen in werkelijkheid even goed waren, zou je zó’n verschil bij tien mensen zelden per ongeluk tegenkomen. En dat interval is eerlijker dan de p: het beste dat je over het echte verschil durft te zeggen is “ergens tussen 0.70 en 2.46 uur in B’s voordeel”. Klein onderzoek, breed interval — het interval is meteen zijn eigen slag om de arm.

In JASP · de pinguïns (onafhankelijk)

Open penguins.csv. Maak eerst met het trechtertje (Filter) boven de data de selectie soort == "Gentoo" of soort == "Adelie", zodat alleen die twee soorten meedoen.
Klik op T-Tests en kies Independent Samples T-Test.
Sleep gewicht naar Dependent Variables en soort naar Grouping Variable.
Vink Effect size aan (dat geeft je straks Cohens d).

Rechts: het verschil is ongeveer 1375 gram, met een t van bijna −23.6 en een p die zó klein is dat JASP ’m als “< .001” toont. Bij de slaapmiddelen was de t −4.06 en dat vonden we al overtuigend; hier is-ie bijna zes keer zo groot. Onthoud dat cijfer even — in “Snap het” blijkt het minder indrukwekkend dan het lijkt.

schud het

Duizend werelden waarin de waarheid nul is

labels husselen · teken omgooien · toeval-bergje rond nul

Nu de vraag die telt: bestaat het verschil écht? Je zou het toeval willen nabouwen. De truc is telkens dezelfde, en hij is mooi: je bouwt duizend werelden waarin de waarheid nul is — waarin er per definitie géén verschil bestaat — en kijkt hoe ver puur geluk het gemeten verschil dan tóch van nul wegtrekt. In geen enkele van die werelden meet je precies nul; het toeval laat het verschil dansen om nul. Die dans is een bergje. Ligt jouw echte verschil ín het bergje, dan kan toeval het verklaren. Ligt het erbuiten, dan is het echt.

Bij de pinguïns bouw je die nul-werelden door de soort-labels te husselen: je houdt alle gewichten precies zoals ze zijn, maar plakt er lukraak “Gentoo” of “Adélie” op. Dát is de kern, en het is belangrijk genoeg om even stil bij te staan: door te husselen koppel je de soort los van het gewicht. Je haalt met eigen handen weg dat een bepaald dier bij een bepaalde soort hoort, zodat de soort niets meer over het gewicht zegt — en het echte soortverschil per definitie nul is. Bij de slaapmiddelen — ander design — gooi je per persoon een muntje dat bepaalt of zijn verschil met plus of min meetelt; ook dat koppelt het verschil los van de vraag welk middel A heette. Twee manieren van husselen, één idee.

En hier moet ik eerlijk zijn: dat husselen is geen knop in JASP. JASP rekent één keurige uitkomst uit; duizend nul-werelden bouwen en kijken waar het toeval landt is speeltje- of code-werk. Dat is geen gemis van jou of van JASP — het boek doet het bewust zo: de schud-ervaring loopt via een schud-speeltje in de browser (of via het R-broertje, waar het een paar regels zijn).

▶ Speel het schud-speeltje

Wat je in dat speeltje ziet, voor de pinguïns: duizend werelden waarin soort er niet toe doet, en het toeval komt niet verder dan zo’n 386 gram van nul — een klein beetje geschommel. En dan de echte 1375 gram, kilometers rechts van het hele bergje. Geen enkele nul-wereld haalt jouw verschil, of komt zelfs maar in de buurt. Voor de slaapmiddelen hetzelfde beeld: het toeval danst om nul en de echte −1.58 uur ligt aan de uiterste rand. Dát is “geen toeval”: geen p-waarde die je moet geloven, maar een afstand die je zíet. Kort gezegd: duizend werelden waarin de waarheid nul is, maar het gemeten verschil nooit precies nul.

Dus: beide verschillen zijn echt. Zaak gesloten? Nee — en dit kun je wél gewoon weer in JASP.

snap het

Echt is niet hetzelfde als belangrijk

effectgrootte · Cohens d · significantie en steekproefgrootte

Allebei de verschillen zijn dus echt, geen toeval. Maar “echt” is niet hetzelfde als “belangrijk”, en juist de pinguïns laten dat scherp zien.

Herinner je die t van −23.6 en de p die als “< .001” verscheen? Die duizelingwekkende getallen betekenen niet dat het pinguïn-verschil belangrijker is dan het slaap-verschil. Ze zijn zo groot om twee saaie redenen: het verschil is bruut (anderhalve kilo) én we hebben veel dieren (274 stuks). Een t-toets straft kleine steekproeven af en beloont grote; gooi er genoeg waarnemingen in en zelfs een schamel verschil wordt “hoogsignificant”. Bij een groot, duidelijk verschil met een royale N is significantie triviaal — de toets bevestigt alleen wat je met het blote oog al zag. De interessante vraag is dan niet óf er verschil is, maar hoe groot.

Daarvoor bestaat de effectgrootte (effect size) — een verschil losgemaakt van de steekproefgrootte. Voor twee groepen is dat Cohens d: het verschil uitgedrukt in standaarddeviaties. Je hebt het bij “Speel het” al aangevinkt.

In JASP · hoe groot is groot? (Cohens d)

Kijk in de output van de Independent Samples T-Test naar de kolom Effect Size (Cohen’s d). Staat-ie er niet, vink dan Effect size aan onder Additional Statistics.

d = 2.87. Dat is enorm — de twee soorten liggen bijna drie standaarddeviaties uit elkaar; wijs een willekeurige Gentoo en een willekeurige Adélie aan en de Gentoo is vrijwel altijd zwaarder. Dáár zit het echte verhaal, niet in de t.

En de slaapmiddelen, met hun bescheiden N van 10? De effectgrootte voor een gepaard verschil (JASP toont ’m als Cohen’s d bij de Paired Samples T-Test) is hier −1.28 — ook fors. Het verschil tussen A en B is meer dan één standaarddeviatie groot. Klein onderzoek, maar geen klein effect. Precies het omgekeerde plaatje van de pinguïns: daar was de t spectaculair en het nieuws de grootte; hier is de t bescheiden en is de grootte nog steeds het nieuws.

En nog één ding, om de oefeningen aan elkaar te knopen. Die 1375 gram tussen Gentoo’s en Adélies heb je in de vorige oefening al zien staan, en niet als gemiddelde maar als regressiegewicht: het was daar het getal bij de Gentoo-dummy. Dezelfde vergelijking, één keer als toets en één keer als lijn. Wat de t-toets eraan toevoegt is niet het verschil zelf maar de vraag eromheen — hoe ver kan toeval dit verschil namaken?

De les van dit blok, in drie zinnen:

Het design kiest de toets. Dezelfde mensen twee keer gemeten → gepaard. Twee losse groepen → onafhankelijk. Dat is geen smaak maar een feit over je data.
Significant zegt “waarschijnlijk niet nul”, niet “groot”. Bij veel data is significantie goedkoop; laat je niet imponeren door een t van 23.
De grootte is de vraag die overblijft. Rapporteer altijd een effectgrootte naast de toets — d, een interval, of gewoon het verschil in gewone eenheden (uren, grammen). Dát is wat een mens wil weten.

Zou je het in één eerlijke zin opschrijven: niet “het verschil is significant (p < .001)”, maar: Gentoo’s zijn gemiddeld 1375 gram zwaarder dan Adélies (95% CI [1261, 1490]), een zeer groot effect (d = 2.87). Het getal met een maat eromheen, niet een sterretje.

jouw beurt

Dezelfde tien slapers, van twee kanten bekeken

gepaard versus onafhankelijk · persoonsverschillen · samenhang tussen twee metingen

Jouw beurt — bekende data, en een toets die je van een andere kant benadert. De les hierboven was: het design kiest de toets. Nu ga je zien wat die keuze waard is: je draait dezelfde twintig metingen twee keer, één keer zoals het hoort en één keer zoals het níét hoort, en je kijkt wat dat kost.

Zet eerst klaar, en beantwoord daarna de vragen. De laatste heet met opzet Z) en niet l): de aannames staan altijd achteraan, en die vreemde letter zegt “en ook, elke keer, deze”.

In JASP · zet klaar · JASP 0.98.1

Open slaap_middelen.csv in JASP.
Reken met de + rechts van de data een nieuwe kolom (Computed column) verschil uit als slaap_middelA - slaap_middelB.

Naast de twee middelen hoort nu een derde kolom te staan met tien verschillen, en de bovenste hoort −1.2 te zijn — A mín B, per persoon.

Jouw beurt

a) Hoeveel mensen doen er mee, en hoeveel metingen heeft elk van hen? Waar in de tabel zie je dat de twee metingen bij dezelfde persoon horen? (twee getallen en één zin over de vorm van de tabel)

b) Hoeveel uur extra slaap leverden de twee middelen gemiddeld op, en hoeveel scheelt dat? (rapporteer M per middel en het verschil, in uren)

c) Schrijf de nulhypothese voor de gepaarde toets voluit op, in woorden én in symbolen. (één zin, en die ook in symbolen)

d) Draai de gepaarde toets nog eens, zoals bij “Speel het”: T-Tests → Paired Samples T-Test, met het paar slaap_middelA en slaap_middelB samen in Variables. (rapporteer t(df), p en het 95%-interval)

e) Draai nu dezelfde twintig metingen als twee lósse groepen. En hier moet ik eerlijk zijn: dat kan in JASP niet zomaar — de tabel staat wide, één rij per persoon, en een onafhankelijke toets wil één rij per méting; voor dat kantelen heeft JASP geen knop. Het R-broertje draait hem in één regel, en daar komt uit: t = −1.86, df = 17.78, p = .079, 95% CI [−3.37, 0.21]. (noteer alle vier de getallen)

f) Vergelijk d) en e). Eén getal is in beide toetsen precies hetzelfde. Welk, en wat is er dan wél veranderd? (één getal, en wat de twee intervallen verschillend doen)

g) Vraag drie spreidingen op via Descriptives: die van middel A, die van middel B, en die van verschil — de tien persoonsverschillen. (drie getallen)

h) Reken de samenhang tussen de twee metingen uit met Regression → Correlation op slaap_middelA en slaap_middelB. (rapporteer r)

i) Leg g) en h) naast elkaar en verklaar waarom de gepaarde t ruim twee keer zo groot is. (één breuk in woorden: wat staat er boven en wat onder de streep)

j) Kijk naar de tien verschillen zelf. Hoeveel mensen sliepen er beter op B, hoeveel beter op A, en hoeveel precies even lang? (drie getallen)

k) Welke van de twee toetsen liegt hier? En stel dat die samenhang géén .80 was maar ongeveer nul — wat zou er dan met de spreiding van de tien verschillen gebeuren, en dus met het verschil tussen de twee p’s? (één keuze en twee gevolgen)

Z) Mag je alles hierboven geloven? De gepaarde t-toets leunt op één aanname, en die gaat niet over de twee kolommen maar over de tien verschillen. Welke is dat, en houdt hij hier stand? Kijk naar de tien getallen zelf. (één aanname, en het getal in de rij dat je aan het twijfelen brengt)

Antwoord — open na je eigen poging

a) 10 mensen, elk 2 keer gemeten. Je ziet het aan de vorm van de tabel: er staat één rij per persoon met twee kolommen ernaast. Die twee getallen op één rij horen bij hetzelfde mens — dát is wat “gepaard” betekent.

b) Middel A gaf M = 0.75 uur extra slaap, middel B M = 2.33 uur. B wint met 1.58 uur.

c) De nulhypothese: de twee middelen leveren gemiddeld evenveel extra slaap op, dus het gemiddelde verschil is in de populatie nul. In symbolen: \(H_0:\ \mu_d = 0\) tegen \(H_1:\ \mu_d \neq 0\), waarin \(d\) het verschil per persoon is. Je mag het ook als \(H_0:\ \mu_A = \mu_B\) schrijven; één van de twee is genoeg. Grieks, want het gaat over de populatie en niet over deze tien.

d) t(9) = −4.06, p = .003, 95% CI [−2.46, −0.70]. Het min-teken zegt alleen dat A mínder oplevert dan B.

e) t = −1.86, df = 17.78, p = .079, 95% CI [−3.37, 0.21] — de getallen uit het R-broertje.

f) Het verschil zelf: −1.58 uur, in allebei de toetsen precies gelijk. Wat er wél verandert is de onzekerheid eromheen. Het gepaarde interval loopt van −2.46 tot −0.70 en blijft aan één kant van de nul; het onafhankelijke loopt van −3.37 tot 0.21 en pákt de nul erbij. Zelfde data, zelfde verschil, ander oordeel.

g) SD(A) = 1.79, SD(B) = 2.00, SD(verschil) = 1.23. De tien verschillen spreiden dus mínder dan de twee kolommen waar ze uit komen.

h) r = .80. Wie makkelijk slaapt, sliep op állebei de middelen veel; wie ligt te woelen, op allebei weinig.

i) Een t is een verschil gedeeld door een spreiding. Boven de streep staat in allebei de toetsen dezelfde −1.58. Onder de streep niet: de gepaarde toets rekent met de spreiding van de tien verschillen (1.23) en komt op een standaardfout van 0.39, de onafhankelijke rekent met de twee losse spreidingen (1.79 en 2.00) en komt op 0.85. Deel hetzelfde getal door iets kleiners en er komt een grotere t uit — vandaar −4.06 tegen −1.86. Wat de onafhankelijke toets weggooit, is precies die r van .80.

j) Negen van de tien sliepen beter op B, niemand beter op A, en één precies even lang. Dat is het concreetste bewijs dat er iets te koppelen valt: negen van de tien wijzen dezelfde kant op, hoe verschillend die mensen onderling ook slapen.

k) De onafhankelijke liegt. Die doet alsof de twintig metingen van twintig verschillende mensen komen, en dat is niet zo. Lag de samenhang rond nul, dan zou de spreiding van de verschillen niet 1.23 zijn maar ongeveer 2.69 — de twee losse spreidingen die dan niets van elkaar afhalen — en dan lopen de twee toetsen bijna gelijk. De winst van het gepaarde design zit dus niet in de toets maar in de samenhang: hoe sterker de twee metingen samenhangen, hoe meer je eraan hebt.

Z) De aanname is dat de verschilscores normaal verdeeld zijn — niet de twee kolommen, en niet in deze steekproef maar in de populatie waar ze uit komen. Ben zegt het in de les zo:

Hadden wij zomaar een gepaarde t-toets mogen doen? Wat is de assumptie? Dat de verschilscores normaal verdeeld zijn. Zijn deze verschilscores normaal verdeeld? Nee — geen enkele steekproef is precies normaal verdeeld. Maar dat is ook niet de assumptie: de assumptie is dat de populatie-verschilscores normaal verdeeld zijn.

En hier is het eerlijke antwoord: hij wankelt. Kijk naar de rij — −1.2 −2.4 −1.3 −1.3 0.0 −1.0 −1.8 −0.8 −4.6 −1.4. Negen getallen liggen tussen 0 en −2.4, en dan is er één van −4.6. Die ene trekt de rij scheef, en bij tien waarnemingen weegt hij zwaar.

Wat dat kost, en wat niet: haal je die persoon weg, dan wordt de uitkomst sterker, niet zwakker — t = −5.66 met p < .001 in plaats van t = −4.06 met p = .003. De conclusie draait dus niet om. Maar dat had je niet kunnen weten zonder te kijken, en dat is het hele punt van deze vraag. Zoals Ben eraan toevoegt: “je zou het eigenlijk even moeten toetsen.”

◠ Zelfde vorm in het boek

Hier: twee groepen (of twee metingen), één verschil, en de vraag of dat verschil het toeval overleeft — plus hoe groot het eigenlijk is.

In het boek: W6 — Bestaat het verschil echt?

Daar komt de toets pas ná het interval en na de simulatie: eerst vóélen hoe ver toeval reikt, dan pas de vraag “stel dat er niks was”.

Voetnoten

Cushny & Peebles (1905), het klassieke slaapmiddelen-experiment — dezelfde data waarop Student in 1908 zijn t-verdeling demonstreerde. slaap_middelen.csv, 10 personen. Alle getallen nagerekend.↩︎
Palmer Penguins — Gorman, Williams & Fraser (2014), Palmer Station Antarctica LTER; via het R-pakket palmerpenguins (CC0). penguins.csv. Alle getallen op die échte data nagerekend.↩︎