De t-toets: gepaard en onafhankelijk

Twee gemiddelden vergelijken · paired & independent t-test

Vooraf, in één zin: er zijn twee t-toetsen die er in de tekst hetzelfde uitzien maar bij verschillende designs horen — dezelfde mensen twee keer gemeten (gepaard) tegenover twee losse groepen (onafhankelijk) — en welke conclusie je mag trekken, hangt net zo goed af van dat design als van de p; waarom, staat onderaan bij Wat het niet zegt.

Wat je ziet

In het kort. Een t met vrijheidsgraden tussen haakjes, een p, vaak een interval of een effectgrootte: t(100) = −2.75, p = .007. Dit is een t-toets / t-test — hij vergelijkt twee gemiddelden en vraagt of hun verschil groter is dan je bij toeval zou verwachten. Er zijn twee smaken, en ze horen bij twee verschillende manieren van meten:

de onafhankelijke t / independent-samples t-test — twee losse groepen (de een krijgt dit, de ander dat);
de gepaarde t / paired-samples t-test — één groep, twee keer gemeten (voor en na).

Zo zien ze eruit in het wild:

Twee voorbeeldfragmenten, geschreven in de stijl van een resultatensectie — de artikelen bestaan niet.

(onafhankelijk) Participants receiving blended care reported lower anxiety at 12 weeks (M = 8.1, SD = 4.2, n = 52) than participants receiving usual care alone (M = 10.5, SD = 4.6, n = 50), t(100) = −2.75, p = .007, 95% CI [−4.13, −0.67].

(gepaard) In a single group of adolescents, total problem scores (SDQ) decreased slightly but not significantly from before (M = 20.50, SD = 4.38) to after the intervention (M = 19.29, SD = 4.73); the mean within-person change was 1.21 points, 95% CI [−0.57, 2.99], t(23) = 1.40, p = .17.

Wat er staat

In het kort. Allebei vergelijken ze twee gemiddelden met een t; het verschil zit in hoe je aan die twee gemiddelden komt. Bij de onafhankelijke toets zijn het twee verschillende sets mensen, en telt de spreiding van beide groepen mee. Bij de gepaarde toets is het dezelfde persoon twee keer, en kijk je naar ieders eigen verandering — waardoor stabiele verschillen tússen mensen wegvallen en de toets meestal strakker en gevoeliger wordt. Het design bepaalt de toets, niet het etiket.

Nu rustig van voren af aan. Onafhankelijk: de blended-groep zit na twaalf weken op 8.1, de usual-groep op 10.5 — een verschil van 2.4 punten minder angst. De t-toets vraagt: is 2.4 groot ten opzichte van de ruis die twee losse groepen van een stuk of vijftig nu eenmaal geven? t = −2.75, p = .007: zo’n gat is onwaarschijnlijk als de twee populaties in werkelijkheid gelijk waren. Gepaard: dezelfde vierentwintig jongeren, vóór en ná. Je rekent per jongere het verschil T0 − T1 uit; gemiddeld daalt de score 1.21 punt (en dalen is hier goed nieuws — een lagere SDQ betekent mínder klachten). De t-toets vraagt: steekt die gemiddelde daling van 1.21 uit boven hoe sterk de veranderingen van jongere tot jongere verschillen? t = 1.40, p = .17: nee, een verandering zó klein ontstaat bij vierentwintig mensen makkelijk vanzelf. En kijk naar het interval van dat gepaarde verschil, [−0.57, 2.99]: het loopt van een klein beetje slechter tot een daling van bijna drie punten. Onthoud dat brede interval — het komt onderaan terug.

Waar het vandaan komt

Dit hoort bij de boek-eenheid Bestaat het verschil echt? — waar het betrouwbaarheidsinterval en de p-waarde al langskwamen (die twee blokken heb je gehad). De t-toets is de omkering die het boek expliciet maakt: je hebt eerst leren schatten (het interval), en de toets zet daar één vraag tegenover — stel dat er geen verschil is, hoe verrassend is deze data dan? Zelfde machinerie, andere vraag. En een gepaarde t is stiekem niets anders dan een gewone toets op één kolom: de kolom met de verschilscores. Dat is precies waarom het pas werkt als die verschillen ook echt bij dezelfde persoon horen.

Zelf doen in JASP

⬇ Download de data — angst_blended.csv

⬇ Download de data — sdq_toekomstkamer.csv

Bij dit blok horen twee databestanden, één per toets.

A — onafhankelijk: angst_blended.csv (hetzelfde bestand als bij het BI-blok): 102 rijen, drie kolommen — id, groep (blended of usual) en angst_12w.

In JASP · onafhankelijke t · JASP 0.98.1

Open het bestand → klik T-Tests → Independent Samples T-Test.
Sleep angst_12w naar Dependent Variables en groep naar Grouping Variable.
Vink aan: Descriptives, Effect size en Confidence interval.

Rechts: t(100) = −2.75, p = .007, 95% CI [−4.13, −0.67], en Cohen’s d = −0.55; blended M = 8.1 (SD = 4.2), usual M = 10.5 (SD = 4.6).

B — gepaard: sdq_toekomstkamer.csv: 24 rijen (de jongeren), drie kolommen — id, tds_t0 (SDQ-totaal vóór) en tds_t1 (SDQ-totaal ná).

In JASP · gepaarde t · JASP 0.98.1

Open het bestand → klik T-Tests → Paired Samples T-Test.
Maak één paar aan: sleep tds_t0 en tds_t1 samen in het vak.
Vink aan: Descriptives, Effect size en Confidence interval.

Rechts: t(23) = 1.40, p = .174, Cohen’s d (dat is hier dz) = 0.29, en het 95%-interval van het verschil [−0.57, 2.99]. Let op de volgorde: JASP trekt tds_t0 − tds_t1 af in de volgorde waarin je ze neerzet, dus een positieve t betekent hier dat T0 hoger lag — een daling, en dus verbetering.

En de kern van dit blok: je kunt deze twee toetsen niet omruilen. Zou je op de SDQ-data per ongeluk een onafhankelijke t draaien (T0 en T1 als twee losse groepen van 24), dan gooi je de koppeling weg — je vergeet dat het dezelfde jongeren zijn — en beantwoordt de toets een vraag over een design dat je niet had. Het getal dat er uit rolt is dan niet fout berekend, maar wél het antwoord op de verkeerde vraag.

Zelf opschrijven

Schrijf het op — de t-toets

Voor je eigen Nederlandstalige literatuurstudie:

(onafhankelijk) Patiënten die blended care kregen, rapporteerden na twaalf weken minder angstklachten dan patiënten die de gebruikelijke zorg kregen; het verschil was 2.4 punten (onafhankelijke t-toets, t(100) = −2.75, p = .007, 95%-betrouwbaarheidsinterval [−4.13, −0.67], Cohens d = −0.55).

(gepaard) De totale probleemscore (SDQ) daalde van voor- naar nameting niet significant, van M = 20.50 naar M = 19.29; de gemiddelde verandering per jongere was 1.21 punt (gepaarde t-toets, t(23) = 1.40, p = .17, 95%-BI [−0.57, 2.99]).

Drie werkafspraken daarbij:

Noem wélke t-toets en waarom. “Gepaarde t-toets, want dezelfde jongeren zijn twee keer gemeten.” De lezer moet het design uit je zin kunnen aflezen; de toetsnaam zonder design is een halve mededeling.
Rapporteer t(df), de exacte p, én óf het interval van het verschil óf een effectgrootte. De t alleen is niet genoeg — hij zegt niets over hoe groot het verschil is. De p schrijf je zonder voorloopnul (p = .007, p = .17), de vrijheidsgraden tussen haakjes.
Schrijf bij een niet-significant resultaat “geen aantoonbaar verschil”, nooit “geen verschil”. Dat is geen woordspel — lees hieronder waarom het een wezenlijk andere claim is.

Wat het niet zegt

Twee verleidelijke zinnen, één per toets.

Bij de gepaarde toets: “t(23) = 1.40, p = .17 — de interventie werkt niet.” Twee haarscheurtjes. Ten eerste: niet-significant is niet hetzelfde als geen effect. p = .17 zegt dat een verandering van deze omvang niet verrassend is als er niets aan de hand zou zijn — niet dat er niets aan de hand ís. Het interval [−0.57, 2.99] omvat letterlijk een verbetering van bijna drie SDQ-punten én een lichte verslechtering; de data passen bij een echte, matige winst én bij niets, en bij vierentwintig mensen kan de toets die twee simpelweg niet uit elkaar houden. Afwezigheid van bewijs is geen bewijs van afwezigheid. Ten tweede: dit is een voor-na-meting zonder controlegroep, dus zelfs een significante daling had je niet aan de interventie mogen toeschrijven — natuurlijk beloop en regressie naar het gemiddelde liggen op de loer. Het design begrenst wat welke p dan ook mag zeggen.

Bij de onafhankelijke toets: “t(100) = −2.75, p = .007 — dus een groot, belangrijk effect.” Ook twee haarscheurtjes. Ten eerste: p is geen effectgrootte. p = .007 zegt dat het gat van 2.4 punten onwaarschijnlijk is als de groepen gelijk waren — niet dat het gat groot of klinisch relevant is. Daarvoor kijk je naar het verschil zelf (2.4 punten, Cohens d = −0.55, matig) en naar zijn interval. Een piepkleine p kan op een triviaal effect zitten als N groot is, en een groot effect kan niet-significant zijn als N klein is — zie de gepaarde toets hierboven, en het effectgrootte-blok, waar een d van 1.00 naast een p van .114 staat. Ten tweede: het getal geldt alleen voor het juiste design. Draai de verkeerde t en je p beantwoordt keurig een vraag over een onderzoek dat je niet gedaan hebt. Welke toets bij je data past — dezelfde mensen twee keer is gepaard, twee groepen is onafhankelijk — is een keuze die jij maakt; JASP controleert het niet voor je.

Oefening

Leesopgave. Hieronder twee voorbeeldfragmenten (verzonnen). Ze hebben exact dezelfde t en bijna dezelfde p. Bepaal van elk wélke t-toets het is en waaraan je dat ziet (let op de vrijheidsgraden én op de woorden), en zeg daarna welk van de twee je méér vertelt over de vraag of de behandeling helpt.

Study 1: Symptom scores were lower after treatment than before (M = 30 vs M = 25), t(29) = 2.6, p = .014.

Study 2: Symptom scores were lower in the treatment group than in the control group (M = 25 vs M = 30), t(58) = 2.6, p = .012.

Doe-opgave. Draai beide toetsen (angst_blended.csv onafhankelijk, sdq_toekomstkamer.csv gepaard). Noteer voor de gepaarde SDQ-toets de t, de p én het 95%-interval van de gemiddelde verandering. Vraag één: het resultaat is niet significant — betekent dat dat de interventie geen effect had? Gebruik het interval om te antwoorden. Vraag twee: bij de onafhankelijke angsttoets is het resultaat wél significant (p = .007) — vertelt die kleine p je dat het effect groot is? Kijk naar het verschil zelf en naar d, en beslis.

Uitwerkingen — klik open

Uitwerking leesopgave

Study 1 heeft df = 29 en zegt “after versus before” bij één groep: dat is een gepaarde toets op één groep van dertig (df = N − 1 = 29). Study 2 heeft df = 58 en zet een treatmentgroup tegen een controlgroup: dat is een onafhankelijke toets op twee groepen (df = n₁ + n₂ − 2 = 58, dus ongeveer dertig per groep). Zowel de vrijheidsgraden als de bewoording verraden het: voor/na op dezelfde mensen tegenover groep-tegen-groep. En dan de clou: allebei hebben ze t = 2.6 en p rond .013, en tóch mag je uit study 2 meer concluderen. Study 1 is een voor-na-daling zonder controlegroep — die kan net zo goed natuurlijk beloop of regressie naar het gemiddelde zijn. Study 2 heeft een vergelijkingsgroep, en dus is het verschil daar het echte behandelcontrast. Niet het getal maar het design beslist wat je mag zeggen.

Uitwerking doe-opgave

Gepaard: t(23) = 1.40, p = .17, en het interval van de verandering loopt van −0.57 tot 2.99. Niet-significant betekent hier níét “geen effect”: het interval omvat verbeteringen tot bijna drie SDQ-punten én een kleine verslechtering, dus bij N = 24 kan de toets een bescheiden echte winst niet onderscheiden van niets. Je schrijft “geen aantoonbare verandering” op, niet “geen verandering”. Onafhankelijk: p = .007 is klein, wat zegt dat een gat van 2.4 punten onwaarschijnlijk is als de groepen gelijk waren — maar dat gaat over verrassing, niet over omvang. De omvang lees je af aan het verschil zelf: 2.4 punten op de angstschaal, met standaarddeviaties rond de 4.2–4.6, komt neer op Cohens d = −0.55, een matig effect. De kleine p maakt het effect niet groot; “significant” en “groot” zijn twee verschillende dingen.

◠ Zelfde vorm in het boek

Hier: twee gemiddelden vergelijken, en de vraag of hun verschil groter is dan het toeval geeft.

In het boek: W6 — Bestaat het verschil echt?

Daar is de toets de omkering van het schatten: niet “hoe groot is het”, maar “stel dat er niets was — hoe verrassend is dit dan?”

TODO: de boek-eenheid W6 (Bestaat het verschil echt?) is nog een grove schets (v0). Anker en formulering hier checken zodra dat hoofdstuk staat.