Vierde beweging · Verschil onthechten

Oefening 9.2 · De t-toets

Twee gemiddelden vergelijken, gepaard of onafhankelijk · paired & independent t-test

Data bij deze oefening — penguins.csv 342 pinguïns · slaap_middelen.csv slaapmiddelen, 1905 · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

Twee raadsels over één woord: verschil

verschil tussen twee gemiddelden · echt of toeval

Twee kleine raadsels, allebei over hetzelfde woord: verschil.

Het eerste is meer dan honderd jaar oud.¹ Tien mensen krijgen twee nachten lang elk een ander slaapmiddel, en iemand meet hoeveel uur extra slaap ze ervan krijgen. Middel A levert gemiddeld 0.75 uur op, middel B 2.33 uur. Middel B wint dus met 1.58 uur. Maar het zijn er maar tien, en mensen slapen de ene nacht nu eenmaal anders dan de andere. Is die 1.58 uur een echt verschil tussen de middelen — of hadden we gewoon een paar goede nachten voor B?

Het tweede raadsel staat op een rots bij Antarctica.² Gentoo-pinguïns wegen gemiddeld 5076 gram, Adélies 3701 gram. Dat is 1375 gram verschil — anderhalve kilo, een flink beest lichter. Maar we hebben niet álle pinguïns gewogen, alleen degene die we toevallig oppakten. Is die 1375 gram het échte soortverschil, of hadden we pech (of geluk) met wie er in onze armen belandde?

Dezelfde vraag, twee keer: bestaat het verschil echt, of danst het op toeval? En let straks op iets moois — bij de pinguïns wordt het antwoord zó overweldigend dat de interessante vraag verschuift. Trek even mee.

speel het

Draai allebei de t-toetsen

gepaard versus onafhankelijk · t · p · 95%-CI

Eerst zoals in het boek — de twaalf diamantjes

Open diamantjes.csv en ga naar Analyze → Compare Means → Independent-Samples T Test.
glans naar Test Variable(s), merk naar Grouping Variable; klik Define Groups en vul golfje en sterretje in.
Lees deze ene keer de rij Equal variances assumed.

* golfje als Group 1, sterretje als Group 2: SPSS rekent golfje min sterretje.
T-TEST GROUPS=merk('golfje' 'sterretje')
  /VARIABLES=glans.

Golfje tegen sterretje: t(10) = −1.73, p = .11. Het verschil is met het blote oog te zien, maar de toets zegt: bij twaalf steentjes kan dit ook toeval zijn. Onthoud die −1.73 — hij komt in de volgende twee oefeningen nog terug. In de vórige oefening stond hij er trouwens ook al, met een plus ervoor: daar was het golfje het vertrekpunt, dus rekende de dummy sterretje mín golfje. Zelfde toets, andere richting.

Blijf nog even bij die rij Equal variances assumed hangen, want daar zit meer onder dan een instelling. Stel dezelfde vraag twee keer — één keer als toets, één keer als regressie:

In SPSS · dezelfde som, twee keer opgeschreven

Transform → Compute Variable: noem de Target Variable sterretje en typ bij Numeric Expression merk = "sterretje". Dat is een dummy: 1 voor een sterretje, 0 voor een golfje.
Analyze → Regression → Linear, glans als Dependent en sterretje bij Independent(s).
Kijk in de tabel Coefficients naar de rij sterretje.

* Een dummy: 1 voor een sterretje, 0 voor een golfje.
COMPUTE sterretje = (merk = "sterretje").
EXECUTE.

* Dezelfde vraag als regressie.
REGRESSION
  /DEPENDENT glans
  /METHOD=ENTER sterretje.

In de rij sterretje hoort t = 1.732 te staan, met dezelfde Sig. als in de t-toets. Staat er alleen een intercept, dan is de dummy niet aangemaakt.

Niet ongeveer hetzelfde — dezelfde t, dezelfde tien vrijheidsgraden, dezelfde p. Alleen het teken draait om: de t-toets rekent hier golfje mín sterretje, en de dummy rekent sterretje mín golfje. Dat is dezelfde spiegeling als in Oefening 9.1, en verder verandert er niets.

Een t-toets op twee groepen lijkt dus niet op een regressie: het ís er een. Je voorspelt de glans uit één voorspeller, het merk, en dan houd je n − 2 = 10 vrijheidsgraden over — precies waar de rij Equal variances assumed zelf ook op uitkomt, want n₁ + n₂ − 2 = 6 + 6 − 2 = 10. Twee routes, dezelfde som.

Kijk nu in de t-toets één rij lager, en bij Group Statistics naar de twee spreidingen. SPSS heeft ze allebei al afgedrukt; daar hoef je niets voor aan te zetten.

De rij Equal variances not assumed is de Welch-toets. De t blijft staan, maar de vrijheidsgraden zakken van 10 naar 8.62 en de p schuift van .11 naar .12. Welch neemt namelijk niet aan dat de twee merken even veel spreiden — en kijk maar bij Group Statistics, dat doen ze ook niet: 23.66 tegen 15.49, ruim anderhalf keer zo breed. Die voorzichtigheid betaal je in vrijheidsgraden, en aan die gebroken 8.62 zie je dat je betaald hebt.

Overal in deze boekjes lezen we Welch, want hij is voorzichtiger en je hoeft er niets voor te kiezen. Bij deze twaalf steentjes niet, en dat is met opzet: van Welch bestaat geen gewone regressie-versie, en dit is de plek waar we die twee juist gelijk willen zien vallen. Bij de pinguïns hieronder lees je dus gewoon weer de Welch-rij. Links in die tabel staat ook Levene’s Test, en je eigen vak vraagt je misschien om die eerst te lezen en dán een rij te kiezen — dat hoeft van ons niet, want wij lezen altijd Welch.

Nu jij — twee keer, want er zijn twee soorten t-toets. De pinguïns ken je; de slaapmiddelen van 1905 zijn nieuw, en die zijn juist bedoeld om het verschil tussen de twee toetsen te laten voelen.

Twee raadsels, twee toetsen — en het verschil zit in het design. Bij de slaapmiddelen meten we dezelfde tien mensen twee keer; die twee kolommen horen per rij bij elkaar. Dat vraagt een gepaarde t-toets (paired). Bij de pinguïns hebben we twee losse groepen dieren, geen koppels — dat vraagt een onafhankelijke t-toets (independent). Doe ze allebei.

In SPSS · de slaapmiddelen (gepaard)

Open slaap_middelen.csv in SPSS: File → Open → Data, bestandstype CSV.
Ga naar Analyze → Compare Means → Paired-Samples T Test.
Zet slaap_middelA en slaap_middelB samen als Paar 1 (Variable1 en Variable2).
Onder Options kun je het CI-niveau kiezen; in SPSS 27+ staat Cohen’s d in de aparte Effect Sizes-tabel bij de output.

* A en B horen per rij bij dezelfde persoon: PAIRED koppelt ze.
T-TEST PAIRS=slaap_middelA WITH slaap_middelB (PAIRED)
  /CRITERIA=CI(.95)
  /ES DISPLAY(TRUE).

Rechts lees je af: het verschil A − B = −1.58 uur, t(9) = −4.06, p = .003, en een 95%-interval van [−2.46, −0.70]. Het min-teken zegt alleen dat A mínder oplevert dan B; de grootte is 1.58 uur. De p van .003 zegt: als de twee middelen in werkelijkheid even goed waren, zou je zó’n verschil bij tien mensen zelden per ongeluk tegenkomen. En dat interval is eerlijker dan de p: het beste dat je over het echte verschil durft te zeggen is “ergens tussen 0.70 en 2.46 uur in B’s voordeel”. Klein onderzoek, breed interval — het interval is meteen zijn eigen slag om de arm.

In SPSS · de pinguïns (onafhankelijk)

Open penguins.csv in SPSS: File → Open → Data, bestandstype CSV.
Ga naar Analyze → Compare Means → Independent-Samples T Test.
Zet gewicht bij Test Variable(s) en soort bij Grouping Variable.
Klik Define Groups en typ Adelie als Group 1 en Gentoo als Group 2 — zo doet de derde soort niet mee. (Cohen’s d staat in SPSS 27+ in de Effect Sizes-tabel.)

* Adelie als Group 1, Gentoo als Group 2: de Chinstraps doen niet mee.
T-TEST GROUPS=soort('Adelie' 'Gentoo')
  /VARIABLES=gewicht
  /CRITERIA=CI(.95)
  /ES DISPLAY(TRUE).

Lees de rij Equal variances not assumed: de Welch-toets, het huismerk van deze boekjes.

SPSS rekent Group 1 mín Group 2, dus Adélie mín Gentoo, en dan hoort de t negatief te zijn. Staat er een positieve t, dan heb je Gentoo eerst ingetypt.

Kijk naar die t van −23.39, en naar het interval dat helemaal onder nul ligt. De rij erboven, Equal variances assumed, geeft een net iets andere t. Bij de twaalf diamantjes vielen die twee samen, want daar stonden zes tegen zes; hier staan 151 Adélies tegen 123 Gentoo’s, die ook nog verschillend spreiden, en dan gaan de twee rijen een klein beetje uiteen. Jij leest de onderste. Je typte Adélie als eerste groep, en SPSS rekent de eerste min de tweede, dus negatief betekent gewoon: de Adélies zijn lichter. Bij de slaapmiddelen was de t −4.06 en dat vonden we al overtuigend; hier is-ie bijna zes keer zo groot. De p is zó klein dat SPSS ’m als “.000” toont (lees: kleiner dan .001). Onthoud dat cijfer even — in “Snap het” blijkt het minder indrukwekkend dan het lijkt.

schud het

Duizend werelden waarin de waarheid nul is

labels husselen · teken omgooien · toeval-bergje rond nul

Nu de vraag die telt: bestaat het verschil écht? Je zou het toeval willen nabouwen. De truc is telkens dezelfde, en hij is mooi: je bouwt duizend werelden waarin de waarheid nul is — waarin er per definitie géén verschil bestaat — en kijkt hoe ver puur geluk het gemeten verschil dan tóch van nul wegtrekt. In geen enkele van die werelden meet je precies nul; het toeval laat het verschil dansen om nul. Die dans is een bergje. Ligt jouw echte verschil ín het bergje, dan kan toeval het verklaren. Ligt het erbuiten, dan is het echt.

Bij de pinguïns bouw je die nul-werelden door de soort-labels te husselen: je houdt alle gewichten precies zoals ze zijn, maar plakt er lukraak “Gentoo” of “Adélie” op. Dát is de kern, en het is belangrijk genoeg om even stil bij te staan: door te husselen koppel je de soort los van het gewicht. Je haalt met eigen handen weg dat een bepaald dier bij een bepaalde soort hoort, zodat de soort niets meer over het gewicht zegt — en het echte soortverschil per definitie nul is. Bij de slaapmiddelen — ander design — gooi je per persoon een muntje dat bepaalt of zijn verschil met plus of min meetelt; ook dat koppelt het verschil los van de vraag welk middel A heette. Twee manieren van husselen, één idee.

En hier moet ik eerlijk zijn: dat husselen is geen knop in SPSS. SPSS rekent één keurige uitkomst uit; duizend nul-werelden bouwen en kijken waar het toeval landt is speeltje- of code-werk. Dat is geen gemis van jou of van SPSS — het boek doet het bewust zo: de schud-ervaring loopt via een schud-speeltje in de browser (of via het R-broertje, waar het een paar regels zijn).

▶ Speel het schud-speeltje

Wat je in dat speeltje ziet, voor de pinguïns: duizend werelden waarin soort er niet toe doet, en het toeval komt niet verder dan zo’n 386 gram van nul — een klein beetje geschommel. En dan de echte 1375 gram, kilometers rechts van het hele bergje. Geen enkele nul-wereld haalt jouw verschil, of komt zelfs maar in de buurt. Voor de slaapmiddelen hetzelfde beeld: het toeval danst om nul en de echte −1.58 uur ligt aan de uiterste rand. Dát is “geen toeval”: geen p-waarde die je moet geloven, maar een afstand die je zíet. Kort gezegd: duizend werelden waarin de waarheid nul is, maar het gemeten verschil nooit precies nul.

Dus: beide verschillen zijn echt. Zaak gesloten? Nee — en dit kun je wél gewoon weer in SPSS.

snap het

Echt is niet hetzelfde als belangrijk

effectgrootte · Cohens d · significantie en steekproefgrootte

Allebei de verschillen zijn dus echt, geen toeval. Maar “echt” is niet hetzelfde als “belangrijk”, en juist de pinguïns laten dat scherp zien.

Herinner je die t van −23.39 en de p die als “.000” verscheen? Die duizelingwekkende getallen betekenen niet dat het pinguïn-verschil belangrijker is dan het slaap-verschil. Ze zijn zo groot om twee saaie redenen: het verschil is bruut (anderhalve kilo) én we hebben veel dieren (274 stuks). Een t-toets straft kleine steekproeven af en beloont grote; gooi er genoeg waarnemingen in en zelfs een schamel verschil wordt “hoogsignificant”. Bij een groot, duidelijk verschil met een royale N is significantie triviaal — de toets bevestigt alleen wat je met het blote oog al zag. De interessante vraag is dan niet óf er verschil is, maar hoe groot.

Daarvoor bestaat de effectgrootte (effect size) — een verschil losgemaakt van de steekproefgrootte. Voor twee groepen is dat Cohens d: het verschil uitgedrukt in standaarddeviaties. Je hebt het bij “Speel het” al aangevinkt.

In SPSS · hoe groot is groot? (Cohens d)

Kijk in de output van de Independent-Samples T Test naar de aparte Effect Sizes-tabel (SPSS 27 en later): daar staat Cohen’s d. Zie je die tabel niet, dan draai je een oudere SPSS — reken d dan met de hand of gebruik het R-broertje.

d = 2.87 — SPSS zet er een minteken voor, en dat is weer alleen de volgorde die jij intypte, Adélie min Gentoo. Zo’n d is enorm: de twee soorten liggen bijna drie standaarddeviaties uit elkaar; wijs een willekeurige Gentoo en een willekeurige Adélie aan en de Gentoo is vrijwel altijd zwaarder. Dáár zit het echte verhaal, niet in de t.

En de slaapmiddelen, met hun bescheiden N van 10? De effectgrootte voor een gepaard verschil heet d_z (SPSS toont ’m als Cohen’s d in de Effect Sizes-tabel bij de Paired-Samples T Test), en die is hier −1.28 — ook fors. Het verschil tussen A en B is meer dan één standaarddeviatie groot. Klein onderzoek, maar geen klein effect. Precies het omgekeerde plaatje van de pinguïns: daar was de t spectaculair en het nieuws de grootte; hier is de t bescheiden en is de grootte nog steeds het nieuws.

En nog één ding, om de oefeningen aan elkaar te knopen. Die 1375 gram tussen Gentoo’s en Adélies heb je in Oefening 9.1 al zien staan, en niet als gemiddelde maar als regressiegewicht: het was daar het getal bij de Gentoo-dummy. Dezelfde vergelijking, één keer als toets en één keer als lijn. Wat de t-toets eraan toevoegt is niet het verschil zelf maar de vraag eromheen — hoe ver kan toeval dit verschil namaken?

De les van dit blok, in drie zinnen:

Het design kiest de toets. Dezelfde mensen twee keer gemeten → gepaard. Twee losse groepen → onafhankelijk. Dat is geen smaak maar een feit over je data.
Significant zegt “waarschijnlijk niet nul”, niet “groot”. Bij veel data is significantie goedkoop; laat je niet imponeren door een t van 23.
De grootte is de vraag die overblijft. Rapporteer altijd een effectgrootte naast de toets — d, een interval, of gewoon het verschil in gewone eenheden (uren, grammen). Dát is wat een mens wil weten.

Zou je het in één eerlijke zin opschrijven: niet “het verschil is significant (p < .001)”, maar: Gentoo’s zijn gemiddeld 1375 gram zwaarder dan Adélies (95% CI [1260, 1491]), een zeer groot effect (d = 2.87). Het getal met een maat eromheen, niet een sterretje. Deze zin rekent andersom, Gentoo min Adélie, en dan draait alles om: het interval van −1491.18 tot −1259.53 op je scherm wordt hier 1259.53 tot 1491.18 (op hele grammen [1260, 1491]), en de d verliest zijn minteken.

jouw beurt

Dezelfde tien slapers, van twee kanten bekeken

gepaard versus onafhankelijk · persoonsverschillen · samenhang tussen twee metingen

Jouw beurt — bekende data, en een toets die je van een andere kant benadert. De les hierboven was: het design kiest de toets. Nu ga je zien wat die keuze waard is: je draait dezelfde twintig metingen twee keer, één keer zoals het hoort en één keer zoals het níét hoort, en je kijkt wat dat kost.

Zet eerst klaar, en beantwoord daarna de vragen. De laatste heet met opzet Z) en niet l): de aannames staan altijd achteraan, en die vreemde letter zegt “en ook, elke keer, deze”. En onder Tentamenvragen, aan het eind van deze oefening, staan dezelfde onderwerpen nog een keer in de vorm waarin een tentamen ze stelt.

In SPSS · zet klaar

Open slaap_middelen.csv in SPSS: File → Open → Data, bestandstype CSV.
Ga naar Transform → Compute Variable: noem de Target Variable verschil en vul bij Numeric Expression slaap_middelA - slaap_middelB in.

COMPUTE verschil = slaap_middelA - slaap_middelB.
EXECUTE.

In de Data View hoort nu een derde kolom te staan met tien verschillen, en de bovenste hoort −1.2 te zijn — A mín B, per persoon.

Jouw beurt

a) Hoeveel mensen doen er mee, en hoeveel metingen heeft elk van hen? Waar in de tabel zie je dat de twee metingen bij dezelfde persoon horen? (twee getallen en één zin over de vorm van de tabel)

b) Hoeveel uur extra slaap leverden de twee middelen gemiddeld op, en hoeveel scheelt dat? (rapporteer M per middel en het verschil, in uren)

c) Schrijf de nulhypothese voor de gepaarde toets voluit op, in woorden én in symbolen. (één zin, en die ook in symbolen)

d) Draai de gepaarde toets nog eens, zoals bij “Speel het”: Analyze → Compare Means → Paired-Samples T Test, met slaap_middelA en slaap_middelB samen als Paar 1. (rapporteer t(df), p en het 95%-interval)

e) Draai nu dezelfde twintig metingen als twee lósse groepen. SPSS heeft daar wél een knop voor — Data → Restructure → Restructure selected variables into cases kantelt de tabel naar één rij per meting — maar die kanteling vervangt je brede tabel, en die heb je bij g) en h) nog nodig. Neem daarom nu de uitkomst van het R-broertje over: t = −1.86, df = 17.78, p = .079, 95% CI [−3.37, 0.21]. (noteer alle vier de getallen)

f) Vergelijk d) en e). Eén getal is in beide toetsen precies hetzelfde. Welk, en wat is er dan wél veranderd? (één getal, en wat de twee intervallen verschillend doen)

g) Vraag drie spreidingen op via Analyze → Descriptive Statistics → Descriptives: die van middel A, die van middel B, en die van verschil — de tien persoonsverschillen. (drie getallen)

h) Reken de samenhang tussen de twee metingen uit met Analyze → Correlate → Bivariate op slaap_middelA en slaap_middelB. (rapporteer r)

i) Leg g) en h) naast elkaar en verklaar waarom de gepaarde t ruim twee keer zo groot is. (één breuk in woorden: wat staat er boven en wat onder de streep)

j) Kijk naar de tien verschillen zelf. Hoeveel mensen sliepen er beter op B, hoeveel beter op A, en hoeveel precies even lang? (drie getallen)

k) Welke van de twee toetsen liegt hier? En stel dat die samenhang géén .80 was maar ongeveer nul — wat zou er dan met de spreiding van de tien verschillen gebeuren, en dus met het verschil tussen de twee p’s? (één keuze en twee gevolgen)

Z) Mag je alles hierboven geloven? De gepaarde t-toets leunt op één aanname, en die gaat niet over de twee kolommen maar over de tien verschillen. Welke is dat, en houdt hij hier stand? Kijk naar de tien getallen zelf. (één aanname, en het getal in de rij dat je aan het twijfelen brengt)

Antwoord — open na je eigen poging

a) 10 mensen, elk 2 keer gemeten. Je ziet het aan de vorm van de tabel: er staat één rij per persoon met twee kolommen ernaast. Die twee getallen op één rij horen bij hetzelfde mens — dát is wat “gepaard” betekent.

b) Middel A gaf M = 0.75 uur extra slaap, middel B M = 2.33 uur. B wint met 1.58 uur.

c) De nulhypothese: de twee middelen leveren gemiddeld evenveel extra slaap op, dus het gemiddelde verschil is in de populatie nul. In symbolen: \(H_0:\ \mu_d = 0\) tegen \(H_1:\ \mu_d \neq 0\), waarin \(d\) het verschil per persoon is. Je mag het ook als \(H_0:\ \mu_A = \mu_B\) schrijven; één van de twee is genoeg. Grieks, want het gaat over de populatie en niet over deze tien.

d) t(9) = −4.06, p = .003, 95% CI [−2.46, −0.70]. Het min-teken zegt alleen dat A mínder oplevert dan B.

e) t = −1.86, df = 17.78, p = .079, 95% CI [−3.37, 0.21] — de getallen uit het R-broertje.

f) Het verschil zelf: −1.58 uur, in allebei de toetsen precies gelijk. Wat er wél verandert is de onzekerheid eromheen. Het gepaarde interval loopt van −2.46 tot −0.70 en blijft aan één kant van de nul; het onafhankelijke loopt van −3.37 tot 0.21 en pákt de nul erbij. Zelfde data, zelfde verschil, ander oordeel.

g) SD(A) = 1.79, SD(B) = 2.00, SD(verschil) = 1.23. De tien verschillen spreiden dus mínder dan de twee kolommen waar ze uit komen.

h) r = .80. Wie makkelijk slaapt, sliep op állebei de middelen veel; wie ligt te woelen, op allebei weinig.

i) Een t is een verschil gedeeld door een spreiding. Boven de streep staat in allebei de toetsen dezelfde −1.58. Onder de streep niet: de gepaarde toets rekent met de spreiding van de tien verschillen (1.23) en komt op een standaardfout van 0.39, de onafhankelijke rekent met de twee losse spreidingen (1.79 en 2.00) en komt op 0.85. Deel hetzelfde getal door iets kleiners en er komt een grotere t uit — vandaar −4.06 tegen −1.86. Wat de onafhankelijke toets weggooit, is precies die r van .80.

j) Negen van de tien sliepen beter op B, niemand beter op A, en één precies even lang. Dat is het concreetste bewijs dat er iets te koppelen valt: negen van de tien wijzen dezelfde kant op, hoe verschillend die mensen onderling ook slapen.

k) De onafhankelijke liegt. Die doet alsof de twintig metingen van twintig verschillende mensen komen, en dat is niet zo. Lag de samenhang rond nul, dan zou de spreiding van de verschillen niet 1.23 zijn maar ongeveer 2.69 — de twee losse spreidingen die dan niets van elkaar afhalen — en dan lopen de twee toetsen bijna gelijk. De winst van het gepaarde design zit dus niet in de toets maar in de samenhang: hoe sterker de twee metingen samenhangen, hoe meer je eraan hebt.

Z) Hadden we zomaar een gepaarde t-toets mogen doen? Wat is de aanname? Dat de verschilscores normaal verdeeld zijn — niet de twee kolommen. Zijn déze verschilscores normaal verdeeld? Nee — geen enkele steekproef is precies normaal verdeeld. Maar dat is de aanname ook niet: de aanname is dat de verschilscores normaal verdeeld zijn in de populatie waar ze uit komen.

En hier is het eerlijke antwoord: hij wankelt. Kijk naar de rij — −1.2 −2.4 −1.3 −1.3 0.0 −1.0 −1.8 −0.8 −4.6 −1.4. Negen getallen liggen tussen 0 en −2.4, en dan is er één van −4.6. Die ene trekt de rij scheef, en bij tien waarnemingen weegt hij zwaar.

Wat dat kost, en wat niet: haal je die persoon weg, dan wordt de uitkomst sterker, niet zwakker — t = −5.66 met p < .001 in plaats van t = −4.06 met p = .003. De conclusie draait dus niet om. Maar dat had je niet kunnen weten zonder te kijken, en dat is het hele punt van deze vraag: je zou het eigenlijk even moeten toetsen.

tentamen

Tentamenvragen

het design kiest de toets · de breuk onder de t · Welch · echt tegenover groot

Deze zes hebben de vorm waarin een tentamen dit onderwerp stelt: vier opties, en precies één is de beste — de andere drie kunnen best waar klínken en toch niet het beste antwoord zijn. Rekenen hoeft alleen bij vraag 2, en schatten mag daar ook: 1.23 gedeeld door ruim drie is ongeveer 0.4, en daarmee heb je hem al.

Tentamenvragen

1. Dezelfde twintig metingen van de tien slapers, twee keer geanalyseerd. Gepaard: t(9) = −4.06, p = .003. Als twee losse groepen: t(17.78) = −1.86, p = .079. Welke uitspraak is de beste?

De onafhankelijke toets is de voorzichtigste van de twee — hij komt niet eens onder .05 — dus dat is de uitkomst die je rapporteert.
De twee toetsen spreken elkaar tegen over dezelfde tien mensen — de ene komt onder .05 en de andere niet — dus je hebt een derde toets nodig om te zien welke van de twee gelijk heeft.
Je mag zelf kiezen: het gemeten verschil is in allebei 1.58 uur, dus alleen de p hangt aan je keuze.
De gepaarde toets hoort hier, want dezelfde tien mensen zijn twee keer gemeten; de onafhankelijke doet alsof het twintig verschillende mensen zijn en gooit de samenhang tussen die twee metingen weg.

2. De tien persoonsverschillen (A min B) hebben M = −1.58 uur en SD = 1.23 uur. Een t is een verschil gedeeld door een standaardfout, en die standaardfout is de spreiding gedeeld door de wortel uit het aantal: SE = SD / √n. Welke standaardfout en welke t horen bij de gepaarde toets? (De standaardfouten staan op vier decimalen, zodat elk paar op zichzelf narekenbaar is.)

SE = 0.1230 uur en t = −12.85
SE = 0.3890 uur en t = −4.06
SE = 0.8491 uur en t = −1.86
SE = 1.2300 uur en t = −1.28

3. Bij de twaalf diamantjes staat in de rij Equal variances assumed df = 10 op je scherm, en in de rij Equal variances not assumed df = 8.62. Waar komt dat gebroken getal vandaan?

Welch laat de steentjes weg die te ver van hun eigen groepsgemiddelde af liggen.
Vrijheidsgraden zijn n − 2, dus 12 − 2 = 10; die 8.62 is een afrondfout van SPSS.
Welch neemt niet aan dat de twee merken even veel spreiden in glans, en die voorzichtigheid betaal je in vrijheidsgraden.
8.62 is het aantal steentjes dat meetelt nadat SPSS de twee merken tot één hoop heeft samengevoegd en de randgevallen half heeft geteld.

4. De pinguïn-toets geeft t = −23.39 met een p die SPSS als “.000” toont; de slaap-toets geeft t = −4.06 met p = .003. Welke uitspraak is de beste?

Het gewichtsverschil tussen de soorten is belangrijker dan het slaapverschil tussen de middelen, want de t is er bijna zes keer zo groot.
De t is negatief, dus de Gentoo’s zijn lichter dan de Adélies.
Die t is hoog om twee saaie redenen — een bruut verschil en 274 dieren — en hoe groot het verschil is, zegt d = 2.87.
Bij een p die het programma niet eens meer voluit op het scherm schrijft, staat vast dat de twee soorten in gewicht van elkaar verschillen.

5. Voor diezelfde tien slapers geeft de gepaarde toets 95% CI [−2.46, −0.70] uur en de onafhankelijke 95% CI [−3.37, 0.21] uur. Wat is het scherpste verschil tussen die twee intervallen?

Het gepaarde interval is smaller, dus het echte verschil tussen de twee middelen is daar groter dan de onafhankelijke toets laat zien.
De twee intervallen liggen om een ander gemeten verschil heen, en daar komt de andere breedte vandaan; hetzelfde verschil zou hetzelfde interval geven.
Het onafhankelijke interval bevat de nul, dus daar is aangetoond dat de twee middelen even veel extra slaap opleveren en het verschil dus nul is.
Het gepaarde interval blijft aan één kant van de nul; het onafhankelijke pakt de nul erbij.

6. De gepaarde t-toets leunt op één normaliteitsaanname. Waarover gaat die?

Over de tien metingen van middel A en de tien van middel B, elk apart.
Over de twintig metingen samen op één hoop.
Over de tien verschilscores, in de populatie waar ze uit komen — dus over de rij die je krijgt door per persoon A van B af te trekken, en niet over de twee kolommen waar die rij uit ontstaat.
Over niets: bij tien personen valt normaliteit toch niet te toetsen, en een aanname die je niet kunt nakijken kun je ook niet schenden, dus hier vervalt hij.

Antwoord — open na je eigen poging

1 d · 2 b · 3 c · 4 c · 5 d · 6 c

Hieronder staat per vraag waaróm, en waarom de drie andere opties aantrekkelijk zijn. Heb je er een goed, dan kun je die overslaan.

1. d. Het design kiest de toets, en dat is geen smaak maar een feit over je data: twee getallen op één rij horen bij hetzelfde mens. a is de verleidelijkste van de drie, want dit blok noemt Welch een paar alinea’s eerder zélf voorzichtiger, en voorzichtig klinkt veilig. Maar voorzichtig-zijn helpt alleen tegen een aanname die je niet durft te doen; hier weet je zeker dát de metingen gepaard zijn, en dan is de onafhankelijke toets niet voorzichtig maar verkeerd. b ziet twee uitkomsten en denkt aan een derde meting. Er is niets tegenstrijdigs: het gemeten verschil is in allebei precies −1.58 uur, en alleen de onzekerheid eromheen verschilt. c heeft dat goed gezien en trekt er de verkeerde conclusie uit — dat twee toetsen hetzelfde verschil vinden, maakt ze niet allebei geldig.

2. b. De gepaarde toets rekent met de spreiding van de tien verschillen: 1.23 / √10 = 0.3890, en −1.58 / 0.3890 = −4.06.

Let op die vier decimalen, want daar zit een val. Rapporteren doe je 0.39, maar rond je op 0.39 áf en deel je dán, dan staat er −4.05 en niet −4.06. Dat is dezelfde val die Oefening 9.3 bij f) uitlegt: rond af aan het eind, nooit onderweg. Daarom staan de standaardfouten in de vraag op vier decimalen — zo komt elk van de vier paren op zichzelf uit.

a deelt door 10 in plaats van door de wortel uit 10: 1.23 / 10 = 0.1230, en −1.58 / 0.1230 = −12.85. Dat is de meest gemaakte fout in deze som, en hij valt op doordat de uitkomst absurd groot wordt — een t van bijna dertien bij tien mensen bestaat niet. c zijn de twee getallen van de ónafhankelijke toets, die je bij vraag 1 naast de gepaarde zag staan: 1.58 / 0.8491 geeft inderdaad 1.86. Goede getallen, verkeerde toets — die 0.8491 komt uit de twee lósse spreidingen (1.79 en 2.00) en niet uit de spreiding van de tien verschillen. d deelt het verschil door de spreiding zelf in plaats van door de standaardfout, en vergeet dus de wortel helemaal. Dat geeft geen t maar een effectgrootte: precies de d_z van −1.28 die een paar alinea’s hoger staat. Vandaar dat dat getal zo bekend voelt.

3. c. Welch gunt elk merk zijn eigen spreiding, en betaalt die voorzichtigheid in vrijheidsgraden — dáár zie je aan de gebroken 8.62 dat er betaald is. a verzint een opschoning: geen van beide toetsen gooit ooit een waarneming weg. b rekent de goede som voor de verkéérde toets. In de rij assumed is n − 2 = 10 inderdaad het antwoord, en die 10 staat er ook; wat het niet verklaart is waarom het getal ernaast gebroken is, en een programma dat vrijheidsgraden afrondt bestaat niet. d leest 8.62 als een aantal steentjes. Er zijn er twaalf, en 8.62 steentjes bestaan niet — dat is precies de aanwijzing dat vrijheidsgraden geen dingen tellen.

4. c. Een t straft kleine steekproeven af en beloont grote; gooi er genoeg waarnemingen in en zelfs een schamel verschil wordt hoogsignificant. De grootte staat in d, niet in t. a leest de t als een belangrijkheidsmaat, en dat is precies de val waar deze sectie van het blok tegen bestaat. b heeft het teken goed gezien en de volgorde niet: jij typte Adelie als Group 1, en SPSS rekent Group 1 min Group 2, dus Adélie min Gentoo — de Adélies zijn de lichte. d maakt van een kleine p zekerheid. Hoe klein hij ook wordt, een p zegt hoe raar je verschil zou zijn als er niets was; hij wordt nooit een garantie.

5. d. Zelfde data, zelfde verschil, ander oordeel — en dat oordeel zie je aan één ding: of de nul binnen het interval valt. a leest breedte als grootte. Het gemeten verschil is in allebei −1.58 uur; alleen de onzekerheid eromheen verschilt. b verzint een tweede verschil dat er niet is, en dat is te controleren: het midden van [−2.46, −0.70] is −1.58, en het midden van [−3.37, 0.21] is óók −1.58. c springt van “de nul zit erin” naar “gelijk bevonden”. Dat interval laat verschillen van bijna drieënhalf uur in B’s voordeel net zo goed toe als nul; het zegt dat je het niet weet, niet dat er niets is.

6. c. De aanname zit op de tien verschilscores, want dát is de rij waarop de toets rekent. a is de aanname van de ónafhankelijke toets, en juist die draaien we hier niet. b gooit de twintig metingen op één hoop en verliest daarmee de koppeling per persoon — dezelfde fout die de onafhankelijke toets bij vraag 1 maakte. d begint waar met “valt niet te toetsen” en gaat daarna tweemaal de mist in. Een aanname die je niet kunt nakijken kun je wel degelijk schenden — hij gaat over de populatie en die trekt zich van jouw toetsvermogen niets aan — en hij vervalt dus ook niet. Juist omdát een toets weinig zegt bij tien getallen, kíjk je naar de rij. Doe je dat hier, dan zie je tussen negen getallen van 0 tot −2.4 één van −4.6 staan — de aanname vervalt niet, hij wankelt.

Wil je de getallen uit vraag 2 zelf zien ontstaan, pak dan je rekenmachine. Het gemiddelde verschil (−1.58) en de spreiding van verschil (1.23) staan in Analyze → Descriptive Statistics → Descriptives op de kolom verschil die je bij het klaarzetten maakte:

vraag 2b: de standaardfout die erbij hoort, en de t eruit: 1.23 / √10 = 0.3890 en −1.58 / 0.3890 = −4.06
vraag 2b: en dit is de val, eerst afronden en dan pas delen: −1.58 / 0.39 = −4.05
vraag 2a: delen door 10 in plaats van door de wortel uit 10: 1.23 / 10 = 0.1230 en −1.58 / 0.1230 = −12.85
vraag 2d: delen door de spreiding zelf geeft geen t maar d_z: −1.58 / 1.23 = −1.28
vraag 2c: de standaardfout van de ónafhankelijke toets is 0.8491. Die staat niet op jouw scherm: het R-broertje rekent hem uit, onderaan zijn eigen tentamenantwoorden. Uit e) kun je hem ook terugrekenen: 1.58 / 1.86 ≈ 0.85. En dan de t: −1.58 / 0.8491 = −1.86

◠ Zelfde vorm in het boek

Hier: twee groepen (of twee metingen), één verschil, en de vraag of dat verschil het toeval overleeft — plus hoe groot het eigenlijk is.

In het boek: W6 — Bestaat het verschil echt?

Daar komt de toets pas ná het interval en na de simulatie: eerst vóélen hoe ver toeval reikt, dan pas de vraag “stel dat er niks was”.

Voetnoten

Cushny & Peebles (1905), het klassieke slaapmiddelen-experiment — dezelfde data waarop Student in 1908 zijn t-verdeling demonstreerde. slaap_middelen.csv, 10 personen. Alle getallen nagerekend.↩︎
Palmer Penguins — Gorman, Williams & Fraser (2014), Palmer Station Antarctica LTER; via het R-pakket palmerpenguins (CC0). penguins.csv. Alle getallen op die échte data nagerekend.↩︎