Derde beweging · Verschil op de proef

Oefening 5.1 · Het betrouwbaarheidsinterval

Het verschil tussen twee gemiddelden, geschat mét zijn onzekerheid · confidence interval

Data bij deze oefening — plantgroei.csv plantgroei onder drie condities · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

Hoe zeker is die 0.87 gram?

schatting uit een steekproef · onzekerheid

Dertig potten in een kas, dertig dezelfde plantjes.1 Tien kregen gewoon water, tien kregen plantenvoer één, tien plantenvoer twee. En toen — dit is het onsentimentele deel — werden alle dertig geknipt, gedroogd en gewogen. Droog, want nat gewicht is vooral water, en water zegt niks over groeien.

De controle-potten laten we vandaag even links staan; het gaat ons om de twee soorten voer. Voer één: gemiddeld 4.66 gram droge plant. Voer twee: 5.53 gram. Verschil: 0.87 gram, in het voordeel van voer twee.

En nu níét de vraag die je verwacht. Niet “is er verschil, ja of nee” — dat is de bijvraag. De echte vraag is: hoe zeker is die 0.87? Er stonden maar tien potten per groep. Had de kweker tien ándere potten gepakt, was het dan 0.9 geweest? 0.5? Nul komma niks? Een getal uit een steekproef is een schatting, en een schatting zonder onzekerheids-bandje eromheen is een mening met cijfers. Dat bandje gaan we maken.

speel het

Reken het verschil uit in SPSS — mét het bandje

betrouwbaarheidsinterval aflezen · zit de nul erin

Haal de potten binnen, pak de twee voer-groepen eruit, en laat SPSS het verschil uitrekenen — mét het bandje erbij.

OpmerkingEerst zoals in het boek — de twaalf diamantjes
  1. Analyze → Compare Means → One-Sample T Test, glans naar Test Variable(s).
  2. Options… → confidence interval op 95%. OK.

Het interval loopt van 36.19 tot 63.81.

T-TEST
  /TESTVAL=0
  /VARIABLES=glans
  /CRITERIA=CI(.95).

Het 95%-betrouwbaarheidsinterval voor de gemiddelde glans loopt van 36.19 tot 63.81 — bijna dertig punten breed. Dat is geen slordigheid maar eerlijkheid: twaalf steentjes weten gewoon niet zo veel, en het interval zegt dat hardop.

Nu jij — met nieuwe data: plantjes onder drie condities, en de vraag hoe zeker dat verschil van 0.87 gram eigenlijk is.

OpmerkingIn SPSS · trek eraan
  1. Open plantgroei.csv in SPSS: File → Open → Data, bestandstype CSV.
  2. Ga naar Analyze → Compare Means → Independent-Samples T Test.
  3. Zet gewicht bij Test Variable(s) en groep bij Grouping Variable.
  4. Klik Define Groups en typ als de twee groepen behandeling1 en behandeling2 — zo doen de tien controle-potten vanzelf niet mee.
  5. Onder Options staat het CI-niveau (laat op 95% staan).
* voer een als Group 1, voer twee als Group 2: de controle doet niet mee.
* CI(.95) is het 95%-interval, net als in het menu onder Options.
T-TEST GROUPS=groep('behandeling1' 'behandeling2')
  /VARIABLES=gewicht
  /CRITERIA=CI(.95).

Lees in de output de rij Equal variances not assumed (de Welch-variant, die niet eist dat beide groepen precies even wild spreiden). Links in diezelfde tabel staat ook Levene’s Test; die hoef je niet te gebruiken, want wij lezen altijd de Welch-rij.

Twee dingen uit die oogst verdienen je aandacht. Eerst het min-teken: bij de Group Statistics staat 4.66 gram voor voer één en 5.53 voor voer twee, en de Mean Difference is −0.87 — mín, want SPSS rekent voer één mín voer twee, en omdat voer twee zwaarder uitpakt komt het verschil negatief uit. Niks engs, gewoon de rekenvolgorde.

En dan de kolommen waar dit blok om draait: 95% Confidence Interval of the Difference, van −1.48 tot −0.25. Dat is het betrouwbaarheidsinterval / confidence interval: niet één schatting maar een héle reeks — alle waarden voor het echte verschil die goed bij deze twintig voer-potten passen. Eerste kijkvraag, altijd: zit de 0 erin? Kijk zelf: van −1.48 tot −0.25, en nul valt erbuiten. “Geen verschil” past dus níét bij deze data. Maar waar komt zo’n bandje eigenlijk vandaan? Dat kun je vóélen, zonder één formule.

trek het

De bootstrap: trek duizend keer opnieuw

trekken met teruglegging · de middelste 95% als interval

In andere blokken schudden we: band doorknippen, kijken of het verschil wegvalt. Vandaag maken we een andere beweging — we trekken opnieuw. Het probleem is namelijk: je hebt maar één steekproef, en je zou willen weten wat er gebeurd was met een ándere. Nieuwe potten kweken duurt weken. Maar er is een brutale sluiproute: doe alsof je eigen data de kas is. Trek uit je tien potten opnieuw tien potten, mét teruglegging — sommige potten kom je dubbel tegen, andere sla je net over. Elke trekking is een wereld die nét even anders liep, met een nét even ander verschil. Doe dat duizend keer. Dit heet de bootstrap / bootstrap.

Diezelfde teruglegging zag je in Oefening 4.1, waar je uit een ton met 342 pinguïns graaide. Het verschil zit niet in de handeling maar in waar je je arm in steekt: daar was er een populatie en kenden we de waarheid, hier heb je alleen je eigen tien potten en doe je alsóf die de kas zijn.

En hier moet ik eerlijk zijn: dat trekken is geen knop in SPSS. SPSS geeft je het keurige eindresultaat; het duizend keer opnieuw trekken is code- of speeltje-werk. Geen gemis — het boek doet het bewust zo: de ervaring loopt via een bootstrap-speeltje in de browser (of via het R-broertje, waar het een handvol regels is).

▶ Speel het trek-speeltje

Wat je daar ziet: duizend werelden die dansen rond je schatting — niet rond nul, zoals bij het schudden, maar rond −0.87, want elke wereld is uit jóúw data getrokken en draagt het verschil in zich mee. De middelste 95% van die dans loopt van −1.39 tot −0.29. Bijna het bandje dat SPSS je net gaf — dat liep van −1.48 tot −0.25. Het betrouwbaarheidsinterval ís de dans; de formule achter SPSS’ kolommen is de snelweg ernaartoe.

Bijna, en dat “bijna” is de les. Leg de twee naast elkaar: SPSS begint 0.09 gram lager en eindigt 0.04 gram hoger. Aan allebei de kanten plakt de formule er iets bij. Pech met die duizend trekkingen is het niet — begin met een ander toevalsgetal en de dans blijft de smalste van de twee.

Waar dat bijgeplakte stuk vandaan komt: de formule rekent een toeslag omdat je de spreiding niet ként maar schat, en bij tien potten per groep is die fors. De dans betaalt hem niet; die leest gewoon af waar de middelste 95% van de werelden ligt. Smaller is hier dus niet zorgvuldiger — eerder wat brutaal. Bij Z) zie je wat die brutaliteit kost.

En de nul staat er búíten: vrijwel alle duizend werelden landen onder nul. In het R-broertje, met een vast toevalsgetal, zijn het er 999, en één verdwaalde er net overheen; jouw speeltje trekt elke keer opnieuw en komt daar vlak bij. Zit nul buiten de dans, dan is het verschil er echt. Zo lees je voortaan élk interval: eerst kijken waar het ligt, dan pas of nul nog mee mag doen.

Drie keer duizend werelden, drie verschillende vragen

Dit is de derde keer dat je duizend werelden ziet dansen, en de speeltjes lijken verdacht veel op elkaar. Toch beantwoorden ze verschillende vragen — en het verschil zit niet in de handeling.

wat je met de data doet de werelden dansen rond de vraag die je stelt
schudden (Oefening 3.1) de twee kolommen van elkaar losknippen de nul kan toeval dit namaken?
grabbelen (Oefening 4.1) grijpen uit de populatie, mét terugleggen de waarheid (4202 gram) hoe hard wiebelt een gemiddelde van steekproef tot steekproef?
bootstrappen (hier) grijpen uit je eigen steekproef, mét terugleggen jouw schatting (−0.87) hoe zeker is dit ene getal?

Grabbelen en bootstrappen zijn dezelfde handeling: grijpen, noteren, terugleggen. Het verschil is waar je je arm in steekt: in 4.1 in een ton waarvan we de waarheid kennen, een luxe die alleen in een oefening bestaat; hier in de tien potten die de kweker écht heeft, juist omdát de kas onbereikbaar is.

Geeft die dans ook een p? Nee. Jouw werelden dansen rond −0.87, jouw eigen antwoord — dat zag je net in het speeltje. Een p vraagt iets anders — hoe ver zou het toeval komen als er niks was? — en dat is een dans rond nul. Die heb je hier niet gebouwd. De bootstrap levert je dus een interval, geen toets; de p die in je SPSS-tabel staat komt uit de t-toets ernaast, niet uit de dans. Geen gemis: de nul-vraag heb je al beantwoord, want het interval loopt van −1.39 tot −0.29 en de nul valt erbuiten.

Let wel goed op wát je met die werelden telt, want twee dingen lijken op elkaar en zijn het niet. Kijken of de nul buiten de middelste 95% valt: dat mag — dat deed je hierboven, en dat is het interval aflezen. De staartfractie een p noemen: dat mag niet. Want dat is de verleiding: tel hoeveel werelden aan de andere kant van nul landen, en noem dat getal je p. Dat is er ongeveer één op de duizend, dus dat leest als p = .001 — terwijl de toets op dezelfde data p = .009 gaf. Bijna tien keer zo veel, en dat is geen toeval: die telling meet hoe ver jóúw dans over de nul heen reikt, niet hoe vaak het toeval jouw uitkomst zou halen. Was er géén enkele wereld overheen gegaan, dan had de telling “kleiner dan .001” geroepen — een getal dat alleen verklapt hoeveel werelden je hebt gebouwd.

In Oefening 6.1 tel je wél werelden om een p te krijgen. Dat zijn geschudde werelden, en die dansen rond nul. Dat is het hele verschil.

snap het

Wat het interval wél en niet belooft

95% zeker · de strenge lezing · breedte en precisie

Wat zegt dat interval nou eigenlijk? Gewoon wat het lijkt te zeggen: we zijn er 95% zeker van dat het echte verschil tussen de twee voeren ergens tussen een kwart gram en bijna anderhalve gram ligt, in het voordeel van voer twee. (Het min-teken in de uitvoer was alleen de rekenvolgorde.) Het échte verschil, dat is: dat van álle mogelijke potten, niet alleen van die in deze kas. Zo mag je het gewoon denken en zo mag je het zeggen — ik noem dat de gezellige lezing. Eerlijk is hij ook: het verschil is echt (nul doet niet mee), maar over hoe gróót het is, zijn deze data nog behoorlijk ruimhartig. En zie je meteen waarom het interval rijker is dan de toets: t = −3.01, p = .009 zegt alleen “niet nul”. Het interval zegt “niet nul, én ergens tussen klein en fors”. Daarom kijken we schattend eerst naar het interval; de toets is de bijvraag die er al in zit.

Strikt genomen gaat die 95% over de methode: doe het hele ritueel — potten kweken, interval uitrekenen — honderd keer, en ongeveer 95 van die honderd intervallen vangen het echte verschil. Of dít interval een van die 95 is, kun je niet zien. Denk aan een hoefijzer en een paal die je niet kunt zien. De methode belooft: gooi je honderd keer, dan zit de paal er zo’n 95 keer tussen. Alleen bij déze worp kun je niet gaan kijken.

Dat is geen tegenspraak met de gezellige lezing. Die zegt hoe zeker jíj bent; de strenge zegt waar die zekerheid vandaan komt — van een methode die 95 van de 100 keer raak gooit.

Nog één blik, op de breedte. Breed interval = onzekere schatting; smal interval = precieze. Dit interval is aan de brede kant — logisch, tien potten per groep is een handjevol. Wil je het smaller? Meer potten. De vraag “hoe groot is het effect, en hoe precies weten we dat?” is bijna altijd interessanter dan “significant, ja of nee” — en het interval beantwoordt ze allebei in één regel.

jouw beurt

De controle-potten doen weer mee

t-toets · bootstrap · een interval dat de nul schampt

De controle-potten mogen eindelijk van de zijlijn af. Voer twee won het van voer één, maar de echte kwekersvraag is natuurlijk: doet voer twee het ook beter dan gewoon water? Zet eerst de twee groepen klaar, en beantwoord daarna de vragen. De laatste heet Z): de aannames staan altijd achteraan, en die letter is met opzet geen volgletter.

OpmerkingIn SPSS · de twee groepen klaarzetten
  1. Open plantgroei.csv in SPSS.
  2. Ga naar Analyze → Compare Means → Independent-Samples T Test en typ bij Define Groups behandeling2 als Group 1 en controle als Group 2. Voer één doet zo niet mee.
* voer twee als Group 1, controle als Group 2: voer een doet niet mee.
T-TEST GROUPS=groep('behandeling2' 'controle')
  /VARIABLES=gewicht
  /CRITERIA=CI(.95).

Let op de volgorde die je intypt: SPSS rekent Group 1 mín Group 2, dus voer twee mín controle. Draai je ze om, dan draait het teken van álles wat hierna komt.

OpmerkingJouw beurt

a) Hoeveel droge plant leverde elke groep gemiddeld op, en hoe groot is het verschil? Lees het af bij Group Statistics. (rapporteer beide M’s en het verschil, in grammen)

b) Lees de 95% Confidence Interval of the Difference af op de rij Equal variances not assumed — de Welch-variant. (rapporteer het 95% CI met allebei de grenzen)

c) Zit de nul in dat interval? Zeg wat dat betekent voor de kweker. (ja of nee, en één zin over planten — een getal mag, mits de eenheid erbij staat)

d) In de romp van dit blok stond een min-teken voor het verschil en hier niet. Wie heeft dat verschil bepaald — SPSS of jij? (één zin over de rekenvolgorde)

e) En nu de dans — en hier moet ik eerlijk zijn: voor dít paar is er geen speeltje, want het trek-speeltje is gebouwd op voer één tegen voer twee en kent de controle-potten niet. In het R-broertje is het een handvol regels: per groep duizend keer opnieuw trekken, mét teruglegging, en elke wereld als voer twee mín controle. Daar loopt de middelste 95% van 0.06 tot 0.90 gram. Valt de nul binnen of buiten die dans? (binnen of buiten, en zeg wat er getrokken is)

f) In het R-broertje landen 985 van die duizend werelden boven nul, dus 15 eronder. Die 15 op de 1000 ziet eruit als een p van .015, en dat is het niet. (één zin over wat een p wél telt)

g) Leg de twee intervallen naast elkaar — dat van SPSS en dat van de bootstrap uit e). Hoe dicht zitten ze op elkaar, en welke van de twee is het smalst? (vier grenzen en één zin)

h) Vergelijk de breedte van het interval dat SPSS je gaf met die van het voer-één-tegen-voer-twee-interval hierboven. Allebei tien potten per groep, en tóch is de ene breder. Waar komt dat verschil vandaan? (twee breedtes in grammen, en wat je in de spreiding per groep ziet)

i) Wat betekent die 95%? Zeg het twee keer, elk in één zin: gezellig en streng. (gezellig: wat het interval de kweker vertelt; streng: wat de methode belooft, uit het uitklapkader — eigen woorden zijn goed)

j) Schrijf het advies aan de kweker, in maximaal vijf zinnen: “voer twee werkt beter dan water”, of “kweek eerst nog een rij potten”? (een advies waarin de onzekerheid zelf ook voorkomt; meer antwoorden zijn goed — ook het andere advies kan, mits je het verantwoordt)

Z) Mag je alles hierboven geloven? Waar leunt dat bandje op — kijk naar de vorm van de twintig gewichten (Graphs → Chart Builder → Boxplot, gesplitst op groep), naar de twee standaarddeviaties in Group Statistics, en naar de vraag of elke pot maar één keer meetelt.

a) Gewoon water M = 5.03 gram, voer twee M = 5.53. Verschil: 0.49 gram in het voordeel van voer twee. (Trek je de twee afgeronde gemiddelden van elkaar af, dan kom je op 0.50. Dat is afronding, geen rekenfout: onafgerond is het 5.526 − 5.032 = 0.494, en dat is 0.49.)

b) 95% CI [0.01, 0.98]. Het echte verschil ligt volgens deze data ergens tussen een haartje en bijna een gram.

c) Nét niet. De ondergrens is 0.01 — de nul valt er met een millimeter buiten. Voor de kweker: op deze twintig potten past “voer twee doet niks meer dan water” nog maar net níét bij wat hij zag. Dat is iets anders dan bewijs dat het werkt.

d) Jij. In R en JASP zet het programma de groepen op alfabet, maar in SPSS typ je bij Define Groups zelf welke groep eerst komt, en SPSS rekent Group 1 mín Group 2. Je hebt voer twee als eerste ingetypt, dus komt het verschil positief uit. Had je ze omgedraaid, dan stond er −0.49 en klopte het net zo goed. Er is niets aan de planten veranderd, alleen aan de volgorde die jij koos.

e) Buiten, net: de middelste 95% van de duizend werelden loopt van 0.06 tot 0.90, en de nul ligt eronder. Getrokken is: per groep tien potten uit je eigen twintig, mét teruglegging, en daarvan steeds voer twee mín controle.

f) 985 van de 1000. Het is géén p: die werelden dansen rond 0.49, jouw eigen antwoord, en een p telt hoe ver het toeval komt in werelden die rond nul dansen. Die zijn hier niet gebouwd.

g) SPSS gaf [0.01, 0.98], de bootstrap [0.06, 0.90] — dezelfde streek van de getallenlijn, allebei met de nul er nét buiten. De formule is de snelweg, de bootstrap de landweg. Kijk nu naar de uiteinden: de formule begint lager én eindigt hoger, dus zijn bandje is aan allebei de kanten ruimer. Net als in de romp is de dans de smalste, en om dezelfde reden — de formule rekent een toeslag voor de geschatte spreiding, de dans niet. Speling is dat niet: begin met een ander toevalsgetal en de dans blijft smaller. Minder aannemen over de vórm van je data maakt de dans dus niet vanzelf nauwkeuriger; bij Z) zie je wanneer die soberheid wél in je voordeel werkt.

h) Voer twee tegen water is 0.98 gram breed, voer één tegen voer twee 1.23 gram. (Trek je de twee grenzen af zoals ze bij b) staan, dan kom je bij de eerste op 0.97 uit. Dáár is het wél afronding, en die is van dit boekje: bij b) staan de grenzen op twee decimalen, terwijl de breedte uit de hele getallen komt — 0.98287 − 0.00513 = 0.97774, en dat is 0.98.) Toch dezelfde tien potten per groep. Het verschil zit in de spreiding bínnen de groepen: voer twee is de rustigste bak van de drie (SD = 0.44), water zit op SD = 0.58, en voer één is de wildste met SD = 0.79. Een breed interval komt dus niet alleen van weinig potten, maar ook van potten die onderling veel verschillen.

i) Gezellig: we zijn er 95% zeker van dat het echte verschil tussen voer twee en water ergens tussen 0.01 en 0.98 gram droge plant ligt. Streng: de 95% gaat over de methode — doe het hele ritueel honderd keer, en ongeveer 95 van die honderd intervallen vangen de echte waarde; of dít interval er een van is, kun je niet zien. Dat is geen tegenspraak: de methode is waar jouw zekerheid vandaan komt. De dans in het trek-speeltje liet al zien waarom: elke trekking pakt nét anders uit.

j) Meer antwoorden zijn goed, en dat geldt hier ook voor het advies zelf: wie op deze twintig potten inkoopt en wie eerst nog een rij kweekt, zijn allebei te verdedigen. Wat niet vrij is, is de verantwoording — de grootte én de wankelheid moeten er beide in staan. Bijvoorbeeld:

Voer twee leverde in dit experiment gemiddeld 0.49 gram meer droge plant op dan water, 95% CI [0.01, 0.98]. De nul valt er net buiten, dus “water doet net zoveel” past nog maar nauwelijks bij deze twintig potten. Maar de ondergrens ligt zó dicht bij nul dat het voordeel ook vrijwel niets kan zijn. Voor een kweker die hierop zijn inkoop baseert is dat te wankel. Een tweede rij potten kost minder dan een jaar lang het verkeerde voer.

Wat erin moet staan: dát er een verschil gemeten is, én dat de grootte ervan wankel staat. Een advies dat maar één van die twee noemt, is de helft.

Z) Ja, hier mag het. Drie dingen om te bekijken, en alle drie vallen ze goed uit. De twintig gewichten liggen redelijk symmetrisch — de scheefheid is 0.23 bij water en 0.48 bij voer twee, en met tien potten per groep is dat gewoon ruis, geen scheve verdeling. De twee spreidingen liggen niet ver uiteen: 0.58 tegen 0.44, een verhouding van 1.32, en het huis houdt onder de 2 aan. En elke pot is één keer gewogen, dus de waarnemingen zijn onafhankelijk.

En als het wél was misgegaan, dan is dit de weg terug:

  • Blijft staan: de twee gemiddelden en het verschil van 0.49 gram bij a). Dat is optellen en delen; daar verandert geen aanname iets aan.
  • Doe je over: het interval bij b) en daarmee de conclusie bij c) en j). Die leunen op de aanname dat de gemiddelden netjes rond de waarheid wiebelen.

En het mooie is dat die weg terug er al ligt: het bootstrap-interval bij e) leunt daar veel minder op. Waren de gewichten flink scheef geweest, dan was [0.06, 0.90] het eerlijkere antwoord en [0.01, 0.98] het verdachte. Dat de twee hier op dezelfde plek liggen, is zelf een geruststelling. Dat de dans smaller uitvalt is dat niet: dat komt van de toeslag die de formule rekent, niet van scheefheid in jouw potten.

En die toeslag niet betalen kost iets — dat is wat de romp met “brutaal” bedoelde. Wil je het zien: kweek duizenden nagemaakte kassen van tien potten per groep waarvan jij het echte verschil kent, en tel bij elke kas of het bandje dat verschil vangt. De formule zit dan op zijn beloofde 95 van de 100; de dans haalt er drie tot vier minder. Vandaar dat je bij een echte analyse geen kale percentielen neemt maar een bijgestelde bootstrap — het BCa-interval, dat corrigeert voor precies deze twee dingen: de scheefheid en de te krappe band.

rapportage

Schrijf het op als een onderzoeker

CI tussen blokhaken · leesrichting van het verschil

OpmerkingRapportage

Je kent het boodschappenlijstje-in-zinsvorm al: wie, wat, waar lag het. Vanaf dit hoofdstuk komt er één ding bij — het bandje, tussen blokhaken. Kijk maar:

Om te onderzoeken of twee soorten plantenvoer verschillend uitpakten, kweekten we twintig plantjes — tien per voer — en wogen we ze gedroogd. De potten met voer twee leverden gemiddeld 0.87 gram meer droge plant op dan die met voer één (M = 5.53 om M = 4.66 gram), 95% CI van het verschil [0.25, 1.48].

Nog steeds één adem, en de zin staat op eigen benen. Twee dingen vallen op. Eén: het interval schrijf je als CI met de twee grenzen tussen blokhaken, klein naar groot — en CI blijft rechtop. Schuin gaat wat zélf een waarde draagt (M = 5.53, en straks t en p); CI draagt er geen, die benoemt alleen wat er tussen de haken staat. Twee: SPSS gaf ons −1.48 tot −0.25, en hier staat 0.25 tot 1.48 — we vertellen het verschil in de leesrichting (“voer twee leverde méér op”), en dan draait het bandje gewoon mee. Het min-teken was toch al alleen rekenvolgorde. En zie je wat de zin stiekem óók al vertelt? Nul zit niet tussen die blokhaken — de lezer kan de bijvraag zelf beantwoorden. De t en de p netjes leren opschrijven bewaren we voor de opdracht over de p-waarde.

Jouw beurt: schrijf zo’n zelfstandige zin voor de taak hierboven — voer twee tegenover gewoon water (verschil 0.49 gram, M = 5.53 om M = 5.03, 95% CI [0.01, 0.98]). En durf je ’m aan, met die ondergrens van 0.01? Hardop voorlezen mag.

tentamen

Tentamenvragen

de gezellige lezing · nul binnen of buiten · het midden van het bandje · interval tegenover toets

Hierboven stonden de open vragen; hier staan dezelfde onderwerpen nog een keer, in de vorm waarin een tentamen ze stelt. Zes stuks, vier opties, en precies één is de beste — de andere drie kunnen best waar zijn en toch niet het beste antwoord. Rekenen hoeft alleen bij vraag 3.

OpmerkingTentamenvragen

1. Voor het verschil tussen voer twee en water vond je 95% CI [0.01, 0.98] gram. Hoe lees je dat interval in gewone woorden?

  1. 95% van de potten viel binnen 0.01 en 0.98 gram van elkaar.
  2. We zijn er 95% zeker van dat het echte verschil tussen voer twee en water ergens tussen 0.01 en 0.98 gram ligt.
  3. We zijn er 95% zeker van dat het verschil in déze twintig potten ergens tussen 0.01 en 0.98 gram ligt.
  4. Doe je het experiment opnieuw, dan valt het nieuwe verschil met 95% zekerheid weer tussen 0.01 en 0.98 gram.

2. Dat interval begint op 0.01 gram: de nul valt er nét buiten. Welke conclusie is de beste?

  1. Nu is bewezen dat voer twee beter werkt dan water.
  2. Er is geen verschil, want 0.01 gram is praktisch nul.
  3. “Voer twee doet niets meer dan water” past nog maar net níét bij deze twintig potten — en dat is iets anders dan bewijs dat het werkt.
  4. Je mag hier niets over zeggen; met twintig potten is een interval niet te vertrouwen.

3. Een onderzoeker rapporteert alleen dit: 95% CI [0.01, 0.98] voor het verschil. Hoe groot was het gemiddelde verschil dat hij in zijn potten mat?

  1. 0.01 gram
  2. 0.49 gram
  3. 0.98 gram
  4. Dat kun je uit een interval niet opmaken.

4. Naast dat interval vond je ook t = 2.13 en p = .048. Wat vertelt het interval je wat die twee getallen niet vertellen?

  1. Of het verschil groot genoeg is om er iets van te vinden.
  2. Of de nulhypothese verworpen mag worden.
  3. Hoe groot het echte verschil ongeveer is, en hoe precies je dat weet.
  4. Hoeveel potten je had moeten kweken.

5. De bootstrap uit e) bouwde duizend werelden, en 985 daarvan landden boven nul. Waarom mag je 15 op 1000 níét als een p-waarde rapporteren?

  1. Omdat duizend werelden te weinig zijn voor een p van die orde.
  2. Omdat je mét teruglegging hebt getrokken, en een p vraagt om trekken zónder teruglegging.
  3. Omdat jouw werelden rond je eigen schatting van 0.49 dansen, terwijl een p vraagt hoe ver het toeval komt in werelden die rond nul dansen.
  4. Omdat de bootstrap geen verdelingsaanname maakt en een p-waarde die nodig heeft.

6. SPSS gaf [0.01, 0.98] en de bootstrap uit e) [0.06, 0.90] — hetzelfde verschil, twee bandjes. Welke uitspraak daarover is de beste?

  1. Ze zijn op afronding na hetzelfde; welke je rapporteert maakt niet uit.
  2. Het bandje van de bootstrap is smaller omdat het de scheefheid van deze potten meeneemt en de formule dat niet doet.
  3. Het bandje van de formule is breder omdat die een toeslag rekent voor het feit dat je de spreiding niet kent maar schat.
  4. Het bandje van de formule is breder omdat die alle dertig potten gebruikt en de bootstrap maar twintig.

1 b · 2 c · 3 b · 4 c · 5 c · 6 c

Hieronder staat per vraag waaróm, en waarom de drie andere opties aantrekkelijk zijn. Heb je er een goed, dan kun je die overslaan.

1. b. Dat is de gezellige lezing, en die mag je gewoon zo denken en opschrijven: het interval gaat over het echte verschil — dat van álle mogelijke potten — en de 95% zegt hoe zeker je bent. Waar die zekerheid vandaan komt, staat in het kader De strenge lezing; daar vraagt deze vraag niet naar. c lijkt er het meest op en mist precies dat ene woord. Het verschil in déze twintig potten hoef je niet te schatten, dat heb je bij Jouw beurt a) al uitgerekend: 0.49 gram. Daar hoeft geen interval omheen. a verwisselt het interval met de spreiding van de potten: 0.01 tot 0.98 gaat over het verschil tussen de twee gemiddelden, niet over waar de losse planten liggen. d lijkt op je bootstrap, maar die werelden dansten rond jóúw 0.49. Een nieuw experiment danst rond het échte verschil, en dat ligt ergens anders — daardoor valt een nieuw verschil gemiddeld minder vaak dan 95 van de 100 keer in dit bandje.

2. c. Nét niet is niet hetzelfde als niet, en ook niet hetzelfde als bewezen. De ondergrens van 0.01 gram betekent dat het voordeel ook vrijwel niets kan zijn. a verwart “de nul valt erbuiten” met bewijs; bij een ondergrens die de nul schampt is dat wel de dunst mogelijke uitspraak. b leest het verkeerde getal: 0.01 is niet het gemeten verschil maar de ónderste grens van wat er nog bij past — het gemeten verschil was 0.49 gram, en dat is niet praktisch nul. d is de veilige uitweg en gaat te ver: een interval met twintig potten is niet onbetrouwbaar, hij is bréed, en dat is precies wat hij eerlijk opschrijft.

3. b. Het gemeten verschil ligt in het midden van het bandje: 0.49 gram, en dat is precies wat de kweker bij a) mat. Dat is de bouw van zo’n interval — een schatting met aan weerskanten evenveel marge. (Neem je het midden van de twee gedrukte grenzen, dan kom je op 0.495 uit en dus op 0.50. Dáár is het afronding, net als bij h): uit de hele grenzen is het (0.00513 + 0.98287) / 2 = 0.494, en dat is 0.49.) a en c pakken een grens in plaats van het midden; dat zijn de twee uitersten van wat er nog bij past, niet de schatting zelf. d is te bescheiden: een interval verbergt zijn schatting niet, hij staat er in het midden. (Let wel: bij een interval om een verhouding — een odds ratio bijvoorbeeld — ligt de schatting niet in het gewone midden. Hier, bij een verschil van gemiddelden, wel.)

4. c. t en p zeggen “niet nul”. Het interval zegt “niet nul, én ergens tussen een haartje en bijna een gram” — het geeft je de grootte én de precisie. Daarom kijkt een schattende onderzoeker eerst naar het interval; de toets is de bijvraag die er al in zit. b is juist wat de p wél doet, en wat het interval er gratis bij levert (nul ligt erbuiten). a is de vraag die géén van de twee beantwoordt: of 0.49 gram droge plant “groot genoeg” is, weet een kweker en geen formule. d hoort bij een heel ander gereedschap — hoeveel potten je nodig hebt, reken je vooraf uit met power, niet achteraf uit je interval.

5. c. Een p vraagt: hoe ver zou het toeval komen als er níks was? Dat is een dans rond nul, en die heb je hier niet gebouwd — jouw werelden zijn uit je eigen potten getrokken en dragen het verschil van 0.49 gram in zich mee. a klinkt methodisch verstandig en mist de kern: met een miljoen werelden mag het nog niet, want het is de verkeerde dans. Meer van hetzelfde repareert geen verkeerde vraag. b noemt een echt verschil tussen de twee handelingen en koppelt het aan het verkeerde gevolg: het schudden in Oefening 6.1 trekt inderdaad zonder teruglegging, maar dát is niet waaróm het een p oplevert — dat is dat het de kolommen van elkaar losknipt en de werelden daarmee naar nul brengt. d klopt in zijn eerste helft en niet in zijn tweede: de bootstrap maakt weinig aannames, en een geschudde p maakt er juist óók bijna geen — die telt gewoon werelden.

6. c. De formule achter SPSS’ kolommen rekent een toeslag omdat je de spreiding niet ként maar schat, en bij tien potten per groep is die fors. De dans betaalt hem niet en valt daarom smaller uit — dat is geen zorgvuldigheid maar brutaliteit, en bij Z) staat wat ze kost. a stond letterlijk in een eerdere versie van dit blok en is teruggetrokken: uit de hele grenzen zijn de twee bandjes 0.98 en 0.84 gram breed, en over tweehonderd andere startgetallen is de dans er 199 van de 200 de smalste van. Geen afronding dus, en ook geen speling — maar let op dat “altijd” te sterk is: bij één van die tweehonderd (toevalsgetal 7, in het R-broertje) valt de dans nét breder uit. b wijst naar de scheefheid, en die is hier juist niet de oorzaak: de duizend bootstrap-werelden liggen zelf vrijwel symmetrisch. d verzint een verschil in aantal potten dat er niet is — beide bandjes gaan over dezelfde twintig potten, tien water en tien voer twee.

Wil je de getallen uit vraag 3 en 6 zelf zien ontstaan, pak dan je rekenmachine. De grenzen staan op de rij Equal variances not assumed onder 95% Confidence Interval of the Difference, de twee gemiddelden bij Group Statistics:

  • vraag 3: het midden van het bandje, uit de grenzen voluit: (0.00513 + 0.98287) / 2 = 0.494
  • vraag 3: en dat is precies het verschil van de twee gemiddelden: 5.526 − 5.032 = 0.494
  • vraag 6: zo breed is het bandje van de formule: 0.98287 − 0.00513 = 0.98
  • vraag 6: en zo breed is de dans uit e): 0.90 − 0.06 = 0.84

Dat de dans bij 199 van de 200 startgetallen de smalste is, kun je in SPSS niet narekenen: dat zijn tweehonderd keer duizend trekkingen, en die staan in het R-broertje.

◠ Zelfde vorm in het boek

Hier: één verschil van 0.87 gram, en een bandje eromheen dat vertelt hoe stevig dat getal staat.

In het boek: W6 — Bestaat het verschil echt?

Daar komt het interval vóór de toets — eerst hoe groot en hoe precies, en dan pas de bijvraag of nul nog mee mag doen.

Voetnoten

  1. PlantGrowth — Dobson (1983), An Introduction to Statistical Modelling; het klassieke groei-experiment dat met R wordt meegeleverd (datasets::PlantGrowth). Alle getallen in dit blok zijn op die échte data nagerekend.↩︎