Het betrouwbaarheidsinterval

De precisie van een schatting · confidence interval

Vooraf, in één zin: die 95% betekent níét dat het echte verschil met 95% kans binnen dit interval ligt — waarom dat niet mag, staat onderaan bij Wat het niet zegt.

Wat je ziet

In het kort. Twee getallen tussen rechte haken, achter een schatting: 95% CI [−4.1, −0.7]. CI staat voor confidence interval — in het Nederlands betrouwbaarheidsinterval, in Nederlandse stukken afgekort tot BI. Je vindt hem achter vrijwel elke effectschatting: een verschil in gemiddelden, een correlatie, een odds ratio.

Een resultatensectie meldt zelden alleen een getal; er staat bijna altijd een paar rechte haken achteraan. Zo bijvoorbeeld:

Voorbeeldfragment, geschreven in de stijl van een resultatensectie — het artikel bestaat niet.

Participants in the blended care condition reported lower anxiety at 12 weeks (M = 8.1, SD = 4.2, n = 52) than participants receiving usual care (M = 10.5, SD = 4.6, n = 50), mean difference = −2.4, 95% CI [−4.1, −0.7], t(100) = −2.75, p = .007.

Wat er staat

In het kort. Het interval geeft de reeks waarden die goed bij deze data passen; de beste schatting — hier het verschil van −2.4 — staat in het midden. Eerste kijkvraag, kost twee seconden: zit de 0 erin? Hier niet: zelfs de voorzichtige rand van het interval (−0.7) is nog een verschil in het voordeel van blended care. Deze data verdragen “geen verschil” slecht.

Nu hetzelfde, rustig en van voren af aan. Vertel het fragment eerst gewoon na, in het Nederlands. Twee groepen patiënten met angstklachten: de ene kreeg blended care, de andere gebruikelijke zorg. Na twaalf weken is de gemiddelde angstscore van de blended-groep 8.1, die van de andere groep 10.5. Het verschil — het gemiddelde verschil / mean difference — is −2.4 punten. Het minteken betekent hier goed nieuws: lager is minder angst.

Dan de rechte haken: 95% CI [−4.1, −0.7]. Wat het zegt: −2.4 is onze beste schatting van het verschil, maar het is een schatting uit één steekproef / sample. Het interval geeft de reeks waarden die goed bij deze data passen: alles tussen −4.1 en −0.7. En daar hoort het kijkmoment van hierboven bij: zit de 0 erin? Nee — zelfs de voorzichtige rand van het interval (−0.7) is nog een verschil in het voordeel van blended care. Was de 0 wél binnen de haken gevallen, dan hadden deze data ook bij “geen verschil” gepast; nu niet.

Er staat ook nog p = .007. Die laat ik hier bewust liggen: de p-waarde krijgt in dit werkboek zijn eigen blok, en je hebt hem voor het lezen van dit fragment niet nodig — het interval vertelt je meer.

Waar het vandaan komt

Dit hoort bij de boek-eenheid Bestaat het verschil echt?. Daar heb je zo’n interval niet gekregen maar gebouwd: duizend keer opnieuw trekken uit je eigen steekproef (de bootstrap), duizend uitkomsten verzamelen, en dan de middelste 95 procent daarvan nemen. Dat middenstuk ís het betrouwbaarheidsinterval. Het boek zet daarbij het schatten vóór het toetsen, en dat is precies de volgorde die je hier terugziet: eerst “hoe groot is het en hoe precies weten we dat?” — pas daarna, als bijvraag, “zou het ook toeval kunnen zijn?”

Eén verschil met het boek: artikelen bouwen het interval vrijwel nooit door te trekken, maar met een formule (via de t-verdeling). Dat is de shortcut uit het slot van diezelfde boek-eenheid — zelfde idee, andere route, en de uitkomst is vrijwel gelijk. Je hoeft die formule niet te kennen; JASP en de auteurs van je artikelen gebruiken hem voor je.

Zelf doen in JASP

⬇ Download de data — angst_blended.csv

Bij dit blok hoort het databestand angst_blended.csv: 102 rijen, drie kolommen — id (deelnemernummer), groep (blended of usual) en angst_12w (de angstscore na twaalf weken). De rijen zijn gegenereerd — er zit geen echte patiënt in — en ze reproduceren precies de uitkomsten uit het fragment.

In JASP · JASP 0.98.1

Open het bestand in JASP (menu linksboven → Open).
Klik in de balk bovenin op T-Tests en kies onder Classical Independent Samples T-Test.
Sleep angst_12w naar het vak Dependent Variables en groep naar Grouping Variable; de kolom id laat je staan waar hij staat.
Vink onder Additional Statistics aan: Location parameter en daaronder Confidence interval (laat de 95 staan), plus Descriptives.

In de tabel rechts staat nu het gemiddelde verschil, Mean Difference −2.402, met daarnaast de onder- en bovengrens van het interval: −4.133 en −0.671. In de Descriptives-tabel: de blended-groep M = 8.102 en SD = 4.203 (n = 52), de usual-groep M = 10.504 en SD = 4.605 (n = 50). Leg het fragment ernaast: dat zijn — het artikel rondt af op één decimaal — precies de getallen die daar stonden, tot en met t(100) = −2.75 en p = .007. JASP rekent; jij leest.

Eén leesgewoonte om meteen aan te wennen: kijk wélke groep JASP van welke aftrekt. Hier rekent JASP blended min usual, en dus is het verschil negatief — de blended-groep scoort lager. Had usual vooropgestaan, dan was er +2.402 verschenen: zelfde informatie, ander teken. Controleer dus altijd even welke groep vooropstaat voordat je het minteken interpreteert.

Zelf opschrijven

Schrijf het op — het betrouwbaarheidsinterval

Voor je eigen Nederlandstalige literatuurstudie:

De deelnemers die blended care kregen, rapporteerden na twaalf weken minder angstklachten dan de deelnemers die gebruikelijke zorg kregen; het verschil was gemiddeld −2.4 punten (95%-betrouwbaarheidsinterval −4.1 tot −0.7).

Drie werkafspraken daarbij:

Noem het object. Niet “er was een significant verschil”, maar een verschil in wat, tussen wie, hoe groot. De lezer van jouw literatuurstudie heeft het artikel niet gelezen.
Schrijf betrouwbaarheidsinterval de eerste keer voluit, daarna mag 95%-BI.
In je evidencetabel neem je het over zoals het er staat: −2.4 [−4.1, −0.7]. Niet herrekenen, niet afronden naar hele punten — overnemen en duiden.

Wat het niet zegt

De verleidelijkste zin die je over dit interval kunt opschrijven is: “er is 95% kans / probability dat het echte verschil tussen −4.1 en −0.7 ligt.” Die zin voelt redelijk, bijna beleefd — en hij is fout. De 95% gaat over de methode, niet over dit ene interval. Als honderd onderzoeksteams dit onderzoek zouden doen en elk hun interval zouden berekenen, dan bevatten er ongeveer 95 van de honderd het echte verschil. Dit ene interval is raak of mis, en niemand weet welke van de twee — daar valt geen kans meer over uit te delen.

Wat je wél mag zeggen, en wat voor het lezen alles is wat je nodig hebt: waarden búiten het interval passen slecht bij deze data, en de breedte van het interval toont hoe precies de schatting is. Smal interval: het onderzoek weet goed hoe groot het effect ongeveer is. Breed interval: de richting is er misschien, de grootte is grotendeels gok. Dat onderscheid — precisie lezen in plaats van alleen “significant ja/nee” — is waar de kritische lezer begint.

Oefening

Leesopgave. Hieronder een voorbeeldfragment (verzonnen). Vertel in twee of drie gewone Nederlandse zinnen wat er staat, en zeg wat je op grond van dit interval wél en níét mag concluderen.

At 6-month follow-up, the difference in depressive symptoms between the two groups was small (mean difference = −1.1, 95% CI [−3.4, 1.2], p = .35).

Doe-opgave. Neem in JASP de analyse van hierboven (angst_blended.csv) en verander bij Confidence interval de 95 in 99. Kijk naar het nieuwe interval. Twee vragen: is het breder of smaller geworden, en waarom? En: verandert je conclusie over het verschil?

Uitwerkingen — klik open

Uitwerking leesopgave

Na zes maanden verschillen de groepen gemiddeld −1.1 punt in depressieve klachten — een klein verschil, en het interval loopt van −3.4 tot +1.2. De 0 zit erin: deze data passen bij “geen verschil”, bij een bescheiden voordeel, en zelfs bij een klein nadeel. Wat je mag opschrijven: er is geen duidelijk verschil aangetoond en de schatting is onnauwkeurig. Wat je níét mag opschrijven: “er is geen effect” — dat het onderzoek het verschil niet kon vastpakken, bewijst niet dat het er niet is. Een interval dat de 0 bevat is een schouderophalen, geen vrijspraak.

Uitwerking doe-opgave

Het 99%-interval loopt van −4.693 tot −0.111: breder. Logisch, als je er even bij stilstaat: wie met meer zekerheid wil vangen, moet een groter net uitgooien. De conclusie verandert hier nét niet — ook de 99%-bovengrens (−0.111) blijft aan de goede kant van de 0, al scheelt het weinig. Precies zulke randgevallen zijn de reden om intervallen te lezen in plaats van alleen een ja/nee te turven.

◠ Zelfde vorm in het boek

Hier: de reeks waarden die bij de data passen, met de vraag of “geen verschil” er nog tussen zit.

In het boek: W6 — Bestaat het verschil echt?

Daar komt het interval eerst en de toets pas daarna: hoe groot en hoe precies, vóór de vraag of het toeval kan zijn.

TODO: de boek-eenheid W6 (Bestaat het verschil echt?) is nog een grove schets (v0). Anker en formulering hier checken zodra dat hoofdstuk staat.