Standaardfout en non-respons

standard error & non-response

Vooraf, in één zin: een kleine standaardfout zegt dat het gemiddelde precies geschat is, níét dat het klopt — precies en juist zijn twee verschillende dingen, en het verschil heet hier non-respons; waarom, staat onderaan bij Wat het niet zegt.

Wat je ziet

In het kort. Een klein getalletje tussen haakjes achter een gemiddelde: M = 84.9, SE = 1.8. Die SE is de standaardfout / standard error — niet te verwarren met de SD, de standaardafwijking, die er vaak vlak naast staat en die iets ánders meet. De SD zegt hoe verschillend de patiënten onderling zijn; de SE zegt hoe onzeker het gemiddelde zelf is. Zelfde soort haakjes, twee verschillende vragen.

Zo ziet hij eruit in het wild:

Voorbeeldfragment, geschreven in de stijl van een resultatensectie — het artikel bestaat niet.

All patients enrolled in the outpatient program were invited to participate; 112 patients took part in the study. Symptom severity in the sample was moderate, with a mean OQ-45 total score of 84.9 (SD = 19.5, SE = 1.8), indicating a precisely estimated level of psychological distress in this population.

Lees dat fragment nog één keer, langzaam. Er staat hoeveel patiënten meededen. Er staat niet hoeveel er waren uitgenodigd. Onthoud dat gat — dit hele blok gaat erover.

Wat er staat

In het kort. De 112 deelnemers scoren gemiddeld 84.9 op de OQ-45, een klachtenlijst die van 34 tot 150 loopt (hoger is meer klachten). De SD van 19.5 zegt: patiënten verschillen onderling fors, de groep loopt van nauwelijks klachten tot zeer ernstig. De SE van 1.8 zegt iets heel anders: als je dit onderzoek steeds opnieuw zou doen, met steeds een verse steekproef van 112, dan zou het gemiddelde van trekking tot trekking maar zo’n 1.8 punt heen en weer wiebelen. De patiënten spreiden twintig punten; het gemiddelde wiebelt er nog geen twee.

Nu hetzelfde, rustig en van voren af aan. Waarom is die SE zo veel kleiner dan de SD? Omdat een gemiddelde uitschieters tegen elkaar laat wegvallen: in elke steekproef van 112 zitten een paar heel hoge en een paar heel lage scores, en die middelen elkaar grotendeels uit. Hoe groter de steekproef, hoe grondiger dat uitmiddelen — en de formule is verrassend kort: SE = SD / √n. Hier: 19.5 gedeeld door √112, dat is 19.5 gedeeld door ongeveer 10.6, en daar komt de 1.8 uit. Meer machinerie zit er niet in.

Die wortel is het onthouden waard. Hij betekent dat precisie duur is: wil je de standaardfout halvéren, dan moet je steekproef niet twee keer maar víér keer zo groot. En hij betekent ook dat de SD zelf niet krimpt als n groeit — patiënten blijven zo verschillend als ze zijn, hoeveel je er ook meet. Alleen je kennis van het gemiddelde wordt scherper.

Eén ding groeit intussen niet mee met de steekproef: de vraag wíé die 112 eigenlijk zijn. Daarover gaat de rest van dit blok.

Waar het vandaan komt

Dit is het hart van de boek-eenheid Van steekproef naar populatie. Daar staat het beeld waar de standaardfout woont: schep na schep uit de ton, elk schatkistje krijgt zijn eigen gemiddelde, elk gemiddelde een bordje aan de muur — en de muur van bordjes laat zien hoe erg de gemiddelden onderling verschillen. De standaardfout is de breedte van die muur. In het echte leven heb je maar één schatkistje en dus één bordje; de formule SD/√n is de manier om uit dat ene schatkistje tóch te schatten hoe breed de muur geweest zou zijn.

Maar diezelfde boek-eenheid heeft een tweede les, en die is minstens zo belangrijk: het schatkistje spreekt alleen voor de ton als er blínd geschept is. Wie steeds bovenin schept, waar toevallig de lichte stenen liggen, krijgt een keurig gemiddelde met een keurige standaardfout — van de verkeerde stenen. In onderzoekstaal: de steekproef moet representatief zijn voor de populatie. En de gewoonste manier waarop dat in klinisch onderzoek misgaat, is niet dat de onderzoeker scheef schept, maar dat een deel van de uitgenodigden niet terugschept: non-respons / non-response. Wie meedoet aan een vragenlijstonderzoek bepaalt zichzelf — en als de reden om níét mee te doen samenhangt met wat je meet, schuift je gemiddelde stilletjes op.

Zelf doen in JASP

⬇ Download de data — tempo_meting.csv

Bij dit blok hoort het databestand tempo_meting.csv: 159 rijen, drie kolommen — id (patiëntnummer), oq45_score (OQ-45-totaalscore) en respons (ja of nee: deed deze patiënt mee aan het vragenlijstonderzoek?). Het verhaal is echt, de rijen zijn verzonnen — er zit geen echte patiënt in. En let op de luxe die dit bestand je geeft: óók van de 47 nee-zeggers staat de OQ-45-score erin, omdat die bij intake routinematig was afgenomen en dus in het dossier stond. Een echte onderzoeker heeft die kolom bijna nooit; dit bestand is een kijkdoos waarin je kunt zien wat non-respons dóét.

In JASP · JASP 0.98.1

Open het bestand in JASP (menu linksboven → Open).
Klik in de balk bovenin op Descriptives.
Sleep oq45_score naar het vak Variables; de kolom id laat je staan waar hij staat.
Klap het paneel Statistics open en vink Std. error of mean aan.
Kijk naar de tabel, en sleep dán pas respons naar het vak Split — de tabel splitst zich in een ja-kolom en een nee-kolom.

Vóór de splitsing zie je de hele groep: Valid 159, Mean 87.981, Std. deviation 20.033, Std. error of mean 1.589. Reken de standaardfout gerust even na: 20.03 gedeeld door √159 (≈ 12.6) is inderdaad 1.59.

Ná de splitsing wordt het interessant. De ja-groep: n = 112, M = 84.87, SD = 19.51, SE = 1.84 — dit zijn de getallen uit het fragment. De nee-groep: n = 47, M = 95.40, SD = 19.49, SE = 2.84. De patiënten die niet meededen, scoorden gemiddeld ruim tien punten hóger: de zieksten deden het minst mee. En kijk nu nog eens naar de hele groep: 87.98. Het fragment rapporteerde 84.9 en noemde dat “this population” — maar de populatie zat drie punten hoger, en die drie punten zaten verstopt in de 47 rijen die het fragment niet noemde.

Wie het verschil tussen ja en nee hard wil maken: T-Tests → Independent Samples T-Test, oq45_score naar Dependent Variables, respons naar Grouping Variable, en vink Welch aan: t(86.5) = −3.11, p = .003. Dit heet een non-responsanalyse, en het is precies wat je in een goed artikel hoopt aan te treffen: de auteurs vergelijken deelnemers en niet-deelnemers op wat er wél van beiden bekend is.

Zelf opschrijven

Schrijf het op — het gemiddelde en zijn steekproef

Voor je eigen Nederlandstalige literatuurstudie:

Van de 159 uitgenodigde patiënten deed 70% mee aan het onderzoek (n = 112). De deelnemers scoorden gemiddeld 84.9 op de OQ-45 (SD = 19.5). Een non-responsanalyse op de dossiergegevens liet zien dat de niet-deelnemers bij intake gemiddeld hogere klachtenscores hadden (95.4 tegenover 84.9); het gerapporteerde gemiddelde onderschat de klachtendruk in de totale patiëntengroep daarom waarschijnlijk.

Drie werkafspraken daarbij:

Noem de noemer. “112 patiënten deden mee” is een half getal zolang er niet bij staat hoeveel er waren uitgenodigd. Respons is een breuk; rapporteer boven én onder de streep.
Zeg wélke van de twee je rapporteert. SD beschrijft de patiënten, SE beschrijft je schatting van het gemiddelde. Een kaal getal tussen haakjes, of een kaal ±-teken, is onleesbaar — schrijf er SD of SE bij, en lees het bij anderen ook zo na.
Rapporteer wat je over de non-responders weet. En weet je niets — geen dossier, geen achtergrondgegevens — schrijf dan óók dat op. “Over de niet-deelnemers is niets bekend” is informatie.

Wat het niet zegt

De verleidelijkste redenering die je over dit fragment kunt opschrijven is: “SE = 1.8 op een schaal die tot 150 loopt — we weten dus heel precies hoe hoog de klachtendruk in deze populatie is.” Eén korte zin, drie haarscheurtjes.

“Heel precies.” Klopt — en precies is niet hetzelfde als juist. De standaardfout meet één soort onzekerheid: het wiebelen van het gemiddelde als je blind opnieuw zou scheppen. Hij gaat ervan uit dát er blind geschept is. Hier is dat niet gebeurd: de zieksten deden minder mee, en het gemiddelde van de deelnemers (84.9) ligt drie punten onder dat van de hele groep (88.0). Een kleine SE om een scheve schatting heen is een scherpe foto van het verkeerde tafereel. En dit haarscheurtje groeit niet dicht met meer data — integendeel: bij een scheve steekproef maakt een grotere n de standaardfout kleiner terwijl de fout blijft staan. Je wordt dan steeds zekerder van het verkeerde antwoord.

“SE = 1.8.” Dat getal zegt níét dat de patiënten op elkaar lijken. Daarvoor moet je bij de SD zijn: 19.5 — deze groep loopt van nauwelijks klachten tot zeer ernstig. De standaardfout is klein omdat n groot is, niet omdat de groep homogeen is. Wie SE en SD verwart, leest “onze patiënten zitten allemaal rond de 85” waar staat “ons gemíddelde is scherp geschat” — en dat zijn werkelijk twee verschillende beweringen.

“Deze populatie.” Het fragment rekent 112 deelnemers stilzwijgend om tot de populatie, en verzwijgt de 47 die zwegen. Let wel: 70% respons is in vragenlijstonderzoek helemaal niet slecht. Maar non-respons is niet gevaarlijk door zijn percentage — hij is gevaarlijk door zijn systematiek. Dertig procent missen die toevallig verhinderd waren, had het gemiddelde nauwelijks bewogen; dertig procent missen die gemiddeld tien punten zieker zijn (t(86.5) = −3.11, p = .003) beweegt het wél. En het omgekeerde geldt ook: een hoge respons is geen garantie, want ook in een kleine restgroep kan de systematiek zitten. In dit oefenbestand kunnen we dat allemaal ná-kijken omdat het dossier meekeek; in het echt weet je meestal niet welke van de twee soorten non-respons je hebt — en juist daarom hoort een artikel er iets over te zéggen.

Oefening

Leesopgave. Hieronder twee voorbeeldfragmenten (verzonnen), uit twee studies naar burn-outklachten bij verpleegkundigen. Vertel in gewone Nederlandse zinnen wat er staat. Welke studie schat haar gemiddelde het preciest — en welk gemiddelde vertrouw je het meest? Het zijn twee verschillende vragen; dat is de opgave.

Study A: A link to the burnout questionnaire was shared in two national nursing groups on social media; 2,314 nurses completed the survey. The mean burnout score was 61.2 (SE = 0.4).

Study B: The questionnaire was sent to all 212 nurses of one general hospital; 187 completed it (response rate 88%). The mean burnout score was 52.8 (SE = 1.2).

Doe-opgave. Open tempo_meting.csv en draai de Descriptives van hierboven, eerst zónder Split. Reken de standaardfout na op een kladblaadje: SD gedeeld door √159. Zet dan de Split op respons en beantwoord twee vragen. Eén: hoeveel punten mist het ja-gemiddelde van het hele-groep-gemiddelde? Twee: leg die misser eens naast de standaardfout van de ja-groep (1.84) — is de misser klein of groot, gemeten in standaardfouten? En bedenk daarna wat je gerapporteerd zou hebben als dit een écht onderzoek was en de nee-kolom niet bestond.

Uitwerkingen — klik open

Uitwerking leesopgave

Studie A schat het preciest: SE = 0.4, dankzij ruim tweeduizend invullers. Maar vertrouwen is iets anders. De vragenlijst ging rond op social media: wie hem invulde bepaalde volledig zichzelf, en een noemer is er niet eens — je kunt niet uitrekenen hoeveel procent van wélke groep dit is. Wie klikt er op een burn-outvragenlijst? Niet zelden: wie zich erin herkent. De 61.2 kan dus fors vertekend zijn, en de piepkleine standaardfout repareert daar niets aan — tweeduizend keer scheef is nog steeds scheef, alleen preciezer. Studie B heeft een grotere SE maar een afgebakende groep en 88% respons: er is weinig ruimte voor zelfselectie, en haar 52.8 zegt betrouwbaar iets over dát ziekenhuis (of het ook voor andere ziekenhuizen geldt, is een volgende vraag — maar dat is een eerlijke vraag, geen verborgen fout). Het preciest geschatte gemiddelde en het meest geloofwaardige gemiddelde zitten hier dus in verschillende studies. Wie alleen naar de SE had gekeken, had precies de verkeerde gekozen.

Uitwerking doe-opgave

Het kladje: 20.03 gedeeld door √159 ≈ 20 gedeeld door 12.6 ≈ 1.59, en JASP zegt 1.589. Na de Split: het ja-gemiddelde is 84.87, de hele groep zit op 87.98 — de misser is 3.1 punten. Dat is ongeveer 1.7 keer de standaardfout van de ja-groep: de vertekening door non-respons is hier dus bijna twee keer zo groot als de onzekerheid die de SE rapporteert. En dat is het onaangename antwoord op de slotvraag: was dit echt onderzoek geweest, dan had je 84.9 met een smalle standaardfout gerapporteerd, er heel zeker uitgezien — en er drie punten naast gezeten zonder één signaal in je eigen getallen. Het signaal zat niet in de statistiek maar in het ontwerp: in de vraag wie er níét meedeed. Daarom eindigt dit blok niet met een formule maar met een leesgewoonte: zoek in elk artikel eerst de noemer.

◠ Zelfde vorm in het boek

Hier: de standaardfout als maat voor hoe zeker je van een gemiddelde mag zijn — en non-respons als reden waarom zeker nog niet juist is.

In het boek: W3 — Van steekproef naar populatie.

Daar staat de muur van bordjes: schep na schep uit de ton, elk gemiddelde een bordje aan de muur. De standaardfout is hoe breed die muur uitwaaiert — en hij is alleen te vertrouwen zolang er blind geschept is.

TODO: stem-pas. En: W3-anker nalopen zodra die boek-eenheid vaster staat — het muur-van-bordjes-beeld is hier alvast gebruikt; check of de non-respons-les (blind scheppen / wie schept er niet terug) daar expliciet landt of alleen in dit blok leeft.