Hoofdstuk 5 — Tien keer welnee
Betrouwbaarheid, items en Cronbachs alfa
Grove schets. H5 maakt van de Tweede beweging een echte beweging van twee: H4 koppelde twee variabelen aan elkaar (r), H5 koppelt veel vragen aan één meting — dezelfde motor, ander object. De twee bruggen staan expliciet in de tekst: score = deel-dat-ergens-over-gaat + ruis (DATA = FIT + RESIDU, nu op de méting) en item-samenhang = r (H4). Speelt zich af in de nácht tussen de kraai-diefstal (H4-slot) en de elf-scène (H6 §1). Kort gehouden op Bens verzoek (“het mag van mij ook een kort hoofdstuk worden”).
Getallen: twaalf mollen × vijf vragen, synthetisch en reproduceerbaar —
02_figuren/genereer_bangheid.R(seed 215), geverifieerd blad_h5_betrouwbaarheid_getallen.md. Kern: alfa vier vragen .87, mét graafvraag .75, item-rest .70–.77 (graafvraag .02), trap .81 → .84 → .87 → .93 → .97.HARDE GRENS (Ben, 22-7): de consistent-onzinnig-grap blijft in het boek zónder namen, zónder politiek — vorm zonder adres, één terzijde, meteen loslaten.
1. De mol
GROF — verhaal-stem, stem-pas volgt. Regels: geen les, geen statistiek; de mol is een blik (de dichte deur), de meeuw telt, de olifant remt. Tijdstip: de avond van de diefstal — H6 (“de volgende ochtend”) sluit er naadloos op aan.
Die avond kwam de mol.
Ze hoorden hem eerst — een zacht schuiven onder het mos, dat stilhield, verder ging, en weer stilhield. Toen stak er, vlak naast de diamantjes, een neus uit de grond.
“Is ze weg?” vroeg de mol.
“Wie?” vroeg de bever.
“De kraai.”
“Vanmiddag al,” zei de bever.
De neus draaide een langzaam rondje, en de mol kwam een stukje verder omhoog. Niet helemaal; zijn achterste bleef in de gang.
“Ik ben niet bang voor kraaien,” zei hij. “Voor de duidelijkheid. Ik vroeg het alleen even.”
“Natuurlijk,” zei de olifant.
Ze keken naar de diamantjes, die in het laatste licht lagen na te glanzen. De mol keek mee, op zijn manier; vooral zijn neus bewoog.
“Ben je eigenlijk wel eens bang?” vroeg de meeuw.
“Welnee,” zei de mol.
Het was even stil.
“Waarom blijft je achterste in de gang?” vroeg de meeuw.
“Dat is warmer,” zei de mol.
“En waarom hield je daarnet vier keer stil, onderweg hierheen?”
“Dat heet graven,” zei de mol. “Zo gaat dat.”
De meeuw wilde nog iets vragen, maar de olifant schudde langzaam zijn hoofd, en dus vroeg ze niets meer.
Later, toen de mol allang weer onder was, zei de olifant: “Hoe bang een mol is, weet je niet na één vraag.”
“Na hoeveel vragen dan wel?” vroeg de meeuw.
De olifant dacht na, zo lang als alleen olifanten durven.
“Meer,” zei hij.
2. Wat je niet kunt zien
Hoe zwaar een steen is, vraag je niet aan de steen. Je legt hem op een weegschaal, je leest het getal af, klaar. Zo was alles wat we tot nu toe gemeten hebben: karaat is wegen, glans is een glansmeter tegen een diamant houden. Het ding en de meetlat raken elkaar, en niemand hoeft iets toe te geven.
Hoe bang een mol is, ligt binnenin. Er bestaat geen bangheidsmeter die je tegen een mol aanhoudt, en het directe alternatief heb je net zien mislukken: je vraagt het, en je krijgt welnee — want dat is wat je zégt. Wat overblijft, is wat de meeuw deed. Niet één grote vraag naar het ding zelf, maar kleine vragen naar de buitenkant: het achterste in de gang, het stilhouden onderweg. Elke vraag is een venstertje waar de bangheid doorheen schemert — nooit helemaal, altijd een beetje.
Want door datzelfde venstertje schemert ook al het andere mee. Wat een mol antwoordt op één vraag, hangt af van zijn bangheid — én van de nacht ervoor, zijn humeur, het grondwater, de vraag die net verkeerd valt. Elk antwoord bestaat dus uit twee delen:
\[\underbrace{X}_{\text{het antwoord}} = \underbrace{T}_{\text{het deel dat over bangheid gaat}} + \underbrace{E}_{\text{het deel dat over al het andere gaat}}\]
ware score true score notatie: \(T\); de rest heet meetfout, measurement error (\(E\))
Deze splitsing ken je. Het is DATA = FIT + RESIDU uit hoofdstuk 4 — een deel dat ergens over gaat, en een deel dat ruis is — maar nu zit de splitsing niet in een model, hij zit in de méting zelf. En er is één verschil dat alles op scherp zet: in hoofdstuk 4 kon je de FIT uitrekenen, hij lag gewoon op de lijn. Hier niet. De ware bangheid van een mol — statistici zeggen: zijn ware score — krijg je nooit los te zien. De splitsing bestaat, maar hij is onzichtbaar.
betrouwbaarheid reliability kern: consistentie
Wat doe je met een meting waarvan je de fout niet kunt zíén? Je kijkt of hij zichzelf tegenspreekt. Meet nog eens, en nog eens: krijg je ongeveer hetzelfde beeld, dan zit er blijkbaar weinig ruis doorheen — krijg je elke keer wat anders, dan mat je vooral ruis. Die eigenschap heet betrouwbaarheid (reliability), en onthoud er vooral één woord bij: consistentie. Herhalen kan in de tijd — morgen nóg eens vragen — of in de breedte: meer vragen tegelijk stellen over hetzelfde ding. Wij nemen de breedte; dat is wat een vragenlijst is.
3. Eén vraag is een gok
Dit is de derde keer dat je deze beweging maakt. In hoofdstuk 1 zei één diamantje weinig over het kistje — het gemiddelde van twaalf zei meer. In hoofdstuk 3 deed één dobbelsteen wild en deed het gemiddelde van vier al kalm, en werd je lineaaltje korter naarmate de greep groeide. Nu zijn het geen diamantjes en geen dobbelstenen. Nu zijn het vrágen.
Eén vraag is een gok naar de bangheid, met een flinke gokfout eraan vast. Maar kijk wat er gebeurt als je er meer stelt en de antwoorden optelt. Het bangheid-deel is in elke vraag hetzélfde deel — dat stapelt. Het ruis-deel trekt in elke vraag een ándere kant op — dat valt tegen zichzelf weg, precies zoals de wilde dobbelstenen samen een kalm bordje werden. Meer vragen, minder wiebel in het oordeel. Zelfde spel, derde verdieping.
item item ook: vraag (op een vragenlijst)
Laten we het netjes doen. Geen “ben je bang?” — die hebben we geprobeerd — maar vier vragen naar buitenkanten, want over wat je dóét lieg je minder makkelijk dan over wat je bent:
- Schrik je als er iets ritselt boven je gang? (schrik)
- Steek je eerst alleen je neus naar buiten, en wacht je dan nog even? (neus)
- Graaf je je slaapkamer dieper dan nodig? (diep)
- Blijf je onder de grond als het buiten te stil is? (stil)
Elk te beantwoorden van 1 (nooit) tot 5 (altijd). Vragen op zo’n lijst heten in het vak items — het woord kom je in elk artikel tegen.
En we vragen het niet aan één mol. Aan één mol zie je namelijk niets: consistentie is iets tússen antwoorden, en verschil is iets tússen mollen — de statistiek ziet alleen verschil, dat is sinds Else geen nieuws meer. Dus stel: twaalf mollen, uit de gangen onder het bos, vullen alle vier de vragen in. We leggen ze op een rij zoals de bever dat zou doen — van dapper naar bang:
| mol | schrik | neus | diep | stil | totaal |
|---|---|---|---|---|---|
| 1 | 2 | 1 | 1 | 2 | 6 |
| 2 | 1 | 1 | 2 | 2 | 6 |
| 3 | 2 | 1 | 3 | 2 | 8 |
| 4 | 2 | 2 | 2 | 3 | 9 |
| 5 | 2 | 1 | 4 | 3 | 10 |
| 6 | 4 | 2 | 3 | 4 | 13 |
| 7 | 3 | 4 | 4 | 3 | 14 |
| 8 | 3 | 5 | 3 | 4 | 15 |
| 9 | 3 | 4 | 5 | 4 | 16 |
| 10 | 5 | 4 | 4 | 3 | 16 |
| 11 | 4 | 4 | 4 | 5 | 17 |
| 12 | 5 | 4 | 5 | 4 | 18 |
De totaalscore — gewoon de vier antwoorden opgeteld, dus ergens tussen 4 en 20 — is onze nieuwe gok naar wat binnenin zit. Reken gerust een paar rijen na; elke rij moet optellen.
En lees de tabel dan eens van boven naar beneden. De kolommen klimmen mee met de rij, alle vier, maar geen van de vier klimt netjes — kijk naar mol 5, een held bij geritsel (2) die wél drie lagen dieper woont dan nodig (4). Of mol 6: op de neus-vraag een durfal (2), bij geritsel een schrikhaas (4). Op élke losse vraag zit hij ernaast; de vier samen zetten hem waar hij hoort, middenin (13). Dat is de hele belofte van de optelsom, zichtbaar in één kolom: losse vragen wiebelen, het totaal wiebelt minder.
4. Maar wel over hetzelfde
Meer vragen helpt — als de vragen hetzelfde onzichtbare ding zien. En of ze dat doen, kun je niet aan de vrágen zien. Je ziet het aan de antwoorden. Als de schrik-vraag en de neus-vraag allebei bangheid meten, dan moeten mollen die hoog zijn op de één ook hoog zijn op de ander. Niet altijd — meestal. En meestal heeft bij ons sinds hoofdstuk 4 een getal: \(r\).
Elk paar vragen is een wolkje van twaalf mollen, en elk wolkje heeft zijn correlatie. Vier vragen geven zes paren:
| schrik | neus | diep | stil | |
|---|---|---|---|---|
| schrik | 1 | |||
| neus | .69 | 1 | ||
| diep | .64 | .62 | 1 | |
| stil | .66 | .72 | .61 | 1 |
Zo staan ze ook in artikelen, dus lees hem rustig. Alle zes de paren tussen .61 en .72, gemiddeld .66 — de vragen bevestigen elkaar. Geen van de vier loopt uit de pas: elke vraag hangt .70 tot .77 samen met de som van de andere drie.
Er lag alleen nog een vijfde vraag op tafel. Iemand — ik noem geen namen, maar hij bouwt dammen — vond dat je een mol niet kunt kennen zonder over graven te beginnen:
- Kun je goed graven? (graven)
We hebben hem netjes meegevraagd, en het is zonder twijfel een vraag over mollen. Maar kijk wat de antwoorden doen: de graafvraag hangt .02 samen met de som van de vier andere. Nul komma niks. (Met de losse vragen ligt er wat gruis tussen −.11 en +.21 — dat is wat toeval bij twaalf mollen laat rondslingeren, geen verband.) En de tabel laat zien waarom: mol 12, de bangste van de rij, graaft als de beste (5); mol 8, bijna even bang, kan er niets van (1); mol 2, een van de dapperste, graaft prima (4). Graven is een vak. Bangheid is iets anders.
Wie de graafvraag toch meetelt, maakt zijn lijst dus langer maar zijn meting niet beter: er stapelt geen bangheid bij, alleen iets ánders. Een vraag hoort er niet bij omdat hij óók over mollen gaat. Hij hoort erbij als hij hetzelfde onzichtbare ding ziet als de rest.
5. Eén getal voor de hele lijst
Cronbachs alfa Cronbach’s alpha notatie: \(\alpha\)
Zes correlaties is vijf te veel voor een resultatensectie. Er bestaat één getal dat samenvat hoe hard de vragen van een lijst elkaar bevestigen, doorgerekend naar de totaalscore: Cronbachs alfa. Voor onze vier vragen: \(\alpha\) = .87. (De Griekse letter \(\alpha\) heeft in de statistiek nog een tweede baan — een afspraakgrens voor toeval, die verderop in dit boek langskomt. Twee betekenissen, één letter; de context wijst wie er aan het woord is.)
Wat zégt dat getal? Lees het als een aandeel, familie van \(R^2\): van alle verschil dat de totaalscore tussen de mollen ziet, is naar schatting .87 verschil in bangheid, en de rest ruis. Naar schatting — de ware score blijft onzichtbaar, dus dit aandeel wordt geschat uit de samenhang, niet afgelezen. In een artikel staat het er zo, en vanaf nu kun je die bijzin lezen: de vier items vormden een consistente schaal (\(\alpha\) = .87). Een gangbare vuistregel wil alfa boven de .70; behandel die zoals elke vuistregel in dit boek — een gewoonte met een rond getal, geen wet.
En alfa doet nog iets voor ons: hij ziet de graafvraag. Tel vraag vijf mee en alfa zakt van .87 naar .75 — de lijst werd langer én slechter, precies zoals sectie 4 voorspelde. Software zet er standaard een kolom naast die per vraag toont wat er gebeurt als je hem schrapt: schrap een bang-vraag en alfa zakt naar .60 à .68, schrap de graafvraag en hij springt terug naar .87. Zo wijst de lijst zijn eigen buitenstaander aan.
6. Hoeveel vragen is genoeg?
De vraag van de olifant heeft een antwoord, en het is eerlijker dan een getal: dat hangt ervan af — en zó hangt het ervan af.
Onze eerste twee vragen samen halen \(\alpha\) = .81. Drie vragen: .84. Vier: .87. Elke goede vraag erbij helpt — maar kijk naar de stapgrootte, die wordt klein. En dat zet door: uit de samenhang die onze vragen nu hebben, valt uit te rekenen wat verdubbelen zou opleveren. Acht van zulke vragen: .93. Zestien: .97. Van twee naar vier vragen kocht .07; van acht naar zestien koopt nog .03.
-
Figuur 5.1. De trap van meer vragen: gemeten alfa’s bij twee, drie en vier vragen (dicht) en de belofte van verdubbelen (open) — de trap blijft klimmen, maar de treden worden laag.
Figuur v1 (02_figuren/_bouw_h5.R, leest de getallen rechtstreeks uit genereer_bangheid.R). Belofte = Spearman-Brown vanaf alfa-4.
Meer vragen geeft dus altijd minder wiebel, met afnemende meeropbrengst — de trap wordt vlak. En de trap heeft een verzwegen aanname: dat elke nieuwe vraag even goed is als de oude. In het echt is dat de grens. Vraag een mol veertig dingen en ergens halverwege gaat hij antwoorden om er vanaf te zijn; de vragen blijven komen, de aandacht niet, en dan koop je met je extra vragen juist ruis. Genoeg is waar de trap vlak wordt en de mol nog wakker is. Voor een lijst waarmee je groepen vergelijkt, is dat punt er eerder dan je denkt; wie op één individuele mol een beslissing wil bouwen, heeft de hoge treden wél nodig.
Voor wie verder wil — de formule achter de trap
De hoofdtekst is compleet zonder dit kader; sla het gerust over.
De trap komt uit één formule, die van Spearman en Brown. Ken je de gemiddelde samenhang tussen de vragen (\(\bar{r}\) = .66 bij ons), dan is de betrouwbaarheid van een lijst van \(k\) van zulke vragen ongeveer
\[\alpha \approx \frac{k\,\bar{r}}{1 + (k-1)\,\bar{r}}\]
Vul \(k\) = 4 in en er rolt .88 uit — vlak bij de echte .87; het kleine verschil komt doordat de formule doet alsof alle vragen precies even sterk zijn. De teller groeit met \(k\), maar de noemer groeit mee — dáár zit de afnemende meeropbrengst. En herken de familie: ruis die wegmiddelt naarmate je meer onafhankelijke stukjes optelt is exact het wortel-\(n\)-verhaal van hoofdstuk 3, nu verkleed als vragenlijst.
7. Betrouwbaar is geen compliment
Nu de waarschuwing die dit hoofdstuk belangrijker vindt dan zijn eigen getal. Betrouwbaar betekent consistent. Het betekent niet goed.
Denk aan een weegschaal. Je gaat erop staan en hij geeft tien kilo te veel aan. Nog een keer: weer tien te veel. En nog eens: tien te veel. Is dat consistent? Volmaakt. Deze weegschaal is zo betrouwbaar als een meetinstrument maar zijn kan — en hij zit er altijd tien kilo naast.
Of vraag het de mol. Tien keer dezelfde vraag, tien keer welnee. Herhaald meten, telkens hetzelfde antwoord: dat ís betrouwbaarheid, in haar kaalste vorm — consistenter wordt het nooit. En over zijn bangheid weet je nog steeds niets. Het enige dat je heel precies gemeten hebt, is hoe hard hij volhoudt.
Betrouwbaar is dus geen compliment. Wie altijd hetzelfde onzinnige doet, is uiterst betrouwbaar — iedereen kent er zo een. Goed; verder.
validiteit validity kern: meet je het júíste?
Want dit gaat ook over ons eigen getal. Een hoge alfa zegt dat je vragen hetzélfde meten — niet dat ze het júíste meten. Hadden we vier grááfvragen gesteld, hoe diep, hoe snel, hoe recht, hoe graag, dan hadden die elkaar ook keurig bevestigd, met een alfa om door een ringetje te halen. Een prachtige lijst. Voor graafvaardigheid. Of de lijst werkelijk bangheid meet — dat heet validiteit — kan geen enkel getal uit de lijst zelf je vertellen; daarvoor moet je de lijst naast de wereld leggen en kijken of de score zich gedraagt zoals bangheid zich gedraagt. Alfa bewaakt de binnenkant van de lijst. Wat de lijst over de buitenwereld waard is, is een andere vraag, en een hoge alfa mag je nooit als antwoord dáárop verkopen — dat is de meest gemaakte denkfout van dit hele onderwerp.
8. Werk
Het rekenen mét software — R en JASP — hoort bij het oefenboek: het boek toont, het oefenboek traint. Alfa, de item-restcorrelaties en de schrap-kolom komen daar met een paar klikken uit JASP (Reliability) of R (psych::alpha), met je eigen data — en je oefent er ook wat dit hoofdstuk bewust liet liggen: vragen die omgekeerd gesteld zijn, en consistentie over de tijd.
Software-vrij (7-7, keuzes §1); geen sier-regel — dit is geen simulatie-hoofdstuk. Oefenboek-kiemen genoteerd in 00_kompas/OEFENBANK.md (H5-blok).
9. Sluiting
We kunnen nu iets wat aan het begin van de avond onmogelijk leek: iets meten dat je niet kunt zien. Niet met één grote vraag naar het ding zelf, maar met een handvol kleine vragen naar buitenkanten — en een getal dat eerlijk zegt hoeveel van wat we optelden ergens over gaat. Wat dat getal belooft, is consistentie. Wat het niet belooft, weet je ook: dat de meting deugt. Een lijst die zichzelf nergens tegenspreekt kan nog altijd bedrogen uitkomen — door de mol die volhoudt, door de vragen die met z’n allen het verkeerde zien. En door nog iets, waar geen vragenlijst tegen helpt: door het toeval dat bepaalde wíé er in je kistje zaten.
Tegen de ochtend werd het licht, eerst grijs, toen goud.
De mol was allang weer onder. Op de plek waar zijn neus geweest was lag een klein hoopje aarde, zorgvuldig dichtgeduwd.
De olifant keek naar het mos, waar de diamantjes wachtten op de dag.
“We moesten ze maar eens tellen,” zei hij.
Open punten (grof → redactie-pas)
- Getallen geborgd:
_h5_betrouwbaarheid_getallen.md+02_figuren/genereer_bangheid.R(seed 215; generatie-volgorde is dragend). Waarheidsscript-H5-blok nog open — guards a–d staan in het getallenblad. - Mol in de cast: de mol was kandidaat “domme-vragen-die-slim-zijn”; hier is hij de dichte deur (de blik die je níét binnenlaat). De twaalf data-mollen zijn naamloos en de verhaal-mol zit niet herkenbaar in de tabel (dieren demonstreren nooit — de mollen-familie is meetobject, de cast niet). Check met Ben.
- Titel is werktitel. Tien keer welnee noemt de scène, niet de vondst. Alternatieven: De bange mol (beweert het antwoord — juist daarom te overwegen), Hoeveel vragen? (te droog naast de ondertitel). Bens call.
- Continuïteit H4 → H5 → H6: dit hoofdstuk vult de nacht tussen diefstal en elf-scène; het slot (“We moesten ze maar eens tellen”) reikt H6 §1 aan. Checken bij stem-pas of H6’s openingszin (“De volgende ochtend waren het er elf”) na deze nacht nog soepel leest. En: H4’s slotzin (“Dat is het volgende hoofdstuk. De grabbelton staat al klaar.”) wijst sinds vandaag naar het verkeerde hoofdstuk — werk-briefje in H4 §14 gezet, herformuleren bij de stem-pas.
- Alfa-notatie naast de latere afspraak-α (H7): nu één zin tussen haakjes in §5 (twee banen, context wijst). Genoeg? De B-vs-β-waarschuwing van H4 is het model.
- Betrouwbaarheidsinterval-naamgenoot: H6 heet “Betrouwbaarheidsinterval, bootstrap en permutatie” — de naamsverwarring (interval ≠ betrouwbaarheid) is hier bewust níét benoemd; beslissen of H6 er bij de stem-pas één regel aan wijdt.
- Figuur 5.1 is een v1-steiger (R,
_bouw_h5.R); eindversie kan Bens hand-trap worden (ILLUSTRATIES-stijl). - Reverse-coded vragen bewust weggelaten (werkboek-stof; genoteerd in OEFENBANK). Ook weggelaten: test-hertest/parallel/interbeoordelaar als namen (Bens OZP-college-stof; alleen “herhalen in de tijd of in de breedte” als gebaar), KR-20/omega-machinerie, en het woord dimensionaliteit (de les staat er zonder het woord — bewust, Bens bestelling).
- Bib-borging: de mol-scène, “over wat je dóét lieg je minder makkelijk dan over wat je bent”, de trap-met-vermoeidheidsgrens en de vier-graafvragen-wending bestaan alleen in deze schets — bij volgende molen-ronde als bron ingesten.