Tweede beweging · Verschillen koppelen

Oefening 7.1 · Betrouwbaarheid en Cronbachs α

Interne consistentie · internal consistency

In deze oefening

• Vijf vragen die samen één ding willen meten
• Bereken α in JASP
• Wat α wél en niet zegt
• De schaal-dokter
• Schrijf het op als een onderzoeker

Data bij deze oefening — bigfive.csv de Big Five-vragenlijst · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

Vijf vragen die samen één ding willen meten

vragenlijst-items · samen één ding meten · Cronbachs α

Tweeduizend zeshonderd mensen vulden ooit een persoonlijkheidsvragenlijst in — de Big Five, echt afgenomen, vrij beschikbaar.¹ Vijf van die vragen willen samen één ding meten: neuroticisme, hoe snel iemand van slag raakt. “Ik word makkelijk boos.” “Ik voel me vaak somber.” Vijf losse vraagjes, en de hoop dat ze samen iets samenhangends aftasten.

Maar hoe wéét je of die vijf vragen samen één ding meten, en niet vijf verschillende dingen? Daar is één getal voor, en het heet Cronbachs α (alpha). Trek even mee — we rekenen ’m uit, en daarna laat ik je een valkuil zien waar deze echte data zelf inloopt.

speel het

OpmerkingWaarom de diamantjes hier ontbreken

Dit is de enige oefening zonder diamantjes vooraf: Cronbachs α vraagt meerdere metingen van hetzelfde — losse items die samen één ding willen meten — en twaalf steentjes met elk één glans-getal zijn dat niet.

Bereken α in JASP

itemanalyse · item-rest-correlatie · samenhang tussen items

Bij dit blok hoort bigfive.csv: 2634 rijen (de mensen) en 29 kolommen. Je gebruikt er hier tien: N1–N5 (neuroticisme) en O1–O5 (openheid), elk een antwoord van 1 tot 6. De andere vijftien uitspraken en de drie kolommen met leeftijd, sekse en opleiding laat je in dit blok met rust — wat ze allemaal betekenen staat op de datasetbladzij.

OpmerkingIn JASP · bereken α · JASP 0.98.1

1. Open bigfive.csv in JASP (menu linksboven → Open).
2. Klik bovenin op Reliability en kies onder Classical Unidimensional Reliability.
3. Sleep N1 tot en met N5 naar het vak Variables; id en de O-items laat je staan.
4. Vink onder Scale Statistics aan: Cronbach’s α. Vink onder Individual Item Statistics aan: Item-rest correlation.

Bovenaan verschijnt Cronbach’s α = 0.81. α loopt van 0 tot 1, en .81 is hoog: de vijf neuroticisme-vragen bewegen flink samen op en neer. Wie op de ene hoog scoort, scoort op de andere ook hoog.

Kijk dan naar de kolom item-rest correlation in de itemtabel: hoe sterk hangt elk item samen met de som van de andere vier. Ze lopen van .48 (N5) tot .67 (N1 en N3) — allemaal ruim positief, geen enkel item hangt er dood bij. Zo ziet een schaal eruit waarvan de onderdelen echt samen één ding aftasten. JASP rekent; jij leest.

snap het

Wat α wél en niet zegt

consistentie is geen validiteit · omgekeerde items · negatieve α

Waarom hier geen “schud het”? Omdat α geen waar-of-toeval?-vraag stelt — het is geen toets maar een maat voor hoe eensgezind de items zijn. Er is niets om los te schudden. Maar er zijn wél drie dingen die je erin kunt lezen die er níét in staan.

α is niet hetzelfde als validiteit. Dit is de belangrijkste. α zegt of je items consistent zijn — of ze hetzelfde blijven aanwijzen. Niet of ze het juiste aanwijzen. Vijf vragen kunnen prachtig samenhangen en met z’n allen iets ánders meten dan je denkt (hoe sociaal wenselijk iemand antwoordt, bijvoorbeeld). Een keukenweegschaal die altijd 3 kilo te veel toont, is volmaakt consistent en volstrekt fout. α meet de consistentie-kant, en alleen die.

α groeit vanzelf met de lengte. Meer items → hogere α, bijna gratis. Een lange lijst haalt bijna vanzelf een mooie α; dat bewijst niet dat elk item goed is, alleen dat er véél zijn.

En dan de valkuil waar deze echte data zelf inloopt. Draai dezelfde analyse op de vijf openheid-items, en er komt iets vreemds uit:

OpmerkingIn JASP · de omgekeerde-item-val

Draai Unidimensional Reliability op O1–O5. Bovenaan staat nu een negatieve α (rond de −.16) — onmogelijk. JASP zet een streepje bij de items met een negatieve item-rest correlatie: dat zijn de omgekeerde, hier O2 en O5. Open Reverse-Scaled Items en sleep die twee naar het rechtervak. De α springt nu naar 0.60.

Een negatieve α — onmogelijk als maat, dus er is iets stuk. En dat iets is: sommige openheid-vragen zijn omgekeerd gesteld (reverse-scored). “Ik heb weinig fantasie” hoort bij lage openheid, terwijl “Ik zit vol ideeën” bij hóge openheid hoort. Tel je ze op zonder de omgekeerde eerst te draaien, dan werken ze elkaar tegen en stort α in. Draai je die twee items goed, dan komt er .60 uit — lager dan neuroticisme, en een eerlijker beeld van een bredere, lossere dimensie.

De les: α gaat ervan uit dat je items dezelfde kant op staan. Een getal onder de nul is geen slechte schaal maar een waarschuwing dat je iets vergat te draaien — en precies daarom kijk je nooit alleen naar de α, maar altijd ook naar de item-rest correlaties eronder. Die verklappen een dood of omgekeerd item; het ene totaalgetal verstopt het.

Voor wie verder wil — de andere drie manieren om te herhalen

De oefening is compleet zonder dit kader; sla het gerust over.

De analyse die je net draaide heet in JASP niet “Cronbach” maar Reliability, en dat is geen slordigheid: α is er één van meerdere. Onder al die soorten ligt dezelfde vraag — komt er hetzelfde uit als je nog een keer meet? — en ze verschillen alleen in wát er dan herhaald wordt. Bij α is de herhaling binnen één afname te vinden, over de items heen. De andere drie:

wat je herhaalt	zo heet het
dezelfde meetlat, later in de tijd	test-hertest · test-retest
een tweede versie van dezelfde meetlat, op hetzelfde moment	parallelvorm · parallel forms
hetzelfde object, beoordeeld door iemand anders	interbeoordelaar · inter-rater

De parallelvorm bestaat om het leereffect van test-hertest te ontlopen: wie de vragen al een keer zag, beantwoordt ze de tweede keer anders.

Alle drie leunen ze op de correlatie, en die heeft één eigenschap waar je overheen kijkt zolang je alleen het getal leest. Twee beoordelaars geven twaalf objecten een cijfer:

beoordelaar 1	2	4	3	7	5	6	4	8	3	5	6	7
beoordelaar 2	5	7	6	10	8	9	7	11	6	8	9	10

Loop de twaalf paren maar langs: er is er geen één waarin ze hetzelfde cijfer noemen. De tweede zit er stelselmatig drie boven. Vraag JASP de correlatie tussen deze twee kolommen en er staat 1.000.

Samenhang is geen overeenstemming. Een correlatie kijkt naar de rangschikking: leggen de twee beoordelaars de objecten in dezelfde volgorde? Overeenstemming kijkt naar het cijfer zelf: noemen ze hetzelfde getal? Op de eerste vraag is het antwoord hier volmaakt, op de tweede nul — en aan die 1.000 in je output zie je dat niet.

Rangordenen helpt hier niet: de rangen zijn identiek, dus de rangcorrelatie (Spearman, ofwel Pearson over de rangen) komt óók op 1.00 uit. Wat je er wél mee wint is een eerlijke belofte, want een rangcorrelatie claimt alleen iets over volgorde. Voor de cijfers zelf moet je een overeenstemmingsmaat opvragen — het percentage waarop de twee precies gelijk zaten, of een intraklasse-correlatie in zijn overeenstemmings-vorm. Die telt die drie punten wél als verschil.

En zelfs een hoge rangcorrelatie verzwijgt nog waar de onenigheid zat: over de uitersten zijn beoordelaars het meestal wel eens, in het midden lopen ze uit elkaar. Eén getal over twaalf objecten verstopt dat — dezelfde les als de itemtabel onder je α, nu met beoordelaars in plaats van items.

jouw beurt

De schaal-dokter

omgedraaide items · zwakste item · α na schrappen

De schaal-dokter. De openheid-schaal is hierboven al gered met check.keys = TRUE, maar helemaal gezond is hij nog niet. Zoek uit waar het zeurt. De laatste vraag heet Z): de aannames staan altijd achteraan, en die letter is met opzet geen volgletter.

Deze oefening ziet er anders uit dan de rest van de boekjes, en dat hoort zo: α vraagt om items — meerdere metingen van hetzelfde — waar de andere blokken twee variabelen tegen elkaar zetten. De vragen gaan dus over een tabel met tien kolommen en niet over een model.

OpmerkingIn JASP · de gegevens klaarzetten · JASP 0.98.1

Open bigfive.csv. Je hebt straks twee groepjes van vijf nodig: O1–O5 (openheid) en N1–N5 (neuroticisme).

Onderin hoort 2634 rijen te staan en 29 kolommen. Van die 29 gebruik je er hier tien; de rest staat er voor andere oefeningen.

OpmerkingJouw beurt

a) Draai Unidimensional Reliability op O1–O5 en zet in Reverse-Scaled Items de omgekeerde items goed. Welke items moesten er om? Je herkent ze aan een negatieve item-rest correlatie zolang ze nog niet gedraaid zijn. (hoeveel het er zijn en welke)

b) Kijk wat α doet zolang je die twee items níét hebt omgedraaid. Waarom is die uitkomst geen slechte schaal maar een foutmelding in vermomming? (het getal, en één zin over wat er stukging)

c) Lees in de itemtabel de kolom item-rest correlation — de samenhang van elk item met de som van de andere vier. Welk item hangt het slechtst samen? (de naam en zijn item-rest correlatie)

d) En de andere vier? (het bereik waarbinnen ze liggen)

e) Vink onder Scale Statistics de optie Cronbach’s α (if item dropped) aan en kijk wat er met α gebeurt als je precies dát item weggooit. Reken het daarna na door de analyse te draaien met één item minder in Variables. (de oude en de nieuwe α, en of de tabel en je eigen herberekening het eens zijn)

f) Doe hetzelfde bij neuroticisme, op N1–N5. Welk item is daar het zwakst? (de naam en zijn item-rest correlatie)

g) Wat gebeurt er met α van neuroticisme als je dát item schrapt? Kijk goed naar de derde decimaal. (de oude en de nieuwe α op drie decimalen, en welke kant het op ging)

h) Bij openheid stijgt α van het schrappen, bij neuroticisme niet. Hoe kan hetzelfde trucje twee kanten op werken? (één zin, waarin zowel de sterkte van het item als de lengte van de schaal voorkomt)

i) Mag je dat openheid-item nu zomaar weggooien? (over de vragenlijst, niet over het getal)

j) α groeit vanzelf met de lengte van een schaal. Wat betekent dat voor iemand die alleen naar α kijkt om te beoordelen of een vragenlijst deugt? (één zin, en zeg erbij wat je dan wél moet bekijken)

Z) Mag je alles hierboven geloven? α leunt erop dat je vijf items vijf verschillende happen uit hetzelfde ding nemen. Kijk daarom niet alleen naar het ene totaalgetal maar ook naar de items onderling: vraag via Regression → Correlation de correlatiematrix van N1–N5 op. Zoek het hoogste paar op en vergelijk het met de rest van de tabel.

OpgeletAntwoord — open na je eigen poging

a) Twee: O2 en O5.

b) Dan komt er α = −.161 uit. Een negatieve α is onmogelijk als maat — je kunt niet mínder dan niets samenhangen — en dus is het geen slechte schaal maar een melding dat er iets stuk is. Wat er stuk was: O2 en O5 zijn omgekeerd gesteld (“Ik heb weinig fantasie” hoort bij lage openheid), en opgeteld zonder eerst te draaien werken ze de andere drie tegen.

c) O4, met een item-rest correlatie van .22.

d) De andere vier liggen tussen .34 en .46 — O2 op .34, O1 op .40, O5 op .42 en O3 op .46. O4 valt daar dus flink onder.

e) α gaat van .60 naar .62. De tabel en je eigen herberekening geven hetzelfde: zonder O4 komt er .6165 uit, tegen .6043 met alle vijf. Dat narekenen is de moeite waard — de tabel rekent hetzelfde, maar nu heb je het zélf gezien.

f) N5, met .48. Dat is het zwakste van de vijf, maar het ligt nog altijd ruim bóven het beste openheid-item.

g) α gaat van .812 naar .811 — hij zakt dus een piepklein beetje, in plaats van te stijgen. Op twee decimalen zie je er niets van: .81 blijft .81. Het zwakste item weggooien maakt een schaal niet vanzelf beter.

h) Twee dingen trekken aan het touw: schrappen maakt de schaal eensgezinder maar ook korter, en α beloont allebei. Bij openheid draagt O4 met .22 zo weinig bij dat de winst aan eensgezindheid de verloren lengte ruim goedmaakt; bij neuroticisme draagt N5 met .48 nog genoeg om die lengte te verdienen, en dan wint het verlies net.

i) Nee, niet op grond van dit getal alleen. α meet consistentie, niet validiteit: het zegt of de items hetzelfde blijven aanwijzen, niet of ze het júíste aanwijzen. Misschien tast O4 juist een hoekje van openheid af dat de andere vier laten liggen — dan koop je een mooier getal met een smallere vragenlijst. De vraag “wat vraagt O4 eigenlijk?” ga je niet met een correlatie beantwoorden maar met de vragenlijst erbij.

j) Dan kan hij een lange lijst voor een goede lijst aanzien: meer items geeft bijna gratis een hogere α, ook als elk afzonderlijk item slap is. Kijk dus altijd óók naar de item-rest correlaties eronder — die verklappen een dood of omgekeerd item, en het ene totaalgetal verstopt dat juist.

Z) Bijna, maar er zit een addertje bij neuroticisme, en je vindt hem in de correlatiematrix.

α gaat ervan uit dat de items vijf verschillende happen uit hetzelfde ding nemen. Neem je twee keer bijna dezelfde hap, dan hangen die twee items met elkaar samen om een reden die niets met de schaal te maken heeft — dezelfde woorden, dezelfde formulering — en dat duwt α omhoog zonder dat de schaal méér meet. Kijk: N1 en N2 correleren .71, terwijl geen enkel ander paar in die tabel boven de .56 komt. Die twee lijken verdacht veel op elkaar. Een deel van die mooie .81 is dus geleend van een dubbeling, en niet verdiend met bereik.

Twee andere dingen die α niet kan zien. Hij controleert niet of je items één ding meten of stiekem twee — een schaal die uit twee halve schalen bestaat kan een keurige α halen. En hij gaat ervan uit dat alle items even sterk meedoen; is dat niet zo, dan is α een ondergrens en niet de betrouwbaarheid zelf.

De weg terug:

• Blijft staan: alle item-rest correlaties bij c), d) en f). Dat zijn gewone correlaties, beschrijvingen van deze 2634 mensen, en daar verandert geen aanname iets aan.
• Doe je over: de lezing van de .81 bij f) en g) als “deze schaal is betrouwbaar”. Met een dubbelend itempaar erin is dat getal te vriendelijk; de eerlijke stap is de twee items naast elkaar leggen en je afvragen of ze werkelijk twee vragen zijn.

En let op wat er níét bij hoeft: de α van openheid. Dáár is het hoogste paar .40 (O1 met O3), en dat is gewone samenhang binnen één ding. De zwakte van die schaal zit in O4 en niet in een dubbeling.

rapportage

Schrijf het op als een onderzoeker

APA-rapportage · Griekse letters rechtop · verleden tijd

OpmerkingRapportage

Bij het gemiddelde was de rapportage een boodschappenlijstje van twee dingen: waar ligt het, hoe verspreid. Bij α is het lijstje nauwelijks langer — je vertelt wélke schaal je bekeek, bij wie, en hoe eensgezind de items waren:

De vijf neuroticisme-items vormden bij 2634 respondenten samen een schaal met een hoge interne consistentie (Cronbachs α = .81).

Let op twee dingen. Ten eerste de tijd: de items vormden, de consistentie was hoog — een rapportage vertelt wat je vónd, dus verleden tijd. Ten tweede iets geks met het cursief: M en SD schreef je schuin, maar α staat rechtop. Dat is echt de afspraak: Latijnse letters (M, SD, N, p) cursief, Griekse letters (α, en straks χ² en η²) rechtop. Klein weetje, groot gevoel-van-verzorgd.

Jouw beurt: schrijf de zin voor de openheid-schaal. Twee dingen verdienen daar een plek: dat twee items eerst zijn omgeschaald (reverse-scored), en de α die er daarna uitkwam (.60 met alle vijf de items, of .62 zonder het zwakste — kies er één en zeg welke je koos). Startzin mag je lenen: “Twee van de vijf openheid-items werden eerst omgeschaald; daarna …”

◠ Zelfde vorm in het boek

Hier: één getal dat zegt hoe eensgezind de items van een schaal samen één ding meten.

In het boek: W5 — Deugt je vragenlijst?

Daar draait het niet om de knop maar om de vraag eronder: wanneer mag een bundel losse items als één maat gelden — en wanneer verstopt dat ene getal wat de items apart je zouden vertellen?

Voetnoten

1. De bfi-dataset uit het R-pakket psych (Revelle) — 2800 respondenten op een Big-Five-vragenlijst (International Personality Item Pool). Wij nemen de 2634 mensen die alle tien de neuroticisme- en openheid-items invulden. Alle getallen zijn op die échte data nagerekend.