Tweede beweging · Verschillen koppelen

Oefening 7.1 · Betrouwbaarheid en Cronbachs α

Interne consistentie · internal consistency

Data bij deze oefening — bigfive.csv de Big Five-vragenlijst · wat elke kolom betekent

prikkel

Vijf vragen die samen één ding willen meten

vragenlijst-items · samen één ding meten · Cronbachs α

Tweeduizend zeshonderd mensen vulden ooit een persoonlijkheidsvragenlijst in — de Big Five, echt afgenomen, vrij beschikbaar.¹ Vijf van die vragen willen samen één ding meten: neuroticisme, hoe snel iemand van slag raakt. “Ik word makkelijk boos.” “Ik voel me vaak somber.” Vijf losse vraagjes, en de hoop dat ze samen iets samenhangends aftasten.

Maar hoe wéét je of die vijf vragen samen één ding meten, en niet vijf verschillende dingen? Daar is één getal voor, en het heet Cronbachs α (alpha). Trek even mee — we rekenen ’m uit, en daarna laat ik je een valkuil zien waar deze echte data zelf inloopt.

speel het

Bereken α in R

itemanalyse · item-rest-correlatie · samenhang tussen items

Waarom de diamantjes hier ontbreken

Dit is de enige oefening zonder diamantjes vooraf: Cronbachs α vraagt meerdere metingen van hetzelfde — losse items die samen één ding willen meten — en twaalf steentjes met elk één glans-getal zijn dat niet.

Bij dit blok hoort bigfive.csv: 2634 rijen (de mensen) en 29 kolommen. Je gebruikt er hier tien: N1–N5 (neuroticisme) en O1–O5 (openheid), elk een antwoord van 1 tot 6. De andere vijftien uitspraken en de drie kolommen met leeftijd, sekse en opleiding laat je in dit blok met rust — wat ze allemaal betekenen staat op de datasetbladzij.

In R · bereken α

bf <- read.csv("bigfive.csv")

# psych heeft een kant-en-klare functie die ook de itemanalyse geeft
# install.packages("psych")  # eenmalig, als je 'm nog niet hebt
library(psych)

alpha(bf[, c("N1","N2","N3","N4","N5")])

Bovenaan de uitvoer staat raw_alpha = 0.81. α loopt van 0 tot 1, en .81 is hoog: de vijf neuroticisme-vragen bewegen flink samen op en neer. Wie op de ene hoog scoort, scoort op de andere ook hoog.

Kijk dan naar de kolom item-rest correlation (r.drop) in de itemtabel: hoe sterk hangt elk item samen met de som van de andere vier. Ze lopen van .48 (N5) tot .67 (N1 en N3) — allemaal ruim positief, geen enkel item hangt er dood bij. Zo ziet een schaal eruit waarvan de onderdelen echt samen één ding aftasten. R rekent; jij leest.

snap het

Wat α wél en niet zegt

consistentie is geen validiteit · omgekeerde items · negatieve α

Waarom hier geen “schud het”? Omdat α geen waar-of-toeval?-vraag stelt — het is geen toets maar een maat voor hoe eensgezind de items zijn. Er is niets om los te schudden. Maar er zijn wél drie dingen die je erin kunt lezen die er níét in staan.

α is niet hetzelfde als validiteit. Dit is de belangrijkste. α zegt of je items consistent zijn — of ze hetzelfde blijven aanwijzen. Niet of ze het juiste aanwijzen. Vijf vragen kunnen prachtig samenhangen en met z’n allen iets ánders meten dan je denkt (hoe sociaal wenselijk iemand antwoordt, bijvoorbeeld). Een keukenweegschaal die altijd 3 kilo te veel toont, is volmaakt consistent en volstrekt fout. α meet de consistentie-kant, en alleen die.

α groeit vanzelf met de lengte. Meer items → hogere α, bijna gratis. Een lange lijst haalt bijna vanzelf een mooie α; dat bewijst niet dat elk item goed is, alleen dat er véél zijn.

En dan de valkuil waar deze echte data zelf inloopt. Draai dezelfde analyse op de vijf openheid-items, en er komt iets vreemds uit:

In R · de omgekeerde-item-val

alpha(bf[, c("O1","O2","O3","O4","O5")])            # α = -0.16 ?!
alpha(bf[, c("O1","O2","O3","O4","O5")], check.keys = TRUE)   # α = 0.60

check.keys = TRUE doet het hier voor je, maar meestal draai je omgekeerde items met de hand — 7 - O2 bij een schaal van 1 tot 6 — en dan zit je middenin het hercoderen. Hoe je een kolom omrekent, in klassen hakt of tot 0/1 maakt, staat bij nieuwe variabelen maken en hercoderen. Selecteren van items met bf[, c(...)] staat bij kolommen.

Een negatieve α — onmogelijk als maat, dus er is iets stuk. En dat iets is: sommige openheid-vragen zijn omgekeerd gesteld (reverse-scored). “Ik heb weinig fantasie” hoort bij lage openheid, terwijl “Ik zit vol ideeën” bij hóge openheid hoort. Tel je ze op zonder de omgekeerde eerst te draaien, dan werken ze elkaar tegen en stort α in. Met check.keys = TRUE draait R ze goed en komt er .60 uit — lager dan neuroticisme, en een eerlijker beeld van een bredere, lossere dimensie.

De les: α gaat ervan uit dat je items dezelfde kant op staan. Een getal onder de nul is geen slechte schaal maar een waarschuwing dat je iets vergat te draaien — en precies daarom kijk je nooit alleen naar de α, maar altijd ook naar de item-rest correlaties eronder. Die verklappen een dood of omgekeerd item; het ene totaalgetal verstopt het.

Voor wie verder wil — de andere drie manieren om te herhalen

De oefening is compleet zonder dit kader; sla het gerust over.

Betrouwbaarheid is telkens dezelfde vraag: meet je nog een keer, komt er dan hetzelfde uit? Wat verschilt is wát je herhaalt. α herhaalt binnen één afname — vijf items die hetzelfde aftasten, en de vraag of ze het onderling eens zijn. Er zijn er drie andere:

test-hertest — dezelfde meetlat, later in de tijd.
parallelvorm — een tweede versie van dezelfde meetlat, op hetzelfde moment. Bedacht om het leereffect van test-hertest te ontlopen: wie de vragen al een keer zag, beantwoordt ze anders.
interbeoordelaar — hetzelfde object, beoordeeld door iemand anders. Nu herhaalt niet het instrument maar de beoordelaar.

Alle drie leunen ze op de correlatie, en daar zit een val in die je in vier regels kunt zien gebeuren. Twee beoordelaars geven twaalf objecten een cijfer; de tweede geeft er stelselmatig drie meer dan de eerste.

A <- c(2, 4, 3, 7, 5, 6, 4, 8, 3, 5, 6, 7)
B <- A + 3

cor(A, B, method = "pearson")      # → 1   — dus r = 1.00
sum(A == B)    # → 0   — nul keer hetzelfde cijfer

Samenhang is geen overeenstemming. Een correlatie vraagt of twee beoordelaars de objecten in dezelfde volgorde zetten; overeenstemming vraagt of ze hetzelfde getal noemen. De correlatie beantwoordt alleen de eerste vraag, en doet dat hier volmaakt.

Rangordenen redt je er niet uit — cor(A, B, method = "spearman") geeft óók 1.00, want de rangen zijn identiek. Wat het wél doet is de vraag eerlijk maken: een rangcorrelatie belooft alleen iets over volgorde. Wil je weten of twee beoordelaars hetzelfde getal noemen, dan heb je een overeenstemmingsmaat nodig — het percentage waarop ze precies gelijk zaten, of een intraklasse-correlatie in zijn overeenstemmings-vorm. Die straft die drie punten wél af.

En ook een hoge rangcorrelatie verstopt nog iets: over de uitersten zijn beoordelaars het meestal wel eens, en in het midden lopen ze uit elkaar. Eén getal over alle twaalf zegt niet wáár de onenigheid zat — precies de les van de item-rest correlaties, nu met beoordelaars in plaats van items.

jouw beurt

De schaal-dokter

omgedraaide items · zwakste item · α na schrappen

De schaal-dokter. De openheid-schaal is hierboven al gered met check.keys = TRUE, maar helemaal gezond is hij nog niet. Zoek uit waar het zeurt. De laatste vraag heet Z): de aannames staan altijd achteraan, en die letter is met opzet geen volgletter.

Deze oefening ziet er anders uit dan de rest van de boekjes, en dat hoort zo: α vraagt om items — meerdere metingen van hetzelfde — waar de andere blokken twee variabelen tegen elkaar zetten. De vragen gaan dus over een tabel met tien kolommen en niet over een model.

In R · de twee schalen klaarzetten

bf <- read.csv("bigfive.csv")
library(psych)

O <- c("O1","O2","O3","O4","O5")     # openheid
N <- c("N1","N2","N3","N4","N5")     # neuroticisme

nrow(bf) hoort 2634 te geven en ncol(bf) 29. Van die 29 gebruik je er hier tien; de rest staat er voor andere oefeningen.

Jouw beurt

a) Draai alpha(bf[, O], check.keys = TRUE). Welke items heeft R omgedraaid? Je herkent ze aan het minteken vóór de naam. (hoeveel het er zijn en welke)

b) Draai dezelfde regel nog eens zónder check.keys = TRUE. Wat doet dat met α, en waarom is die uitkomst geen slechte schaal maar een foutmelding in vermomming? (het getal, en één zin over wat er stukging)

c) Lees in de itemtabel de kolom r.drop — de samenhang van elk item met de som van de andere vier. Welk item hangt het slechtst samen? (de naam en zijn r.drop)

d) En de andere vier? (het bereik waarbinnen ze liggen)

e) Kijk in de tabel Reliability if an item is dropped wat er met α gebeurt als je precies dát item weggooit, en reken het daarna na door de schaal zonder dat item opnieuw te draaien. (de oude en de nieuwe α, en of de tabel en je eigen herberekening het eens zijn)

f) Doe hetzelfde bij neuroticisme: alpha(bf[, N]). Welk item is daar het zwakst? (de naam en zijn r.drop)

g) Wat gebeurt er met α van neuroticisme als je dát item schrapt? Kijk goed naar de derde decimaal. (de oude en de nieuwe α op drie decimalen, en welke kant het op ging)

h) Bij openheid stijgt α van het schrappen, bij neuroticisme niet. Hoe kan hetzelfde trucje twee kanten op werken? (één zin, waarin zowel de sterkte van het item als de lengte van de schaal voorkomt)

i) Mag je dat openheid-item nu zomaar weggooien? (over de vragenlijst, niet over het getal)

j) α groeit vanzelf met de lengte van een schaal. Wat betekent dat voor iemand die alleen naar α kijkt om te beoordelen of een vragenlijst deugt? (één zin, en zeg erbij wat je dan wél moet bekijken)

Z) Mag je alles hierboven geloven? α leunt erop dat je vijf items vijf verschillende happen uit hetzelfde ding nemen. Kijk daarom niet alleen naar het ene totaalgetal maar ook naar de items onderling: round(cor(bf[, N]), 2). Zoek het hoogste paar op en vergelijk het met de rest van de tabel.

Antwoord — open na je eigen poging

a) Twee: O2 en O5. In de itemtabel staan ze als -O2 en -O5.

b) Dan komt er α = −.161 uit. Een negatieve α is onmogelijk als maat — je kunt niet mínder dan niets samenhangen — en dus is het geen slechte schaal maar een melding dat er iets stuk is. Wat er stuk was: O2 en O5 zijn omgekeerd gesteld (“Ik heb weinig fantasie” hoort bij lage openheid), en opgeteld zonder eerst te draaien werken ze de andere drie tegen.

c) O4, met r.drop = .22.

d) De andere vier liggen tussen .34 en .46 — O2 op .34, O1 op .40, O5 op .42 en O3 op .46. O4 valt daar dus flink onder.

e) α gaat van .60 naar .62. De tabel en je eigen herberekening geven hetzelfde: alpha(bf[, setdiff(O, "O4")], check.keys = TRUE) komt op .6165 uit, tegen .6043 met alle vijf. Dat narekenen is de moeite waard — de tabel rekent hetzelfde, maar nu heb je het zélf gezien.

f) N5, met r.drop = .48. Dat is het zwakste van de vijf, maar het ligt nog altijd ruim bóven het beste openheid-item.

g) α gaat van .812 naar .811 — hij zakt dus een piepklein beetje, in plaats van te stijgen. Op twee decimalen zie je er niets van: .81 blijft .81. Het zwakste item weggooien maakt een schaal niet vanzelf beter.

h) Twee dingen trekken aan het touw: schrappen maakt de schaal eensgezinder maar ook korter, en α beloont allebei. Bij openheid draagt O4 met .22 zo weinig bij dat de winst aan eensgezindheid de verloren lengte ruim goedmaakt; bij neuroticisme draagt N5 met .48 nog genoeg om die lengte te verdienen, en dan wint het verlies net.

i) Nee, niet op grond van dit getal alleen. α meet consistentie, niet validiteit: het zegt of de items hetzelfde blijven aanwijzen, niet of ze het júíste aanwijzen. Misschien tast O4 juist een hoekje van openheid af dat de andere vier laten liggen — dan koop je een mooier getal met een smallere vragenlijst. De vraag “wat vraagt O4 eigenlijk?” ga je niet met een correlatie beantwoorden maar met de vragenlijst erbij.

j) Dan kan hij een lange lijst voor een goede lijst aanzien: meer items geeft bijna gratis een hogere α, ook als elk afzonderlijk item slap is. Kijk dus altijd óók naar de item-rest correlaties eronder — die verklappen een dood of omgekeerd item, en het ene totaalgetal verstopt dat juist.

Z) Bijna, maar er zit een addertje bij neuroticisme, en je vindt hem in de correlatiematrix.

α gaat ervan uit dat de items vijf verschillende happen uit hetzelfde ding nemen. Neem je twee keer bijna dezelfde hap, dan hangen die twee items met elkaar samen om een reden die niets met de schaal te maken heeft — dezelfde woorden, dezelfde formulering — en dat duwt α omhoog zonder dat de schaal méér meet. Kijk: N1 en N2 correleren .71, terwijl geen enkel ander paar in die tabel boven de .56 komt. Die twee lijken verdacht veel op elkaar. Een deel van die mooie .81 is dus geleend van een dubbeling, en niet verdiend met bereik.

Twee andere dingen die α niet kan zien. Hij controleert niet of je items één ding meten of stiekem twee — een schaal die uit twee halve schalen bestaat kan een keurige α halen. En hij gaat ervan uit dat alle items even sterk meedoen; is dat niet zo, dan is α een ondergrens en niet de betrouwbaarheid zelf.

De weg terug:

Blijft staan: alle r.drop’s bij c), d) en f). Dat zijn gewone correlaties, beschrijvingen van deze 2634 mensen, en daar verandert geen aanname iets aan.
Doe je over: de lezing van de .81 bij f) en g) als “deze schaal is betrouwbaar”. Met een dubbelend itempaar erin is dat getal te vriendelijk; de eerlijke stap is de twee items naast elkaar leggen en je afvragen of ze werkelijk twee vragen zijn.

En let op wat er níét bij hoeft: de α van openheid. Dáár is het hoogste paar .40 (O1 met O3), en dat is gewone samenhang binnen één ding. De zwakte van die schaal zit in O4 en niet in een dubbeling.

rapportage

Schrijf het op als een onderzoeker

APA-rapportage · Griekse letters rechtop · verleden tijd

Rapportage

Bij het gemiddelde was de rapportage een boodschappenlijstje van twee dingen: waar ligt het, hoe verspreid. Bij α is het lijstje nauwelijks langer — je vertelt wélke schaal je bekeek, bij wie, en hoe eensgezind de items waren:

De vijf neuroticisme-items vormden bij 2634 respondenten samen een schaal met een hoge interne consistentie (Cronbachs α = .81).

Let op twee dingen. Ten eerste de tijd: de items vormden, de consistentie was hoog — een rapportage vertelt wat je vónd, dus verleden tijd. Ten tweede iets geks met het cursief: M en SD schreef je schuin, maar α staat rechtop. Dat is echt de afspraak: Latijnse letters (M, SD, N, p) cursief, Griekse letters (α, en straks χ² en η²) rechtop. Klein weetje, groot gevoel-van-verzorgd.

Jouw beurt: schrijf de zin voor de openheid-schaal. Twee dingen verdienen daar een plek: dat twee items eerst zijn omgeschaald (reverse-scored), en de α die er daarna uitkwam (.60 met alle vijf de items, of .62 zonder het zwakste — kies er één en zeg welke je koos). Startzin mag je lenen: “Twee van de vijf openheid-items werden eerst omgeschaald; daarna …”

◠ Zelfde vorm in het boek

Hier: één getal dat zegt hoe eensgezind de items van een schaal samen één ding meten.

In het boek: W5 — Deugt je vragenlijst?

Daar draait het niet om de knop maar om de vraag eronder: wanneer mag een bundel losse items als één maat gelden — en wanneer verstopt dat ene getal wat de items apart je zouden vertellen?

Voetnoten

De bfi-dataset uit het R-pakket psych (Revelle) — 2800 respondenten op een Big-Five-vragenlijst (International Personality Item Pool). Wij nemen de 2634 mensen die alle tien de neuroticisme- en openheid-items hieronder invulden. Alle getallen zijn op die échte data nagerekend.↩︎