ANOVA en η²

one-way ANOVA

Vooraf, in één zin: een significante ANOVA zegt alléén dat er ergens tussen de groepen een verschil zit — niet wáár, en al helemaal niet dat álle groepen verschillen; hier verschillen twee van de drie onderling helemaal niet, en waarom dat zo werkt staat onderaan bij Wat het niet zegt.

Wat je ziet

In het kort. Een regel met een hoofdletter F en twee getallen tussen haakjes: F(2, 81) = 7.26, p = .001. Dat is een variantieanalyse / one-way ANOVA — de toets die je tegenkomt zodra een onderzoek méér dan twee groepen vergelijkt. Erachter staat vaak η² (eta-kwadraat / eta squared), de effectgrootte van deze familie, en eronder een tweede tabel met de naam post-hoc — meestal met het woord Tukey erbij. De F-regel en de post-hoc-tabel beantwoorden twee verschillende vragen, en je hebt ze allebei nodig.

Zo ziet het eruit in het wild:

Voorbeeldfragment, geschreven in de stijl van een resultatensectie — het artikel bestaat niet.

Participants were randomized to cognitive behavioral therapy (CBT), running therapy, or a waiting-list condition. A one-way ANOVA on BDI-II scores at 12 weeks showed a significant effect of condition, F(2, 81) = 7.26, p = .001, η² = .15. Tukey post-hoc comparisons indicated that both CBT (M = 16.14, SD = 7.92) and running therapy (M = 18.04, SD = 7.93) scored lower than the waiting-list condition (M = 23.89, SD = 7.96), p = .001 and p = .019 respectively; CBT and running therapy did not differ from each other, p = .647.

Wat er staat

In het kort. Drie groepen, één toets. De F-regel zegt: deze drie gemiddelden liggen verder uit elkaar dan je van toeval alleen zou verwachten — ergens zit een echt verschil. De η² van .15 zegt: het groepslidmaatschap verklaart 15% van de verschillen in depressiescores. En de Tukey-tabel zegt wáár het verschil zit: de twee behandelarmen liggen allebei onder de wachtlijst, maar verschillen onderling niet.

Nu hetzelfde, rustig en van voren af aan. Waarom niet gewoon drie keer de t-toets die je al kent — CGT tegen running, CGT tegen wachtlijst, running tegen wachtlijst? Omdat elke toets een eigen kans op vals alarm meebrengt. Eén toets bij α = .05 heeft vijf procent kans om alarm te slaan terwijl er niets is; drie toetsen op dezelfde data stapelen die kansen, en samen zit je dan al rond de veertien procent. Hoe meer groepen, hoe meer paren, hoe harder dat oploopt. De ANOVA lost dat op door éérst één overkoepelende vraag te stellen: liggen deze drie gemiddelden, als geheel, verder uit elkaar dan toeval kan maken?

De F is de breuk die dat meet: de spreiding tussen de groepsgemiddelden gedeeld door de spreiding binnen de groepen. Is er niets aan de hand, dan schommelt die breuk rond de 1 — de gemiddelden wiebelen dan niet harder dan de mensen binnen elke groep toch al doen. Hier is F 7.26: de gemiddelden liggen ruim zeven keer verder uit elkaar dan het binnengroepse gewiebel verklaart, en de p van .001 zegt dat zoiets in een wereld zonder enig verschil zelden ontstaat. De twee getallen tussen de haakjes, (2, 81), zijn de vrijheidsgraden: 2 hoort bij de drie groepen (drie min één), 81 bij de 84 deelnemers min de drie groepsgemiddelden. Zo lees je uit de haakjes terug hoe groot het onderzoek was.

Maar let op wat de F wél en níét zegt. Hij zegt: ergens zit een verschil. Hij zegt niet wáár. Daarvoor is de post-hoc-tabel — “post hoc” is Latijn voor “na dit”, ná het overkoepelende ja pas inzoomen op de paren. Tukey vergelijkt alsnog alle paren, maar mét ingebouwde correctie voor het kansen-stapelen van daarnet. En dan blijkt: de wachtlijst ligt 7.75 BDI-punten boven CGT (p = .001) en 5.86 punten boven running (p = .019), maar tussen running en CGT zit maar 1.89 punt, en dat verschil (p = .647) kan volledig toeval zijn. Het beeld: twee behandelarmen die het ongeveer even goed doen, en een wachtlijst die erboven blijft hangen — lager is hier minder klachten.

Blijft η² = .15. Dat is de effectgrootte van de ANOVA, en hij werkt anders dan Cohens d: geen verschil in lineaaltjes, maar een aandeel verklaarde variantie. Van alle verschillen tussen deze 84 mensen in hun depressiescore hangt 15% samen met de groep waarin ze zaten; de overige 85% is van iets anders — wie ze zijn, wat er verder in hun leven speelt, meetfout. Vijftien procent klinkt bescheiden, en dat is precies de juiste leeshouding: ook bij een werkzame behandeling verklaart de conditie zelden meer dan een bescheiden deel van hoe het met mensen gaat.

Waar het vandaan komt

Dit blok leunt op de boek-eenheid Groepen zijn ook getallen — daar leert het boek een groepsverschil lezen als één getal met onzekerheid eromheen, eerst voor twee groepen. De ANOVA is die gedachte doorgetrokken: nog steeds gemiddelden vergelijken, nog steeds dezelfde vraag — is dit verschil groter dan het gewiebel? — alleen nu voor drie of meer tegelijk, met de F als breuk van tussen-spreiding en binnen-spreiding. En de t-toets die je al kent is gewoon het geval met twee groepen: draai een ANOVA op twee groepen en de F is precies de t in het kwadraat, met dezelfde p.

Ook η² heeft een oudere broer in het boek: r². Bij de correlatie zag je al dat een kwadraat van een samenhang een aandeel wordt — hoeveel van de variantie de ene variabele in de andere verklaart. η² is hetzelfde idee, maar dan met een groepsindeling als verklaarder. In JASP zie je er soms ω² (omega-kwadraat) naast staan: dezelfde vraag, iets strenger geschat, en in kleine steekproeven eerlijker — hier .13 tegen .15, hetzelfde verhaal.

Zelf doen in JASP

⬇ Download de data — drie_behandelingen.csv

Bij dit blok hoort het databestand drie_behandelingen.csv: 84 rijen, drie kolommen — id (deelnemernummer), conditie (CGT, running of wachtlijst) en bdi_12w (de BDI-II-score na twaalf weken). De rijen zijn gegenereerd — er zit geen echte patiënt in en er bestaat geen echte studie achter — en ze reproduceren precies de uitkomsten uit het fragment.

In JASP · JASP 0.98.1

Open het bestand in JASP (menu linksboven → Open).
Klik in de balk bovenin op ANOVA en kies onder Classical opnieuw ANOVA.
Sleep bdi_12w naar Dependent Variable en conditie naar Fixed Factors; de kolom id laat je staan waar hij staat.
Vink onder Display aan: Estimates of effect size, en kies daar η² (JASP biedt ook ω² aan — mag allebei).
Open het tabblad Post Hoc Tests, sleep conditie naar rechts en laat onder Correction het vinkje bij Tukey staan. Vink ook Descriptives aan onder Descriptive plots of via de Descriptives-optie, zodat je de drie gemiddelden ziet.

In de ANOVA-tabel rechts staat nu F = 7.258 met df 2 en 81, p = .001 en η² = 0.152. In de post-hoc-tabel drie regels, één per paar: CGT tegen running p = .647, CGT tegen wachtlijst p = .001, running tegen wachtlijst p = .019. En in de Descriptives de drie gemiddelden: CGT 16.14 (SD 7.92), running 18.04 (SD 7.93), wachtlijst 23.89 (SD 7.96), elk n = 28. Leg het fragment ernaast: precies de getallen die daar stonden. JASP rekent; jij leest.

Eén leesgewoonte die je van de t-toets al kent, geldt hier ook: kijk in de post-hoc-tabel wélke groep JASP van welke aftrekt. JASP zet in de kolom Mean Difference bijvoorbeeld CGT min wachtlijst = −7.75: de CGT-groep scoort lager, en lager is hier beter. Het fragment schreef hetzelfde verschil andersom op, als +7.75 boven CGT. Zelfde verschil, ander teken — het minteken vertelt alleen wie er vooropstond.

Zelf opschrijven

Schrijf het op — de ANOVA

Voor je eigen Nederlandstalige literatuurstudie:

De drie condities verschilden na twaalf weken in depressieve klachten (BDI-II), F(2, 81) = 7.26, p = .001, η² = .15. Tukey-post-hoc-toetsen lieten zien dat zowel de CGT-groep als de running-groep lager scoorde dan de wachtlijstgroep; de twee behandelcondities verschilden onderling niet.

Drie werkafspraken daarbij:

Stop niet bij de F. “De ANOVA was significant” is een half verhaal; je lezer wil weten wélke groepen verschilden en welke niet. Neem de post-hoc-conclusie altijd mee — juist het paar dat niet verschilt (hier: de twee behandelarmen) is vaak de klinisch interessantste zin.
Noem de correctie. Schrijf erbij wélke post-hoc-methode het artikel (of jijzelf) gebruikte — Tukey, Bonferroni, Holm. Zonder die naam weet niemand of, en hoe, er voor het kansen-stapelen is gecorrigeerd.
Rapporteer η² mee — en vertaal hem: “conditie verklaarde 15% van de variantie in depressiescores” zegt je lezer meer dan het kale getal. Significant en groot zijn twee verschillende woorden; de F levert het ene, η² het andere.

Wat het niet zegt

De verleidelijkste redenering die je over dit fragment kunt opschrijven is: “F is significant, dus de drie behandelingen verschillen — en running doet het dus minder dan CGT, want het gemiddelde is hoger.” Eén korte zin, drie haarscheurtjes.

“De drie behandelingen verschillen.” Nee: ergens zit een verschil, meer zegt de F niet. Hij is een rookmelder, geen plattegrond — hij piept dat er iets brandt, niet in welke kamer. Hier wijst de post-hoc twee paren aan die verschillen en één paar dat dat niet doet: running en CGT liggen maar 1.89 punt uit elkaar, p = .647. Wie uit de significante F concludeert dat álle groepen onderling verschillen, leest iets wat er niet staat — en het is precies de fout die je in discussiesecties het vaakst terugvindt.

“Running doet het minder dan CGT.” De data van dit onderzoek kunnen dat verschil van 1.89 punt niet onderscheiden van toeval. Dat is iets anders dan “aangetoond dat ze gelijk zijn” — afwezigheid van bewijs is geen bewijs van afwezigheid, en met 28 mensen per arm kijk je met een vrij grove bril. Wat je wél mag opschrijven: dit onderzoek vond geen verschil tussen de twee behandelarmen. Wat niet: dat ze even goed werken.

En de η² van .15 dan? Die beantwoordt de derde vraag, en verwar hem niet met de eerste twee. Significant zegt niet groot: bij grote steekproeven wordt vrijwel elk verschilletje significant, terwijl η² klein kan blijven. Hier verklaart de conditie 15% van de variantie — een stevig effect voor dit soort onderzoek, en tegelijk: 85% van de verschillen tussen deze mensen heeft níéts met de behandelconditie te maken. Ook in de arm die “werkt” zitten mensen die hoog blijven scoren, en op de wachtlijst mensen die opknappen. Groepsgetallen doen geen uitspraken over individuen — ook deze niet.

En waarom mocht het niet gewoon met drie losse t-toetsen? Omdat je dan drie keer een kans op vals alarm neemt en die kansen optellen: bij drie toetsen op α = .05 zit de kans dat er ergens onterecht een sterretje verschijnt al rond de veertien procent, bij vijf groepen (tien paren) rond de veertig. Dat is de hele reden dat de ANOVA bestaat, en de reden dat de post-hoc-toetsen gecorrigeerd zijn: Tukey houdt de totale kans op vals alarm over álle paren samen op vijf procent. Zie je in een artikel bij drie of meer groepen een rijtje losse, ongecorrigeerde t-toetsen staan — dan heb je zojuist iets gevonden voor het kopje “beperkingen” in je literatuurstudie.

Oefening

Leesopgave. Hieronder een voorbeeldfragment (verzonnen). Vertel in gewone Nederlandse zinnen wat er staat. Wat weet je na deze zinnen wél, en wat weet je nog níét? Welke tabel zou je als eerste willen zien voor je er iets over opschrijft in je literatuurstudie?

A one-way ANOVA showed a significant effect of treatment condition (mindfulness, psychoeducation, care as usual) on anxiety symptoms at follow-up, F(2, 117) = 3.42, p = .036, η² = .06. The authors conclude that the three conditions differ in effectiveness.

Doe-opgave. Draai de analyse van hierboven (drie_behandelingen.csv) en pak de ANOVA-tabel erbij. Daar staan twee kwadratensommen (Sum of Squares): 914 voor conditie en 5101 voor Residuals. Reken η² nu zelf na op een kladblaadje: het deel van conditie gedeeld door het totaal. Kom je in de buurt van JASP’s .152? Tel daarna in de post-hoc-tabel hoeveel paren er getoetst zijn, en bedenk: hoeveel zouden het er zijn geweest bij víjf condities? Vink tot slot bij Estimates of effect size ook ω² aan — welke kant schuift die op ten opzichte van η², en waarom is dat bij kleine steekproeven de eerlijkere van de twee?

Uitwerkingen — klik open

Uitwerking leesopgave

Wat er staat: de drie condities verschillen als geheel meer dan toeval verklaart (F significant, p = .036), en conditie verklaart zes procent van de variantie in angstklachten — een bescheiden effect. Wat je wél weet: ergens tussen deze drie groepen zit een verschil. Wat je níét weet: wáár. Misschien wijkt alleen care-as-usual af en doen de twee interventies het even goed; misschien is het één interventie die uitsteekt. De conclusie van de auteurs — “the three conditions differ” — zegt méér dan de F kan dragen: dat álle drie de condities verschillen staat nergens. De tabel die je eerst wilt zien is de post-hoc-tabel (met de vraag: welke correctie is gebruikt?). Ontbreekt die, dan schrijf je in je literatuurstudie op dat het onderzoek een overkoepelend verschil vond, maar niet rapporteert tussen welke groepen — en dat is een beperking, geen detail.

Uitwerking doe-opgave

Het kladje: 914 / (914 + 5101) = 914 / 6015 ≈ .152 — precies JASP’s η². Meer machinerie zit er niet in: η² is het stuk van de totale kwadratensom dat op het conto van de groepsindeling komt, r² met een groepsindeling als verklaarder. In de post-hoc-tabel staan drie paren (CGT–running, CGT–wachtlijst, running–wachtlijst); bij vijf condities waren het er tien geweest — zo snel groeit het aantal kansen op vals alarm, en zo snel groeit dus de noodzaak van de correctie. En ω² komt uit op .130, iets lager dan de .152: η² overschat het aandeel verklaarde variantie een beetje, omdat ook puur toeval altijd íéts “verklaart”, en ω² trekt daarvoor een verwachting af. Hoe kleiner de steekproef, hoe groter dat gaatje — vandaar dat ω² bij klein onderzoek de eerlijkere van de twee is. Hier vertellen ze hetzelfde verhaal, en dat is precies wat je wilt zien.

◠ Zelfde vorm in het boek

Hier: drie groepen in één toets — eerst één overkoepelende vraag (zit er ergens een verschil?), dan pas gecorrigeerd inzoomen op de paren.

In het boek: W9 — Groepen zijn ook getallen.

Daar wordt een groepsverschil een getal met gewiebel eromheen; de F is diezelfde vraag — verschil gedeeld door gewiebel — maar dan voor alle groepen tegelijk, en η² is r² met een groepsindeling als verklaarder.

TODO: stem-pas — dit blok is nog niet langs Bens transcript-units gelegd (Bib-query op ANOVA / variantieanalyse / post-hoc). Data zijn expliciet fictief-maar-plausibel (drie_behandelingen.csv, gegenereerd; geen echte studie) — dat staat nu twee keer in de tekst, zo houden.