ontleed het ontwerp
Je gaf een therapie, en de kwaliteit van leven ging omhoog. Nu wil je laten zien dat dat door de therapie kwam. Maar wie twijfelt, heeft zo een andere verklaring klaar: het kwam gewoon door de tijd, het kwam door die vragenlijst vooraf, het werkte alleen omdat ze er eerst al over nadachten. Daar is het Solomon-vier-groepen-ontwerp (Solomon four-group design) voor: vier groepen, één therapie, en in de verbetering van elke groep andere stukjes: wat vanzelf beter wordt (history en maturation, H/M), wat de therapie doet (de interventie, X), wat de voormeting zelf doet (het testeffect, testing, T), en wat voormeting en therapie samen extra doen (de sensitisatie, pretest sensitization, S). Jij haalt ze uit elkaar, één stukje per stap, tot alleen S overblijft. Zo ben je de twijfelaar vóór: je kunt precies zeggen waarvoor je gecorrigeerd hebt.
Een groep mensen krijgt een therapie die hun kwaliteit van leven moet verbeteren. Je meet die kwaliteit van leven met een vragenlijst; de score loopt van 0 tot 100, en hoger is beter. Het lot verdeelt de mensen over vier groepen. Twee groepen vullen de vragenlijst ook al vóór de therapie in: de voormeting. Alle vier vullen hem aan het eind in: de nameting. In de tabel staat de gemiddelde score per groep.
Eén ding mag je vanaf het begin aannemen: het lot heeft de groepen samengesteld, dus ze begonnen gemiddeld gelijk. De andere aannames komen onderweg, op de plek waar je ze nodig hebt.
stapjes, en daarna een toegift van : dan blijkt alles een regressie te zijn. Het eerste stapje zet de som van groep I neer, waar alle vier de stukjes in zitten. Elk stapje daarna vindt één stukje en vult het in die som in, tot alleen S overblijft. Weet je het niet, open dan de hint. Wil je zien hoe het gaat, open dan de uitwerking. Alle stapjes gebruiken dezelfde getallen.
Dit nam je onderweg aan. Bij elke aanname: waarom dat mag, en of het ontwerp hem regelt of dat je hem meet.
| wat je aanneemt | waarom dat mag | regel je het met het ontwerp, of meet je het? |
|---|---|---|
| De vier groepen begonnen gemiddeld gelijk. | Het lot (R) bepaalde wie in welke groep kwam. | Het ontwerp regelt het. Een stukje kun je natrekken: de voormetingen van I en II zijn en . |
| Groep III en IV hadden vooraf dezelfde score als het gemiddelde van de voormetingen van I en II. | Dat volgt uit de eerste regel. Dit heet substitutie: je vult een getal in op een plek waar je niets gemeten hebt. | Het ontwerp. Meten kan hier niet: geef je groep III een voormeting, dan is het groep I geworden. |
| Wat vanzelf beter wordt, wordt in alle vier de groepen even hard beter. | De groepen lopen dezelfde periode, in dezelfde wereld. | Het ontwerp: alle groepen tegelijk. |
| De stukjes tellen op. | Zo spreek je het af: wat er in groep I overblijft als je de andere stukjes eraf haalt, noem je S. | Een afspraak. Je meet hem niet, je kiest hem. |
Vul hem in zonder te kijken. Klik in een vakje om te typen, of print de bladzij en gebruik een pen.
| effect | welke groepen vergelijk je? | de som | wat je aanneemt |
|---|---|---|---|
| H/M | |||
| X | |||
| T | |||
| S |
Zes schuifjes, in de vorm van de ontwerptabel: de twee voormetingen en de vier nametingen. Groep III en IV lenen hun voormeting, net als in de ladder; dat getal schuift mee. De sommen rekenen mee, in dezelfde volgorde als de ladder: eerst H/M, dan X, dan T, en S als laatste. De knoppen zetten een bekend geval klaar.
Probeer ook: de voormetingen van I en II niet gelijk. Kijk wat er dan met T en S gebeurt, en met de regressie op de nameting.
Meet je in je eigen onderzoek vóór en na, dan zit in de verbetering die je ziet alles tegelijk: wat vanzelf beter wordt, je ingreep, en wat de voormeting zelf deed. Met één groep haal je die stukjes niet meer uit elkaar. Daarvoor heb je groepen nodig die op één punt van elkaar verschillen, zoals II en IV hier alleen in de voormeting verschillen. Zoek bij elk effect dat je wilt kennen dus de twee groepen die het opleveren. Vind je ze niet in je ontwerp, dan kun je dat effect ook niet los zien.
En dat is wat je de twijfelaar kunt vertellen: “het ging vanzelf” heb je beantwoord zodra je een groep zonder therapie hebt, “het kwam door de vragenlijst” pas als je ook een groep zonder voormeting hebt. Wat je ontwerp niet kan beantwoorden, zeg je er zelf bij, vóór hij ernaar vraagt.
En S is een verschil in verschil: het effect van de therapie op de kwaliteit van leven mét voormeting, min het effect van de therapie op de kwaliteit van leven zonder voormeting. Dat heet een interactie, en daar gaat hoofdstuk 10, Verschil in verschil, over.
| hier | ook genoemd |
|---|---|
| H/M | history en maturation (rijping) |
| X | de interventie, de behandeling |
| T | het testeffect, testing. Let op: sommige boeken noemen dit pretest-sensitisatie, en bedoelen dan niet S. |
| S | sensitisatie, pretest sensitization, voormetingsensitisatie: de interactie van voormeting en therapie |
En niet elk boek nummert de groepen zoals hier. Kijk dus altijd eerst wie een voormeting kreeg en wie de therapie.
Dit speeltje rekent met gemiddelden, met de geleende voormeting erbij. Zo rekende Solomon (1949) het zelf ook, en om S te vinden klopt dat. Wil je ook toetsen of S echt van nul verschilt, dan heb je meer nodig dan gemiddelden: je kijkt naar de scores van alle mensen. Daar loop je vast, want groep III en IV hebben geen eigen voormeting, dus ook geen verbetering per persoon. Campbell en Stanley (1963) raadden daarom een andere weg aan: toets op de nametingen, met twee factoren: voormeting (ja of nee) en therapie (ja of nee), de twee schakelaars uit de toegift. Dat is precies de regressie op de nameting uit de toegift, en de interactie daarin is S. Zijn de voormetingen van I en II gelijk, dan komt er hetzelfde getal uit als met de sommen.
Let wel: het hoofdeffect van therapie in zo’n analyse is het gemiddelde van het effect mét en zonder voormeting, ( + ) / 2 = , en niet de van b2: dat gewicht is alleen het effect zónder voormeting.
De regressieve ruggengraat · Hoofdstuk 10 — Verschil in verschil · sensitisatie is een verschil in verschil
Het ontwerp en de rekenwijze: Solomon, R. L. (1949). An extension of control group design. Psychological Bulletin, 46(2), 137–150. https://doi.org/10.1037/h0062958
De toets op de nametingen: Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Rand McNally.