Thema 10 · Power

Deel 5 — Toetsen · vang ik een echt effect?

De andere kant van het verhaal

In thema 8 vroegen we: als \(H_0\) waar is, hoe vaak ten onrechte verwerpen? Antwoord: \(\alpha\). Dat is de kans op een type-I-fout, het vals alarm.

Nu de andere kant: als \(H_1\) waar is, hoe vaak terécht verwerpen? Dat heet de power. Het is de kans dat we een echt effect ook echt vangen — het tegenovergestelde van \(\beta\) (de type-II-fout, het misser-tarief). Formeel:

\[\text{power} = 1 - \beta\]

Een toets met lage power ziet effecten over het hoofd, ook als ze er wél zijn. Een toets met hoge power ziet ze.

OpmerkingDe vier kwadranten van een beslissing
\(H_0\) waar (geen effect) \(H_1\) waar (wel effect)
Verwerp \(H_0\) type-I-fout (kans \(\alpha\)) terecht verwerpen (kans = power = \(1-\beta\))
Niet verwerpen terecht behouden (kans \(1-\alpha\)) type-II-fout (kans \(\beta\))

De twee kolommen zijn twee verschillende werelden — de werkelijkheid kent alleen God. De rijen zijn de beslissing die jíj neemt.

Twee werelden naast elkaar

Power begrijp je het beste door twee verdelingen tegelijk te tekenen: de wereld onder \(H_0\) (centrum \(\mu_0\)) en de wereld onder \(H_1\) (centrum \(\mu_A\), de “echte” gemiddelde van de alternatieve hypothese). Beide steekproevenverdelingen hebben dezelfde standaardfout. De kritieke waarde \(\bar{x}_c\) — onze grens van verwerpen — snijdt door beide:

  • In de \(H_0\)-wereld: rechts van \(\bar{x}_c\) ligt \(\alpha\) (vals alarm). Links ligt \(1-\alpha\).
  • In de \(H_1\)-wereld: links van \(\bar{x}_c\) ligt \(\beta\) (gemist). Rechts ligt de power.

Onze egels uit thema 8 (\(\sigma_x = 15\), \(n = 25\), \(\mu_0 = 100\), \(\alpha = .05\) eenzijdig). Stel dat de echte populatie-pienterheid \(\mu_A = 110\) is (egels zijn écht slim). Met \(SE_{\bar{x}} =3\) en \(\bar{x}_c = 104{,}94\):

Figuur 1: Twee werelden naast elkaar: H0 (boven de getallenlijn, centrum mu0 = 100) en H1 (onder de getallenlijn, centrum muA = 110). De kritieke waarde x̄c = 104,94 snijdt door beide. Oranje (rechts van x̄c in H0) = alpha = vals alarm. Paars (links van x̄c in H1, naar onder gespiegeld) = beta = gemist. Groen (rechts van x̄c in H1) = power. De groene oppervlakte is hier ongeveer 95% — bij muA = 110 en deze opzet vangen we het effect bijna altijd.

De power uitrekenen

Power is de kans dat \(\bar{x}\) — onder \(H_1\) — bóven de kritieke waarde valt. Dat is gewoon \(p \to z \to x\), alleen nu met \(\mu_A\) als centrum in plaats van \(\mu_0\):

\[z_{\text{power}} = \frac{\bar{x}_c - \mu_A}{SE_{\bar{x}}} = \frac{104{,}94 - 110}{3} = -1{,}687\]

\[\text{power} = P(Z > -1{,}687) \approx 0{,}954\]

Dus: bij \(\mu_A = 110\) vangen we het effect in zo’n 95% van de steekproeven. De gemiste kans \(\beta = 1 - 0{,}954 = 0{,}046\).

TipPower-recept (drie stappen)
  1. Bepaal de kritieke waarde \(\bar{x}_c\) onder \(H_0\) (zoals in thema 8).
  2. Standaardiseer \(\bar{x}_c\) in de \(H_1\)-wereld: \(z = \dfrac{\bar{x}_c - \mu_A}{SE_{\bar{x}}}\).
  3. Power = kans rechts van die \(z\) (of links, bij linkszijdig).

Wat maakt power groter?

Vier knoppen:

  • Grotere \(n\) → kleinere \(SE_{\bar{x}}\) → de bergen worden smaller → minder overlap → meer power. (De duurste knop in onderzoek: meer deelnemers werven.)
  • Groter effect (\(\mu_A - \mu_0\)) → de bergen schuiven verder uit elkaar → meer power. (Niet jouw keuze: de werkelijkheid bepaalt ’m.)
  • Grotere \(\alpha\)\(\bar{x}_c\) schuift naar links → minder \(\beta\), meer power. (Maar je accepteert ook meer vals alarm — afruil.)
  • Kleinere \(\sigma_x\) → kleinere \(SE_{\bar{x}}\) → smallere bergen → meer power. (Vaak buiten je controle; soms te krimpen door betere meting.)
OpmerkingSpeel zelf — de Nerd Power-app

Bij dit thema hoort een interactief webappje waarin je \(N\), \(\alpha\) en \(\mu_A\) kunt verschuiven en de twee bergen ziet bewegen — inclusief hoe \(\alpha\), \(\beta\) en power live veranderen. Locatie: power_analyse/power_app_proto.qmd. Renderen + serveren via een lokale webserver (python3 -m http.server), dan open je ’m in de browser. (Op file:// werkt het niet — OJS heeft een webserver nodig.)

Een lage-power voorbeeld

Stel je hebt maar \(n = 9\) egels in plaats van 25. Dan \(SE_{\bar{x}} =15/\sqrt{9} = 5\) en \(\bar{x}_c = 100 + 1{,}645 \cdot 5 = 108{,}23\). Power bij \(\mu_A = 110\):

\[z = \dfrac{108{,}23 - 110}{5} = -0{,}354 \quad\Rightarrow\quad \text{power} = P(Z > -0{,}354) \approx 0{,}638\]

Slechts 64% — je mist het effect in ruim 1 op de 3 onderzoeken. Dat is de prijs van een kleine steekproef. (En een klein effect maakt het nóg erger.)

Oefenen

OpmerkingT10.1 — Power bij ander effect

Bij de egels (\(\sigma_x = 15\), \(n = 25\), \(\alpha = .05\), eenzijdig, \(\bar{x}_c = 104{,}94\)) — wat is de power als de echte \(\mu_A\) slechts 105 is (klein effect)? En als \(\mu_A = 115\) (groot effect)?

\(\mu_A = 105\): \(z = \dfrac{104{,}94 - 105}{3} = -0{,}02 \Rightarrow\) power \(= P(Z > -0{,}02) \approx 0{,}508\) — krap boven 50%, een muntje opgooien is bijna net zo goed.

\(\mu_A = 115\): \(z = \dfrac{104{,}94 - 115}{3} = -3{,}35 \Rightarrow\) power \(\approx 0{,}9996\) — vrijwel zeker vangen.

Moraal: power hangt sterk af van het ware effect. Bij kleine effecten zit je vaak rond de 50% en zie je waarheid en toeval bijna niet meer uit elkaar — dus rapporteer ook nul-resultaten met je power erbij.

OpmerkingT10.2 — n vergroten

Bij \(\mu_A = 105\) (klein effect) en \(\alpha = .05\) eenzijdig: hoe groot moet \(n\) ongeveer zijn voor power \(\ge 0{,}80\)? (Trucje: power = .80 hoort bij \(z = -0{,}842\) in de power-formule.)

We willen \(z = \dfrac{\bar{x}_c - \mu_A}{SE_{\bar{x}}} = -0{,}842\), met \(\bar{x}_c = \mu_0 + 1{,}645 \cdot SE_{\bar{x}}\). Vul in: \[\dfrac{\mu_0 + 1{,}645 \cdot SE_{\bar{x}} - \mu_A}{SE_{\bar{x}}} = -0{,}842\] \[\dfrac{100 - 105}{SE_{\bar{x}}} + 1{,}645 = -0{,}842 \;\Rightarrow\; \dfrac{-5}{SE_{\bar{x}}} = -2{,}487 \;\Rightarrow\; SE_{\bar{x}} = 2{,}01\] \[SE_{\bar{x}} = \dfrac{\sigma_x}{\sqrt{n}} \;\Rightarrow\; \sqrt{n} = \dfrac{15}{2{,}01} = 7{,}46 \;\Rightarrow\; n \approx 56\] Voor een klein effect van 5 punten heb je dus zo’n 56 egels nodig voor 80% power — ruim het dubbele van onze 25.

Wat blijft liggen

Wij rekenen met bekende \(\sigma\). In de praktijk doe je vooraf een power-analyse met een geschatte effectgrootte (Cohens \(d\)) en gebruik je software (G*Power, R-pakket pwr). De gedachte — twee werelden, een grens ertussen, vier kansen — blijft hetzelfde.

Tot slot

Power is het ontbrekende stuk van het toetsgevoel. Bij elke toets zou je je moeten afvragen: als er een effect was, had ik het gevonden? Een lage-power toets die geen effect vindt, zegt vooral iets over de toets — niet over de werkelijkheid. Absence of evidence is not evidence of absence — en hier zie je waarom.


Werkboek OZP 1 · Thema 10, versie 0.1 (handrekenen & theorie; SPSS later). Doorlopend voorbeeld: de egels.

Terug naar boven