Hoofdstuk 2 · De vorm van de hoop

Mediaan, boxplot, scheefheid · median & skew

De prikkel

New York, de zomer van 1973. Op een smal eilandje in de East River staat een meetkastje dat elke dag hetzelfde doet: snuiven, tellen, opschrijven hoeveel ozon er in de lucht hangt.¹ Ozon op straatniveau is het spul waar smog van gemaakt is — hoe hoger het getal, hoe zwaarder de stad ademt. Het kastje oordeelt niet. Het verzamelt alleen, honderdzestien dagen lang, een hoop getallen. En in de vorm van die hoop zit — voor wie goed kijkt — de hele zomer.

En nu wij. De eerste vraag die iedereen aan zo’n kolom stelt, is de vraag uit Hoofdstuk 1: wat is een gemiddelde ozon-dag? Optellen, delen, klaar: 42.1. Mooi rond verhaal — tot je door de kolom zelf bladert. Die begint zo: 41, 36, 12, 18, 28, 23, 19, 8… vooral getallen die ónder de 42 blijven, en dan ineens, verderop, een dag van 168. Tel het eens na: van de 116 dagen komen er maar 44 boven het gemiddelde uit. De “gemiddelde dag” is dus een dag die de meeste dagen niet halen.

Hoe kan een midden boven het midden liggen? En wat ís dan een typische ozon-dag in die zomer? Trek even mee — het antwoord zit niet in nog een getal, maar in de vorm van de hoop.

Speel het

⬇ Download de data — luchtkwaliteit.csv

Haal de zomer binnen en vraag twee dingen: de middens, en een plaatje van de hele hoop.

OpmerkingIn R · trek eraan

lucht <- read.csv("luchtkwaliteit.csv")

mean(lucht$ozon)        # → 42.1
median(lucht$ozon)      # → 31.5
quantile(lucht$ozon)    # → 1, 18, 31.5, 63.25, 168

boxplot(lucht$ozon)     # de hoop in vijf strepen
hist(lucht$ozon)        # de hoop zelf

Daar staan ze, twee middens naast elkaar. Het gemiddelde (mean) is 42.1. De mediaan (median) — leg alle 116 dagen op volgorde en pak de middelste — is 31.5. Elf punten uit elkaar, en dat voor twee getallen die allebei “het midden” claimen. De kwartielen (quartiles) erbij: een kwart van de dagen blijft onder de 18, een kwart komt boven de 63.25; daartussen woont de middelste helft van de zomer.

En dan de plaatjes. Het histogram is geen nette klok maar een hoop die tegen de linkerkant aanleunt, met een lange uitloper naar rechts — veel schone dagen, een dun sliertje smog-dagen. De boxplot vat diezelfde hoop in vijf strepen: een doos van 18 tot 63.25 met de mediaan-streep laag ín die doos, een korte snor omlaag, een lange snor omhoog, en daarboven nog twee losse stippen: 135 en 168. Alles wat er te zien is, wijst dezelfde kant op. Omhoog.

Snap het

Wat je daar ziet heet een rechts-scheve verdeling (right-skewed). Let op: de scheefheid is genoemd naar de staart, niet naar de bult. De bult leunt links, maar de staart wijst naar rechts — naar de hoge kant — dus rechts-scheef. (In een liggend histogram; in de staande boxplot wijst diezelfde staart omhoog.)

En die staart verklaart het raadsel uit de prikkel. Het gemiddelde is namelijk een balanspunt: elke dag trekt eraan, en hoe verder een dag van het midden ligt, hoe harder hij trekt. Die paar smog-dagen — zeven dagen van 100 of hoger, met 168 als kampioen — hangen als gewichten aan het uiteinde van een hefboom en tillen het gemiddelde op tot 42.1. De mediaan doet niet aan hefbomen. Die telt alleen wie er boven en wie er onder zit, en zegt onverstoorbaar: de middelste dag van deze zomer was 31.5.

Wil je voelen hoe onverstoorbaar? Gedachte-experiment: stel dat de topdag geen 168 was geweest maar een rampzalige 500. Het gemiddelde springt dan van 42.1 naar 45.0 — één enkele dag duwt het hele “midden” drie punten op. En de mediaan? Die blijft exact 31.5 staan. Er zit nog steeds precies één dag méér aan de hoge kant, en meer wil de mediaan niet weten. Dat is wat statistici robuust (robust) noemen: ongevoelig voor wat er in de staart gebeurt.

Er zat trouwens al vanaf het begin een hint in de getallen. De standaardafwijking uit Hoofdstuk 1 is hier 33.0 — bijna zo groot als het gemiddelde zelf. Maar ozon kan niet onder nul: een symmetrische klok rond 42 met een spreiding van 33 zou links door de vloer zakken. De verdeling kon dus helemaal niet symmetrisch zijn; de scheefheid stond al in de samenvatting te knipperen voor we één plaatje hadden gemaakt.

Wanneer misleidt het gemiddelde? Precies hier — bij scheve hopen. En de wereld staat er vol mee: inkomens (een handvol miljonairs tilt het “gemiddelde inkomen” boven wat bijna iedereen verdient), wachttijden, huizenprijzen, schadeclaims. Overal waar een verdeling wél een lange staart naar boven heeft en níét een naar beneden, ligt het gemiddelde boven de mediaan en boven de ervaring van de meeste mensen. Vergelijk het met het pinguïn-gewicht uit Hoofdstuk 1: gemiddelde 4202 gram, mediaan 4050 — een paar procent uit elkaar, kies maar, het maakte daar amper uit. Hier scheelt het een derde. Vandaar de regel van dit hoofdstuk: kijk eerst naar de vorm van de hoop, kies dan pas je midden.

Eén nuance nog, want “het gemiddelde misleidt” is óók te kort door de bocht. Geen van beide middens is fout; ze beantwoorden verschillende vragen. Wil je weten hoeveel ozon de stad die zomer in totáál te verwerken kreeg, dan is het gemiddelde precies goed — gemiddelde keer aantal dagen ís het totaal, staart en al. Wil je weten wat een typische dag was, wat je morgen waarschijnlijk inademt, dan hoort de mediaan het woord te krijgen. In gewone taal: “de middelste zomerdag had 31.5 delen ozon per miljard, maar een handvol smog-dagen — tot 168 aan toe — trok het gemiddelde op naar 42.” Wie alleen “gemiddeld 42” rapporteert, vertelt de staart en verzwijgt de zomer.

◠ Zelfde vorm in het boek

Hier: twee middens die uit elkaar drijven, en de hoop die verklapt waarom.

In het boek: W2 — De vorm van de hoop

Daar leer je verdelingen lezen vóór je ze samenvat — eerst de vorm, dan pas het getal dat de vorm mag vertegenwoordigen.

TODO (broertje, geschreven 24-7 volgens charter): stem-pas door Ben nog te doen — verhaal-stem-opening is een eerste zet, kan stiller. “Hoofdstuk 2” is voorlopige nummering; definitieve ordening volgt met de herordening naar de boek-boog (ROADMAP spoor 1), W2-anker checken zodra dat boekdeel staat. Geen Schud-trede in dit blok: puur beschrijven, geen waar-of-toeval-getal — charter-regel “natuurlijk uit”. De JASP- en SPSS-drieling deelt deze tekst; alleen “Speel het” verschilt.

Voetnoten

1. Dagelijkse ozonmetingen (delen per miljard, parts per billion) op Roosevelt Island, New York, mei–september 1973; New York State Department of Conservation / National Weather Service. Beschikbaar als de klassieke R-dataset airquality; dit zijn de 116 dagen waarop de ozonmeting gelukt is. Alle getallen in dit blok zijn op die échte data nagerekend.