Eerste beweging · Verschil onder de loep

Oefening 2.1 · Mediaan, kwartielen en scheefheid

Mediaan, boxplot, scheefheid · median & skew

Data bij deze oefening — luchtkwaliteit.csv luchtmetingen in New York · diamantjes.csv de twaalf steentjes uit het boek · wat elke kolom betekent

prikkel

Het midden dat boven het midden ligt

gemiddelde · typische dag · vorm van de hoop

New York, de zomer van 1973. Op een smal eilandje in de East River staat een meetkastje dat elke dag hetzelfde doet: snuiven, tellen, opschrijven hoeveel ozon er in de lucht hangt.1 Ozon op straatniveau is het spul waar smog van gemaakt is — hoe hoger het getal, hoe zwaarder de stad ademt. Het kastje oordeelt niet. Het verzamelt alleen, honderdzestien dagen lang, een hoop getallen. En in de vorm van die hoop zit — voor wie goed kijkt — de hele zomer.

En nu wij. De eerste vraag die iedereen aan zo’n kolom stelt, is de vraag uit de opdracht over het gemiddelde: wat is een gemiddelde ozon-dag? Optellen, delen, klaar: 42.1. Mooi rond verhaal — tot je door de kolom zelf bladert. Die begint zo: 41, 36, 12, 18, 28, 23, 19, 8… vooral getallen die ónder de 42 blijven, en dan ineens, verderop, een dag van 168. Tel het eens na: van de 116 dagen komen er maar 44 boven het gemiddelde uit. De “gemiddelde dag” is dus een dag die de meeste dagen niet halen.

Hoe kan een midden boven het midden liggen? En wat ís dan een typische ozon-dag in die zomer? Trek even mee — het antwoord zit niet in nog een getal, maar in de vorm van de hoop.

speel het

Twee middens en twee plaatjes in SPSS

gemiddelde · mediaan · kwartielen · histogram · boxplot

Haal de zomer binnen en vraag twee dingen: de middens, en een plaatje van de hele hoop.

OpmerkingEerst zoals in het boek — de twaalf diamantjes
  1. Analyze → Descriptive Statistics → Explore, glans naar Dependent List.
  2. Onder Plots staat de Boxplot standaard aan.
  3. OK — de tabel geeft mediaan en kwartielen.

Mediaan 50, Q1 = 30, Q3 = 70.

EXAMINE VARIABLES=glans
  /PLOT BOXPLOT
  /STATISTICS DESCRIPTIVES.

De mediaan van de glans is 50, met Q1 = 30 en Q3 = 70: de middelste helft van de steentjes zit in een band van 40 punten, netjes symmetrisch om het midden. Zo ziet een boxplot eruit als er niets geks aan de hand is.

Nu jij — met iets wat je nog niet gezien hebt: luchtmetingen uit New York. Die trekken wél scheef, en juist dan gaan mediaan en kwartielen het werk doen waar het gemiddelde faalt.

OpmerkingIn SPSS · trek eraan
  1. Open luchtkwaliteit.csv in SPSS: File → Open → Data, en zet het bestandstype op CSV.
  2. Ga naar Analyze → Descriptive Statistics → Explore.
  3. Sleep ozon naar het vak Dependent List.
  4. Klik op Statistics: Descriptives staat al aan en geeft je het gemiddelde, de mediaan en de scheefheid (skewness); vink ook Percentiles aan voor de kwartielen.
  5. Klik op Plots en vink naast de standaard aangevinkte Boxplot ook Histogram aan. Dan Continue en OK.

Daar staan ze, twee middens naast elkaar. Het gemiddelde (mean) is 42.1. De mediaan (median) — leg alle 116 dagen op volgorde en pak de middelste — is 31.5. Elf punten uit elkaar, en dat voor twee getallen die allebei “het midden” claimen. De kwartielen (quartiles) erbij: een kwart van de dagen blijft onder de 18, een kwart komt boven de 63.25; daartussen woont de middelste helft van de zomer.

En dan de plaatjes. Het histogram is geen nette klok maar een hoop die tegen de linkerkant aanleunt, met een lange uitloper naar rechts — veel schone dagen, een dun sliertje smog-dagen. De boxplot vat diezelfde hoop in vijf strepen: een doos van 18 tot 63.25 met de mediaan-streep laag ín die doos, een korte snor omlaag, een lange snor omhoog, en daarboven nog twee losse stippen: 135 en 168. Alles wat er te zien is, wijst dezelfde kant op. Omhoog.

snap het

Waarom de staart het gemiddelde optilt

rechts-scheef · balanspunt · robuustheid · keuze van het midden

Wat je daar ziet heet een rechts-scheve verdeling (right-skewed). Let op: de scheefheid is genoemd naar de staart, niet naar de bult. De bult leunt links, maar de staart wijst naar rechts — naar de hoge kant — dus rechts-scheef. (In een liggend histogram; in de staande boxplot wijst diezelfde staart omhoog.)

En die staart verklaart het raadsel uit de prikkel. Het gemiddelde is namelijk een balanspunt: elke dag trekt eraan, en hoe verder een dag van het midden ligt, hoe harder hij trekt. Die paar smog-dagen — zeven dagen van 100 of hoger, met 168 als kampioen — hangen als gewichten aan het uiteinde van een hefboom en tillen het gemiddelde op tot 42.1. De mediaan doet niet aan hefbomen. Die telt alleen wie er boven en wie er onder zit, en zegt onverstoorbaar: de middelste dag van deze zomer was 31.5.

Wil je voelen hoe onverstoorbaar? Gedachte-experiment: stel dat de topdag geen 168 was geweest maar een rampzalige 500. Het gemiddelde springt dan van 42.1 naar 45.0 — één enkele dag duwt het hele “midden” drie punten op. En de mediaan? Die blijft exact 31.5 staan. Er zit nog steeds precies één dag méér aan de hoge kant, en meer wil de mediaan niet weten. Dat is wat statistici robuust (robust) noemen: ongevoelig voor wat er in de staart gebeurt.

Er zat trouwens al vanaf het begin een hint in de getallen. De standaardafwijking uit de opdracht over het gemiddelde is hier 33.0 — bijna zo groot als het gemiddelde zelf. Maar ozon kan niet onder nul: een symmetrische klok rond 42 met een spreiding van 33 zou links door de vloer zakken. De verdeling kon dus helemaal niet symmetrisch zijn; de scheefheid stond al in de samenvatting te knipperen voor we één plaatje hadden gemaakt.

Wanneer misleidt het gemiddelde? Precies hier — bij scheve hopen. En de wereld staat er vol mee: inkomens (een handvol miljonairs tilt het “gemiddelde inkomen” boven wat bijna iedereen verdient), wachttijden, huizenprijzen, schadeclaims. Overal waar een verdeling wél een lange staart naar boven heeft en níét een naar beneden, ligt het gemiddelde boven de mediaan en boven de ervaring van de meeste mensen. Vergelijk het met het pinguïn-gewicht uit de opdracht over het gemiddelde: gemiddelde 4202 gram, mediaan 4050 — een paar procent uit elkaar, kies maar, het maakte daar amper uit. Hier scheelt het een derde. Vandaar de regel van deze opdracht: kijk eerst naar de vorm van de hoop, kies dan pas je midden.

Eén nuance nog, want “het gemiddelde misleidt” is óók te kort door de bocht. Geen van beide middens is fout; ze beantwoorden verschillende vragen. Wil je weten hoeveel ozon de stad die zomer in totáál te verwerken kreeg, dan is het gemiddelde precies goed — gemiddelde keer aantal dagen ís het totaal, staart en al. Wil je weten wat een typische dag was, wat je morgen waarschijnlijk inademt, dan hoort de mediaan het woord te krijgen. In gewone taal: “de middelste zomerdag had 31.5 delen ozon per miljard, maar een handvol smog-dagen — tot 168 aan toe — trok het gemiddelde op naar 42.” Wie alleen “gemiddeld 42” rapporteert, vertelt de staart en verzwijgt de zomer.

jouw beurt

Van smog naar wind

mediaan · kwartielen · boxplot · vorm beschrijven

Jouw beurt — van smog naar wind. In luchtkwaliteit.csv zit ook de kolom wind (windsnelheid in mijl per uur, dezelfde 116 dagen). Dezelfde maten, een andere hoop — en deze hangt lang zo scheef niet.

Zet eerst de analyse hieronder klaar, en beantwoord daarna de vragen. Tussen haakjes staat telkens wat er in een compleet antwoord hoort, zodat je jezelf kunt nakijken zonder ons antwoord te openen. De laatste heet weer Z): de aannames staan altijd achteraan.

OpmerkingIn SPSS · de wind
  1. Ga naar Analyze → Descriptive Statistics → Explore en zet wind in de Dependent List (en ozon eruit).
  2. Vink bij Statistics weer Percentiles aan; de tabel geeft dan de mediaan en de kwartielen. Ter controle: Mdn = 9.70 met Q1 = 7.40 en Q3 = 11.50.
  3. Bij Plots staan de Boxplot (die krijg je standaard) en het Histogram.
OpmerkingJouw beurt

a) Zoek de mediaan en de twee kwartielen van de wind op. (drie getallen op twee decimalen)

b) Bereken de IQR. Waarom is dat één getal en niet twee? (één getal, en één zin)

c) Reken ook het gemiddelde uit en trek daar de mediaan van af. (twee getallen, en welke kant het verschil op wijst)

d) Doe diezelfde aftreksom voor de ozon uit dit blok. (één getal, en één zin over hoe de twee zich verhouden)

e) Hoeveel van de 116 dagen liggen bóven hun eigen gemiddelde — bij de wind, en bij de ozon? (twee getallen, elk ook als percentage)

f) Kijk naar de boxplot van de wind. Hoeveel losse stippen staan erbuiten, en aan welke kant? (één getal, de kant, en de waarden zelf)

g) Bij c) leek de wind bijna symmetrisch, en toch staan alle stippen aan één kant. Spreken die twee elkaar tegen? (één zin)

h) Zoek het minimum en het maximum op en leg de afstand daartussen naast de IQR. (drie getallen, en één zin over waarom ze zo ver uit elkaar liggen)

i) Welk midden zou je van de wind rapporteren, en welk van de ozon? (twee keuzes, met per keuze één zin)

j) Formuleer de vuistregel van deze oefening in je eigen woorden. (één zin, met het woord vorm erin)

k) Geef een inhoudelijke conclusie in niet meer dan vijf zinnen. (over de zomer van 1973, niet over getallen)

Z) Mag je alles hierboven geloven? Loop na:

  • ontbreken er metingen in deze kolom, en wat doet R dan?
  • meet elke dag hetzelfde ding — hetzelfde kastje, dezelfde eenheid?
  • is dit één hoop, of liggen er seizoenen doorheen?

En dan de vraag die er altijd achteraan hoort: gaat er iets mis, welke antwoorden hierboven doe je dan over en welke mogen blijven staan?

a) Mdn = 9.70, met Q1 = 7.40 en Q3 = 11.50. De middelste helft van de zomerdagen woont dus tussen ruim zeven en anderhalf boven de elf mijl per uur.

b) IQR = 11.50 − 7.40 = 4.10. Het is één getal omdat het niet de doos zelf is maar zijn breedte — waar de doos ligt zeggen Q1 en Q3, hoe breed hij is zegt de IQR. Dat onderscheid is het waard vast te houden: twee zomers kunnen dezelfde IQR hebben en toch heel ergens anders liggen.

c) M = 9.86, en 9.86 − 9.70 = 0.16. Het gemiddelde ligt dus een fractie boven de mediaan — dezelfde kant op als bij de ozon, maar met een zestiende punt in plaats van tien.

d) Ozon: 42.13 − 31.50 = 10.63. Ruim zesenzestig keer zo groot als de 0.16 van de wind, terwijl de twee kolommen uit hetzelfde bestand en dezelfde 116 dagen komen. Wil je de twee eerlijk naast elkaar leggen, deel dat verschil dan door de spreiding van zijn eigen kolom: voor de wind geeft dat 0.045 en voor de ozon 0.322. Ook dan blijft de ozon ruim zeven keer zo scheef.

e) Wind: 54 van de 116 dagen, oftewel 46.6% — bijna de helft, zoals het bij een nette hoop hoort. Ozon: 44 van de 116, oftewel 37.9%. Dat tweede getal was de hele prikkel van dit blok: een “gemiddelde dag” die de meeste dagen niet halen.

f) Drie stippen, alle drie aan de bovenkant: 18.4, 20.1 en 20.7 mijl per uur. Aan de onderkant staat er geen enkele, en dat kán ook bijna niet — de onderste snor reikt tot 7.40 − 1.5 × 4.10 = 1.25, en de rustigste dag van de zomer haalde nog altijd 2.3.

g) Nee — ze wijzen dezelfde kant op, alleen veel zachter. Ook de wind leunt dus een beetje naar rechts; dat is precies wat die 0.16 bij c) al zei. Het verschil met de ozon is geen verschil in richting maar in maat, en dat is het punt van deze oefening: scheefheid is geen knop die aan of uit staat.

h) Minimum 2.3, maximum 20.7, dus een afstand van 18.4 — ruim vier keer de IQR van 4.10. Dat hoort zo: de afstand tussen de uitersten hangt aan precies twee dagen, en aan de wildste van de twee is niets typisch. De IQR telt alleen de middelste helft mee en trekt zich van die twee niets aan. Dat is dezelfde robuustheid die de mediaan bij de ozon liet zien.

i) Bij de wind maakt het niet uit — de twee middens schelen 0.16, dus kies gerust het gemiddelde, met de standaardafwijking ernaast. Bij de ozon hoort de mediaan het woord te krijgen, met de kwartielen erbij, want daar zit een derde van het verschil tussen de twee middens en vertelt het gemiddelde meer over de zeven smogdagen dan over de zomer.

j) Bijvoorbeeld: kijk eerst naar de vorm van de hoop, kies dan pas je midden — en wijken gemiddelde en mediaan nauwelijks van elkaar af, dan heeft de vorm je net verteld dat de keuze er niet toe doet.

k) Bijvoorbeeld: in de zomer van 1973 waaide het op Roosevelt Island doorgaans zo’n tien mijl per uur, en de middelste helft van de dagen lag tussen ruim zeven en anderhalf boven de elf. Die hoop is vrijwel symmetrisch: gemiddelde en mediaan schelen nog geen twee tiende. Drie dagen staken er met bijna twintig mijl per uur bovenuit, maar ze trokken het midden nauwelijks mee. De ozon uit dezelfde zomer gedroeg zich heel anders — daar lag het gemiddelde ruim tien punten boven de middelste dag. Dezelfde 116 dagen, twee kolommen, twee vormen.

Z) Ja, en net als in de vorige oefening zonder verdelingsaanname: er is hier niets getoetst, alleen beschreven. De drie vragen bijten hier wél elk iets af.

  • Blijft staan: a) tot en met j). In de kolom wind ontbreekt geen enkele van de 116 metingen, dus je rekent over alle dagen. Dat is hier geen vanzelfsprekendheid: in de kolom zon van dít bestand ontbreken er vijf, en mean(lucht$zon) geeft dan geen getal maar NA — R weigert te doen alsof hij iets weet.
  • Blijft staan met een slag om de arm: de mediaan van 9.70 als “de typische zomerdag”, en daarmee ook k). Deze 116 dagen lopen van mei tot en met september, en dat is geen homogene hoop: per maand ligt de mediaan op 11.50 (mei), 11.50 (juni), 7.70 (juli), 8.00 (augustus) en 10.30 (september). Het waait in juli en augustus dus duidelijk minder dan in het voorjaar. Die 9.70 is een correct getal over de hele zomer, en tegelijk een dag die in geen enkele maand bijzonder typisch is — precies dezelfde valkuil als het gemiddelde dat drie pinguïnsoorten mengde.

Wat er níét omvalt is het meten zelf: het is één kastje op één eilandje, elke dag hetzelfde, in dezelfde eenheid. Dat is de saaiste van de drie vragen en meestal de belangrijkste — meet je halverwege iets anders, dan helpt geen enkele spreidingsmaat je nog.

rapportage

Schrijf het op als een onderzoeker

Mdn · IQR · rapportage bij scheve verdeling

OpmerkingRapportage

Onthoud van de vorige opdracht: rapporteren is een boodschappenlijstje in zinsvorm. Alleen staat er bij een scheve hoop iets anders op het lijstje: niet M en SD, maar de vorm, de mediaan en de kwartielen. Kijk maar:

De ozonconcentratie (in ppb) op de 116 gemeten zomerdagen was rechts-scheef verdeeld (Mdn = 31.50, IQR = 45.25; de middelste helft van de dagen lag tussen Q1 = 18.00 en Q3 = 63.25).

Dat is ’m. Eén zin die op eigen benen staat: welke dagen, welke variabele, de vorm, het robuuste midden, en tussen haakjes de doos van de boxplot — hoe breed hij is en waar hij ligt. Mdn (median) is de nette afkorting van de mediaan. Q1 en Q3 zijn het onderste en het bovenste kwartiel: de twee randen van de doos. En IQR (interquartile range) is niet die doos zelf, maar zijn breedte — 63.25 − 18.00 = 45.25. In de modelzin zijn alléén de symbolen cursief; de gewone woorden blijven rechtop. En zie je wat er stiekem gebeurt? Door de mediaan te rapporteren in plaats van het gemiddelde, zit het hele vorm-verhaal al ín de zin verstopt.

Jouw beurt: schrijf zelf zo’n zin voor de wind, in mijl per uur (Mdn = 9.70, IQR = 4.10; de middelste helft van de dagen lag tussen Q1 = 7.40 en Q3 = 11.50). Kies bewust wélk midden je rapporteert, nu je de vorm kent.

◠ Zelfde vorm in het boek

Hier: twee middens die uit elkaar drijven, en de hoop die verklapt waarom.

In het boek: W2 — De vorm van de hoop

Daar leer je verdelingen lezen vóór je ze samenvat — eerst de vorm, dan pas het getal dat de vorm mag vertegenwoordigen.

Voetnoten

  1. Dagelijkse ozonmetingen in ppb (delen per miljard, parts per billion) op Roosevelt Island, New York, mei–september 1973; New York State Department of Conservation / National Weather Service. Beschikbaar als de klassieke R-dataset airquality; dit zijn de 116 dagen waarop de ozonmeting gelukt is. Alle getallen in dit blok zijn op die échte data nagerekend.↩︎