Kiezen en Delen
Soms zijn er van die dagen dat alles lukt. Je projectvoorstel wordt gehonoreerd, je baas verrast je met een promotie, en onderweg naar huis vind je ook nog eens 10 euro op straat. Op zulke dagen zou je bijna, tegen beter weten in, een kraslot kopen om dit tijdelijke geluk optimaal te benutten.
Het idee dat goede uitkomsten voorkomen in clusters staat bekend als het “hot hand” effect, genoemd naar basketballers die series succesvolle schoten afleveren. In de basketbalwereld gelooft men heilig in het bestaan van dit effect en spelers proberen het zoveel mogelijk uit te buiten. De vedette LeBron James passt bijvoorbeeld extra ballen naar teamgenoten waarvan hij gelooft dat die een hot hand hebben.
Het probleem met deze strategie is dat 30 jaar gedragswetenschappelijk onderzoek heeft vastgesteld dat de hot hand een illusie is. De zogenaamde hot hand fallacy werd geboren in een studie uit 1985, met meer dan duizend academische citaties. Drie top-psychologen lieten daarin zien dat de succesreeksen in het basketbal niet te onderscheiden zijn van de reeksen die gegenereerd worden door een volledig toevallig proces.
Tientallen vervolgstudies op verschillende toepassingsgebieden bevestigden deze analyse. In zijn boek “Thinking Fast en Slow” uit 2011 noemt de Nobelprijswinnaar Daniel Kahneman de hot hand een “massive and widespread cognitive illusion”. Onderzoekers begonnen zich zelfs af te vragen wat er toch mis was met die basketballers die maar niet van hun geloof in die hot hand af te brengen waren.
Nu, dertig jaar later, demonstreren twee jonge onderzoekers dat de hot hand fallacy zelf een illusie is. In het paper “A Cold Shower for the Hot Hand Fallacy” laten economen Joshua Miller Adam Sanjurjo zien dat de hot hand in het basketbal wel degelijk bestaat en dat wetenschappers de data decennia lang verkeerd hebben geanalyseerd.
De statistische fout is pijnlijk maar subtiel. Ruwweg vergeleken onderzoekers altijd de volgende twee kansen: 1) de gemiddelde kans op succes in een poging volgend op een reeks van drie of meer successen met 2) de gemiddelde kans op succes over alle gemeten pogingen. Als kans 1) hoger is dan kans 2) is dat bewijs voor de hot hand. Het probleem met deze methode is dat bij het berekenen van kans 1) de voorafgaande reeks successen uit de steekproef wordt verwijderd. Daarmee is daaropvolgende kans op een succes dus systematisch lager dan de gemiddelde kans in de steekproef die die reeks wel bevat (kans 2), en onderschat de test dus het bestaan van de hot hand.
De auteurs laten zien dat deze ogenschijnlijk onschuldige fout tot een grote onderschatting van de hot hand effect leidt. In een uitgebreide studie van wedstrijden in “driepunters gooien” vonden ze een substantieel hot hand effect, waarbij een succesvolle worp 9 procentpunten waarschijnlijker is als die volgt op twee of drie eerdere successen. Een her-analyse van de originele studie uit 1985 laat zien dat de hot hand zelfs in die data te vinden is. De auteurs leveren weliswaar geen direct bewijs voor de hot hand op andere gebieden dan basketbal (en al helemaal niet dat u op uw geluksdag een kraslot moet gaan kopen!), maar de rehabilitatie van de hot hand maakt vervolgonderzoek plotseling weer spannend.
Het levensverhaal van de hot hand fallacy doet mij denken aan de analyses van Foucault over de sociale constructie van ‘normaliteit’. In de gedragswetenschappen maken de statistici uit wie normaal is en wie een beetje gek. Wanneer de statistici zich bedenken, lachen de gekken het laatst.