NRC column, 10 december 2009
Van huis uit ben ik scheikundige.
Scheikunde is een bètawetenschap, net als natuurkunde en biologie. Een kenmerk van bètawetenschappen is dat ze de toekomst kunnen voorspellen.
Bijvoorbeeld dat er op 7 oktober 2135 een totale zonsverduistering in Nederland zal zijn,[i] of dat het cholesterolgehalte van uw bloed omhoog gaat als u margarine vervangt door roomboter.[ii] Dankzij het toepassen van natuurkunde, scheikunde en biologie in de geneeskunde kunnen dokters vaak voorspellen met welke behandeling een patiënt zal genezen. Dat heeft de natuurwetenschappen een enorm prestige verschaft.
Bèta’s kunnen goed voorspellen omdat ze zich beperken tot het haalbare. Een serieuze meteoroloog voorspelt niet of er komende januari sneeuw gaat vallen, want de atmosfeer is zo gecompliceerd en chaotisch dat het weer niet meer dan een paar weken tevoren valt te voorspellen. Dat geldt nog sterker voor het gedrag van mensen en van volkeren. Of er oorlog komt hangt af van zoveel factoren dat geen verstandige bèta zich daaraan waagt. Maar er is veel behoefte aan dat soort voorspellingen, en waar vraag is is aanbod. In de media zijn dus regelmatig experts te horen die vertellen of er vrede komt in Afghanistan, of Nederland zal verrechtsen dan wel verlinksen en of de dollarkoers zal stijgen of dalen. Bedrijven en overheden maken intensief gebruik van dergelijke deskundigen.
Natuurwetenschappers checken doorlopend elkaars voorspellingen. Soms duurt dat lang. Higgs publiceerde zijn mechanisme van de zwaartekracht in 1964, en de reuzenversneller van CERN in Geneve moet nog steeds onthullen of Higgs gelijk had. Maar vroeg of laat wordt elke belangrijke voorspelling in de natuurwetenschappen bevestigd dan wel fout bevonden. Vaak gaat dat door middel van experimenten. Experimenten leiden tot theorieën en modellen die betrouwbaar voorspellen wat er onder bepaalde omstandigheden zal gebeuren.
Voor maatschappijwetenschappers is het moeilijk om experimenten te doen. Hoe kun je testen of strenge straffen de jeugdmisdaad meer terugdringen dan liefderijke zorg? Je zou in 10 steden een streng regime kunnen invoeren en in 10 andere een liefderijk regime, en vervolgens het aantal straatroven tellen. Maar hoe krijg je die steden zo ver? De wet moet er ook voor worden veranderd, en de boefjes mogen niet gaan verhuizen van strenge naar lieve steden. In de criminologie, de politicologie en de economie zijn experimenten vaak niet alleen praktisch onmogelijk, maar ook ethisch bezwaarlijk. Dat leidt tot een gebrek aan experimentele toetsing en schifting, en daarom blijven er binnen één gammawetenschap verschillende scholen bestaan die elkaar tegenspreken met hun theorieën en voorspellingen.
Philip Tetlock, hoogleraar psychologie in Berkeley, heeft een onderzoek gedaan naar het voorspellend vermogen van economische en politieke experts. Hij beschrijft dat in een boek getiteld "Expert Political Judgment".[iii] Mijn exemplaar staat vol strepen en uitroeptekens, zo opgewonden raakte ik ervan. Dat komt niet alleen omdat het boek geestig en erudiet is geschreven, maar ook omdat het zo’n prachtig voorbeeld is van wat wetenschap vermag. Tetlock’s proefpersonen waren 284 experts die de kost verdienden met het voorspellen van politieke en economische trends. Ze adviseerden grote ondernemingen en de Amerikaanse regering. De meesten werkten bij universiteiten en de rest bij de overheid of bij denktanks. Tussen 1988 en 2003 vulden zij voor Tetlock vragenlijsten in waarop ze aangaven welke ontwikkelingen ze verwachtten op hun vakgebied. Krijgt Noord Korea de atoombom? Haalt de Sovjet-Unie het jaar 2000? Welke kant gaat het op met de inflatie in Japan en de werkeloosheid in de Verenigde Staten? Komt de euro er? Samen deden de experts 27.451 voorspellingen.[iv] Deze werden door Tetlock kwantitatief geëvalueerd, en de antwoorden werden vergeleken met wat er uiteindelijk echt gebeurde.
De uitkomst was ontluisterend. Gerenommeerde politieke en economische experts voorspelden de toekomst nauwelijks beter dan de spreekwoordelijke pijltjesgooiende aap, of een computer die aanneemt dat alles zal blijven gaan zoals het ging. Iemand die zich al 25 jaar in China had verdiept voorspelde gebeurtenissen aldaar niet beter dan iemand die gespecialiseerd was in een heel ander land en zijn kennis over China uit de krant haalde. Tetlock was opmerkelijk edelmoedig tegenover zijn proefpersonen. Hij berekende systematisch of zijn conclusies fout zouden kunnen zijn, en wat er voor ruimte was voor alternatieve interpretaties. Aan het eind van de studie werden de experts geconfronteerd met hun voorspellingen van destijds, en ze kregen alle gelegenheid om uit te leggen waarom ze het fout hadden gehad. Die excuses werden allemaal serieus geëvalueerd. Misschien moest de voorspelde gebeurtenis nog komen? En wat als iemand één ramp goed had voorspeld en vijf rampen die niet hebben plaatsgevonden? Al die alternatieve berekeningen konden de pijnlijke waarheid niet wegnemen dat politieke en economische ontwikkelingen door de experts gemiddeld niet beter werden voorspeld dan door ontwikkelde leken.
Het was al langer bekend dat experts geen beurskoersen kunnen voorspellen. Verstandige mensen kopen daarom geen aandelen van beleggingsfondsen met dure analisten, maar stoppen hun geld in tracker fondsen. Dat de gemiddelde deskundige ook niet weet wat er op politiek gebied gaat gebeuren was niet eerder zo grondig aangetoond. Er is echter hoop. Sommige experts deden het namelijk systematisch beter dan andere. Tetlock laat zien dat experts kunnen worden ingedeeld in “Egels”, “Vossen” of iets daartussen in. Egels hebben sterke overtuigingen. Het zijn ideologen die zich ingraven in hun gelijk en nooit van mening veranderen. Vossen hebben geen overtuigingen; ze pikken uit allerlei ideologieën iets mee van hun gading, ze veranderen gemakkelijk van mening en ze zeggen het zonder gêne als ze iets niet weten. Het bleek nu dat de weifelachtige Vossen onder de experts duidelijk beter waren in het voorspellen van politieke en economische ontwikkelingen dan de zelfverzekerde egels.
Helaas krijgt u op TV en in de krant vooral de verkeerde voorspellers te zien. [v] U hoort namelijk liever een stijfkoppige egel die zegt: “Het staat vast, binnen vijf jaar komt er hongersnood in Oeganda” dan een vossig type die zegt: “Eerst dacht ik dat het slechter zou gaan maar nu weet ik het niet meer, vermoedelijk gaat er eigenlijk weinig veranderen.” Media hebben graag zelfverzekerde experts met een duidelijke mening, liefst een mening die de kijker zelf al had. Maar dergelijke experts hebben het meestal fout.
Als u dagelijks een goede krant leest en uw gezond verstand gebruikt kunt u de toekomst dus even goed of slecht voorspellen als de gemiddelde expert op radio of TV. Behalve natuurlijk als het gaat om de volgende zonsverduistering, of het cholesterolgehalte van uw bloed.
[i] http://eclipse.gsfc.nasa.gov/SEatlas/SEatlas3/SEatlas2121.GIF
[ii] www.katancalculator.nl
[iii] Tetlock PE. Expert Political Judgment. How Good Is It? How Can We Know? Princeton University Press, 2005
[iv] Tetlock, p 49
[v] Tetlock, p 69 Table 3.1