18-05-2013 Het hele verhaal

Soms is het echt erg, bijvoorbeeld als bedrijven proberen negatieve effecten van nieuwe medicijnen stil te houden.[i] Ook in het voedingsonderzoek komt dat voor. Een voorbeeld is een studie naar transvet uit melk. Transvet is slecht voor hart en bloedvaten. Aan industrieel vervaardigd voedsel wordt het sinds een jaar of tien niet meer toegevoegd, maar in dierlijke producten zoals melk, kaas en rundvlees zit het van nature. De hoeveelheid is klein en uit gezondheidsoogpunt doet het er weinig toe, maar voor het imago van bijvoorbeeld roomboter is het niet prettig dat er iets in zit wat in margarine niet mag. De zuivelindustrie zegt dat transvet uit melk natuurlijk is en geen effect heeft op het hart, maar dat is omstreden.[ii]

Een grote Amerikaanse studie moest het antwoord geven. Nestlé – van oorsprong een melkbedrijf –produceerde vijftig kilo[iii] van het pure transvetzuur uit melk en huurde samen met de Amerikaanse en Australische zuivelindustrie het voedingsinstituut in van het Amerikaanse ministerie van Landbouw. Dat voerde in 2009 de studie uit.[iv]Er is tot nu toe geen publicatie van verschenen, hoewel de uitkomst zonneklaar was: transvet uit melk is even ongezond als industrieel transvet. Ik weet dat omdat de resultaten in 2010 zijn vertoond op een zuivelcongres in Nieuw Zeeland.Een Turkse zuivelfirma zette de PowerPoint presentatie op het web en daar vond ik hem.[v]Meer is er over de studie niet bekend gemaakt; ik vermoed dat de sponsors geen ruchtbaarheid willen geven aan deze onaangename uitkomst. Dat is onethisch, niet alleen omdat hij antwoord geeft op een belangrijke vraag maar ook omdat honderd vrijwilligers drie maanden lang naar het laboratorium zijn gekomen om speciale voedingsmiddelen te eten en bloed af te laten nemen.[vi] Alles voor niets.

Toch is het niet altijd onethisch om resultaten ongepubliceerd te laten.[vii] In het laboratorium gooit op vrijdagmiddag menige Willie Wortel puur uit nieuwsgierigheid iets bij elkaar wat niet in de planning stond. Soms levert dat een ontdekking op, meestal niet. Moet je zo een mislukt proefje toch publiceren? Het kost een week om het op te schrijven en een halve middag om het in te dienen bij een wetenschappelijk tijdschrift, die vinden het niet lezenswaardig,en dan kun je opnieuw beginnen. Dat schiet niet op. Laat de Willie Wortels in vrijheid met hun petrischalen stoeien. Meestal komt er niets uit en dan hoeft dat niet gepubliceerd te worden. Bij de uitkomsten die interessant genoeg zijn om wel te publiceren zit zo nu en dan iets wat niet klopt, maar dat wordt snel genoeg ontmaskerd. Laboratoriumonderzoek is gemakkelijk te herhalen en laboratoriummuizen zijn overal hetzelfde,als iets niet repliceerbaar is zullen concurrenten dat snel aan de kaak stellen.[viii]

Bij onderzoek met proefpersonen ligt dat anders. Dat doe je niet na op een vrijdagmiddag, en mensen zijn geen muizen, ze reageren allemaal anders. Daarom moeten studies met mensen altijd gepubliceerd worden, anders wordt het beeld vertekend. Neem het effect van visvetzuren op depressie. Daar zijn 38 studies over gepubliceerd, waarvan er dertig een gunstig effect lieten zien en acht een ongunstig effect.[ix]Dat die uitkomsten zo verschilden komt door toevallige fluctuaties. Vergelijk het met het afvullen van blikjes van 70 gram tomatenpuree: in het ene blikje kan door toeval 66 gram terecht komenen in het andere 74 gram.[x]Dat is geen bedrog, gemiddeld krijg je op den duur 70 gram. Maar bij die depressiestudies is een deel van de informatie zoek, de blikjes met minder dan 70 gram zijn weggemoffeld waardoor het gemiddelde geflatteerd wordt.

Er bestaat een statistische techniek genaamd Trechterplot waarmee je kunt nagaan of studies met een minder gunstige uitkomst systematisch ongepubliceerd zijn gebleven.[xi]Trechterplot laat zien dat er naast die 38 gepubliceerde studies nog eens een stuk of twintig moeten bestaan waarin de depressie juist erger werd na het slikken van visolie, en die niet openbaar zijn gemaakt. Als je die verdonkeremaande studies zou combineren met de 38 die wel openbaar zijn krijg je, net als bij de tomatenpuree, het juiste gemiddelde en dat is nul; visolie werkt niet tegen depressie. Ook Trechterplot is ontwikkeld door wetenschappers; wij houden elkaar eerlijk.

 “Verdonkeremanen” is trouwens te sterk. Elke individuele depressie-onderzoeker dacht waarschijnlijk: ‘Die visolie werkt niet, weg ermee, ik ga niet tobben om het  gepubliceerd te krijgen, ik ga iets zoeken wat wel werkt.’ Toch is dat fout, want met zijn twintigen creëerden ze ongewild de indruk dat die 38 gepubliceerde studies het hele verhaal waren en dat visolie werkt.

Mijn eigen lijst van ongepubliceerde studies bestaat vooral uit half-affe opiniestukken en oninteressante metingen. Maar er zit ook nuttige informatie tussen. Bijvoorbeeld het effect van CLA op TNF-α. Dat moet ik echt eens opschrijven. Zucht.