Voedingsonderzoek: Van protocol tot persbericht
Walnuts may slow cognitive decline in at-risk elderly stond er boven het persbericht van de Loma Linda University (A Seventh-day Adventist Organization). Door het woord may lijkt er weinig aan de hand. Maar schijn kan bedriegen. Om daar zicht op te krijgen volgt hierna een poging de procesgang van het onderzoek te reconstrueren.
Protocol
Het begint bij het protocol en daar is niet veel mis mee. Zoals het tegenwoordig hoort, is dit onderzoek (in juli 2012) geregistreerd met de code NCT01634841. Het protocol beschrijft een grote interventiestudie op twee locaties: Barcelona (Spanje) en Loma Linda (USA) met de vraag: Wat zijn de effecten van walnoten op het cognitief functioneren bij ouderen?
De onderzoekers verwachtten vooraf dat er na twee jaar een verschil van 5 procent in de afname van de cognitieve functie zal optreden tussen de walnotengroep en de controlegroep. Dit verschil vormt de basis voor het aantal personen dat moet deelnemen aan de studie om dat aan te tonen. Bij de interventiegroep moesten walnoten dagelijks ongeveer 15 procent van de energie-inname leveren en dat zijn flink wat noten die garant zou moeten staan voor een effect.
Post-hoc analyses
Deze interventiestudie (met uiteindelijk 636 ouderen) met vele dure metingen zal het nodige hebben gekost. Toen er geen verschil uitkwam, zou net als in de Olivier B. Bommelboeken van Marten Toonder Tom Poes een list moeten verzinnen. Daarvoor zetten de onderzoekers post-hoc analyses in. Een beproefde strategie om daarbij wel resultaten te krijgen, is een analyse bij subgroepen. Het oorspronkelijke protocol maakt daarover geen melding.
De publicatie geeft onvoldoende duidelijk aan welke en daarmee hoeveel extra toetsen zijn uitgevoerd. Er bleek alleen een significante interactie te bestaan tussen de interventie en studie-locatie en dat was aanleiding om de effecten afzonderlijk voor Barcelona en Loma Linda te onderzoeken. In Barcelona kwamen nu verschillen tussen de walnotengroep en de contolegroep tevoorschijn. Hoe kon dat?
Daarvoor keken de onderzoekers naar de verschillen in persoonskenmerken tussen beide locaties. Naast diverse verschillen in voedingsfactoren, rookten de Spanjaarden meer, hadden ze een lagere opleiding en hadden zij aan het begin van de studie lagere scores op neurologische testen (= risicogroep) dan in Loma Linda. Voor de onderzoekers was de laatste het belangrijkste, gezien de conclusie die zij trekken.
Straf voor extra testen
De onderzoekers hebben er niet aan gedacht nog meer post-hoc analyses uit te voeren om de juistheid van hun selectie te bevestigen. Dit terwijl de benodigde gegevens daarvoor voorhanden waren. Dan bestond echter wel het risico dat het gevonden resultaat zou worden ontkracht. Post-hoc analyses hebben een slechte naam opgebouwd en hebben inmiddels het stempel van data dredging gekregen. De Amerikaanse Food and Drug Administration accepteert deze analyses niet in (farmaceutische) trials.
Onderzoekers die zich schuldig maken aan kans kapitalisatie, moeten straf krijgen. Immers, hoe meer testen hoe groter de kans dat er ergens een significant verschil uitrolt. Denk maar aan het gooien van een dobbelsteen. De kans dat er een 6 zit bij een van de tien worpen is aanzienlijk groter dan bij één worp.
De onderzoekers hanteerden een p-waarde van 0,05 als grens voor significantie. Bij meerdere toetsen moet de grens strenger zijn en in zon geval kan de zogenaamde Bonferroni correctie worden toegepast. Deze test stelt dat de p-waarde moet worden gedeeld door het aantal toetsen. Dus bij twee toetsen is de significantiegrens 0,05/2 = 0,025, bij drie 0,05/3 = 0,016 etcetera. Het is echter onduidelijk hoeveel post-hoc toetsen er zijn uitgevoerd. De laagste gevonden significante p-waarde was 0,011. Dus bij 5 extra toetsen zou het geconstateerde post-hoc effect, na Bonferroni-correctie, verdwijnen als sneeuw voor de zon.
Publicatie
Een niet gepubliceerd onderzoek bestaat niet. Bij de publicatie moesten de onderzoekers opbiechten dat zij het nodige geld hadden ontvangen van de California Walnut Commission. In het protocol staat alleen de Loma Linda University als sponsor vermeld.
De onderzoekers sprongen mogelijk een gat in de lucht toen het toonaangevend voedingstijdschrift American Journal of Clinical Nutrition hun onderzoek accepteerde voor publicatie. Van de 124 voedingstijdschriften staat dit tijdschrift met een impactfactor van 6,66 in 2018 op de tweede plaats. Wanneer kritische ingezonden brieven uitblijven, kunnen de onderzoekers denken: Eind goed al goed. Maar zij waren ambitieuzer.
Persbericht
Om zeker te zijn dat het artikel de aandacht van een breed publiek zou trekken, moest eerst nog een ronkend persbericht het levenslicht zien. Daarbij vervallen noodgedwongen wat details. In het korte persbericht is echter wel plaats voor een wapenfeit uit 1993 van de onderzoeksgroep van de Loma Linda University, die toen als eerste had ontdekt dat noten, speciaal walnoten, het cholesterolgehalte in bloed verlagen. Daarna heeft dezelfde onderzoeksgroep de consumptie van noten in verband gebracht met een lager risico op hart- en vaatziekten.
De eerlijkheid gebied te vertellen dat het persbericht vermeldt dat het onderzoek mogelijk is gemaakt door een financiële injectie van de California Walnut Commission. Deze organisatie vertegenwoordigt bijna honderd handelaren en zon 4.800 telers van walnoten. Die zullen ongetwijfeld blij zijn met de resultaten, maar het effect op de cognitieve achteruitgang bij ouderen is een hardere noot om te kraken.
Een mening over dit artikel? Reageer op onze Twitter, Facebook, Instagram of LinkedIn. Een opinieartikel is ook van harte welkom. Mail dan even met de redactie (redactie@vork.org). Geïnteresseerd in de andere artikelen van VORK? Word abonnee, vraag een gratis proefnummer aan en schrijf je in voor de tweewekelijkse Vork-nieuwsbrief. Student? Wellicht is het speciale studentenabonnement dan iets voor jou.
Tekst: Michiel Löwik Beeld: Pixabay