‘We moeten een gezondere relatie met falen krijgen’

Medische tijdschriften publiceren het liefst positieve resultaten en hebben een laag acceptatiepercentage. In combinatie met de publicatieplicht voor onderzoekers leidt dit tot publicatiebias. Dat moet anders, vindt wetenschapsfilosoof en promovendus aan het Institute for Science and Society Stefan Gaillard. Hij richtte met medestudenten het Journal of Trial & Error op: een onafhankelijk tijdschrift voor alle vakgebieden dat ‘mislukking herdefinieert en anders denkt over wetenschappelijk succes’. Hiervoor kregen deze enthousiaste jonge onderzoekers een vermelding in de Forbes 30 under 30 list for Science and Healthcare.

Het tijdschrift Journal of Trial and Error: hoe zijn jullie hierop gekomen?

‘Tijdens mijn studie bezocht ik samen met een aantal medestudenten een lezing over open access publiceren. Door artikelen open access te publiceren, zou het algemene publiek een beter inzicht krijgen in hoe de wetenschap werkt – dat was de boodschap van deze lezing. Maar toen we de lezing nabespraken kwamen we er al snel achter dat wij het daar niet mee eens zijn: met open acces publiceren geef je niet per se een accuraat beeld van de wetenschap. Juist omdat er zoveel artikelen ook niet gepubliceerd worden, met name het gefaalde onderzoek. Daarom besloten we een tijdschrift op te richten dat juist die artikelen publiceert.’

Wanneer is onderzoek dan gefaald?

‘Er zijn veel vormen van “falen”. Het kan gaan om negatieve resultaten, maar ook om methodologisch falen, bijvoorbeeld studies die underpowered zijn of een niet-passend studiedesign. Met negatieve resultaten bedoel ik een resultaat waar de nulhypothese niet verworpen wordt, dus wanneer er bij interventietrials geen verschil is tussen medicijn A en medicijn B. Een positief resultaat is dan resultaat waarbij medicijn A wel significant beter werkt. De woorden “negatief” en “positief” hebben een normatieve lading, dat is onhandig – want ik vind “negatieve resultaten” niet per se slecht.’

Hoe zit dat in de academische wereld?

‘In de academische wereld ligt dat anders. Heel veel wetenschappers die ik spreek, zien nulresultaten of negatieve resultaten als falen. Het is ook een vorm van kennis opdoen om erachter te komen dat medicijn A kanker niet geneest, maar toch ontdek je liever een medicijn dat kanker wel geneest. Daarnaast heb je ook wetenschappers die een nieuwe methode uitproberen in het lab, maar waarvan halverwege blijkt dat het niet werkt. Deze twee vormen van “gefaald onderzoek” worden te weinig gepubliceerd.’

En dat bieden jullie dus een podium in het tijdschrift.

‘Ja, omdat we denken dat we van verschillende vormen van falen veel kunnen leren. Het publiceren van methodes van experimenten die niet blijken te werken voorkomt dubbel werk en daarmee geld, moeite en energie. Het publiceren van nulresultaten of negatieve resultaten beperkt de positieve publicatiebias.’

Kun je kort uitleggen wat positieve publicatiebias is?

‘Publicatiebias is een vorm van vertekening die ontstaat doordat we alleen de artikelen kunnen lezen die ook daadwerkelijk gepubliceerd worden. Als je naar de academische literatuur kijkt als bron van al het wetenschappelijke onderzoek, krijg je geen volledig beeld. Dit geldt bijvoorbeeld voor systematische reviews. Het is bekend dat tijdschriften veelal selecteren op onderzoek dat een positief resultaat heeft: een medicijn dat werkt met een significante p-waarde. Het is eigenlijk een vorm van selectiebias: de redactie van tijdschriften selecteert de artikelen die wel en niet gepubliceerd worden.’

Spelen registratiesystemen zoals ClinicalTrials.gov hier geen rol in?

‘Idealiter zou je inderdaad met zulke registratiesystemen kunnen bijhouden welke studies al uitgevoerd zijn en wat daar de resultaten van waren, om dubbel onderzoek te voorkomen. Onderzoek laat zien dat helaas maar van een klein deel van de studies die zich registreren de resultaten ook daadwerkelijk wordt gepubliceerd.’

Speelt publicatiebias ook een rol in andere soorten onderzoek?

‘Zeker, ook omdat hiervoor ook geldt dat er naar positieve en negatieve resultaten wordt gekeken. Publicatiebias speelt ook een rol in biomarkeronderzoek, maar of die rol even groot is als bij interventietrials is moeilijk te onderzoeken.’

Heeft niet-repliceerbaarheid of de replicatiecrisis hier ook mee te maken?

‘Ja, dit is deels ook een probleem vanwege positieve publicatiebias. Stel je doet een studie 20 keer en 19 keer krijg je nul – of negatieve resultaten, en 1 keer positieve resultaten – en alleen het positieve resultaat wordt gepubliceerd, dan is het niet raar dat studies niet repliceerbaar zijn.’

Welke gevolgen heeft dat voor de zorg?

‘De meeste richtlijnen worden gebaseerd op systematische reviews en meta-analyses. En die meta-analyses kunnen alleen verricht worden op basis van de artikelen die gepubliceerd zijn. Als de negatieve resultaten niet gepubliceerd worden, kunnen deze dus ook niet meegenomen worden in zo’n analyse.’

Ligt de verantwoordelijkheid voor publicatiebias dan alleen bij tijdschriften?

‘Nee, dat denk ik niet. De publicatieplicht waar onderzoekers aan moeten voldoen draagt daar ook aan bij. Als je tijdens je promotietraject minstens 3 of 4 artikelen moet publiceren, snap ik wel dat je eerder een artikel instuurt waarvan je de kans groter acht dat het wordt geaccepteerd. Je kunt je tijd immers maar één keer besteden. Dit geldt ook voor senior onderzoekers, waarbij soms zelfs zwart op wit staat hoeveel ze jaarlijks moeten publiceren. Ik vind dat een slechte manier om productiviteit te meten, omdat mensen dan bijvoorbeeld drie experimenten die eigenlijk aan elkaar gerelateerd zijn opsplitsen in drie publicaties, terwijl het veel inzichtelijker zou zijn om ze samen in één artikel te publiceren. Niemand zou daarvan objectief zeggen: “De onderzoeker die drie losse artikelen heeft gepubliceerd is productiever”.’

Dus dat moet anders.

‘Ik denk dat we gezamenlijk als wetenschappers, financiers, farma en tijdschriften een ander pad in moeten slaan. Er zijn ook enquêtes geweest onder wetenschappers die lieten zien dat het overgrote deel het belangrijk vindt dat negatieve resultaten ook worden gepubliceerd. Maar alsnog bestaat er de perceptie dat negatieve resultaten minder snel gepubliceerd worden. We moeten samen kijken of we het systeem anders kunnen inrichten om ervoor te zorgen dat er minder barrières en negatieve prikkels zijn om dergelijke resultaten te publiceren. Want als onderzoekers alleen maar onderzoek met positieve resultaten aanbieden aan tijdschriften, en het bij negatieve resultaten niet eens proberen in te dienen, dan verandert er niets en blijven we in deze vicieuze cirkel.’

Hoe spelen open access tijdschriften hier een rol in?

‘Er is een belangrijk onderscheid te maken in twee soorten open access tijdschriften. Sommige open access tijdschriften hebben een soort perverse prikkel om zoveel mogelijk te publiceren: waarbij je geld kunt vragen voor elk artikel dat je publiceert, dus dan is meer artikelen publiceren meer geld. Dat vind ik een zorgelijke ontwikkeling. Maar aan de andere kant zijn er ook open access tijdschriften waarbij je kosteloos kunt publiceren: die helpen in het wegnemen van de drempel voor het publiceren van onderzoek met negatieve of nulresultaten. Dat is belangrijk, omdat er al andere drempels zijn, zoals angst voor reputatiebeschadiging.’

Reputatiebeschadiging?

‘Ik hoor heel veel mensen zeggen dat ze bang zijn dat het slecht staat om negatieve resultaten te publiceren, bijvoorbeeld jonge onderzoekers die denken daardoor geen baan als postdoc te kunnen vinden of senior wetenschappers die bang zijn dat het slecht staat voor hun vakgroep als ze zulke resultaten publiceren. Er is een soort paradox: er hangt een stigma op het publiceren van negatieve resultaten, wat onderzoekers niet willen dragen, maar ze vinden wel dat negatieve resultaten gepubliceerd moeten worden. En de wetenschappers die in de enquête invullen dat ze het belangrijk vinden dat negatieve resultaten gepubliceerd worden, zijn dezelfde wetenschappers die – misschien onbewust – toch strenger zijn bij het peer reviewen op onderzoek dat een negatief resultaat heeft.’

Op sommige universiteiten kun je binnenkort ook promoveren zonder publicaties, is dat de oplossing?

‘Daar twijfel ik over. Ik zou geen systeem willen waarbij er weinig objectieve standaarden zijn. Heel veel mensen willen van de productiviteitsstandaarden af, maar daar ben ik het niet mee eens: ik vind dat je wetenschappers gewoon moet toetsen op hoe productief ze zijn. Er zijn bewegingen binnen academia waar ik sceptisch tegenover sta, bijvoorbeeld het afschaffen van cum laude.’

Waarom ben je niet voor het afschaffen van cum laude?

‘Ik vind dat er ruimte moet zijn voor studenten om te excelleren. Het argument is dan vaak dat studenten op meerdere vlakken kunnen excelleren dan alleen op basis van hun cijfers – daar ben ik het zeker mee eens. Maar ik zou dan zeggen: vind verschillende manieren om te erkennen dat een student heeft geëxcelleerd in een bepaald vakgebied in plaats van dat je de indicatie wegneemt dat de student heeft geëxcelleerd. Een argument is dat de regeling studenten te veel druk oplegt, maar ik vind niet dat dat niet moet opwegen tegen de mogelijkheid om te excelleren.’

Maar een productieprikkel houdt publicatiebias in stand. Dus wat is dan de oplossing?

‘Ik vind niet dat we af moeten van productiviteitsstandaarden, maar die productiviteit zou wel op een andere manier gemeten kunnen worden dan door alleen te kijken naar het aantal gepubliceerde artikelen. Bijvoorbeeld middels een portfolio dat een kwalitatieve en echt inhoudelijke beoordeling krijgt, waarin je als promovendus aantoont welk onderwijs je hebt gegeven, de cursussen die je hebt gevolgd en de gepubliceerde artikelen waaraan je hebt gewerkt.’

Eerder deed je onderzoek naar ‘fake nieuws’, wat hield dat precies in?

‘Ik heb een lezing gegeven over het verschil tussen wetenschap, pseudowetenschap en kwakzalverij. De laatste tijd komen in de medische wereld ook steeds vaker de termen mis- en desinformatie voor. Deze termen worden vaak door elkaar heen gebruikt – terwijl het wel echt andere dingen zijn. Misinformatie is foutieve informatie die niet met een vooropgesteld doel verspreid wordt. Zo kan het zijn dat ik iets fout heb gelezen en dat aan jou vertel, wat jij dan ook weer doorvertelt. Bij desinformatie gaat het om het opzettelijk verspreiden van foutieve informatie. Hoewel desinformatie iets is van alle tijden, zijn social media een versterkende factor om het gemakkelijker te verspreiden.’

Dragen wetenschappers hier zelf ook aan bij?

‘Ik denk dat wetenschappers in sommige grijze gevallen ook zelf bijdragen aan mis- en desinformatie, en daarbij ook aan het wantrouwen in de wetenschap. Wetenschappers dragen hier bijvoorbeeld aan bij door irrationeel mee te gaan in hypes – daar doe ik zelf onderzoek naar.’

Wat is een ‘hype’?

‘Overhype is disproportionele aandacht voor een bepaald onderwerp waarbij er overdreven positieve verwachtingen zijn. Een voorbeeld daarvan vind ik kunstmatige intelligentie, daar is naar mijn mening disproportioneel veel aandacht voor. Bijna elke conferentie besteedt er aandacht aan, en ook bij financieringsstromen zie je dat aanvragen met AI gelijk interessanter worden gevonden. Heel veel claims om AI heen zijn de afgelopen jaren niet waargemaakt. Dat is ook een soort misinformatie, ook omdat er zoveel aandacht voor is. Dus ik vind dat een manier waarop wetenschappers soms bijdragen aan misinformatie: het hebben van een overdreven positieve kijk op wat er in de nabije toekomst gaat gebeuren rond bepaalde technologieën. Al sinds de jaren ‘60 heb je “AI summers” en “AI winters”: eerst heel veel overhype en overpromising, en daarna beginnen journalisten en financiers te vragen hoe het zit met die beloften die niet waar worden gemaakt.’

Wat bedoel je met ‘overpromising’?

‘Daarbij gaat het om wetenschappers die onrealistische beloften maken over hun onderzoek en de toepassingen daarvan in de toekomst. Dit zou je kunnen zien als een vorm van misinformatie en in sommige gevallen zelfs desinformatie. Wanneer je bijvoorbeeld in een subsidieaanvraag een grote belofte doet, terwijl dit niet haalbaar is met de gegeven hoeveelheid geld of tijd. Het is logisch dat je als wetenschapper probeert in te schatten wat de waarde is van je onderzoek, maar je moet je beloften wel waar kunnen maken.’

Hebben jullie je belofte met Trial and Error waargemaakt?

‘We hadden eigenlijk twee doelen met het opzetten van het tijdschrift. Het eerste was heel idealistisch en misschien wat naïef: om het beeld van de wetenschap bij te stellen. Dus eigenlijk om iets waar alles goed gaat en waarin we alleen naar positieve resultaten kijken, te veranderen naar een meer trial-and-errorproces. Ons tweede doel was om ervoor te zorgen dat er minder vaak dubbel onderzoek wordt gedaan, zodat promovendi geen tijd besteden aan een onderzoek waarvan we eigenlijk al hadden kunnen weten dat het niet werkt – als het onderzoek gepubliceerd was geweest. Dat laatste hebben we al enigszins bereikt. We zien dat we hieraan bijdragen omdat ons tijdschrift goed gelezen en geciteerd wordt, met 16.000 unieke bezoekers in 2023. Dus dat zorgt er hopelijk voor dat potentieel dubbel onderzoek niet gedaan wordt en daarmee geld wordt bespaard. Voor het eerste doel is meer nodig dan alleen ons tijdschrift, en daar denk ik ook veel over na.’

Dus er zijn nog nieuwe plannen.

‘Ja, zeker. We hebben contact met het Instituut voor Briljante Mislukkingen en ZonMw, die samen het programma Brilliant Failures hebben opgezet. ZonMw heeft ook een programma waarin mensen die dierproefonderzoek hebben gedaan geld kunnen krijgen om negatieve resultaten te kunnen publiceren. We proberen ook andere dingen om een bredere cultuurverandering teweeg te brengen. Zo heeft het Instituut voor Briljante Mislukkingen een Zorg Award, wij hebben deze ook voor de hele academische wereld opgezet: de Trial and Error award. We moeten een gezondere relatie met falen krijgen. In de techwereld in de Verenigde Staten wordt falen veel meer gezien als iets dat erbij hoort en waar je van leert. In Europa en binnen academia is het een soort smet. Ook werken we momenteel aan een speciaal issue “Scientific failure and uncertainty in the health domain” samen met De Nieuwe Utrechtse School.’