Het gevaar van ongepubliceerde onderzoeksresultaten

Stand van zaken
29-04-2014
Daniël A. Korevaar en Lotty Hooft
  • Ongepubliceerde en selectief gepubliceerde onderzoeksresultaten kunnen leiden tot een vertekening van de effectiviteit en het bijwerkingenprofiel van interventies. Dit brengt de patiëntveiligheid in gevaar en zorgt voor onnodige kosten.

  • Over 25-50% van de klinische trials verschijnt geen publicatie.

  • In het onderzoeksprotocol geregistreerde primaire uitkomstmaten verschillen vaak van die in de uiteindelijke publicatie.

  • Positieve onderzoeksresultaten hebben bijna 3 keer zoveel kans op publicatie als negatieve resultaten.

  • Het hebben van een commerciële sponsor is sterk gerelateerd aan het publiceren van resultaten die de belangen van die sponsor behartigen, maar ook veel niet-commercieel gefinancierde trials worden niet of selectief gepubliceerd.

  • Bestaande oplossingen, zoals de verplichting tot prospectieve registratie van studieprotocollen en het verplicht publiceren van onderzoeksresultaten binnen 1 jaar na het voltooien van de studie, zullen alleen succesvol worden als men strenger gaat toegezien op de naleving hiervan.

In de rubriek Stand van zaken verschijnen regelmatig bijdragen over methoden die gebruikt worden bij het opzetten van wetenschappelijk onderzoek. De artikelen in deze serie illustreren op begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe methodologische principes worden zo inzichtelijk gemaakt voor artsen die klinische onderzoeken goed willen interpreteren.

Begin jaren 90 kwam de ‘evidence based medicine’-beweging op gang. Nu, slechts 2 decennia later, is het begrip niet meer weg te denken uit de Westerse geneeskunde. Van clinici wordt verwacht dat zij bij het behandelen van de patiënt gebruik maken van het best beschikbare bewijs, doorgaans verkregen uit wetenschappelijk onderzoek. De literatuur waarop men zich in de alledaagse klinische praktijk baseert kan echter een vertekend beeld geven wanneer slechts een selectie van alle onderzoeksresultaten gepubliceerd wordt. Selectieve publicatie brengt de patiëntveiligheid in gevaar en zorgt voor onnodige kosten als gevolg van duplicatie van onderzoek en het mogelijk toepassen van ineffectieve interventies. Dit is zorgelijk, zeker in tijden van grote bezuinigingen in de gezondheidszorg. In dit overzichtsartikel bespreken we de omvang, de oorzaken en mogelijke oplossingen van deze problemen.

Affaires met farmaceutische industrie

De afgelopen jaren hebben de media veel aandacht besteed aan enkele affaires waarbij farmaceutische bedrijven onderzoeksresultaten bleken achter te houden. In 2002 werd ‘recombinant human bone morphogenic protein’(rhBMP)-2, een osteo-inductief eiwit dat na implantatie de botgroei stimuleert, in de Verenigde Staten door de Food and Drug Administration (FDA) goedgekeurd voor gebruik bij anterieure lumbale spondylodese bij patiënten met degeneratieve discopathie. Mede als gevolg van een succesvolle marketingcampagne van Medtronic, de producent van rhBMP-2, steeg de populariteit van het middel snel. Dat gold voornamelijk voor offlabelgebruik zoals bij fusieprocedures op cervicaal en thoracaal niveau. In 2002 werden BMP’s in de VS bij minder dan 1% van alle wervelfusies gebruikt, binnen 4 jaar steeg dit naar 25%;1 in 2007 werd rhBMP-2 bij meer dan 50% van de primaire anterieure lumbale spondylodeses gebruikt.

De marketingcampagne refereerde vooral aan de gunstige resultaten van een 10-tal door de farmaceut gefinancierde onderzoeken naar de effectiviteit en veiligheid van rhBMP-2 bij een breed scala aan spinale fusietechnieken. De publicaties hiervan suggereerden klinische voordelen en nauwelijks bijwerkingen in vergelijking met de gangbare behandeling met een autogeen bottransplantaat van de crista iliaca, waarbij veel morbiditeit optreedt.2 Vanaf 2006 werd rhBMP-2 onderzocht in verschillende niet-commerciële klinische trials, ook voor offlabelindicaties.3 Die studies vonden opvallend meer bijwerkingen dan de commerciële onderzoeken, oplopend tot 70% in sommige studies.2

Toen de controverse rondom de veiligheid van het middel toenam, ontstond een wetenschappelijk unieke situatie: Medtronic besloot om individuele patiëntdata uit 17 commerciële trials naar de werkzaamheid van rhBMP-2 bij spinale fusie te leveren aan het ‘Yale University open data’-project. Hiermee werden deze gegevens openbaar voor een aantal onafhankelijke onderzoekers, die de onderzoeksdata vergeleken met de corresponderende publicaties. Zowel voor on- als voor offlabelindicaties bleken complicaties ondergerapporteerd te zijn: slechts 23% (533 van de 2302) van het totale aantal in de commerciële trials opgetreden bijwerkingen was gepubliceerd.3

Deze casus is geen opzichzelfstaand incident; wellicht betreft het slechts het topje van de ijsberg. In 2010 verscheen bijvoorbeeld een systematische review naar de werkzaamheid van reboxetine in de behandeling van depressies, waarin de auteurs ongepubliceerde data konden includeren van door de producent (Pfizer) gesponsorde trials.4 Van de 7 studies die de effectiviteit van reboxetine met placebo vergeleken, bleek slechts 1 onderzoek een significant resultaat in het voordeel van reboxetine te tonen. Deze studie was gepubliceerd; de 6 andere waren dat niet. Toevoeging van de ongepubliceerde onderzoeksresultaten aan de meta-analyse toonde aan dat reboxetine niet beter presteerde dan placebo wat betreft respons en remissie van ernstige depressies. 8 andere trials vergeleken reboxetine met een SSRI; van 3 daarvan waren de onderzoeksresultaten gepubliceerd. Pooling van de resultaten van deze 3 gepubliceerde studies toonde dat reboxetine niet inferieur was ten opzichte van SSRI’s, wat betreft remissie en respons. Wanneer echter de onderzoeksresultaten van de 5 ongepubliceerde studies hieraan werden toegevoegd, bleek dat wel het geval.

Omvang van het probleem

Ongepubliceerde onderzoeken

Het niet publiceren van medisch onderzoek komt op grote schaal voor. Op basis van enkele 10-tallen studies naar publicatiekansen van onderzoeksprotocollen, wordt geschat dat 25-50% van alle klinische trials niet gepubliceerd wordt.5 Dit beperkt zich niet tot door de industrie gesponsord onderzoek, zo blijkt uit een serie van 635 studies die waren gefinancierd door de US National Institutes of Health, het instituut van de Amerikaanse overheid dat primair verantwoordelijk is voor biomedisch onderzoek. Ook van deze in ClinicalTrials.gov geregistreerde studies was 30 maanden na voltooiing van het onderzoek slechts 46% gepubliceerd.5

Het uitblijven van een publicatie is zorgwekkend als de kans op het publiceren van onderzoeksresultaten niet willekeurig is. Een systematische review van studies die publicatiekansen van klinische trials nagingen, toonde dat ‘positieve’, dat wil zeggen gunstige of significante, onderzoeksresultaten een bijna 3 keer zo grote kans hebben om gepubliceerd te worden als ‘niet-positieve’ resultaten.6 Dit kan leiden tot overschatting van de effectiviteit van interventies.

Een onderzoek uit 2008 maakte bijvoorbeeld duidelijk hoe selectieve publicatie van onderzoeksresultaten een positief vertekend beeld gaf van de effectiviteit van antidepressiva.7 Om een nieuw geneesmiddel in de VS geregistreerd te krijgen, moeten producenten in de aanvraag de data verwerken van alle trials omtrent de effectiviteit en veiligheid van het middel. Op basis daarvan maakt de FDA van iedere trial een dossier en oordeelt zij of de resultaten ervan in het voor- of in het nadeel zijn van de onderzochte interventie. De auteurs van de studie uit 2008 identificeerden FDA-dossiers van in totaal 74 fase-2- en -3-trials die waren verwerkt in de aanvraag van 12 antidepressiva die tussen 1987 en 2004 door de FDA goedgekeurd waren. Hiervan werden 38 onderzoeken door de FDA als ‘positief’ bestempeld, en 36 als ‘twijfelachtig’ of ‘negatief’. Vervolgens doorzochten de auteurs de medische literatuur naar de bijbehorende publicaties. Op 1 na waren alle ‘positieve’ trials gepubliceerd. Van de onderzoeken met niet-positieve resultaten bleken er 22 niet gepubliceerd te zijn, en presenteerden de auteurs van 11 van de 14 gepubliceerde onderzoeken hun resultaten stelliger en positiever dan het oordeel van de FDA. De beschikbare literatuur wekte de suggestie dat in 94% van de trials positieve resultaten waren gevonden, terwijl de FDA-analyse aantoonde dat dit slechts voor 51% het geval was. Van 27% van de 12.564 patiënten die in totaal geïncludeerd werden in de trials, werden de data niet gepubliceerd. Dit brengt ethische bezwaren met zich mee, aangezien de kennis die is opgedaan met het onderzoek waaraan deze patiënten hebben deelgenomen niet openbaar is gemaakt.

Selectieve rapportage

Het uitblijven van publicaties is echter niet het enige probleem. Bij de wel gepubliceerde onderzoeken is namelijk vaak sprake van selectieve rapportage van de resultaten.8 Dit fenomeen werd onderzocht bij RCT’s waarvan de protocollen waren goedgekeurd door ethische commissies in Canada9 en Denemarken.10 In de Canadese studie ging het om door de overheid gefinancierde trials; het cohort van de Deense studie bestond grotendeels uit door de farmaceutische industrie gefinancierde trials. De primaire uitkomstmaten volgens de protocollen verschilden bij respectievelijk 40% (19 van de 48) en 62% (51 van de 82) van de trials met de primaire uitkomstmaten vermeld in de uiteindelijke publicatie. Statistisch significante uitkomsten hadden een hogere kans op volledige publicatie dan niet-significante resultaten.

Een andere studie vergeleek de primaire uitkomstmaten van RCT’s die gepubliceerd waren in enkele bladen met hoge impactfactors (mediaan 10,2), met de primaire uitkomstmaten volgens de bijbehorende geregistreerde protocollen. Bij 31% van de RCT’s (46 van de 147) was sprake van discrepanties.11 Zo werd bij 10% een vooraf gedefinieerde primaire uitkomstmaat geheel niet gerapporteerd, en werd er bij 15% een nieuwe primaire uitkomstmaat geïntroduceerd. Het merendeel van deze wijzigingen leidde tot statistisch significante resultaten. Met eenzelfde methode onderzochten Nederlandse onderzoekers selectieve publicatie bij RCT’s van chirurgische interventies gepubliceerd in de algemene en chirurgische bladen met de hoogste impactfactors (mediaan 7,5). Hierbij vonden zij discrepanties in de primaire uitkomstmaten bij 49% (75 van de 152) van de RCT’s.12

Het probleem van het niet of selectief publiceren blijft niet beperkt tot RCT’s, maar lijkt op minstens even grote schaal voor te komen bij andere studiedesigns zoals observationeel onderzoek,6 en binnen andere takken van onderzoek, zoals dat naar diagnostische en prognostische tests en markers,13,14 en preklinisch dieronderzoek.15

Belanghebbenden en verantwoordelijkheden

De farmaceutische industrie wordt vaak als verantwoordelijke aangewezen als het gaat om het selectief achterhouden van onderzoeksresultaten. Negatieve resultaten kunnen de commerciële belangen van een bedrijf schaden. Het is dan ook niet verrassend dat verschillende studies hebben aangetoond dat sponsoring door een farmaceutisch bedrijf sterk gerelateerd is aan publicatie van gunstige resultaten die de belangen van het bedrijf behartigen.16

Ook academische onderzoekers zijn echter geneigd om positieve of significante resultaten eerder te melden dan tegenvallende resultaten. Een probleem is dat het opschrijven van negatieve resultaten in het huidige wetenschappelijke waarderingssysteem vaak weinig aantrekkelijk lijkt voor onderzoekers. Positieve resultaten zouden vaker geciteerd worden en meer media-aandacht genereren. De carrière van academici wordt in toenemende mate bepaald door het aantal publicaties in internationaal toonaangevende wetenschappelijke tijdschriften en de citaties naar deze artikelen. Een veelgebruikte maat is bijvoorbeeld de Hirsch-index, die direct afhankelijk is van het aantal keer dat het werk van een onderzoeker geciteerd wordt.

Een ander veelgehoord argument van onderzoekers om hun niet-significante resultaten niet op te schrijven is dat tijdschriften hier niet in geïnteresseerd zouden zijn omdat deze artikelen weinig geciteerd zouden worden. De reputatie van een medisch tijdschrift is grotendeels afhankelijk van de impactfactor, die direct afhangt van het aantal keer dat andere tijdschriften naar zijn publicaties verwijzen. Een meta-analyse van 4 studies naar de publicatiekansen van manuscripten die waren ingediend bij enkele toonaangevende medische tijdschriften, vond echter geen verband met het al dan niet hebben van significante resultaten.6

Mogelijke oplossingen

Het bewustzijn van de wetenschappelijke gemeenschap omtrent het probleem van ongepubliceerde onderzoeksresultaten is de afgelopen jaren sterk toegenomen. De grote medische tijdschriften nemen daarin hun verantwoordelijkheid. Zo publiceerde Lancet begin 2014 een serie artikelen met het onderwerp ‘Research: increasing value, reducing waste’,17 waarin onder andere de omvang van het probleem uiteengezet wordt.18 Ook de ‘AllTrials’-campagne, die in 2013 werd gelanceerd (www.alltrials.net), heeft veel media-aandacht gekregen.19 Deze campagne is een initiatief van onder andere de Cochrane Collaboration en BMJ en propageert het registreren van alle klinische trials en het openbaar maken van de resultaten.

Verplichte registratie en publicatie

Toch blijkt het vinden van oplossingen vooralsnog lastig. In 2005 zette de International Committee of Medical Journal Editors(ICMJE) een belangrijke stap. Er werd besloten om klinisch interventieonderzoek met gezondheidsgerelateerde uitkomsten enkel nog voor publicatie te overwegen als het protocol vóór aanvang van de studie was geregistreerd in een publiekelijk toegankelijk trialregister, zoals het Nederlands Trial Register.20 Dit biedt onder andere de mogelijkheid om ongepubliceerd werk te identificeren en de in het protocol gedefinieerde uitkomstmaten te vergelijken met die gerapporteerd in de uiteindelijke publicatie. Hoewel het aantal geregistreerde onderzoeken nadien explosief is gegroeid werkt het inzichtelijk maken van selectieve publicatie via registratie nog verre van optimaal. Dit lijkt vooral te maken te hebben met een trage implementatie van het registratiebeleid bij veel tijdschriften. Een recente studie doorzocht de instructies voor auteurs van 200 willekeurig gekozen medische tijdschriften en vond dat slechts 28% daarin een verplichting tot trialregistratie vermelde.21 Tijdschriften die registratie wel verplicht stellen publiceren regelmatig incompleet, retrospectief, of niet-geregistreerd werk.11,22 Om de voordelen van trialregistratie optimaal te kunnen benutten is het essentieel dat tijdschriften hier massaal aan meewerken en het vergelijken van originele protocollen met ingediende manuscripten als vast onderdeel van hun redactieproces gaan beschouwen.

Een tweede belangrijke stap werd in 2008 genomen door de FDA. Zij besloot dat de resultaten van alle trials omtrent de werkzaamheid van door de FDA goedgekeurde interventies voortaan binnen 1 jaar na voltooiing van de studie openbaar gemaakt moeten worden op ClinicalTrials.gov.23 Ook de European Medicines Agency(EMA), de Europese tegenhanger van de FDA, werkt op dit moment aan een beleidsaanpassing die ervoor moet zorgen dat onderzoeksgegevens van medicatietrials openbaar gemaakt worden. Ook deze maatregelen hebben vooralsnog niet het gewenste effect. De resultaten van minder dan een kwart van de trials die aan de verplichte rapportageregels van de FDA voldoen blijken na 1 jaar beschikbaar via ClinicalTrials.gov.24

Systeemwijzigingen

Alleen verplichtingen opleggen is wellicht niet afdoende om het probleem op te lossen. Ook een vergrote intrinsieke motivatie van onderzoekers om negatieve resultaten op te schrijven is nodig. Om dat te bewerkstelligen zal wellicht minder nadruk moeten liggen op de impact van een studie, maar meer op de kwaliteit ervan. Een bijpassende oplossing is een getrapt traject voor het indienen van manuscripten (‘two-step manuscript submission process’), waarbij tijdschriften in eerste instantie alleen de introductie, doelstellingen en methode van een artikel onder ogen krijgen.25 De kans op publicatie hangt dan volledig af van de relevantie van het onderwerp en de kwaliteit van de toegepaste methodiek. Ook een systeem waarin onderzoekers meer gewaardeerd worden op de kwaliteit van hun werk en de maatschappelijke impact ervan is wellicht behulpzaam. Science in Transition, een beweging van onderzoekers die zich zorgen maakt over het huidige wetenschappelijke systeem, stimuleert dit in Nederland.

Conclusie

Veel onderzoeksresultaten worden niet of selectief gepubliceerd. Vooral negatieve of tegenvallende resultaten hebben een kleinere kans op publicatie. Hoewel er enkele spraakmakende zaken zijn geweest van farmaceutische bedrijven die studieresultaten achterhielden, lijkt het probleem van vergelijkbare omvang bij onderzoek met niet-commerciële financiers. Dit leidt tot vertekening van de in de literatuur beschikbare informatie. Om de geneeskunde optimaal evidencebased te kunnen bedrijven is het cruciaal dat alle onderzoeksresultaten beschikbaar zijn. Het invoeren van nieuwe oplossingen en het verder uitwerken van bestaande oplossingen is daarom van belang. Als lezer van wetenschappelijke publicaties is het raadzaam om een gezonde kritische houding aan te nemen ten aanzien van optimistische claims over de werkzaamheid van klinische toepassingen.

Leerpunten

  • Over 25-50% van de klinische trials verschijnt geen publicatie.

  • Positieve resultaten hebben bijna 3 keer zoveel kans op publicatie als negatieve resultaten.

  • Prospectieve registratie en verplichte publicatie van resultaten zijn de belangrijkste oplossingen die tot dusver zijn ingevoerd.


Literatuur

  1. Cahill KS, Chi JH, Day A, Claus EB. Prevalence, complications, and hospital charges associated with use of bone-morphogenetic proteins in spinal fusion procedures. JAMA. 2009;302:58-66 Medline. doi:10.1001/jama.2009.956

  2. Carragee EJ, Hurwitz EL, Weiner BK. A critical review of recombinant human bone morphogenetic protein-2 trials in spinal surgery: emerging safety concerns and lessons learned. Spine J. 2011;11:471-91 Medline. doi:10.1016/j.spinee.2011.04.023

  3. Rodgers MA, Brown JV, Heirs MK, et al. Reporting of industry funded study outcome data: comparison of confidential and published data on the safety and effectiveness of rhBMP-2 for spinal fusion. BMJ. 2013;346:f3981 Medline. doi:10.1136/bmj.f3981

  4. Eyding D, Lelgemann M, Grouven U, et al. Reboxetine for acute treatment of major depression: systematic review and meta-analysis of published and unpublished placebo and selective serotonin reuptake inhibitor controlled trials. BMJ. 2010;341:c4737 Medline. doi:10.1136/bmj.c4737

  5. Ross JS, Tse T, Zarin DA, Xu H, Zhou L, Krumholz HM. Publication of NIH funded trials registered in ClinicalTrials.gov: cross sectional analysis. BMJ. 2012;344:d7292 Medline. doi:10.1136/bmj.d7292

  6. Song F, Parekh-Bhurke S, Hooper L, et al. Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Med Res Methodol. 2009;9:79 Medline. doi:10.1186/1471-2288-9-79

  7. Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008;358:252-60 Medline. doi:10.1056/NEJMsa065779

  8. Dwan K, Gamble C, Williamson PR, Kirkham JJ. Systematic review of the empirical evidence of study publication bias and outcome reporting bias - an updated review. PLoS ONE. 2013;8:e66844 Medline. doi:10.1371/journal.pone.0066844

  9. Chan AW, Krleza-Jeric K, Schmid I, Altman DG. Outcome reporting bias in randomized trials funded by the Canadian Institutes of Health Research. CMAJ. 2004;171:735-40 Medline. doi:10.1503/cmaj.1041086

  10. Chan AW, Hrobjartsson A, Haahr MT, Gotzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA. 2004;291:2457-65 Medline. doi:10.1001/jama.291.20.2457

  11. Mathieu S, Boutron I, Moher D, Altman DG, Ravaud P. Comparison of registered and published primary outcomes in randomized controlled trials. JAMA. 2009;302:977-84 Medline. doi:10.1001/jama.2009.1242

  12. Hannink G, Gooszen HG, Rovers MM. Comparison of registered and published primary outcomes in randomized clinical trials of surgical interventions. Ann Surg. 2013;257:818-23 Medline. doi:10.1097/SLA.0b013e3182864fa3

  13. Ioannidis JP, Panagiotou OA. Comparison of effect sizes associated with biomarkers reported in highly cited individual articles and in subsequent meta-analyses. JAMA. 2011;305:2200-10 Medline. doi:10.1001/jama.2011.713

  14. Korevaar DA, Ochodo EA, Bossuyt PM, Hooft L. Publication and Reporting of Test Accuracy Studies Registered in ClinicalTrials.gov. Clin Chem. 31 december 2013 (epub) Medline. doi:10.1373/clinchem.2013.218149

  15. Ter Riet G, Korevaar DA, Leenaars M, Sterk PJ, Van Noorden CJ, Bouter LM, et al. Publication bias in laboratory animal research: a survey on magnitude, drivers, consequences and potential solutions. PLoS One 2012;7:e43404. Medline.

  16. Sismondo S. Pharmaceutical company funding and its consequences: a qualitative systematic review. Contemp Clin Trials. 2008;29:109-13 Medline. doi:10.1016/j.cct.2007.08.001

  17. Macleod MR, Michie S, Roberts I, et al. Biomedical research: increasing value, reducing waste. Lancet. 2014;383:101-4 Medline. doi:10.1016/S0140-6736(13)62329-6

  18. Chan AW, Song F, Vickers A, et al. Increasing value and reducing waste: addressing inaccessible research. Lancet. 2014;383:257-66 Medline. doi:10.1016/S0140-6736(13)62296-5

  19. Chalmers I, Glasziou P, Godlee F. All trials must be registered and the results published. BMJ. 2013;346:f105 Medline. doi:10.1136/bmj.f105

  20. De Angelis CD, Drazen JM, Frizelle FA, et al. Is this clinical trial fully registered?--A statement from the International Committee of Medical Journal Editors. N Engl J Med. 2005;352:2436-8 Medline. doi:10.1056/NEJMe058127

  21. Wager E, Williams P. "Hardly worth the effort"? Medical journals' policies and their editors' and publishers' views on trial registration and publication bias: quantitative and qualitative study. BMJ. 2013;347:f5248 Medline. doi:10.1136/bmj.f5248

  22. Van de Wetering FT, Scholten RJ, Haring T, Clarke M, Hooft L. Trial registration numbers are underreported in biomedical publications. PLoS One. 2012;7:e49599 Medline. doi:10.1371/journal.pone.0049599

  23. Wood AJ. Progress and deficiencies in the registration of clinical trials. N Engl J Med. 2009;360:824-830 Medline. doi:10.1056/NEJMsr0806582

  24. Prayle AP, Hurley MN, Smyth AR. Compliance with mandatory reporting of clinical trial results on ClinicalTrials.gov: cross sectional study. BMJ. 2012;344:d7373 Medline. doi:10.1136/bmj.d7373

  25. Smulders YM. A two-step manuscript submission process can reduce publication bias. J Clin Epidemiol. 2013;66:946-7 Medline. doi:10.1016/j.jclinepi.2013.03.023