Hoge kwaliteit door samenwerking UMC’s en opleidingsziekenhuizen

Medisch-wetenschappelijk onderzoek in Nederland

Onderzoek
Marcel Levi
Henk E. Sluiter
Thed van Leeuwen
Maarten Rook
Guy Peeters
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2013;157:A6081
Abstract
Download PDF

Samenvatting

Doel

Het meten van de omvang en kwaliteit van het wetenschappelijk onderzoek in de UMC’s en in de Nederlandse opleidingsziekenhuizen, verenigd in de Samenwerkende Topklinische Opleidingsziekenhuizen (STZ).

Opzet

Bibliometrische analyse.

Methode

Het Centrum voor Wetenschap en Technologie Studies (CWTS) analyseerde de omvang en kwaliteit van het Nederlandse wetenschappelijk onderzoek in de UMC’s en de STZ-centra aan de hand van citatiescores. Als maat voor de kwaliteit werd de ‘mean normalized citation score’ (MNCS) gehanteerd. Deze werd berekend per ziekenhuis (STZ-ziekenhuis of UMC) en per discipline. De analyse betrof alle publicaties van de STZ-ziekenhuizen en UMC’s opgenomen in de ‘Web of Science’-database in de periode 1998-2010.

Resultaten

Uit de CWTS-analyses kwam naar voren dat de MNCS van alle Nederlandse UMC’s ver boven het wereldgemiddelde ligt. Bij de STZ-ziekenhuizen was de gemiddelde citatiescore lager bij onderzoek dat niet in samenwerking met een UMC wordt verricht, terwijl onderzoek dat door STZ-ziekenhuizen in samenwerking met een UMC was uitgevoerd zeer hoge citatiescores had.

Conclusie

In Nederland wordt naar internationale maatstaven veel en goed medisch onderzoek gedaan en gepubliceerd. De uitkomsten van het CWTS-onderzoek leiden tot de conclusie dat het goed is als UMC’s en STZ-ziekenhuizen doorgaan met het doen van gezamenlijk onderzoek. Deze ontwikkeling kan worden gestimuleerd door de huidige Onderwijs- en Opleidingsregio’s (OOR’s) om te vormen tot OORR’s (Onderwijs-, Opleiding- en Research Regio’s). Voor deze infrastructuur is het wel nodig dat er voldoende financiering beschikbaar blijft.

artikel

Inleiding

Het medisch-wetenschappelijk onderzoek in Nederland neemt internationaal een vooraanstaande plaats in. Zo behoren 5 universitair medische centra (UMC’s) in Nederland al jaren tot de top van Europa in de ‘Times Higher Education’-ranglijst voor biomedisch en klinisch onderzoek.1 Van de totale output van alle Nederlandse instellingen voor hoger onderwijs wordt circa een derde deel door de 8 UMC’s geproduceerd. De overgrote meerderheid van alle universitaire promoties vindt plaats in de medische faculteiten die onderdeel zijn van de UMC’s.

Ook buiten de UMC’s wordt medisch-wetenschappelijk onderzoek uitgevoerd of een bijdrage geleverd aan wetenschappelijke projecten vanuit een UMC. Dit vindt vooral plaats in grote opleidingsziekenhuizen, die zich hebben verenigd in de Samenwerkende topklinische opleidingsziekenhuizen (STZ). Als reden voor het uitvoeren van research door STZ-ziekenhuizen wordt vaak genoemd dat deze ziekenhuizen een belangrijke rol spelen bij de medische opleiding en vervolgopleiding. In het kader daarvan vinden de STZ-ziekenhuizen het belangrijk om te participeren in wetenschappelijk onderzoek en op die manier het opleidingsklimaat te optimaliseren.

Een andere reden is dat STZ-ziekenhuizen menen door hun positionering in het Nederlandse gezondheidszorgsysteem ook een bijdrage te moeten leveren aan innovatie en research binnen de geneeskunde en de gezondheidszorg. Het type onderzoek in deze centra lijkt logischerwijze vooral patiëntgebonden studies te betreffen. De omvang van de bijdrage van de STZ-ziekenhuizen aan de totale Nederlandse medisch-wetenschappelijke output en de kwaliteit van dit onderzoek zijn tot op heden nooit systematisch onderzocht.

Wetenschappelijke output laat zich kwantitatief meten op vele verschillende manieren, waarbij het tellen van het aantal publicaties een gangbare methode is. Als maat voor de kwaliteit van het gepubliceerde onderzoek wordt dikwijls het aantal citaties dat een artikel heeft opgeleverd genomen.2 Er zijn verschillende methodes om deze citatiescore te corrigeren voor verschillende citatiepatronen binnen vakgebieden en disciplines. De Nederlandse UMC’s laten jaarlijks door het Centrum voor Wetenschap en Technologie Studies (CWTS) van de Universiteit van Leiden een analyse uitvoeren van hun wetenschappelijke – genormaliseerde – citatiescore.3

Recent heeft het CWTS op verzoek van de STZ-ziekenhuizen en in samenwerking met de UMC’s deze analyse uitgebreid met de STZ-ziekenhuizen.4 In dit artikel worden de resultaten van deze analyse gepresenteerd en afgezet tegen de resultaten van de UMC’s.

Methode

Het CWTS analyseert alle publicaties en citaties vanuit een grote bibliometrische database van wetenschappelijke publicaties (Web of Science) afkomstig van Thomson Reuters, het voormalige Institute for Scientific Information (ISI).5,6 Het CWTS identificeerde de publicaties van de STZ-ziekenhuizen op basis van de naam en adresgegevens van de instituten. Voor de UMC’s werd gebruik gemaakt van de gerapporteerde publicaties in de wetenschappelijke registraties van de universiteiten. Alle artikelen die verschenen in de periode 1998-2010 werden in de analyse betrokken en werden gematched met publicaties in de database.

Voor deze analyse werden alleen originele artikelen, reviews en brieven aan de redactie (‘letters to the editor’) gebruikt. Deze brieven krijgen in de analyse een relatief gewicht van 25%. De citaties voor de publicaties worden gecorrigeerd voor het onderzoeksgebied en voor het tijdschrift waarin het artikel is gepubliceerd met een citatiegemiddelde dat per discipline en per tijdschrift wordt vastgesteld, respectievelijk de ‘field citation score’ (FCS) en de ‘journal citation score’ (JCS).

De vergelijking van het gemiddelde aantal citaties van een artikel gepubliceerd door een STZ-ziekenhuis of UMC met het gemiddelde voor een wetenschapsgebied of een tijdschrift wordt uitgedrukt als ‘mean normalized citation score’ (MNCS) en ‘mean normalized journal score’ (MNJS). Hierbij worden citaties van auteurs naar eigen werk uitgesloten. Een score van 1 is gelijk aan het wereldgemiddelde voor de discipline of het tijdschrift. Een score groter dan 1 betekent een hogere kwaliteit – dat wil zeggen: meer citaties – van publicaties dan het wereldgemiddelde. Een score groter dan 1,2 betekent een significant hogere kwaliteit dan het wereldgemiddelde en een score groter dan 1,4 een zeer veel hogere kwaliteit dan het wereldgemiddelde.5,6 De ratio van MNCS en MNJS (MNCS/MNJS) representeert de impact van de artikelen van een instituut gepubliceerd in de tijdschriften waarin het instituut zijn artikelen heeft gepubliceerd.

Artikelen werden geclassificeerd als behorend tot een wetenschapsgebied door de tijdschriftenindeling van het Web of Science te volgen. Artikelen en hun citaties in tijdschriften die waren gerubriceerd in meer dan 1 wetenschappelijke discipline werden gelijkelijk over de verschillende gebieden verdeeld.

Met behulp van 2 netwerk-softwareprogramma’s (NetDraw en Ucinet) zijn de samenwerkingsverbanden tussen de STZ-ziekenhuizen en de UMC’s grafisch in kaart gebracht.7,8

Resultaten

De gemiddelde aantallen artikelen per jaar geproduceerd vanuit een UMC of een STZ-ziekenhuis worden getoond in tabel 1. STZ-ziekenhuizen publiceren jaarlijks gemiddeld 32 artikelen per centrum, waarvan 13 publicaties met een STZ-onderzoeker als eerste auteur en waarvan 12 publicaties zonder een UMC tot stand zijn gekomen. Voor de UMC’s is de productie gemiddeld 1363 artikelen per centrum per jaar, waarvan 902 met een onderzoeker uit het UMC als eerste auteur. Dat betekent dat STZ-ziekenhuizen 7,6% bijdragen aan de totale gezamenlijke biomedische wetenschappelijke productie van STZ-ziekenhuizen en UMC’s.

Figuur 1

De gemiddelde citatiescore (MNCS) van de STZ-publicaties is 1,28, vergeleken met 1,49 voor de UMC’s; beide scores liggen ver boven het wereldgemiddelde (1,0). Andere genormaliseerde citatiescores voor UMC’s en STZ-ziekenhuizen worden weergegeven in figuur 1; zij laten een soortgelijk beeld zien.

Figuur 2

De verdeling van het jaarlijkse aantal publicaties en de MNCS-score voor alle 28 STZ-ziekenhuizen en de 8 UMC’s is weergegeven in figuur 2. Een alternatieve manier om naar de kwaliteit van wetenschappelijke publicaties te kijken is om na te gaan hoeveel artikelen er helemaal nooit door andere auteurs worden geciteerd. Dit percentage is 11% voor de STZ-centra en 6,5% voor de UMC’s (zie tabel 1).

Figuur 3

De analyse laat een verschil zien in de MNCS-score van artikelen die STZ-ziekenhuizen alléén publiceren ten opzichte van werk dat in samenwerking met 1 of meer UMC’s wordt uitgevoerd. De MNCS-score van het werk dat STZ-centra alleen hadden uitgevoerd (0,98) ligt rond het wereldgemiddelde, terwijl de samenwerking met een UMC resulteert in een zeer hoge citatiescore van 1,48 (zie tabel 1). Werk dat in samenwerking tussen STZ en UMC’s was verricht, toonde een iets hogere MNJS/MNSC-ratio dan het werk van UMC’s alleen (zie figuur 1).

Van de STZ-ziekenhuizen werkte 71% het vaakst samen met het UMC in de eigen Onderwijs- en Opleidings Regio (OOR). In 25% van de gevallen werkten zij in de periode 1998-2010 het meest samen met een UMC buiten de eigen OOR-regio; dit betrof samenwerking met het AMC/Universiteit van Amsterdam (4x), het Universitair Medisch Centrum St Radboud (1x), het Erasmus Medisch Centrum Rotterdam (1x) en het Universitair Medisch Centrum Utrecht (1x). Slechts bij 1 STZ-ziekenhuis was de meest intensieve researchpartner geen UMC; dit betrof de samenwerking tussen de Isala Klinieken en de Universiteit van Twente.

Het aantal artikelen dat STZ-centra samen met UMC’s publiceerden, was niet gelijk verdeeld over de verschillende UMC’s. De percentuele verdeling wordt getoond in figuur 3. Het aandeel van de verschillende UMC’s in de gezamenlijke STZ-UMC-publicaties varieerde van 9 tot 17%. Figuur 4 toont het hechte netwerk waarin de UMC’s en de STZ-ziekenhuizen in Nederland met elkaar samenwerken op het gebied van research.

Figuur 4
Figuur 5

Tabel 2 ten slotte laat de verdeling zien van de aantallen publicaties in de top 10 van disciplines waarover de 28 STZ-ziekenhuizen en de 8 UMC’s in de periode 1998-2010 het vaakst publiceerden. Per discipline is de MNCS vermeld. Het valt op dat de artikelen van zowel UMC’s als STZ-centra in alle top 10-disciplines boven het wereldgemiddelde scoren, soms zelfs ver daarboven.

Figuur 6

Beschouwing

Deze analyse van de wetenschappelijk output van UMC’s en STZ-ziekenhuizen over een groot aantal jaren toont aan dat STZ-ziekenhuizen een substantiële bijdrage leveren aan het Nederlandse aandeel in de internationale literatuur. De relatieve bijdrage van de 28 STZ-centra ten opzichte van het aandeel van de 8 UMC’s is weliswaar beperkt, maar daarbij dient vermeld te worden dat de UMC’s via het ministerie van Onderwijs, Wetenschappen en Cultuur en de universiteiten een bijdrage krijgen voor wetenschappelijk onderzoek. Bovendien kunnen zij een klein gedeelte van de infrastructuur voor wetenschappelijk onderzoek financieren uit het budget voor de zogenoemde werkplaatsfunctie van academische ziekenhuizen, een budget dat door de overheid beschikbaar wordt gesteld. Ook wordt een klein deel van de academische component – een budget bedoeld om de meerkosten te dekken van onder andere ontwikkeling en innovatie in de UMC’s – benut voor het wetenschappelijk onderzoek.

Al deze budgetten van de overheid voor de UMC’s staan momenteel sterk onder druk en er wordt fors op bezuinigd. Dit is riskant, aangezien de budgetten die de Nederlandse UMC’s voor onderzoek beschikbaar hebben in internationaal perspectief al bescheiden zijn. Nederland heeft namelijk een uitstekende positie in het onderzoek te verliezen, een positie die ook nog eens een stevige innovatieve en economische spin-off vertegenwoordigt.9

Wat opvalt in de wetenschappelijke productie van de STZ-ziekenhuizen is de grote variatie in wetenschappelijke output tussen de ziekenhuizen. Het gemiddelde aantal wetenschappelijke artikelen per jaar varieert van 101 in het meest publicerende centrum tot 9 in het minst publicerende centrum, een verschil van een factor 11,2. De variatie tussen de UMC’s is geringer, met een verschil van een factor 1,7 tussen het meest en het minst publicerende centrum. De oorzaak van de variatie tussen de STZ-centra is niet geheel duidelijk. Mogelijk berust dit op een verschil tussen de ziekenhuizen in de traditie om wetenschappelijk actief te zijn. Er is geen duidelijk verband met de grootte van het STZ-ziekenhuis.

Opvallend is dat de kwaliteit van publicaties uit STZ-ziekenhuizen sterk toeneemt als samen wordt gewerkt met een UMC. De top 10 van disciplines waarover STZ-ziekenhuizen publiceren betreft begrijpelijkerwijze uitsluitend klinische vakgebieden. Dit wekt de indruk dat de best scorende STZ-publicaties vooral een samenwerking op het gebied van patiëntgebonden klinisch wetenschappelijk onderzoek betreffen, waarbij het UMC in veel gevallen een initiërende en coördinerende rol vervult en de STZ-ziekenhuizen in staat blijken om veel patiënten te includeren in het onderzoek. Een analyse van de publicaties uit Nederland in de New England Journal of Medicine in de laatste 3 jaar laat inderdaad zien dat het in 8 van de 40 publicaties gaat om een samenwerking van een conglomeraat van UMC en STZ-ziekenhuizen.

Stimulans

De STZ-ziekenhuizen beschouwen de resultaten van het CWTS-onderzoek als een stimulans om de eigen infrastructuur voor het doen van onderzoek waar mogelijk verder te versterken, en daarbij de samenwerking met de UMC’s te blijven zoeken. In toenemende mate stellen UMC’s hun infrastructuur voor wetenschappelijk onderzoek open voor opleidingsziekenhuizen in hun regio. Het gaat dan om voorzieningen als medisch-ethische toetsingscommissies, afdelingen Epidemiologie en Biostatistiek, ‘clinical research units’ en kwaliteitszorgsystemen.

Daarnaast is het de intentie om, meer nog dan tot dusver, in de toekomst gezamenlijk op te trekken bij zaken als subsidiewerving, deskundigheidsbevordering van onderzoekers (basiscursus ‘Regelgeving en organisatie klinisch onderzoekers’; BROK-cursus), en het bevorderen van de onderzoeksinfrastructuur in Nederland (landelijke proefpersonenverzekering, blauwdruk proefpersoneninformatie). Met het oog hierop lijken de regionale samenwerkingsverbanden tussen UMC’s en ander opleidingsziekenhuizen in de zogenoemde Onderwijs- en Opleidingsregio’s (OOR) zich te ontwikkelen tot Onderwijs-, Opleidings- en Research-regio’s (OORR).

Wat heeft Nederland te winnen bij een sterke en breed georganiseerde infrastructuur voor medisch onderzoek? Een dergelijke organisatie kan het hoofd bieden aan de grote problemen waar de gezondheidszorg in alle westerse landen voor staat, zoals het bieden van gepaste zorg voor een ouder wordende populatie en voldoen aan hogere kwaliteits- en veiligheidseisen. Zo’n organisatie kan inspelen op de vraag naar innovatieve behandelmogelijkheden en tegelijkertijd een kritische evaluatie geven van de werkelijk toegevoegde waarde van die innovaties. Zo’n breed georganiseerde infrastructuur maakt de ontwikkeling en effectieve implementatie mogelijk van goedkopere, simpele en breed toepasbare interventies die ziekte kunnen voorkomen of genezen.10,11

Om deze doelen te bereiken is translationeel onderzoek essentieel, dat wil zeggen: onderzoek dat het volledige spectrum van fundamenteel onderzoek, toegepast experimenteel onderzoek, initiële patiëntgebonden toepassing tot en met klinisch valideringsonderzoek beslaat en dat snel kan schakelen tussen deze verschillende vormen van onderzoek.12 Een geïntegreerd UMC, zoals dat in Nederland vorm is gegeven in de afgelopen decennia, lijkt daartoe het beste geëquipeerd en wordt wereldwijd gezien als een voorbeeld.13,14 Om de stappen in het klinisch onderzoek snel te kunnen zetten – waarvoor in veel gevallen grotere groepen patiënten noodzakelijk zijn – is samenwerking met andere ziekenhuizen cruciaal. En juist op dat punt kan invulling worden gegeven door de UMC-STZ-combinaties.

Leerpunten

  • De UMC’s verrichten het grootste deel van het medisch wetenschappelijk onderzoek in Nederland, maar ook in de topklinische opleidingsziekenhuizen (STZ) wordt onderzoek gedaan.

  • De citatiescores van het onderzoek door Nederlandse UMC’s liggen ver boven het wereldgemiddelde.

  • De meerderheid van de publicaties door STZ-ziekenhuizen betreft onderzoek in samenwerking met een UMC.

  • De citatiescore van onderzoek door STZ-ziekenhuizen in samenwerking met een UMC is hoog, terwijl onderzoek dat los van een UMC wordt verricht een veel lagere score heeft.

Literatuur
  1. www.timeshighereducation.co.uk, geraadpleegd 30 mei 2013.

  2. Levi M. Impact and citations. Neth J Med. 2012;70:335-6. Medline

  3. Van Leeuwen T. Bibliometric study on Dutch Academic Medical Centers. Leiden: CWTS; 2012.

  4. Van Leeuwen T, Noyons E, Calero Medina C. Bibliometric assessment of STZ hospitals. Leiden: CWTS; 2012.

  5. Moed HF, de Bruin RE, van Leeuwen T. New Bibliometric Tools for the Assessment of National Research Performance: Database Description Overview of Indicators and First Applications. Scientometrics. 1995;33:381-422. doi:10.1007/BF02017338

  6. Van Raan AFJ. Advanced bibliometric methods as quantitative core of peer reviewbased evaluation and foresight exercises. Scientometrics. 1996;36:397-420. doi:10.1007/BF02129602

  7. Borgatti SP. NetDraw software for network visualization. Lexington: Analytic Technologies; 2002.

  8. Borgatti SP, Everett MG, Freeman LC. Ucinet for Windows: software for social network analysis. Harvard: Analytic Technologies; 2002.

  9. Biggar Economics. Economic impact of research & commercialisation at Leiden University & Leiden University Medical Centre. Roslin: Biggar Economics; 2011.

  10. Contopoulos-Ioannidis DG, Alexiou GA, Gouvias TC, Ioannidis JP. Medicine. Life cycle of translational research for medical interventions. Science. 2008;321:1298-9 Medline. doi:10.1126/science.1160622

  11. Califf RM, Peterson ED, Gibbons RJ, et al. Integrating quality into the cycle of therapeutic development. J Am Coll Cardiol. 2002;40:1895-901 Medline. doi:10.1016/S0735-1097(02)02537-8

  12. Zerhouni EA. Translational and clinical science--time for a new vision. N Engl J Med. 2005;353:1621-3 Medline. doi:10.1056/NEJMsb053723

  13. Dzau VJ, Ackerly DC, Sutton-Wallace P, et al. The role of academic health science systems in the transformation of medicine. Lancet. 2010;375:949-53 Medline. doi:10.1016/S0140-6736(09)61082-5

  14. Zinner DE, Campbell EG. Life-science research within US academic medical centers. JAMA. 2009;302:969-76 Medline. doi:10.1001/jama.2009.1265

Auteursinformatie

Academisch Medisch Centrum/Universiteit van Amsterdam, Raad van Bestuur, Amsterdam.

Prof.dr. M. Levi, internist en voorzitter Raad van Bestuur.

Deventer Ziekenhuis, afd. Interne Geneeskunde, Deventer.

Dr. H.E. Sluiter, internist.

Universiteit van Leiden, Centrum voor Wetenschap en Technologie Studies, Leiden.

Dr. T. van Leeuwen, onderzoeker.

Samenwerkende Topklinische Opleidings Ziekenhuizen, Utrecht.

Drs. M. Rook, voorzitter.

Maastricht Universitair Medisch Centrum (MUMC+), Raad van Bestuur, Maastricht.

Drs. G. Peeters, voorzitter Raad van Bestuur.

Contact prof.dr. M. Levi (m.m.levi@amc.uva.nl)

Verantwoording

Belangenconflict en financiële ondersteuning: geen gemeld.
Aanvaard op 21 mei 2013

Auteur Belangenverstrengeling
Marcel Levi ICMJE-formulier
Henk E. Sluiter ICMJE-formulier
Thed van Leeuwen ICMJE-formulier
Maarten Rook ICMJE-formulier
Guy Peeters ICMJE-formulier

Ook interessant

Reacties