Bibliometrische indicatoren van de kwaliteit van medisch wetenschappelijk onderzoek in Nederland en Vlaanderen

Bibliometrie houdt zich bezig met het analyseren van gekwantificeerde bibliografische gegevens, ontleend aan wetenschappelijke teksten. Citatieanalysen van publikaties in wetenschappelijke tijdschriften vormen een belangrijk en sterk in de belangstelling staand onderdeel van de bibliometrie. Reeds enkele decennia worden bibliometrische gegevens toegepast bij het zichtbaar maken van onderzoeksprestaties. De produktie van de Science Citation Index (SCI) door het Institute for Scientific Information (ISI) vanaf het begin van de jaren zestig vormt hierbij een belangrijk hulpmiddel.

In dit overzichtsartikel bespreken wij de resultaten van bibliometrisch onderzoek van enkele Nederlandse medische subdisciplines en van de faculteit Geneeskunde aan de Katholieke Universiteit (KU) Leuven in België.

Citatieanalyse

De SCI is een wetenschappelijk literatuurbestand waarvoor thans alle artikelen worden verwerkt die zijn gepubliceerd in rond 3500 wetenschappelijke tijdschriften in de natuur- en biowetenschappen. De basisconcepten van de SCI zijn ontwikkeld door Eugene Garfield.1 In de SCI worden onder andere van elk verwerkt artikel de referentielijsten en voetnoten opgenomen. Door deze referenties uit alle artikelen samen te voegen en opnieuw te sorteren, met behoud van het verband tussen citerende en geciteerde publikatie, kan men een citatie-index opstellen die het mogelijk maakt voor een willekeurig artikel na te gaan hoe vaak en in welke andere publikaties het wordt geciteerd. Er worden overigens ook andere literatuurbestanden gebruikt in bibliometrisch onderzoek, waaronder Medline en Embase.

De toepassing van bibliometrische gegevens bij de beoordeling van onderzoeksprestaties is gebaseerd op de volgende vooronderstellingen. De vooruitgang in de wetenschap wordt tot stand gebracht door onderzoekers, die zich groeperen bij de bestudering van onderzoeksthema's en daarbij voortbouwen op het werk van anderen.2 Zo ontstaat een internationale gemeenschap van onderzoekers die elkaar op de hoogte houden van hun onderzoeksresultaten. Deze behoren te worden gepubliceerd en daarmee ter beoordeling voorgelegd aan vakgenoten.3 In hun publikaties geven onderzoekers aan op welke wijze zij hebben voortgebouwd op eerder werk. Verwijzingen in voetnoten of in een referentielijst vormen daarvan de weerspiegeling. Daarom kan men de wetenschap bestuderen aan de hand van de wetenschappelijke literatuur, die als het ware een afbeelding vormt van de wetenschappelijke activiteit. Wetenschappelijke tijdschriften spelen, zeker in de natuur- en biowetenschappen, een essentiële rol in de communicatie tussen vakgenoten. De SCI bestrijkt de belangrijkste internationale tijdschriften in de meeste wetenschapsdeelgebieden.1 Het aantal publikaties van een onderzoeksgroep wordt beschouwd als een aanwijzing voor haar wetenschappelijke produktie. Het aantal malen dat het publikatie-oeuvre van een groep wordt geciteerd in andere artikelen wordt opgevat als een maat voor de ‘impact’ van dat oeuvre.

Beperkingen van citatieanalyse als maat voor onderzoekskwaliteit

De meeste bibliometrische onderzoekers maken een uitdrukkelijk onderscheid tussen de begrippen ‘impact’ en ‘kwaliteit’ van wetenschappelijk werk.45 Kwaliteit is een meerzinnig begrip; het heeft verschillende aspecten en laat zich niet eenduidig operationaliseren. Een kwaliteitsoordeel kan in onze opvatting slechts worden gegeven door deskundige vakgenoten, ‘peers’, op grond van een visie op het begrip kwaliteit, die zoveel mogelijk geëxpliciteerd moet worden. Citatie-indicatoren geven een deelaspect aan, aangeduid als impact. Ze duiden de respons aan van de internationale onderzoekersgemeenschap op het publikatie-oeuvre van een groep, in zoverre deze respons tot uitdrukking komt in verwijzingen in de wetenschappelijke literatuur. Bibliometrische indicatoren zijn dan ook niet bedoeld om het oordeel van deskundigen te vervangen, maar veeleer om onderzoeksprestaties bespreekbaar te maken en om deskundigen informatie aan te bieden zodat zij hun oordeel beter kunnen vormen en funderen. Ook kunnen ze worden gebruikt om beoordelende instanties te stimuleren de gebruikte beoordelingscriteria aan te scherpen of te expliciteren.

De bibliometrische methode die gebruik maakt van citatieanalyse richt zich op het onderzoeksaspect, en dan speciaal op de mate waarin een onderzoeksgroep bijdraagt aan de ontwikkeling van de kennis aan het internationale onderzoeksfront. Dit impliceert dat vele activiteiten die medische onderzoekers qualitate qua geacht worden te verrichten buiten zicht blijven, hoe belangrijk deze ook mogen zijn. Het gaat daarbij niet alleen om onderwijs- en opleidingsactiviteiten of taken in de patiëntenzorg, maar ook om werkzaamheden die gericht zijn op de verspreiding van wetenschappelijke kennis op nationaal niveau. Zo zullen publikaties van medische onderzoekers gericht op het brede publiek of op huisartsen in Nederland en Vlaanderen in de citatieanalyse in principe geen rol spelen.

In de jaren zestig en zeventig lag het zwaartepunt van de bibliometrische prestatieanalysen in de V.S., alhoewel in die periode ook in Nederland door C.le Pair en zijn medewerkers belangrijk pionierswerk is verricht.6 In de jaren tachtig vindt een omslag plaats en neemt de activiteit in Europa sterk toe, vooral in Nederland, en vanaf 1990 ook in Vlaanderen. In het begin van de jaren tachtig verschenen in Nederland drie studies op het gebied van de biomedische wetenschappen waarin bibliometrie een belangrijke rol speelt.578

Nederlands en vlaams bibliometrisch onderzoek

In 1990 is een samenwerkingsproject gestart tussen het Centrum voor Wetenschaps- en Technologie-Studies (CWTS) aan de Universiteit Leiden en de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO), gericht op onderzoek naar de mogelijkheden om kwantitatieve methoden en technieken te gebruiken bij het evalueren van wetenschappelijk onderzoek. In het kader van dit door NWO gefinancierde project is onder meer door het CWTS een database aangemaakt waarin alle artikelen zijn opgenomen die door Nederlandse onderzoekers zijn gepubliceerd in tijdschriften die voor de SCI worden verwerkt, en ook gegevens over alle in de SCI opgenomen verwijzingen naar deze artikelen. Dit bestand is verschillende malen geactualiseerd en bestrijkt thans de periode 1980-1993. Eén van de onderdelen van dit CWTSNWO-project was een onderzoek in opdracht van het gebiedsbestuur Medische Wetenschappen (MW-NWO), dat gericht was op de volgende drie onderwerpen:

– de ontwikkeling van een bibliometrische methode gericht op het verkrijgen van indicaties van de impact van medische groepen;

– de toepassing van deze methode op het niveau van medische subdisciplines;

– de evaluatie van het subsidiebeleid van MW-NWO.

In dit artikel worden de belangrijkste resultaten uit dit onderzoek behandeld. Een uitgebreid verslag werd eerder gepubliceerd.910 In de afgelopen jaren zijn door het CWTS ook uitgebreide bibliometrische analysen verricht met betrekking tot de medische faculteiten van drie Vlaamse universiteiten, in nauwe samenwerking met vertegenwoordigers van de betrokken instellingen.11-13 Ook van deze studies worden hieronder enkele interessante uitkomsten gepresenteerd.

Werkwijze

Eerst worden van een onderzoeksgroep alle artikelen verzameld die zijn verschenen in tijdschriften verwerkt voor de SCI en die een Nederlands adres bevatten. Vervolgens wordt van elk artikel bepaald hoe vaak het jaarlijks wordt aangehaald in andere artikelen verwerkt voor de SCI. Meestal wordt dan per artikel het gemiddelde aantal behaalde citaties bepaald, dat een aanwijzing geeft van de gemiddelde impact van de artikelen van een onderzoeksgroep. Men kan deze berekenen voor een reeks van jaren teneinde vast te stellen of er sprake is van een positieve of negatieve trend. Ook kan de impact van de artikelen van een groep worden vergeleken met die van artikelen van andere onderzoekers in de subdiscipline waarin de groep actief is. Voor de indeling in subdisciplines is gebruik gemaakt van de door het ISI opgestelde indeling van tijdschriften in categorieën (bijvoorbeeld: biochemie, gastro-enterologie). In elke subdiscipline wordt een aanduiding gegeven van de omvang van de impact van de artikelen van de groep door deze te vergelijken met een wereld-citatiegemiddelde, gebaseerd op het aantal verwijzingen naar alle artikelen die wereldwijd in die subdiscipline zijn gepubliceerd. Ligt de groepsscore boven of onder het wereldgemiddelde, dan wordt de impact als ‘hoog’ respectievelijk ‘laag’ aangeduid. Men kan ook de scores over alle subdisciplines aggregeren en een algemeen gebiedsgemiddelde berekenen waarmee dan de citatiescore van het totale groepsoeuvre wordt vergeleken.

Genoemde indicatoren corrigeren de getallen in belangrijke mate voor verschillen in publiceer- en citeergewoonten tussen onderzoeksgebieden. Immers, de impact van een groep – gemeten met behulp van citaties – wordt afgezet tegen een standaard die karakteristiek is voor het gebied waarin de groep werkzaam is. Op deze wijze wordt bijvoorbeeld rekening gehouden met het verschijnsel dat onderzoekers in de biochemie veel frequenter ander werk citeren (en ook veel meer recentelijk gepubliceerde artikelen citeren) dan onderzoekers in een gebied als de gastro-enterologie. Overigens vormen deze indicatoren geen perfecte normering. Binnen een onderzoeksgebied – zelfs binnen de biochemie – kunnen nog verschillen in citeer- en publiceergewoonten bestaan. Bovendien kunnen er bijvoorbeeld verschillen zijn tussen basale en klinische benaderingen in een medisch vakgebied. Men dient te bedenken dat deze indicatoren geen aanwijzingen verschaffen over het ‘niveau’ van het onderzoek in een gebied ten opzichte van dat in andere gebieden. Ook indien mondiaal bezien in een gebied het niveau van de onderzoeksinspanningen laag is, kan de groep met de hoogste impact in dat gebied een even hoge score verkrijgen op onze indicatoren als een ‘topgroep’ in een gebied waarin het mondiaal niveau van het onderzoek juist hoog is.

Analysen op het niveau van deelgebieden

In dit onderdeel van het MW-NWO-onderzoek zijn deelgebieden afgebakend op basis van vakgroepen. Het onderzoek is exploratief en heeft betrekking op de vakgroepen Farmacologie, Neurologie, Cardiologie en Celbiologie in de 8 medische faculteiten in Nederland. De resultaten staan in figuur 1. De analysen hebben betrekking op de periode 1980-1989. De universiteiten zijn in de figuur 1 geanonimiseerd. Hiertoe is besloten omdat de analyse betrekking heeft op de subdisciplines als geheel. De resultaten zijn uitgesplitst naar universiteit om een indruk te verkrijgen van de verdeling van produktie en impact over de verschillende vakgroepen. Figuur 1 toont voor elke cluster van vakgroepen de publikatie-output, de impact in vergelijking met het wereld-citatiegemiddelde en de verdeling van de publikaties over de verschillende subdisciplines, waarbij tevens de afzonderlijke bijdragen van de universiteiten zijn weergegeven. Ter toelichting het volgende voorbeeld: de vakgroep Farmacologie aan universiteit B heeft gedurende de periode 1980-1989 94 artikelen gepubliceerd in de ISI-subdiscipline ‘farmacologiefarmacie’. Het feit dat de hiermee corresponderende staaf in figuur 1 zwart is ingekleurd, duidt aan dat de impact van deze artikelen hoog is ten opzichte van het wereld-citatiegemiddelde in die subdiscipline. Indien de ratio van de impact van de artikelen van de onderzoeksgroep in een bepaald gebied en het wereld-citatiegemiddelde in dat gebied hoger is dan 1,2, wordt van een hoge impact gesproken. Is de ratio lager dan 0,8, dan wordt de impact als ‘laag’ gekwalificeerd. Overigens is onlangs een statistische toets ontwikkeld en geïmplementeerd om vast te stellen in hoeverre de impact van het oeuvre van een groep significant afwijkt van het wereldgemiddelde.14 Deze toets is in de getoonde figuur 1 nog niet toegepast, maar de resultaten komen goed overeen met de hier gebruikte indeling.

De toegepaste ISI-indeling van tijdschriften bevat enkele algemene categorieën: ‘geneeskundig onderzoek’, ‘geneeskunde, algemeen’ en ‘multidisciplinaire wetenschappen’. De eerste twee categorieën bevatten meer algemene medische tijdschriften zoals The Lancet en British Medical Journal, terwijl de laatstgenoemde categorie onder meer de tijdschriften Science en Nature bevat. Deze tijdschriften bevatten artikelen uit een groot aantal medische deelgebieden en zijn derhalve niet aan één of twee deelgebieden toe te wijzen.

MW-NWO-sitbsidies aan de medische vakgroepen Farmacologie, Neurologie, Cardiologie en Celbiologie

In dit onderdeel van het onderzoek wordt de impact van vakgroepen bestudeerd in relatie tot de omvang van de project- of programmasubsidies die ze van MW-NWO hebben ontvangen. Het doel is vast te stellen of de MW-NWO-subsidies overwegend bij vakgroepen met een hogere impact terecht zijn gekomen. In de tabel staat het verband tussen de MW-NWO-steun en de impact. Er is een zwak positieve correlatie tussen de steun en de impact. Uit variantieanalyse blijkt dat er eveneens geen significante verschillen zijn in de impact van de vakgroepen tussen de verschillende categorieën van MW-NWO-steun. Dit is niet verwonderlijk gezien het geringe aantal observaties per steuncategorie. Uit de tabel blijkt dat 2 van de 3 vakgroepen met veel steun een hoge impact hebben; 1 heeft een gemiddelde impact. Geen enkele vakgroep met lage impact heeft regelmatig of veel MW-NWO-steun verkregen. Anders gezegd, de steun is overwegend verleend aan vakgroepen met een gemiddelde of een hoge impact. Er blijken 7 vakgroepen te zijn met een hoge impact die volgens onze gegevens geen steun hebben verkregen. Uit een nadere analyse blijkt dat het hier gaat om 5 cardiologische vakgroepen, 1 celbiologische vakgroep en 1 farmacologische vakgroep die veel aandacht besteedt aan de werking van het cardiovasculaire systeem. Dat deze vakgroepen met een hoge impact geen MW-NWO-steun hebben verkregen, kan grotendeels verklaard worden doordat andere subsidiërende organen juist in de cardiologie een belangrijke rol spelen, met name de Nederlandse Hartstichting.

Een bibliometrisch profiel van de faculteit Geneeskunde in Leuven

Van de faculteiten Geneeskunde en Wetenschappen aan de universiteiten van Gent en Antwerpen, alsmede aan de KU Leuven, zijn uitgebreide bibliometrische profielen gemaakt. De figuren 2 en 3 tonen enkele resultaten met betrekking tot de faculteit Geneeskunde aan de KU Leuven. Teneinde trends zichtbaar te kunnen maken in deze periode heeft men tevens publikatie- en citatiescores per jaar berekend, gebruik makend van een zogeheten vast citatievenster van 4 jaar, zodat alleen de impact op korte termijn wordt berekend. Dit betekent dat ten aanzien van publikaties in 1980 citaties worden geteld die zijn behaald gedurende de periode 1980-1983. Voor publikaties uit 1988 worden citaties geteld uit de periode 1988-1991. De gemiddelde korte-termijnimpact van alle publikaties uit de faculteit is weergegeven alsmede het internationaal (korte-termijn)-citatiegemiddelde.

In verschillende Nederlandse medische faculteiten wordt een methode toegepast waarbij wetenschappelijke publikaties worden gewaardeerd op grond van de status van de tijdschriften waarin deze zijn opgenomen. Om de status van tijdschriften te meten gebruikt men dan citatiegegevens per tijdschrift, waarbij voor elk tijdschrift de gemiddelde impact wordt berekend van alle artikelen die erin zijn gepubliceerd (de zogeheten impactfactor). De feitelijke citatiefrequenties van de artikelen van een onderzoeksgroep spelen in deze methode geen enkele rol. Uit de onderzoeken van de Vlaamse faculteiten Geneeskunde is echter naar voren gekomen dat het buiten beschouwing laten van deze werkelijke citatiescores van artikelen van een groep tot een onvolledig beeld van de onderzoeksprestaties leidt.

De bibliometrische analysen laten zien dat de publikaties uit de faculteit Geneeskunde van de KU Leuven in vergelijking met het internationale gemiddelde zeer frequent worden geciteerd. De faculteit kent een groot aantal afdelingen die zich qua impact rond of boven het wereldgemiddelde bevinden, waaronder enkele topgroepen. Op grond van deze (en andere) cijfers kan de faculteit in haar totaliteit als een echte onderzoeksfaculteit worden getypeerd, met een internationaal prominente positie. De trendanalyse verschaft aanwijzingen dat deze positie in de loop van de jaren tachtig goed wordt gehandhaafd.

Commentaren van onderzoekers

Nederland

Aan 12 onderzoekers die duidelijke bindingen hadden met MW-NWO-netwerken werd het bibliometrisch profiel voorgelegd van het Nederlands medisch onderzoek in hun vakgebied zoals weergegeven in figuur 1. Dit profiel was voorzien van tentatieve conclusies. De belangrijkste vragen waren of het profiel naar hun mening een juist beeld gaf van de output, van de verdeling van de publikaties over de verschillende subdisciplines en in het bijzonder van de impact van het Nederlandse medisch onderzoek in het vakgebied gedurende de periode 1980-1989, en of het bruikbaar was in het wetenschaps- en onderzoeksbeleid.

De deelnemers uit de vakgebieden Farmacologie en Cardiologie waren het in grote lijnen eens met de resultaten met betrekking tot hun onderzoeksgebied en achtten de gegevens in principe op verschillende manieren bruikbaar in onderzoeks- en wetenschapsbeleid: voor faculteiten die een succesvol zwaartepunt kunnen beschermen of een zwak gebied stimuleren; voor subsidiegevers als NWO en de Nederlandse Hartstichting, die kunnen bepalen wat subdisciplineverdeling, output en impact per onderzoeksgroep opleveren; en voor het wetenschapsbeleid van de overheid, met onderzoeksscholen, verkenningen door de Koninklijke Nederlandse Akademie van Wetenschappen en selectieve stimulering.

Ten aanzien van het vakgebied Neurologie stelden de participerende onderzoekers dat figuur 1b geen juist beeld geeft van de impact van het Nederlands neurologisch onderzoek, dat zo'n figuur 1b dus ook niet bruikbaar is in het beleid en dat vooral de categorie ‘neurowetenschappen’ te heterogeen is. De methode is naar hun oordeel – althans in principe – waardevol en bruikbaar, mits deze zodanig wordt aangepast dat meer recht wordt gedaan aan verschillen in publikatie- en citatiekarakteristieken tussen klinische en basale onderzoeksactiviteiten in de neurowetenschappen. Overigens uitten ook verschillende onderzoekers uit andere deelgebieden, vooral uit het vakgebied Celbiologie, kritiek op de definitie van subdisciplines; het CWTS heeft plannen ontwikkeld om de gebruikte indeling te verbeteren.

Leuven

In de Leuvense studie zijn de resultaten voorgelegd aan de onderzoekers in alle betrokken afdelingen. Hun reacties op de bibliometrische analysen waren overwegend positief. In de door ons gepresenteerde impactcijfers kon men zich over het algemeen redelijk tot goed herkennen. Voor bibliometrische patronen konden verklaringen worden gegeven zoals toetreden dan wel vertrek van produktieve onderzoekers of een bepaald publikatiegedrag. Wij zijn daarbij een voorbeeld van een uiterst succesvolle publikatiestrategie tegengekomen: er was een geneeskundige groep die zich bewust richtte op het behalen van een zo groot mogelijke impact. Men gebruikte de bibliometrische analysen als instrument om de publikatiestrategie te evalueren en eventueel bij te stellen. Dit deed men onder andere door tijdschriften te kiezen met een hogere impactfactor. Door de bibliometrische analysen kon de eigen positie in beeld gebracht worden; verschillende onderzoekers uitten de wens dat het bibliometrische onderzoek over enkele jaren zou worden herhaald, zodat de effecten van de reeds ingezette wijzigingen van de publikatiestrategie gemeten zouden kunnen worden.

Conclusies ten aanzien van bruikbaarheid van bibliometrie

Nederland

De methoden lijken een redelijke mate van steun te ondervinden in de Nederlandse en Vlaamse gemeenschap van medische onderzoekers, alhoewel verschillende onderzoekers de nodige kritische kanttekeningen hebben geplaatst. Als een rode draad loopt door alle commentaren de stelling dat bij de toepassing van bibliometrische methoden het principe van hoor en wederhoor tot zijn recht dient te komen. Daartoe moeten op de eerste plaats de bibliometrische basisgegevens – in het bijzonder wanneer deze betrekking hebben op relatief kleine eenheden, zoals onderzoeksgroepen – door de betrokken onderzoekers op hun juistheid en volledigheid worden onderzocht. Op de tweede plaats zouden de betrokken onderzoekers in staat moeten worden gesteld kanttekeningen te plaatsen bij de interpretatie van de bibliometrische uitkomsten.

Het gebiedsbestuur MW is, mede op basis van de uitgevoerde vingeroefeningen op deelterreinen van de medische wetenschappen, van mening dat de in de CWTS-studie ontwikkelde indicatoren in het bijzonder een goede bijdrage kunnen leveren aan analysen van het medisch wetenschapsgebied en aan de evaluatie van de effectiviteit van de tweede geldstroom.

Het gebiedsbestuur wil graag de volgende kanttekeningen maken. De kracht van de studie is dat deze op basis van citatieanalysen een goede indruk kan geven van de internationale ‘zichtbaarheid’ van onderzoeksgroepen binnen de context van hun eigen deelterrein. Het gebiedsbestuur vindt dat opgepast moet worden voor toepassing van de analysemethoden op een te laag aggregatieniveau. Mede op basis van een controle-experiment bij de beoordeling van programmasubsidie-aanvragen is het gebiedsbestuur minder overtuigd van de toepassingsmogelijkheden van de analysemethode voor prospectieve doeleinden. Weliswaar spelen bij prospectieve beoordeling ook prestaties uit het verleden een rol, maar het gaat dan doorgaans om recente en ter zake doende prestaties. Voor een dergelijke beoordeling lopen citatieanalysen in tijd te veel achter. Onderzoeksgroepen kunnen in korte tijd een sterke ontwikkeling doormaken. Het doel van de tweede geldstroom is om vooral op dit soort ontwikkelingen adequaat in te springen, nog voordat de recentelijk verworven kwaliteit ook buiten het vakgebied wordt (h)erkend. Vooralsnog is het gebiedsbestuur MW er nog niet van overtuigd dat het toegevoegde waarde zou hebben om op basis van citatieanalysen prospectieve studies te laten uitvoeren naar toekomstige ontwikkelingen in de medische wetenschappen. De expertise die in het netwerk en bij de beoordelingscommissies aanwezig is, levert naar het inzicht van het gebiedsbestuur nog steeds recentere en gevoeliger informatie op omtrent kansrijke ontwikkelingen in deelterreinen van de medische wetenschappen.

De toepassingsmogelijkheden van de studie ziet het gebiedsbestuur MW dan ook vooral in retrospectieve studies betreffende (onderdelen van) de medische wetenschappen en in de retrospectieve analyse van het eigen handelen als tweede-geldstroomorganisatie. Bij dit laatste dient echter aangetekend te worden dat de tweede geldstroom niet alleen tot doel heeft om excellente kwaliteit te honoreren, maar ook om kansrijk maar risicodragend onderzoek te steunen en nieuwe ontwikkelingen mogelijk te maken. Te sterke nadruk op kwaliteit op grond van citatieanalysen kan risicomijdend gedrag bij de beoordeling in de hand werken. Bij het inslaan van een risicodragende weg zal immers geaccepteerd moeten worden dat een kansrijke ontwikkeling ook wel eens niet de gewenste vruchten afwerpt.

Leuven

De onderzoekscoördinatie van de KU Leuven onderschrijft ten volle de algemene conclusies van het hier voorgestelde bibliometrische onderzoek aan de medische faculteit van deze universiteit. Deze bibliometrische studies vindt ze een zeer bruikbaar instrument. Tevens erkent ze echter de noodzaak tot toelichting van de bekomen resultaten door de betrokken onderzoeksgroepen, zodat deze resultaten op hun juiste draagwijdte worden geëvalueerd en geïnterpreteerd. Deze toelichtingen kunnen er trouwens toe bijdragen dat het instrument wordt verfijnd, wat de bruikbaarheid ten goede komt.

Vooral voor klinisch of patiëntgebonden onderzoek zou de analyse van de bibliometrische resultaten aan representatieve duiding winnen wanneer deze resultaten eerder zouden worden getoetst aan die van een klinische discipline dan aan die van de basisdiscipline waarin men ze zou kunnen plaatsen. Zo verliest een onderzoek naar hemodynamische veranderingen bij bepaalde vasculaire ingrepen enorm aan bibliometrische impact wanneer het in de zeer brede context van de fysiologie wordt geplaatst. Hetzelfde geldt voor het relateren inzake impact van onderzoeken in klinische genetica aan de reusachtige wereld van de genetica, waarin ook artikelen voorkomen over gisten, bacteriën, moleculaire biologie et cetera. Clinici dreigen hier zeer zwaar ondergewaardeerd te worden.

Recente ervaring met het gebruik van de voor de KU Leuven geciteerde bibliometrische gegevens toont ook aan dat de waarschuwingen van de bibliometrische onderzoekers bij het maken van gevolgtrekkingen uit deze studie niet genoeg beklemtoond kunnen worden. Groepen slaan elkaar om de oren met louter aantallen publikaties, louter aantallen citaties, impactfactoren en globale posities zoals in figuur 2, verheffen bibliometrische gegevens tot absolute kwaliteitsindicatoren en krijgen blinde vlekken, onder meer voor de verhouding tussen output en groepsgrootte (die in dit onderzoek niet aan de orde was) en voor zovele andere aspecten waarmee in een evaluatie van het wetenschapsbedrijf rekening moet worden gehouden.

De onderzoekscoördinatoren van de KU Leuven beschouwen de bibliometrische analyse van onderzoeksresultaten als een zeer belangrijke graadmeter die toelaat deze resultaten globaal te situeren. Zij hoeden zich echter voor alles wat door subjectieve of verabsoluterende benadering of exploitatie de fundamenteel duidelijke bruikbaarheid van het instrument volkomen zou ontluisteren.

Met dank aan dr.R.E.de Bruin en drs.E.van Wijk, historici; J.Beerens, systeembeheerder; mw.drs.I.Vriend, drs.J.A.Schoneveld en mw.drs.A.Straathof, psychologen; en drs.J.G.M.van der Velde, socioloog (allen van het CWTS), en aan mw.J.A. Houben, econoom (KU Leuven), voor hun bijdragen aan dit onderzoek.