Reviewers <i>BMJ</i> geen baat bij cursus

Reviewers <i>BMJ</i> geen baat bij cursus
Open

Nieuws
06-01-2009

Het BMJ heeft moeten vaststellen dat haar reviewers niet zo goed zijn als gedacht. Uit een test bleek dat van belangrijke methodologische fouten slechts een derde wordt opgemerkt.

In een onderzoek werd een groep van ruim 600 reviewers in drie├źn gesplitst. Een groep kreeg een schriftelijke handleiding hoe artikelen te beoordelen. Een andere groep kreeg persoonlijke uitleg en de derde groep kreeg geen onderricht hoe een artikel te beoordelen. Daarna kregen alle reviewers 3 manuscripten te beoordelen die elk 9 belangrijke en 5 minder belangrijke fouten bevatten.

Het aantal opgemerkte belangrijke fouten varieerde over de 3 manuscripten. Opmerkelijk genoeg had de scholingsinterventie weinig of geen effect. In manuscript 1 vonden de reviewers gemiddeld 2,6 van de 9 belangrijke fouten. In het tweede en derde manuscript was dit respectievelijk 2,7 en 3,1.

Vertekende randomisatie was de fout die het meest frequent in de 3 manuscripten werd opgemerkt. De fout werd in minder dan 40% bij alle 3 manuscripten opgemerkt. 60% van de reviewers die de fout opmerkte wees publicatie af. Reviewers die publicatie niet afwezen vonden over het algemeen minder fouten.

De studie laat zien hoe weinig effectief peer review is, schrijven de auteurs. Zelfs na training werden fundamentele fouten niet opgemerkt. Vooralsnog lijkt de enige oplossing een manuscript door meerdere reviewers te laten beoordelen. (J R Soc Med. 2008;101:507-14)