Het BMJ heeft moeten vaststellen dat haar reviewers niet zo goed zijn als gedacht. Uit een test bleek dat van belangrijke methodologische fouten slechts een derde wordt opgemerkt.

In een onderzoek werd een groep van ruim 600 reviewers in drieën gesplitst. Een groep kreeg een schriftelijke handleiding hoe artikelen te beoordelen. Een andere groep kreeg persoonlijke uitleg en de derde groep kreeg geen onderricht hoe een artikel te beoordelen. Daarna kregen alle reviewers 3 manuscripten te beoordelen die elk 9 belangrijke en 5 minder belangrijke fouten bevatten.

Het aantal opgemerkte belangrijke fouten varieerde over de 3 manuscripten. Opmerkelijk genoeg had de scholingsinterventie weinig of geen effect. In manuscript 1 vonden de reviewers gemiddeld 2,6 van de 9 belangrijke fouten. In het tweede en derde manuscript was dit respectievelijk 2,7 en 3,1.

Vertekende randomisatie was de fout die het meest frequent in de 3 manuscripten werd opgemerkt. De fout werd in minder dan 40% bij alle 3 manuscripten opgemerkt. ...