Aanvragen Ontwikkelingsgeneeskunde: de beoordeling van de wetenschappelijke kwaliteit door de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO)

- The Council for Medical and Health Research (MW-NWO) assessed the scientific quality of research proposals submitted to the Dutch Investigative Medicine Fund, and analysed if there had been changes over time in the proportion of proposals which the MW-NWO advised to reject, the role of reports of external reviewers and the most important methodological flaws.

In the period 1995-1999 ‘reject’ had been advised for an average of 50 of the proposals, with a tendency to a smaller proportion in recent years. In nearly half of the proposals the judgements of external reviewers were not in agreement with each other. There was only a weak correlation between the judgements of the reviewers and the final advice of NWO.

Among the most important flaws mentioned in the NWO advice were: efficacy not proven (a prerequisite for the Fund), proposed study not needed to solve the policy problem and methodological flaws, e.g. design and power calculation not adequate, deficiencies of inclusion and exclusion criteria.

Samenvatting

Een analyse vond plaats van de wetenschappelijke beoordelingen van projectaanvragen ingediend in het kader van het programma Ontwikkelingsgeneeskunde, dat van 1988-1999 door de toenmalige Ziekenfondsraad werd uitgevoerd. Deze beoordelingen werden aan de Ziekenfondsraad uitgebracht door het gebied Medische Wetenschappen van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). In het bijzonder werd vanaf 1995 nagegaan welk deel van de aanvragen een advies tot afwijzen kreeg, wat de correlatie was tussen aan de ene kant de rapporten van externe deskundigen/referenten onderling en aan de andere kant het NWO-advies, en welke afwijzingsgronden werden aangevoerd.

Het percentage NWO-adviezen tot afwijzen lag in 1995-1999 rond de 50, met een dalende tendens. De beoordelingen door externe deskundigen voor eenzelfde aanvraag kwamen voor circa de helft van de aanvragen weinig overeen. Er was slechts een geringe correlatie tussen de referentenoordelen en het commissieoordeel.

Als belangrijkste afwijzingsgronden werden aangevoerd: de werkzaamheid van de te onderzoeken interventie is niet voldoende bewezen, dan wel te vroeg voor een kosteneffectiviteitsanalyse; er is twijfel aan de noodzaak van het voorgestelde onderzoek en er zijn methodologische knelpunten, zoals ongeschiktheid van de onderzoeksopzet, onvoldoende onderbouwing van de groepsgrootte, problemen met in-/exclusiecriteria.