Overdreven gezondheidsnieuws

Relatie tussen overdrijving in academische persberichten en in nieuwsmedia
Onderzoek
02-01-2018
Joop Schat, Francien G. Bossema, Mattijs E. Numans, Ionica Smeets en Peter Burger

Reacties (2)

Inloggen om een reactie te plaatsen
sjoerd ritsma
12-03-2019 12:05

Statistische precisie en studiedesign

In dit artikel vergeleken de auteurs persberichten over gezondheidsonderzoek die door Nederlandse universiteiten en universitaire medische centra zijn uitgebracht met de oorspronkelijke peer-reviewed artikelen en gingen zij na of de belangrijkste conclusies of claims overdreven waren. De auteurs beschrijven hun meetproces als volgt: “We gaven [..] een code voor de stelligste bewering over een conclusie of claim volgens een schaal met zes opties: (a) geen relatie; (b) expliciet geen relatie (‘wijn veroorzaakt geen kanker’); (c) correlatie of ambigu verband (‘wijn gerelateerd aan kanker’); (d) voorwaardelijke causaliteit (‘wijn zou kanker kunnen veroorzaken’); (e) mogelijke causaliteit (‘wijn kan kanker veroorzaken’); en (f) causaliteit (‘wijn veroorzaakt kanker’). We constateerden overdrijving wanneer een onderdeel van de keten studie-persbericht-nieuwsbericht een hogere code kreeg dan het voorafgaande deel of de voorafgaande delen.”

Hoewel het artikel niet beschrijft wat onder een ‘hogere code’ werd verstaan, nemen we aan dat men de hiërarchie f>e>d>c>b>a hanteerde. Indien dit zo is, is ons bezwaar tegen deze methode dat voor de stelling “expliciet geen relatie” (minstens) even sterk (statistisch) bewijs nodig is als voor de stelling “causaliteit”. ‘Evidentie voor (expliciet) geen relatie’ is immers niet hetzelfde als ‘geen evidentie voor een relatie’. Het laatste wordt meestal geconcludeerd bij een p-waarde > 0.05, ongeacht de grootte van het verschil, terwijl voor de eerste claim het verschil heel klein én het betrouwbaarheidsinterval nauw dient te zijn. De volgorde (b=f)>(a=c)>(d=e) ligt volgens ons meer voor de hand. Mogelijk lopen twee concepten door elkaar heen: statistische precisie (a, c) en een studiedesign dat causaliteitsoordelen acceptabel(er) maakt (b, f). Als wij gelijk hebben, is heranalyse van de gegevens waarschijnlijk de aangewezen weg.

Sjoerd Ritsma (co-assistent, AUMC, locatie Meibergdreef)  

Dr. Gerben ter Riet (arts-epidemioloog, Hogeschool van Amsterdam, ACHIEVE center & AUMC (locatie Meibergdreef), afdeling cardiologie)

Mattijs E Numans
02-04-2019 17:02

reactie auteurs

Wij danken de heren Ritsma en Ter Riet voor hun reactie. De analyse van persberichten vraagt om methoden die ook bij kritische beschouwing overeind blijven. Ook hier schuilt, op een andere manier, het gevaar van overdrijving. In ons artikel kijken we naar de overdrijving van in het oorspronkelijke wetenschappelijke artikel aangegeven relaties, in op dat artikel gebaseerde pers- en nieuwsberichten. We doen dat op dezelfde manier als dat gebeurt in de bij ons artikel gerefereerde eerdere studies van Sumner et al. Daar komt de gepresenteerde ordening vandaan. Inderdaad heeft die ordening een hiërarchie, maar hij is niet ordinaal. De afstanden tussen de verschillende stappen zijn kwalitatief niet gelijk en o.m. dat beperkt de mogelijkheden om precieze uitspraken te doen, hoe graag ook wij dat wellicht ook zouden willen. Dank voor de suggesties. Meer in detail het volgende:

* Classificatie (a) is zeker niet gelijk aan (c), omdat (a) eigenlijk zou moeten zijn 'geen relatie genoemd'. Dit is een categorie die niet te overdrijven valt, omdat er niets genoemd wordt dat kan worden overdreven.

* Gebaseerd op een vervolgartikel van Adams, Sumner et al (1) uit 2017, hebben wij inmiddels in een heranalyse (2) (c) en (d) samengevoegd in plaats van uw suggestie te volgen (d) en (e) samen te voegen. Adams et al. vonden namelijk wel een verschil in perceptie van de lezers tussen (d) en (e). De samenvoeging (c) en (d) had in ons geval slechts effect op één persbericht, dat daardoor in de nieuwe analyse niet overdreven is, waar het dat eerst wel was. Dat zou een gering effect op onze conclusies hebben, omdat er juist aan dit (nu “niet overdreven”) persbericht geen nieuwsberichten verbonden waren.

* In dit soort studies wordt puur gekeken wordt naar hoe de sterkte van de relatie wordt overdreven, daarom staat (b) in deze ordening een heel stuk onder (f). Zoals Ritsma en ter Riet terecht opmerken kan er inderdaad nog veel meer mis gaan dan de vormen van overdrijving die wij in onze vorig jaar in NTvG gepubliceerde studie hebben onderzocht.

* Al onze gegevens zijn open source data3, net als die van de eerdere Britse studies. Wij houden ons aanbevolen voor experimenten met andere analyses die anderen willen doen, gebaseerd op onze data.

Mattijs Numans,

Francien Bossema,

Ionica Smeets,

Peter Burger,

Joop Schat

 

1.            Adams RC, Sumner P, Vivian-Griffiths S, Barrington A, Williams A, Boivin J, Chambers CD, Bott L. How readers understand causal and correlational expressions used in news headlines. J Exp Psychol Appl. 2017 Mar;23(1):1-14.

2.            Bossema FG, Burger P, Bratton L, Challenger A,  Adams RC, Sumner P, Schat J, Numans ME, Smeets I.  Improving the quality of health news: the relation between expert quotes and exaggeration - a study in the United Kingdom and The Netherlands. In press, Wellcome Open Research.

3.            Schat, J., Bossema, FG, Numans, ME, Smeets, I, Burger,P. Medisch nieuws in de media. DANS 2017. https://doi.org/10.17026/dans-z9w-h6pn