Relatie tussen overdrijving in academische persberichten en in nieuwsmedia

Overdreven gezondheidsnieuws

Onderzoek
Joop Schat
Francien G. Bossema
Mattijs E. Numans
Ionica Smeets
Peter Burger
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2018;162:D1936
Abstract
Download PDF

Rectificatie

De affiliatie van de eerste auteur was niet juist vermeld. Dit moet zijn:

LUMC, afd. Public Health en Eerstelijnsgeneeskunde, Leiden.
Drs. J. Schat, wetenschapsstagiair (thans: anios, Alrijne Ziekenhuis, afd. Interne geneeskunde, Leiderdorp.)

Samenvatting

Doel

Bepalen hoe vaak pers- en nieuwsberichten overdrijvingen bevatten en onderzoeken waar in het traject tussen wetenschappelijke publicatie en nieuwsbericht deze overdrijving ontstaat.

Opzet

Retrospectieve kwantitatieve inhoudsanalyse.

Methode

We analyseerden persberichten over gezondheidsonderzoek die door de Nederlandse universiteiten en universitaire medische centra in 2015 waren uitgebracht (n = 129) en de aan die persberichten gerelateerde berichten in de nieuwsmedia (n = 185).

Resultaten

20% van de persberichten en 29% van de nieuwsberichten bevatten overdrijving van de conclusie of causale claim. Expliciet gezondheidsadvies werd indien aanwezig overdreven in 7% van de persberichten en in 10% van de nieuwsberichten. Wanneer het persbericht een overdrijving van de conclusie of causale claim bevatte, stond in 92% van de gerelateerde nieuwsberichten dezelfde overdrijving. Als de conclusie in het persbericht niet overdreven was, was 6% van de nieuwsberichten overdreven. De relatieve kans op overdreven nieuws bij een overdreven persbericht was 16,08 (95%-BI: 7,35-35,18). Bij overdreven persberichten hoorde vaker een nieuwsbericht. De relatieve kans op een nieuwsbericht bij een overdreven persbericht tegenover een niet-overdreven persbericht was 1,45 (95%-BI: 1,02-2,04).

Conclusie

Overdrijving in gezondheidsnieuws gaat sterk gepaard met overdrijving in het oorspronkelijke persbericht en komt voor bij meer dan 1 op de 5 artikelen. Het monitoren en zo nodig verbeteren van de nauwkeurigheid en juistheid van academische persberichten lijken een belangrijke stap om de kwaliteit van gezondheidsnieuws te verhogen.

Leerdoelen
  • Overdrijving in medisch nieuws betreft causaliteit (presentatie van correlaties als gevallen van oorzaak en gevolg, en van voorwaardelijke causaliteit als causaliteit) en in minder mate het verstrekken van gezondheidsadvies dat niet wordt ondersteund door de onderhavige studie.
  • In Nederlands nieuws over medisch onderzoek van universiteiten en academische ziekenhuizen hangt overdrijving samen met overdrijving in persberichten.
  • Anders dan in eerder onderzoek uit het Verenigd Koninkrijk vonden wij een positief verband tussen overdrijving in persberichten en de hoeveelheid media-aandacht.
  • Academische persvoorlichters moeten zorgen voor accuratere persberichten om de kwaliteit van medisch gezondheidsnieuws te verbeteren.

artikel

Inleiding

Nieuwsmedia berichten regelmatig over gezondheidsgerelateerde onderwerpen en zijn voor veel mensen een belangrijke bron van informatie over gezondheid.1 Deze berichtgeving kan invloed hebben op gezondheidsgedrag en op het gebruik van de gezondheidszorg. Foutieve rapportage kan gevaarlijk zijn.1-3

In deze studie kijken we naar één soort onjuistheid: overdrijving. Een voorbeeld uit ons materiaal is een nieuwsbericht met de claim dat meer dan 2 uur televisie kijken kinderen dik maakt, terwijl het medische artikel slechts rapporteert dat de buikomvang mogelijk iets toegenomen was en er expliciet geen significante relatie met de BMI gevonden werd.4,5 Een ander voorbeeld is een onderzoek waarin werd aangetoond dat borstkankerscreening het risico verlaagt om aan borstkanker te overlijden, waarbij het nieuwsbericht beweert dat screening het risico verlaagt om borstkanker te kríjgen, een totaal andere variabele.6,7

We richten ons in dit artikel voornamelijk op het overdrijven van verbanden. Een mogelijk verband tussen een snelle hartslag en een lagere levensverwachting kwam bijvoorbeeld groot in het nieuws met de claim ‘mens met traag hart leeft 2,5 jaar langer’, waarbij het nieuwsbericht de relatie causaal maakte en ook ongefundeerd omdraaide.8,9

Voor gezondheidsnieuws zijn persberichten over academisch medisch onderzoek een belangrijke bron. Een persbericht verhoogt de kans dat een onderzoek in het nieuws komt.10 Doordat van journalisten in toenemende mate verwacht wordt meer productie te leveren in minder tijd, zijn deze persberichten de belangrijkste schakel geworden tussen de academie en de media. Het is dan ook aannemelijk dat veel informatie uit het persbericht al dan niet letterlijk wordt overgenomen in het nieuwsbericht.11

Goede kwaliteit van het persbericht is daarom van belang. Persvoorlichters en onderzoekers delen de verantwoordelijkheid voor deze persberichten, aangezien zij deze samen opstellen.12 Overdrijving van onderzoekresultaten kan overigens ook al in een eerder stadium ontstaan: in een studie van berichtgeving over RCT’s bleek dat overdrijving (‘spin’) in persberichten samenhing met overdrijving in het abstract van de corresponderende wetenschappelijke publicatie.13

Hoewel de door de patiënt ervaren kwaliteit van de arts de grootste impact heeft op een succesvolle arts-patiëntrelatie, blijft een verschil in kennis en verwachting een hinderlijke factor in de spreekkamer.14 Kennis en verwachting hebben echter een belangrijke invloed op de behandelrespons en de klinische uitkomst van een consult.15 De kwaliteit van de gepubliceerde informatie is hierbij van groot belang. Accurate en juiste informatie heeft een positieve invloed op de arts-patiëntrelatie, terwijl onjuiste informatie hier juist schadelijk voor is.14 Afgezien van zorgen over het effect van internet en gezondheidsnieuws, hebben deze fenomenen ook de potentie om bij patiënten meer betrokkenheid te kweken bij hun gezondheid en de gezondheidszorg.16,17

Uit verschillende onderzoeken blijkt dat de accuraatheid van medisch nieuws te wensen overlaat. Vooral populaire nieuwsmedia en gratis kranten verschaffen weinig details als ze over neurowetenschappelijk onderzoek berichten, zo bleek uit een studie van Nederlands nieuws op dit gebied.18 Overdrijving is echter maar voor een deel te wijten aan de betrokken journalisten. In een grote kwantitatieve inhoudsanalyse onderzochten Sumner et al. in 2014 overdrijving in gezondheidsnieuws in het Verenigd Koninkrijk, door wetenschappelijke artikelen, academische persberichten en nieuwsberichten over dezelfde onderzoeken te vergelijken.11

Hun belangrijkste conclusie was dat overdrijving in het nieuws sterk gerelateerd is aan overdrijving in het persbericht. Als het persbericht causale claims overdreef (33%), deed 81% van de nieuwsberichten dit ook, tegenover 18% als het persbericht niet overdreven was. Er was geen bewijs dat overdrijving in het persbericht de kans op het verschijnen van een nieuwsbericht voor het betreffende persbericht verhoogde.11 Een vervolgstudie met persberichten van wetenschappelijke tijdschriften leverde vergelijkbare resultaten.19

Onze studie is de eerste replicatie van de inhoudsanalyse van Sumner et al. in een niet-Engelstalige omgeving. Onze hoofdvraag was of er in Nederland ook een sterk verband is tussen overdreven persberichten en overdrijving in de nieuwsmedia. Daarnaast gingen we na of overdreven persberichten vaker in de media komen.

Methode

We verrichtten een kwantitatieve inhoudsanalyse van materiaalsets, die bestonden uit een persbericht, het bijbehorend wetenschappelijke artikel en de daaraan gerelateerde nieuwsberichten. Als basis namen we alle persberichten van universiteiten en universitair medische centra uit 2015 die verschenen naar aanleiding van een ‘peer-reviewed’ artikel over gezondheidsgerelateerd biomedisch of psychologisch onderzoek (n = 141) (figuur). We excludeerden 12 persberichten die over meer dan 1 artikel gingen. Van de 129 persberichten die we includeerden kwamen 105 van een universitair medisch centrum en 24 van een universiteit. Voor elk persbericht zochten we het bijbehorende peer-reviewed artikel.

Nieuwsartikelen werden verkregen via de persdatabank LexisNexis en Google. We onderzochten berichten uit de landelijke kranten en hun websites (AD, De Telegraaf, Nederlands Dagblad, Metro, NRC Handelsblad, NRC Next, Het Parool, Reformatorisch Dagblad, Trouw, de Volkskrant), van de nieuwssite NU.nl, van de nieuwsorganisaties NOS en RTL Nieuws, en van persbureau ANP.

Twee codeurs codeerden het materiaal onafhankelijk van elkaar in Microsoft Excel met een codeboek gebaseerd op een bewerkte en afgeslankte versie van de ‘Full coding guidelines’ van Sumner et al.11 De codeurs codeerden onafhankelijk van elkaar en hadden een gemiddelde overeenkomst van 90%, met een overeenkomst van minimaal 75% voor elke variabele. Cohens kappa was voor alle relevante variabelen hoger dan 0,67, met een gemiddelde waarde van 0,77. Dit geeft aan dat de intercodeursbetrouwbaarheid goed was.

Het peer-reviewed artikel gold als basis waar we pers- en nieuwsberichten mee vergeleken. Onze focus lag op de analyse van de belangrijkste conclusie of claim en de eventuele overdrijving daarvan.

We gaven elke variabele een code voor de pers- en nieuwsberichten en vergeleken deze met het gerelateerde peer-reviewed artikel, om te bepalen of er sprake was van overdrijving. We gaven bijvoorbeeld een code voor de stelligste bewering over een conclusie of claim volgens een schaal met zes opties: (a) geen relatie; (b) expliciet geen relatie (‘wijn veroorzaakt geen kanker’); (c) correlatie of ambigu verband (‘wijn gerelateerd aan kanker’); (d) voorwaardelijke causaliteit (‘wijn zou kanker kunnen veroorzaken’); (e) mogelijke causaliteit (‘wijn kan kanker veroorzaken’); en (f) causaliteit (‘wijn veroorzaakt kanker’). We constateerden overdrijving wanneer een onderdeel van de keten studie-persbericht-nieuwsbericht een hogere code kreeg dan het voorafgaande deel of de voorafgaande delen.

Andere belangrijke variabelen die we onderzochten waren expliciet gezondheidsadvies en het gebruikte ‘monster’ (bijvoorbeeld mensen of muizen). Voor deze variabelen werd op een soortgelijke manier gecodeerd voor mate van overdrijving. Het codeboek, de gegevens en de code voor de analyse (in RStudio) zijn verkrijgbaar bij de auteurs.

Resultaten

Overdrijving in pers- en nieuwsberichten

Gemiddeld vonden we 1,43 nieuwsberichten per persbericht (zie de figuur), al leverden sommige persberichten 0 nieuwsberichten op en andere 10. In 20% van de persberichten en in 28% van de nieuwsberichten werd een causale relatie overdreven ten opzichte van de hoofdconclusie van het onderzoeksartikel (tabel 1).

Een voorbeeld was de negatieve relatie tussen de ziekte van Parkinson en een creatief beroep die werd beschreven in een peer-reviewed artikel, waarbij het persbericht en de nieuwsberichten claimden dat creatieve beroepen zouden beschermen tegen de ziekte van Parkinson.20,21 Aangesproken door een factchecker van de Volkskrant reageerde een van de onderzoekers dat haar onderzoeksresultaten ongenuanceerd en onjuist in het nieuws waren gekomen, aangezien het oorspronkelijke artikel een correlatie beschreef en geen causaliteit.22

Expliciet gezondheidsadvies werd overdreven in 7% van de persberichten en in 10% van de nieuwsberichten. Overdrijving van het monster, zoals de studie ‘mensonderzoek’ noemen in plaats van ‘dieronderzoek’, kwam in de onderzochte gegevens niet voor.

Relatie tussen overdrijving in nieuws- en in persbericht

Wij onderzochten hoe vaak overdrijving van causaliteit in de conclusie voorkwam in het nieuws, bij respectievelijk wel of geen overdrijving in het persbericht. Merk op dat bij één persbericht meer nieuwsberichten konden horen en dat we de pers- en nieuwsberichten waarin geen causale relatie werd genoemd, niet meenamen in deze analyse. Als de conclusie in het persbericht overdreven was, was 92% van de daarbij behorende nieuwsberichten ook overdreven. Als de conclusie in het persbericht niet overdreven was, was 6% van de nieuwsberichten overdreven. De relatieve kans op overdrijving van de conclusie in een nieuwsbericht als het persbericht overdreven was, was 16,08 (95%-BI: 7,35-35,18) (zie tabel 1).

Effect op nieuwsovername

We onderzochten ook of het overdrijven van het persbericht de verschijning van nieuwsberichten stimuleert. Van alle nieuwsberichten (n = 185) hoorde 20% bij een overdreven persbericht en 60% bij een niet-overdreven persbericht; de overige nieuwsberichten hoorden bij een persbericht zonder een expliciete uitspraak over causaliteit. Per overdreven persbericht verschenen 1,76 nieuwsberichten tegenover 1,31 nieuwsberichten na een niet-overdreven persbericht, bij gemiddeld de eerdergenoemde 1,43 nieuwsberichten per persbericht.

De relatieve kans dat er bij een overdreven, niet-overdreven of overig persbericht een nieuwsbericht verscheen, varieerde op dezelfde manier. De relatieve kans dat er bij een overdreven persbericht een nieuwsbericht verscheen was groter dan bij een niet-overdreven persbericht (1,45; 95%-BI: 1,02-2,04) (tabel 2).

Beschouwing

Overdrijving in nieuwsberichten was sterk gerelateerd aan overdrijving in persberichten. Dit komt overeen met de belangrijkste uitkomst in het onderzoek van Sumner et al.11 De percentages overdrijving in de Nederlandse artikelen waren iets lager. Dit is gedeeltelijk te verklaren doordat de oorspronkelijke studie meer mogelijke niveaus van verbanden gebruikte. Maar omdat een recente studie liet zien dat krantenlezers geen verschil ervaren tussen sommige van die niveaus, gebruikten wij minder tussenstappen.23

Een verschil met de studies uit het Verenigd Koninkrijk is dat in ons onderzoek overdrijving van het monster, zoals het vertalen van dier- naar mensonderzoek, niet voorkwam. Misschien hangt dit samen met nationale ethische normen rond het rapporteren van dierproeven.

Een ander verschil is dat in Nederland overdreven persberichten vaker de media haalden dan persberichten zonder overdrijving. Sumner et al. toonden op dit punt geen verschil aan. Het verschil dat wij in ons onderzoek vonden is klein en een eventuele verklaring vraagt om nader Engels en Nederlands onderzoek van bijvoorbeeld de criteria die redacties hanteren voor het al dan niet overnemen van nieuws.

Onze uitkomsten zijn correlationeel en dus geen bewijs voor een causale relatie tussen overdrijving in persberichten en overdrijving in gezondheidsnieuws en tussen overdreven persberichten en meer nieuwsberichten. Hoewel persberichten een van de belangrijkste bronnen van gezondheidsnieuws zijn voor journalisten,10 kunnen we strikt genomen niet uitsluiten dat journalisten hun verhaal baseren op het peer-reviewed artikel of op een ander nieuwsbericht, zonder het persbericht te raadplegen. Tijdens het coderen zagen we echter dat nieuwsberichten relatief vaak het persbericht exact kopieerden, waardoor overdrijving in het persbericht ook direct in het nieuwsbericht terechtkwam en overdreven persberichten misschien ook eerder werden overgenomen.

Praktische implicaties

We zagen dat bij overdreven gezondheidsnieuws in de media vaak overdreven persberichten hoorden. De academische wereld lijkt dus medeverantwoordelijk voor de geconstateerde overdrijving. Bovendien hoorden er meer nieuwsberichten bij overdreven persberichten.

We adviseren onderzoekers daarom om samen met voorlichters de nauwkeurigheid van hun persberichten te controleren, bijvoorbeeld door een checklist te gebruiken zoals de universiteit van Leicester heeft (www2.le.ac.uk/offices/external/news/publicising/how-to-write-a-press-release/press-release-checklist).Wij stellen voor de vragen concreter te maken, bijvoorbeeld met checks als ‘Is de claim in het onderzoek even sterk als in het persbericht?’ en ‘Geeft het persbericht geen overdreven gezondheidsadvies?’

Daarnaast kan een Nederlandse versie van het Science Media Centre (www.sciencemediacentre.org/publications/publications-for-journalists) helpen bij het verspreiden van correct gezondheidsnieuws, door journalisten naast persberichten ook factsheets, analyses en citaten van experts te sturen. Uiteraard blijven journalisten verantwoordelijk voor wat zij publiceren en moeten zij hun bronnen goed nagaan en een ‘second opinion’ vragen van een onafhankelijke expert.

In Groot-Brittannië loopt nu een gerandomiseerd onderzoek waarin men persberichten op bepaalde aspecten verbetert en kijkt of dit leidt tot betere nieuwsberichten. Een interessante vervolgstudie zou zijn om te onderzoeken welke impact onjuiste nieuwsberichten op de samenleving hebben, bijvoorbeeld door na te gaan of overdreven berichten leiden tot meer onnodig huisartsbezoek. Daarnaast kan kwalitatief onderzoek inzicht bieden in hoe onderzoekers, persvoorlichters en journalisten hun rol zien bij het rapporteren van gezondheidsnieuws.

Conclusie

Het overdrijven van verbanden in Nederlands gezondheidsnieuws is sterk gerelateerd aan overdrijving in het bijbehorende persbericht en komt voor bij meer dan 1 op de 5 artikelen. Bovendien resulteren overdreven persberichten in een groter aantal nieuwsberichten. Het monitoren en zo nodig verbeteren van de nauwkeurigheid en juistheid van academische persberichten lijken daarom een belangrijke stap om de kwaliteit van gezondheidsnieuws te verhogen.

Meer informatie kunt u hier vinden. 

Literatuur
  1. Grilli R, Ramsay C, Minozzi S. Mass media interventions: effects on health services utilisation. Cochrane Database Syst Rev. 2002;(1):CD000389 Medline.

  2. Phillips DP, Kanter EJ, Bednarczyk B, Tastad PL. Importance of the lay press in the transmission of medical knowledge to the scientific community. N Engl J Med. 1991;325:1180-3. Medlinedoi:10.1056/NEJM199110173251620

  3. Schwitzer G. How do US journalists cover treatments, tests, products, and procedures? An evaluation of 500 stories. PLOS Med. 2008;5:e95. Medlinedoi:10.1371/journal.pmed.0050095

  4. Chinapaw MJ, Altenburg TM, van Eijsden M, Gemke RJ, Vrijkotte TG. Screen time and cardiometabolic function in Dutch 56 year olds: cross-sectional analysis of the ABCD-study. BMC Public Health. 2014;14:933. Medlinedoi:10.1186/1471-2458-14-933

  5. ‘Lang televisiekijken maakt jonge kinderen dikker’. NU.nl. 26 september 2014.

  6. Lauby-Secretan B, Scoccianti C, Loomis D, et al; International Agency for Research on Cancer Handbook Working Group. Breast-cancer screening–viewpoint of the IARC Working Group. N Engl J Med. 2015;372:2353-8. Medlinedoi:10.1056/NEJMsr1504363

  7. Borstkankerscreening redt echt levens. NRC. 9 juni 2015.

  8. Eppinga RN, Hagemeijer Y, Burgess S, et al. Identification of genomic loci associated with resting heart rate and shared genetic predictors with all-cause mortality. Nat Genet. 2016;48:1557-63. Medlinedoi:10.1038/ng.3708

  9. Köhler W. Mens met traag hart leeft 2,5 jaar langer. NRC. 31 oktober 2016.

  10. De Semir V, Ribas C, Revuelta G. Press releases of science journal articles and subsequent newspaper stories on the same topic. JAMA. 1998;280:294-5. Medlinedoi:10.1001/jama.280.3.294

  11. Sumner P, Vivian-Griffiths S, Boivin J, et al. The association between exaggeration in health related science news and academic press releases: retrospective observational study. BMJ. 2014;349:g7015. Medlinedoi:10.1136/bmj.g7015

  12. Woloshin S, Schwartz LM, Casella SL, Kennedy AT, Larson RJ. Press releases by academic medical centers: not so academic? Ann Intern Med. 2009;150:613-8. Medlinedoi:10.7326/0003-4819-150-9-200905050-00007

  13. Yavchitz A, Boutron I, Bafeta A, et al. Misrepresentation of randomized controlled trials in press releases and news coverage: a cohort study. PLOS Med. 2012;9:e1001308. Medlinedoi:10.1371/journal.pmed.1001308

  14. Laugesen J, Hassanein K, Yuan Y. The impact of internet health information on patient compliance: a research model and an empirical study. J Med Internet Res. 2015;17:e143. Medlinedoi:10.2196/jmir.4333

  15. Main CJ, Buchbinder R, Porcheret M, et al. Addressing patient beliefs and expectations in the consultation. Best Pract Res Clin Rheumatol. 2010;24:219-25. Medline

  16. Murray E, Lo B, Pollack L, et al. The impact of health information on the Internet on health care and the physician-patient relationship: national U.S. survey among 1.050 U.S. physicians. J Med Internet Res. 2003;5:e17. Medlinedoi:10.2196/jmir.5.3.e17

  17. Ecker UK, Lewandowsky S, Chang EP, Pillai R. The effects of subtle misinformation in news headlines. J Exp Psychol Appl. 2014;20:323-35. Medlinedoi:10.1037/xap0000028

  18. Van Atteveldt NM, van Aalderen-Smeets SI, Jacobi C, Ruigrok N. Media reporting of neuroscience depends on timing, topic and newspaper type. PLOS ONE. 2014;9:e104780. Medlinedoi:10.1371/journal.pone.0104780

  19. Sumner P, et al. Exaggerations and caveats in press releases and health-related science news. PLOS ONE. 2016;11:e0168217. Medline

  20. Creatieveling heeft minder kans op Parkinson. De Telegraaf. 3 juli 2015.

  21. Barbier J. Verkleint een creatief beroep de kans op Parkinson? de Volkskrant. 8 juli 2015.

  22. Haaxma CA, Borm GF, van der Linden D, Kappelle AC, Bloem BR. Artistic occupations are associated with a reduced risk of Parkinson’s disease. J Neurol. 2015;262:2171-6. Medlinedoi:10.1007/s00415-015-7828-y

  23. Adams RC, et al. How readers understand causal and correlational expressions used in news headlines. J Exp Psychol Appl. 2017;23:1-14. Medline

Auteursinformatie

LUMC, afd. Public Health en Eerstelijnsgeneeskunde, Leiden.

Drs. J. Schat, wetenschapsstagiair (thans: anios, Alrijne Ziekenhuis, afd. Interne geneeskunde, Leiderdorp.)

Universiteit Leiden, Leiden.

Onderzoeksgroep Science Communication and Society: F.G. Bossema, BSc, masterstudent; prof.dr.ir. I. Smeets, wetenschapsjournalist.

Mediastudies/Journalistiek en Nieuwe Media: dr. P. Burger, journalist.

LUMC, afd. Public Health en Eerstelijnsgeneeskunde, Leiden en LUMC-Campus Den Haag.

Prof.dr. M.E. Numans, huisarts.

Contact prof.dr. M.E. Numans (m.e.numans@lumc.nl)

Belangenverstrengeling

Belangenconflict en financiële ondersteuning: I. Smeets is columnist voor een van de onderzochte kranten. Zij was niet betrokken bij het verzamelen, coderen en analyseren van de betreffende gegevens. Er zijn daarnaast mogelijke belangen gemeld bij dit artikel. ICMJE-formulieren met de belangenverklaring van de auteurs zijn online beschikbaar bij dit artikel.

Auteur Belangenverstrengeling
Joop Schat ICMJE-formulier
Francien G. Bossema ICMJE-formulier
Mattijs E. Numans ICMJE-formulier
Ionica Smeets ICMJE-formulier
Peter Burger ICMJE-formulier

Gerelateerde artikelen

Reacties

sjoerd
ritsma

In dit artikel vergeleken de auteurs persberichten over gezondheidsonderzoek die door Nederlandse universiteiten en universitaire medische centra zijn uitgebracht met de oorspronkelijke peer-reviewed artikelen en gingen zij na of de belangrijkste conclusies of claims overdreven waren. De auteurs beschrijven hun meetproces als volgt: “We gaven [..] een code voor de stelligste bewering over een conclusie of claim volgens een schaal met zes opties: (a) geen relatie; (b) expliciet geen relatie (‘wijn veroorzaakt geen kanker’); (c) correlatie of ambigu verband (‘wijn gerelateerd aan kanker’); (d) voorwaardelijke causaliteit (‘wijn zou kanker kunnen veroorzaken’); (e) mogelijke causaliteit (‘wijn kan kanker veroorzaken’); en (f) causaliteit (‘wijn veroorzaakt kanker’). We constateerden overdrijving wanneer een onderdeel van de keten studie-persbericht-nieuwsbericht een hogere code kreeg dan het voorafgaande deel of de voorafgaande delen.”

Hoewel het artikel niet beschrijft wat onder een ‘hogere code’ werd verstaan, nemen we aan dat men de hiërarchie f>e>d>c>b>a hanteerde. Indien dit zo is, is ons bezwaar tegen deze methode dat voor de stelling “expliciet geen relatie” (minstens) even sterk (statistisch) bewijs nodig is als voor de stelling “causaliteit”. ‘Evidentie voor (expliciet) geen relatie’ is immers niet hetzelfde als ‘geen evidentie voor een relatie’. Het laatste wordt meestal geconcludeerd bij een p-waarde > 0.05, ongeacht de grootte van het verschil, terwijl voor de eerste claim het verschil heel klein én het betrouwbaarheidsinterval nauw dient te zijn. De volgorde (b=f)>(a=c)>(d=e) ligt volgens ons meer voor de hand. Mogelijk lopen twee concepten door elkaar heen: statistische precisie (a, c) en een studiedesign dat causaliteitsoordelen acceptabel(er) maakt (b, f). Als wij gelijk hebben, is heranalyse van de gegevens waarschijnlijk de aangewezen weg.

Sjoerd Ritsma (co-assistent, AUMC, locatie Meibergdreef)  

Dr. Gerben ter Riet (arts-epidemioloog, Hogeschool van Amsterdam, ACHIEVE center & AUMC (locatie Meibergdreef), afdeling cardiologie)

Wij danken de heren Ritsma en Ter Riet voor hun reactie. De analyse van persberichten vraagt om methoden die ook bij kritische beschouwing overeind blijven. Ook hier schuilt, op een andere manier, het gevaar van overdrijving. In ons artikel kijken we naar de overdrijving van in het oorspronkelijke wetenschappelijke artikel aangegeven relaties, in op dat artikel gebaseerde pers- en nieuwsberichten. We doen dat op dezelfde manier als dat gebeurt in de bij ons artikel gerefereerde eerdere studies van Sumner et al. Daar komt de gepresenteerde ordening vandaan. Inderdaad heeft die ordening een hiërarchie, maar hij is niet ordinaal. De afstanden tussen de verschillende stappen zijn kwalitatief niet gelijk en o.m. dat beperkt de mogelijkheden om precieze uitspraken te doen, hoe graag ook wij dat wellicht ook zouden willen. Dank voor de suggesties. Meer in detail het volgende:

* Classificatie (a) is zeker niet gelijk aan (c), omdat (a) eigenlijk zou moeten zijn 'geen relatie genoemd'. Dit is een categorie die niet te overdrijven valt, omdat er niets genoemd wordt dat kan worden overdreven.

* Gebaseerd op een vervolgartikel van Adams, Sumner et al (1) uit 2017, hebben wij inmiddels in een heranalyse (2) (c) en (d) samengevoegd in plaats van uw suggestie te volgen (d) en (e) samen te voegen. Adams et al. vonden namelijk wel een verschil in perceptie van de lezers tussen (d) en (e). De samenvoeging (c) en (d) had in ons geval slechts effect op één persbericht, dat daardoor in de nieuwe analyse niet overdreven is, waar het dat eerst wel was. Dat zou een gering effect op onze conclusies hebben, omdat er juist aan dit (nu “niet overdreven”) persbericht geen nieuwsberichten verbonden waren.

* In dit soort studies wordt puur gekeken wordt naar hoe de sterkte van de relatie wordt overdreven, daarom staat (b) in deze ordening een heel stuk onder (f). Zoals Ritsma en ter Riet terecht opmerken kan er inderdaad nog veel meer mis gaan dan de vormen van overdrijving die wij in onze vorig jaar in NTvG gepubliceerde studie hebben onderzocht.

* Al onze gegevens zijn open source data3, net als die van de eerdere Britse studies. Wij houden ons aanbevolen voor experimenten met andere analyses die anderen willen doen, gebaseerd op onze data.

Mattijs Numans,

Francien Bossema,

Ionica Smeets,

Peter Burger,

Joop Schat

1.            Adams RC, Sumner P, Vivian-Griffiths S, Barrington A, Williams A, Boivin J, Chambers CD, Bott L. How readers understand causal and correlational expressions used in news headlines. J Exp Psychol Appl. 2017 Mar;23(1):1-14.

2.            Bossema FG, Burger P, Bratton L, Challenger A,  Adams RC, Sumner P, Schat J, Numans ME, Smeets I.  Improving the quality of health news: the relation between expert quotes and exaggeration - a study in the United Kingdom and The Netherlands. In press, Wellcome Open Research.

3.            Schat, J., Bossema, FG, Numans, ME, Smeets, I, Burger,P. Medisch nieuws in de media. DANS 2017. https://doi.org/10.17026/dans-z9w-h6pn