Hoe betrouwbaar en valide is de NTS?

Toepassing van de Nederlandse Triage Standaard bij kinderen in de spoedzorg

Onderzoek
Marleen Smits
Erik Plat
Elleke Alink
Maartje Apotheker
Paul Giesen
Citeer dit artikel als
Ned Tijdschr Geneeskd. 2020;164:D4464
Abstract
Download PDF

Samenvatting

Doel

Bepalen van de interbeoordelaarsbetrouwbaarheid en validiteit van de Nederlandse Triage Standaard (NTS) voor de triage van kinderen.

Opzet

Dwarsdoorsnedeonderzoek met fictieve casussen voor telefonische en fysieke triage.

Methode

Experts bepaalden vooraf de urgentie van 40 casussen over spoedhulpvragen bij niet-verwezen kinderen (referentiestandaard). Deze hulpvragen werden in een online-enquête voorgelegd aan triagisten van 3 huisartsenposten (HAP’s), 3 meldkamers ambulancezorg (MKA’s) en 3 afdelingen Spoedeisende Hulp (SEH’s). Zij beoordeelden deze casussen met gebruik van de NTS. We bepaalden de overeenkomst in urgentiegraad tussen de triagisten en vergeleken de urgenties met de referentiestandaard. De uitkomstmaat voor interbeoordelaarsbetrouwbaarheid was de intraklasse-correlatiecoëfficiënt (ICC). Uitkomstmaten voor de validiteit waren de mate van overeenkomst met de referentiestandaard, ondertriage en overtriage en sensitiviteit en specificiteit voor het identificeren van hoog-urgent (U0-U2) versus laag-urgent (U3-U5).

Resultaten

116 triagisten namen deel (respons: 86%). De ICC was 0,73 tussen alle triagisten; op de HAP was deze het hoogst. Er was 62,3% overeenkomst met de referentiestandaard, 17,4% ondertriage en 20,2% overtriage. 77% van de afwijkende urgenties verschilde slechts één urgentiecategorie van de referentiestandaard. De sensitiviteit was 85,2% en de specificiteit 89,7%. De sensitiviteit en specificiteit van triage door de HAP (respectievelijk 82,7% en 92,7%) kwamen vrijwel overeen met die door de SEH (79,6% en 92,5%). De triage door de MKA had een relatief hoge sensitiviteit (93%), maar lagere specificiteit (82,4%).

Conclusie

De uitkomsten van het onderzoek dragen bij aan het bewijs dat de NTS bij kinderen een betrouwbare en valide triagestandaard is. De urgentie-inschatting van HAP, MKA en SEH komt in grote lijnen overeen. Papieren casuïstiek en triage op alleen anamnestische kenmerken beperken de resultaten.

Kernpunten
  • De Nederlandse Triage Standaard (NTS) wordt op dit moment gebruikt door alle 118 huisartsenposten, de helft van de 12 meldkamers ambulancezorg en een vijfde van de afdelingen Spoedeisende Hulp.
  • Er is nog onvoldoende onderzoek gedaan naar de validiteit en betrouwbaarheid van de NTS bij kinderen.
  • De NTS heeft een goede sensitiviteit (85%) en specificiteit (90%) voor de inschatting van de urgentie bij niet-verwezen kinderen op de huisartsenpost, meldkamer ambulancezorg en SEH.
  • De interbeoordelaarsbetrouwbaarheid tussen triagisten is ook adequaat (ICC = 0,73).
  • De inschattingen van de urgentie door triagisten van de verschillende settings komen in grote lijnen met elkaar overeen, wat veelbelovend is voor de toenemende ketensamenwerking.

artikel

Inleiding

In de spoedzorg is het belangrijk om onderscheid te maken tussen patiënten die snel gezien moeten worden en patiënten die langer kunnen wachten. Dit proces staat bekend als triage, een term die vermoedelijk zijn oorsprong heeft in de tijd van Napoleon.1 Triage is allang niet meer alleen een begrip van de slagvelden. Triage wordt op grote schaal toegepast in de spoedzorg, waar men dagelijks te maken krijgt met grote aantallen patiënten.2

Een veelgebruikt systeem voor telefonische en fysieke triage is de Nederlandse Triage Standaard (NTS). De eerste versie van de NTS werd in 2007 ontwikkeld vanuit de Telefoonwijzer van het Nederlands Huisartsen Genootschap (NHG), de Landelijke Standaard Meldkamer Ambulancezorg (LSMA), het Manchester Triage Systeem (MTS) en enkele andere buitenlandse triagesystemen. De NTS ondersteunt de triagist met een ICT-applicatie. De triagist kiest een van de 55 ingangsklachten en stelt de patiënt de bijbehorende vragen om de urgentie van de klacht te bepalen (tabel 1). Op dit moment wordt de NTS gebruikt door alle huisartsenposten (HAP’s), de helft van de meldkamers ambulancezorg (MKA’s) en een vijfde van de afdelingen Spoedeisende Hulp (SEH’s).

Tabel 1
Beschrijving van urgenties volgens de Nederlandse Triage Standaard (NTS)
Tabel 1 | Beschrijving van urgenties volgens de Nederlandse Triage Standaard (NTS)

Binnen de medische wereld is er controverse over het gebruik van de NTS bij kinderen.3,4 Tegenstanders, voornamelijk kinderartsen, geven bij de triage van kinderen op de SEH veelal de voorkeur aan het MTS.4 De validiteit en veiligheid van het MTS is voor kinderen in grote observationele studies aangetoond,5,6 terwijl de NTS bij een beperkte groep kinderen is onderzocht, met een versie van de NTS die sterk verschilt van de huidige versie.7 Voorstanders van het gebruik van de NTS noemen als positieve punten de verbetering van de samenwerking binnen de spoedzorgketen door eenheid in triagetaal en het gegeven dat aanpassingen van NHG-standaarden en specialistische richtlijnen ook in de NTS worden doorgevoerd.3

Ketenpartners in de spoedzorg werken steeds meer samen om de patiënt op het juiste moment, op de juiste plaats en door de juiste zorgverlener hulp te kunnen bieden. Zo vormen steeds meer HAP’s en SEH’s gecombineerde spoedposten waar gezamenlijke triage van zelfverwijzers plaatsvindt.8,9 Ook wordt er in verschillende regio’s geëxperimenteerd met het opzetten van zorgcoördinatie, waarbij de MKA en de HAP samenwerken voor een optimale triage en zorgtoewijzing. Het gebruik van hetzelfde triagesysteem in de gehele spoedzorgketen, ook bij kinderen, kan de samenwerking verder versterken. Het doel van ons onderzoek was om kennis te genereren over de betrouwbaarheid en validiteit van de NTS bij kinderen die ‘op eigen initiatief’ contact opnemen met de HAP, MKA of SEH.

Methode

Dit onderzoek is een dwarsdoorsnedeonderzoek met gebruik van fictieve casussen.

Populatie en setting

We nodigden 135 triagisten uit om deel te nemen aan het onderzoek. De triagisten waren afkomstig van 3 HAP’s, 3 MKA’s en 3 SEH’s, uit verschillende regio’s, met elk tussen de 10-17 genodigden; 1 SEH weigerde deelname vanwege tijdgebrek, waarna een nieuwe organisatie in dezelfde regio werd geïncludeerd. De deelnemende organisaties varieerden in grootte en ligging, wat ten goede kwam aan de representativiteit voor Nederland. De SEH’s waren afkomstig van 1 academisch, 1 topklinisch en 1 algemeen ziekenhuis. Exclusie vond plaats voor triagisten met minder dan 3 jaar werkervaring met de NTS.

Procedure

Een expertpanel bepaalde vooraf van 50 casussen de meest passende urgentiegraad (zie tabel 1). Het expertpanel bestond uit 2 kinderartsen, 2 huisartsen, 2 medisch managers ambulancezorg (MMA’s) en 3 triagisten (van HAP, MKA en SEH). De panelleden beoordeelden ieder afzonderlijk de casussen, op basis van hun eigen expertise, zonder gebruik te maken van de NTS.

In de set casussen waren de meest voorkomende gezondheidsklachten in de spoedzorg vertegenwoordigd.10,11 De casussen bevatten alleen anamnestische informatie. Contextfactoren werden niet meegenomen in de casusomschrijving, omdat we geïnteresseerd waren in de prestatie van het NTS-systeem, los van patiënt-, triagist- of organisatie-afhankelijke context. Alle niet-benoemde zaken in de casussen (klachten, symptomen of meetwaarden) mochten door de triagisten als normaal worden verondersteld. De patiënten waren allen jonger dan 16 jaar. Daarnaast waren 14 van de 40 casussen hoog-urgent (U0-U2). De casussen betroffen niet-verwezen patiënten en alle patiënten konden zich in principe bij elk loket (HAP/MKA/SEH) melden. De casussen waren zowel passend voor telefonische als fysieke triage, waarbij de triagisten van de HAP en MKA waarschijnlijk alleen ervaring hadden met telefonische triage en de triagisten van de SEH waarschijnlijk alleen met fysieke triage.

In 40 casussen bereikte het expertpanel overeenstemming over de urgentiegraad; dit was de referentiestandaard. Over de overige 10 casussen werd na 3 revisierondes geen consensus bereikt (< 78% overeenstemming); deze werden geëxcludeerd. De ontwikkeling van de set casussen vond plaats in de periode oktober-december 2018.

In februari 2019 trieerden de triagisten alle casussen met gebruik van de NTS (versie 7.2), op hun eigen werklocatie. De resultaten van de triage werden opgevraagd via een enquête, uitgevoerd met LimeSurvey versie 2.06+. Het onderzoek valt niet onder de reikwijdte van de Wet Mensgebonden Onderzoek (WMO).

Analyse

Om de interbeoordelaarsbetrouwbaarheid te bepalen vergeleken we de urgentie-inschattingen tussen triagisten. We berekenden hierbij de intraklasse-correlatiecoëfficiënt (ICC), een overeenkomstmaat die rekening houdt met de grootte van onderlinge verschillen. Voor het bepalen van de validiteit werd de urgentie volgens de triagist/NTS vergeleken met de urgentie volgens de referentiestandaard. We berekenden de percentages overeenkomst, onderschatting en overschatting en de sensitiviteit en specificiteit. Voor de berekening van de sensitiviteit en specificiteit dichotomiseerden we de urgentiecategorieën tot hoog-urgent (U0-U2) en laag-urgent (U3-U5). Met een logistisch multilevel-model waarin zowel casus als triagist als random effecten waren opgenomen, werd gecorrigeerd voor de gelaagdheid van de data (meerdere casussen per triagist en meerdere triagisten per organisatie) en voor verschillen in het aantal jaren ervaring als triagist, het aantal jaren ervaring met de NTS en de vooropleiding van de triagist. De ICC’s en beschrijvende analyses voerden we uit met IBM SPSS, versie 25. We gebruikten SAS 9.4 voor de multilevel-analyses. De analyses werden gedaan over het totaal en per type organisatie (HAP/MKA/SEH).

Resultaten

Kenmerken triagisten

In totaal namen 116 triagisten deel aan de studie (gemiddelde respons: 86%): 39 triagisten van de HAP’s (83%), 43 van de MKA’s (86%) en 34 van de SEH’s (89%). De gemiddelde werkervaring als triagist was 11,3 jaar (SD: 6,9). De gemiddelde werkervaring met de NTS was 5,3 jaar (SD: 2,4) en er waren hierin nauwelijks verschillen tussen de typen settings. Van de deelnemers had een derde de opleiding tot doktersassistente voltooid en twee derde de mbo- of hbo-opleiding Verpleegkunde.

Interbeoordelaarsbetrouwbaarheid

De interbeoordelaarsbetrouwbaarheid, uitgedrukt met de ICC, tussen alle triagisten was 0,73 (95%-BI: 0,65-0,82). Tussen triagisten op de HAP was de ICC 0,80 (95%-BI: 0,73-0,87), op de MKA 0,73 (95%-BI: 0,65-0,82) en op de SEH 0,73 (95%-BI: 0,64-0,82).

Overeenkomst, onderschatting en overschatting

Tabel 2 geeft de urgentie weer zoals door de triagist bepaald met gebruik van de NTS, afgezet tegen de urgentie volgens de referentiestandaard. De overeenkomst was 62,3% (2892/4640). De ondertriage was 17,4% (809/4640) en de overtriage 20,2% (939/4640).

Tabel 2
Urgentie-inschatting door triagisten komt in grote lijnen overeen met referentiestandaard
Tabel 2 | Urgentie-inschatting door triagisten komt in grote lijnen overeen met referentiestandaard

Een groot deel (77%) van de over- en ondertriage week slechts één urgentiecategorie af van de referentiestandaard. Wanneer de urgenties werden verdeeld in twee categorieën, te weten U0-U2 als hoog-urgent en U3-U5 als laag-urgent, was er 5,3% ondertriage (248/4640) en 7,1% overtriage (331/4640).

Het percentage overeenkomst met de referentiestandaard was het hoogst op de HAP (66,3%), gevolgd door de SEH (62,2%) en MKA (58,8%). Het percentage ondertriage was op de HAP en SEH vrijwel gelijk (20,4% respectievelijk 21,1%) en op de MKA het laagst (11,8%). Het percentage overtriage was op de HAP het laagst (13,3%) en op de MKA het hoogst (29,4%) (tabel 3).

Tabel 3
Vergelijking van triage door verschillende organisaties
Bijna twee derde van de triages kwam overeen met de referentiestandaard
Tabel 3 | Vergelijking van triage door verschillende organisaties | Bijna twee derde van de triages kwam overeen met de referentiestandaard

Sensitiviteit en specificiteit

De sensitiviteit is de mate waarin de triagisten met de NTS werkelijk hoog-urgente patiënten (U0-U2) als hoog-urgent identificeren. De gemiddelde sensitiviteit voor de drie ketenpartners was 85,2% (95%-BI: 71,3-93,0). De specificiteit is de mate waarin de triagisten met de NTS werkelijk laag-urgente patiënten (U3-U5) als laag-urgent bestempelen. De gemiddelde specificiteit voor de drie ketenpartners was 89,7% (95%-BI: 82,0-94,4).

Bij de MKA was de sensitiviteit relatief hoog en de specificiteit relatief laag, vergeleken met de andere settings (tabel 4).

Tabel 4
Sensitiviteit en specificiteit van triage door huisartsenposten, meldkamers ambulance en SEH’s
Tabel 4 | Sensitiviteit en specificiteit van triage door huisartsenposten, meldkamers ambulance en SEH’s

Beschouwing

Belangrijkste bevindingen

In deze studie werden fictieve casussen over spoedhulpvragen bij niet-verwezen kinderen getrieerd met behulp van de NTS, door triagisten van de HAP, MKA en SEH. De casussen waren passend voor zowel telefonische als fysieke triage. De interbeoordelaarsbetrouwbaarheid tussen triagisten was goed (ICC = 0,73). Dit betekent dat een groot deel van de triagisten met de NTS op dezelfde urgentiegraad uitkomt. Dit is een belangrijke voorwaarde voor een triagesysteem, aangezien het voor de uitkomsten van de triage niet uit zou moeten maken welke triagist (HAP, MKA of SEH) een patiënt trieert. De interbeoordelaarsbetrouwbaarheid was op de HAP het hoogst. Mogelijk komt dit doordat HAP-triagisten een uitgebreide NTS-training krijgen en hun triagegesprekken jaarlijks beoordeeld worden op de kwaliteitsaspecten uit de Kernset.12

Met een sensitiviteit van 85% en specificiteit van 90% voor de triage van kinderen lijkt de NTS een valide triagestandaard. De sensitiviteit en de specificiteit van de HAP en SEH kwamen vrijwel overeen, terwijl op de MKA de sensitiviteit hoger en de specificiteit lager was. Mogelijk zijn triagisten op de MKA defensiever, vanwege de beperkte ervaring met kinderen en de relatief grote kans op ernstige problemen.

Als we kijken naar de gehele schaal van urgentiecategorieën, was er 17% ondertriage en 20% overtriage. Een deel van de ondertriage (U0 beoordeeld als U1) komt waarschijnlijk voort uit het feit dat de urgentieklasse U0 pas enkele jaren na de start aan de NTS is toegevoegd op verzoek van de SEH’s, omdat de patiënt daar fysiek aanwezig is en een reanimatie direct kan starten. Op HAP’s en MKA’s wordt U0 weinig tot niet gebruikt en samengevoegd met U1. Bij een aanzienlijk deel (77%) van de over- en ondertriage werd slechts één urgentiecategorie afgeweken van de referentiestandaard. Dit is geruststellend, omdat de meeste patiënten met een afwijkende hoge urgentie dus met een niet al te groot tijdsverschil wel zullen worden gezien door een arts. Na het dichotomiseren van de categorieën (hoog-urgent vs. laag-urgent), zagen we slechts 5% ondertriage en 7% overtriage.

Vergelijking met ander onderzoek

De interbeoordelaarsbetrouwbaarheid, uitgedrukt in de ICC, was vrijwel hetzelfde als in eerdere ‘case scenario’-studies.13,14 In het eerste onderzoek naar de validiteit in de startfase van de NTS, op basis van casussen bij de subpopulatie kinderen op de HAP en SEH, werd een sensitiviteit van 60% en specificiteit van 93% gevonden.15 Als wij de waarden van de HAP en SEH uit ons onderzoek samenvoegen, levert dit een hogere sensitiviteit op (81%) dan in het eerste onderzoek, en dezelfde specificiteit (93%).

Studies naar de validiteit van het MTS bij kinderen werden meestal uitgevoerd bij grote aantallen werkelijk getrieerde patiënten en uitsluitend op de SEH.16-20 In deze studies werd een wat lagere sensitiviteit (uitersten: 57-83%) en specificiteit (uitersten: 69-89%) gevonden dan in ons onderzoek. Er is een onderzoek gedaan met een vergelijkbare opzet als de onze maar met gebruik van het MTS bij kinderen op de SEH.14 Hierin werden een vergelijkbare sensitiviteit en specificiteit gevonden (respectievelijk 83% en 94%) als in ons onderzoek op de SEH (respectievelijk 80% en 93%).

Kanttekeningen bij het onderzoek

Sterk aan deze studie is de variatie in grootte en ligging van de deelnemende organisaties. Daarnaast waren er minstens 10 deelnemers per organisatie en was er een hoge respons (86%). In totaal waren er 4640 beoordelingen; dat aantal is hoog vergeleken met andere case-scenariostudies.13,14,21-24 Uniek aan deze studie was de betrokkenheid van alle ketenpartners in de spoedzorg. De casussen waren gevarieerd in gezondheidsklachten, urgenties en leeftijden. De casussen vormden een realistische afspiegeling van de klachten waarmee men zich in de werkelijkheid meldt in de spoedzorg; per ketenpartner wijkt de verdeling echter wel af van de werkelijkheid. Hoog-urgente casussen waren namelijk oververtegenwoordigd ten opzichte van de werkelijke urgentieverdeling op de HAP en ondervertegenwoordigd ten opzichte van die op de MKA.

De casussen waren voor elke triagist uniform, aangezien het geschreven casussen waren. Hierdoor kan de interbeoordelaarsbetrouwbaarheid bepaald worden en kunnen de typen settings (HAP, MKA, SEH) met elkaar vergeleken worden. Het nadeel van geschreven casussen is dat verbale en non-verbale communicatie ontbreekt,25 terwijl die wel invloed kan hebben op de uitkomst van de triage. Ook kan van de grote variatie aan hulpvragen uit de praktijk slechts een beperkt aantal worden ‘getoetst’, waardoor we geen harde uitspraken kunnen doen over veiligheid en doelmatigheid. Geschreven casussen worden echter beschouwd als een bruikbaar instrument voor onderzoek naar beslissingen – waaronder triage – van professionals in de zorg.25-27

Het is lastig om bij onderzoek naar triage een gouden standaard vast te stellen.28 In onze studie werd een consensus-based referentiestandaard opgesteld door een gevarieerd expertpanel. Een andere manier om een referentiestandaard te bepalen is om per patiënt naar uitkomstwaarden te kijken, zoals laboratoriumonderzoek, diagnose, medicatievoorschriften of ziekenhuisopname, zogeheten ‘proxy’-markers. Dit heeft als nadeel dat je triage achteraf niet eerlijk kunt beoordelen. Andere factoren, zoals het beloop van de ziekte en gebruik van medicatie, beïnvloeden de uitkomst vaak sterk en de uitkomstmaten zeggen niet altijd iets over de ernst van de primair gemelde klacht.

Conclusie en aanbevelingen

De uitkomsten van dit onderzoek dragen bij aan het bewijs dat de NTS een betrouwbare en valide triagestandaard is voor de triage van niet-verwezen kinderen. De inschatting van de urgentie in de verschillende settings – huisartsenposten, meldkamers ambulancezorg en afdelingen Spoedeisende Hulp – komt in grote lijnen met elkaar overeen. Dat is veelbelovend voor de toenemende samenwerking tussen de ketenpartners.

Verder onderzoek naar de veiligheid en doelmatigheid van de NTS is gewenst. Een mogelijke vervolgstudie zou kunnen zijn om de NTS retrospectief te onderzoeken bij werkelijke patiënten. Een expertpanel zou dan de registratiegegevens van de triagist of de audio-opname van het triagegesprek kunnen beoordelen op urgentie.

Literatuur
  1. Iserson KV, Moskop JC. Triage in medicine, part I: Concept, history, and types. Ann Emerg Med. 2007;49:275-81. doi:10.1016/j.annemergmed.2006.05.019. Medline

  2. Zorgautoriteit N. (NZa). Monitor acute zorg 2018. Utrecht: NZa; 2018.

  3. Drijver CR. Gebruik de Nederlandse Triage Standaard bij kinderen. Ned Tijdschr Geneeskd. 2015;159:A8330 Medline.

  4. Moll HA. Gebruik het Manchester Triage Systeem bij kinderen. Ned Tijdschr Geneeskd. 2015;159:A8519 Medline.

  5. De Magalhães-Barbosa MC, Robaina JR, Prata-Barbosa A, Lopes CS. Validity of triage systems for paediatric emergency care: a systematic review. Emerg Med J. 2017;34:711-9. doi:10.1136/emermed-2016-206058. Medline

  6. Zachariasse JM, van der Hagen V, Seiger N, Mackway-Jones K, van Veen M, Moll HA. Performance of triage systems in emergency care: a systematic review and meta-analysis. BMJ Open. 2019;9:e026471. doi:10.1136/bmjopen-2018-026471. Medline

  7. van Ierland Y, van Veen M, Huibers L, Giesen P, Moll HA. Validity of telephone and physical triage in emergency care: the Netherlands Triage System. Fam Pract. 2011;28:334-1. doi:10.1093/fampra/cmq097. Medline

  8. Rutten M, Vrielink F, Smits M, Giesen P. Patient and care characteristics of self-referrals treated by the general practitioner cooperative at emergency-care-access-points in the Netherlands. BMC Fam Pract. 2017;18:62. doi:10.1186/s12875-017-0633-1. Medline

  9. Smits M, Rutten M, Keizer E, Wensing M, Westert G, Giesen P. The development and performance of after-hours primary care in the Netherlands: a narrative review. Ann Intern Med. 2017;166:737-42. doi:10.7326/M16-2776. Medline

  10. NIVEL Zorgregistraties eerste lijn. Cijfers huisartsenposten – Triage. www.nivel.nl/nl/nivel-zorgregistraties-eerste-lijn/triage, geraadpleegd op 20 september 2019.

  11. Rijksinstituut voor Volksgezondheid en Milieu (RIVM). Gebruik acute zorg. www.volksgezondheidenzorg.info/onderwerp/acute-zorg/cijfers-context/gebruik-acute-zorg, geraadpleegd op 20 september 2019.

  12. Smits M, Keizer E, Ram P, Giesen P. Development and testing of the KERNset: an instrument to assess the quality of telephone triage in out-of-hours primary care services. BMC Health Serv Res. 2017;17:798. doi:10.1186/s12913-017-2686-1. Medline

  13. Veit-Rubin N, Brossard P, Gayet-Ageron A, et al. Validation of an emergency triage scale for obstetrics and gynaecology: a prospective study. BJOG. 2017;124:1867-73. doi:10.1111/1471-0528.14535. Medline

  14. Van der Wulp I, van Baar ME, Schrijvers AJ. Reliability and validity of the Manchester Triage System in a general emergency department patient population in the Netherlands: results of a simulation study. Emerg Med J. 2008;25:431-4. doi:10.1136/emj.2007.055228. Medline

  15. Huibers LA, Giesen P, Sloot S, Van Veen M, van Ierland Y, Moll H. Wetenschappelijk onderzoek Nederlands Triage Systeem. Nijmegen: IQ healthcare; 2009.

  16. Van Veen M, Steyerberg EW, Ruige M, et al. Manchester triage system in paediatric emergency care: prospective observational study. BMJ. 2008;337:a1501. doi:10.1136/bmj.a1501. Medline

  17. Roukema J, Steyerberg EW, van Meurs A, Ruige M, van der Lei J, Moll HA. Validity of the Manchester Triage System in paediatric emergency care. Emerg Med J. 2006;23:906-10. doi:10.1136/emj.2006.038877. Medline

  18. Aeimchanbanjong K, Pandee U. Validation of different pediatric triage systems in the emergency department. World J Emerg Med. 2017;8:223-7. doi:10.5847/wjem.j.1920-8642.2017.03.010. Medline

  19. Storm-Versloot MN, Ubbink DT, Kappelhof J, Luitse JS. Comparison of an informally structured triage system, the emergency severity index, and the manchester triage system to distinguish patient priority in the emergency department. Acad Emerg Med. 2011;18:822-9. doi:10.1111/j.1553-2712.2011.01122.x. Medline

  20. Zachariasse JM, Seiger N, Rood PP, et al. Validity of the Manchester Triage System in emergency care: A prospective observational study. PLoS One. 2017;12:e0170811. doi:10.1371/journal.pone.0170811. Medline

  21. Olofsson P, Gellerstedt M, Carlström ED. Manchester Triage in Sweden - interrater reliability and accuracy. Int Emerg Nurs. 2009;17:143-8. doi:10.1016/j.ienj.2008.11.008. Medline

  22. Dalwai MK, Twomey M, Maikere J, et al. Reliability and accuracy of the South African Triage Scale when used by nurses in the emergency department of Timergara Hospital, Pakistan. S Afr Med J. 2014;104:372-5. doi:10.7196/SAMJ.7604. Medline

  23. Mistry B, Stewart De Ramirez S, Kelen G, et al. Accuracy and reliability of emergency department triage using the Emergency Severity Index: an international multicenter assessment. Ann Emerg Med. 2018;71:581-7.e3. doi:10.1016/j.annemergmed.2017.09.036. Medline

  24. Twomey M, Wallis LA, Myers JE. Evaluating the construct of triage acuity against a set of reference vignettes developed via modified Delphi method. Emerg Med J. 2014;31:562-6. doi:10.1136/emermed-2013-202352. Medline

  25. Converse L, Barrett K, Rich E, Reschovsky J. Methods of observing variations in physicians’ decisions: the opportunities of clinical vignettes. J Gen Intern Med. 2015;30(Suppl 3):S586-94. doi:10.1007/s11606-015-3365-8. Medline

  26. Peabody JW, Luck J, Glassman P, Dresselhaus TR, Lee M. Comparison of vignettes, standardized patients, and chart abstraction: a prospective validation study of 3 methods for measuring quality. JAMA. 2000;283:1715-22. doi:10.1001/jama.283.13.1715. Medline

  27. Mohan D, Fischhoff B, Farris C, et al. Validating a vignette-based instrument to study physician decision making in trauma triage. Med Decis Making. 2014;34:242-52. doi:10.1177/0272989X13508007. Medline

  28. Moll HA. Challenges in the validation of triage systems at emergency departments. J Clin Epidemiol. 2010;63:384-8. doi:10.1016/j.jclinepi.2009.07.009. Medline

Auteursinformatie

Contact Radboudumc, Scientific Center for Quality of Healthcare (marleen.smits@radboudumc.nl)

Belangenverstrengeling

Belangenconflict en financiële ondersteuning: er zijn mogelijke belangen gemeld bij dit artikel. ICMJE-formulieren met de belangenverklaring van de auteurs zijn online beschikbaar bij dit artikel.

Auteur Belangenverstrengeling
Marleen Smits ICMJE-formulier
Erik Plat ICMJE-formulier
Elleke Alink ICMJE-formulier
Maartje Apotheker ICMJE-formulier
Paul Giesen ICMJE-formulier
Heb je nog vragen na het lezen van dit artikel?
Check onze AI-tool en verbaas je over de antwoorden.
ASK NTVG

Ook interessant

Reacties