Startpagina PROM-cyclus # Fase 1: DoelStap 1: Bepalen doel # Fase 2: SelectieStap 2: Selecteren PROsStap 3: Selecteren PROMsStap 4: Testen PROM # Fase 3: IndicatorStap 5: Definiëren indicatorStap 6: Testen indicator # Fase 4: GebruikStap 7: Gebruiken PROMStap 8: Onderhoud en evaluatie

PROM-cyclus stap 5: Definiëren indicatorKern

Deze stap beschrijft de ontwikkeling van een indicator die betekenis kan geven aan de resultaten van de PROM.

Omschrijving

Van de resultaten van de PROM kan een indicator berekend worden die betekenis geeft aan deze resultaten. Een voorbeeld van een PROM is een schaal voor de mate van pijn in het been na een operatie voor een rughernia. Voor het vaststellen van de indicator moeten de doelgroep en setting helder zijn. De indicator kan dan bijvoorbeeld als volgt worden geformuleerd: Wat is de gemiddelde pijn bij volwassenen in hun aangedane been 6 weken na een rughernia operatie op een schaal van 0-10, waarbij 0 betekent dat er geen pijn is en 10 betekent dat de pijn maximaal is?

De indicator wordt vaak vergeleken met een normwaarde zodat men weet hoe ze geïnterpreteerd moeten worden. Zonder normwaarde weet je niet of een patiënt, zorgverlener of zorginstelling met bijvoorbeeld score 12 op een PROM voor angst goed, matig of slecht scoort.

Een PROM is dus een vragenlijst met als uitkomst een score voor een individuele patiënt, zoals score 12 (van 0-15) op angst. Een Indicator geeft betekenis aan uitkomsten van groepen patiënten, zoals het percentage patiënten dat 10 of hoger scoort op angst.

Een indicator met een norm geven een aanwijzing (indicatie) voor goede of slechte kwaliteit, waarmee eventuele verschillen in kwaliteit aangetoond kunnen worden. Zorginstellingen kunnen een interne indicator gebruiken om hun kwaliteit te verbeteren (doel b). Bij externe kwaliteit (doel c) kunnen patiënten de externe indicator gebruiken om keuzes te maken voor een zorginstelling en zorgverzekeraars om contracten af te sluiten met zorginstellingen. Bij individuele patiëntenzorg (doel a) kan een normwaarde gebruikt worden om een keuze te maken voor een behandeling: welke resultaten mag de patiënt verwachten op basis van de uitkomsten van andere patiënten? Als eenmaal gekozen is voor een bepaalde behandeling dan kunnen de resultaten van de individuele patiënt ook vergeleken worden met de normwaarde.

Omdat het formuleren van de indicator veel invloed heeft op hoe de resultaten van de PROM geïnterpreteerd worden, dient dit in samenspraak met alle relevante partijen te gebeuren. Voor meer informatie over het betrekken van patiënten zie de Patiëntenfederatie Nederland handleiding patiëntenparticipatie bij PROMs.

Een goede, valide en betrouwbare PROM vormt de beste basis voor een goede indicator. Voor een externe indicator behorende bij doel c worden er hogere eisen gesteld aan de mate waarin de resultaten van verschillende zorginstellingen vergelijkbaar zijn ('vergelijkbaarheid') en de mate waarin de indicator verschillen laat zien tussen zorginstellingen  ('onderscheidend vermogen').

Let op: eventuele verschillen in uitkomsten tussen zorginstellingen op basis van de indicator kunnen allerlei oorzaken hebben. De interpretatie daarvan is dus van groot belang om een uitspraak te kunnen doen over de kwaliteit. Het gaat bij indicatoren meestal niet om een absolute uitspraak of kwaliteit wel of niet goed is, het is een aanwijzing om die kwaliteit verder te onderzoeken.

We onderscheiden drie stappen bij het definiëren van een indicator:

Stap 5a: Stel vast welke uitkomst precies gemeten wordt

Als bekend is wat de doelgroep is, welke PROM gebruikt wordt en wanneer, kan de uitkomst vastgesteld worden. Een voorbeeld van een precieze uitkomst is de gemiddelde pijn op een schaal van 0 tot 10 bij volwassenen 6 weken na een rughernia-operatie.

Stap 5b: Beschrijf de manier waarop de uitkomsten gemeten moeten worden zodat ze vergelijkbaar zijn

Om de uitkomsten met elkaar te kunnen vergelijken moet op drie aspecten worden gelet:

  • Registratievergelijkbaarheid: de gegevens moeten op een vergelijkbare manier worden verzameld. Hiervoor is van belang dat procedures voor dataverzameling en analyse helder en eenduidig zijn vastgelegd.

  • Populatievergelijkbaarheid: de resultaten geven de werkelijke verschillen in de kwaliteit van de geleverde zorg weer en niet de populatieverschillen tussen zorginstellingen. In sommige zorginstellingen worden bijvoorbeeld alleen oudere patiënten behandeld. Daarvoor moeten de patiënten die bij de verschillende zorginstellingen komen vergelijkbaar zijn, of er moet statistisch worden gecorrigeerd voor verschillen in de kenmerken van de patiënten die van invloed kunnen zijn op de uitkomst. Om te corrigeren voor deze kenmerken, zoals leeftijd, geslacht of opleiding, moeten deze opgenomen worden in de dataverzameling. Een andere oplossing is om subgroepen te definiëren, dit wordt ook wel stratificatie genoemd.

  • Steekproef- en responsvergelijkbaarheid: de patiënten bij wie de metingen worden uitgevoerd, moeten representatief zijn voor alle patiënten die bij de verschillende zorginstellingen komen.

Stap 5c: Definieer de conceptindicator

U heeft nu een duidelijke omschrijving hoe, bij wie en wanneer er gemeten wordt. Bijvoorbeeld: de score op een bepaalde PROM voor pijn bij volwassenen in hun aangedane been 6 weken na een rughernia operatie.

Bepaal vervolgens een norm die aangeeft wanneer er sprake is van goede of slechte kwaliteit. Wanneer bijvoorbeeld bepaald wordt dat een pijnscore van 5 of hoger meer is dan u mag verwachten, wordt de norm op 4 gezet. Deze norm kan verschillende bronnen hebben:

  • Uit wetenschappelijk onderzoek volgt een norm.

  • Experts bepalen wat de gewenste kwaliteit en dus de norm is.

  • Het gemiddelde of een ander afkappunt van reeds gemeten waarden vormt de norm.

In veel gevallen is er vooraf (nog) geen sprake van een vastgestelde absolute norm. In dat geval kan worden gekeken naar de relatieve verschillen in uitkomsten tussen zorginstellingen. Bijvoorbeeld door te kijken naar zorginstellingen die (veel) hoger of lager scoren dan het gemiddelde van alle instellingen tezamen. Die afwijkingen van het gemiddelde kunnen een indicatie zijn voor hogere of lagere kwaliteit.

Een indicator wordt vaak uitgedrukt in een percentage. De noemer beschrijft meestal de doelgroep waarover een uitspraak wordt gedaan. In de teller wordt het aantal correcte of gewenste handelingen in deze doelgroep beschreven. Voor het voorbeeld van de pijnscore is dat het aantal personen in de doelgroep met een pijnscore van 4 of lager, gedeeld door het totaal aantal personen in de doelgroep. Hoe hoger dit percentage, hoe beter het ziekenhuis aan de norm voldoet. Voorbeeld: De doelgroep bestaat uit 100 personen. In ziekenhuis A hebben 20 personen een pijnscore van 4 of lager (indicator = 20%), in ziekenhuis B hebben 50 personen een pijn scoren van 4 of lager (indicator = 50%). Ziekenhuis B voldoet dus beter aan de norm.

Bij het definiëren van de indicator moet ook bepaald worden op welk niveau de indicator berekend gaat worden, zoals instellings-, afdelings- of locatieniveau. Belangrijke overwegingen zijn op welk niveau kwaliteitsverschillen worden verwacht en op welk niveau de resultaten bruikbaar zijn.

Het onderscheidend vermogen is  de mate waarin de indicator verschillen laat zien. Naarmate een indicator meer onderscheidend is, is deze informatiever en zijn de resultaten beter bruikbaar. Het onderscheidend vermogen kan getest worden in stap 6.

Schakel indien nodig een expert in op het gebied van indicatoren.

Relevante tools

  • CBO handleiding Indicatorontwikkeling: Hoewel niet specifiek gericht op de ontwikkeling van indicatoren op basis van PROMs, biedt deze handleiding een stappenplan en voorbeelden die hiervoor ook gebruikt kunnen worden.

  • Indicatorstandaard & Routekaart (allebei te downloaden onderaan deze pagina): Hoewel niet specifiek gericht op de ontwikkeling van indicatoren op basis van PROMs, biedt de Indicatorstandaard methodologische criteria voor de ontwikkeling van betrouwbare kwaliteitsindicatoren in de zorg. De Routekaart neemt partijen in de zorg mee in afwegingen en keuzes die gemaakt dienen te worden tijdens de ontwikkeling en verbetering van indicatoren.

  • NIVEL / Zorginstituut Nederland handreiking voor het meten van kwaliteit van zorg met PROMs (download onderaan de pagina PROM-cyclus stap 1: Bepalen doel): biedt een overzicht van de criteria 'vergelijkbaarheid' en 'onderscheidend vermogen' en beschrijft welke eisen en aandachtspunten hieruit voortvloeien voor de opzet van de dataverzameling (stap 7). Hoofdstuk 6 van deze handreiking gaat over het definiëren van een indicator.

  • Patiëntenfederatie Nederland handleiding patiëntparticipatie bij PROMs (pdf, 1.200 kB): geeft een beschrijving van de wijze waarop een concept indicator gedefinieerd kan worden en de rol van patiëntvertegenwoordigers en patiëntorganisaties in deze fase. Op pagina 22 van deze handleiding wordt beschreven hoe een indicator ontwikkeld wordt.

  • NIVEL / Zorginstituut handreiking voor het ontwikkelen van patiëntervaringsvragenlijsten om kwaliteit van zorg te meten (download onderaan de pagina PROM-cyclus stap 2: Selecteren PROs): hoewel deze handreiking niet specifiek gericht is op de ontwikkeling van PROMs, maar op de ontwikkeling van PREMs (Patient-Reported Experience Measures), biedt het een overzicht om valide en betrouwbare patiëntervaringsvragenlijsten te ontwikkelen of bestaande lijsten door te ontwikkelen. Hoofdstuk 5 van deze handreiking gaat over het publiekelijk weergeven van kwaliteitsgegevens.

  • Boek Implementatie, effectieve verbetering van de patiëntenzorg: beschrijving van het proces van implementatie voor kwaliteitsverbetering. Het bevat een hoofdstuk over de rol van indicatoren in de zorg.

  • Wetenschappelijk artikel Framework and indicator testing protocol for developing and piloting quality indicators for the UK Quality and Outcomes Framework: Dit artikel van Campbell en anderen beschrijft een framework voor het ontwikkelen en testen van indicatoren.

  • Wetenschappelijk artikel Clinical indicators: development and applications: Dit artikel van Wollersheim en anderen beschrijft waar een goede indicator aan moet voldoen en bevat stappen voor de ontwikkeling en toepassing van indicatoren.

  • NIVEL / Zorginstituut Tool Analyses voor het vergelijken van patiëntervaringen tussen zorgaanbieders (download onderaan deze pagina): deze tool biedt kennis over hoe data geanalyseerd kan worden om zorgaanbieders te vergelijken (doel c).

Downloads

Tools

Indicatorstandaard 2.0

PDF-document 1.204,54 KB

Ontwikkeltool 31-12-2012

Routekaart 2.0

PDF-document 1.694,43 KB

Ontwikkeltool 05-06-2013

Tool Analyse voor het vergelijken van patiëntervaringen tussen zorgaanbieders

PDF-document 1.080,42 KB

Ontwikkeltool 23-06-2016