Digitale Gesundheitsinterventionen entwickeln, evaluieren und implementieren Teil II – Diskussionspapier der Arbeitsgruppe Digital Health des Deutschen Netzwerk Versorgungsforschung (DNVF)

Abstract

The methodological challenges of evaluating digital interventions (DI) for health services research are omnipresent. The Digital Health Working Group of the German Network for Health Services Research (DNVF) presented and discussed these challenges in a two-part discussion paper. The first part addressed challenges in definition, development and evaluation of DI. In this paper, which represents the second part, the definition of outcomes, reporting of results, synthesis of evidence, and implementation are addressed as methodological challenges of DI. Potential solutions are presented and the need to address these challenges in future research are discussed.

Einleitung

Bei der Evaluation von DI ergeben sich zahlreiche epistemologische und wissenschaftsethische Herausforderungen, die in die zentralen Betätigungsfelder der Versorgungsforschung fallen ^{1 2} . Auch neue Analysemethoden (z. B. Maschinelles Lernen) sowie Datentypen und -quellen (z. B. digitale Biomarker) sollten aus Sicht der Versorgungsforschung Gegenstand einer methodischen Auseinandersetzung im Rahmen der Evaluation von DI sein. Zudem spiegeln sich zahlreiche methodische Herausforderungen im Rahmen der Evidenzgenerierung zu DI in Schwierigkeiten bei der systematischen Analyse verfügbarer Evidenz wider, die u. a. durch die Heterogenität der Studienlage von DI entsteht ^{3 4} .

Die Arbeitsgruppe Digital Health des Deutschen Netzwerks Versorgungsforschung (DNVF) hat einen Diskussionsartikel in zwei Teilen verfasst, um ausgewählte Herausforderungen bei der Evaluation von DI zu benennen und Lösungsansätze aufzuzeigen. Im ersten Teil des Diskussionsartikels wurde auf die spezifischen Merkmale von DI eingegangen sowie auf die Herausforderungen bei der partizipativen Entwicklung und der Evaluation von DI [Ref]. Im zweiten Teil des Artikels werden die Auswahl von Outcomes und das Reporting von Studienergebnissen thematisiert ebenso wie die Synthese der Evidenz und die Implementierung von DI in den Versorgungsalltag.

Outcomes digitaler Interventionen

Die Auswahl von Outcomes für die Evaluation von DI hängt von verschiedenen Faktoren ab, wie etwa der medizinischen Indikation, der technologischen Umsetzung und dem Reifegrad der zu evaluierenden DI sowie den regulatorischen Anforderungen ⁵ .

So verfolgt etwa das in dem ersten Teil dieses Artikels beschriebene NICE-Framework (siehe Abb. 1 ) bei der Auswahl der Outcomes das Ziel, der Heterogenität der DI durch die Gliederung von Evidenzebenen und eine Aufteilung in „Minimum Evidence“ und „Best-Practice-Standards“ gerecht zu werden ⁶ . Anhand der Funktionen einer DI erfolgt in dem NICE-Framework eine Gegenüberstellung von Risiko und Nutzen für die Anwender:innen, was sich ebenso bei der Evaluation widerspiegeln muss. Je höher also das Risiko der DI, umso höher sind die methodischen Anforderungen, die für den Nutzennachweis erfüllt werden müssen ⁶ .

Abb. 1.

Evidenzstufen des NICE-Framework (eigene Darstellung) ⁶ .

Für jede der drei Ebenen des NICE-Framework werden Empfehlungen für die Auswahl der Outcomes gegeben. Bei den Ebenen A und B liegt der Fokus auf der Systemeffizienz und ab Ebene C auf der Demonstration der klinischen Effektivität. Diese soll auf Ebene C mindestens durch Änderungen des gesundheitsfördernden Verhaltens, des Selbstmanagements oder der Nutzer*innenzufriedenheit, erhoben jeweils durch Patient Reported Outcomes Measurements (PROM) und Patient Reported Experience Measurements (PREM), nachgewiesen und im besten Fall um die gesundheitsbezogene Lebensqualität oder den Schweregrad der Symptome ergänzt werden ⁶ . Auf der Ebene C werden zu den unterschiedlichen DI jeweils unterschiedliche Mindestanforderungen definiert und der Einsatz weiterer krankheitsspezifischer und klinischer Outcomes empfohlen. Unabhängig von der Evidenzebene sind validierte Messinstrumente zu bevorzugen ⁶ .

Ein weiterer Ansatz für die Auswahl der Outcomes ergibt sich aus dem Prinzip der reifegradabhängigen Evaluation ^{7 8} . Hierbei wird der Produktlebenszyklus der DI in mehrere Phasen eingeteilt und relevanten Outcomes zugeordnet. Das Design and Evaluation of Digital Health Intervention-Framework gliedert den Entwicklungsprozess (Produktlebenszyklus) einer DI in vier Phasen ⁷ . In frühen Phasen stehen Outcomes wie die Patient*innensicherheit, die Usability sowie die Servicequalität im Fokus. Des Weiteren stehen für die Messung der Servicequalität von Telemedizinanwendungen in späteren Phasen der Evaluation bereits eine Vielzahl validierter Messinstrumente in Form von PREM zur Verfügung ⁹ . In späteren Phasen sollen u. a. die Bewertung der Effektivität, der erwartbare Nutzen sowie der Adhärenz in die Entwicklung mit einfließen ⁷ .

Sofern es sich bei einer DI um ein Medizinprodukt handelt, richtet sich die Wahl der Outcomes nach der medizinischen Zweckbestimmung der DI [MEDDEV 2.7/4] ¹⁰ . Diese ergibt sich aus der medizinischen Indikation (Diagnose), den Charakteristika der Zielgruppe (z. B. Alter, Geschlecht) und dem Ziel der Intervention (Diagnostik, Monitoring, Therapie, etc.). Im Rahmen der klinischen Bewertung müssen die entsprechenden Outcomes so benannt werden, dass ein positiver Effekt analog zur medizinischen Zweckbestimmung nachweisbar wäre. Relevante Outcomes können u. a. die Mortalität und Morbidität, die gesundheitsbezogene Lebensqualität, die Sensitivität und Spezifität von Diagnoseverfahren, aber auch mögliche Nebenwirkungen und Gefährdungen zum Zwecke der Risiko-Nutzenbewertung sein [MEDDEV 2.7/4] ¹⁰ .

Mit dem Inkrafttreten des Digitale-Versorgung-Gesetzes (DVG) wurde erstmals der Begriff der „positiven Versorgungseffekte“ in das SGB V eingeführt. Neben klassischen Endpunkten im Bereich des medizinischen Nutzens, wie etwa die Verbesserung des Gesundheitszustands oder der Lebensqualität, wurden erstmals in Deutschland sogenannte patientenrelevante Struktur- und Verfahrensverbesserungen (PSVV) berücksichtigt, wie etwa die optimierte Koordination der Behandlungsabläufe, die Ausrichtung der Behandlung an Leitlinien und anerkannten Standards sowie Gesundheitskompetenz oder Adhärenz. PSVV und medizinischer Nutzen werden in der Bewertung des Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) gleichrangig behandelt ¹¹ . Im DiGA-Leitfaden des BfArM werden nur vereinzelt Beispiele für Messinstrumente zur Bestimmung der PSVVs aufgeführt, wie z. B. der Einsatz von validierten Adhärenz-Scores bei Medikamenteneinnahme (z. B. Morisky-Score ¹² ).

Derzeit besteht eine hohe Heterogenität bei der Auswahl an Outcomes ¹³ . Hier fehlt es an einem Standardset von Outcomes, um eine bessere Vergleichbarkeit der Effektivität ähnlicher DI zu gewährleisten und gleichzeitig heterogen Patient* innencharakteristika gerecht zu werden ¹⁴ . Neben den Studieninformationen zu aktuell gelisteten Digitalen Gesundheitsanwendungen (DiGA) im DiGA-Verzeichnis, zeigen auch systematische Übersichtsarbeiten, dass bei DI trotz vergleichbarer Populationen und Funktionalitäten, unterschiedliche Outcomes und insbesondere unterschiedliche Messinstrumente genutzt werden ¹⁵ . Das führt in vergleichenden Übersichtsarbeiten fast zwangsläufig zu einer hohen Heterogenität bei gepoolten Effektschätzern ¹⁶ . Um diese Lücke zu schließen, besteht die Möglichkeit, Core Outcome Sets (COS) zu verwenden. Diese bestehen aus einem konsentierten Minimalset an Outcome-Domänen (inhaltliche Ebene) und einem konsentierten Set an Messinstrumenten (methodische Ebene), die in jeder klinischen Studie mit einer vergleichbaren Intervention und Zielpopulation standardisiert gemessen und berichtet werden sollten ¹⁷ . Qualitativ hochwertige COS wurden bereits systematisch entwickelt. Dies bedeutet, dass sie durch eine initiale Evidenzsynthese zur Identifikation von Outcomes mit einem nachfolgenden Delphi-Verfahren (inklusive Konsensprozess) entwickelt wurden, welcher alle relevanten Stakeholder einschließt und eine finale Liste an relevanten Outcomes samt Messinstrumenten konsolidiert beinhaltet ^{17 18} . Aktuell ist bereits eine Vielzahl an COS verfügbar, z. B. durch die COMET Initiative (www.comet-initiative.org) ¹⁸ . Ihre Übertragbarkeit auf DI ist jedoch bisher weitgehend unerforscht. Eine Entwicklung neuer oder Erweiterung bestehender COS zur Evaluation von DI kann zu einer verbesserten Vergleichbarkeit von Studienergebnissen führen ^{18 19} .

Reporting von Studienergebnissen

Eine hochwertige methodische Planung und Durchführung von Evaluationen zu DI ist keine Garantie, dass die Ergebnisse qualitativ hochwertig berichtet werden ²⁰ . Grundsätzlich ist eine Berichterstattung von Studienergebnissen, die transparent, vollständig und präzise ist, aus verschiedenen Gründen relevant. So dienen Forschungsergebnisse als Grundlage für zukünftige Forschungsarbeiten auf dem Gebiet der DI ^{21 22} oder um versorgungsrelevante Entscheidungen zu treffen ²⁰ . Ebenso ist ein transparentes Reporting von Studienergebnissen zur Information von Bürger*innen relevant, da sie dadurch befähigt werden können, Entscheidungen hinsichtlich ihrer eigenen Gesundheit zu treffen ²² . Darüber hinaus birgt die unzureichende oder selektive Berichterstattung von Studienergebnissen das Risiko, dass falsche oder schädliche Ergebnisse in neue Studien oder versorgungsrelevante Entscheidungen einfließen ¹⁷ .

Aktuell ist zu konstatieren, dass die Berichtsqualität von Studienergebnissen zu DI verbesserungsbedürftig ist ²³ . Beispielsweise werden nicht alle Komponenten von DI vollständig beschrieben ²⁴ oder notwendige Komponenten und Inhalte in Gänze nicht in die Berichterstattung mit einbezogen ²⁵ . Zudem wird moniert, dass die theoretische Grundlage von Interventionen unzureichend berichtet wird ²⁶ .

Zur Steigerung der Berichtsqualität hat sich die Anwendung von Reporting Guidelines etabliert. Diese stellen Minimalkriterien für die zu berücksichtigenden Inhalte von Ergebnisberichten bereit ²⁷ . Einen hohen Bekanntheitsgrad hat das CONSORT-Statement für das Berichten von randomisiert kontrollierten Studien (RCT) ²⁸ .

Auch für DI stehen Reporting Guidelines zur Verfügung, wie etwa die „Guidelines for reporting of health interventions using mobile phones: mobile health (mHealth) evidence reporting and assessment (mERA)“ ²³ . Das mERA beinhaltet 16 Items, die Minimalkriterien für die Berichterstattung von Studien zu mHealth-Interventionen darstellen und unabhängig von dem gewählten Studiendesign anwendbar sind. Zudem existiert seit Längerem das CONSORT-EHEALTH-Statement, welches als Adaption des CONSORT-Statements für das Reporting von RCT zu DI entwickelt wurde ²⁹ .

Folglich ist wünschenswert, dass diese Instrumente konsequent angewendet und weiterentwickelt werden ³⁰ . Des Weiteren ist es relevant, dass die Ergebnisse von Studien zu DI generell veröffentlicht werden. Bisher findet oftmals nach einer Periode von fünf Jahren noch immer keine Veröffentlichung der Ergebnisse registrierter Studien statt ³¹ . Folgerichtig ist neben der qualitativ hochwertigen Berichterstattung sowohl eine vorhergehende Registrierung der Methodik als auch eine vollständige, transparente und ergebnisunabhängige Veröffentlichung notwendig, um einen Publikationsbias zu verhindern ³² . Eine zu diskutierende Möglichkeit wäre eine Verpflichtung zur Registrierung von Studien (z. B. DRKS), sowie die verpflichtende Veröffentlichung von Studienprotokollen und Studienergebnissen. Neben dem wissenschaftlichen Veröffentlichungsprozess sollten neu verfügbare ‘Informationsrepositorien‘, wie das DiGA-Verzeichnis oder einschlägige Preprint-Server (etwa MedRxiv), besser genutzt werden. Dabei sollten – zugunsten einer hochwertigen Berichtsqualität und Transparenz – die herstellerseits zur Verfügung gestellten Informationen im Rahmen von Datenbanken, wie dem DiGA-Verzeichnis, auf Vollständigkeit und Aktualität überprüft werden.

Evidenzbewertung digitaler Interventionen

Wie im ersten Teil dieses Diskussionsartikels hervorgehoben, ist die Qualität der zu DI durchgeführten und veröffentlichten Studien heterogen, was die Vergleichbarkeit der Studienergebnisse sowie die Evidenzbewertung und -synthese erschwert. Neben der Standardisierung und konsensbasierten Auswahl von Outcomes können weitere Maßnahmen eine Vergleichbarkeit von Effekten über Studiengrenzen hinweg unterstützen. Zur Bewertung systematisierter oder mathematisch gepoolter Studienergebnisse, z. B. im Rahmen von Meta-Analysen, werden etablierte Verfahren wie GRADE (Grading of Recommendations, Assessment, Development and Evaluation) angewandt. GRADE bewertet die Qualität der Evidenz bzw. das Vertrauen in den Effektschätzer ³³ . Dieses Verfahren ermöglicht die Outcome-spezifische Bewertung der verfügbaren Evidenz mit dem Ziel der Empfehlung im Rahmen von systematischen Reviews und Leitlinien ³⁴ .

Bei der GRADE-Beurteilung gepoolter Studienergebnisse zur Wirksamkeit von DI stellen die im ersten Teil des Artikels beschriebenen Eigenschaften, v. a. die Charakterisierung von DI als heterogene und oft komplexe Interventionen mit mehreren Komponenten, eine Herausforderung für die Bewertung der Güte der Evidenz dar. Die gepoolten Studienergebnisse zur Wirksamkeit von DI subsumieren oft multimodale und individualisierte Anwendungen, welche trotz erfolgter Subgruppenanalyse nur bedingt vergleichbar sind. Dies führt zwangsläufig zu Punktabzügen bei der Bewertung der „Indirectness“, da dort die Vergleichbarkeit u. a. der gemeinsam betrachteten Interventionen bewertet wird. Zudem enthält GRADE eine Risk-of-Bias-Bewertung nach dem Cochrane risk-of-bias tool for randomized trials (RoB2) ³⁴ , wodurch etwa die Schwierigkeiten mit der Verblindung bei RCTs zu DI sichtbar werden. Insbesondere durch eine nicht umsetzbare oder schwer aufrecht zu erhaltende Verblindung führt die Bewertung mit RoB2 im Rahmen von GRADE oft zu Abzügen ¹⁴ . In der Folge ist es zu erwarten, dass eine Empfehlung für DI im Rahmen von Leitliniennovellierungen herabgestuft wird. Hier besteht Handlungsbedarf in der Prüfung und ggf. Entwicklung eines neuen Instrumentariums zur Bewertung gepoolter Studienergebnisse zur Wirksamkeit DI – auch um Entscheidungsträger*innen im Gesundheitswesen die Empfehlung einzelner Anwendungen zu erleichtern. Eine weitere Möglichkeit, eine bessere Vergleichbarkeit von Studien über deren Grenzen hinweg zu unterstützen, besteht in der Verwendung bereits verfügbarer Taxonomien. Besonders empirisch entwickelte Taxonomien erlauben eine Standardisierung von Anwendungstypen und Funktionalitäten und unterstützen damit die Nutzenbewertung von DI unter Berücksichtigung der beschriebenen Heterogenität.

Implementierung von digitalen Interventionen

Konnte die Wirksamkeit für eine DI in einem Versorgungskontext nachgewiesen werden, ist für ihre Verstetigung ein qualitätsgesicherter Implementierungsprozess essentiell. Hierbei können zentrale Komponenten der Implementierungsforschung unterstützen, einer im deutschen Kontext noch recht jungen Disziplin ³⁵ .

Die Initiierung eines Implementierungsprozesses empfiehlt sich bereits im Entwicklungsstadium durch Verwendung eines Stakeholder-Centered Designs, um DI dem Versorgungskontext entsprechend nicht als versorgungsfernes Produkt, sondern als sog. „Technology-Enabled Services“ zu entwickeln, zu evaluieren und zu implementieren. Dies ist eine Grundlage, um sowohl die Akzeptanz als auch die Integration der DI in die Routineversorgung zu gewährleisten ³⁶ .

Die vermehrte Aufmerksamkeit, die die Implementierungsforschung erfährt, ist u. a. darauf zurückzuführen, dass es noch immer bis zu 20 Jahre dauert, evidenzbasierte Ansätze in die Routineversorgung zu implementieren ³⁷ . Dies ist auch deshalb bemerkenswert, weil auch bereits länger verfügbare Rahmenmodelle im Bereich der Entwicklung und Evaluation von komplexen Interventionen (z. B. MRC-Framework) die Bedeutung von Implementierungsstrategien hervorheben ³⁸ . Solche Rahmenmodelle für die Implementierung reichen von individuellen behavioristischen, bis hin zu organisationalen und ökonomischen Veränderungen, die dem Implementierungsprozess von evidenzbasierten Innovationen zugrunde gelegt werden können ³⁹ . Dies scheint im Bereich von DI besonders relevant, da auch hier Evidenz zur Wirksamkeit bislang nicht ohne Weiteres zu einer nachhaltigen Implementierung in die Versorgung führt ³⁶ . Deshalb wird die Notwendigkeit der Entwicklung und Evaluation von Implementierungsstrategien von Expert*innen besonders betont ⁴⁰ . Dabei ist die unter Beteiligung von Stakeholdern und Nutzer*innen generierte Evidenz zu Barrieren und Erfolgsfaktoren der Implementierung entscheidend für die Entwicklung und Auswahl effektiver Implementierungsstrategien. Ein implementierungswissenschaftliches Modell, welches diese Voraussetzungen in besonderem Maße für die Implementierung von DI berücksichtigt, ist das empirisch entwickelte „non-adoption, abandonment, scale-up, spread, and sustainability framework (NASSS)“ ⁴¹ . Dieses kann im Stadium des Designs von DI sowie zu deren Skalierung und Markteinführung eingesetzt werden sowie zur Identifikation von DI mit begrenzter Chance auf Skalierung und Markteinführung und zur Analyse von fehlgeschlagenen Implementierungsprozessen ⁴¹ .

Neben der wissenschaftlichen Auseinandersetzung zu effektiven Implementierungsstrategien ist es notwendig, regulatorische Aspekte für die Implementierung zu beschreiben. Abhängig von der Risikoklasse der Medizinprodukte in Form von DI existieren unterschiedliche Zugangswege zum ersten Gesundheitsmarkt. Bei diagnostischen und therapeutischen DI können Zugangswege als Neue Untersuchungs- und Behandlungsmethode (NUB) (§ 137 c SGB V) in der stationären Versorgung, krankenhausindividuelle Anträge auf ein Zusatzentgelt oder ein Antrag beim G-BA auf Zulassung als Teil einer NUB gemäß § 135 SGB V in der ambulanten Versorgung einschlägig sein.

Handelt es sich bei einer DI um ein Hilfsmittel im Sinne des § 33 SGB V, kann ein Antrag beim GKV Spitzenverband auf Aufnahme ins Hilfsmittelverzeichnis gestellt werden. Bei DI niedriger Risikoklasse (I bis II a), gemäß des § 33a SGB V, der Digitalen Gesundheitsanwendungen Verordnung (DiGAV), wird mit einer vorläufigen oder dauerhaften Aufnahme in das BfArM Register gemäß § 139e SGB V bei Nachweis positiver Versorgungseffekte ein Zugangsweg in den ersten Gesundheitsmarkt geschaffen: Schließlich können evidenzbasierte DI niedriger Risikoklasse auch ihren Weg in die ambulante Versorgung über selektivvertragliche Lösungen gemäß § 140 a SGB V erhalten. Ein flächendeckender Zugangsweg für die Versicherten ist damit jedoch nicht gewährleistet. Wenn Innovationsfondsprojekte gemäß § 92a SGB V DI positive Nutzeneffekte liefern konnten, sollen diese in die Regelversorgung übernommen werden – allerdings bleiben Vergütungsmöglichkeiten noch ungeklärt.

Weiter zu berücksichtigen sind Digitale Pflegeanwendungen (DiPA) nach § 40a SGB XI, digitale Anwendungen für Rehabilitand*innen nach Teilhabestärkungsgesetz §§ 42 und 47a SGB IX sowie digitalen Gesundheitsanwendungen, die nach dem GKV Handlungsleitfaden Prävention gemäß § 20 SGB V zertifiziert sind. Ferner sind DI für den Aufbau digitaler Gesundheitskompetenz gemäß § 20k SGB V zu beachten.

Auf Basis dieser vielfältigen Zugangswege, Richtlinien und Verordnungen lässt sich die Bedeutung der rechtlichen, versorgungsprogramm- und vergütungstechnischen Kontextfaktoren für eine nachhaltige Implementierung von DI unschwer erkennen. Umso wichtiger ist es, im Rahmen der Implementierungsforschung mittelfristige und Langzeit-Effekte zu Akzeptanz, Skalierung und Erreichen der – in Wirksamkeitsstudien belegten – Outcomes von DI in realen Versorgungskontexten zu beobachten.

Schlussbetrachtung

Ziel dieses zweiten Teils des Artikels war es, aus der Perspektive der Versorgungsforschung zentrale Herausforderungen zu diskutieren, die im Rahmen der Evaluation von DI entstehen. Hier wurde der Fokus auf die Definition relevanter und aussagekräftiger Outcomes, das Reporting von Ergebnissen sowie der Evidenzbewertung und der Implementierung gelegt. Es wurden zudem Lösungsansätze und zukünftige Forschungsbedarfe aufgezeigt.

Bedingt durch den technologischen Fortschritt eröffnen sich innovative Wege, versorgungsrelevante Lösungen zu entwickeln. Dabei ist die Versorgungsforschung gefordert, sich aus einer wissenschaftlichen und patientenzentrierten Perspektive an den Innovationsprozessen zu beteiligen.