Digitale Gesundheitsinterventionen entwickeln, evaluieren und implementieren (Teil I) – Diskussionspapier der Arbeitsgruppe Digital Health des Deutschen Netzwerk Versorgungsforschung (DNVF)

Zusammenfassung

Digitale Interventionen (DI) zu gesundheitsbezogenen Themen gewinnen zunehmend an Bedeutung. Oftmals sind sie komplexe Interventionen, die in einem komplexen Versorgungskontext evaluiert und implementiert werden. Aufgrund der Merkmale digitaler Interventionen ist die Versorgungsforschung vor methodische Herausforderungen gestellt. Daher hat die Arbeitsgruppe Digital Health des Deutschen Netzwerks Versorgungsforschung (DNVF) ein Diskussionspapier erstellt. Darin wird diskutiert, welche Herausforderungen mit der Entwicklung und Evaluation von DI einhergehen. Es werden Lösungsansätze und zukünftige Forschungsbedarfe aufgezeigt.

Einleitung

Die Entwicklung und Anwendung digitaler Interventionen (DI) zu gesundheitsbezogenen Themen gewinnen sowohl in der Forschung als auch in Politik und Gesellschaft zunehmend an Bedeutung ¹ . Die Weltgesundheitsorganisation (WHO) definiert Digital Health Interventionen als “different ways in which digital and mobile technologies are being used to support health system needs.“ ² . Die Anwendung von DI mit gesundheitlichem Bezug bzw. der Digitalisierung im Gesundheitswesen grundsätzlich, wird nicht als Selbstzweck verstanden, sondern sie dient dem Wohl der Patient*innen und Bürger*innen ³ .

Aus Perspektive der Versorgungsforschung ergeben sich verschiedene Herausforderungen im Kontext von DI: Erstens sind DI ein relevanter Gegenstand der Versorgungsforschung, da sie beispielsweise als komplexe Intervention für verschiedene Krankheitsbilder entwickelt, evaluiert und implementiert werden ^{4 5} . Zweitens stellen DI eine methodische, epistemologische und wissenschafts-ethische Herausforderung für die Evaluation – und damit einem der wichtigsten Betätigungsfelder der Versorgungsforschung – dar. Sie erfordern neue Analysemethoden, Datentypen und -quellen ^{4 5} .

Diese und weitere Herausforderungen bei der Evaluation ⁶ und Evidenzgenerierung ⁷ spiegeln sich in den Ergebnissen verschiedener Übersichtsarbeiten wider, die auf eine eingeschränkte bis moderate Evidenz hinweisen ^{8 9} . Dies bedeutet jedoch nicht, dass keine methodisch hochwertigen Studien durchgeführt wurden oder es keine Wirksamkeitsnachweise gibt ¹⁰ . Vielmehr sind bei der Vielzahl an Evaluationsstudien zu DI die methodischen Limitationen, wie meist geringe Fallzahlen, fast immer fehlende Verblindung, kurze Studiendauer sowie fehlende a priori veröffentlichte Studienprotokolle allgegenwärtig ¹¹ .

Vor dem Hintergrund dieser Herausforderungen wird in diesem zweiteiligen Diskussionspapier aus Perspektive der Arbeitsgruppe Digital Health des Deutschen Netzwerks Versorgungsforschung (DNVF) erörtert, welche theoretischen, praktischen und methodischen Herausforderungen mit der Evaluation von DI einhergehen. Es werden Lösungsansätze und zukünftige Forschungsbedarfe zur Adressierung dieser Herausforderungen aufgezeigt.

In diesem ersten Teil werden die Merkmale und Anwendungsgebiete, die Besonderheiten bei der Entwicklung und der Einbindung von Nutzer*innen sowie die Besonderheiten bei der Evaluation von DI in den Mittelpunkt gestellt.

Eigenschaften und Anwendungsfelder digitaler Interventionen

Bislang besteht eine begriffliche Unklarheit in Bezug auf gesundheitsbezogene DI ¹ . Dies hängt mit den vielfältigen beteiligten Disziplinen, Akteur*innen und Nutzer*innen und methodischen Zugangswegen ² sowie mit der Dynamik der Digitalisierung im Gesundheitswesen zusammen ¹² . Es bestehen vielfältige Begrifflichkeiten (z. B. E-Health, Gesundheitstelematik), deren Bedeutung sich im zeitlichen Verlauf zum Teil verändert hat oder aber Begriffe synonym verwendet werden. In Konsequenz lassen sich unter Digital Health zunächst alle Informations- und Kommunikationstechnologien (IKT) aus dem Gesundheitsbereich zusammenfassen ⁴ . Eine Abgrenzung ist jedoch mit Blick auf spezifische Anwendungsbereiche, -formate oder -ziele möglich ^{13 14} .

Die WHO differenziert den Einsatz und Nutzen von DI für verschiedene Gruppen: 1) Nutzer*innen (Klient*innten oder Patient*innen) entsprechender Anwendungen, 2) Professionelle aus dem Gesundheitswesen, 3) mit Gesundheitsschutz, Prävention und Gesundheitsmanagement beauftragte Abteilungen bzw. Organisationen (z. B. Öffentlicher Gesundheitsdienst) sowie 4) Anbieter*innen bzw. Institutionen zur Sammlung, Auswertung und Darstellung gesundheitsbezogener Daten ² .

DI mit spezifischer Ausrichtung auf medizinische Versorgung sind der Telemedizin zuzuordnen. Diese wiederum kann hinsichtlich des medizinischen Fachgebiets (z. B. Telekardiologie, Teleradiologie) oder der genutzten Form der Anwendung (z. B. Telekonsultation, Telemonitoring) differenziert werden ¹⁵ . Telemedizin nutzt (1) IKT, (2) um eine Distanz zu überbrücken und (3) durch Leistungserbringende bei Patient*innen eine Versorgung (oder Schulung) durchzuführen ¹⁴ . Anwendungen im Bereich der psychiatrischen und psychotherapeutischen Versorgung werden mittlerweile auch als Ecological Momentary Interventions (EMIs) ¹⁶ , Just in Time Adaptive Interventions (JITAIs) ¹⁷ oder Internetgestützte und Mobilbasierte Interventionen (IMI) ¹⁸ bezeichnet. Weitere Bereiche stellen DI dar, die im Kontext von Prävention und Gesundheitsförderung eingesetzt werden ¹⁹ . Unter dem Einsatz mobiler gesundheitsbezogener Technologien (mHealth) ermöglichen Apps oder Sensoren im Smartphone das Bewegungs- oder Ernährungsverhalten kontinuierlich zu messen und zu beobachten. Diese Angebote haben in den letzten Jahren durch die Entwicklung von Gesundheits- bzw. Lifestyle-Apps und durch zertifizierte Medizin-Apps an Bedeutung zugenommen ⁴ .

Mit dem Digitale-Versorgung-Gesetz besteht die Möglichkeit, digitale Gesundheitsanwendungen (DiGA) auf Rezept zu verordnen. Bei DiGAs handelt es sich um Medizinprodukte (MP) niedriger Risikoklasse, deren Hauptfunktion wesentlich auf digitalen Technologien beruht (§ 33a Abs. 1 SGB V). Diese durchlaufen einen Begutachtungs- und Erprobungsprozess unter Aufsicht des Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM), welcher als zügiger Fast-Track konzipiert ist.

Zusätzlich zu der Heterogenität von DI ist auch zu berücksichtigen, dass diese vielfach aus mehreren (teilweise interdependenten) Einzelkomponenten bestehen ²⁰ und nicht solitär, sondern in Kombination mit weiteren (nicht-digitalen) Komponenten eingesetzt werden. Da viele DI zeit- und ortsunabhängig genutzt werden können ¹⁵ entfalten sie ihre Wirkung durch die Integration in komplexe soziale Systeme und Lebenswelten ^{21 22} . Somit sind DI selbst komplexe Interventionen oder zumindest in ebensolche eingebettet ¹⁹ . Dies hat Einfluss auf die Planung, Durchführung, Analyse und Interpretation von Evaluationen. ^{19 20}

Entwicklung digitaler Interventionen

Die Entwicklung von DI ist komplex und planungsintensiv, insbesondere wenn ein Übergang in die Regelversorgung angestrebt wird. Hierbei besteht ein Spannungsfeld zwischen den Bedarfen und Wünschen zukünftiger Nutzer*innengruppen und dem technisch Möglichen ²³ . Diesen Herausforderungen kann mit einem iterativen, nutzer*innenzentrierten und partizipativen Entwicklungsprozess begegnet werden ²⁵ . Dieser orientiert sich an der ISO 9241–210:2019 und ist in vier Phasen untergliedert ²⁵ . Mehrheitlich wird dieser Prozess mit dem Begriff User-Centered-Design bezeichnet, z.T. auch als Stakeholder-Centred Design.

1. Kontextanalyse: Zu Beginn erfolgt die Analyse des Versorgungs-Kontextes einer DI und wer die Nutzer*innengruppen mit ihren objektiven Bedarfen und subjektiven Bedürfnissen sind. Die multidisziplinäre Kontextanalyse ist essentiell, da sich Strukturen und Prozesse durch die Implementierung von DI stark verändern können ²⁴ . In der Entwicklungsphase kommen vor allem qualitative (z. B. Fokusgruppen) und quantitative Erhebungsmethoden (z. B. Fragebogenerhebungen) sowie Feldbeobachtungen zum Einsatz ²⁵ . Aber auch die Auswertung von Routinedaten kann wertvolle Hinweise liefern. Zu einer umfassenden Kontextanalyse gehört eine Prüfung, welche DI oder Interventionskomponenten bereits existieren. Hierdurch werden Doppelentwicklungen vermieden und es wird an bereits existierende Entwicklungen angeknüpft.

2. Anforderungsanalyse: Im zweiten Schritt werden die Anforderungen der Nutzer*innen an die DI definiert. Hierzu kommen u. a. Methoden wie sog. Personas (Nutzer*innenmodelle, die die Zielgruppe beschreiben) oder use cases (Beschreibung des Verhaltens eines Systems aus Anwender*innensicht) zum Einsatz ²⁶ .

3. Gestaltung: Erst im Anschluss an die Analysen erfolgt der eigentliche Designprozess, u. a. mit Mock-ups (Anschauungsmodellen) und Card Sorting (Verfahren zur Entwicklung von Navigations- und Menüstrukturen), bis zum Prototypen ²⁷ .

4. Evaluation : Nachdem Prototypen erstellt wurden, erfolgt eine erste formative Evaluation durch die potentiellen Nutzer*innen. Erfasst werden hier unter anderem die Effektivität und Effizienz sowie die allgemeine Zufriedenheit ²⁴ . Hier kommen z. B. Usability-Tests (Test der Gebrauchstauglichkeit), Cognitive Walkthroughs (Evaluation eines Systems/Produkts aus Nutzer*innensicht durch Expert*innen) oder Thinking Aloud-Techniken (Methode zur Erfassung kognitiver Vorgänge bei der Bearbeitung von Testaufgaben) zum Einsatz ²⁸ . Mit den Informationen aus der Evaluation wird die DI modifiziert und optimiert, anschließend erfolgt eine erneute Iteration der Evaluation ( Abb. 1 ) ²⁵ .

Abb. 1.

Wechselseitige Abhängigkeit nutzungsorientierter Gestaltungsaktivitäten (Eigene Darstellung nach ²⁴ ).

Neben dieser vorrangig produktzentrierten Evaluation sollte bei DI eine versorgungszentrierte Evaluation erfolgen. Hierbei sollten sowohl Prozess- als auch Ergebnisparameter unter Berücksichtigung medizinischer, technischer, sozialer und ökonomischer Aspekte einfließen ²⁹ . Die Wahl der hierfür passenden Outcomes und Methoden hängt vom Entwicklungsstand/Reifegrad der Intervention ab ^{29 30} . Beispielsweise sind in frühen Phasen der Entwicklung von DI eher akzeptanzorientierte Outcomes relevant, die oftmals mit qualitativen Methoden ermittelt werden. Hingegen sind in späteren Phasen eher Outcomes relevant, mit denen die Effektivität der Wirkung durch durch quantitative Methoden ermittelt werden (eine Vertiefung findet sich im nachfolgenden Absatz sowie in Teil II des Diskussionsartikels). Bei der Wahl der Methode sollte das der Risikostufe angemessene höchstmögliche Evidenzlevel gewählt werden ^{29 31} .

Ein Einbezug potentieller Nutzer*innengruppen sowie weiterer relevanter Akteur*innen, Interessengruppen und Entscheidungsträger von Anfang an ist eine wesentliche Voraussetzung für eine hohe Akzeptanz und damit die Wirksamkeit und nachhaltige Entwicklung und Implementierung von DI. Haupteinflussfaktoren der Akzeptanz sind entsprechend der etablierten Technologieakzeptanzmodelle, wie etwa der Unified Theory of Acceptance and Use of Technology oder Technology Acceptance Model, die empfundene Einfachheit der Nutzung sowie die empfundene Nützlichkeit/Zusatznutzen ³² . Ein Blick auf die aktuelle Studienlage zeigt jedoch, dass ein solches Vorgehen bei der Entwicklung digitaler Interventionen noch nicht die Regel ist. Ein Review von Maramba et al. ³³ ergab, dass Usability-Studien nur für einen Teil der verfügbaren DI veröffentlicht sind. Zudem wurden bei der Mehrheit der eingeschlossenen Studien lediglich ein oder zwei Methoden im Rahmen der Evaluation eingesetzt, und zwar vorrangig quantitative Erhebungsmethoden. Dies restringiert eine umfassende Beurteilung und Berücksichtigung der Nutzer*innenanforderungen. Überdies fand bei der Mehrheit der Studien lediglich ein Iterationszyklus statt.

Ergänzend hierzu sollte bei der Entwicklung von DI von Beginn an eine potentielle Zertifizierung als MP und ein Übergang in die Regelversorgung berücksichtigt werden (siehe hierzu Teil II des Diskussionsartikels).

Evaluation digitaler Interventionen

Der Goldstandard für den Nutzennachweis von Interventionen sind prospektive randomisiert kontrollierte Studien (RCT) ³⁴ . Sie stoßen aufgrund der genuinen Merkmale von DI teilweise an ihre Grenzen ³⁵ . Die Durchführung von RCTs setzt das Vorhandensein einer stabilen, inhaltlich ausgereiften Intervention ³⁶ sowie ein hohes Maß an Standardisierung externer Faktoren bzw. deren Adjustierung gegenüber Verzerrungen voraus ³⁴ . Es sollte eine begründete Annahme bestehen, dass die Intervention mit einer hohen Wiedergabetreue (delivery) durchgeführt werden kann und dass ein bedeutsamer und theoretisch begründbarer klinischer Effekt zu erwarten ist ⁶ . Häufig werden Evaluationsstudien zu DI nicht als RCT durchgeführt ^{7 37} , sondern lediglich im Pre-Post-Design ³⁵ . Darüber hinaus werden die in systematischen Übersichtsarbeiten eingeschlossenen RCTs oftmals mit einer geringen bis moderaten Qualität bewertet ^{7 38} . Faktoren, welche die Validität von RCT zu DI zusätzlich einschränken, sind kurze Beobachtungs- bzw. Interventionszeiträume ³⁹ und hohe Drop-out-Raten ^{35 40} . Gründe für letzteres sind u. a., dass die Zugehörigkeit zu einer Kontrollgruppe eher als bei anderen Interventionen auffällt und insbesondere redundante Inhalte auf Dauer frustrierend wirken können ⁴¹ . Die Durchführung von RCTs wird zusätzlich dadurch erschwert, dass eine Verblindung für Nutzer*innen und Leistungserbringer*innen, schwierig zu realisieren ist ⁴² . Es besteht jedoch die Möglichkeit, mit reduzierten Varianten der DI (oder auch einer funktionslosen Scheinapp) in der Kontrollgruppe zu operieren ⁴³ . Die Nutzung einer Scheinapp reduziert hierbei zudem den potentiellen Einfluss des digitalen Placebo-Effekts und die Dropoutraten, da beide Gruppen eine digitale Intervention erhalten ⁴⁴ .

In Bezug auf die Charakteristika von RCT im Kontext DI wird kritisiert, dass diese mit den besonderen Merkmalen von DI schwer vereinbar sind ⁴⁵ . Adaptive Studiendesigns, die ein größeres Maß an Variabilität und Individualisierung ermöglichen und der Entwicklungsdynamik gerecht werden, gelangen zunehmend in die Diskussion ^{3 46} . Ein Merkmal adaptiver Studiendesigns ist, dass während der Durchführung Interimsanalysen durchgeführt werden, die zu einer (a priori geplanten) Adaption führen. Anpassungen, die nach einer solchen Interimsanalyse vorgenommen werden können, sind die Adjustierung der Stichprobengröße oder des Zuweisungsverhältnisses zwischen Studienarmen ⁴⁶ . In diesem Kontext sind auch sog. Drop-the-Loser-Designs zu nennen, bei denen während der Interimsanalyse nachweislich ineffektive Interventionskomponenten aus weiteren Analysen ausgeschlossen werden ⁴⁷ . Werden digitale Interventionen in der Regelversorgung, etwa in mehreren Kliniken, getestet, so ist auch eine Cluster-Randomisierung der Kliniken statt individueller Randomisierung denkbar, welche zudem systematischen Bias aufgrund der Clusterzugehörigkeit ausschließt ⁴⁸ . Die Frustration darüber, in der Kontrollgruppe gelandet zu sein, wird in Stepped-Wegde-Designs vermieden, in dem Proband:innen zu einem definierten Zeitpunkt von der Kontroll- in die Interventionsgruppe wechseln können ⁴⁹ . Auch wenn hierbei eine Verblindung nicht durchzuhalten ist, können Stepped-Wegde-Designs dazu beitragen Dropoutraten zu minimieren ⁵⁰ . Eine weitere Alternative bilden Studiendesigns, welche eine historische Kontrollgruppe, z. B. auf Basis der Abrechnungsdaten von Krankenkassen oder Daten aus krankheitsrelatierten Registern, bilden ⁵¹ .

Weitere alternative Studiendesigns , wie etwa „Continuous Evaluation of Evolving Behavioral Intervention Technologies“ (CEEBIT), „Multiphase Optimization Strategy“ (MOST), Sequential Multiple Assignment Randomized Trial‘‘ (SMART) und „Micro-Randomized Trial“ (MRT) werden ebenso diskutiert ⁴⁵ . Es besteht die Ansicht, dass diese jedoch als nicht hinreichend für Wirksamkeits- und Nutzenbewertungen von DI angesehen werden, da sie nicht in der Lage sind einen der RCT vergleichbaren Evidenzgrad zu generieren ⁴⁵ . Neben alternativen Studiendesigns ist eine stärkere Einbindung qualitativer Methoden in Parallelgruppen-Designs nützlich. Fokusgruppen vor und nach dem Abschluss von Interventionen könnten sich eignen, qualitative Veränderungen des medizinischen Nutzens (u. a. Gesundheitszustand und Lebensqualität) oder der Nutzenerwartung, etwa in Form von Patient-Reported Outcome Measure `(PROMs) und Patient Reported Experience Measures (PREMs), sowie hemmende und fördernde Faktoren der DI aus Sicht der Nutzer*innen abzubilden ⁵² . Dies kann auch im Rahmen von Prozessevaluationen und mit Hilfe von Mixed-Methods-Designs geschehen.

Zudem sollten die Qualität und Wirkung von DI auch nach der Entwicklung und Implementation betrachtet werden, so wie es bei MPs gefordert wird (Post-Market-Surveillance) ^{3 53} . Jedoch ist es auch für DI, die nicht als MP vorgesehen oder bereits zertifiziert sind, sinnvoll ein Monitoring der Wirkung und Qualität durchzuführen.

Obwohl RCTs der Goldstandard für die Wirksamkeitsprüfung von Interventionen im Gesundheitswesen sind, scheint bei der Vielzahl eine systematische Nutzenbewertung aller DI durch RCTs kaum praktikabel. Entscheidend sind die intendierten Funktionalitäten und das damit einhergehende Verhältnis von Nutzen und Schaden ⁵⁴ . Das National Institute for Health and Care Excellence (NICE) hat hierzu das Evidence Standards Framework for Digital Health Technologies veröffentlicht (NICE-Framework), in dem DI nach Schaden- und Nutzenverhältnis in drei Evidenzstufen eingeordnet werden ³¹ .

Zusammenfassend lässt sich derzeit festhalten, dass RCTs noch immer als Goldstandard für den Nutzennachweis gelten. Für alternative Studiendesigns gilt, dass weitere Erfahrungen gesammelt werden müssen und deren Anwendung im Kontext von DI weiterzuentwickeln sind. Eine Erwägung alternativer Studiendesigns wird im Gutachten „Digitalisierung für Gesundheit“ des Sachverständigenrates zur Begutachtung der Entwicklung im Gesundheitswesen empfohlen und entsprechende Designs beschrieben ³ . Da adaptive Studiendesigns bis heute nur selten genutzt werden, ist zukünftig ebenso zu eruieren, wie sie zum Einsatz kommen können, ohne Abstufungen des Evidenzlevels in Kauf zu nehmen ⁵⁵ . Das NICE-Framework kann für den deutschen Kontext ein Good-Practice-Beispiel darstellen ^{31 42} .

Schlussbetrachtung

Ziel dieses ersten Teils des Diskussionsartikels war es, aus Sicht der Versorgungsforschung zu diskutieren, welche Herausforderungen bei der Entwicklung und Evaluation von DI aufgrund deren spezifischen Eigenschaften existieren sowie Lösungsansätze und zukünftige Forschungsbedarfe aufzuzeigen.

Versorgungsforschung hat als Ziel, die Forschung zu Versorgungsstrukturen und Versorgungsprozessen in tatsächlichen und alltäglichen Abläufen zu adressieren ⁵⁶ . Daraus folgt, dass eine kontinuierliche Auseinandersetzung mit der Evaluation von DI unabdingbar ist. Insbesondere die Komplexität sowie die spezifischen Möglichkeiten und Herausforderungen von DI stellen besondere Anforderungen an die Evaluation von DI. Betrachtet man jedoch die Empfehlungen zur Entwicklung und Evaluation komplexer Interventionen, so adressieren diese die diskutierten besonderen Eigenschaften von DI noch nicht hinreichend genug ^{6 57} .

In dem zweiten Teil des Diskussionsartikels werden weiterer Themenfelder diskutiert, die von Relevanz bei der Evaluation von DI sind. Hierzu zählen die Auswahl von Outcomes bei der Evaluation, dem Reporting von Studienergebnissen, der Synthese der Evidenz sowie der Implementierung von DI in den Versorgungsalltag.