Evaluation von Gemeinde-Kapazitäten durch Quartiersakteur*innen und externe Expert*innen im Vergleich – Ergebnisse der Auditierung der Gesundheitsförderungsaktivitäten in der Hamburger Lenzsiedlung

Abstract

Aim The questionnaire “Capacity building in Neighbourhoods (KEQ)” has five dimensions which are regarded as intermediary outcome results of community health promotion. The questionnaire was to be completed by local actors and thus has some features of self-evaluation. We wanted to find out whether external experts make similar or more critical assessments.

Methods We conducted an audit of the health promotion activities in our intervention area (Hamburg neighbourhood Lenzsiedlung) in two steps. Five external health promotion experts functioned as auditors with experience in evaluating good practice projects of health promotion. The first part of the audit was a document-based evaluation, the second part a visit-based one during a two-day stay in the intervention area.

Results In the comparison of local actors’ assessments (KEQ questionnaire results) with those of external experts in the document-based audit, the judgements of external experts were more positive on all five dimensions of the questionnaire (deviations from +0.1 to +0.9 on a scale from 1 to 5). In the visit-based audit, there was convergence in the assessments of the local actors and the external experts. They were partly identical; only the dimension “local leadership” was viewed slightly more critically by the external experts.

Conclusions Based on our discussion of the four methodical problems of the comparison, we conclude that, on the whole, local actors do not tend to evaluate their activities too positively. However, if resources are available, one should try to confirm local views of outcomes by external assessments.

Hintergrund und Fragestellung

Sozialraumbezogene Gesundheitsförderung und Prävention wird seit langem als vielversprechender Ansatz betrachtet ¹ . In Deutschland ist der Sozialraum (Quartier, Stadtteil, Kommune) durch die Betonung des Setting-Ansatzes im Präventionsgesetz nochmals verstärkt in den Fokus gerückt worden ² . Die aussagekräftige Evaluation solcher Ansätze bereitet jedoch Schwierigkeiten, die zum größten Teil in der Komplexität dieser Ansätze zu suchen sind ^{3 4} . Auf Ergebnisevaluation ausgerichtete Reviews stoßen auf vielfältige Probleme, insbesondere auch durch die Unterschiedlichkeit der oft mit „mixed methods“ untersuchten Interventionen, und kommen zwar zu positiven Einschätzungen; diese sind aber eher schwach ausgeprägt und zeigen eine unsichere Evidenzlage ^{5 6} .

In eigenen Studien haben wir die quartiersbezogene Gesundheitsförderung in einem Hamburger Gebiet, der Lenzsiedlung, begleitet. Im Vordergrund stand die multimethodische Evaluation ⁷ . Dabei war eines der frühen Hauptziele, ein Instrument zu entwickeln, das sog. Gemeindekapazitäten misst. Solche „Community Capacities“ gelten als intermediäre Outcome-Maße. In einem internationalen Übersichtsaufsatz werden als gemeinsame Züge vieler kursierender Definitionen herausgehoben: „(1) Gemeinde-Kapazitäts-Aufbau ist ein Prozess/ ein Ansatz; (2) Gemeinde-Kapazitäts-Aufbau ist eine Sammlung von Domänen, die oft als Charakteristika, Aspekte, Fähigkeiten oder Dimensionen bezeichnet werden; und (3) Definitionen schließen ein angestrebtes Ergebnis oder die Begründung für den Kapazitätsaufbau ein ⁸ ; Übersetzung durch die Autoren]. Auch unser Instrument KEQ (Kapazitätsentwicklung im Quartier) wurde einerseits durch wiederholte Messungen als Element der Rückmeldung für einen kontinuierlichen Prozess der Qualitätsentwicklung genutzt ⁹ . Andererseits hatte es aber auch den Anspruch, Element einer Ergebnisevaluation zu sein, die zur Evidenzbildung für den allgemeinen Ansatz quartiersbezogener Gesundheitsförderung beiträgt.

Dabei hat das Instrument allerdings einen Makel, der Zweifel an der Glaubwürdigkeit der Ergebnisse rechtfertigt: Die Einschätzung von Community Capacities und ihrer (positiven oder negativen) Entwicklung erfolgt durch die Akteur*innen des Quartiers, also diejenigen, die in der einen oder anderen Weise an der Durchführung der Maßnahmen beteiligt sind. Die Messungen mit dem Instrument kommen also in die Nähe einer Selbstevaluation. Hier setzt der methodische Vorwurf an, dass eine Selbstevaluation zu beschönigten Ergebnissen führt, also einen systematischen Bias hat, der zu positive Bewertungen ergibt.

Dies Problem ist aber nicht spezifisch für unser Instrument, sondern ist ein generelles, das in unterschiedlichen Varianten auch für andere Gesundheitsförderungsprojekte und Ansätze gilt: Auch dort werden meistens die Akteur*innen befragt, z. B in Form von Experteninterviews ^{10 11} , Online Befragungen von Projektnehmer*innen, Telefon-Interviews mit verschiedenen Akteur*innen, Fallstudien mit Dokumenten und Interviews von Akteur*innen ¹² , oder Interviews mit Schlüsselpersonen in Gemeinden ¹³ .

Für das Generieren „praxisbasierter Evidenz“ werden die durchführenden Akteur*innen und Beteiligten vor Ort explizit zu „Hauptzeug*innen“ für Nachweise „zur Wirksamkeit gemeindebasierter Interventionen auf der Grundlage der lokal gegebenen Strukturen, Prozesse und Praxis-Logiken“ gemacht ¹⁴ . Als Aspekte der praxisbasierten Evidenz gelten u.a.:

• „Wissens- und erfahrungsbasierte Schlussfolgerungen von Akteuren und Akteurinnen aus Politik und Praxis über Wirkzusammenhänge in ihrem Handlungskontext

• lokales Wissen (z.B. Insiderwissen über die Zielpersonen und deren Lebenswelt, Wissen über die Gesundheitslage der Zielpersonen, Berücksichtigung gemachter Lernprozesse)“ ¹⁵ .

Natürlich ist dies Vorgehen höchst plausibel, denn schließlich sind die Akteur*innen die besten Kenner*innen ihres Sozialraums und der von ihnen darin durchgeführten Interventionen. Aber es bleibt die Frage, ob ihre Sichtweise auch objektiv ist in dem Sinne, dass externe Beobachter*innen zu den gleichen Bewertungen und Schlüssen kommen.

Um dies herauszufinden, haben wir mittels der Methode des Audits eine Fremdbeurteilung bzw. externe Evaluation der Gesundheitsförderung im Quartier Lenzsiedlung vornehmen lassen.

Ziel der Forschung war und dieses Beitrags ist die Klärung der spezifischen Frage, ob das Instrument KEQ einen Bias im Sinne zu positiver oder negativer Ergebnisse hat. Gleichzeitig soll ein Beitrag zu der allgemeinen Frage geleistet werden, als wie vertrauenswürdig evaluative Angaben von Akteuren in der sozialraumbezogenen Gesundheitsförderung einzuschätzen sind.

Methoden

Zum besseren Verständnis muss zunächst das Instrument KEQ kurz charakterisiert werden. Das Audit wurde in zwei methodisch unterschiedlichen Stufen durchgeführt, die wir anschließend beschreiben. Ein Audit dient verschiedenen Zwecken, je nach Kontext. Allgemein ist es Instrument der kollegialen Qualitätssicherung und wird in der DIN EN ISO 9000 definiert als „systematischer, unabhängiger und dokumentierter Prozess zum Nachweis von definierten Kriterien“ ¹⁶ . In unserem Kontext ging es um den Nachweis, ob die Aussagen (Items) bzw. die aus ihnen gebildeten Dimensionen, mit denen die Gemeindekapazitäten vor Ort gemessen wurden, auch bei externer Beurteilung einen in etwa gleichen Erfüllungsgrad aufweisen.

Kapazitätsentwicklung im Quartier (KEQ)

Kapazitätsentwicklung ist eine Übersetzung aus dem Englischen („Capacity Building“) und hebt ab auf verschiedene positive Merkmale eines Gemeinwesens, die den Erfolg, die Reichweite und die Nachhaltigkeit gesundheitsfördernder Aktivitäten erhöhen können ¹⁷ . Das Instrument entstand auf der Basis angloamerikanischer Vorarbeiten und ist u. W. bisher die erste Operationalisierung dieses Parameters in Deutschland ^{18 19} .

Es umfasste ursprünglich 51 Items, die fünf Dimensionen von Capacity Building abbilden: Bürgerbeteiligung, lokale Führung, vorhandene Ressourcen, Vernetzung und Kooperation, Gesundheitsförderung. Mit dieser Version des Instruments (KEQ-LF51) wurde in den Jahren von 2006 (t1) über 2008 (t2) bis 2011 (t3) erfolgreich die Kapazitätsentwicklung im Quartier „Lenzsiedlung“, unserem Forschungsfeld, gemessen. Danach wurde eine auf 31 Items gekürzte Fassung verwendet (KEQ-SF31 für t4 und t5). Abb. 1 enthält exemplarisch das Muster, wie die Dimensionen abgefragt werden (entnommen aus der nochmals verbesserten Endfassung KEQ-SF30; vgl. ausführlicher ²⁰ ).

Abb. 1.

: Exemplarisches Muster der Abfrage einer Dimension des Fragebogens KEQ.

Dokumentenbasiertes Audit

In der ersten Phase des Audits ( dokumentenbasierte Fremdbewertung) wurden zunächst fünf externe Fachkolleg*innen aus dem Kooperationsverbund „Gesundheitliche Chancengleichheit“ als Auditor*innen ausgewählt, die Erfahrungen in der Bewertung von Good Practice-Projekten der Gesundheitsförderung gesammelt haben. Die Auditor*innen bekamen nach ihrer Zustimmung zur Teilnahme am Audit folgende Unterlagen zugesandt mit der Option (wie im üblichen Good Practice-Verfahren), Nachfragen stellen zu können, um die schriftlichen Materialien zu ergänzen:

• Dokumente aus der Forschung:

  • Bestandsaufnahme gesundheitsförderlicher Aktivitäten und Strukturen für die Jahre 2011 und 2013 (also vor und nach offizieller Beendigung des Programms Mitte 2012 ²¹

  • Bericht über Experteninterviews zur retrospektiven Langzeiteinschätzung, die sich vor allem auf die drei Jahre nach dem Ende des Präventionsprogramms (2013-2015) erstreckte ²²

• neu entwickelter Bewertungsbogen für die Auditor*innen auf Basis der KEQ-Dimensionen.

Der neue Bewertungsbogen wurde vom Forschungsprojekt bezüglich Inhalt und Wortwahl eng an die Bewertungsstufen der Good Practice-Kriterien angelehnt ²³ . Für die fünf KEQ-Dimensionen wurde jeweils ein einziges zusammenfassendes Item formuliert und inhaltlich erläutert, da die 31 KEQ-Items für die externe Bewertung zu spezifisch und feldbezogen erschienen. Die Umsetzungsstufen der fünf Dimensionen wurden durch neue kurze Texte definiert, wobei die Abstände zwischen den Stufen möglichst gleich erscheinen sollten. In Abb. 2b ist der Bewertungsbogen am Beispiel der Dimension „Bürgerbeteiligung“ wiedergegeben und dem KEQ-Fragebogen ( Abb. 2a ) gegenübergestellt.

Abb. 2.

Entstehung der Ergebnisse der KEQ-Erhebung a und der Auditor*innen-Befragung b am Beispiel der Dimension Bürgerbeteiligung. (Quelle: Stefan Nickel, Christian Lorentz, Waldemar Süß, Karin Wolf, Alf Trojan (Hg.) Qualitätsentwicklung und Verstetigung quartiersbezogener Gesundheitsförderung. Berlin: LIT-Verlag 2019, S.120/121).

Nach Zusendung (Dez. 2016) des Bewertungsbogens sowie der o.g. Informationsmaterialien gaben die Auditor*innen bis Februar 2017 unabhängig voneinander ihre Einschätzung ab, welche Stufe die Entwicklung in der Lenzsiedlung im Jahr 2015 (also zwei Jahre nach dem offiziellen Ende des Programms) in den fünf KEQ-Dimensionen erreicht hatte, wobei auch Zwischenstufen wie 2,5 oder 3,8 etc. möglich waren. Die gemittelten Werte ergaben eine unabhängige externe Fremdbewertung der erreichten Entwicklungsstufe in den fünf KEQ-Dimensionen, die wir den quartiersinternen Bewertungen der lokalen Akteure im Rahmen der KEQ-Erhebung 2015 (t4) gegenüberstellen konnten.

Die Abb. 2b zeigt, wie wir dem Dilemma ausgewichen sind, dass Auditor*innen nicht in der Lage gewesen wären, den Erfüllungsgrad jedes einzelnen Items zu bewerten.

Besuchsbasiertes Audit (Visitation)

Für die zweite Phase des Audits Anfang Mai 2017 erhielten die Auditor*innen zwar eine Vorinformation in Form der fortgeschriebenen Bestandsaufnahme für die Jahre 2014 und 2016 bis zur KEQ-Erhebung im Februar 2017 (t5). Im Zentrum stand jedoch die Bewertung der Gemeinde-Kapazitäten durch eine Visitation. Besuchsbasierte Fremdbewertungen gehören oft zu einem Audit; im Gesundheitssystem führen sie als letzte Phase eines Auditverfahrens meist zu einer Akkreditierung, einem Siegel oder einer Auszeichnung oder sie enden in einem Qualitätsentwicklungsgespräch. Sie zeichnen sich durch einen strukturierten Ablauf des Vor-Ort-Besuchs aus. Im Falle der Lenzsiedlung war das externe Audit über zwei Tage verteilt (mit Unterbringung der Auditoren vor Ort) und umfasste eine allgemeine Information zum Stand der Quartiersentwicklung mit Begehung der Lenzsiedlung (1,5 Std.) und zwei Blöcke von je zwei Stunden, in denen die Auditoren mit lokalen Akteuren sprechen konnten. Die ausgewählten Akteure waren lange im Quartier aktiv und hatten einen überdurchschnittlich guten Informationsstand über alle Aktivitäten in der Lenzsiedlung.

Als Abschluss fanden zwei je 1,5 Std. lange Blöcke statt. Der erste diente dem primären Ziel (wie auch schon bei der dokumentenbasierten Fremdbewertung), nämlich der Ermittlung der Übereinstimmung von Auditor*innen-Ergebnissen mit den Ergebnissen der letzten KEQ- Befragung (Februar 2017). Im zweiten Block wurde die fachliche Expertise der Auditor*innen genutzt, um unter Beteiligung von Akteur*innen aus der Praxis Ansatzpunkte für Qualitätsverbesserung zu diskutieren. Dies Qualitätsentwicklungsgespräch hatte den Fokus „kommunale Programme und ihre Verstetigung“, soll aber in diesem Beitrag nicht weiter behandelt werden ²⁴ .

Ergebnisse

Tab. 1 fasst die dokumentenbasierten Einschätzungen des ersten Audits, d.h. der Auditor*innen für die Jahre 2013/14 zusammen und setzt sie in Bezug zu den Mittelwerten aus der KEQ-Befragung von Februar 2015. Die Ergebnisse der KEQ-Befragung waren den Auditor*innen natürlich nicht bekannt. Die durchschnittlichen Einschätzungen der Auditor*innen fallen auf allen fünf Dimensionen positiver aus. Mit einer positiven Abweichung von +0,1 bis +0,9 liegen sie zum Teil deutlich über den Einschätzungen der Akteur*innen vor Ort (rechte Spalte der Tabelle). Besonders deutlich trifft dies auf die Dimensionen „Vorhandene Ressourcen“ und „Gesundheitsförderung“ zu.

Tab. 1 Fremd- und Selbstbewertungen zu t4 (2015) im Vergleich (Einzelurteile und Mittelwerte).

	Bewertungen der Auditoren					Mittelwerte
	A1	A2	A3	A4	A5	Aa	KEQb	∆c
Bürgerbeteiligung	3,5	4,7	2,7	3,5	3,5	3,6	3,3	+0,3
Lokale Führung	4,5	4,5	3,5	4,0	3,0	3,9	3,8	+0,1
Vorhandene Ressourcen	3,7	4,6	3,2	4,0	4,0	3,9	3,3	+0,6
Vernetzung/Kooperation	4,0	4,1	4,0	4,0	3,5	3,9	3,6	+0,3
Gesundheitsförderung	4,1	4,5	3,8	4,0	4,0	4,1	3,2	+0,9

a Fremdbewertung der Auditoren (A). b Selbstbewertung der lokalen Akteure (KEQ). c Differenz A - KEQ (∆)

Die Einzelangaben der Auditor*innen (A1 bis A5) zeigen, dass ihre Einschätzungen nicht homogen, sondern teilweise deutlich differierend waren, was an anderer Stelle näher exploriert und diskutiert wird ²⁵ . Generell zeigt der Vergleich, dass die quartiersexternen Auditor*innen auf Basis der zur Verfügung gestellten Unterlagen aus der Begleitforschung positivere Bewertungen abgeben als wir sie mittels KEQ von den im Quartier involvierten Akteur*innen bekommen haben.

Das zweite Audit, d.h. die besuchsbasierte Einschätzungen der Auditor*innen fanden am Ende des zweiten Besuchstags statt und wurden mit den Ergebnissen der (den Auditor*innen bis dato nicht bekannten) KEQ-Befragung vom Februar 2017 (t5) abgeglichen. Auch dabei ging es darum, die aktuelle Situation der letzten Zeit – im Prinzip der Zeit seit der KEQ-Erhebung t4 Anfang 2015 – in den Blick zu nehmen, so dass auch die Entwicklungsrichtung in die Sichtweise des Entwicklungsstands einfloss. Auf Basis der Begehung der Lenzsiedlung und der Gespräche am Vortag füllten die Auditor*innen dazu vor Ort den ihnen bereits bekannten Bewertungsbogen aus. Die Ergebnisse wurden gesammelt, gemittelt und in Folienform der Runde präsentiert.

Da uns auch interessiert, ob sich die erste, nur anhand von Dokumenten erfolgte Bewertung unterscheidet von einer Bewertung, die auf Basis eines Vor-Ort-Besuchs stattfand, werden in Tab. 2 beide Fremdbewertungen nebeneinander, jeweils im Vergleich mit der internen Bewertung lokaler Akteur*innen gezeigt.

Tab. 2 Selbst- und Fremdbewertungen im Vergleich des dokumentenbasierten (2015) und besuchsbasierten ²⁰¹⁷ Audits.

	t4 (2015)			t5 (2017)
	KEQ a	A b	∆ c	KEQ a	A b	∆ c
Bürgerbeteiligung	3,3	3,6	+0,3	3,4	3,5	+0,1
Lokale Führung	3,8	3,9	+0,1	3,8	3,6	− 0,2
Vorhandene Ressourcen	3,3	3,9	+0,6	3,4	3,9	+0,5
Vernetzung und Kooperation	3,6	3,9	+0,3	3,5	3,5	±0,0
Gesundheitsförderung	3,2	4,1	+0,9	3,6	3,6	±0,0

a Selbstbewertung der lokalen Akteure (KEQ); ^b Fremdbewertung der Auditoren (A); c Differenz A - KEQ (∆)

Während das dokumentenbasierte Audit (Fremdbewertung) für 2015 (t4) die Entwicklung durchgängig und zum Teil deutlich positiver bewertet, als dies die Selbstbewertung (KEQ-Befragung) tut, haben sich die Ergebnisse von KEQ-Beantworter*innen vor Ort und externen Auditor*innen 2017 (t5) stark angenähert, zum Teil sind sie sogar identisch. Nur die Dimension Lokale Führung wurde etwas kritischer von den externen Auditor*innen gesehen.

Diskussion

Das Auditverfahren ist in der Gesundheitsförderung (anders als z.B. in der Gesundheitsversorgung) selten, jedoch nicht gänzlich unbekannt. Der Landesvereinigung für Gesundheit Sachsen-Anhalt e.V. dient es dazu, Kitas (und analog Schulen) zu zertifizieren. Die Zertifizierung erfolgt in mehreren Schritten: Ausbildung von Qualitätsbeauftragten, Eigenbewertung an Hand eines Kriterienkataloges und Qualitätsbericht, Fremdbewertung und kollegialer Dialog sowie die abschließende Auszeichnung mit dem Zertifikat „Gesunde Kita“. In einem Zertifizierungsverbund sind inzwischen fünf weitere Bundesländer an dem (freiwilligen) Verfahren für Kitas und acht Bundesländer an dem für Schulen beteiligt ²⁶ . Auch im Setting Betrieb gibt es Zertifizierungsaudits im Rahmen des Gesundheitsmanagements, die von professionellen Dienstleistern durchgeführt werden ²⁷ . Ebenso benutzt der Kooperationsverbund Gesundheitliche Chancengleichheit eine Art dokumentenbasiertes Audit anhand eines Fragebogens entlang seinen 12 Qualitätskriterien, um Praxisbeispiele als Good Practice auszuzeichnen ²³ . Aus all diesen Zusammenhängen ist jedoch nicht bekannt, inwieweit Eigenbewertungen und Fremdbewertungen übereinstimmen. Grund dafür ist, dass diese Frage im Kontext von Qualitätsentwicklungsprozessen nur als Diskussionsstimulus eine Rolle spielt, bei der Outcome-Evaluation bzw. Evidenzgenerierung hingegen wesentlich ist für die Glaubwürdigkeit von Ergebnissen.

Zentrales Ergebnis der von uns durchgeführten Audits ist, dass im dokumentenbasierten Audit für 2015 (t4) die Entwicklung deutlich positiver bewertet wurde, als dies in der Eigenbewertung der lokalen Akteur*innen der Fall war. Im besuchsbasierten Audit lagen die Ergebnisse von Akteur*innen und Auditor*innen für 2017 (t5) sehr nahe beieinander, für zwei Dimensionen waren sie identisch. Die These, dass lokale Akteur*innen in der Eigenbewertung ihre Aktivitäten beschönigen bzw. zu unkritisch einschätzen würden, hat sich also nicht bestätigt. Dies Ergebnis wird auch untermauert durch Fokusgruppen von Bewohnern der Lenzsiedlung, die wir in einem anderen Teilprojekt durchgeführt haben ²⁸ .

Bevor wir auf dies Ergebnis weiter eingehen, müssen einige Limitationen unseres Vergleichs angesprochen werden:

• Die Bewertungen der Auditor*innen fanden nicht punktgenau zum Zeitpunkt der KEQ-Erhebungen statt. Allerdings bezogen sich sowohl die Bewertungen der lokalen Akteur*innen wie auch der Auditor*innen jeweils auf Zeiträume der Entwicklung und nicht exakt definierte Zeitpunkte.

• Die Aussagen, denen auf einer Skala von 1 bis 5 zugestimmt werden musste, waren unterschiedlich in den KEQ-Erhebungen und in dem Bewertungsbogen der Auditor*innen. Die Unschärfe, die durch dieses Verfahren in den Vergleich hineinkommt, war für uns leider unvermeidlich, weil die Befragung der Auditor*innen mit dem Erhebungsinstrument KEQ zu spezifisch gewesen wäre und daher vermutlich zu vielen fehlenden Antworten oder mangels detaillierter Kenntnisse zu Fehleinschätzungen geführt hätte.

• Besonders bei der dokumentenbasierten Beurteilung konnten die Auditor*innen nur auf Basis der Unterlagen ihre Schlussfolgerungen über die quartiersbezogene Gesundheitsförderung ziehen. Die Unterlagen könnten theoretisch eine zu positive Darstellung enthalten haben. In der späteren Vor-Ort-Diskussion mit den Auditor*innen über die Ergebnisse ihrer Beurteilungen, also nach persönlicher Inaugenscheinnahme, wurde dieser Aspekt jedoch von niemandem genannt.

• Dadurch, dass die Auditor*innen zwangsläufig nicht alle Informationen und Erläuterungen zur gesundheitlichen und sozialen Situation im Quartier erhalten haben bzw. diese aus pragmatischen Gründen auch nicht erhalten konnten, ergibt sich eine Einschränkung im Umfang der Prüfung. Dieses Problem bestand allerdings auch für die Beantworter*innen des KEQ-Fragebogens: Auch sie waren nicht über alles, was im Quartier lief, in einheitlicher Weise und allumfassend informiert.

  Wie lässt sich das zentrale Ergebnis tendenziell negativerer Eigenbeurteilung lokaler Akteur*innen verstehen? Diese Frage haben wir den Auditoren vorgelegt und diskutiert. Als Erklärungen wurden vor allem folgende Annahmen genannt:

• Die interne Bewertung der Akteur*innen im Rahmen der KEQ-Befragungen fällt kritischer aus, weil die Akteur*innen höhere Erwartungen haben.

• Die Akteur*innen vor Ort sind unmittelbarer mit den oft widrigen Bedingungen in ihrem Quartier konfrontiert, und

• sie fühlen sich stärker betroffen von tendenziellem Scheitern ihrer Bemühungen.

Mit anderen Worten: Die Kluft zwischen dem, was als Ergebnis ihrer Aktivitäten erwartet wurde und dem, was in der Realität tatsächlich erreicht wurde, also eine gewisse Enttäuschung, führt zu tendenziell eher stark selbstkritischen Bewertungen.

Für die generell niedrigere „Interrater*innen-Reliabilität“ der Auditor*innen untereinander wurde festgestellt, dass es immer auch subjektiv sei, welche Aspekte bzw. Informationen zu einer Dimension als wichtig oder weniger wichtig angesehen werden. In die Bewertung der Auditor*innen flössen teilweise auch Informationen ein, die für wichtig gehalten werden, aber in den Items nicht enthalten sind.

Schlussfolgerungen für Forschung und Praxis

Die im Rahmen von Begleitforschung erhobenen Bewertungen lokaler Akteur*innen ihrer eigenen Aktivitäten scheinen vertrauenswürdiger zu sein, als methodische Vorbehalte gegen Selbstevaluation vermuten lassen. Die in dieser Studie gefundenen Ergebnisse können sicher nicht Allgemeingültigkeit beanspruchen, sind aber ein Hinweis darauf, dass Studien und Quellen „praxisbasierter Evidenz“ nicht unbedingt einem starken Bias unterliegen. Es wäre allerdings wünschenswert, ähnliche Vergleiche interner und externer Evaluation in anderen Kontexten und mit anderen Instrumenten anzustellen, um unsere Ergebnisse zu überprüfen.

Die externen Bewertungen waren im besuchs basierten Audit näher an den (selbstkritischeren) Bewertungen der lokalen Akteur*innen als im allein dokumenten basierten Audit. Von den Auditoren wurde dies auf den besonderen Vorteil der Visitation zurückgeführt, bei der fehlende Informationen und/oder zusätzliche Informationen zu den zur Verfügung gestellten Dokumenten eingeholt werden konnten. Dies mache die Bewertung und Einschätzung einerseits leichter und andererseits präziser. Für Verfahren der allein dokumentenbasierten Zertifizierung oder Auszeichnung als Good Practice ist eine gewisse Vorsicht geboten: Sie können offenbar ein positiveres Bild ergeben als es im Rahmen von Vor-Ort-Visitationen entsteht.

Trotz dieses Vorteils des besuchsbasierten Audits muss kritisch gefragt werden, ob der relativ hohe finanzielle und zeitliche Aufwand hierfür gerechtfertigt ist (Bahnfahrt, Hotel, Verpflegung, Honorare etc.) Sofern die Mittel dafür im Rahmen von Forschung zur Evidenzgenerierung oder ähnlichen Zwecken gedeckt sind, lohnt es sich, lokales Wissen durch Fremdbeurteilungen abzusichern. Für die Praxis der Qualitätsentwicklung oder Identifizierung von Good Practice ist die Visitation als Standardverfahren – gerade auch angesichts der von uns gefundenen selbstkritischen Eigenbewertungen lokaler Akteur*innen – vermutlich zu aufwendig.

Dabei ist allerdings zu bedenken, dass das persönliche kollegiale Qualitätsentwicklungsgespräch am Ende der Visitation von allen Beteiligten als großer Gewinn angesehen wurde.