4.4 Eignung von Rahmenkonzept und Instrumenten "Einrichtungs-Brille"
Im Folgenden wird die Fragestellung des Pilotprojektes nach der Eignung der für die Evaluation formulierten Ziele "Einrichtungs-Brille" und der Passung zu den in den jeweiligen empfohlenen Einrichtungen verfolgten Zielen beantwortet. Ein weiterer Schwerpunkt der Prüfung ist die Durchführbarkeit der Befragung aus Sicht der Einrichtungen sowie die Eignung der Instrumente für die Befragung der jeweiligen Zielgruppen. Daher erfolgt diese Betrachtung im Folgenden getrennt für die drei Zielgruppen.
Der insgesamt hohe Rücklauf aus der Befragung "Einrichtungs-Brille" (vgl. Abschnitt 4) ist als erster Hinweis darauf zu werten, dass die Befragung sich in den Alltag der Jugendhilfeeinrichtungen integrieren lässt, die Instrumente alles in allem gut eingesetzt werden können und die Inhalte von den durchführenden Mitarbeitenden der teilnehmenden Einrichtungen grundsätzlich als sinnvoll und passend erachtet werden. Der unterschiedlich hohe Rücklauf aus den verschiedenen Einrichtungen legt jedoch nahe, dass die Umsetzung teilweise besser, teilweise weniger gut funktioniert hat.
Zur Frage der Eignung von Rahmenkonzept und Instrumenten werden vor allem Rückmeldungen von Einrichtungsvertretenden sowie die Kommentare der Interviewenden zu Hemmungen oder Schwierigkeiten im Interviewverlauf ausgewertet.
Die Befragung von Ansprechpartnern beim Jugendamt ist bei vier von sechs Einrichtungen erfolgt. Dort wo sie erfolgt ist, gaben die Mitarbeitenden vom Jugendamt gerne und bereitwillig Auskunft.
Hinsichtlich der Eignung der Instrumente "Einrichtungs-Brille" entsteht ein differenziertes Bild abhängig vom Sprachverständnis der befragten Kinder, Jugendlichen und Angehörigen (z.B. Nicht-Muttersprachler, Geflüchtete) sowie bei Kindern zusätzlich vom Alter der Befragten (siehe Abschnitte 4.4.1, 4.4.2, 4.4.3).
Die teilweise vorhandenen Sprach- oder Verständnisschwierigkeiten auf Seiten der befragten Klient_innen und Angehörigen gehören in der Jugendhilfe zu den Rahmenbedingungen, die im Evaluationskonzept Berücksichtigung finden müssen und mit denen im Rahmen der Durchführung der Befragung vor Ort jeweils ein Umgang gefunden werden muss. Durch diese Tatsache erfährt die methodische Herangehensweise Bestätigung, die Befragung in Form eines Interviews durchzuführen, in welchem Rückfragen seitens der befragten Kinder, Jugendlichen, Eltern oder Angehörigen und Erklärungen oder Erläuterungen seitens einer/s Mitarbeitenden der Jugendhilfe-Einrichtung möglich sind.
Im Rahmen des Pilotprojektes konnten umfangreiche Rückmeldungen von den Zielgruppen der Befragung eingeholt werden, die für die Überarbeitung der Fragebogen im Sinne der Verständlichkeit der Fragen und auch einer weiteren Vereinfachung der Sprache genutzt werden (können). Auch wenn sich dadurch nicht alle potentiellen Sprachbarrieren beseitigen lassen werden, und das Sprachverständnis von Personen aus verschiedenen Kulturkreisen stellenweise unterschiedlich bleiben wird: Es kann aufgrund der gesammelten Erfahrungen im Pilotprojekt davon ausgegangen werden, dass die Befragungsergebnisse zu den vorgesehenen Zwecken der Weiterentwicklung der systemischen Arbeit an den Einrichtungen und der fachlichen Reflexion über das systemische Arbeiten in der Jugendhilfe generell aussagekräftig und sehr gut nutzbar sind.
Die im Konzeptionsprozess gemeinsam mit Einrichtungsvertretenden in Form von Zielen erarbeiteten Inhalte sind im Rahmen des Pilotprojektes einem umfangreichen Test unterzogen worden. Die erfragten Themen und Inhalte erweisen sich insofern als passend, als ein hoher Rücklauf erzielt worden ist und die Aussagen, zu denen Einschätzungen vorzunehmen sind, jeweils auf mehrheitliche Zustimmung treffen. Eine hohe Zustimmung zu einer Aussage ist einerseits im Sinne der Zielerreichung zu werten, andererseits im Sinne der Eignung und Passung eines Zieles für den Erhebungskontext.
Wie dieser Bericht zeigen wird, bezogen sich Schwierigkeiten bei der Durchführung eher auf einzelne Elemente oder Fragen, nicht aber auf die Inhalte der Fragen oder das Evaluationskonzept als solches. Kritische Kommentare und Anmerkungen bezogen sich überwiegend auf das für die Beantwortung erforderliche Sprachverständnis oder bei Kindern auf das Abstraktionsvermögen.
Als selten umsetzbar erwies sich der Anspruch des Evaluationskonzeptes, die Befragung durch eine andere Person als die gut bekannte Betreuungsperson durchführen zu lassen. Dies wird im Rahmenkonzept der Evaluation entsprechend zu berücksichtigen sein. Damit entfällt der "fremde Blick", den eine weiter entfernte Person hätte an dieser Stelle einbringen können. Die Fremdeinschätzungen der interviewenden Person konnten für das Pilotprojekt im Sinne einer Validierung der Selbsteinschätzungen der Befragten genutzt werden. Für die überarbeiteten Versionen der Instrumente werden die Fremdeinschätzungen reduziert werden.
Dr. Dörte Schott,
Freie Evaluatorin, Wiesbaden, info[at]doerte-schott.de,