5 Schlussfolgerungen zum Pilotprojekt und Entwicklungsoptionen

Die spezifisch für die Evaluation DGSF-empfohlener Jugendhilfe-Einrichtungen formulierten Ziele und abgeleiteten Standards systemischen Arbeitens, welche wiederum als Grundlage für die entwickelten Befragungsinstrumente dienen, werden im Rahmen des Pilotprojektes grundsätzlich als passend bestätigt. Die eigens zur Erprobung der Instrumente von Mitarbeitenden wie Leitungskräften eingeholten Kommentare geben Hinweise auf Anpassungsbedarfe bezüglich einzelner Formulierungen und zu erhebender Details in den Instrumenten. Die behandelten Themen und Inhalte werden von Mitarbeitenden oder Leitungskräften nicht kommentiert oder generell in Frage gestellt. Der sehr hohe Rücklauf zu den Befragungen, sowohl für die "DGSF-Brille" als auch für die "Einrichtungs-Brille", lässt stattdessen darauf schließen, dass die behandelten Themen auf ein hohes Interesse bei den Mitarbeitenden der beteiligten Einrichtungen treffen.

Instrumente

Zu den Instrumenten "DGSF-Brille" wird angemerkt, dass einzelne Fragen je nach Art der Hilfemaßnahme weniger zutreffend sind. Dies wäre in der Befragung der Mitarbeitenden künftig durch eine entsprechende Filterführung zu berücksichtigen. Eine Sprachbarriere tat sich für Mitarbeitende oder Leitungskräfte mit nicht-deutscher Muttersprache auf.

Die Kommentare zu den Instrumenten "Einrichtungs-Brille" weisen auf Verständnisschwierigkeiten, überwiegend aufgrund anderer Muttersprache der Eltern oder nicht ausreichenden Abstraktionsvermögens der befragten Kinder, hin. Auch Einrichtungsvertretende hatten auf dem Treffen der empfohlenen Einrichtungen zurückgemeldet, dass die befragten Kinder oder Eltern/Angehörigen teilweise Verständnisschwierigkeiten hatten. Durch sprachliche Vereinfachung, die unter anderem auf Basis konkreter Rückmeldungen zu einzelnen Fragen/Items erfolgt, kann diesem Aspekt künftig besser Rechnung getragen werden.

Durch die Rückmeldung zu den Verständnisschwierigkeiten erfährt die methodische Herangehensweise Bestätigung, die Befragung in Form eines Interviews durchzuführen, in welchem Rückfragen seitens der befragten Kinder, Jugendlichen, Eltern und Angehörigen sowie Erklärungen/Erläuterungen seitens einer/s Mitarbeitenden der Jugendhilfe-Einrichtung möglich sind.

Auch wenn durch sprachliche Vereinfachung nicht alle potentiellen Sprachbarrieren beseitigt werden können, kann aufgrund der gesammelten Erfahrungen im Pilotprojekt davon ausgegangen werden, dass die Befragungsergebnisse zu den vorgesehenen Zwecken (vgl. Abschnitt 2) sehr gut nutzbar sind.

Sprachliche Barrieren tauchen indes nicht erst durch die Befragung auf, sondern betreffen die Arbeit der Jugendhilfeeinrichtungen mit den Klient_innen und deren Familien generell. Für Lösungen, die vor Ort und im Einzelfall über eine einfache Sprache hinaus zu suchen sind, könnte man sich daher an den diesbezüglich gefundenen Lösungen für die tägliche Arbeit mit diesen Zielgruppen orientieren.

Durchführung

Das Pilotprojekt hatte unter anderem die Funktion aufzuzeigen, welche Rahmenbedingungen bei der Durchführung einer Evaluation DGSF-empfohlener Einrichtungen zu beachten sind. Die entsprechend beobachteten Rahmenbedingungen sind für beide "Brillen" unterschiedlich.

Hinsichtlich der "Einrichtungs-Brille" zeigen sich für die Leitungskräfte Herausforderungen beim Werben für eine Teilnahme in Form von Ressourcenfragen (personell oder technisch), die zu klären waren, oder von Mitarbeitenden, die den Sinn einer Teilnahme (auch die Objektivität der erzielbaren Ergebnisse) in Frage stellten.

Als hilfreich für die Gewinnung von Unterstützung und Aufmerksamkeit im Team hat sich erwiesen, wenn die Mitarbeitenden neugierig auf die Ergebnisse sind ("Jetzt wollen wir mal schauen, ob wir tatsächlich systemisch arbeiten!"), und verstehen, dass sie ein wichtiger Bestandteil der gesamten Evaluation von der Planung bis zur Ergebnisverwendung sind.

Ein Aspekt der methodischen Vorgehensweise, welcher zwar nicht kommentiert wurde, jedoch im Evaluationskonzept erwähnt werden sollte, ist die interviewende Person in der Befragung von Kindern/Jugendlichen und Eltern/Angehörigen. Das Interview scheint deutlich besser durch die jeweils zuständige Betreuungsperson realisierbar zu sein, als von dritten nicht mit dem Fall betrauten Mitarbeitenden der Einrichtung. Mit der Durchführung des Interviews durch die Betreuungsperson selbst entfällt allerdings der "fremde Blick", den eine dritte Person einbringen könnte. Durch diesen wäre eine Erweiterung der Perspektive möglich, die den fachlichen Diskurs innerhalb der Einrichtung noch mehr befruchten könnte. Dort, wo es möglich ist, die Interviews durch dritte Mitarbeitende durchführen zu lassen, sollte deshalb an dieser Vorgehensweise festgehalten werden.

Bei der Online-Befragung "DGSF-Brille" haben kleine Unsicherheiten mitunter eine Teilnahme an der Online-Befragung gehemmt. Ein Informationsblatt mit hilfreichen Hinweisen und Tipps kann diese kleinen Hürden künftig überwinden helfen.

Kontextbedingungen

Wie oben bereits angedeutet, gab es bei den Instrumenten "DGSF-Brille" einzelne Fragen, die sich je nach Art der Hilfemaßnahme als weniger zutreffend erwiesen haben. Nicht in allen Fällen ist es beispielsweise möglich, die Familienmitglieder oder Angehörigen persönlich in den Hilfeprozess einzubeziehen, wie bei unbegleiteten minderjährigen Geflüchteten. In diesen Fällen können die Mitarbeitenden diesbezügliche Fragen nicht beantworten. Des Weiteren sollte zwischen der Arbeit mit "Kunden" und der im Zwangskontext oder bei Kindeswohlgefährdung differenziert werden. Für eine Folgebefragung wäre daher wichtig zu erfassen, in welchem Kontext die/der Befragte (vorwiegend) arbeitet, um eine entsprechende Filterführung in den Fragebogen einzubauen. Der Heterogenität in den Formen und Ausprägungen der Jugendhilfe und den dadurch bedingten Unterschieden in der täglichen Praxis ist in diesem Sinne bei der künftigen Planung der Evaluation als Rahmenbedingung noch verstärkt Beachtung zu schenken.

Damit die Befragungsinstrumente "Einrichtungs-Brille" den Erkenntnisinteressen im jeweils aktuellen Kontext gerecht werden, haben die Einrichtungen bei Bedarf künftig die Möglichkeit, die Fragebogen selbst anzupassen oder um zusätzliche Fragen zu ergänzen. Die im Rahmen des DGSF-Pilotprojektes vorgelegten und weiterentwickelten Fragebogen würden dabei eine gemeinsame Basis für den Diskurs sichern. Gleichwohl kann auch diese gemeinsame Basis entsprechend gesammelter Erfahrungen oder neuer Erkenntnisinteressen nach wenigen Jahren einer Revision unterzogen und als solche weiterentwickelt werden.

Auswertung

Wie im Bericht erwähnt, sind für den Auftrag an die Evaluatorin Schwerpunkte gesetzt worden. Dies lässt im Umkehrschluss einige Fragen offen, welche jedoch möglicherweise nicht minder interessant sind. Dazu zählt die qualitative Analyse der Antworten auf die offenen Fragen, welche über die Auswertung der Pretest-Kommentare hinausgeht. Darunter fällt die gesamte Fragestellung C: Welche Entwicklungspotentiale zeichnen sich für die Einrichtungen ab?

Insbesondere in der Befragung "DGSF-Brille" sind dazu explizit Fragen an Mitarbeitende (MA) und Leitungskräfte (LT) gerichtet worden (nachfolgend sinngemäß vereinfacht):

Was gelingt an Ihrer Einrichtung besonders gut? (MA)/Was stärkt Ihre Einrichtung im Besonderen? (LT)
Welche Bedingungen erleichtern bzw. erschweren das systemische Arbeiten mit den Klient_innen (MA)/die systemische Organisations- und Personalentwicklung (LT)?
Was kann noch besser gemacht werden? Wo sehen Sie perspektivisch Entwicklungsmöglichkeiten? (MA)/Welche strategischen Entwicklungen würden Ihre Einrichtung dem Ziel der systemischen Organisations- und Personalentwicklung evtl. noch näher bringen? (LT)
Inwiefern benötigen Sie weitere Unterstützung von der DGSF? (LT)

Insbesondere für einen fachlichen Diskurs zum Zweck der Weiterentwicklung sind diese Antworten sehr wertvoll, da sie wichtige Hinweise und Anknüpfungspunkte enthalten können. Abgesehen davon lassen sich die Ergebnisse zu den geschlossenen Fragen mit Hilfe der jeweils dazugehörigen freien Antworten differenzierter betrachten und/oder mit Beispielen aus der Praxis untermauern.

Dr. Dörte Schott,

Freie Evaluatorin, Wiesbaden, info[at]doerte-schott.de,