8 Ausblick
Die Überarbeitung der Befragungsinstrumente auf Basis der hiermit berichteten Erkenntnisse ist noch Teil des Pilotprojektes und derzeit in Arbeit. (Anm.: Die aktualisierten Fragebögen stellen wir Interessierten auf Anfrage zur Verfügung.) Ein nächster, lohnenswerter Schritt ist sicherlich das Erarbeiten einer Handreichung für die teilnehmenden Einrichtungen mit wichtigen Hinweisen zu Nutzenpotential und Beschränkungen der Befragungen sowie weiterführenden Tipps für die Durchführung.
Zu klären wäre noch, woher die Verständnisschwierigkeiten bei der Befragung der Mitarbeitenden rühren. Die Frage ist, inwiefern auch hier aufgrund von Sprachbarrieren (nicht-deutscher Muttersprache) noch stärker auf "einfache Sprache" fokussiert werden muss, oder eher ein Glossar systemischer Begriffe zur besseren Verständlichkeit beitragen kann. Bei den Befragungen der Kinder/Jugendlichen könnte auf Grundlage der bisherigen Erfahrungen eine Altersempfehlung versucht werden. Diese würde jedoch aufgrund der Heterogenität der Zielgruppen im Feld Jugendhilfe maximal ein grober Richtwert sein können. Darüber hinaus wäre interessant, wie groß der Bedarf für einen zusätzlichen Fragebogen wäre, der speziell auf jüngere Zielgruppen im Kindergarten- oder Grundschulalter angepasst ist (z.B. durch den Einsatz von Smileys statt Zahlen oder Worten zur Bewertung).
Die Fragestellung nach Entwicklungspotentialen der Jugendhilfe-Einrichtungen ist bislang nicht Gegenstand der Auswertung und Ergebnisberichterstattung, da laut Auftrag die Befragungsergebnisse vorerst statistisch deskriptiv darzustellen sind. Da in der Befragung "DGSF-Brille" explizit Fragen an Mitarbeitende (MA) und Leitungskräfte (LT) zu Stärken und Entwicklungspotentialen der Einrichtung sowie förderlichen und hinderlichen Rahmenbedingungen des systemischen Arbeitens gerichtet worden sind, ist zu überlegen, in welcher Form diese – sicherlich mitunter wertvollen – Antworten noch dem fachlichen Diskurs zum Zweck der Weiterentwicklung zugeführt werden können.
Im Sinne des Evaluationszwecks der Weiterentwicklung, und aufgrund der bislang geringen Erfahrungen der Einrichtungen im Umgang mit den Ergebnissen dieses Evaluationsverfahrens, ist es empfehlenswert, die Einrichtungen im Prozess der Ergebnisverwendung weiter zu unterstützten und ihnen die Gelegenheit zum Austausch über die Evaluation, deren Ergebnisse und dadurch angestoßene Entwicklungs- oder Lernprozesse einzuräumen.
Im Sinne weiterer Fundierung und Weiterentwicklung des Evaluationskonzeptes samt Instrumentarium ist überlegenswert, inwiefern die Befragungsinstrumente in Richtung von "Effektmaßen" für die behandelten Themen entwickelt werden sollen. Mit Hilfe statistischer Faktorenanalyse und Itemanalyse würden in diesem Zuge die inhaltliche Zuordnung der Items zu den Dimensionen (wie etwa "Angebot reflexiver Gesprächssettings" als Dimension des systemischen Arbeitens mit Klienten, "DGSF-Brille") sowie die Bezeichnungen der Dimensionen einer statistisch-empirischen Prüfung unterzogen. Als Ergebnis erhält man daraufhin statistisch abgesicherte Skalen, in welchen die Items einer Dimension jeweils per Mittelwertberechnungen zusammengefasst werden. Dies würde die Ergebnisdarstellung bei Bedarf auf eine überschaubare Anzahl von Kennwerten verkürzen, anstelle von jeweils einzeln nebeneinandergestellten Items. Auf Grundlage der Skalenkennwerte könnten sodann fundierte Vergleiche, beispielsweise zwischen verschiedenen Gruppen von Befragten (z.B. Personen mit unterschiedlichen systemischen Kenntnissen, "DGSF-Brille"), vorgenommen werden.
Perspektivisch könnten die im Rahmen der Evaluation gesammelten empirischen Daten zu einer weitergehenden Fundierung des DGSF-Empfehlungsprozesses samt Instrumenten beitragen.
Dr. Dörte Schott,
Freie Evaluatorin, Wiesbaden, info[at]doerte-schott.de,