4.2 Eignung von Rahmenkonzept und Instrumenten "DGSF-Brille"
Im Folgenden wird die Fragestellung des Pilotprojektes nach der Eignung der für die Evaluation formulierten Ziele und Kriterien „DGSF-Brille“ und der Passung zu den aktuell an den Einrichtungen gelebten fachlichen Standards systemischen Arbeitens (Inhaltsvalidität) beantwortet.
Der hohe Rücklauf zur Online-Befragung "DGSF-Brille" (vgl. Abschnitt 4) ist bereits ein Hinweis darauf, dass die Inhalte bei den Leitungskräften und Mitarbeitenden der teilnehmenden Einrichtungen auf Interesse stoßen und als anschlussfähig und relevant für ihre Arbeit an der Einrichtung wahrgenommen werden. Bestätigt wird dies durch die große Anzahl freier Antworten auf die offenen Fragen. In den Antworten werden die abgefragten Inhalte teils als wichtig bestätigt, teils werden zusätzliche Aspekte benannt – darunter für einen fachlichen Diskurs inhaltlich potentiell sehr bereichernde Beiträge [1].
Teilweise haben kleine Unsicherheiten eine Teilnahme an der Befragung gehemmt. Eine Frage zur "DGSF-Brille" war beispielsweise, an welche E-Mail-Adresse der Befragungslink versendet werden kann, wenn es keine personenbezogenen Adressen in der Einrichtung gibt. Hier können ggf. mehrere Links an eine Gruppe (z.B. Einheit der Einrichtung) versendet werden, so dass die Funktionalität der Befragung einschließlich Unterbrechung/Wiederaufnahme nicht beeinträchtig ist. Für zwei Personen in den teilnehmenden Einrichtungen stellte sich die Frage, welcher Gruppe man sich zuordnen solle, wenn beides zutrifft: Mitarbeitende/r und Leitung? Sicherlich ist es am besten, hier eine individuelle Klärung vorzunehmen. Auf begründeten Wunsch hin kann es – angesichts der unterschiedlichen Themen pro Gruppe – künftig allerdings einzelnen Personen ermöglicht werden beide Fragebögen auszufüllen.
Die Zustimmung zu den geschlossenen Ratingfragen ist, wie oben bereits ausgeführt (vgl. Abschnitt 4.1), zur Mehrheit der Items hoch bis sehr hoch (Leitungen und Mitarbeitende). Eine hohe Zustimmung kann einerseits im Sinne der Erfüllung der untersuchten fachlichen Standards gewertet werden, andererseits jedoch zugleich im Sinne der Validität des Erhebungsinstrumentariums (für den Untersuchungsgegenstand "Empfohlene Einrichtungen", vgl. Fragestellungen des Pilotprojektes). Ein Verdacht mangelnder Eignung oder Passung ergibt sich vor allem bei jenen Items mit geringer Zustimmung. Zur erweiterten Prüfung der Eignung und Passung dient die Analyse der hierzu im Fragebogen vorgesehenen Kommentarfelder, in welchen direkt bei der Beantwortung Verständnisschwierigkeiten oder Unsicherheiten angemerkt werden konnten.
Nicht erstrebenswert ist jedoch eine völlige Zustimmung zu allen Fragen, da erst die Varianz in den Antworten den Diskurs und Erkenntnisgewinn befördert. Auch aus methodischer Sicht würde ein gleichgerichtetes Antwortverhalten wiederum Fragen nach sozial erwünschtem Antwortverhalten oder mangelnder Aufmerksamkeit der Befragten aufwerfen.
Dr. Dörte Schott,
Freie Evaluatorin, Wiesbaden, info[at]doerte-schott.de,
[1] Eine qualitative Analyse der freien Antworten auf zentrale oder differenzierte Aspekte hin ist nicht Gegenstand des Auftrags zum Pilotprojekt, könnte jedoch ggf. durch interessierte Beteiligte vorgenommen werden.