Kapitel 2.10

2.10 Überprüfung und Wirksamkeit von Beteiligung

Im Rahmen des Nationalen Aktionsplans wurde sich ebenfalls mit dem Thema Evaluation beziehungsweise mit spezifischen Aspekten rund um die Überprüfung von Beteiligungsangeboten befasst und damit ein Bereich angesprochen, dessen Bedeutung im Beteiligungskontext aus gutem Grund zunehmend anerkannt wird. Eine Überprüfung und Bewertung von Kinder- und Jugendbeteiligung ist aus mehreren Gründen wichtig: Mittels Evaluationen lassen sich Beteiligungsprozesse und -formate hinsichtlich ihrer Wirksamkeit prüfen. Eine Reflexion des Prozesses hilft dabei, Defizite und Schwächen zu identifizieren sowie Verbesserungen umzusetzen. Sie fördert die Weiterentwicklung der Formate oder Verfahren und stellt insgesamt deren Effektivität und Qualität sicher. Im besten Fall kann ein Beteiligungsprozess somit immer auch einen Lernprozess für die Umsetzenden und Mitwirkenden darstellen.

Wie aber lassen sich Beteiligungsprozesse und -formate überprüfen? Wie werden diese Ergebnisse in die weitere Umsetzung oder bei zukünftigen Entscheidungen berücksichtigt? Sind Jugendliche und junge Erwachsene an der Evaluation beteiligt? Diese und weitere Fragen sowie die im NAP zum Thema gesammelten Empfehlungen werden im Folgenden genauer in den Blick genommen.

2.10.1 Planung und Schwerpunkte der Evaluation

Auch im Beteiligungskontext gilt: Ein Überprüfungsprozess lässt sich nicht so einfach „nebenbei“ erledigen. Ohne Vorbereitung und ohne durchdachte Herangehensweise läuft man Gefahr, dass die Evaluation zu ungenau oder nicht aussagekräftig genug ist. Ohne eine gute Planung kann Unklarheit darüber herrschen, welche Methoden zur Überprüfung am besten geeignet sind, welche Fragestellungen sich im Verfahren als am sinnvollsten erweisen oder welche Ressourcen konkret benötigt werden. Kurz gesagt: Eine Evaluation ist mehr als nur das schnelle Einsammeln von Feedback. Sie erfordert Vorbereitung und Einsatz. Nur so kann sie ihren vollen Wert entfalten.

Evaluationen als positive Erfahrung für alle Beteiligten

Die Verantwortung zur Evaluation wurde im NAP-Prozess klar bei den Umsetzenden der Beteiligung gesehen – bei den Personen, die die Mitwirkung und das Engagement der jungen Menschen begleiten. Dennoch sei eine Einbindung der Teilnehmenden unbedingt erforderlich. Damit Beteiligungsangebote besser werden, müsse Evaluation für und mit jungen Menschen realisiert werden. Ihre Perspektiven liefern wertvolle Einsichten, die die evaluierenden Personen allein eventuell übersehen würden. Vorgeschlagen wurde beispielsweise, die Einrichtung jugendgerechter und partizipativer Überprüfungsverfahren als Förderkriterium für Beteiligungsprojekte zu etablieren.

Trotz des angestrebten Ziels einer umfassenden Einbindung sei es entscheidend, dass die Teilnahme junger Menschen nicht erzwungen, sondern als eine freiwillige und vor allem wertvolle Erfahrung gestaltet wird. Darüber hinaus wurde im NAP hervorgehoben, dass eine solche Mitwirkung nur dann Sinn ergibt, wenn sie wirklich umsetzbar ist und genügend Ressourcen wie Geld, Zeit, Fachkompetenz und/oder organisatorische Unterstützung vorhanden sind. Nur unter solchen Bedingungen kann eine aktive Einbindung junger Menschen in die Evaluation erreicht werden, die nicht nur als „Scheinbeteiligung“ wahrgenommen wird.

Letztlich geht es darum, die Mitwirkung aller Beteiligten an der Evaluation so zu gestalten, dass sie sowohl für die Verantwortlichen als auch für die Teilnehmenden sinnhaft und erfüllend ist. Viele junge Teilnehmende des NAP erlebten, dass sie bisher unzureichend in Evaluationsprozesse einbezogen wurden. Mehrfach wurde die Erfahrung geteilt, dass konstruktive Kritik in Abrede gestellt und die Betreffenden sich auch aufgrund ihres Alters nicht ernst genommen fühlten (zum Problem des Adultismus siehe auch Kapitel 2.2.2). Außerdem richte sich das Feedback mitunter an Personen, zu denen ein Abhängigkeitsverhältnis besteht, beispielsweise an Lehrkräfte. Um eine unabhängige Betrachtung und einen hierarchiearmen Raum zu gewährleisten, wurde vorgeschlagen, die Evaluationen auf externe Kräfte auszulagern.

Dass die kritische Begutachtung von Beteiligungsangeboten schon während ihrer Umsetzung und nicht erst nach Abschluss stattfinden muss, wurde im NAP wiederholt eingebracht. Eine prozessbegleitende Evaluation erfolge kontinuierlich und nehme alle Phasen der Beteiligung in den Blick. Sie erfordere zudem ein durchdachtes Konzept, das die Ziele, Methoden, Kriterien – Maßstäbe, anhand derer die Qualität oder der Erfolg der Beteiligung bewertet wird – und den Zeitrahmen der Überprüfung definiert.³¹ Je nach Kontext können dabei die spezifischen Fragestellungen variieren. Zentrale Aspekte, die in der Evaluation beantwortet werden sollten, umfassen für die NAP-Teilnehmenden unter anderem: Sind die genutzten Methoden geeignet? Wie steht es um die festgelegten Ziele? Werden diese erreicht? Daneben sei ein prozessbegleitender Blick auf die Stimmung und das Selbstwertgefühl der jungen Menschen essenziell, um einmal mehr Probleme und unerwartete Entwicklungen frühzeitig zu erkennen, bevor sie größere Auswirkungen haben.

Weitergehend wurde empfohlen, sowohl die Ziele und deren Erreichung als auch die Gestaltung des Prozesses zu betrachten. Zur umfassenden Reflexion des gesamten Ablaufs sollte im Evaluationskonzept ferner untersucht werden, ob der Prozess der Beteiligung von den jungen Menschen als sinnvoll empfunden wurde: „Hat euch das Treffen oder die Veranstaltung etwas gebracht?“ und „Mit welchem Gefühl geht ihr raus?“ wären hierfür mögliche Formulierungen. Im Zentrum stehen dabei die Erfahrungen der Teilnehmenden und die Frage, welche Auswirkungen das Beteiligungsangebot möglicherweise auf sie hat. Des Weiteren müsse die Begleitung der jungen Menschen evaluiert werden, fanden mehrere Personen aus dem NAP. Wurden den Engagierten während ihrer Mitwirkung genug Anleitung und Unterstützung geboten?

Weiterverwendung der Evaluationsergebnisse

Im Kontext der Evaluation spielte für die NAP-Teilnehmenden das Thema der Weiterverwendung der Überprüfungsergebnisse eine zentrale Rolle. Bestenfalls sollte eine Evaluation weit mehr als eine „Fehler- und Problemanalyse“ der eigenen Arbeit sein, sondern deren Ergebnisse sollten auch langfristig Wirkung entfalten.

Laut den NAP-Teilnehmenden reicht es nicht aus, nur Feedback zu sammeln. Es müsse genauso klar sein, wie die Rückmeldungen „nachhaltig“ genutzt und in die Praxis eingebettet werden, um zukünftige Vorhaben zu verbessern. Die Ergebnisse der Evaluationen in konkrete Maßnahmen zu überführen sei entscheidend, wobei dieser Vorgang dann ebenfalls evaluiert werden muss – ein weiterer notwendiger Schritt im Verfahren, der jedoch auch pragmatisch Rücksicht auf die Ressourcen nehmen muss. Im NAP wurde dafür die Einführung geschulter und vielfältiger Evaluationsteams angeregt, die neben externen Expertinnen und Experten auch aus Teilnehmenden des jeweiligen Formats bestehen könnten.

Eine Evaluation kann in diesem Zusammenhang auch die Wirksamkeit von Beteiligungsprozessen insgesamt sowie den Umgang mit deren Ergebnissen sowie den damit verbundenen Feedback-Prozessen und -mechanismen in den Blick nehmen, wie sie in Kapitel 2.9.2 zur Wirksamkeit und Verbindlichkeit von Beteiligung beschrieben werden.

2.10.2 Überprüfungsprozesse passend und nachvollziehbar gestalten

Überprüfungsprozesse im Feld der Kinder- und Jugendbeteiligung müssen bestimmte Anforderungen erfüllen, um effektiv und zielführend zu sein. Sie erfordern ein durchdachtes Konzept mit konkreten Fragestellungen. Doch auch die Wahl der Methode kann die Qualität der Evaluation maßgeblich beeinflussen. Sie muss folglich gut überlegt sein. Zumal es in diesem Bereich eine Vielzahl von Ansätzen gibt, die es zu durchdringen gilt – ein kleiner „Dschungel“ an Methoden, die je nach Kontext und Ziel unterschiedlich erfolgreich sein können. Daneben setzt eine wirksame Überprüfung auf eine klare und transparente Kommunikationskultur. Transparenz ist ein Kernanliegen, das im NAP-Prozess auch in Verbindung mit der Evaluation bedacht und diskutiert wurde.

Wege und Möglichkeiten

In den Ergebnissen des NAP ist erkennbar, dass sich eine Evaluation auf vielfältige Weise realisieren lässt, zum Beispiel durch Befragungen oder Umfragen. Diese können online und mithilfe digitaler Tools durchgeführt werden. Basierend auf den geteilten Erfahrungen ist bei dieser Lösung gleichwohl die Antwortrate nicht immer sehr hoch. Eine weitere Möglichkeit sind Feedback-Bögen, die einfach zu handhaben sind und zugleich kinder- und jugendfreundlich gestaltet sein müssen. Das Erstellen von Vorlagen könnte dabei unterstützen, diese Anforderungen zu erfüllen. Oder es werden durch Akteure – wie Jugendorganisationen und lokale Behörden – Papiere und Leitfäden entwickelt, die dann flächendeckend an die ausführenden Stellen verteilt werden. Allerdings, so ein Einwand, der im Dialogprozess diskutiert wurde: Solche Leitfäden lassen sich oft nicht in allen Fällen universell einsetzen, da jedes Format und jeder Beteiligungsprozess individuell sind. Daher böten sich ebenso modulare Leitfadenbausteine an, die flexibel angepasst werden können.

Darüber hinaus wurden Feedback-Runden oder (zusätzliche) Workshops als gute Technik angesehen, um Beteiligungsprozesse und -formate zu evaluieren. Sie ermöglichen einen vertieften Austausch über die Erfahrungen und Perspektiven der Mitwirkenden, sind jedoch kosten- und zeitintensiver. Eine zusätzliche Option wäre es, den jungen Beteiligten die Chance zu geben, eigenverantwortlich in den Austausch zu treten. Mehrere Personen sprachen sich für die Bildung von Teams aus, die aus jungen Engagierten und beratenden Fachkräften bestehen, um zielgruppengerechte Evaluationsformate zu entwickeln und durchzuführen. Dies entspricht dem mehrfach im NAP geäußerten Wunsch, junge Menschen aktiv in die Gestaltung von Evaluationen einzubeziehen – auch, um sicherzustellen, dass die Überprüfung sowohl inhaltlich als auch methodisch auf ihre Bedürfnisse abgestimmt ist.

Insgesamt hängt die Wahl der Methode von den Zielen der Überprüfung, den zu befragenden Beteiligten, ihren Interessen und Bedarfen und natürlich von den verfügbaren Ressourcen ab. Daher sollte eine Evaluation bereits in der Planung mitgedacht werden. Oft scheitern Überprüfungsprozesse, so geteilte Erfahrungswerte im NAP, an einem zu knapp bemessenen Zeitrahmen. Mitunter mangele es auch an den nötigen Mitteln für eine zusätzliche, methodisch gestaltete und begleitete Überprüfung in den Angeboten. Unabhängig davon sei jedoch unbestritten, dass Evaluationen ansprechend gestaltet werden müssen, damit sie verständlich sind und anregen, sich einzubringen. Zudem sollte im gesamten Verfahren auf Barrierefreiheit geachtet werden, damit alle jungen Menschen die Möglichkeit zur Teilnahme haben.

Transparenz als wesentlicher Bestandteil von Evaluationsprozessen

Ein konkretes Problem, das im NAP-Prozess wiederholt angeschnitten wurde, ist das der mangelnden Transparenz in Überprüfungsprozessen. Wenn überhaupt würden Beteiligungsangebote meist nur intransparent evaluiert. Etwa durch Feedback-Bögen, ohne dass die Antworten den Teilnehmenden zurückgespiegelt werden. Oder durch Gespräche bei Geschäftsstellen- und Vorstandstreffen, bei denen die Ergebnisse oft intern blieben. Aber auch das zugrunde liegende Erkenntnisinteresse sowie die einzelnen Schritte im Verfahren seien von außen nicht immer gänzlich nachvollziehbar.

Für die NAP-Beteiligten ist klar: Transparenz muss im gesamten Überprüfungsverfahren gewährleistet sein, von der Planung bis zur Durchführung.³² Eine direkte und klare Kommunikation ist entscheidend, um Vertrauen aufzubauen und eine gleichwertige Einbindung aller Mitwirkenden zu erreichen – seien es Teilnehmende, Verantwortliche oder externe Personen. Eine wesentliche Voraussetzung für eine fundierte und transparente Evaluation sollte also nicht übersehen werden: Jede Evaluation beinhaltet eine Bewertung, die klare Kriterien erfordert. Daher sei es wichtig, dass diese Bewertungsmaßstäbe von Anfang an transparent und nachvollziehbar festgelegt werden. Eine transparente Evaluation sollte stets die Einbeziehung aller Beteiligten suchen, um die Kriterien gemeinsam zu definieren und so eine faire und objektive Bewertung zu ermöglichen.

Transparenz umfasst für die NAP-Beteiligten überdies, die Evaluationsergebnisse für alle zugänglich zu machen, um den Überprüfungsprozess einmal mehr offen und nachvollziehbar zu gestalten. Eine breite Verfügbarkeit erhöhe den Druck auf die Verantwortlichen, die notwendigen Maßnahmen umzusetzen und Veränderungen zu realisieren. Gleichzeitig sollten die ehemaligen Teilnehmenden aktiv über die Ergebnisse informiert werden. Besonders wichtig sei an dieser Stelle eine zielgruppengerechte Aufbereitung der Inhalte. Die Erfahrungsberichte junger NAP-Mitwirkender machten deutlich, dass Ergebnisdokumentationen von Evaluationen häufig nicht an die Bedürfnisse der jungen Zielgruppe angepasst sind, etwa in Bezug auf Umfang und Sprache.