Wirkung analysieren und Projekte evaluieren
Zur wirkungsorientierten Projektplanung gehören auch die fortlaufende Beobachtung (Monitoring) und systematische Untersuchung und Bewertung (Evaluation) Ihres inklusiven Projekts. Durch Monitoring und Evaluation messen und analysieren Sie die Wirkung und gleichen regelmäßig Ihre Projektziele ab. Sie überprüfen Fortschritte und erfahren, ob Ihr Herangehensweise noch zu den Bedürfnissen der Zielgruppe passt.
Die Leitfragen für die sogenannte Wirkungsanalyse lassen sich entlang der Wirkungspyramide formulieren:
- Wie viele Ressourcen (zum Beispiel Personal, Zeit, Geld) fließen in das Projekt (Input)?
- Welche Leistungen (zum Beispiel Workshops, Beratung, Freizeitangebote) werden angeboten und wer wird damit erreicht (Output)?
- Welche Veränderungen treten bei der Zielgruppe ein und in welchem Maß (Outcome)?
- Zu welchen gesellschaftlichen Entwicklungen trägt das Projekt bei (Impact)?
Die Erfahrungen aus den fünf Modellkommunen zeigen: Es läuft nicht immer alles nach Plan. In Rostock, Nieder-Olm, Schneverdingen, Erlangen und Schwäbisch Gmünd reflektieren die Kommune-Inklusiv-Teams daher regelmäßig: Was läuft gut und was nicht? Wo hakt es? Was können wir daraus lernen? Dann heißt es: anpassen und die Wirkungsziele mit anderen Projektmaßnahmen weiterverfolgen.
Mehr dazu, wie Sie Ihr laufendes Projekt nochmals überprüfen können, lesen Sie bei "Zeit für einen Boxenstopp einplanen".
Monitoring und Evaluation – Zeit und Geld sind gut investiert
Bei der Begutachtung Ihres Projektes geht es vor allem darum, aus Fehlern zu lernen. Nur so kommen Sie Ihrem Ziel näher, die Lebensbedingungen für Ihre Zielgruppe nachhaltig zu verbessern.
Ohne Zeit- und Geldbudget für Monitoring und Evaluation können Sie die Wirkung Ihres Projektes nicht messen. Planen Sie deshalb von Anfang an einen Teil des Budgets für die Evaluation Ihres Projekts ein. Richtwert: drei bis zehn Prozent.
Wesentlich für das Gelingen der Evaluation ist auch die Haltung Ihres Teams: Sind Sie bereit für den kritischen Blick auf Ihr Projekt von verschiedenen Seiten? Wollen Sie erfahren, wie zufrieden Ihre Zielgruppe ist? Wollen Sie wissen, warum etwas gut oder schlecht läuft? Haben Sie Lust zu lernen und nachzubessern?
Selbst evaluieren oder Externe beauftragen?
Nehmen Sie sich unbedingt bereits in der Planungsphase Ihres inklusiven Projektes Zeit, die Wirkungsanalyse vorzubereiten. Legen Sie in der Projektplanung den Rahmen für die Datensammlung (Monitoring) fest: Wer erhebt wie, wann, was? Auch den Zeitpunkt, die Methodik und den Umfang der Evaluation sollten Sie früh planen. So erkennen Sie rechtzeitig Schwachstellen. Sie halten fest, was gut geklappt hat, und wissen, warum es geklappt hat.
Ob Sie die Evaluation selbst machen oder an Externe vergeben, hängt davon ab, welche Kompetenzen Sie in Ihrem Team haben: Gibt es Mitarbeiter*innen mit dem nötigen Fachwissen? Kennen Mitarbeiter*innen die verschiedenen Methoden der Evaluation? Entscheidend ist außerdem, wie viel Geld dem Projekt zur Verfügung steht und ob das Budget für eine Evaluation reicht. Auch stellen die Geldgeber*innen möglicherweise Anforderungen, beispielsweise eine wissenschaftliche Begleitung des Projektes.
Die Aktion Mensch will mit Kommune Inklusiv erreichen, dass vor Ort mehr Menschen am gesellschaftlichen Leben und an politischen Entscheidungen teilhaben können. Sie will zusammen mit den fünf Modellkommunen einen Modellansatz dafür finden, wie sich der Weg dorthin am wirksamsten gestalten lässt. Das Modellprojekt wird deshalb wissenschaftlich begleitet und evaluiert vom Institut für Sonderpädagogik der Goethe-Universität Frankfurt am Main und vom Institut für Erziehungswissenschaften der Philipps-Universität Marburg.
Wie Sie eine wissenschaftliche Begleitforschung am besten planen, erfahren Sie unter „Wissenschaftliche Begleitung organisieren“.
So unterscheiden sich Monitoring und Evaluation
Monitoring können Sie mit Ihrem Team selbst leisten. Während der gesamten Projektlaufzeit prüfen Sie: Was passiert gerade im Projekt? Sind wir noch auf dem geplanten Weg? Mit Blick auf die Wirkungspyramide überprüfen Sie dabei
- die Ressourcen: zum Beispiel ausreichend Personal, Geld, Räumlichkeiten
- Aktivitäten: zum Beispiel Teilnehmer*innenzahlen
- leicht zu messende Wirkungen: zum Beispiel neues Wissen bei der Zielgruppe
Die Evaluation findet zu einem bestimmten Zeitpunkt während des Projekts statt, zum Abschluss oder einige Zeit nach Abschluss des Projekts. In der Evaluation beschreiben und bewerten Sie die Fortschritte und die Resultate Ihres Projekts. Wenn das Monitoring anzeigt, es läuft etwas nicht wie geplant, kann eine Evaluation die Frage beantworten: Ist dieser Weg noch der richtige? Sie können selbst evaluieren oder eine externe Evaluation beauftragen. Beides hat Vor- und Nachteile und hängt von der eigenen Expertise, dem Projektumfang und den Ressourcen ab.
In drei Schritten zur Erkenntnis: die Wirkungsanalyse
1. Erfolgsindikatoren entwickeln
Wenn Sie Ihr inklusives Projekt bereits wirkungsorientiert geplant haben, dann haben Sie folgendes erreicht:
- Die Zielgruppe ist klar definiert.
- Partizipation ist fester Bestandteil in Planung und Umsetzung.
- Was Sie für Ihre Zielgruppe verbessern wollen, haben Sie mit dem Wirkungsziel formuliert.
- Sie haben eine Wirkungslogik erarbeitet, die aufzeigt, in welchen Schritten Sie das Wirkungsziel erreichen wollen.
- Im Projektplan haben Sie Meilensteine entlang der Wirkungsstufen festgelegt.
Jetzt stellt sich die Frage: Woran können Sie den Fortschritt und die Erfolge Ihres Vorhabens messen? Woran erkennen Sie im laufenden Projekt, ob Sie schon etwas für Ihre Zielgruppe bewirkt haben?
Beginnen Sie damit, Indikatoren für die Wirkungsanalyse festzulegen. Nutzen Sie dafür unser "Arbeitsblatt: So entwickeln Sie Indikatoren für die Wirkungsanalyse / Evaluation (PDF)“.
Indikatoren sind Hinweise oder Anhaltspunkte, die belegen, welche Fortschritte ein Projekt macht und ob es wie geplant verläuft. Idealerweise sieht der Projektplan für jeden Projekt-Meilenstein einen oder mehrere Indikatoren vor, die belegen, dass das Ziel erreicht wurde. Direkte Indikatoren lassen sich zählen. Die Zahl der Teilnehmer*innen an einem Workshop zeigt zum Beispiel, wie groß die Reichweite bei der Zielgruppe ist. Indirekte Indikatoren lassen Schlüsse über die Qualität zu. Wenn Teilnehmer*innen nach einer Maßnahme beispielsweise mehr soziale Kontakte haben als vorher, ist das indirekt ein Hinweis auf ein gestärktes Selbstbewusstsein.
2. Daten erheben
Neben dem Zählen von Teilnehmer*innen, Anfragen oder Ereignissen gibt es weitere Methoden für die Datenerhebung: Fragebögen, Interviews und Umfragen, Tests, Experimente, Messungen, Verlaufsprotokolle von Veranstaltungen und Maßnahmen, Beobachtungen, die zum Beispiel in einem Dokumentationsbuch festgehalten werden, Beobachtungsbögen, Dokumentenanalyse, Statistiken, zum Beispiel aus dem Sozialbericht einer Stadt.
Welche Evaluations-Methoden die richtigen sind, hängt vor allem davon ab, was Sie über Ihr Projekt herausfinden möchten. Und natürlich auch davon, wie viel Zeit und welches Budget Sie zur Verfügung haben.
Im Infoblatt "Tipps und Methoden: So evaluieren Sie Ihr inklusives Vorhaben" (PDF) stellen wir Ihnen Methoden vor, mit denen Sie selbst Daten erheben und auswerten können. Ziel ist es, zu sehen, welche Wirkungen und Veränderungen Ihr Projekt erzielt hat. So können Sie Ihre Arbeit systematisch weiterentwickeln.
3. Daten analysieren und auswerten
Was nützen die besten Daten, wenn Sie daraus keine praktischen Konsequenzen ziehen? Analysieren Sie die erhobenen Daten mit Blick auf Ihre Ausgangsfragen. Und betrachten Sie die Daten im Team. Lassen Sie auch die Zielgruppe und Ihre Netzwerkpartner*innen auf die erhobenen Zahlen und Fakten schauen. Jedes Feedback und jede Erkenntnis helfen, folgende Fragen zu beantworten: Was hat sich verbessert, was verschlechtert? Was weicht von der Planung ab? Erkennen Sie Zusammenhänge? Was können Sie ändern? Wo sollte das Projekt angepasst werden, wo müssen Sie nachbessern?
Denken Sie daran: die Ergebnisse einer Evaluation sollen vor allem dabei helfen, aus Fehlern zu lernen und Ihre Projekte künftig noch besser zu machen.
