Wirkungsanalyse: In 8 Schritten zu fundierten Ergebnissen
Zugegeben – es ist ein wenig Arbeit, eine Wirkungsanalyse vorzubereiten, aber es ist Arbeit, die sich lohnt. Nicht nur können die Ergebnisse der Analyse für Nachbesserungen am Projekt verwendet werden, sondern auch für das Fundraising. Außerdem sorgt das Impact Measurement dafür, dass NPOs ihre Ressourcen dort einsetzen können, wo sie am meisten Veränderung bewirken. Auch neue, innovative Ideen können durch die Wirkungsanalyse angeregt und getestet werden.
Dieser Artikel gibt einen kurzen Überblick darüber, wie man eine Wirkungsanalyse plant. Dafür haben wir uns an die sehr ausführlichen und tiefgehenden Informationen aus dem Kurs von Skala Campus und Wirkung-lernen.de gehalten. Wenn Du also tiefer in das Thema einsteigen möchtest, können wir diese beiden Seiten wärmstens empfehlen!
Designen einer Wirkungsanalyse
1. Erstelle eine Wirkungstreppe mit Zielen
Was eine Wirkungstreppe ist, haben wir in unserem letzten Artikel näher beleuchtet. Hier startest Du Deine Planung. Beginne bei Stufe 7: Welchen Impact willst Du erzielen? Dann arbeite Dich Stufe für Stufe nach unten und beantworte jeweils die Frage, was getan werden muss, um diesen Impact zu erreichen. Wenn Du fertig bist, drehe die Richtung um. So kannst Du überprüfen, ob die Wirkungslogik funktioniert. Als nächstes stattest du jede Stufe mit einem entsprechenden Ziel aus.
Jede Stufe der Wirkungstreppe kann mehrere Ziele aufweisen, muss aber mindestens eines haben.
Beispiel (fiktiv und simplifiziert!)
Dein Projekt hat zum Ziel, geflüchteten Menschen die Integration in Bayern zu erleichtern (=Impact). Studien zeigen, dass ein Arbeitsplatz nicht nur die finanzielle Situation, sondern auch die soziale Teilhabe von Geflüchteten verbessert. Auch nach einer nationalen Richtlinie gilt Arbeit und Beruf als wichtiges Kriterium für nachhaltige Integration. Daher wird Deine NPO kostenlose Deutschkurse und Bewerbungstrainings anbieten.
Die Ziele Deiner Wirkungstreppe könnten nun so aussehen:
7: Wir konnten die Integration von geflüchteten Menschen in Bayern verbessern
6: Die Teilnehmer*innen fanden innerhalb von 6 Monaten nach Ende des Workshops eine Arbeitsstelle
5: Die Teilnehmer*innen können gute Bewerbungen schreiben und sich bei Bewerbungsgesprächen gut auf Deutsch ausdrücken
4: Die Teilnehmer*innen kennen wichtige Jobplattformen, wissen, worauf es bei Bewerbungsgesprächen ankommt und beherrschen Deutsch mind. auf Niveau B1.
3: Die Zielgruppe nimmt regelmäßig an den Workshop-Einheiten teil und ist mit dem Angebot zufrieden.
2: Es haben sich 50 Teilnehmer*innen für den Workshop angemeldet.
1: Wir haben alle nötigen Ressourcen (finanziell, personell, räumlich) und Materialien, um die Workshops durchzuführen.
2. Indikatoren für Ziele entwickeln
Nun solltest Du Dir Gedanken darüber machen, welche Indikatoren anzeigen, dass Du die jeweiligen Ziele erreicht hast. Diese können ganz einfach zu messen sein und quasi auf der Hand liegen (direkte Indikatoren), oder aber nur durch einen hohen Aufwand oder ausschließlich qualitativ zu messen sein (indirekte Indikatoren).
Jedes Ziel muss einen entsprechenden Indikator haben. Bei sehr komplexen Zielen können auch mehrere Indikatoren genutzt werden.
Damit Deine Wirkungsanalyse nicht zu umfangreich wird, solltest Du priorisieren: Welche Indikatoren lassen zulässige Rückschlüsse auf das Ziel zu UND sind mit möglichst wenig Aufwand zu erheben?
Zuletzt benötigst Du Basis- und Sollwerte, damit Du am Ende des Projekts bestimmen kannst, ob sich durch das Projekt tatsächlich eine Veränderung ergeben hat. Die Basiswerte sollten vor Projektstart erhoben werden. Sie stammen z. B. häufig aus offiziellen Statistiken oder Studien. Allerdings ist ein Basiswert nicht überall sinnvoll, z. B. da, wo es keine Vergleichswerte benötigt. Die Sollwerte entsprechen Deinem Zielwert, der realistisch sein sollte.
Beispiel
So könnten die Indikatoren für die oben genannten Ziele aussehen:
7: Arbeitslosenquote von Geflüchteten in Bayern ist gesunken (Basiswert: 12 %)
6: Anzahl der Teilnehmer*innen, die nach spätestens 6 Monaten eine Arbeitsstelle gefunden haben
5: Anzahl der Teilnehmer*innen, welche die praktische Abschlussprüfung der Workshops mindestens mit “Gut” bestehen
4: Anzahl der Teilnehmer*innen, welche die theoretische Abschlussprüfung der Workshops mit mindestens “Gut” bestehen
3: Die Teilnehmer*innen haben eine Anwesenheitsquote von mind. 90% + Die Teinehmer*innen bewerten die Workshops nach der Hälfte der Laufzeit mit mind. “Gut”
2: Anzahl Anmeldungen
1: Anzahl der Lehrer*innen/Trainer*innen + Anzahl Deutsch-Lehrbücher + Anzahl geeignete Räumlichkeiten
Nur der Indikator von Ziel 7 ist mit einem Basiswert ausgestattet, da der Impact anhand des Vergleichs gemessen werden soll. Die anderen Ziele könnten u. U. dann einen Basiswert benötigen, wenn das Workshop-Projekt nicht zum ersten Mal stattfindet und bei einem neuen Projektzyklus Anpassungen und Verbesserungen vorgenommen wurden. In diesem Fall können die Basiswerte die Ergebnisse des vorangegangenen Zyklus sein und anzeigen, ob die Verbesserungen wirken.
Tipp: Hier findest Du eine gute Anleitung zur Entwicklung von Indikatoren
3. Datenquellen identifizieren
Nun benötigt jeder Indikator mindestens eine Datenquelle. Sie können entweder anhand von qualitativen und quantitativen Methoden selbst erhoben werden, oder aus amtlichen Statistiken, Studien o. ä. kommen. Auch hier ist Effizienz wichtig, um einerseits die Aussagekraft der Wirkungsanalyse zu gewährleisten und andererseits den Aufwand gering zu halten:
Bei Daten gilt immer: So wenig wie möglich, so viel wie nötig.
Quantitative Daten
Quantitative Daten werden in Zahlen ausgedrückt, messen etwas und ermöglichen Vergleiche, Überblick und die Analyse von statistischen “Ausreißern”. Sie geben Antworten auf Fragen nach dem “Was”, “Wann” und nach “in welchem Ausmaß”.
Qualitative Daten
Qualitative Daten messen nicht, sondern analysieren, erklären und beschreiben. Sie werden dort benötigt, wo nichts gezählt werden kann und ermöglichen eine Beurteilung der Qualität. Sie geben Antworten auf Fragen nach dem “Wie” und “Warum”.
Beispiel
7: Arbeitsmarktbericht Bayern der Bundesagentur für Arbeit
6: Auswertung der Follow-up-Interviews der Teilnehmer*innen
5: Ergebnisse der praktischen Abschlussprüfung
4: Ergebnisse der theoretischen Abschlussprüfung
3: Anwesenheitslisten + Auswertung der Interviews mit Teilnehmer*innen nach der Hälfte des Projektzeitraumes
2: Anmeldeliste
1: Ressourcen-Checkliste
Punkt 3 und 6 beinhalten qualitative Daten, obwohl man zumindest Punkt 6 auch quantitativ erheben könnte. Ich habe mich für dieses Beispiel aber für Interviews entschieden, weil sie einerseits auch gleich weiteres Feedback zum Workshop-Design, bisher unbedachten Probleme im Bewerbungsprozess oder anderen Aspekten liefern können und andererseits weil dabei möglicherweise Zitate entstehen, die für das Fundraising nützlich sein könnten.
4. Erhebungsdesign entwickeln
Sobald Du weißt, welche Daten Du benötigst, ist es Zeit für ein Erhebungsdesign für Deine Wirkungsanalyse. Dabei beantwortest Du die Frage, wann und mit welcher Methode die Daten erhoben werden. Es kann auch vorkommen, dass zwei Methoden nötig sind, um aussagekräftige Daten zu erhalten.
Wichtig bei der Festlegung auf Methoden ist, dass sie nicht zu umfangreich und realistisch durchführbar sind. Außerdem sollte stets auch die Zielgruppe mitbedacht werden – sehr umfangreiche Fragebögen oder langatmige Interviews können die Niederschwelligkeit ändern und den Zugang zum Angebot erschweren. Diese Fragen können helfen, passende Methoden zu finden:
- Was ist das Erkenntnisinteresse?
- Was ist der Zweck der Analyse (z. B. Verstehen, Legitimieren, Verbessern…)
- Welchen Zugang hat man zur Zielgruppe?
- Gibt es vorhandene Daten, auf denen man aufbauen kann?
- Welche und wieviele Ressourcen hat man für die Erhebung zur Verfügung?
Das Feld der Methodik ist riesig, aber mit einigen Vorgehensweisen hast Du vermutlich schon Bekanntschaft gemacht, z. B.:
- Befragungen,
- Interviews,
- standardisierte Tests
- Statistiken,
- Foto- und Video-Dokumentation
- Anekdotensammlungen
Bei Skala Campus kannst Du Dich genauer über häufige Methoden informieren.
Beispiel
7: Vergleich aktuelle Arbeitslosenquote von Geflüchteten in Bayern mit Basiswert – Zeitpunkt: Erscheinungsdatum Arbeitsmarktbericht
6: Aufnahme der telefonischen Interviews mit den Teilnehmenden – Zeitpunkt: 6 Monate nach Workshop-Ende
5: Standardisierter Test zu praktischen Fähigkeiten – Zeitpunkt: Abschluss des Workshops
4: Standardisierter Test zu theoretischem Wissen – Zeitpunkt: 1 Monat vor Abschluss des Workshops
3: Statistische Auswertung der Anwesenheitslisten – Zeitpunkte: Nach erstem Monat, nach 3. Monat, nach Abschluss des Workshops + Interviews zum Ende des Workshops
2: Elektronisches Anmeldeformular und E-Mail-Anmeldungen
1: Checkliste basierend auf Projektplanung
5. Datenerhebungsplan erstellen
Ein Datenerhebungsplan fasst alle für die Wirkungsanalyse nötigen Informationen in einer tabellarischen Übersicht zusammen. Er enthält also die Ziele, ihre Indikatoren, die Datenquellen und die Erhebungsmethoden. Außerdem wird in ihm festgelegt, wer wann welche Daten erheben wird.
Der richtige Zeitpunkt hängt davon ab, welches Erkenntnisinteresse Du hast. Werden Daten gleich zu Beginn des Projekts erhoben, können sie gut als Vergleichsdaten für Deine Maßnahmen fungieren. Zwischendurch erhebst Du Daten, die Dir zeigen, ob das Projekt auf dem richtigen Weg ist oder ob es noch Anpassungen benötigt. Mit Daten, die nach dem Projekt erhoben werden, wird der tatsächliche Impact evaluiert.
In vielen Organisationen wird bereits Monitoring und Evaluation betrieben. Diese Konzepte verleihen der Datenerhebung einen festen Rahmen und geben damit Verantwortlichkeiten, Zeitpunkte und Erhebungsprozesse vor:
Monitoring
Die Informationen für eine Wirkungsanalyse werden im Optimalfall im Zuge des Monitorings, also laufend während des Projekts erhoben. In der Regel sind es die direkt am Projekt Mitarbeitenden, die dokumentieren, was passiert. Ein gutes Monitoring kann nicht nur sehr viel Zeit bei der nachfolgenden Evaluation sparen, sondern sorgt auch für verlässliche, aktuelle Daten. Je länger im Nachhinein Daten nämlich erhoben werden, desto eher können sie durch unterschiedliche Einflüsse verfälscht sein.
Evaluation
Die Evaluation wird meistens als etwas verstanden, das am Ende des Projekts gemacht wird. Das ist aber nicht zwingend so. Eine Evaluation kann zu mehreren, bestimmten Zeitpunkten stattfinden und erhebt Daten zu der Frage “wie gut und warum” etwas passiert. Außerdem werden die Daten in der Evaluation nach vorab festgelegten Kriterien beurteilt. Das kann auch während des Projekts sein – z. B. in halbjährlichem Rhythmus. Der Unterschied zum Monitoring liegt nicht nur auf der gestellten Frage, sondern auch daran, dass Evaluation nicht laufend passiert, sondern eben zu definierten Zeitpunkten.
6. Erhebungsinstrumente entwickeln
Nun erstellst Du die Erhebungsinstrumente, die Du für die gewählten Methoden benötigst. Das kann z. B. ein Interview-Leitfaden, ein Fragebogen, ein Test oder ein Konzept zur Bildauswertung sein.
Empfehlenswert ist es – egal bei welcher Methode – einen Testlauf mit den entwickelten Instrumenten zu machen. Interviewe zum Beispiel ein paar Kolleg*innen oder lass Deine Familie den Fragebogen ausfüllen. Dadurch können mögliche Logikfehler oder unklare Formulierungen gefunden und beseitigt werden.
7. Daten erheben
Alles ist vorbereitet, das Projekt kann beginnen. Jetzt beginnst Du bzw. Dein Projektteam entsprechend dem Erhebungsdesign damit, Daten für die Wirkungsanalyse zu sammeln. Meistens ist es sinnvoll, alle erhobenen Daten an einem Ort, zum Beispiel in einer Datenbank oder in einer Tabelle, übersichtlich zu sammeln. Außerdem können die Daten portionsweise bearbeitet, gesäubert und geordnet werden, was im nächsten Schritt viel Arbeit erspart.
8. Daten interpretieren, Ergebnisse bewerten, Handlungsempfehlungen ableiten
Jetzt geht es nämlich an die Auswertung und Interpretation der Ergebnisse. Wie Du dabei vorgehst, hängt davon ab, ob es sich um quantitative oder qualitative Daten handelt:
Auswertung qualitativer Daten
- Aufbereitung (z. B. Transkribieren von Interviews, Anreichern mit soziografischen Daten, …)
- Kernaussagen identifizieren (gibt es besonders wichtige Aussagen, oder Aussagen, die sich sinngemäß oft wiederholen?)
- Kernaussagen inhaltlichen Kategorien zuordnen
- Systematische Übersicht über Kategorien anfertigen (z. B. Häufigkeit der Nennungen, positive oder negative Aussagen, …)
- Analyse (z. B. häufig genannte Begriffe, Übereinstimmungen und Gegensätze, …)
- Interpretieren und Bewerten (Ableitung von Aussagen, Learnings, Beantwortung der Frage nach der Zielerreichung herausarbeiten)
Auswertung quantitativer Daten
- Aufbereitung (z. B. Ordnen, Fehler korrigieren, statistische Ausreißer entfernen, …)
- Ergebnisse erstellen (z. B. Ermittlung von Summen und Durchschnittswerten, …)
- Weiterführende Datenanalysen durchführen (z. B. Vergleiche zwischen unterschiedlichen Gruppen, Aufdecken von Zusammenhängen, …)
- Übersicht der Ergebnisse erstellen (z. B. in Diagrammen)
- Interpretieren und Bewerten
Weitere Informationen zur Datenauswertung findest Du wieder bei Skala Campus.
Impact darf geschätzt werden
Wirkungsanalysen können durchaus wissenschaftlich angelegt sein, müssen es aber nicht. Auch klein designte, weniger komplexe Analysen können wertvolle Erkenntnisse für die Projektarbeit und Aussagen über den eigenen Impact liefern. Im hier verwendeten Beispiel wird der Impact nur “geschätzt”, dies aber anhand einer belastbaren wissenschaftlichen Studie (“Integrationsindikatoren des nationalen Aktionsplans für Integration”).
Geht man also davon aus, dass diese Integrationsindikatoren wahr sind und von 50 Teilnehmer*innen unseres Beispielprojektes 35 nach 6 Monaten eine Anstellung gefunden haben, kann daraus geschlossen werden, dass das Projekt 35 Geflüchtete bei der Integration in Bayern unterstützt hat. Nehmen wir weiter an, dass in Bayern (einfachheitshalber) 3.500 Geflüchtete leben, entspricht das 1 %. Wollen wir unseren Impact vermehren, könnten wir also die Workshops ausweiten, die Workshop-Inhalte entsprechend des Teilnehmer*innen-Feedbacks anpassen oder weitere Integrationsindikatoren in Angriff nehmen.
Weitere nützliche Links zum Thema:
Zurück zur Themenübersicht “Wirkungsanalyse: So geht Impact Measurement”
Damit Du den nächsten Artikel nicht verpasst, abonniere einfach unseren Newsletter! So erhältst du ca. einmal monatlich Informationen über neue Blogartikel, Termine, Veranstaltungen und unsere FundraisingBox: Newsletter abonnieren