Direkt zum Inhalt wechseln

… und sollten wir sie selbst machen oder auslagern?

Monitoring, Evaluation, Wirkungsanalyse – Wann ist der richtige Zeitpunkt?

Bevor man sich ans Datensammeln macht, sollte man sich über zwei Aspekte klar werden:

  1. Wann ist der richtige Zeitpunkt, an dem die Daten erhoben werden? – Sammelt ihr sie fortlaufend? Oder einmalig nach jedem Meilenstein, nach Abschluss einer Maßnahme o.Ä.? – Der richtige Zeitpunkt hängt natürlich auch davon ab, ab wann sich Daten überhaupt erheben lassen, also ab welchem Zeitpunkt überhaupt belastbare Informationen vorliegen.  
  2. Nicht minder wichtig ist das Erkenntnisinteresse: Was genau soll eigentlich herausgefunden werden, und welche Daten helfen ganz konkret (und welche nicht)?

Auf der Ebene der Prozesse und Outputs (also der Leistungen bzw. Maßnahmen, die eine Non-Profit anbietet) kommt es darauf an, zeitnah herauszufinden, ob das Projekt bei Geld und Zeit noch im Plan liegt. Deswegen sollten solche Informationen auch regelmäßig erhoben werden – je nach Spiel­art wöchentlich, monatlich, vierteljährlich. Denn nur, wer seine Zahlen kennt, kann auch auf Abweichungen angemessen reagieren. (Mehr dazu, was Outputs, Outcomes und Impacts sind, haben wir hier aufgeschrieben.)

Auf der Ebene der Wirkungen (Outcomes und Impacts)
geht es meist um mittel- und langfristige Resultate. Diese lassen sich im Allgemeinen schwerer feststellen als z.B. Output-Daten. Allerdings gibt es auch auf dieser Ebene Informationen, die sich vergleichsweise leicht und regelmäßig erheben lassen, wie etwa die Veränderung von Schulnoten bei einem Projekt, dass Schüler*innen Nachhilfe anbietet.

Egal, welche Daten letztlich erhoben werden – die Wirkungsanalyse ist ein kontinuierlicher Prozess. Das heißt, es genügt nicht, Daten erst zum Projektende hin zu erheben. Denn dann kann man nämlich weder aus diesen Daten lernen noch adäquat auf sie reagieren. Durch kontinuierliches Monitoring und mithilfe von Zwischenevaluationen lässt sich feststellen, ob das Projekt auf dem richtigen Weg ist oder ob Anpassungen vorgenommen werden müssen.

Vor Projektstart dient eine Evaluation der Bedarfs- und Umfeldanalyse. Mithilfe einer solchen Rundumerhebung lassen sich die Bedarfe der Zielgruppe noch exakter ermitteln und mit den Projektzielen in Einklang bringen. 

Abschluss-Evaluationen werden, wie es der Name schon sagt, am Ende eines Projekts durchgeführt. Hierbei wird häufig das gesamte Projekt bewertet. Natürlich gibt es Projekte, die kein (geplantes) Ende haben; in solchen Fällen gibt es auch keine Abschlusseva­luation. Gleichwohl aber sollten Zeitpunkte identifiziert werden, an denen eine umfas­sende Auswertung stattfindet, etwa wenn ein neues Projektmodul entwickelt oder das Projekt skaliert werden soll.

Eine Ex-Post-Evaluation
findet einige Zeit nach Abschluss des Projekts statt. Mit ihr soll herausgefunden werden, welche Wirkun­gen ein Projekt auch über sein Ende hinaus entfaltet. Ein Beispiel für eine Ex-Post-Evalu­ation wäre eine Verbleibstudie, die ermittelt, was aus den Projektteilnehmenden wurde.

Unabhängig vom Zeitpunkt
solltet ihr über eine Evaluation nachdenken, wenn die Monitoringdaten auf signifikante Abweichun­gen gegenüber der Planung hinweisen.

Wer führt die Wirkungsanalyse durch?

Während das Monitoring unbedingt Teil des internen Projektmanagements sein sollte, ist das bei Evaluationen anders: Diese können sowohl durch interne Expertise als auch mit externer Hilfe realisiert werden.

Ob ihr nun intern selbst die Aufgabe übernehmt oder jemand Außenstehendes die Daten auswertet, hängt letztlich davon ab,

  • ob ihr organisationsintern die erforderlichen Kompetenzen besitzt, 
  • wie komplex der zu ermittelnde Sachverhalt ist und 
  • welches Budget zur Verfügung steht (hierzu mehr unten).

Für eine interne Evaluation spricht, dass sie im Vergleich zu einer externen Evalua­tion günstiger ist. Zudem geht es bei der Wirkungsanalyse vor allem darum, aus den Erkenntnissen zu lernen, und das könnt ihr nur bis zu einem gewissen Grad nach außen abgeben.

Ein weiterer Pluspunkt besteht darin, dass die Mitarbeiter*innen schneller an relevante Informationen gelangen und mehr Sachkun­de über das zu beurteilende Projekt besitzen – was allerdings problematisch werden kann, wenn diese Sachkunde in Betriebsblindheit ausartet oder persönliche Beziehungen zu einer Befangenheit führen.

Eine Evaluation durch eine externe Fach­kraft hat den Vorteil, dass sie in den meisten Fällen fachlich und methodisch sauberer ist, strukturierter umgesetzt wird (und eben weniger nebenbei) und einen objektiven, überparteilichen Blick einbringt. Diese Unabhängigkeit kann zum Nachteil werden, wenn die externe Fachkraft deswe­gen Schwierigkeiten hat, an die für die Erhe­bung relevanten Informationen zu kommen. Für den Erfolg der Evaluation ist es daher extrem wichtig, dass eine gute Zusammenarbeit zwischen dem/der Evaluator*in und allen Beteiligten herrscht.

Eine Lösung für dieses Dilemma könnte in einer Mischform aus interner und externer Evaluation bestehen: Projektmitarbeitende arbeiten Hand in Hand mit der externen Fach­kraft, die Expertise und den Blick von außen mitbringt. Die Mitarbeitenden bauen so allmählich Kompetenzen auf, und die externe Fachkraft gewährleistet den neutralen Blick. So kommen die Vorteile aus beiden Ansät­zen zusammen – vorausgesetzt, Rollen und Zuständigkeiten sind klar geregelt.

Unabhängig davon, ob es auf eine interne oder eine externe Evaluation hinausläuft, sollte innerhalb des Projektteams klar geregelt sein, wer für die Wirkungsanalyse bzw. deren Koordination verantwortlich ist. Selbstverständlich müssen für diese koordi­nierenden Aufgaben ausreichend Ressour­cen bereitstehen.

Übersicht: die Vorteile und Nachteile interner und externer Evaluation

Wirkungsanalyse: Wer sollte einbezogen werden?

Grundsätzlich gilt: Wirkungsorientierte Projektsteuerung ist zum Scheitern verurteilt, wenn sie nicht von der Organisations- bzw. Projektleitung mitgetragen und gefördert wird.

Neben Ressourcen braucht es festgelegte Prozesse und Verantwortlichkeiten. Idealerweise laufen die Fäden an einem Ort bzw. bei einer Person zusammen. Das sollte allerdings nicht dazu führen, dass sich alle anderen nicht mehr um die Wirkungsanalyse kümmern. Sinn und Zweck einer Evaluation ist, gemeinsam aus den Ergebnissen zu lernen – deshalb sollten auch alle Mitarbei­tenden einbezogen sein! Nicht fortwährend, aber eben doch regelmäßig, denn der primäre Zweck der Wirkungsanalyse ist es, gemein­sam aus den Ergebnissen zu lernen!

Außerdem kann es sinnvoll sein, etwaige Stakeholder mit einzubeziehen, also Förder*innen, Fachexpert*innen, Personen der Zielgruppe etc. Werden die Stakeholder einbezogen, sorgt das meist für eine höhere Ergebnisqualität. Außerdem legitmiert es das Vorgehen und beugt etwaigen Widerständen vor.

Folgende Fragen helfen euch in der Einschätzung, ob und welche Stakeholder bei der Wir­kungsanalyse eingebunden werden sollten:

  • Welche Rolle spielen die Stakeholder während der Durchführung der Wirkungsanalyse? Was sollen sie tun, was nicht? Sollen sie aktiv etwas beitragen, weil ihr Unterstützung braucht, oder sollen sie nur eingebunden sein, damit sie sie ernstgenommen fühlen?   
  • Welche Informationen aus der Wirkungsanalyse sind für sie relevant? Wer muss was wissen? 
  • Können sie unterstützen, beeinflussen, bremsen, verhindern? Haben sie besondere Hoffnungen, Interessen oder Befürchtun­gen hinsichtlich der Datenerhebung oder bestimmter Fragestellungen? Falls ja, ergeben sich daraus Konsequenzen für die geplante Erhebung? Müssen etwa andere Fragen oder Beteiligungs­formen gewählt werden?

Was kostet eine Wirkungsanalyse?

Erfahrungsgemäß kostet eine angemessene Wirkungsanalyse zwischen drei bis zehn Prozent des Projektbudgets. Größter Posten sind die Personalkosten; hinzu kommen Kosten für die Kommunikation der Ergebnisse, Reisekosten, Druckkosten etc. 

Drei bis zehn Prozent sind ein sehr theoreti­scher Wert – denn in der Realität sind meis­tens überhaupt keine Mittel eingeplant (was häufig daran liegt, dass viele Förder*innen noch zu wenig Interesse an Wirkungszusam­menhängen haben und das in einer Förderung entsprechend unberücksichtigt lassen).

Ohne Budget wird es natürlich schwer, über­haupt irgendetwas zu erheben; aber wenn es euch gelingt, ein paar Mittel loszueisen, wäre das immerhin ein Anfang. Es gibt durch­aus günstige Methoden der Datenerhebung und -auswertung, wir haben hier einige aufgelistet.

Bei einem schmalen Budget ist es sinnvoll, lieber einen kleinen, dafür aber relevanten Teil des Projekts zu evaluieren, als gänzlich darauf zu verzichten.

Idealerweise tauscht ihr euch hierzu früh­zeitig intern sowie mit euren Förder*innen aus! Zeigt Förder*innen auf, welche Kosten anfallen, und überle­gt dann mit ihnen gemeinsam, ob und wie sich diese stemmen lassen oder welche Alternativen es gibt.

Dabei geht es nicht nur darum, das Monitoring grundsätzlich in die Aufwands­planung einzupreisen, sondern auch die erforderlichen Mittel für die Auswertung und Diskussion der Daten, denn all das erfor­dert Aufwände, die meistens unterschätzt werden. Gut, wenn ihr mit euren Förder*innen hierüber von Anfang an im Gespräch seid!

Folgende Fragen helfen, die Kosten überschaubar zu halten

  • Sind die Informationen wirklich (wirklich!) hilfreich?
  • Liegen die Daten vielleicht schon andernorts vor?
  • Ist die Stichprobengröße angemessen?
  • Gibt es kostengünstigere Erhebungsinstrumente?
  • Welche Aufgaben müssen mit externer Hilfe durchgeführt werden, und welche lassen sich intern realisieren?

Was tun bei unschönen Daten?

Eine systematische Erfolgskontrolle sollte eigentlich verhindern, dass man von schlechten Ergebnissen überrascht wird. Selbstverständlich aber kommt es im Alltag häufig vor, dass manche Resultate nicht den Erwartungen entsprechen werden. Im ersten Step kann es hierbei helfen, die Daten auf ihre Plausbilität hin zu prüfen, denn es ist durchaus denkbar, dass es bei der Auswertung zu Ungenauigkeiten kam, die das Bild am Ende erheblich verzerren. 

Hilft das nichts, kann es helfen, das Ergebnis in den Gesamtkontext zu setzen – womöglich ist das Resultat mit Blick auf die Gesamtgemengelage aller Voraussetzungen und der vielleicht eingangs zu optimistisch formuierten Wirkungsannehmen doch besser als zunächst befürchtet?

Hilft auch das nichts, informiert am besten eure Stakeholder über den aktuellen Stand. Verdeutlicht, warum manche Resultate hinter den Erwartungen zurückbleiben und welche Gegenmaßnahmen ihr einplant.