Evaluation und Wirkung: Wie wir die Qualität unserer Arbeit sichern

Gemeinsam mit lokalen Partnerorganisationen arbeiten wir in einigen der ärmsten Regionen der Welt für Kinder in Not. Doch wie stellen wir sicher, dass unsere Projekte tatsächlich etwas bewirken? Dass sie die Lebensbedingungen von Kindern, ihren Familien und Gemeinschaften nachhaltig verbessern und zur Verwirklichung der Kinderrechte beitragen? Die Antwort liegt in einem systematischen Zusammenspiel aus Wirkungsbeobachtung, Monitoring und Evaluierung. Diese Instrumente machen unsere Arbeit überprüfbar, transparent und stetig besser.

Auf einen Blick
Bewertungsmaßstab	Sechs OECD/DAC-Kriterien: Relevanz, Kohärenz, Effektivität, Effizienz, Wirksamkeit (Impact) und Nachhaltigkeit
Qualitätsstandards	Standards der Gesellschaft für Evaluation (DeGEval): Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit
Unabhängigkeit	Die meisten Evaluierungen werden von externen, unabhängigen Gutachtenden durchgeführt
Beteiligung	Zielgruppen – insbesondere ältere Kinder und Jugendliche – werden aktiv in Planung und Auswertung einbezogen

Evaluierungen beantworten typische Fragen wie: Erzielen wir mit unseren Projekten die gewünschten Veränderungen? Sind diese nachhaltig? Setzen wir die uns anvertrauten Mittel wirksam ein? Sie sind damit ein unverzichtbares Instrument des gemeinsamen Lernens, der Qualitätsentwicklung und der Rechenschaftslegung gegenüber Spenderinnen und Spendern, institutionellen Gebern und den Menschen in unseren Projekten.

Drei Instrumente der Wirkungsorientierung

Von der Planung bis zum Abschluss ist jedes Projekt in Systeme eingebettet, die Wirkung sichtbar und überprüfbar machen. Drei Bausteine greifen dabei ineinander:

1. Wirkungen planen und beobachten

   Schon in der Projektplanung legen wir gemeinsam mit unseren Partnern fest, welche Veränderungen erreicht werden sollen. Grundlage ist eine Analyse der Kinderrechtssituation. Wichtig ist uns, dass die angestrebten Wirkungen zusammen mit Vertreterinnen und Vertretern der Zielgruppen, vor allem der Kinder selbst, erarbeitet werden. Die Wirkungen werden anschließend regelmäßig anhand von Indikatoren gemessen und analysiert.

2. Projektmonitoring: die laufende Beobachtung

   Kann ein laufendes Projekt seine Ziele erreichen? Müssen Strategie oder Aktivitäten angepasst werden? Antworten liefert das Projektmonitoring: die kontinuierliche Erhebung von Daten zu Stand, Qualität und Veränderungen über den gesamten Projektverlauf. Sowohl unsere Partner als auch die Kindernothilfe führen ein Monitoring durch: Die Partner entwickeln einen Monitoring-Plan, analysieren die Ergebnisse und besprechen sie mit Zielgruppenvertretern. Die Kindernothilfe verfolgt die Entwicklung anhand von Projektfortschrittsberichten und besucht darüber hinaus alle Projekte persönlich.

3. Evaluierung: die vertiefte Überprüfung

   Bei den regelmäßigen Evaluierungen stehen für die Kindernothilfe das Lernen aus den Erfahrungen und das entsprechende Anpassen der Aktivitäten im Vordergrund. Zudem beauftragen wir strategische Evaluierungen, bei denen ganze Programmansätze systematisch untersucht werden. Die meisten Evaluierungen werden transparent von externen unabhängigen Gutachtern durchgeführt und beinhalten die Untersuchung der erzielten Wirkungen.

Wann wird evaluiert? Drei Zeitpunkte, drei Zwecke

Der Zeitpunkt einer Evaluierung bestimmt, welche Fragen sie beantworten kann. Die Kindernothilfe führt Evaluierungen zu drei Phasen durch:

Zeitpunkt	Wann	Vorrangiger Zweck
Zwischenevaluierung (Mid-Term)	Während der Projektlaufzeit	Steuerung und Optimierung: Erkenntnisse fließen direkt in laufende Entscheidungen ein. Von der Kindernothilfe besonders unterstützt.
Projektendevaluierung	Zum Projektende	Erfolgskontrolle und bilanzierende Bewertung – Grundlage für Rechenschaftslegung und Folgevorhaben.
Ex-Post-Evaluierung	Einige Zeit nach Projektende	Bewertung der Nachhaltigkeit: Halten die Wirkungen an, nachdem die Förderung ausgelaufen ist?

Unabhängig vom Zeitpunkt gilt für uns: Eine Evaluierung ist nur dann sinnvoll, wenn sie neue, bislang unbekannte Erkenntnisse liefert und die spätere Nutzung der Ergebnisse gesichert ist.

 

Welche Arten von Evaluierungen gibt es?

Umfang und Fragestellung richten sich nach dem Untersuchungsgegenstand. Die Kindernothilfe und ihre Partner führen überwiegend fünf Typen durch:

Projektevaluierungen

Im Mittelpunkt steht ein einzelnes, abgeschlossenes Projekt. Ausgewählt werden Projekte vor allem bei besonderem Erkenntnisinteresse z. B. bei innovativen Ansätzen. Bei öffentlich kofinanzierten Projekten, z. B. durch das BMZ, ist eine Evaluierung nahezu immer verpflichtend.

Querschnittsevaluierungen

Sie vergleichen mehrere Projekte eines Sektors in einer Region und identifizieren Stärken, Schwächen und „gute Praktiken". Beispiele waren ein Vergleich von HIV/Aids-Präventionsprogrammen an Schulen in Südafrika sowie eine Ex-Post-Evaluierung von fünf Gemeinwesenentwicklungsprojekten in Bolivien.

Ansatzevaluierungen

Hier wird die Wirksamkeit eines programmatischen Ansatzes untersucht – etwa des Selbsthilfegruppen-Ansatzes. So ließen wir Selbsthilfegruppen-Projekte in fünf Ländern Asiens evaluieren, um zu verstehen, welche wirtschaftlichen Veränderungen die Mitgliedschaft für Frauen und ihre Familien bringt.

Organisationsevaluierungen

Untersucht wird eine Organisation oder ein Organisationsbereich: die Struktur, Kapazitäten oder Finanzsysteme. Auch die eigenen Strukturen entwickelt die Kindernothilfe so weiter: Eine groß angelegte Evaluierung der Außenstrukturen führte zu neuen Arbeitsteilungen zwischen der Geschäftsstelle in Duisburg und den Koordinationsstrukturen in den Programmländern.

Interne Evaluierungen (Selbstevaluierungen)

Projektbeteiligte setzen sich systematisch selbst mit ihrer Arbeit auseinander. Der Nutzen entsteht hier oft ebenso aus dem Prozess wie aus den Ergebnissen. Die Kindernothilfe unterstützt auch Selbstevaluierungen ihrer Partner sowie kombinierte Formen, bei denen externe Fachleute die Partner begleiten.

Warum lassen wir unsere Projekte evaluieren?

Evaluierungen schaffen einen Mehrwert, der weit über die einzelne Maßnahme hinausreicht. Sie

• geben Aufschluss über beabsichtigte und unbeabsichtigte Wirkungen eines Vorhabens auf die Zielgruppe und ihr Umfeld,
• fördern positive Wirkungen und deren Nachhaltigkeit durch die Überprüfung und Stärkung von Strategien,
• schaffen eine verlässliche Informationsgrundlage für die Anpassung laufender Projekte und die Konzeption neuer Vorhaben,
• machen Entwicklungsarbeit transparent, indem sie auf Basis professioneller Methoden verlässliche Daten über das Erreichte bereitstellen,
• dokumentieren Arbeitsansätze und Erkenntnisse zu Themen und Sektoren und vertiefen das Wissen über entwicklungspolitische Zusammenhänge.

Als Kinderrechtsorganisation sind uns dabei Themen wie Kindesschutz, gleichberechtigte Teilhabe und Geschlechtergerechtigkeit ein besonderes Anliegen. Und nicht zuletzt entsteht Nutzen auch aus dem Prozess selbst: Wo Kindernothilfe und Partner Evaluierungen gemeinsam planen und auswerten, werden sie zum Instrument des fachlichen Dialogs und stärken die lokalen Kapazitäten.

 

Nach welchen Kriterien bewerten wir?

Unsere Evaluierungen orientieren sich an den international anerkannten Kriterien des Entwicklungsausschusses der OECD (OECD/DAC). Sie geben einen gemeinsamen Rahmen, der für jede Evaluierung passend gewichtet wird:

Kriterium	Leitfrage
Relevanz	Zielt das Vorhaben auf ein wichtiges Kernproblem der Zielgruppe – und wurden die Zielgruppen beteiligt?
Kohärenz	Passt das Projekt zu anderen Maßnahmen, Strategien und Standards und vermeidet es Doppelarbeit?
Effektivität	Werden die gesetzten Ziele erreicht – und welche Faktoren begünstigen Erfolg oder Misserfolg?
Effizienz	Werden die eingesetzten Mittel sparsam und wirtschaftlich verwendet?
Wirksamkeit (Impact)	Welche längerfristigen, auch unbeabsichtigten Veränderungen bewirkt das Vorhaben?
Nachhaltigkeit	Wie dauerhaft sind die positiven Wirkungen nach Ende der Förderung?

Zusätzlich richten wir uns nach den Standards der Gesellschaft für Evaluation (DeGEval): Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit sowie am VENRO-Referenzrahmen, der die Beteiligung der Zielgruppen und die Unabhängigkeit der Gutachtenden betont.

 

Beispiele aus unserer Evaluierungspraxis

Wie sehen Evaluierungen konkret aus? Diese ausgewählten Untersuchungen stehen als ausführliche Berichte zum Download bereit:

Fachlich vernetzt für bessere Methoden

Eine zentrale Herausforderung jeder Wirkungsmessung ist die Frage der Zurechnung: Haben tatsächlich die Aktivitäten eines Projekts zu einer Veränderung geführt oder sind das andere lokale Faktoren? Das lässt sich oft nur im fachlichen Austausch über unterschiedliche Methoden klären. Deshalb engagieren wir uns in mehreren Netzwerken:

• Gesellschaft für Evaluation (DeGEval): aktiv in den Arbeitskreisen „Entwicklungspolitik und Humanitäre Hilfe“ und „Methoden in der Evaluation“
• VENRO-Arbeitsgruppe Wirkungsorientierung: gemeinsamer Austausch, Fortbildungen und Positionspapiere der deutschen Nichtregierungsorganisationen
• Initiative NGO-IDEAs: Hier entwickeln wir mit anderen Organisationen Instrumente, mit denen Zielgruppen die von ihnen angestrebten Veränderungen selbst planen und beobachten können.