Was ist eine Evaluierungssynthese?
Eine Evaluierungssynthese fasst den Stand der Evaluierungen zu einem bestimmten Thema zusammen. Es ist eine systematische Übersichtsarbeit, ähnlich wie bei einer wissenschaftlichen Literaturauswertung. Sie identifiziert, bewertet und aggregiert Ergebnisse aus verschiedenen Studien, um konkrete Fragen zu beantworten. Im Unterschied zu einer Literaturauswertung betrachtet sie jedoch die Evidenz systematisch, um potenzielle Voreingenommenheiten bei den Ergebnissen auszuschließen.
Wie sind wir vorgegangen?
Letztes Jahr nahm die Evaluierungsabteilung der EIB-Gruppe eine Evaluierungssynthese von Energieeffizienzinterventionen an Wohngebäuden vor. Das war für uns Neuland. Um bestmöglichen Nutzen aus diesem Pilotprojekt zu ziehen, arbeiteten wir mit der International Initiative for Impact Evaluation (3ie) zusammen, die weltweit führend die rigorose Evidenz von Entwicklungsvorhaben fördert und synthetisiert. Dabei haben wir einiges gelernt, was auch für andere Evaluierende nützlich sein könnte:
- Vorteile der Evaluierungssynthese
- Warum eine Evidenzkarte ein guter Start sein kann
- Evaluierungssynthese – Pro und kontra
Welche Vorteile hat eine Evaluierungssynthese?
Oft liegt bereits eine sehr umfangreiche Evidenz vor. Außerdem erscheinen Ergebnisse aus der Evidenz manchmal widersprüchlich, entweder aufgrund der Qualität der Forschung oder weil Ergebnisse durch die Forschungsumstände beeinflusst werden. Wird die Evidenz im Rahmen der Evaluierungssynthese beschafft, beurteilt und anschließend zusammengefasst, kann sie leichter genutzt werden.
Das macht sie besonders nützlich für Entscheidungstragende, denen es an Zeit mangelt und die wissen wollen, was unter welchen Umständen besser oder schlechter funktioniert. Ebenso nützlich sind Evaluierungssynthesen auch für Evaluierende und Forschende, die wissen wollen, wo es bereits eine solide Evidenz gibt und wo noch Lücken bestehen.
Für eine Evaluierungssynthese gilt Folgendes:
- Der Umfang und die Methoden werden vorab in einem Studienprotokoll festgelegt, das klare Ein- und Ausschlusskriterien festlegt (transparent)
- Die Suche ist umfassend und beinhaltet veröffentlichte und unveröffentlichte Studien in allen Sprachen (unvoreingenommen)
- Die Qualität der Studien wird kritisch geprüft, um die Zuverlässigkeit der berücksichtigten Studien zu bewerten (rigoros)
- Die Datenextraktion und -organisation ist systematisch und reproduzierbar (transparent)
Was ist eine Evidenzkarte?
Eine Evidenzkarte (Evidence Gap Map) gibt einen Überblick über die vorhandene Evidenz zu einem Thema.
Warum eine Evidenzkarte ein guter Start sein kann
Anstatt uns auf ein Thema und eine Forschungsfrage für unsere Evaluierungssynthese zu einigen, die vorhandene Evidenz zu beschaffen und eine Synthese der Ergebnisse zu erstellen, begannen wir mit einer Evidenzkarte. Der Vorteil dabei ist, dass dabei sämtliche verfügbare Evidenz zusammengetragen wird. Dies hilft, künftige Forschungsprioritäten zu ermitteln und Doppelarbeit zu vermeiden.