Evaluace projektů vzděláváníHlavní závěry a poučení pro členy FoRS

Inka Píbilová, FoRS, 11. 12. 2012

Agenda

1. Co je a není evaluace

2. Proč evaluovat

3. Jak evaluovat

4. Zjištění z evaluací vzdělávacích projektů

5. Poučení a tipy

Co je evaluace

Proč evaluovatNNOCíle: závěry a doporučení pro NNO, popř. EK Pokračování projektu Posílení přínosů projektu Podmínky pro replikaci Poučení pro jiné projekty Poučení systémová Posílení povědomí o výsledcích

a posílení vlastnictví aktérů…

Zaměření : OECD/DAC či obdobné Otázky partnerství, replikace… Posouzení intervenční logiky

MZV ČRCíle: závěry a doporučení pro MZV ČR, ČRA či realizátora Zaměření budoucích projektů

v daném sektoru ZRS ČR Poučení procesního a

systémového charakteru pro řízení a realizaci ZRS i evaluace

Zaměření : Kritéria OECD/DAC Průřezové principů - řádná

správa věcí veřejných a gender, životní prostředí

Posouzení intervenční logiky

Rešerše dokumentů  Rozhovory  Fokusní skupiny

Návštěva zapojených aktérů (škol…)

Případové studie

Dotazníková šetření…

Komunikace se zadavatelem a referenční skupinou

Závěrečný workshop pro zúčastněné strany (společná interpretace, doporučení)

Předběžná zpráva konzultována s referenční skupinou a realizátorem

Jak evaluovat

Výběr evaluátora

Zapojení všech aktérů včetně cílových skupin a beneficientů (učitelů, žáků, rodičů…)

Závěry z evaluací vzdělávacích projektů

Závěry z evaluací vzdělávacích projektů Intervenční logika

Často příliš ambiciózní specifické cíle, nejasné propojení vstupy – výstupy – výsledky – efekty, jejich záměna Indikátory - někdy nejsou relevantní, měřitelné, je jich příliš, není jasné, jak bude prováděn sběr dat

Relevance Vychází z potřeb aktérů, komplementarita Chybí průzkum výchozího stavu, je nejasná intervenční logika

Hospodárnost Využití nefinančních zdrojů, prostor, dobrovolníků, snaha šetřit Často chybí vyhodnocení alternativ – porovnání nákladů oproti přínosům (kampaň, produkce filmu, brožur…)

Efektivnost Adaptace zkušeností ze zahraničí, ale zohlednění místních potřeb, relativně dobrý monitoring aktivit a výstupů

Závěry z evaluací vzdělávacích projektů Dopad

Často nelze hodnotit – nedostatek vstupních a průběžných dat, neexistence kontrolní skupiny, souběžné intervence ovlivňují dopady, možné pouze kvalitativní metody

Udržitelnost Projekty většinou nejsou udržitelné, zaměření především na další fundraising, přesto nejasná budoucnost týmu, chybí spolufinancování ze strany cílových skupin, není oficiální předání výstupů, nejsou zavedeny udržitelné mechanismy (komunikace s dobrovolníky…)

Průřezové principy Jsou povětšinou implicitně zohledňovány, ovšem nereportovány

Jiné Většina NNO „se bojí“ evaluační zprávy zveřejňovat Řada organizací evaluace sama „dělá“ a využívá

Poučení a tipy1. Využijte zahraničních i českých dokumentů - GRV (Národní

strategie GRV, DEAR study, DARE study…) i např. k evaluacím (UNDP, OECD/DAC) pro plánování i posuzování projektů

2. Zrevidujte svoje matice logického rámce - dosažitelné cíle, propojené aktivity – výstupy – výsledky – cíle, jen několik SMART indikátorů, v případě potřeby matici revidujte.

3. Nastavte si v organizaci systém PM&E, zaveďte úvodní sběr dat, průběžně monitorujte hlavní indikátory výsledků, triangulujte data / metody / zdroje.

4. Nastavte předpoklady udržitelnosti na počátku projektu a včas dohodněte předávací plán.

5. Aktivně se zapojte do přípravy, realizace i připomínkování evaluace - vedle referenční skupiny (MZV ČR, ČRA, Rada pro ZRS).

Poučení a tipy

6. Předem hodnoťte hospodárnost a zvažte alternativy – např. osvěta mezi českou populací x e-maily na ředitele firem

7. Využijte možnosti evaluace pro vlastní potřeby - posouzení přístupů, srovnání s ostatními organizacemi, propagace výsledků projektu…

8. Pokud zadáváte evaluaci:

• Jasně specifikujte cíle, rozsah, aktéry, evaluační otázky, rámcově i metodiku, rozpočet, časový harmonogram a požadavky na evaluátora (ToR – Terms of reference)

• Zjistěte si reference evaluátora, přečtěte si předchozí evaluační zprávy

• Vyhraďte si dostatek času a financí, zajistěte dostupnost aktérů

• Buďte transparentní – informujte o výsledcích relevantní aktéry

Kde se dozvědět více

Evaluace rozvojových a vzdělávacích projektů MZV ČRhttp://www.mzv.cz/pomoc/ – Dvoustranná – Evaluace OECD/DAC evaluační kritéria a principyhttp://www.oecd.org/dac/evaluationofdevelopmentprogrammes/

daccriteriaforevaluatingdevelopmentassistance.htm Česká evaluační společnost – etický kodex aj.http://www.czecheval.cz/ EPDET – European Program for Development Evaluation

http://www.dww.cz/index.php?page=epdet RISC - How do we know it is working? Manuál ve FoRS! www.evaluace.com

Přeji hodně štěstí při evaluaci projektů!

inka@evaluace.com