Monitoring zaměřený na výsledky a evaluace projektů

Workshop pro Českou rozvojovou agenturu 19. – 20. 2014

Inka Píbilová / Daniel Svoboda

2

Ve skupinách

Proč tu skutečně jsme?

2

3

Projektový cyklus EK

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 3

4

Ve skupinách

Co je to nejlepší, co už děláme v PME ZRS ČR?

Jak by vypadalo ideální PME ZRS ČR?

Co bychom tedy měli udělat?

4

Analýza zainteresovaných aktérů - matice

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 5

Power / Interest / Attitude

KEEP SATISFIED INFLUENCE & ENGAGE

KEEP INFORMEDMONITOR

Interest

Policy makers

CSOs

Fishing families

Attitude

Analýza zainteresovaných aktérů

6

Analýza zainteresovaných aktérů - Vennův diagram

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm7

8

•8

Analýza kapacit organizace

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

Analýza problémů - strom 1) brainstorming 2) klíčový problém 3) souvislosti 4) kompletní hierarchie

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

9

Analýza problémů - SWOT

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 10

11

Připravte analýzu problémů a aktérů vašeho projektu dle vybraného nástroje

Analýza cílů a strategií

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 12

13

Logický model - teorie změny

Jak realizované aktivity povedou v konkrétním kontextu k vytvoření výstupů, naplnění cílů a záměru

Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo nebyly cíle dosaženy

Součástí monitoringu a evaluací musí být pochopení logického modelu projektu, případně jeho revize

Inputs Activities Outputs

Outcomes Impacts

Black box

Political Environment

(Governance, etc.)

Public Attitudes

Environment

Aid Players

Macro-economic Picture

Policy Context

Logický model - matice

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm14

15•15

Logický model - příklad znečištěné řeky

16

Zrevidujte teorii změny vašeho projektu

výstup 2:výstup 1:

záměr:

cíl:

výstup 3:

aktivita 1.1: aktivita 3.1:aktivita 2.1:

aktivita 1.2:aktivita 3.2:

Quantitative - SMARTER

Specific / Simple (to understand, collect)MeasurableAttainable/Available at cceptable costsRelevant to project / stakeholdersTime-bound

Využívejte kvantitativní i kvalitativní indikátory

http://www.smarttoolkit.net/?q=node/391http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

Qualitative – SPICED

SubjectiveParticipatoryInterpreted and communicableCross-checked and comparedEmpoweringDiverse / disaggregated (by gender)

V rámci indikátorů lze použít různých druhů srovnání: trendy (např. zvýšení), omezení (např. min. 30%), cíle (např. strategie do 12/Y1)

Min. 30 % účastníků zahájí vlastní projekt týkající se lokálního problému.

Důvody, proč účastníci ne/realizovali projekt týkající se lokálního problému.

17

18

Zrevidujte indikátory vašeho projektu

19

Příklady indikátorů – DFID či BOND UK

20

Aktivity de facto na všech úrovních projektu žádné výsledkyaktivity = školení, výstup = školení, cíl = vyškolení, záměr = vzdělání

Chybí přenos know-how projekt není replikovatelný místněpříklad: veškeré počítačové/modelové zpracování prováděno v ČR

Chybí změna nejsou zajištěny skutečné dopady (So what?)záměr = demonstrace moderních postupů / PROČ? UPLATNÍ JE?záměr = zlepšení přístupu na trh / ZLEPŠÍ TO ŽIVOT? JAK?

Chybí vztah s cílovou skupinou minimální či nulové dopadypříklad: místní farmáři neví o existenci poradenského centra

Cíle, výstupy a aktivity nejsou propojeny chybí strategiepříklad: jak souvisí studijní cesta do ČR s rozvojem komunity v Mali?

Chybí udržitelnost po skončení projektu přínosy končípříklad: není zajištěno vlastnictví a další financování farmypříklad: nejsou k dispozici náhradní díly a lokální servis

Typické chyby logického modeluTypické chyby logického modelu

21

Indikátory shodné pro různé úrovně nejedná se o jiné úrovněvýstup = 50 vyškolených farmářů, cíl = 50 farmářů má lepší povědomí

Indikátor formulován jako cíl nelze prokázat jeho dosažení příklad: zlepšení postavení drobných zemědělců / JAK SE POZNÁ?příklad: míra zkvalitnění produkce / CO TO ZNAMENÁ? LZE OVĚŘIT?

Indikátor není upřesněn jak se pozná změna?příklad: zvýšení produkce / JAKÉ? O KOLIK? OD KDY DO KDY? KDE?příklad: rozloha zpracovaného území (ha) / 0,1 ha nebo 1000 ha?

Indikátory zcela chybí jak se pozná úspěch?příklad: cíl = zavedení principů hospodaření / CO TO ZNAMENÁ?příklad: záměr = udržitelný rozvoj / JAKÉ JSOU HLAVNÍ FAKTORY?

Předpoklad na úrovni managementu chybí garance realizacepříklad: předpokladem je dostatečná kapacita hlavního realizátora

Předpoklad je předem splněn nemá vliv na realizaci projektupříklad: předpokladem je existence objektu z dřívějšího projektu

Typické chyby logického modeluTypické chyby logického modelu

22

Logický rámec je nelogický neexistuje logická provázanostpříklad: přemíra nepříliš souvisejících aktivit bez jasného výsledku

!Logický rámec je nepřehledný neumožňuje řízení projektupříklad: na 5 - 12 stranách nelze sledovat souvislosti a návaznosti

!Doporučení:

Matice logického rámce není formulář (vyplňovaný po napsání projektu), ale nástroj pro přípravu a řízení projektu!

Typické chyby logického rámceTypické chyby logického rámce

23

Předpoklady -> rizika

24

Rizika a opatření k jejich minimalizaci

2525

26

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

26

27

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

27

Monitoring

PročKdo Kdy

JakPrincipy Nástroje

28

29

Monitoring projektu Průběžné posuzování realizace projektu ve vztahu k plánovaným aktivitám a výstupům, kontrola harmonogramu, rozpočtu, dosažitelnosti cílů a záměru Cílem je efektivní řízení a případná modifikace projektu v závislosti na měnících se podmínkách a zkušenostech.

etapové monitorovací zprávy a zpráva závěrečná

Monitoring zaměřený na výsledky (ROM)Průběžné posuzování relevance, efektivnosti, efektivity, potenciálních dopadů a pravděpodobné udržitelnosti

Rychlá, často externí alternativa / komplementární k evaluacím

Cílem je zlepšit kvalitu projektu a dosáhnout udržitelných výsledků / dopadů

Evaluace projektuPeriodické posuzování relevance, efektivnosti, efektivity, dopadů a udržitelnosti dopadů projektu ve vztahu k definovaným výsledkům / cílům

Většinou externí hodnocení

Cílem jsou nápravná opatření (průběžná evaluace), poučení, ovlivnění dalších rozvojových projektů a politik, skládání účtů (závěrečná evaluace)

hodnotící/evaluační zprávy

30

Zvažte výhody a nevýhody monitoringu ČRA a alternativ

31

Doporučení pro ČRA:

Zrevidujte monitorovací plán vašeho projektu

Evaluace

PročKdo Kdy

JakPrincipy Nástroje

32

Kontext Účel Využití výstupů Zaměření Evaluační kritéria a otázky Metodologie Harmonogram Rozpočet Lidské zdroje – zodpovědnosti, požadovaná expertíza

Příručky: UNDP Handbook (p. 194 - 200) ttp://web.undp.org/evaluation/handbook/ EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136)

http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_en.pdf

New Zealand Guide http://dmeforpeace.org/sites/default/files/NZAID_ToR%20Guideline.pdf

Zadání evaluace

33

Evaluační kritéria

•34•http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

34

35

Evaluační otázky

Vstupy (zdroje)

Vstupy (zdroje)

Aktivity

Aktivity

Výstupy

Výstupy

Krátkodobé cíle

Krátkodobé cíle

Střednědobé cíle

Střednědobé cíle

Dopady (dlouhodo

bé)

Dopady (dlouhodo

bé)

Interní kontrola v organizaci

Výstupy - zapojení příjemců

Oblast externích vlivů

Externí faktory

Jaká je povaha a rozsah problémů

při získávání porodních

asistentek a dalšího

vyškoleného personálu pro nové venkovské kliniky?

Jak dlouho se čeká na

nejvíce požadované

služby?

Nakolik byl projekt

úspěšný pro udržení

vyškoleného personálu v klinikách?

Jak kliniky pomohly zlepšit zdravotní stav

obyvatel po třech letech

provozu?

Formativní evaluace

Závěrečná evaluace

a/nebo

36

Úspěch = pozitivní změna

A) zahájení projektuB) konec projektuC) dva roky až pět let po ukončení projektu

A B C

neudržitelný projekt

dobrý projekt

špatný projekt

bez projektu

A B C

neudržitelný projekt

dobrý projekt

špatný projekt

bez projektu

37

Navrhněte evaluační otázky pro svůj projekt

Brainstorming – ptejte se na cokoliv (důležitého).

Následně seskupte otázky a vyberte otázky klíčové.

Koho se budete ptát? Kde získáte odpovědi?

Jak se budete ptát? Jak získáte odpovědi?

Otestujte si, zda jde otázka odpovědět.

Otestujte, zda vám odpověď pomůže.

Upravte otázky či metody, nezapomeňte na triangulaci.

38

Příklady z projektové praxe - cvičení

Riskantní projekt:- chybí odborný dozor (nejsou známy přírodní podmínky, není upřesněna výstroj vrtů, není řešena jakost a vydatnost vod ap.) projekt může negativně ovlivnit hydrogeologické poměry- není zajištěn provoz, údržba a ochrana nových vodních zdrojů

Technický trénink

Investice

Zlepšený přístup k

vodě

5 nových vrtů

Projekt:Vybudování nových vodních zdrojů

Vrtné práce

39

Příklady z projektové praxe - cvičení

Negativní dopady, neproveditelnost:- selekce „obdarovaných“ rodin rozděluje komunitu- nelze zapůjčit „člena rodiny“ a po roce ho zase odebrat- není řešeno uživení skotu ani možnost jeho ustájení- možnost ponechání přírůstků není mj. vztažena k připuštění býka (majitel býka by se stal nejdůležitějším členem komunity)

Roční zapůjčení krávy

Projekt:Podpora nejchudších rodin v uprchlickém táboře Dostatek

mléka pro děti

Zemědělské návyky

Možnost přírůstků

Zlepšení zdraví dětí

Zlepšení životních podmínek

Nejdůležitější evaluační otázky

• Proč chceme evaluaci konkrétního projektu?

• No a co? / So what? Opravdu je to úspěch?

• Přinesla hodnocená intervence očekávanou změnu? Proč a jak?

• Jakou změnu má přinést sama evaluace? Jak bude naloženo s jejími výsledky?

40

41

Otázky pro výběr otázek

• Kdo využije informace? Kdo chce vědět odpovědi? Komu by vadilo, že by odpovědi nedostal?

• Sníží odpověď nejistoty? Ovlivní běh událostí?

• Přinese odpověď důležitou informaci? Ovlivní běh událostí?

• Chceme odpověď vědět nebo ji potřebujeme vědět?

• Změnil by se výsledek evaluace, kdyby tato otázka nepadla?

• Je možné na tuto otázku odpovědět (ve vztahu k financím, kapacitám, času, metodám a technikám)?

42

Doporučení pro výběr otázek

• Začněte s identifikací hlavních problémů

• Každá otázka se musí zaměřit jen na jeden problém

• Otázky musí řešit hlavní problémy

• Je vhodné kombinovat všechny tři typy otázek

• Otázky musí mít jasný vztah k účelu evaluace

• Ověřte, zda se dají otázky odpovědět

• Používejte rozumný počet otázek ve vztahu k času určenému pro evaluaci

• Otázky musí odpovídat časovému průběhu programu

43

Plán evaluace zahrnuje

• Otázky a podotázky pro každý hlavní problém

• Typy evaluačních otázek

• Indikátory a cílové hodnoty (nebo standardy)

• Vstupní hodnoty (baseline data)

• Evaluační metody

• Zdroje dat a informací

• Požadovaný vzorek

• Metody a nástroje sběru dat a informací

• Způsoby vyhodnocení

• Způsoby prezentace dat

44

Typy otázek - deskriptivní

Odpovědi popisují „co se děje“

Charakteristika:

• snaží se pochopit nebo popsat program, postupy nebo přístupy k programu

• odpovědi mají poskytnout obrázek o tom, co je

• otázky jsou většinou jednoduché (kdo? co? kde? kdy? jak? kolik? jak moc?)

• většinou se týkají vstupů (zdrojů), aktivit a výstupů

• často jsou využívány pro zjištění názoru cílových skupin

45

Typy otázek - deskriptivní / příklady

• Jaké jsou cíle programu z pohledu různých aktérů?

• Jaké jsou hlavní aktivity programu?

• Kde je program realizován?

• Kdo dostává jaké služby?

• Jaké se při realizaci objevily překážky?

• Jaké je průměrné hodnocení výsledků od cílových skupin?

• Do jaké míry program využil zkušenosti z podobných programů?

• Jaké jsou hlavní rozdíly při realizaci programu na různých lokalitách?

46

Typy otázek - normativní

• Porovnávají „co je“ s tím „co mělo být“

• Podobné otázky jsou požívány při auditu

• Porovnávají výsledky ve vztahu k předem stanoveným kritériím

• Často jsou používány při monitoringu a při schvalování výsledků programu

47

Typy otázek - normativní / příklady

• Odpovídaly náklady schválenému rozpočtu?

• Byly náklady využity účelně (tak, jak měly být)?

• Bylo očkováno 80% dětí, jak bylo stanoveno?

• Podařilo se zavlažit 100 000 ha území, jak bylo plánováno?

• Byl proces výběru účastníků programu spravedlivý a nediskriminační?

• Do jaké míry program reflektoval rovnoprávnost žen a mužů?

48

Typy otázek - kauzální

• Sledují změnu, kterou intervence přinesla

• Ptají se, zda byly dosaženy požadované výsledky a zda byly dosaženy díky programu

• Srovnávají stav před programem a po programu a s programem a bez programu

• Evaluace dopadů se zaměřují na příčiny a následky

49

Typy otázek - kauzální / příklady

• Pomohla spolupráce tří zemí ochránit biodiverzitu a současně udržet zaměstnanost v regionu?

• Získali absolventi školení lepší pracovní uplatnění, které by jinak získat nemohli?

• Pomohly založené malé podniky snížit míru chudoby v dané oblasti?

• Přispěla vyšší daň z pohonných hmot ke snížení znečištění ovzduší?

• Pomohly zákonné pokuty ke snížení zneužívání dětské práce v oděvním průmyslu?

50

Typy otázek - kauzální / doporučení

• Při kauzálních otázkách je zásadní teorie změny

• Je nutné sledovat časové souslednosti

• Je nutné sledovat korelace různých dat

• Je nutné eliminovat alternativní vysvětlení

51

Evaluační metody

Metody pro deskriptivní a normativní otázky(většinou bez „pokusů“ - neexperimentální design):

• jednoduché zjišťování průřezových parametrů

• jednorázové zjišťování dat

• zjišťování dat před a po intervenci

• přerušované časové série dat

• průběžné (dlouhodobé) zjišťování dat

• případové studie

Normativní otázky vždy srovnávají výsledek s předem stanovenými kritérii (cílovými hodnotami, normami).

52

Evaluační metody

Metody pro kauzální otázky:

Experimentální design:• srovnává 2 kontrolní skupiny - jedné přímo zapojené do

programu a druhé programem neovlivněné

• výběr obou skupin je náhodný

Kvazi-experimentální design:• nepoužívá náhodný výběr

• využívá přirozeně existující srovnávací skupiny

• potřebuje více dat k vyloučení alternativních vysvětlení

53

Evaluační metody

Metody pro kauzální otázky:

Neexperimentální design:• nesrovnávají se různé skupiny

• musí podrobně vysvětlit vztahy mezi intervencí a jejími dopady

• evaluátor musí použít reprezentativní vzorky

• může analyzovat existující data a informace

• musí identifikovat charakteristiky, četnost a vztahy různých dat a informací

54

Evaluační metody

Kauzální otázky - možné postupy:• před a po programu s/bez srovnávací skupiny

• před a po programu u neekvivalentních skupin

• po programu s neekvivalentní srovnávací skupinou

• přerušované časové srovnávací studie

• průběžné (dlouhodobé) srovnávací studie

• panel - stejná skupina lidí je sledována delší dobu

• korelační statistický design

• analýzy dopadů programu u srovnávacích skupin

• neexperimentální metody: zjišťování průřezových parametrů, jednorázové metody, sledování kauzalit, případové studie

55

Evaluační postupy

• participativní metody (setkání, mapování, procházky)

• rešerše existujících dat a informací

• pozorování (nápadné či nenápadné)

• průzkumy a rozhovory (strukturované nebo ne)

• fokusní skupiny (skupinové diskuse)

• deníky (nebo „měsíčníky“), dotazníky

• odborné posudky (experti či panel expertů)

• technika „Delphi“ (posudky nezávislých expertů centrálně zpracované)

• další nástroje (přímá měření, analýzy, testy, karty spokojenosti, celostátní průzkumy…)

56

Evaluační postupy - doporučení

Neexistuje žádný nejlepší postup!

Evaluace se nesmí odvíjet od metod, naopak je potřeba vybrat nejvhodnější metodu pro konkrétní evaluační otázky a pro konkrétní účel evaluace!

Vždy je nutná triangulace - kombinace několika metod a několika zdrojů dat!

Nejdůležitějším faktorem je využitelnost a využití výsledků evaluace – musí být jasné od začátku!

57

Nástroje sběru dat

Při „vzorkování“ je třeba zvážit:

• rozsah potřebných dat - reprezentativní vzorek podle velikosti sledované populace nebo souboru dat

• náhodné, stratifikované či cílené vzorky (konkrétní skupiny, metoda sněhové koule - kontakty přes jednotlivé respondenty, pohodlnost - např. lidé, kteří přijdou na jedno místo)

• účel evaluace - typické (průměrné) hodnoty, extrémy, rozdílnost dat, pravidla a výjimky…

• kombinaci kvalitativních a kvantitativních dat

58

IPDET © 2009

Conversation

with ConcernedIndividuals

Community

Interviews

FieldVisit

s

Reviews of Official

Records (MIS and admin

data)

Participant Observation

s

Key InformantInterviews Focus

GroupInterviews

PanelSurveys

Censuses

FieldExperimen

ts

Informal/Less Structured Methods

Formal/More Structured Methods

One-Time Surveys

Direct Observations

Surveys

Nástroje sběru dat

Evaluability-Are clear why we do the evaluation? -Do we have an (updated) logical framework?-Do we have sufficient (baseline, monitoring) data available?-Do we have accessible reliable information sources?-Do we have sufficient funds for an internal/external evaluation? Will the evaluation be cost-effective, will it bring reasonable benefits vs. costs?-Is it likely that it will be used to improve actions in future? Can stakeholders influence the evaluation decisions? Will they accept and use the findings? Is there a strong leadership to put the recommendations in practice? -Are there no major factors hindering the evaluation? Are staff members or other stakeholders overloaded due to other priorities? Are there any tendencies that would affect impartiality?

Source: UNDP Handbook, Road to Results, Making evaluations matter•59

Můžeme projekt evaluovat ?

59

60

Připravte plán evaluace pro konkrétní otázky:

Otázky a jejich typ (deskriptivní, normativní, kauzální):

Vstupní a cílové hodnoty (u normativních otázek):

Evaluační metody (experimentální, neexperimentální…):

Zdroje dat a informací (kdo, co, kde):

Požadovaný vzorek (rozsah požadovaných dat):

Metody a nástroje sběru dat a informací (kdy, kde, jak):

Způsoby vyhodnocení (kvantitativní, kvalitativní):

Způsoby prezentace dat (zpráva, workshop, média):

Otestujte si pravděpodobný výsledek (odpovědi)!

61

Příklad

Cíl projektu:Dostat kuřata na druhou stranu frekventované silnice

Hodnotící otázky:Jaké bylo zvoleno technické řešení - přechod, podchod, nadchod, semafory, kladkostroj, balón, prak nebo např. výcvik v létání?

Nakolik bylo zvolené řešení efektivní (finančně, časově, humánně)?

Nakolik bralo zvolené řešení ohled na cílovou skupinu a její priority - dočkala se ho např. kuřata vůbec?

Mají kuřata na druhé straně zajištěnu potřebnou infrastrukturu - dostatečný prostor, péči, bezpečnost, vodu, zrní?

Budou jejich podmínky na druhé straně lepší než byly předtím nebo lepší než u srovnávací skupiny, která nikam nešla?

A proč vlastně kuřata chtějí na druhou stranu - neexistuje nějaká lepší strategie řešení jejich problémů a potřeb?

62

Zpracování dat - doporučení

Již před zahájením evaluace musí být jasná strategie zpracování kvantitativních a kvalitativních dat i způsob jejich propojení.

Způsob zpracování musí být uveden v evaluační zprávě, včetně stanovení míry věrohodnosti výsledků a nejistot.

Je nutné rozlišit konkrétní výsledky od jejich výkladu (interpretace).

Je vhodné použít konkrétní příklady a citace.

Nezbytná je kategorizace a triangulace výsledků.

63

Zpracování dat

Evaluační otázka: Byli rodiče spokojeni se školením?

IPDET © 2009

Příklad kvantitativní analýzy dat

64

Zpráva a prezentace – dle použití a uživatele

•65

Případov

á studi

e65

DoporučeníDoporučení

33

36

24

16

18

20

9

11

17

22

28

13

29

0 5 10 15 20 25 30 35 40

13

12

11

10

9

8

7

6

5

4

3

2

1

Obrázek je lepší, než 1000 slov,ale hodně „dobrých věcí“ škodí!

66

Doporučení pro ČRA:

Co plánuji o zítřka dělat jinak:

67