Participativní plánování, monitoring a evaluace

transcript

Participativní plánování, monitoring

a evaluace projektů

Workshop pro FoRS

27. – 28. 11.2014

Inka Píbilová / Daniel Svoboda

Představení

Jméno, role, organizace

Jak mi tento workshop může pomoci v roce 2015?

Příklad, kdy jsem se cítil/a být aktivní součástí

velkého projektu, kampaně či akce:

Co jsem dělal/a? Jaká byla moje role?

Jak jsem se v této roli cítil/a?

Mám pocit, že jsem něco ovlivnil/a?

Prostřednictvím participace se nemajetní lidé mohou zapojit do určování toho,

jakým způsobem budou předávány informace, stanovovány cíle a priority,

alokovány veřejné prostředky. (...) Znamená způsoby, kterými mohou

iniciovat sociální změny a podílet se na přínosech plynoucích ze společnosti.

Arnstein, 1969

Participační žebřík

Participace = převedení moci na ty, kteří původně „nemuseli“ rozhodovat

Deliberace = sdílení moci, ne přesun na určitou skupinu (včetně veřejnosti)

http://heapro.oxfordjournals.org/content/24/suppl_1/i45/F2.large.jpg

http://ec.europa.eu/europeaid/sites/devco/files/methodology-aid-delivery-methods-project-cycle-management-200403_en_2.pdf

Další modely participace

Metody a formy občanské participace (AGORA CE, upraveno)

Tradiční Inovativní

Emancipace Delegace rozhodování na organizace Spolupráce - společná tvorba plánu (zastupitelstvo, odborníci, veřejnost)

Aktivní

participace

referendum Volby

plánovací den / víkend (akční plánování) pracovní skupiny Interaktivní workshop občanská porota sousedské výbory

Konzultace účast ve výborech a komisích názorové průzkumy konference stížnosti

ankety, dotazníky, rozhovory on-line diskuse / fóra panel / kulatý stůl veřejné projednání (s programem) posezení u kávy petice, ombudsman

Informování zákon 106/1999 Sb. úřední deska účast na jednání zastupitelstva veřejné slyšení nahlížení do zápisů

občanské informační centrum tiskové konference letáky, brožury, zpravodaje výstavy a prezentace hromadná korespondence telefonní linka

legenda: 8- úřední deska 17-veřejné slyšení 1- volby 9- tiskové konference 18-kulatý stůl 2- referendum 10- plakáty a letáky 19-panelová diskuse 3- výbory zastupitelstva 11-zpravodaj města 20-workshop a komise rady 12-informační centrum 21-plánovací víkend 4- osadní výbory 13-výstavy a prezentace 22-občanské pracovní skupiny 5- petice 14-brífink 23- komunitní plánování 6- stížnosti 15-dotazníkové šetření 24- sousedské rady 7- účast na jednání zastupitelstva16-rozhovory 25- e-mailové upozornění

nízká Aktivita veřejné autority vysoká

vysoká

Vztah mezi aktivitou veřejné autority a občanů při užití různých metod (AGORA CE)

1- volby

2- referendum

3- výbory zastupitelstva a komise rady

4- osadní výbory

5- petice

6- stížnosti

7- účast na jednání zastupitelstva

8- úřední deska

9- tiskové konference

10- plakáty a letáky

11-zpravodaj města

12-informační centrum

13-výstavy a prezentace

14-brífink

15-dotazníkové šetření

16-rozhovory

17-veřejné slyšení

18-kulatý stůl

19-panelová diskuse

20-workshop

21-plánovací víkend

22-občanské pracovní skupiny

23- komunitní plánování

24- sousedské rady

25- e-mailové upozornění

Výstup na Kilimanjaro (5,895 m) do konce roku 2015

•8 Zdroj: Suzanne Field

Výstup na Kilimanjaro (5,895 m) do konce roku 2015

1. Proč chceme vystoupit na Kilimanjaro?

Jak víme, že to chce celá skupina?

2. Jak se připravíme?

Jak víme, co a jak připravit?

3. Jak poznáme, že jsme připraveni?

Co když vše neběží podle plánu, jak se rozhodneme?

4. Jakým rizikům budeme čelit v průběhu výstupu?

Jak jim můžeme předejít či jak je zmírnit?

5. Jak dáme dohromady rady pro další lezce?

Jak můžeme dále naložit s těmito zkušenostmi?

Programování

Identifikace

Formulace

Implementace a monitoring

Evaluace

Projektový cyklus EK

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 10

Monitoring projektu Průběžné posuzování realizace projektu ve vztahu k plánovaným aktivitám a výstupům, kontrola harmonogramu, rozpočtu, dosažitelnosti cílů a záměru

Cílem je efektivní řízení a případná modifikace projektu v závislosti na měnících se podmínkách a zkušenostech.

etapové monitorovací zprávy a zpráva závěrečná

Evaluace projektu Periodické posuzování relevance, efektivnosti, efektivity, dopadů a udržitelnosti dopadů projektu ve vztahu k definovaným výsledkům / cílům

Většinou externí hodnocení

Cílem jsou nápravná opatření (průběžná evaluace), poučení, ovlivnění dalších rozvojových projektů a politik, skládání účtů (závěrečná evaluace)

hodnotící/evaluační zprávy

Audit Ověřování, 1) do jaké míry byly projektové příjmy a výdaje v souladu se zákony, směrnicemi, smlouvami a pravidly poskytovatele, 2) zda-li byly využity hospodárně, 3) zda-li byly využity na stanovený účel projektu.

zpráva auditora

•http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

Identifikace projektu:

zainteresovaných stran,

analýza problémů,

cílů a strategií

•http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

Analýza zainteresovaných aktérů - matice

Power / Interest / Attitude In

KEEP SATISFIED INFLUENCE & ENGAGE

KEEP INFORMED MONITOR

Interest

Policy makers

CSOs Fishing families

Attitude

Analýza zainteresovaných aktérů

Analýza zainteresovaných aktérů - Vennův diagram

Analýza kapacit organizace

http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

Analýza problémů - strom – příklad 1

1) brainstorming 2) klíčový problém 3) souvislosti 4) kompletní hierarchie

Analýza problémů - strom – příklad 2

vysoká nemocnost

nízká produktivita práce

nízké příjmy

vysoká dětská úmrtnost

špatná kvalita vody nízká vydatnost vrtů

neznalost hg. podmínek špatná údržba a ochrana

následky

příčiny

nedostatek pitné vody

hlavní problém

Analýza problémů - SWOT

Připravte analýzu problémů a aktérů vašeho projektu

dle vybraného nástroje

Analýza cílů a strategií -> výběr strategie – příklad 1

Strategie nových

vodních zdrojů

Strategie nové

infrastruktury

Strategie obecné

osvěty

Strategie

vzdělávání

Výstup

Záměr

Hydrogeol. průzkum

a vrtné práce…

Odborné tréninky

zdravotníků

Kampaň v rodinách

(hygiena)

Technický projekt

a stavební práce

Vyškolení zdravotníci Informovanost o

prevenci nemocí

Vybudovaný vodovod

/ kanalizace

Nové zdroje pitné

vody (vrty, studny)

Snížení podílu nemocí pocházejících ze závadné vody a snížení dětské

nemocnosti a úmrtnosti

Přístup k nezávadné pitné vodě

(a základní sanitaci)

Aktivita

Změněné návyky (na základě osvěty);

lepší zdravotní prevence a péče

Analýza cílů a strategií -> výběr strategie – příklad 2

Participatory Rural Appraisal Disaster Risk Assessment

Principles

Rapid learning from indogenous

people - group dynamics, e.g. learning

contracts, role reversals, feedback

sessions

Empowerment, respect, localisation,

inclusiveness, enjoyment

Sampling, e.g. transect walks, wealth

ranking, social / health mapping

Semi-structured interviews, focus

groups…triangulation

Preference raking, maping, modeling,

visualization e.g. venn diagrams,

timelines

Manual – CRS

http://www.crsprogramquality.org/storag

e/pubs/me/rrapra.pdf

http://collections.infocollections.org/ukedu/collect/ukedu/index/assoc/ii03re/p101.gif

http://collections.infocollections.org/ukedu/en/d/Jii03re/2.5.5.html

Teorie změny / logický model

Logický model musí vysvětlit, jak aktivity projektu

povedou v konkrétním kontextu k vytvoření výstupů a

naplnění cílů a očekávaných dopadů (záměru).

Hlavní koncept spočívá v identifikaci souvislostí: příčin a

následků (pokud X, tak Y).

Bez teorie změny (pochopení kauzalit) nelze vysvětlit,

PROČ byly nebo nebyly cíle dosaženy. Projekt tak

zůstává „černou krabicí“ (izolovanou intervencí bez

jakéhokoliv prokázaného vlivu).

Logický model - teorie změny

Jak realizované aktivity povedou v konkrétním kontextu

k vytvoření výstupů, naplnění cílů a záměru

Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo

nebyly cíle dosaženy

Součástí monitoringu a evaluací musí být pochopení logického modelu

projektu, případně jeho revize

Inputs Activities Outputs

Outcomes Impacts

Black box

Political Environment

(Governance, etc.)

Public Attitudes

Environment Aid Players

Macro-economic

Picture

Policy Context

Logický model - matice

29 •29

Logický model - teorie změny – příklad 1

•30 30

inputs

activities

outputs immediate

effects

intermediate

outcomes

impacts

if then if then if then if then if then

Agricultural

Development

Community

Infrastructure

Credit

Community

Development

Project coordinator, project management unit, research, extension, training, transport,

construction, relevant budget, etc.

Improve the livelihood of

5,000 families

Landless families increase livestock,

fish, and income generating activities

Small farms enabled to intensify and

diversify crop production

Logický model - teorie změny – příklad 2

Struktura projektu

záměr (goal, impact) skutečný dopad na příjemce

cíle - účel (outcomes) reálné využití výstupů

výstupy (outputs) produkty projektu

aktivity (activities) realizované činnosti

vstupy (inputs) finanční,

materiální, lidské… vstupy

výstupy

aktivity

záměr (dopad)

Zrevidujte teorii změny vašeho projektu

výstup 2: výstup 1:

záměr:

výstup 3:

aktivita 1.1: aktivita 3.1: aktivita 2.1:

aktivita 1.2: aktivita 3.2:

Záměr (goal) / Dopad (impact) („přispět k …“)

dlouhodobý pozitivní dopad na cílové skupiny, k jehož zajištění má projekt - v rámci širších programů - přispět

Cíl (outcome) / účel (purpose) („změna chování, situace“)

změna chování nebo zlepšení situace v konkrétní oblasti jako důsledek realizovaných aktivit a výstupů projektu, při splnění nezbytných „externích“ předpokladů

Výstupy (outputs) („vyprodukovat …“)

jasně definované, časově i věcně identifikovatelné výsledky projektu směřující ke splnění cíle, které jsou garantovány na základě poskytnutých vstupů a projektovaných aktivit

Aktivity (activities) („provést …“)

činnosti sumarizující průběh projektu, při nichž jsou vstupy a prostředky projektu transformovány do výstupů

Struktura projektu

Záměr (goal) / Dopad (impact) („přispět k …“)

dlouhodobý pozitivní dopad na cílové skupiny, k jehož zajištění má projekt - v rámci širších programů - přispět

Cíl (outcome) / účel (purpose) („změna chování, situace …“)

plánované zlepšení situace - cílový stav - v konkrétní oblasti jako důsledek realizovaných aktivit a výstupů projektu, při splnění nezbytných „externích“ předpokladů

Výstupy (outputs) („vyprodukovat …“)

jasně definované, časově i věcně identifikovatelné výsledky projektu směřující ke splnění cíle, které jsou garantovány na základě poskytnutých vstupů a projektovaných aktivit

Aktivity (activities) („provést …“)

činnosti sumarizující průběh projektu, při nichž jsou vstupy a prostředky projektu transformovány do výstupů

přispět k potravinové soběstačnosti obyvatel a ke snížení chudoby ve venkovských oblastech

rozvoj zpracovatelských technologií, nové manažerské postupy, tržní uplatnění produkce

analytická studie zemědělských postupů, pilotní farma s kapacitou 250 nosnic, 20 vyškolených expertů

průzkum, projekční práce, výstavba, nákup vybavení a rodičovské hejna, školení personálu, osvěta v komunitě

Struktura projektu

Vstupy projektu (inputs) („poskytnout, zabezpečit …“) všechny finanční, lidské a materiální zdroje potřebné pro

realizaci aktivit a zpracování výstupů projektu

Předpoklady projektu (assumptions) („nezbytné podmínky“) důležité a neovlivnitelné „pozitivní“ externí faktory (události,

činnosti či podmínky) nezbytné pro úspěch projektu

Rizika projektu (risks) („možné ohrožení“) negativní externí faktory, které mohou ovlivnit postup či

úspěch projektu (které však nejsou příliš pravděpodobné nebo mohou být částečně pod kontrolou)

Hodnotící ukazatele / indikátory („jak poznat změnu“) objektivně měřitelné a ověřitelné ukazatele pro posuzování

realizace výstupů a dosažení cílů a záměru (dopadů) projektu

Struktura projektu

Vstupy projektu (inputs) („poskytnout, zabezpečit …“) všechny finanční, lidské a materiální zdroje potřebné pro

realizaci aktivit a zpracování výstupů projektu

Předpoklady projektu (assumptions) („nezbytné podmínky“) důležité a neovlivnitelné „pozitivní“ externí faktory (události,

činnosti či podmínky) nezbytné pro úspěch projektu

Rizika projektu (risks) („možné ohrožení“) negativní externí faktory, které mohou ovlivnit postup či

úspěch projektu (které však nejsou příliš pravděpodobné nebo mohou být částečně pod kontrolou)

Hodnotící ukazatele / indikátory („jak poznat změnu“) objektivně měřitelné a ověřitelné ukazatele pro posuzování

realizace výstupů a dosažení cílů a záměru (dopadů) projektu např. množství nosnic, předpokládaný objem produkce, počet

vyškolených odborníků, snížené procento osob pod hranicí chudoby, zastavení migrace do měst, ...

podpis mezivládní dohody, získání pracovního víza, dostatek kvalifikovaných pracovních sil, místních surovin ap.

rozpočet (náklady), experti (odbornost), dobrovolníci, adekvátní technologie, logistická infrastruktura, čas

dřívější příchod monzunu (je možné přeskupit aktivity?), odstoupení partnera (je nahraditelný?), krádeže materiálu (lze

zajistit ostrahu?) ap.

Struktura projektu

Doporučení

Kromě odborné kvality projektu je potřeba zaměřit se na jeho proveditelnost:

• použitelné metody (v daném prostředí)

• správný tým, který projekt správně chápe

• dostatek času a reálný čas zahájení projektu

• dostatek financí (v reálném čase, reálné ceny)

• sociálně kulturní aspekty

• splnitelnost administrativních požadavků…

Struktura projektu

Indikátory

Záměr, cíle a výstupy musí mít hodnotitelné indikátory (kvantita a kvalita, cílové skupiny, čas, místo, objektivita)

Indikátory musí být „SMART“ (EU):

Specific / specifické - musí měřit to, co má být měřeno

Measurable / měřitelné

Available / dostupné za přijatelných podmínek (vč. ceny)

Relevant / relevantní pro danou úroveň projektu

Time bound / definovány a platné v daném čase

Indikátory musí být „CREAM„ (USA):

Clear / přesné a jednoznačné

Relevant / vhodné pro sledovanou úroveň

Economic / dostupné za rozumnou cenu

Adequate / poskytující dostatečný základ pro hodnocení

Monitorable / musí umožnit nezávislé potvrzení

Indikátory pro kvalitativní hodnocení

Indikátory musí být „SPICED“:

Subjective – respondenti využívají k hodnocení své osobní

zkušenosti

Participatory – musí zohledňovat priority a požadavky

cílových skupin (tyto skupiny indikátor navrhují)

Interpreted and communicable – musí být dobře

vysvětleny a komunikovány v lokálním kontextu

Cross-checked and compared – musí umožnit nezávislé

ověření (triangulaci) a srovnatelnost

Empowering – musí posilovat vlastnictví a zapojení

cílových skupin i při kritickém hodnocení měnící se situace

Diverse / Disaggregated – odpovědi musí být získávány

od různých skupin a tříděny (např. s ohledem na gender)

Využívejte kvantitativní i kvalitativní indikátory

http://www.smarttoolkit.net/?q=node/391

V rámci indikátorů lze použít různých druhů srovnání: trendy (např. zvýšení),

omezení (např. min. 30%), cíle (např. strategie do 12/Y1)

Min. 30 % účastníků zahájí vlastní projekt

týkající se lokálního problému.

Důvody, proč účastníci ne/realizovali

projekt týkající se lokálního problému.

•41 41

Indikátory - příklad

Cíl projektu: Zvýšená živočišná produkce (nové postupy)

Indikátor: Produkce vajec a kuřat

Kvantitativní aspekt:

nárůst produkce o 20 % oproti 2012 (kolik v 2012?)

Kvalitativní aspekt:

poměr nosnic (pro rozšíření chovu) a brojlerů (pro trh), podíl místní spotřeby a tržního uplatnění

Cílové skupiny:

vlastní pilotní farma, ostatní spolupracující farmy

Místo: okres Kuito

na konci projektu v roce 2014

Zrevidujte indikátory vašeho projektu

Indikátor výstupu – kvantitativní a kvalitativní

Indikátor cíle – kvantitativní a kvalitativní

Indikátor záměru – kvantitativní a kvalitativní

•43 43

Indikátory

Doporučení

• Indikátory mají být SMART (CREAM, SPICED)

• Indikátory upřesňují výsledky na jednotlivých úrovních projektu (výstupy, cíle, dopady) – musí se tedy pro jednotlivé úrovně lišit

• Indikátory pomáhají hodnotit výsledky, ale nejsou výsledkem projektu samy o sobě – stačí zvolit pouze několik klíčových (a reálně měřitelných) indikátorů

• Indikátory musí být realistické (dosažitelné)…

Předpoklady -> rizika

Rizika a opatření k jejich minimalizaci

Zrevidujte zdroje ověření a předpoklady / rizika vašeho projektu

Aktivity de facto na všech úrovních projektu žádné výsledky

aktivity = školení, výstup = školení, cíl = vyškolení, záměr = vzdělání

Chybí přenos know-how projekt není replikovatelný místně příklad: veškeré počítačové/modelové zpracování prováděno v ČR

Chybí změna nejsou zajištěny skutečné dopady (So what?) záměr = demonstrace moderních postupů / PROČ? UPLATNÍ JE?

záměr = zlepšení přístupu na trh / ZLEPŠÍ TO ŽIVOT? JAK?

Chybí vztah s cílovou skupinou minimální či nulové dopady příklad: místní farmáři neví o existenci poradenského centra

Cíle, výstupy a aktivity nejsou propojeny chybí strategie příklad: jak souvisí studijní cesta do ČR s rozvojem komunity v Mali?

Chybí udržitelnost po skončení projektu přínosy končí

příklad: není zajištěno vlastnictví a další financování farmy

příklad: nejsou k dispozici náhradní díly a lokální servis

Typické chyby logického modelu

Indikátory shodné pro různé úrovně nejedná se o jiné úrovně výstup = 50 vyškolených farmářů, cíl = 50 farmářů má lepší povědomí

Indikátor formulován jako cíl nelze prokázat jeho dosažení příklad:

zlepšení postavení drobných zemědělců / JAK SE POZNÁ? příklad: míra zkvalitnění produkce / CO TO ZNAMENÁ? LZE OVĚŘIT?

Indikátor není upřesněn jak se pozná změna? příklad: zvýšení produkce / JAKÉ? O KOLIK? OD KDY DO KDY? KDE?

příklad: rozloha zpracovaného území (ha) / 0,1 ha nebo 1000 ha?

Indikátory zcela chybí jak se pozná úspěch? příklad: cíl = zavedení principů hospodaření / CO TO ZNAMENÁ?

příklad: záměr = udržitelný rozvoj / JAKÉ JSOU HLAVNÍ FAKTORY?

Předpoklad na úrovni managementu chybí garance realizace příklad: předpokladem je dostatečná kapacita hlavního realizátora

Předpoklad je předem splněn nemá vliv na realizaci projektu příklad: předpokladem je existence objektu z dřívějšího projektu

Typické chyby logického modelu

Logický rámec je nelogický neexistuje logická provázanost příklad: přemíra nepříliš souvisejících aktivit bez jasného výsledku

! Logický rámec je nepřehledný neumožňuje řízení projektu

příklad: na 5 - 12 stranách nelze sledovat souvislosti a návaznosti

Doporučení:

Matice logického rámce není formulář (vyplňovaný po napsání projektu), ale nástroj pro přípravu a

řízení projektu!

Typické chyby logického rámce

Monitoring

Proč?

(Jak informace využijeme)

Co? Kdy?

Principy? Jak (inovativně) monitorovat?

Zrevidujte monitorovací plán vašeho projektu

Evaluace

Proč?

(Jak informace využijeme) Co?

Kdo? Kdy?

Principy? Jak (inovativně) monitorovat?

Evaluace

Vzpomeňte si na skvělou / příšernou evaluaci – díky čemu byla tak skvělá / příšerná?

Principy:

Etický Kodex evaluátora a Formální standardy provádění evaluací ČES

http://www.czecheval.cz/Dokumenty.html

OECD/DAC Quality Standards for Development Evaluation http://www.oecd.org/development/evaluation/qualitystandards.pdf

Evaluation Ethics, Politics, Standards, and Guiding Principles http://dmeforpeace.org/sites/default/files/M14_NA.pdf

Evaluace

Zamyslete se nad svým projektem:

Co chcete vyhodnotit?

Proč to chcete vyhodnotit? K čemu vám to bude?

Kdo evaluaci využije a jak?

Kdy evaluaci uděláme?

Na co bychom si chtěli odpovědět?

Kolik máme na evaluaci času, peněz a lidí?

Kontext

Účel

Využití výstupů

Zaměření

Evaluační kritéria a otázky

Metodologie

Harmonogram

Rozpočet

Lidské zdroje – zodpovědnosti, požadovaná expertíza

Příručky:

UNDP Handbook (p. 194 - 200) ttp://web.undp.org/evaluation/handbook/

EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136) http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_en.pdf

New Zealand Guide http://dmeforpeace.org/sites/default/files/NZAID_ToR%20Guideline.pdf

Zadání evaluace

Evaluační kritéria

•57 •http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

Relevance – vztah k prioritám cílových skupin i donora, vliv projektu na řešenou problematiku

Efektivnost (effectiveness) – nastavení cílů a logiky projektu ("dělat správné věci")

Efektivita (efficiency) – produktivita realizace výstupů ("dělat věci správně")

Dopady (impacts) – pozitivní i negativní, plánované i neplánované vlivy na cílové skupiny

Udržitelnost (sustainability) – pokračování přínosů po ukončení projektu (podmínky v místě realizace)

Proveditelnost (feasibility) – kvalita projektu a garance (čas, lidé, zdroje, předpoklady a rizika)

Evaluační otázky

Vstupy (zdroje)

Aktivity Výstupy

Krátkodobé cíle

Střednědobé cíle

Dopady (dlouhodob

Interní kontrola v organizaci

Výstupy - zapojení příjemců

Oblast externích vlivů

Externí faktory

Jaká je povaha a rozsah problémů při získávání porodních asistentek a dalšího

vyškoleného personálu pro nové venkovské kliniky?

Jak dlouho se čeká na nejvíce

požadované služby?

Nakolik byl projekt úspěšný

pro udržení vyškoleného personálu v klinikách?

Jak kliniky pomohly zlepšit zdravotní stav

obyvatel po třech letech provozu?

Formativní evaluace Závěrečná evaluace a/nebo

Úspěch = pozitivní změna

A) zahájení projektu

B) konec projektu

C) dva roky až pět let po ukončení projektu

neudržitelný projekt

dobrý projekt

špatný projekt

bez projektu

neudržitelný projekt

dobrý projekt

špatný projekt

bez projektu

Typické otázky - relevance

Je účel projektu stále v souladu s prioritami cílových skupin?

Odpovídá projekt místním strategiím rozvoje?

Do jaké míry logický model projektu řeší identifikované klíčové problémy?

Jak silné je vlastnictví projektu místními partnery?

Jsou naplněny klíčové externí předpoklady?

Typické otázky - efektivita

Jsou zdroje projektu využívány transparentně a odpovědně?

Odpovídá čerpání finančních prostředků plánu?

Do jaké míry jsou realizovány plánované aktivity?

Existují dostatečné záznamy o realizovaných aktivitách?

Byly dosaženy plánované výstupy v očekávané kvalitě?

Jak byly řešeny problémy při realizaci projektu?

Do jaké míry se do realizace zapojili místní partneři?

Převzaly cílové skupiny odpovědnost za využití výstupů projektu?

Typické otázky - efektivnost

Mohou dokončené výstupy přispět k dosažení cíle projektu?

Využívají cílové skupiny výsledky (výstupy) projektu?

Mají všechny cílové skupiny přístup k výsledkům?

Jaké existují překážky pro využití výstupů?

V čem se změnilo chování cílových skupin?

Odpovídají stanovené indikátory úrovni cílů projektu?

Přizpůsobil se projekt změnám podmínek v průběhu realizace?

Typické otázky - dopady

Jaké jsou přímé pozitivní a negativní dopady projektu?

Jak konkrétně se změnila situace cílových skupin?

Odpovídají dopady předpokladům a stanoveným indikátorům?

Existují nějaké rozdíly v přístupu k přínosům projektu (např. z hlediska gender, etnické či kulturní příslušnosti)?

Jak byly řešeny případné negativní dopady projektu?

Jaké vnější faktory nejvíce přispěly k pozitivním dopadům (např. další rozvojové intervence)?

Typické otázky - udržitelnost

Mají cílové skupiny dostatečné kapacity pro udržení pozitivních dopadů?

Existuje odpovídající legislativní zázemí?

Jak je zajištěna finanční udržitelnost výsledků projektu?

Jsou potřebné služby zajištěny i po ukončení projektu?

Jaké jsou zásadní vnější faktory ohrožující udržitelnost?

Jaké místní struktury jsou odpovědné za udržování dopadů?

Do jaké míry jsou cílové skupiny zapojeny do rozhodování?

Existuje pravděpodobnost rozšíření pozitivních dopadů (např. do jiných lokalit v regionu)?

Navrhněte evaluační otázky pro svůj projekt

Brainstorming – ptejte se na cokoliv (důležitého).

Následně seskupte otázky a vyberte otázky klíčové.

Koho se budete ptát? Kde získáte odpovědi?

Jak se budete ptát? Jak získáte odpovědi?

Otestujte si, zda jde otázka odpovědět.

Otestujte, zda vám odpověď pomůže.

Upravte otázky či metody, nezapomeňte na triangulaci.

Nejdůležitější evaluační otázky

• Proč chceme evaluaci konkrétního projektu?

• No a co? / So what? Opravdu je to úspěch?

• Přinesla hodnocená intervence očekávanou změnu? Proč a jak?

• Jakou změnu má přinést sama evaluace? Jak bude naloženo s jejími výsledky?

Otázky pro výběr otázek

• Kdo využije informace? Kdo chce vědět odpovědi? Komu by vadilo, že by odpovědi nedostal?

• Sníží odpověď nejistoty? Ovlivní běh událostí?

• Přinese odpověď důležitou informaci? Ovlivní běh událostí?

• Chceme odpověď vědět nebo ji potřebujeme vědět?

• Změnil by se výsledek evaluace, kdyby tato otázka nepadla?

• Je možné na tuto otázku odpovědět (ve vztahu k financím, kapacitám, času, metodám a technikám)?

Doporučení pro výběr otázek

• Začněte s identifikací hlavních problémů

• Každá otázka se musí zaměřit jen na jeden problém

• Otázky musí řešit hlavní problémy

• Je vhodné kombinovat všechny tři typy otázek

• Otázky musí mít jasný vztah k účelu evaluace

• Ověřte, zda se dají otázky odpovědět

• Používejte rozumný počet otázek ve vztahu k času určenému pro evaluaci

• Otázky musí odpovídat časovému průběhu programu

Plán evaluace zahrnuje

• Otázky a podotázky pro každý hlavní problém

• Typy evaluačních otázek

• Indikátory a cílové hodnoty (nebo standardy)

• Vstupní hodnoty (baseline data)

• Evaluační metody

• Zdroje dat a informací

• Požadovaný vzorek

• Metody a nástroje sběru dat a informací

• Způsoby vyhodnocení

• Způsoby prezentace dat

Typy otázek - deskriptivní

Odpovědi popisují „co se děje“

Charakteristika:

• snaží se pochopit nebo popsat program, postupy nebo přístupy k programu

• odpovědi mají poskytnout obrázek o tom, co je

• otázky jsou většinou jednoduché (kdo? co? kde? kdy? jak? kolik? jak moc?)

• většinou se týkají vstupů (zdrojů), aktivit a výstupů

• často jsou využívány pro zjištění názoru cílových skupin

Typy otázek - deskriptivní / příklady

• Jaké jsou cíle programu z pohledu různých aktérů?

• Jaké jsou hlavní aktivity programu?

• Kde je program realizován?

• Kdo dostává jaké služby?

• Jaké se při realizaci objevily překážky?

• Jaké je průměrné hodnocení výsledků od cílových skupin?

• Do jaké míry program využil zkušenosti z podobných programů?

• Jaké jsou hlavní rozdíly při realizaci programu na různých lokalitách?

Typy otázek - normativní

• Porovnávají „co je“ s tím „co mělo být“

• Podobné otázky jsou požívány při auditu

• Porovnávají výsledky ve vztahu k předem stanoveným kritériím

• Často jsou používány při monitoringu a při schvalování výsledků programu

Typy otázek - normativní / příklady

• Odpovídaly náklady schválenému rozpočtu?

• Byly náklady využity účelně (tak, jak měly být)?

• Bylo očkováno 80% dětí, jak bylo stanoveno?

• Podařilo se zavlažit 100 000 ha území, jak bylo plánováno?

• Byl proces výběru účastníků programu spravedlivý a nediskriminační?

• Do jaké míry program reflektoval rovnoprávnost žen a mužů?

Typy otázek - kauzální

• Sledují změnu, kterou intervence přinesla

• Ptají se, zda byly dosaženy požadované výsledky a zda byly dosaženy díky programu

• Srovnávají stav před programem a po programu a s programem a bez programu

• Evaluace dopadů se zaměřují na příčiny a následky

Typy otázek - kauzální / příklady

• Pomohla spolupráce tří zemí ochránit biodiverzitu a současně udržet zaměstnanost v regionu?

• Získali absolventi školení lepší pracovní uplatnění, které by jinak získat nemohli?

• Pomohly založené malé podniky snížit míru chudoby v dané oblasti?

• Přispěla vyšší daň z pohonných hmot ke snížení znečištění ovzduší?

• Pomohly zákonné pokuty ke snížení zneužívání dětské práce v oděvním průmyslu?

Typy otázek - kauzální / doporučení

• Při kauzálních otázkách je zásadní teorie změny

• Je nutné sledovat časové souslednosti

• Je nutné sledovat korelace různých dat

• Je nutné eliminovat alternativní vysvětlení

Evaluační metody

Metody pro deskriptivní a normativní otázky

(většinou bez „pokusů“ - neexperimentální design):

• jednoduché zjišťování průřezových parametrů

• jednorázové zjišťování dat

• zjišťování dat před a po intervenci

• přerušované časové série dat

• průběžné (dlouhodobé) zjišťování dat

• případové studie

Normativní otázky vždy srovnávají výsledek s předem stanovenými kritérii (cílovými hodnotami, normami).

Evaluační metody

Metody pro kauzální otázky:

Experimentální design:

• srovnává 2 kontrolní skupiny - jedné přímo zapojené do programu a druhé programem neovlivněné

• výběr obou skupin je náhodný

Kvazi-experimentální design:

• nepoužívá náhodný výběr

• využívá přirozeně existující srovnávací skupiny

• potřebuje více dat k vyloučení alternativních vysvětlení

Evaluační metody

Metody pro kauzální otázky:

Neexperimentální design:

• nesrovnávají se různé skupiny

• musí podrobně vysvětlit vztahy mezi intervencí a jejími dopady

• evaluátor musí použít reprezentativní vzorky

• může analyzovat existující data a informace

• musí identifikovat charakteristiky, četnost a vztahy různých dat a informací

Evaluační metody

Kauzální otázky - možné postupy:

• před a po programu s/bez srovnávací skupiny

• před a po programu u neekvivalentních skupin

• po programu s neekvivalentní srovnávací skupinou

• přerušované časové srovnávací studie

• průběžné (dlouhodobé) srovnávací studie

• panel - stejná skupina lidí je sledována delší dobu

• korelační statistický design

• analýzy dopadů programu u srovnávacích skupin

• neexperimentální metody: zjišťování průřezových parametrů, jednorázové metody, sledování kauzalit, případové studie

Evaluační postupy

• participativní metody (setkání, mapování, procházky)

• rešerše existujících dat a informací

• pozorování (nápadné či nenápadné)

• průzkumy a rozhovory (strukturované nebo ne)

• fokusní skupiny (skupinové diskuse)

• deníky (nebo „měsíčníky“), dotazníky

• odborné posudky (experti či panel expertů)

• technika „Delphi“ (posudky nezávislých expertů centrálně zpracované)

• další nástroje (přímá měření, analýzy, testy, karty spokojenosti, celostátní průzkumy…)

Evaluační postupy - doporučení

Neexistuje žádný nejlepší postup!

Evaluace se nesmí odvíjet od metod, naopak je potřeba vybrat nejvhodnější metodu pro konkrétní evaluační otázky

a pro konkrétní účel evaluace!

Vždy je nutná triangulace - kombinace několika metod a několika zdrojů dat!

Nejdůležitějším faktorem je využitelnost a využití výsledků evaluace – musí být jasné od začátku!

Nástroje sběru dat

Při „vzorkování“ je třeba zvážit:

• rozsah potřebných dat - reprezentativní vzorek podle velikosti sledované populace nebo souboru dat

• náhodné, stratifikované či cílené vzorky (konkrétní skupiny, metoda sněhové koule - kontakty přes jednotlivé respondenty, pohodlnost - např. lidé, kteří přijdou na jedno místo)

• účel evaluace - typické (průměrné) hodnoty, extrémy, rozdílnost dat, pravidla a výjimky…

• kombinaci kvalitativních a kvantitativních dat

Conversation with

Concerned Individuals

Community Interviews

Field Visits

Reviews of Official

Records (MIS and admin

Participant Observations

Key Informant Interviews

Focus Group

Interviews

Panel Surveys

Censuses

Field Experiments

Informal/Less Structured Methods Formal/More Structured Methods

One-Time Surveys

Direct Observations

Surveys

Nástroje sběru dat

Evaluovatelnost

- Je jasné, proč chceme evaluaci? Jak ji vvyužijeme?

- Mame k dispozici (aktualizovanou) projektovou logiku?

- Máme k dispozici relevantní data (vstupní, z monitoringu)?

- Jou dostupní relevantní aktéři a spolehlivé zdroje informací?

- Máme dostatek finančních prostředků a času na interní / externí evaluaci?

Bude evaluace hospodárná, bude její přínos opodstatněný přiměřený

nákladům?

- Je pravděpodobní, že budou evaluační výstupy využity k tomu, aby byla

zavedena zlepšení? Máme podporu vedení?

- Mohou zúčastnění aktéři ovlivnit evaluační rozhodnutí? Přijmou a využijí

evaluační výstupy?

- Můžeme zajistit, že evaluaci nic vážně neohrozí? Budou k dispozici členi

projektového týmu a další aktéři? Je vhodná doba na evaluaci např. s ohledem

na sezónu? Lze očekávat elementy, které by vážně ovlivnily nezávislost

evaluace?

Source: UNDP Handbook, Road to Results, Making evaluations matter

Můžeme projekt evaluovat ?

Připravte plán evaluace pro konkrétní otázky:

Otázky a jejich typ (deskriptivní, normativní, kauzální):

Vstupní a cílové hodnoty (u normativních otázek):

Evaluační metody (experimentální, neexperimentální…):

Zdroje dat a informací (kdo, co, kde):

Požadovaný vzorek (rozsah požadovaných dat):

Metody a nástroje sběru dat a informací (kdy, kde, jak):

Způsoby vyhodnocení (kvantitativní, kvalitativní):

Způsoby prezentace dat (zpráva, workshop, média):

Otestujte si pravděpodobný výsledek (odpovědi)!

Příklad

Cíl projektu: Dostat kuřata na druhou stranu frekventované silnice

Hodnotící otázky:

Jaké bylo zvoleno technické řešení - přechod, podchod, nadchod, semafory, kladkostroj, balón, prak nebo např. výcvik v létání?

Nakolik bylo zvolené řešení efektivní (finančně, časově, humánně)?

Nakolik bralo zvolené řešení ohled na cílovou skupinu a její priority - dočkala se ho např. kuřata vůbec?

Mají kuřata na druhé straně zajištěnu potřebnou infrastrukturu - dostatečný prostor, péči, bezpečnost, vodu, zrní?

Budou jejich podmínky na druhé straně lepší než byly předtím nebo lepší než u srovnávací skupiny, která nikam nešla?

A proč vlastně kuřata chtějí na druhou stranu - neexistuje nějaká lepší strategie řešení jejich problémů a potřeb?

Evaluační otázka Vstupní data Indikátory Zdroje ověření Metoda sběru Vyhodnocení

Evaluační matice

Zpracování dat - doporučení

• Již před zahájením evaluace musí být jasná strategie zpracování kvantitativních a kvalitativních dat i způsob jejich propojení.

• Způsob zpracování musí být uveden v evaluační zprávě, včetně stanovení míry věrohodnosti výsledků a nejistot.

• Je nutné rozlišit konkrétní výsledky od jejich výkladu (interpretace).

• Je vhodné použít konkrétní příklady a citace.

• Nezbytná je kategorizace a triangulace výsledků.

Zpracování dat

Topics Quotes Findings

Parents decide on topics I think the process of

deciding would be valuable.

There was a strong feeling

that parents should be more

involved in the choice of

topics

//// //// //// //// //// //// //// ////

Cover a couple of topics per

session

Sometimes we just got into

a topic and then it was time

to leave or move to

something else. We need

more time to discuss.

Many participants (38 or 52

interviewed) thought there

should be more time for

discussion. //// //// //// ///

Not enough time spent on

each topic

//// //// //// ///

Evaluační otázka: Byli rodiče spokojeni se školením?

Příklad kvantitativní analýzy dat

Zpráva a prezentace – dle použití a uživatele

Přípa

studie

Příklad prezentace kvantitativních dat

(Další příklady v příloze)

96 Zdroj: Naviga4

Léčba prekancerózy

Léčba rakoviny

Prekanceróza

Rakovina

Vyšetřeny v onkocentrech

Odeslané do onkocenter

Vyšetřeny v mobilních…

Účast na osvětových akcích

Vyléčeno ?

•3 roky

•11 mil CZK

3 roky

11 mil CZK

má šanci přežít

žije v beznaději

Příklad prezentace kvantitativních dat

Léčba příliš

drahá...

...a často

nesprávná

Ozařování

nedostupné

Učitelka chemie a matka, 26 let Prekanceróza děložního čípku

Podezření na nesprávnou léčbu - a recidivu

Příklad prezentace kvalitativních dat

•99 Zdroh: Inka Pibilova

Nové vedení zapojených samospráv po 1 až 2

měsících nebylo o projektech a jejich výsledcích

informováno. Většina starostů – respondentů se

velmi zajímala o možnosti budoucí spolupráce

ohledně občanské angažovanosti. Jeden to

považoval za bezpředmětné.

„Někdo, kdo stěží

dokončil třetí třídu

základní školy, mi

nebude říkat, co mám

dělat. (…) Rozpočet je

pro region, ne pro lidi.“

Nově zvolený starosta

•100 Zdroj: Inka Pibilova

Doporučení

0 5 10 15 20 25 30 35 40

Obrázek je lepší, než 1000 slov,

ale hodně „dobrých věcí“ škodí!

S čím potřebuji pomoci na návazném workshopu v lednu 2015:

Co plánuji udělat na základě tohoto workshopu:

Užitečné odkazy:

Česká evaluační společnost

http://www.czecheval.cz/

Příklady evaluací, odkazy aj.

www.evaluace.com/links/

Mezinárodní evaluační rozcestník s nástroji a zdroji www.betterevaluation.org

Školení EPDET http://www.dww.cz/english.php?page=epdet1

EC evaluation guidelines http://ec.europa.eu/europeaid/evaluation/methodology/tools/too_en.htm

EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136) http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_en.pdf

UNDP Handbook (p. 194 - 200) http://web.undp.org/evaluation/handbook/

RISK, UK: How do we know it is working? http://www.developmenteducationreview.com/issue11-review1

Road to Results https://openknowledge.worldbank.org/handle/10986/2699

Participativní plánování, monitoring a evaluace

Education