Evaluace projektuEvaluace projektu

Prevence, výživa a komplexní podpora pro děti a rodiny postižené HIV/AIDS

v distriktě Kisumu, Keňa

Ing. Inka Píbilová, MASVěda v akci, 25. 10. 2012

Agenda

1. Informace o projektu

2. Cíl a zaměření evaluace

3. Metodika

4. Zjištění a závěry4. Zjištění a závěry

5. Doporučení

6. Poučení a tipy

1. Informace o projektu

Prevence -předporodní

péčeHIV test matky

Prevence -

Dobrovolné testovací a

poradní centrum

+

- Léčba HIV včetně

oportunitních

Těhotná matka Rodinní příslušníci

+

-

HIV test rodinných příslušníků

Prevence -porodnické

služby

Výživové centrum

oportunitních infekcí

Prevence -péče o

novorozence

(Dlouhodobý) Cíl : Plnohodnotný život novorozenců (bez nákazy HIV), dětí a jejich rodinných příslušníků infikovaných a/či postižených HIV/AIDS v distriktě Kisumu

2. Cíl a zaměření evaluace

Cíle – poskytnout zjištění, závěry a doporučení pro:� Posílení přínosů projektu� Zaměření budoucích projektu Slovenska ve zdravotnictví v Keni� Posílení vlastnictví, řízení rizik a udržitelnosti slovenských

rozvojových projektů

Zaměření - vyhodnocení:

2. Cíl a zaměření evaluace

Zaměření - vyhodnocení:� Relevance, efektivity, efektivnosti, udržitelnosti a dopadů

(OECD/DAC)� Průřezových principů - řádné správy věcí veřejných a genderu � Komplexní posouzení intervenční logiky

4G consite s.r.o.

3. Metodika

Úvo

dní (

prů

běžn

á) z

práv

a. Rešerše dokument ů

Polostrukturovanérozhovory

Fokusní skupiny

Návštěva zapojených zdravotnických za řízení ře

dbě

žné

závě

ry a

do

poručen

í Předběžná zpráva konzultována se zadavatelem, referenční

Závě

rečná

zpr

áva

a pr

ezen

tace

3. Metodika

Úvo

dní (

pr

zdravotnických za řízení

Případové studie

Pře

db

Komunikace se zadavatelem a referen ční skupinou

referenční skupinou a realizátorem

Závě

Přípravná fáze

25.7. – 10.8.

Terénní fáze

13. – 19.8.

Závěrečná fáze

20.8. – 30.9.

4. Zjištění a závěry

4G consite s.r.o.

4. Zjištění a závěry – Relevance - vysoká

Rozšíření HIV v roce 2007 v Nyanze 14,9%

x

Zdroj: National AIDS Control Council: The Kenya AIDS epidemic Update 2011

4. Zjištění a závěry – Relevance vysoká

Prevence přenosu HIV z matky na dítě jako základ snížení nových infekcí

Zdroj: National AIDS Control Council: The Kenya AIDS epidemic Update 2011

4. Zjištění a závěry – Hospodárnost spíše vysoká

� Celkové náklady 76,7% plánu při dosažení či překročení většiny výstupů a účelu projektu.

� Realizátor zdarma využíval prostor partnerů, jejich personálu, léky.

Výhrady: Výhrady: � Zprávy Magny nebyly konzistentní (zpoždění, nejasné výsledky

dle místa, neschválená změny rozpočtu).� Plné hrazení veškerých léčebných nákladů a hmotná motivace

pacientek i komunitních pracovníků.� Zapojení slovenské pediatričky vs. místní lékaři.

4. Zjištění a závěry – Účinnost vysoká

� Integrovaný přístup místech realizace. � Přínosná souběžná práce proškoleného personálů realizátora

a ostatních pracovníků zařízení. � (Ne) dosažení indikátorů souvisí s aktuální situací v terénu.

� 766 žen zapojených do komplexního programu prevence a léčby� 269 novorozeňat obdrželo poporodní antiretrovirální lék� 269 novorozeňat obdrželo poporodní antiretrovirální lék� 689 novorozeňat obdrželo výživu� 746 mužů a 462 dětí dobrovolně testováno na HIV� 863 pacientů zapojených do výživového programu

� Přínos projektu byl oceněn všemi konzultovanými aktéry.

4. Zjištění a závěry – Dopad krátkodobě vysoký

4. Zjištění a závěry – Dopad snižující se

Podoblastní nemocnice v Nyaheře 2007 2008 2009 2010 2011Počet testovaných žen 1615 1868

↑1925

↑1885

↓1621

↓Počet HIV+ žen 103 132

↑101 ↓

93 ↓

104

Počet žen v programu prevence 103 132 ↑

101 ↓

? ?↑ ↓

Porody v nemocnici 92 129 ↑

96 ↓ 86 ↓

75 ↓

Porody v domácím prostředí 3 3 → 5 → 7 → 29 ↑

Počet HIV+ dětí, obdržely léky 103 132↑

101 ↓

93 ↓

104 ↑

Počet HIV+ dětí, obdržely výživu 95 84 ↓ 0 ↓ 0 → 0 →Počet žen, co nedodržovaly prevenci 2 0 → 12 ↑ 22↑ 31 ↑

Zdroj: Podoblastní nemocnice v Nyaheře

4. Zjištění a závěry - Udržitelnost nízká

� Programy dále fungují díky novým realizátorům.� Nastavena spolupráce se státními zařízeními.� Část pracovníků v zařízeních pokračuje.

Výhrady:� Nedošlo k oficiálnímu předání a interní evaluaci. � Činnost převzala „sesterská organizace“ jen do 2009.� Činnost převzala „sesterská organizace“ jen do 2009.� Neudržitelné poskytování léků / výživy zdarma a hmotné

motivace zúčastněným stranám.� Většina pracovníků odešla, několik pozic není obsazeno. � Komunitní práce byla omezena. � Pacientky musely náhle přejít na méně efektivní praktiky, což

mohlo mít vliv na přenos HIV.

5. Doporučení

5. Doporučení

K projektu Hlavní adresát

1. Informovat o závěrech evaluace a doporučeních hlavní zúčastněné strany.

UNDP BRC

2. V dalších HIV projektech zvážit:- posílení komunitní práce; - systematické posilování místních partnerů.

Magna/SAMRS

- systematické posilování místních partnerů.

K budoucím projektům ODA SR v Keni

3. Posílit spolupráci s ministerstvy a národními úřady scílem zapojit realizátory SR a posílit spolufinancování.

Velvysla-nectví SR

5. Doporučení

Procesního a systémového charakteru Hlavní adresát

4. Posílit systematické monitorování projektů:- revize nastavení projektu a matice logického rámce;- detailnější struktura zpráv a jejich revize, aby bylo

patrné dosažení výsledků;- půlroční souhrnné vyúčtování a audit;

SAMRS / MZV SR

- půlroční souhrnné vyúčtování a audit;- zapojení Velvyslanectví SR do monitorování

zejména velkých projektů.5. Zavést interní evaluace jako součást projektů -zapojit místní aktéry včetně cílových skupin.

SAMRS

5. Doporučení

Procesního a systémového charakteru Hlavní adresát

6. Klást při výběru projektů větší důraz na udržitelnost (proškolení místních zaměstnanců, spolufinancování, podpora při přípravě žádostí ofinancování, strategie odchodu jasná od počátku)

SAMRS

7. Používat angličtinu jako jazyk projektových MZV SR / 7. Používat angličtinu jako jazyk projektových dokumentů a evaluačních zpráv.

MZV SR / SAMRS

8. Zvážit úhradu nákladů realizátora na externí evaluaci.

MZV SR

6. Poučení

6. Poučení

� Ukázková spolupráce s realizátorem - příprava v místě -napomohla zapojit téměř 80 osob během 6 dnů.

� Referenční skupina (UNDP, MZV SR a Velvyslanectví SR) a realizátor zapojeni do přípravy, realizace i připomínkování.

� Matice logického rámce – nedosažitelné cíle, chyběly indikátory.� Revize matice pro účely evaluace, kontribuční analýza.� Revize matice pro účely evaluace, kontribuční analýza.

� Neúplnost / nedůvěryhodnost dat.� Triangulace dat / metod / zdrojů.

� Citlivost tématu a nedostupnost cílové skupiny.� Vysoký počet účastnic, úhrada nákladů, triangulace.

LOGO konference

Jaké tipy jsou relevantní pro Vás?

Evaluace vzdělávání

http://www.develor.cz/develorcz_files/File/kirkpatrickovy4urovne-novypohledpo50letech2.pdf

Kde se dozvědět více

� OECD/DAC evaluační kritéria a principy

http://www.oecd.org/dac/evaluationofdevelopmentprogrammes/daccriteriaforevaluatingdevelopmentassistance.htm

� Česká evaluační společnost – etický kodex aj.

http://www.czecheval.cz/

� Evaluace rozvojových a vzdělávacích projektů MZV ČR� Evaluace rozvojových a vzdělávacích projektů MZV ČR

http://www.mzv.cz/pomoc/ – Dvoustranná – Evaluace

� EPDET – European Program for Development Evaluation http://www.dww.cz/index.php?page=epdet

� www.evaluace.com