Národní seminář k metodám evaluací aktivit v oblasti globálního rozvojového vzdělávání (GRV)

Praha, 2010

Analýza monitoringu a evaluace globálního rozvojového

vzdělávání v ČR 2008-2010

• Popis aktérů a jejich role v oblasti evaluace a monitoringu GRV v ČR

• Hlavní trendy v oblasti evaluace GRV v ČR – „Co a jak měříme?“

• Hlavní překážky a dobrá praxe v oblasti evaluace GRV v ČR

Zaměření analýzy

Monitoring a evaluace jsou spolu vzájemně propojené nástroje, které se však liší ve svém účelu a hloubce zkoumání.

Monitoring• zaměřuje se na srovnávání probíhajících aktivit a výsledků s předem danými plány

intervence • pomáhá udržovat projekt nebo program v žádoucím kurzu• je často prováděn realizátory projektu

Evaluace• poskytuje informace o příčinách úspěchů či neúspěchů intervence• nezaměřuje se pouze na vyhodnocování předem daných cílů• identifikuje záměrné i nezáměrné výsledky intervence• často je prováděna externími evaluátory

Monitoring nebo evaluace?- v čem spočívá rozdíl?

•Úroveň evaluace programů

•Úroveň evaluace projektů

•Úroveň cílových skupin a příjemců

Evaluace GRV

Úroveň evaluace programů: MZV, ČRA, MŠMT, EC•Neexistoval společný referenční rámec k evaluaci programů GRV (cíle, akční plán)•Dosud neexistoval nástroj, jak evaluovat dotační program MZV jako celek•Východiskem může v budoucnu být připravovaná Národní strategie GRV• Dosud mělo v kompetenci evaluaci dotačního programu ČRA, přechází na ORS MZV•ČŠI kontroluje soulad ŠVP a RVP, jiné priority než průřezová témata• EC svůj dotační program evaluuje•

Aktéři evaluace GRV: programová úroveň

Úroveň evaluace projektů: donoři, realizátoři (NNO), externí

evaluátoři:

•Ze strany donorů byly od roku 2004 provedeny 2 evaluace projektů

GRV (nedostatek kapacit a zdrojů)

• Realizátoři začínají postupně zařazovat evaluace do projektů

(dobrovolně či jako požadavek donora)

• Některé z těchto evaluací jsou prováděny externími konzultanty,

firmami

Aktéři evaluace GRV: projektová úroveň

Úroveň příjemců: učitelé, studenti, školy, multiplikátoři, veřejnost

• Poskytují některé informace nutné k evaluaci projektů

• Mohou se na evaluaci projektů sami podílet (participativní evaluace)

• Jednotlivé školy realizují evaluaci průřezového tématu VMEGS

Aktéři evaluace GRV: úroveň cílových skupin a

příjemců

Průzkum indikátorů využívaných v projektech GRV v ČR:

• Vychází z předpokladu, že měříme to, co musíme na základě daných

indikátorů

• Cílem bylo zjistit, zda se nějak vyvíjel typ informací, které chceme

zjišťovat

• 25 projektů GRV implementovaných mezi 2008 a 2010 zaměřených na

formální vzdělávání

Co měříme?

Typy indikátorů:

• měřící změnu stavu konečného příjemce (studenti, žáci, veřejnost)

• měřící změnu praxe multiplikátorů (učitel, školitel, škola)

• měřící změnu stavu v systému

• měřící pouze splnění projektové aktivity

Co měříme indikátory?

Co měříme indikátory?

Co měříme indikátory?

Co měříme indikátory?

Co měříme indikátory?

Nejčastěji využívané nástroje:

•dotazníky mezi účastníky školení bezprostředně po školení

• dotazníky mezi mezi studenty nebo učiteli na školách, (pravidelně, na

konci projektu, před a po projektu)

• focus groups, rozhovory

• náhodné získávání zpětné vazby

Jak měříme?

• zjišťování znalostí a postojů studentů před a po projektu (s kontrolní skupinou)

• při dlouhodobé práci s konkrétními učiteli pravidelně opakované zjišťování, jak

jsou využívany materiály

• kombinace dotazníkových kvantitativních šetření s kvalitativně zaměřenými

focus groups

• učitelé na škole si na začátku sami stanoví cíle, s časovým odstupem hodnotí,

jak se jim podařilo jich dosáhnout

• spolupráce s učiteli na metodologii, jak sledovat vývoj postojů žáků

-

Příklady dobré praxe

Co nám brání evaluovat?

Nedostatečné kapacity:

• v oblasti metodologie evaluace

• finanční zdroje

Časové omezení v případě jednoletých projektů

Na systémové úrovní chybí jednoznačný referenční rámec

Na systémové úrovni:

• Přijmout Národní strategii GRV jako základ pro evaluaci GRV

• Vyčlenit odpovídající finanční zdroje na evaluaci programů GRV

• Učinit kvalitní evaluaci součástí projektů v oblasti GRV

• Podporovat víceleté projekty, programy v oblasti GRV

Na úrovni realizátorů projektů:

• Využívat existujících příležitostí pro systematickou evaluaci GRV

• Zvyšovat své kapacity v oblasti monitoringu a evaluace GRV

Doporučení

Otázky, nápady, nejasnosti…?

Děkuji za pozornost