Aplikace Hodnotícího rámce OECD v Kraji Vysočina a v MAS Přemyslovské střední Čechy

Name Lenka SekyrováRoman Pazderník

Date 20. září 2010

Hodnotící rámec OECD

CO

JAKPROČ

Hodnotící rámec OECD

Pilotní projektSpolupráce, semináře, osobní nasazení

- Co je hodnotící rámec- Co nabízí a co vyžaduje

- Jaký je potenciál?- Co je nejpřínosnější?- S čím začít?- Proč by to stálo za to?

- Co přinese pracovníkům?- Jak získat politickou podporu?

Hodnotící rámec OECD

• 2009: Experti OECD zpracovali publikaci „A Strategic Evaluation Framework for Local Development Strategies in the Czech Republic“ = Hodnotící rámec OECD

• 2010: Aplikace Hodnotícího rámce OECD v pilotních regionech Kraj Vysočina (RegioPartner) a MAS Přemyslovské střední Čechy (DHV CR)

•Řízení projektu – DHV CR

Hodnotící rámec OECD

1. Zpráva – zkušenosti vyspělých zemí

2. Návod – metodika přístupu k hodnocení péče o regionální strategie v ČR

Hodnotící rámec OECD

I. Analýza strategických dokumentů

Fáze a oblasti evaluace V rámci Návodu

1. Předběžná evaluace Str. 28 1.1 Definice cílů strategií 1.2 Identifikace variant pro intervenci 1.3 Oceňování očekávaných dopadů 1.4 Využití výsledků apriorního ocenění 1.5 Implementace strategie místního

rozvoje 1.6 Informační systémy 2. Průběžná evaluace Str. 37 2.1 Analýza výsledků předchozích

hodnocení 2.2 Analýza relevance apriorního ocenění 2.3 Hodnocení průběžné relevance a

konzistentnosti 2.4 Kvantifikace výstupů, výsledků a

dopadů 2.5 Hodnocení efektivity a účinnosti 2.6 Kvalita implementace a monitoringu 3. Následná evaluace Str. 41 3.1 Dokumentace a poznávání 3.2 Konfrontace výsledky vs. potřeby 3.3 Přístup a metoda hodnocení 3.4 Závěrečná zpráva

I. Analýza strategických dokumentů

Kritérium PROČ CO JAK – MAS PSČ

1.3 Kvalita ocenění očekávaných dopadů

1.3.1 Stanovení konkrétních cílů a kvantifikovatelných kritérií hodnocení (3.3.1)

- Pokud se na začátku nestanoví kritérium úspěchu, bude velmi těžké úspěšnost strategie vyhodnotit;

- Indikátory také umožní vyhodnotit intervenční logiku

Systém indikátorů na úrovni výstupů, výsledků a dopadů

- původně nebyl vytvořen systém indikátorů

- LEADER přinesl indikátory na úrovni výstupů

- intuitivní subjektivní hodnocení a aktualizace analýzy území

1.3.2 Ověření dostatečnosti finančních a lidských zdrojů a datového zázemí pro evaluaci (3.3.2)

Ani kvalitní systém indikátorů nesplní svoji funkci, pokud chybějí zdroje na jeho realizaci

Analýza náročnosti evaluace a pokrytí „rozpočtu“ finančních, lidských a datových zdrojů

- Protože nebyl konkretizován systém evaluace, nebyla provedena ani analýza zdrojů

Hodnotící tabulka

I. Analýza strategických dokumentů

Evaluační devatero

Část evaluace Evaluační devatero

I. Předběžná evaluace

1. Je strategie orientovaná na nejdůležitější oblasti? 2. Předkládá strategie v těchto oblastech správná řešení? 3. Jsou tato řešení realistická?

II. Průběžná evaluace

4. Daří se nám realizace strategie, přibližujeme se k jejím cílům? 5. Co funguje a co nefunguje? 6. Co bychom měli změnit?

III. Následná evaluace

7. Jaké jsou skutečně dosažené výsledky realizace strategie? 8. Byla realizace efektivní a účinná? 9. Co bych měl příště udělat jinak a lépe?

I. Analýza strategických dokumentů

•Hodnocení strategických dokumentů:

1. Děláme správné věci?

2. Děláme věci správně?

•Příběh aplikace strategického dokumentu

•Formální struktura vs. „selský“ rozum

•Appraisal – jádro evaluace

II. Hodnocení hodnotícího rámce

II. Hodnocení hodnotícího rámce

• Kulturní kontext – procesní a improvizační

• Slabiny „xerox“ přístupu ke zkušenostem zemí OECD

• Přidaná hodnota kritérií – selektivita vítána

• Formulace kritérií – narativní forma popisu a hodnotící tabulka

II. Hodnocení hodnotícího rámce

Kritérium PROČ CO JAK - MAS PSČ

2.4 Kvantifikace cílů - výstupy, výsledky a dopady

2.4.1 Relevance indikátorů kvantifikujících cíle a problémové oblasti

Relevance hlavních indidikátorů „dopadu“ je pro hodnocení strategie klíčová

Ověření fungující „operacionalizace“ hlavního cíle a priorit strategie

Indikátory cílů a problémových oblastí nejsou zavedeny

2.4.2 Relevance indikátorů strategických, specifických a operačních cílů

Indikátory by měly být relevantní napříč převodového mechanismu cílů

Ověření konzistence indikátorů převodového mechanismu

Převodový mechanismus není definován

2.4.3 Relevance indikátorů sledujících vliv na rovné příležitosti, udržitelný rozvoj a další horizontální témata

Z hlediska čerpání prostředků z fondů EU je důležité kvalifikovaně sledovat i průřezová témata

Ověření realismu průřezových indikátorů

Průřezové indikátory nejsou sledovány

2.4.4 Spolehlivost a bezprostřednost monitoringu

Bez kvalitních a aktuálních dat nelze rozhodnout o dalším kurzu strategie

Vyhodnocení kvality dat a jejich aktuálnosti pro rozhodování

Systém monitoringu není zaveden, monitoring supluje subjektivní přístup pracovníků implementačního týmu

2.4.5 Užitečnost indikátorů dosaženého pokroku z pohledu přesnosti, aktuálnosti a použitelnosti pro efektivní monitoring a evaluaci

Celkové hodnocení indikátorů z hlediska potřeb evaluace poskytne podněty k úpravě systému monitoringu a indikátorů

Hlavní závěry z vyhodnocení monitoringu a indikátorů

V současné době nemá smysl hodnotit užitečnost indikátorů, ale spíše zavést velmi jednoduchý monitorovací systém a sbírat základní data ve druhé polovině strategie

II. Hodnocení hodnotícího rámce

Závěry

1. Pramen - Hodnotící rámec OECD

• Prováděcí dokumenty – kuchařky

• Sjednocení metodologie – indikátory

• Revize překladu do ČJ

2. Příjemci

• Semináře

• Případové studie

Program rozvoje kraje Vysočina- vznik v r. 2002

- standardní struktura: socioekonomická analýza SWOT analýza programová část

- určuje komplexní směry pro rozvoj kraje bez ohledu na konkrétní nástroj realizace

- hlavní nástroje: Fond Vysočiny (vznik v r. 2002) – prostředky pro rok 2009 cca 78 mil. Kč; Zásady Zastupitelstva kraje Vysočina

- další nástroje: Program obnovy venkova, regionální inovační strategie, SF EU, aj.

Evaluační aktivity PRK Vysočina- evaluace nejsou cíleně prováděny

- rysy evaluační činnosti má však vyhodnocování programu pracovníky Odboru regionálního rozvoje

- zpracovávání Závěrečných zpráv o čerpání prostředků FV

- v současnosti aktualizace programové části – probíhá vyhodnocování s rysy ex post evaluace

- nejsou ucelené evaluační zprávy, chybí povědomí o evaluačních nástrojích a metodách – hodnocení probíhá intuitivně a nesystematicky na základě zkušeností pracovníků

Dílčí zjištění- nositeli zájmu o evaluace jsou v současností pracovníci Odboru

regionálního rozvoje KÚ kraje Vysočina

- angažovanost politické reprezentace je však nízká

- celkově chybí povědomí o přínosech a cílech evaluace, nástrojích a metodách

Dílčí zjištění- PRK Vysočina je multinástrojový program – neexistuje jeden

nástroj a finanční zdroj, kterým by byly naplňovány jeho cíle

- do značné míry ztěžuje vyhodnocení úspěšnosti realizace

- měl by být zajištěn detailní přehled o intervencích realizovaných prostřednictvím všech dotčených nástrojů a vytvořen systém zajišťující srovnatelnost vynaložených prostředků a přínosů intervencí

Dílčí zjištění- PRK Vysočina nemá vytvořenou soustavu indikátorů kvantifikující

cíle a umožňující monitorovat a hodnotit jejich plnění

- sledovány a vyhodnocovány jen finanční ukazatele a počty projektů neumožňuje hodnotit věcný pokrok

- limitujícím faktorem je roztříštěnost nástrojů – obtížné zajištění srovnatelnosti výstupů, výsledků a dopadů

Dílčí zjištění

- nejvíce je kladen důraz na ex post evaluaci, která je vnímána jako nejsmysluplnější X nejmenší povědomí je o potřebnosti a podobě ex ante evaluace

- přínosy evaluace zčásti supluje intenzivní spolupráce a konzultace s klíčovými aktéry v regionu při vytváření a aktualizaci programu i přípravě jednotlivých grantových programů

Dílčí zjištění

- implementační systém je formalizovaný a hodnocen jako funkční, je stanoven status a funkce jednotlivých orgánů X rizikem může být absence orgánu, který by koordinoval naplňování PRK prostřednictvím všech nástrojů, a roztříštěná implementace grantových programů jednotlivými odbory KÚ

- z pohledu intervenční logiky chybí provázanost mezi analýzou a programem v identifikaci klíčových problémových oblastí, návrhu vize a globálního cíle

Strategie rozvoje MAS Přemyslovské střední Čechy

- Strategie rozvoje MAS Přemyslovské střední Čechy – primární dokument analýzy, časový záběr do 2020

- Programový dokument „Návrat přátelské krajiny“

- Následné zapojení do Strategického plánu LEADER 2007-2013

- V současné době probíhá průběžné hodnocení a aktualizace

Dílčí zjištění

- Edukativní funkce programu LEADER

• MAS byla „otevřená“ edukativnímu potenciálu LEADER a převzala řadu šablon pro nastavení procesů strategického plánování

• Došlo k výraznému zkvalitnění procesů formulace, řízení i monitoringu strategie

Dílčí zjištění

- „Ownership“ strategie a její kontroly

• Fáze silnějšího ownershipu vystřídala dočasně fáze ochladnutí zájmu a uvolnění vztahu aktivit MAS s programovými dokumenty

• V současné době návrat k původnímu kurzu a zlepšování procesů

• Odpoutání od strategie a jejího plnění by systematické nastavení hodnotících pravidel patrně podstatně eliminovalo

Dílčí zjištění

- Nedostatečná formalizace a systémovost

• Hodnotící aktivity probíhají a poskytují důležitou zpětnou vazbu strategii

• Aktivity jsou do značné míry nesystematické a intuitivní, probíhají díky osobnímu nasazení managementu MAS

• Zpětně dochází k systematizaci, stabilita je však závislá na setrvání klíčových pracovníků

Dílčí zjištění

- Nedostatečná kvantifikace cílů

• Nedostatečná kvantifikace na úrovni priorit a strategické vize

• Fungují pouze základní indikátory výstupů

• Nelze tak objektivně činit závěry v oblasti kvality intervenční logiky či stupně naplnění cílů strategie

Otázky k diskusi

- Pociťují pracovníci z regionů nedostatek know-how při hodnocení naplňování svých strategií?

- Jaké by byly přínosy zavedení základního systému předběžného, průběžného a následného hodnocení strategie a jejího plnění?

- Pokud jsou přínosy pozitivní, kudy vede cesta k zavedení hodnotícího systému a jaké jsou předpokládané překážky?