13
Metodika hodnocení výzkumných organizací 2017+ Vlastimil Růžička (ve spolupráci s Vladimírem Majerem a Tomášem Kopřivou) 22.2.2016
Metodika hodnocení výzkumných organizací 2017+
Vlastimil Růžička (ve spolupráci s Vladimírem Majerem a Tomášem Kopřivou)
22.2.2016
Obsah
• Metodika hodnocení VaV inspirovaná výsledky projektu IPN Metodika s přihlédnutím ke zkušenostem z hodnocení ústavů AV ČR 2015
• Hodnocené VO
• Harmonogram
• Výsledky hodnocení
• Realizace = institucionální zajištění
• Odhad nákladů
• Rizika
2
Metodika
Vychází z projektu IPN Metodika, který dále rozvíjí
• Návrh konsorcia Technopolis group včetně úprav provedených pro pilotní ověření
• Další úpravy vycházející z doporučení panelistů i hodnocených výzkumných organizací/jednotek (RO/RU)
• Implementační doporučení projektového týmu IPN Metodika
• Využití zkušeností z hodnocení ústavů AV ČR s možností převzetí některých dílčích postupů
3
Hodnocené výzkumné organizace (VO)
• Veřejné vysoké školy (VVŠ), event. i SVŠ získávající dotaci na rozvoj výzk. organizace
– Hodnocení ve všech šesti vědních oblastech (Disciplinary Area) podle Frascati (tzn. realizace hodnocení „v jedné vlně“)
• příp. IBRO (Industry & Business Service Res. Organ.)
– Nejzávažnější komplikací hodnocení excelentních neakademických výstupů
• Zdůvodnění
– AV ČR provedla hodnocení svých ústavů v roce 2015
– VVŠ dosud žádným institucionálním hodnocením VaV neprošly (pokud za něj nepovažujeme „kafemlejnek“)
4
Harmonogram 1
• 6/2016 usnesení vlády (viz další snímek Harmonogram 2)
• 6 – 12/2016:
– příprava projektu implementace hodnocení podle NERO:
• zpracování závazné metodiky (KHV)
• její schválení (RVVI, vláda) – příp. i zač. 2017
– rozhodnutí o předpisu převedení výsledků hodnocení na financování
– výběr subjektu pro realizaci hodnocení
– zahájení vývoje podpůrného informačního systému !!
– Pozn.: OP VVV, výzva na Strategické řízení VaV (předpokládaný termín vyhlášení červen
2016). Součástí podporovaných aktivit je i implementace nové metodiky hodnocení VO
• 1/2017 zahájení implementace hodnocení podle NERO
• 8 - 10/2017 zahájení samotného hodnocení
• 4 - 6/2018 výsledky hodnocení
• Finanční dopad do institucionální podpory VO na rok 2019
5
Harmonogram 2
usnesení vlády:
i. základní rámec hodnocení
ii. termíny plnění
iii. identifikace zdrojů finančního zajištění hodnocení
iv. pověření instituce zodpovědné za realizaci
6
Využití výsledků hodnocení, přínosy
• Výsledky hodnocení budou zveřejněny
• Podle schváleného předpisu bude cca 20 % institucionální dotace na VaV alokováno podle PRFS
• Zvážit, zda v tomto kole hodnocení bude přidělena část inst. dotace na VaV formou „performance agreement“ (podle návrhu TP
cca 5 % celkové inst. dotace, je vyjednána mezi poskytovatelem a příjemcem, umožňuje RO strategicky plánovat). PA lze poskytnout těm RO, které se NERO nezúčastní
• „Učící efekt“ pro zúčastněné RO:
– slovní komentáře a doporučení panelistů
– „Writing a self-assessment report and knowing that an expert panel will read it is the best exercise for researchers“
• Poskytovatelé i management RO získají podklady pro strategické řízení -> formativní složka hodnocení
7
Realizace
Viz „Studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení“ (dokument projektu IPN Metodika, K. Šima a spol.)
• Var. 1 nebo 2: organizační útvar v rámci orgánu státní správy nebo nový orgán státní správy
– současné předpisy a pravidla státní správy neumožňují dostatečně flexibilní výběr a uzavírání pracovních smluv s členy Rady pro řízení hodnocení, panelisty a posuzovateli
– neefektivní je také zajišťování služeb (např. podpůrný IS)
• Var. 3: agentura v podobě příspěvkové organizace
– novela zák.111/1998 Sb. předpokládá založení Národního akreditačního úřadu
– AERES (FR) a HEFCE (UK) jsou nezávislé organizace realizující hodnocení VaV, akreditace programů a hodnocení institucí (AERES) nebo dosud jen hodnocení VaV (HEFCE)
8
Rozsah hodnocení
9
Počet hodnocených EvU/RU (práh pro zahrnutí: min. 50 výstupů v hodnoceném období;
založeno na datech 2009-13) *
RO Sub-category Number of
included EvU
Nr. RU per EvU,
estimate Estimated
nr. RU
HEI - public 171 3 500
HEI - private 7 3 20
Research hospital 21 2 40
Total 199 560
AgriFood RTO 14 2 30
Industry RTO 9 2 20
Business sv RO 5 2 10
Total 28 60
Grand total 227 620
* Background report 2: Typology of Research Organisations and Effects of the EM Thresholds, Technopolis,
March 2015
Odhad nákladů, 1
10
Orientační odhad nákladů na 3 roky hodnocení (pro ŘTH měsíční
hrubá mzda zvýšena na 60 tis Kč; pro panelisty a posuzovatele odměny podle
pilotního ověření)
• a Podle doporučení týmu IPN má být až 1/3 panelistů z ČR (zde čeští panelisté neuvažováni, jen zahraniční)
• b U panelistů nutno vyřešit povinné odvody a zdanění mzdy (bude-li je nutné platit, pak se náklady až zdvojnásobí!)
• Odhad nákladů: viz Studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení, IPN Metodika, listopad 2015
počet
osob/FTE roční náklady
/mil Kč
náklady celkem/mil
Kč
Řídicí tým hodnocení (ŘTH) 15 14 42
tajemníci panelů (jen rok 2) 30 18 18
panelisté odměny a 324 62 62 b panelisté cestovné 11 11 panelisté ubytování 9 9 posuzovatelé 400 9 9 ostatní náklady 11 33 náklady na IS (odhad! nutno zpřesnit) 26 celkem 209
Odhad nákladů, 2
11
• Orientační odhad nákladů na 3 roky hodnocení při zahrnutí jen VŠ a IBRO: 210 mil Kč
Viz Summary Report, Technopolis, May 2015: Exhibit 19 Maximum total costs of the new evaluation system
R&D Institutional
funding expenditure
– total
Institutional funding
for conceptual
development of ROs
2012 budget (mil CZK) 13 536 8 874
Total for 5 years based on 2012
budget (mil CZK) 67 680 44 370
1% limit (mil CZK) 677 444
Rizika
• Odpor hodnocených RO k nové metodice (hodnocení bude
podjaté, hodnocení je příliš komplikované, hodnocení je drahé)
• Subjekt vybraný pro realizaci nebude schopen hodnocení včas a kvalitně dokončit (personální obsazení-zkušenosti,
informační systém, pracovně-právní vztahy)
• Nebude alokováno dostatečné množství finančních prostředků na realizaci hodnocení
• Nepodaří se kontrahovat všechny potřebné panelisty a posuzovatele
• Nová vláda nepodpoří rozhodnutí předchozí a nebude dostatečně razantně vystupovat proti námitkám
12
