Metody pro evaluaci výsledků VaV - follow up

Doc. MUDr. Ivan Pohl, CSc. Vzdělávání pracovníků VaV MU a VFU Brno v endoskopických

vyšetřovacích technikách a endoskopicky asistované miniinvazivní chirurgii

s využitím nových materiálů

Tato prezentace je spolufinancována Evropským sociálním fondem a státním rozpočtem České republiky.

Hodnocení vědy a výzkumu

Výkon individuální nebo kolektivní

Kvalitativní hodnocení nebo kvatitativní

RVVI

Rady pro výzkum, vývoj a inovace (RVVI) jako poradního orgánu vlády a Grantové agentury ČR

Ministerstva jsou správní orgány oprávněné poskytovat podporu ze státního rozpočtu

Grantová agentura ČR

vyhlašuje veřejné soutěže ve výzkumu a vývoji na podporu grantových projektů základního výzkumu

Projekty: (1) standardní grantový projekt (2) postdoktorský grantový projekt (3) bilaterální grantový projekt.

Metody pro hodnocení vědy a výzkumu

(Ráb P., Kadlecová I Inforum 2008 ) 1. ranking

2. benchmarking

3. rating benchmarking

A Directory of Evaluation Methods Relevant to Technology

Development Programs (USA) Peer Review/Expert Judgment

Monitoring, Data Compilation, and Use of Indicators

Bibliometrics – counts and citation analysis

Bibliometrics – data mining

Bibliometrics – hotspot patent analysis

Network Analysis

Case Study Method – Exploratory, Descriptive, and Explanatory

Survey Method

Benchmarking Method

Technology Commercialization Tracking Method

Benefit-Cost Case Study

Econometric Methods

Historical Tracing

Spillover Analysis.

Zdroje dat pro bibliometrické metody

Polytematické

Science Citation Index

Scopus

Scholar Google

Oborové

databáze Medline

astronomie, fyzika, NASA-ADS

medicínský citační index Národní lékařské knihovny

Specializované

patentový citační rejstřík Derwent, STN Internat., Dialoq

Web of Science

Journal Citation Reports

RIV

ASEP

Informační systém výzkumu, vývoje a inovací (IS VaV)

RIV - registr informací o výsledcích výzkumu a vývoje.

ASEP – Automatizovaný Systém Evidence Publikací a dalších typů výsledků pracovišť AV ČR

Databáze

Web of Science (WoS) SCOPUS - Scopus Citation Tracker review citations to a particular author.

review the citations in a particular field.

Use the refine box to view a summary of citing documents

Analýza časopisů

Journal of Citation Reports Celkem je vyhodnocováno asi 9100

časopisů od 2200 nakladatelů ze 78 států, zahrnujících asi 230 vědních oborů.

Journal Impact Factor poměr počtu citací v hodnoceném roce na

všechny články publikované v daném časopise za předchozí dva roky, k celkovému počtu všech těchto článků

Analýza časopisů

Immediacy Index

Citační poločasy

Opatrnost při interpretaci výsledků bibliometrické analýzy !

Problémy citačních indexů citační zvyklosti v jednotlivých oborech se liší, smysl má porovnávat stejné obory, mezioborové práce mají obvykle vyšší citovanost, vysokou citovanost mají práce z úzkého oboru, citační mafie (gangy), vysokou citovanost mají přehledové a metodické články, „nezasloužená“ citovanost („šéfové“, drobná spolupráce), negativní citace má stejnou váhu jako pozitivní, dobrá práce přejde do referátového článku, který je citován, autocitace (tvoří cca 1/3 všech citací), velmi dobré publikace mají desítky, výjimečné stovky citací, znevýhodnění popularizátorů vědy.

Metodika hodnocení výsledků výzkumných

organizací Úvod Hodnocení výsledků výzkumných organizací Hodnocení výsledků programů výzkumu, expr.

vývoje a inovací ukončených v r. 2009 a 2010 Pravidla ověřitelnosti vykazovaných výsledků Renormalizace bodového ohodnocení a pravidla

rozdělování institucionálních prostředků výzkumných organizací a stanovení finanční hodnoty bodu,

Závěr a Přílohy.

Hodnotící kritéria pro výběr projektů TAČR

Binární kritéria ano – ne (ne znamená automaticky vyřazení projektu)

Navrhovaný projekt je projektem aplikovaného výzkumu nebo experimentálního vývoje

Návrh projektu je v souladu s cíli programu a podprogramu

Podstata návrhu projektu nebo její části nebyla řešena v rámci jiného projektu, atd.

Příjemce prokázal požadovanou spoluúčast při financování

Příjemce prokázal, že projekt bude generovat alespoň 1 aplikovaný výsledek z množiny podporovaných výsledků, který bude realizován v praxi do 3 let od ukončení projektu

Hodnotící kritéria pro výběr projektů TAČR

Bodovaná kritéria Kapacity výzkumného týmu (max. 10 bodů, prahová

hodnota 5 bodů) – Prokázání odborné způsobilosti řešitelů, znalost řešení analogických problémů v zahraničí, porovnání řešení se stavem v ČR a ve světě

Očekávané přínosy projektu z hlediska cílů programu (max. 20 bodů, prahová hodnota 10 bodů) Novost řešení, aplikační potenciál, výsledků projektu, celková úroveň a komplexnost řešení

Existence významných tržních příležitostí a schopnost těchto příležitostí využít (max. 20 bodů, prahová hodnota 10 bodů) - Znalost relevantního trhu pro uplatnění výsledků. atd.

atd. celkem 7 bodů a 18 podbodů Jde o mix kritérií ryze odborných, technických a ekonomických. Cíl

je posílení české ekonomiky a minimalizovat rizika neúspěšného řešení.