Měření efektivity kurzů práce s informacemiv rámci projektu CEINVE

Mgr. Gabriela Šimková

Mgr. Jan Zikuška

21.3.2013, VUT v Brně

PROČ

• V našem případě součást projektových aktivit, ale …

• Cílenější vzdělávání („na míru“) / kvalita

• Nedělat zbytečnou práci, zaměřit se na podstatné

• Argument potřebnosti

• Dotazníky nestačí / profesionalita

21.3.2013, VUT v Brně

CO A JAK

• Znalosti – Dovednosti – Postoje

• Pretest a Posttest – stejné nebo odlišné otázky?

• Efektivnější hledání, kvalitnější texty?

• Změna chování, třeba plagiátorství?

kombinace metod a postupů

21.3.2013, VUT v Brně

Měření jako kontinuum

21.3.2013, VUT v Brně

Kirkpatrickův model měření efektivity vzdělávání

Prokázat účinek, hodnotu a přínos

vzdělávání

21.3.2013, VUT v Brně

I. a II. úroveň měření

Úroveň hodnocení

Charakteristika Příklady nástrojů a metod Doporučení

I. ReakceMapování osobní reakce

(pocitů) na školení

Dotazník, který obdrží účastníci na závěr školení.

Slovní vyjádření účastníků na konci kurzu.

Využití diskuzních fór pro vyjádření okamžitých názorů

Mělo by být provedeno ihned po skončení aktivity

Úroveň hodnocení

Charakteristika Příklady nástrojů a metod Doporučení

II. UčeníMěření znalostí před a po

aktivitě

Testy a hodnocení před a po vzdělávací aktivitě

Rozhovor, pozorování

Metody jsou jednoduché, ale náročné

na investice a přípravu.

Do jaké míry získali účastníci očekávané znalosti a dovednosti?

21.3.2013, VUT v Brně

III. a IV. úroveň měření

Úroveň hodnocení

Charakteristika Příklady nástrojů a metod Doporučení

III. Chování

Zjišťování toho, do jaké míry účastník kurzu

aplikoval znalosti a jak změnil své chování.

Pozorování a rozhovory v delším časovém období.

3600 zpětná vazba

Chování se velmi špatně kvantifikuje a interpretuje.

Jaké nastaly u studentů změny chování po vzdělávacím programu?

Úroveň hodnocení

Charakteristika Příklady nástrojů a metod Doporučení

IV. VýsledkyZjišťování vlivu změn

chování

Pravidelná hodnocení výkonu zaměstnance

21.3.2013, VUT v Brně

Měření znalostí

PRETEST

o32 položeko1637 responzío90,84% návratnosto72,21 % žen,

27,79 % mužůo5 – 10 min.

POSTTEST

o30 položeko1184 responzío65,70% návratnosto73,03 % žen,

26,97 % mužůo5 – 10 min.

21.3.2013, VUT v Brně

Typy otázek

PRETEST

o22 znalostních otázek (uzavřené)o6 postojových otázek (polootevřené)o4 sociodemografické otázky

POSTTEST

o22 znalostních otázek (uzavřené)o4 sebehodnotící otázky (uzavřené)o4 sociodemografické otázky

21.3.2013, VUT v Brně

Procentuální úspěšnost KPI1 (pretest, posttest)

21.3.2013, VUT v Brně

PRETEST

21.3.2013, VUT v Brně

PRETEST

21.3.2013, VUT v Brně

POSTTEST

21.3.2013, VUT v Brně

POSTTEST

1 Definování problému

2 Vyhledávání informací

3 Organizace poznatků

4 Hodnocení zdrojů

5 Interpretace textů

6 Tvorba dokumentů

7Verbální a neverbální projev

8 Publikování

21.3.2013, VUT v Brně

Změna chování – aplikace FOCUS GROUP

• Skupinová dynamika• širší téma úzké zaměření

Testování novinek Identifikace problémů Studium komplexních témat Analýza motivací studentů

• Projektivní metody – senzorický test, shelf test

• skupinové rozhovory (5 - 12 lidí)

21.3.2013, VUT v Brně

Jak na to?

Výběr moderátora:

1.Profesionál z výzkumné agentury

2.Moderujeme sami, odborník při vyhodnocení

3.Vše ve vlastní režii

21.3.2013, VUT v Brně

Měření jako kontinuum

21.3.2013, VUT v Brně

Děkujeme za pozornost

Gabriela Šimková

gsimkova@phil.muni.cz

Honza Zikuška

zikuska@phil.muni.cz

21.3.2013, VUT v Brně