Ostravská univerzita

Pedagogická fakulta

Auto-evaluační

algoritmy

e-learningových

kurzů

Auto-evaluation

algorithms

of e-learning

courses

Autoreferát

k disertační práci

2016

Studijní program: Specializace v pedagogice

P 7507

Obor: Informační a komunikační technologie ve vzdělávání

7507V066

Disertant: Mgr. Markéta Dvořáčková

Ostravská univerzita, Pedagogická fakulta

katedra informačních a komunikačních technologií

Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory

Školitel: doc. RNDr. Jana Šarmanová, CSc.

Ostravská univerzita, Pedagogická fakulta

katedra informačních a komunikačních technologií

Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory

Obhajoba disertační práce se uskuteční

v úterý 9. února 2016

v zasedací místnosti SA 407

Ostravská univerzita, Pedagogická fakulta

katedra informačních a komunikačních technologií

Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory

Oponenti:

doc. Ing. Kateřina Kostolányová, Ph.D.

prof. Dr. Ing. Miroslav Pokorný

Autoreferát byl rozeslán dne 7. 1. 2016

S disertací se lze seznámit na katedře informačních a komunikačních

technologií Pedagogické fakulty Ostravské univerzity v Ostravě

Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory od 7. 1. 2016.

Bibliografická identifikace

Jméno a příjmení autora: Mgr. Markéta Dvořáčková

Název disertační práce:

Auto-evaluační algoritmy e-learningových kurzů

Název disertační práce anglicky:

Aut-evaluation algorithms of e-learning courses

Školitel: doc. RNDr. Jana Šarmanová, CSc.

Rok obhajoby: 2016

Abstrakt

E-learning se svou flexibilitou a rozsáhlými možnostmi, které přináší

realizaci výuky, může být v mnoha oblastech plnohodnotným, kvalitním

a efektivním způsobem vzdělávání. Rozšiřování využití e-learningu s sebou

přináší i zvýšený požadavek na jeho kvalitní evaluaci. Tato práce se zabývá

evaluací kurzů, jejich obsahu i průběhu samotného procesu vzdělávání

v kontextu studenta jako příjemce komunikovaného obsahu. Zaměřuje

se na personalizovaný e-learning, jakožto vyšší formu e-learningu, středem

jehož zájmu je právě student, jemuž je výuka adaptována. Byl navržen

evaluační model, podle kterého byly definovány oblasti evaluace

a specifikovány konkrétní výstupy dílčích částí evaluace. Tyto jsou základem

pro datovou analýzu a dále formulaci expertních pravidel evaluačního

systému. Práce se zabývá rovněž návrhem struktury tohoto evaluačního

systému, jehož účelem je analyzovat a evaluovat vzdělávací procesy a kurzy

automaticky.

Klíčová slova

Evaluace e learningu, personalizovaný e learning, evaluační model, evaluace

vzdělávacího procesu, expertní systém, evaluační systém

Abstract

E learning with its flexibility and wide possibilities, that brings

to the instruction, can be in many educational fields a valued, high quality

and efficient way of the process of education. The expansion of e learning

brings out higher requirements also on its evaluation. This thesis deals with

the evaluation of courses, their content, and the course of the process itself

as well in context with a student as a recipient of the communicated

content. It concentrates on personalized e learning, as a higher form of

e-learning, which considers a student, to whom the instruction is adapted,

to be the centre of its attention. a model of evaluation has been designed

according to which areas of evaluation have been determined and explicit

outputs of component parts of evaluation have been specified. These are

the basis for a data analysis and also for a formulation of expert rules

of the final evaluation system. The thesis also deals with the design

of the structure of this system which will analyse and evaluate processes

of education and courses automatically.

Key words

E-learning evaluation, personalized e learning, model of evaluation,

evaluation of the learning process, expert system, evaluation system

Obsah

Úvod .............................................................................................................. 1

1. Přehled o současném stavu .................................................................. 2

1.1. Vymezení pojmů ........................................................................... 2

1.2. Evaluace v pedagogice .................................................................. 3

1.3. Evaluace e-learningu ..................................................................... 4

1.4. LMS Barborka ................................................................................ 4

2. Teoretická východiska .......................................................................... 6

2.1. Teorie adaptivní výuky ...................................................................... 6

2.2. Metody dolování znalostí z dat ..................................................... 6

3. Cíle práce .............................................................................................. 8

4. Teoretický návrh evaluačního systému .............................................. 10

4.1. Evaluační posudky před výukou ................................................. 10

4.2. Studentská evaluace po výuce .................................................... 11

4.3. Evaluace učebního procesu ........................................................ 12

4.3.1. Předzpracování dat protokolu pro analýzy ......................... 12

4.3.2. Základní statistické charakteristiky dat .................................. 13

4.3.3. Použití statistických metod ..................................................... 14

4.3.4. Analýzy příčin úrovně znalostí ................................................ 14

4.3.5. Analýzy příčin množství času stráveného nad oporou ........... 15

4.3.6. Analýzy příčin zásahů studenta do adaptivního řízení ........... 15

4.4. Integrace výsledků ...................................................................... 16

5. Implementace evaluačního systému .................................................. 18

5.1. Akvizice dat ................................................................................. 18

5.2. Příprava dat ................................................................................ 18

5.3. Výpočty základních charakteristik .............................................. 19

5.4. Statistické analýzy a analýzy prostřednictvím metod ................. 19

6. Pilotní testování evaluačního systému ............................................... 20

6.1. Předmět Business English 1 ........................................................ 20

6.2. Předmět Matematika .................................................................. 23

6.3. Využití výsledků .......................................................................... 26

7. Závěr ................................................................................................... 27

7.1. Shrnutí výsledků práce ............................................................... 27

7.2. Náměty na pokračování výzkumu .............................................. 28

8. Seznam použité literatury ................................................................... 30

Seznam publikací ........................................................................................ 32

Profesní curriculum vitae ............................................................................ 33

1

Úvod Součásti e-learningu jako výukové objekty, využívání multimédií

nebo uživatelské prostředí jsou často diskutovanými tématy se společnou

základní otázkou: „Jak doručit kurikulum způsobem, aby byl zajištěn

pozitivní impakt výuky pro všechny studenty“?

Autoři a tvůrci výukového obsahu, který je jedním z nejpodstatnějších

stavebních prvků e learningových kurzů, vyvíjejí snahu o vytvoření

efektivních, srozumitelných a motivujících výukových opor. Vytvořit

takovou oporu však není jednoduché, zejména pokud nejsou k dispozici

ucelené standardy pro jejich formu. Často je tak e-learningem nazývána

počítačem podporovaná výuka, realizovaná prostřednictvím internetu

s podporou systému řízení výuky (LMS). Evaluace vzdělávacích materiálů

stejně jako vzdělávacího procesu je obecně nutností, která je o to zásadnější

v případě e-learningových kurzů. Návrhem metod a prostředků pro

vyhodnocení e learningového kurzu, tedy evaluací připraveného kurzu se

zabývá řada autorů. Tato práce je orientována na relativně novou oblast -

výuku s adaptovatelnými výukovými oporami na míru osobním vlastnostem

studenta, podporovanou speciálním adaptivním LMS a protokolujícím velmi

podrobně celý proces výuky každého studenta.

Přestože myšlenka personalizace není novinkou, ve svém plném potenciálu

a rozsahu je její využití spíše výjimkou. Takové řešení, které zaručuje plné

přizpůsobení se různým potřebám jednotlivých studentů je oproti

standartnímu e-learningu o to náročnější na tvorbu kvalitní výukové opory

a rovněž na jeho evaluaci. Autoři adaptivních výukových opor mají silnou

potřebu spolehlivých a automatických nástrojů evaluace, které jim

poskytnou tolik potřebnou zpětnou vazbu o jejich díle, jehož hodnocení

tradičními manuálními nástroji je vzhledem k jeho rozsahu nereálné.

2

1. Přehled o současném stavu

1.1. Vymezení pojmů

Názory na definici e learningu se dle pohledů různých autorů liší. Předtím

tedy, než začneme hovořit o e-learningu a jeho evaluaci, vymezme nejprve

pojmy, se kterými bude dále v práci zacházeno.

Průcha, Walterová a Mareš (2009, s. 66-67) e-learning jako typ učení,

při němž získávání a používání znalostí je distribuováno a usnadňováno

elektronickými zařízeními, které může zahrnovat ucelené učební kurzy nebo

menší učební moduly či témata. Může se opírat o časově synchronní anebo

asynchronní přístupy a být distribuováno z geograficky i časově nezávislých

zdrojů, propojuje vnější řízení jedince s jeho autoregulací a je používáno

především v distančních a kombinovaných formách vysokoškolského studia,

v podnikovém vzdělávání, při rekvalifikačních kurzech, ale postupně proniká

na střední i základní školy.

E-learning může být definován z různých pohledů. Kapounová (2012) uvádí

tři definice, a to:

• na bázi elektronicky orientovaný procesů – jakožto elektronické

vzdělávání, jež je sérií procesů spojených s učením a jejich řízením,

realizovaných elektronickými prostředky,

• technologická – jakožto počítačem podporovanou výuku, případně

výuku prostřednictvím webu, řídicí systém učení a komunikační

prostředky,

• didaktická – jakožto spojení systémového návrhu a vhodného modelu

učení v prostředí informačních a komunikačních technologií.

Pro účely této práce budeme e learningem chápat jako proces

elektronického vzdělávání s podporou multimediálními prostředky,

internetem a jinými médii, realizovaný v prostředí LMS za účelem

efektivního dosažení vzdělávacího cíle.

Zvláštním variantou e-learningu je adaptivní e-learning, v rámci něhož je

výuka adaptována (personalizována) tak, aby každému studentu jako

individuu zprostředkovala individuálně efektivní dosažení vzdělávacích cílů.

3

Součástí adaptivního e-learningu je nejen personalizované uživatelské

prostředí, ale především naplnění potřeb studenta, který se učí:

• formou, která mu vyhovuje,

• z materiálů vyhovujícího typu, detailu informací a zpracování,

• v ideálním rozsahu (pro konkrétního studenta),

• vyhovujícím postupem.

Základní podmínkou pro realizaci adaptivní výuky je znalost individuálních

studentů, jejich učebních stylů a přístupů k výuce. Ekvivalentně důležitou

podmínkou je existence výukových materiálů v takové formě a rozsahu,

aby tuto adaptaci umožnily. V neposlední řadě je personalizace e-learningu

založena na adaptaci výukového procesu, čímž reaguje na požadavek

„vyhovujícího postupu a formy“ výuky.

1.2. Evaluace v pedagogice

Evaluace je proces systematického shromažďování a analýzy informací

podle určitých kritérií za účelem dalšího rozhodování. (Ehlers a Pawlowski,

2006). Je prakticky orientovaná, jejím základem jsou validní a reliabilní data

o podmínkách, procesech a účincích předmětu evaluace a zahrnuje

vyjádření hodnot, kritérií.

Podle oblastí pedagogické evaluace definovaných Průchou (2000), můžeme

zařadit evaluaci e-learningových kurzů v širším kontextu do všech oblastí,

tedy vzdělávacích potřeb, programů, výuky, vzdělávacích výsledků.

Hodnocení kvality jakéhokoli pedagogického procesu je podle Zlámalové

(2012) vnímáno v pedagogických vědách dvěma způsoby:

• hodnocení výkonu studenta, kterého dosahuje v rámci procesu učení,

• hodnocení efektivity ve smyslu účinnosti systému, včetně hodnocení

ekonomického využití investice.

Z tohoto pohledu se tato práce se zaměřuje na druhou z těchto dvou částí,

hodnocení účinnosti systému, pro niž je hodnocení výkonu studenta,

úrovně získaných znalostí a schopností cenným zdrojem informací, zpětnou

vazbou o systému.

4

1.3. Evaluace e-learningu

Názory autorů na kontextuální rozsah evaluace e-learningu se liší. V mnoha

případech je evaluace pojímána velmi komplexně a v širokém významu

pojmu, což ji často činí za běžných podmínek téměř nerealizovatelnou.

Fitzpatrick, Sanders a Worthen (2010) definovali přístupy k evaluaci

e-learningu v 5 klastrech, které jsou orientovány na cíle, management,

spotřebitele, expertízu a účastníka.

Khan (2005) navrhuje následující dílčí oblasti evaluace:

• evaluace procesu vývoje e learningového obsahu,

• evaluace e learningového prostředí,

• evaluace e learningu na programové a institucionální hladině,

• hodnocení studentů (pozn. zde ve významu úrovně jimi dosažených

studijních výsledků).

Kirkpatrick (J. Kirkpatrick, et. al., 2009) navrhuje čtyřúrovňový model

hodnocení s hierarchickými úrovněmi: reakce, učení, chování, výsledky,

přičemž uvádí, že každý vzdělávací program/kurz/předmět by měl být

hodnocen alespoň na první úrovni – hodnocení studenta. Na druhé úrovni

je pak hodnocen pokrok, získané znalosti a dovednosti, na třetí úrovni

využití znalostí v životní realitě a úroveň čtvrtá se zaměřuje na hodnocení

výsledků vzdělávacího projektu.

1.4. LMS Barborka

V rámci projektu ESF „Adaptivní individualizovaná výuka v e learningu“

zpracoval tým expertů z oblastí pedagogiky, psychologie a ICT ve vzdělávání

návrh komplexního řešení adaptivního e-learningu. Systém zajišťující jeho

realizaci zohledňuje všechny interakční složky procesu vzdělávání:

• student a jeho učební styl, kterému je výuka adaptována,

• výukové opory prezentované v odpovídajících variantách,

• adaptivní systém řízení výuky, tzv. virtuální učitel.

5

Obrázek 1 - Struktura LMS Barborka

Systém řízení výuky, LMS Barborka, je v tomto případě vysoce

specializovanou expertní formou LMS, která, kromě základních funkcí

tradičního LMS, komplexně zajišťuje adaptivitu výuky. Systém zprostředkuje

obsah kurzu v odpovídající variantě na základě pravidel zohledňujících

učební styly studenta a zvolí odpovídající formu jeho prezentace a vedení

studenta v procesu výuky.

LMS Barborka zaznamenává veškeré aktivity a celý studijní proces každého

studenta včetně měření znalostí ve formě detailního protokolu.

Nedílnou součástí komplexního systému řízení výuky je modul evaluace,

který v současnost v LMS Barborka není implementován. Takový evaluační

modul by měl poskytovat množinu funkcí pro evaluaci z hlediska autora

(evaluace opory), studenta (ověření vlastností) a virtuálního učitele

(expertního řízení výuky). Úkolem této práce je evaluace opory, která v LMS

Barborka chybí a která v takto detailní formě dosud nebyla zpracována.

6

2. Teoretická východiska

2.1. Teorie adaptivní výuky

Podle Kostolányové (2012) můžeme rozlišit čtyři základní druhy adaptace,

a to: uživatelského rozhraní, obsahu výuky, vyhledávání a sestavování

obsahu výuky a adaptace podpory spolupráce (komunikace).

Adaptivita výuky je postavena na zpracování výukového obsahu po malých

částech a zároveň v několika variantách přizpůsobených studentům různých

vlastností. Studentské vlastnosti, které jsou vhodně zohlednitelné

v e-learningu jsou podle Kostolányové (2014) následující:

• smyslové vnímání - verbální, vizuální, auditivní, kinestetické;

• sociální aspekty - preferuje práci sám, ve dvojici, ve skupině;

• afektivní aspekty - vnější a vnitřní motivace ke studiu;

• systematičnost učení - upřednostňuje řád, volnost;

• způsob učení - teoretické odvozování – experimentování;

• postup učení - analytický – holistický;

• pojetí učení - hloubkové, strategické, povrchové;

• autoregulace – práce podle pokynů či samostatnost.

Navrhuje zpracování každé dílčí jednotky výukového obsahu

ve 4 smyslových variantách a 3 hloubkách (od základního výkladu

k rozšířenému pro pokročilé studenty).

2.2. Metody dolování znalostí z dat

Oproti statistickým metodám analýzy, které odpovídají na stanovené

otázky, metody dolování znalostí umožňují objevit v datech řadu dalších

informací, které jsou v datech rozptýleny a na které nikoho nenapadlo se

ptát. Nejčastěji používanou metodou je hledání asociací.

Cílem analýzy je nalézt vztahy mezi podmnožinami atributů a formulovat je

jako asociační pravidla, v nichž spolu podmnožiny souvisí, jsou jedna druhé

příčinou nebo spolu za určité podmínky korelují. (Šarmanová, 2012b)

Výpočet asociačních pravidel má smysl pro kategoriální atributy. Reálné

atributy (pokud mají rozsáhlou doménu a pokud to dává smysl) je nutno

kategorizovat. Binární atributy mohou být pro tuto metodu považovány

za kategoriální. Výsledná pravidla se skládají z antecedentu a sukcedentu

7

(příčina a důsledek). Obě strany pravidla jsou tvořeny jedním nebo více

atributy nabývajícími konkrétních hodnot, které jsou v konjunkci. Pro každé

pravidlo je dána míra spolehlivosti a výše podpory hypotézy v datech.

Cílem analýzy rozhodovacími stromy je zjištění klasifikačních pravidel,

charakteristického popisu zadaných klasifikačních tříd, pomocí kombinací

hodnot atributů. (Šarmanová, 2012b) Klasifikační pravidlo odečtené

z výsledného stromu od kořene směrem k listu je obdobným výsledkem,

který poskytuje metoda hledání asociací. Z tohoto důvodu nebude tato

metoda při implementaci aplikována.

Cílem analýzy shlukováním je objevit v datech objekty, které si jsou

vzájemně podobné na základě konkrétních charakteristik (hodnot atributů).

V ideálním případě se objekty rozpadnou do shluků, jejichž charakteristika

je interpretována. (Šarmanová, 2012b). S ohledem na charakter evaluační

analýzy a dostupné datové vstupy není zapotřebí metodu shlukování

v rámci této práce aplikovat.

8

3. Cíle práce V rámci provedeného detailního průzkumu existujících evaluačních řešení,

nebyl nalezen kompletní, plně automatizovaný evaluační systém. Většina

evaluačních systémů nejsou komplexními řešení evaluace, ale pouze

částečnými, zaměřenými pouze na některé aspekty e-learningu, nebo je

evaluace prováděna s použitím manuálních prostředků. V mnoha případech

je evaluací nazýváno jednoduché hodnocení výuky prostřednictvím

studentských dotazníků po výuce. Pro adaptivní personalizované

e-learningové kurzy, které svou komplexitou a rozsahem mnohonásobně

zvyšují náročnost evaluace oproti standartním e-learningovým kurzům pak

nebylo nalezeno žádné ucelené a autorizované řešení.

S ohledem na tyto fakty je právě návrh takového komplexního systému

evaluace e learningových kurzů se zaměřením na adaptivní e-learningové

kurzy cílem této práce.

Cílem mé disertační práce je v návaznosti na výše zmíněný projekt adaptivní

personalizované výuky realizovat

komplexní systém evaluace e learningových kurzů, především se

zaměřením na adaptivní e learningové kurzy,

a na jeho základě navrhnout a implementovat evaluační systém jako

subsystém LMS Barborka. Evaluační systém je jistým způsobem systém

expertní, který dosud v e-learningu neexistuje, zvláště ne pro adaptivní

výuku ve smyslu teorie adaptivity.

Základní cíl disertační práce může být dále rozdělen do dílčích cílů:

teoretický návrh evaluačního modelu pro realizaci kompletní evaluace

výukové opory,

návrh metod pro hodnocení kurzu s ohledem na jeho adaptivitu

a poskytnutí zpětné vazby autorovi kurzu,

návrh a implementace evaluačního systému řešícího evaluaci,

pilotní ověření správnosti navrženého řešení na konkrétních

adaptivních kurzech.

V rámci této práce je cílem řešené evaluace nejen zhodnocení současného

stavu e-learningového kurzu, ale také poskytnutí konkrétní a detailní zpětné

9

vazby autorům systému řízení výuky (revize pravidel adaptivního systému,

na základě kterých je řízen proces výuky v kurzu) a autorům studijních opor

(odhalení nedostatků v těchto oporách, jež je nutné autory odstranit).

10

4. Teoretický návrh evaluačního systému Navrhovaný evaluační systém je jednoúčelový expertní systém pro evaluaci

adaptivních výukových e-learningových opor, respektujících principy teorie

adaptivní výuky podle (Kostolányová, 2012). Expertní pravidla, navržená,

implementovaná a ověřená na pilotním kurzu jsou realizována množinou

funkcí modulu Expert v LMS Barborka.

Evaluace jednoho předmětu bude probíhat ve třech věcných a časových

etapách:

• jednorázově před zavedením do výuky (odborné posudky),

• po dokončení výuky (studentské evaluační dotazníky),

• během a po procesu výuky (podrobný protokol o průběhu výuky

všech studentů včetně výsledků hodnocení znalostí).

Obrázek 2 - Součásti evaluačního systému

4.1. Evaluační posudky před výukou

Evaluace studijních opor před výukou bude realizována prostřednictvím

odborných posudků, v nichž experti slovní i kvantifikovanou formou

zhodnotí daný materiál z příslušných hledisek. Do evaluace budou zařazeny

následující posudky:

• odborný posudek (hodnotící odbornou a technickou správnost opory),

11

• pedagogický posudek (hodnotící oporu z hlediska aplikovaných

didaktických a pedagogických postupů),

• adaptivní posudek (hodnotící zpracování opory z hlediska její

adaptivity),

• laický posudek.

Na základě výsledků hodnocení je studijní opora v první fázi evaluace přijata

pro použití ve výuce nebo jsou již v této fázi provedena autorem opory

nápravná opatření k odstranění příslušných odhalených nedostatků.

Struktura těchto posudků byla navržena v rámci ESF projektů manažery

k evaluaci výukových opor tvořených v rámci těchto projektů (Šarmanová,

2012a). V rámci této práce byla analyzována struktura posudků a na základě

výsledků analýz byly posudky případně zefektivněny, upraveny z hlediska

jejich struktury a formulace otázek pro dosažení vyšší přesnosti.

Výsledná data získaná z evaluačních posudků byla analyzována za použití

následujících korelační analýzy a analýzy hlavních komponent.

Posudky byly na základě výsledků těchto analýz upraveny, otázky

přeformulovány pro lepší srozumitelnost a některé otázky sloučeny.

4.2. Studentská evaluace po výuce

Studentskou evaluací se rozumí zhodnocení kurzu a průběhu výuky

studentem po dokončení výuky. Cílem je ověření, zda preference

a požadavky studenta na kurz a výuku byly naplněny v dostatečné míře

pro efektivní dosažení vytýčených vzdělávacích cílů kurzu. Student

vyjadřuje svůj názor na absolvovaný kurz z pohledu srozumitelnosti,

komfortu práce, uživatelské přívětivosti a (ne)vyhovujících postupů učení.

Toto hodnocení je realizováno prostřednictvím kvantifikovaného dotazníku

a získaná data jsou uložena do databázové tabulky.

Data získaná ze studentské evaluace jsou nejen přímou zpětnou vazbou

pro autory opor, ale podstatným zdrojem informací také v kontextu s daty

získanými z evaluace studijních opor. Hodnotící názory expertů se mohou

v mnoha ohledech podstatně lišit od názorů studentů.

12

4.3. Evaluace učebního procesu

Nejpodrobnější informace o procesu výuky jsou získány z podrobného

protokolu, zaznamenaného jednou z funkcí LMS v průběhu všech režimů

výuky. LMS eviduje všechny akce (= kliky) studenta v kurzu a ukládá je

do databáze jako protokol o jeho činnosti. Evaluace procesu výuky je

realizována analýzou tohoto protokolu. Pro analýzy budou použity jednak

metody matematické statistiky, jednak metody získávání znalostí z dat.

4.3.1. Předzpracování dat protokolu pro analýzy

Prvním krokem je předzpracování dat protokolu do podoby vhodné

pro jednotlivé analýzy. Tabulku protokolu je nutné propojit s navazujícími

tabulkami, zvolit atributy vstupující do analýz, odvodit nové zajímavé

atributy a kategorizovat numerické atributy. Výsledná datová sada

obsahuje atributy popisující osobnost studenta, výukovou oporu, akce

a jejich okolnosti a znalosti, dovednosti a chování studenta.

Cílem analýzy je zjištění možných závislostí, stereotypů a obecně podmínek

ovlivňujících vzdělávací proces studentů e-learningových kurzů v prostředí

adaptivního LMS Barborka. Z podrobných informací o procesu výuky je

úkolem evaluace zjistit (podle prokázaných a evidovaných znalostí,

dovedností a podle chování studenta) odpovědět na otázky „Co vedlo k“:

• určitému výsledku měření znalostí,

• množství času stráveného nad oporou,

• manuální změně nabídnuté opory.

Vzhledem k charakteru dat budou prováděny následující analýzy:

• základní statistické charakteristiky;

• analýzy s použitím statistických metod (korelační analýza, hlavní

komponenty)

• analýzy příčin úrovně znalostí (hledání asociací);

• analýzy času stráveného nad oporou (hledání asociací);

• analýzy zásahů studenta do adaptivního řízení (hledání asociací).

Výsledky jednotlivých analýz se vzájemně doplňují a mohou svými výsledky

poukázat na další zajímavé skutečnosti v datech, na jejichž základě může být

13

rozmyšleno zařazení dalších analytických výpočtů. Kombinace výsledků

jednotlivých analýz může rovněž potvrdit či vyvrátit získaný výsledek.

Výsledná vstupní data analýz jsou rozdělena do dvou tabulek, z nichž se

vybírají atributy pro následující analýzy. Tyto dvě tabulky můžeme popsat

následovně:

• základní protokol o akcích nad vrstvami (dále Protokol 1),

• rozšířený protokol o jednotlivých odpovědích u testovacích vrstev

(dále Protokol 2).

Rozdělení do dvou tabulek bylo zvoleno s ohledem na charakter dat.

4.3.2. Základní statistické charakteristiky dat

Jednou ze základních charakteristik opory, kterou je třeba zohlednit při

evaluaci je existence (dostupnost) všech adaptivních variant v systému –

4 smyslové varianty ve 3 hloubkách (celkem 12 variant). Pro každou

variantu je dále zkoumáno zastoupení konkrétních typů vrstev. Autorovi je

tak poskytnut detailní přehled o úplnosti výukové opory.

Jako základní pohled na data o výuce je vhodné poskytnou autorovi přehled

o všech dostupných atributech popsaných základními charakteristikami

jako: rozsah domény (count, min, max), střední hodnota (med), směrodatná

odchylka (std), četnost (freq), počet prázdných hodnot (null), rozložení

hodnot. Výsledky jsou uspořádány do tabulky, rozložení hodnot je možno

vyjádřit grafem.

Z těchto hodnot je možné získat některé užitečné informace, například o:

• době strávené studenty nad výukovými vrstvami,

• rozsahu manuálních zásahů studentů do řízení výuky,

• učebně-stylových charakteristikách studentů,

• typech vrstev předložených studentům,

• úspěšnosti studentů u testových otázek,

• počtech odpovědí na otázky,

• správnosti studentských odpovědí, atd.

Detailnější přehledy jsou pak zpracovány pro jednotlivé vrstvy a testovací

vrstvy, a to s následujícími charakteristikami: absolutní a relativní četnost

14

zobrazení, čas nad vrstvou (minimum, maximum, průměr, medián), relativní

četnost manuálních zásahů do řízení výuky nad vrstvou.

4.3.3. Použití statistických metod

Další zajímavou informací pro autora může být odhalení některých závislostí

mezi atributy, buď mezi dvojicemi atributů pomocí korelací, nebo odhalení

případných skrytých proměnných jako lineárních kombinací atributů

pomocí hlavních komponent.

Cílem korelační analýzy je zjištění vzájemných závislostí mezi atributy

popisujícími studijní oporu, resp. jednotlivé vrstvy, jež ji tvoří. Na základě

takového zjištění je možné zvážit vyřazení jednoho z atributů z dalších

analýz a rovněž danou závislost interpretovat.

Příkladem potenciálního zajímavého výsledku může být následující zjištění:

Z analýzy zjistíme silnou korelaci atributů „čas strávený studiem vrstvy“,

„vizuální složka vrstvy“. Tedy čím více jsou vrstvy vizuálního typu, tím více

času jim studenti věnovali. V takovém případě je vhodné s přihlédnutím k

výsledkům dalších analýz poskytnout tento výsledek autorům k posouzení.

Cílem analýzy hlavních komponent je zjistit, jestli jsou zkoumaná opora (její

vrstvy) charakterizována vzájemně nezávislými znaky, což je žádoucí stav.

Vzájemná závislost znaků může ovlivnit výsledky analýzy. Prokázaná hlavní

komponenta může odhalit skrytou, neměřitelnou vlastnost opory.

4.3.4. Analýzy příčin úrovně znalostí

Cílem analýzy je identifikovat všechny příčiny dobrých i špatných výsledků

studentů při měření znalostí plynoucích ze struktury výukové opory, z

pokrytí a kvality variant a vrstev, osobních charakteristik učebních stylů

studentů, aktivit studentů při výuce a vnějších okolností, a jejich kombinací.

Pro tyto analýzy použijeme především metodu hledání asociací, která umí

odhalit i případné vztahy mezi příčinami a následky, které jsou

neočekávané. Budeme zadávat množiny antecedentových atributů =

potencionálních příčin pro zadaný sukcedent, potencionální důsledek =

úroveň výsledných znalostí nebo naopak. Atributy protokolů popisující

výukovou oporu, osobnost studenta a akci a její okolnosti mohou být ze své

podstaty považovány za příčiny (antecedenty) a atributy popisující znalosti,

15

dovednosti a chování studentů pak za důsledky (sukcedenty). Výpočet

analýzy bude proveden s požadavkem na minimální podporu 70%

a s maximální délkou antecedentu 3.

4.3.5. Analýzy příčin množství času stráveného nad oporou

Každá akce studenta v systému je zaznamenána včetně časového razítka

dané akce. Tato informace umožňuje odvození délek časů strávených

studentem nad danou aktivitou vzhledem k jejich časové posloupnosti.

Z hlediska evaluace opory je zajímavé zkoumat délku času stráveného

nad jejími dílčími prvky. Cílem této analýzy je zjištění příčin vedoucí k tomu,

že studenti nad oporou tráví neúměrně krátkou nebo příliš dlouhou dobu

nad konkrétními částmi opory. Výsledky mohou poukázat na možné

nedostatky v opoře. Tematické kategorie atributů výuková opora, osobnost

studenta a akce/okolnosti zahrnují atributy, které mohou být ze své logické

podstaty považovány za antecedenty (příčiny).

Analýza bude realizována prostřednictvím metody hledání asociací

s požadavkem na minimální spolehlivost 70% a max. délku sukcedentu 3.

4.3.6. Analýzy příčin zásahů studenta do adaptivního řízení

V automatickém režimu výuky je proces studia řízen systémem řízení výuky

LMS. Systém dle zadaných pravidel vybírá dílčí součásti opory vhodných

charakteristik, které jsou v určitém pořadí prezentovány studentu. LMS

při výběru konkrétní varianty části opory zohledňuje osobnostní

charakteristiky studenta stejně jako opory a jeho cílem je poskytnutí

vhodného vzdělávacího objektu. Student má v případě, že to uzná za nutné

(vhodné) možnost do tohoto automatického řízení manuálně zasáhnout.

V případě, že to udělá, můžeme usuzovat, že automaticky nabídnutá část

výukové opory z nějakého důvodu studentu nevyhovovala a tento se

rozhodl k manuální změně. Odhalení takového chování nad konkrétními

celky výukové opory je zásadní součástí evaluace opory a zpětnou vazbou

autorům.

Tematické kategorie atributů výuková opora, osobnost studenta

a akce/okolnosti zahrnují atributy, které mohou být ze své logické podstaty

považovány za antecedenty (příčiny). Analýza bude provedena pomocí

16

metody hledání asociací s požadavkem na minimální podporu 70% a max.

délku antecedentu 3.

4.4. Integrace výsledků

Jednotlivé definované části evaluace (evaluační posudky, studentská

evaluace, evaluace učebního procesu) poskytující zpětnou vazbu je vhodné

jednotlivé výsledky evaluačních modulů integrovat do komplexního

evaluačního výpisu Tento finální výsledek poskytne autorovi:

přehled o daném předmětu (meta datech, počtech zapsaných

studentů, struktuře a vlastnostech dílčích celků opory, existenci

adaptivních variant částí opory co do smyslu a hloubky),

pohled na data evaluačních posudků prostřednictvím statistických

charakteristik (informace o počtu posudků, hodnocení každého

bodu, celkových hodnoceních opory).

Tato data jsou k dispozici již před zahájením výuky a autor tak na jejich

základě může navrhnout nápravná opatření a implementovat je upravením

opory ještě před jejím zařazením do živé výuky.

Po výuce, kdy jsou k dispozici data z modulu studentské evaluace, jsou

výsledky evaluačních posudků doplněny o studentskou evaluaci, ve stejném

formátu jako výsledky evaluačních posudků. Autor může porovnat výsledky

evaluace odbornými a laickým posudkem s výsledky evaluace studentské.

Toto porovnání může být velmi přínosné, protože ne vždy se názory

odborníků a studentů shodují.

Evaluace učebního procesu může být prováděna již v průběhu výuky, anebo

po jejím ukončení. V případě, že výuka stále probíhá, autorovi je poskytnut

náhled na data a výsledky evaluace. Je nutno přihlédnout k faktu, že výuka

ještě neskončila a datová sada pro daný předmět není úplná.

Systém autorovi poskytne následující informace o učebním procesu:

přehled o měření znalostí (celkové výsledky pro předmět, výsledky

pro dílčí celky – rámce a konkrétní testovací vrstvy),

přehled o množství času stráveného nad oporou (pro předmět,

rámce a jednotlivé vrstvy a testovací vrstvy),

přehled o manuálních zásazích studentů do řízení výuky,

17

tematicky strukturovaný přehled nalezených asociací z analýz.

Výsledky evaluace učebního procesu jsou pak porovnány s dostupnými

výsledky evaluačních dotazníků a studentské evaluace, názor je porovnán

se zaznamenanou realitou, skutečným chováním studentů.

Za další úroveň tohoto navrženého řešení může být považováno zařazení

expertního systému provádějícího evaluaci na základě expertních pravidel

navržených na základě jak výsledků posudků a studentské evaluace, tak

především asociací odhalených analýzami učebního procesu. Formulace

takových expertních pravidel není součástí této dizertační práce,

nýbrž předmětem dalšího výzkumu, který je možno realizovat

po shromáždění dostatečných výsledků (dat) z více adaptivních předmětů.

18

5. Implementace evaluačního systému Navržený evaluační systém se všemi jeho dílčími částmi, funkcemi

a uživatelským prostředím je zapojen do struktury systému řízení výuky

Barborka (viz obrázek níže), konkrétně v modulu Expert, kde bude

k dispozici autorům.

Obrázek 3 - Zapojení evaluačního systému do struktury LMS Barborka

5.1. Akvizice dat

Prvním krokem implementace je zajištění vstupních dat evaluačního

systému. Funkce systému jsou závislé na datech z evaluačních posudků,

studentské evaluace a protokolu o výuce.

Evaluační dotazníky a dotazníky studentské evaluace implementujeme

jakou součást systému. Hodnotitelé nebo studenti je tak mohou vyplnit

přímo v prostředí LMS a získaná data budou uložena v požadovaném

formátu v databázi. Protokol o výuce je rovněž ukládán systémem

do databázových tabulek.

5.2. Příprava dat

Data protokolu o výuce musí projít automatickým předzpracováním,

při němž je proveden sběr dat z více databázových tabulek, výběr/filtrace

atributů, odvození a dopočítání nových/chybějících atributů a kategorizace

atributů. Pro každý z těchto úkonů nad daty byly v systému

implementovány funkce a procedury, ať již nad databází nebo v aplikaci

19

LMS Barborka. Výsledkem je základní datová tabulka Protokol1, která je

dále roznásobením propojena se záznamy o testovacích vrstvách

a odpovědích, aby vytvořila protokol o testovacích vrstvách – Protokol2.

5.3. Výpočty základních charakteristik

V této části byly řešeny dvě základní skupiny charakteristik, a to strukturální

(přehled o předmětu a jeho struktuře a dílčích částech) a statistické

(navržené statistické charakteristiky dat o předmětu a jeho vrstvách).

Data pro poskytnutí strukturálních přehledů jsou získávána přímými dotazy

nad databází, které byly připraveny jako uložené funkce (stored procedures)

v databázi. Pro práci s těmito daty pak byly naprogramovány webové

objekty a stránky, které jsou součástí LMS Barborka a poskytují tak

uživatelské rozhraní, které data zpracuje a zobrazí v tabulce autorům.

Pro základní charakteristiky jako počet hodnot, minimální a maximální

hodnota, četnost, atd. bylo využito existujících funkcí databázového

motoru. Pro výpočet mediánu byla naprogramována chybějící funkce.

5.4. Statistické analýzy a analýzy prostřednictvím metod

V rámci statistických analýz je prováděna korelační analýza a analýza

hlavních komponent. Obě tyto analýzy jsou prováděny nad reálnými

atributy. Analytické výpočty jsou prováděny prostřednictvím existujících

programů, které jsou zpracovány v programovacím jazyku Pascal,

zkompilovány a implementovány přímo na serveru.

Naprogramované funkce nejprve připraví data v požadovaném formátu.

Funkce zvolí pouze atributy s reálnými hodnotami a tyto hodnoty zapíše

do vstupního textového souboru. Následně skript spustí příslušný program

na serveru, který provede výpočet analýzy a výsledky zapisuje

do výstupního souboru, ze kterého je finální výsledek načten, zpracován

do vhodné podoby a zobrazen v přehledném formátu autorům.

Výsledky zahrnují v případě statistických analýz korelační matici, vlastní

čísla korelační matice a vlastní vektory korelační matice – koeficienty

hlavních komponent. V případě analýz prostřednictvím hledání asociací jsou

to pak výsledná asociační pravidla, která je nutno automaticky „přeložit“

do jazyka jednoduše srozumitelného autorovi.

20

6. Pilotní testování evaluačního systému Pro pilotní testování byly k dispozici celkem 2 předměty, pro něž v systému

LMS Barborka reálně proběhla výuka nebo testování v adaptivním režimu

a jsou tak k dispozici příslušné protokoly o výuce. Jedná se o tyto předměty:

Business English 1,

Matematika.

První předmět Business English 1 se co do komplexnosti využití možností

LMS zaměřovaly spíše na výuku samotnou – tedy v režimu výuky. Z analýzy

protokolu vyplývá, že testování v rámci předmětu proběhlo pouze jako

okamžitá zpětná vazba pro řízení výuky, bez samostatného testování. Není

tak k dispozici rozsáhlá datová sada o tomto aspektu adaptivní

e-learningové výuky. Naopak předmět Matematika se naopak výhradně

zaměřuje na využití adaptivního testování a poskytuje tak velmi komplexní

data co se týče tohoto aspektu. Výukových/studijních aktivit v tomto

předmětu je velmi málo, téměř žádné.

Tyto fakty byly zohledněny při analýzách, které byly provedeny právě podle

zaměření předmětu tak, aby bylo zaručeno otestování kompletního

evaluačního modelu.

6.1. Předmět Business English 1

Pro tento předmět jsou k dispozici záznamy o výuce pro celkem

277 studentů (uživatelů) a v celkovém počtu 39 603 záznamů v Protokolu 1

(výuka) a 57 738 záznamů v Protokolu 2 (testování).

Na základě meta dat o výukové opoře byl zpracován a poskytnut autorům

podrobný přehled o struktuře výukové opory (předmětu) na všech jeho

úrovních – předmět, lekce, rámce a jeho varianty, ze kterého je například

patrné, že více rámců existuje pouze v jedné smyslové variantě. Vzhledem

k tomu, že se jedná o jazykovou výuku, je tento fakt opodstatnitelný

(např. pouze auditivní varianta pro část nácviku poslechu).

Dále byly zpracovány základní statistické charakteristiky dat, ze kterých

vyplývá například, že se výuky zúčastnilo 277 studentů, kteří podle mediánu

trávili nad vrstvami přibližně 19 sekund, a to nejčastěji ve 4 sezeních.

Při výuce bylo použito 45 vrstev a 56 testovacích otázek a medián hodnot

21

procentuálních výsledků měření znalostí je 64%. Pro každou vrstvu

předmětu, která byla součástí výukového procesu, byly zpracovány základní

statistické charakteristiky v navrženém formátu.

Korelační analýza byla provedena nad 21 reálnými atributy protokolu. Byla

zjištěna silná korelace mezi auditivní a verbální smyslovou charakteristikou

vrstev. Zjištěná korelace těchto dvou atributů může být považována

za přirozenou. Předmět se zabývá jazykovou výukou a dá se tedy

předpokládat, že většina auditivních vrstev se zaměřuje na mluvené slovo

(nácvik poslechu a porozumění). Takové vrstvy mohou mít tedy vysokou

auditivní, ale zároveň i verbální smyslovou složku. Analýza dále poskytla

některé očekávané výsledky, které potvrzují její validitu.

Nad stejnými atributy byla provedena analýza hlavních komponent.

Vypočtené hodnoty vlastních čísel klesají plynule, a nelze vysledovat žádný

podstatný hodnotový zlom, který by naznačoval výraznou hlavní

komponentu v datech.

Pro předmět byla dále provedena analýza příčin výsledků měření znalostí.

Nad kategorickými atributy proveden výpočet asociací, jehož výsledkem

bylo celkem 267 pravidel. Pro velmi dobré a dobré výsledky (66-100%),

částečně dobré (26-65%) a špatné výsledky (1-25%) nebyly nalezeny žádné

zjevné příčiny. Pravidla však poskytla některé očekávané výsledky

potvrzující validitu výpočtu. Pro velmi špatné výsledky (0%) byly nalezeny

například následující příčiny:

vrstvy předmětu v hloubce 1 mohou být příliš obtížné či těžko

srozumitelné studentům,

v předmětu částečně chybí kinestetické varianty a varianty

poskytované jako náhradní silně kinestetickým studentům nevyhovují,

špatných výsledků u silně kinestetických studentů je zvláště

dosahováno, pokud jsou varianty převážně verbálního typu,

v případě otázek s tvořenou odpovědí, nad kterými studenti strávili

velké množství času, byly výsledky měření znalostí špatné (prověřit

konkrétní případy - otázky).

22

Analýza příčin množství času stráveného nad oporou byla provedena

s použitím metody hledání asociací nad kategorickými atributy. Výsledkem

bylo celkem 119 asociačních pravidel vztahujících se převážně k velmi

krátkým časům nad oporou (0-2 sekundy). Výsledkem analýzy jsou

následující zjištění:

při vysokém počtu odpovědí na otázku (6 odpovědí) tráví studenti

nad vrstvami velmi krátký čas – 0-2 sekundy, množství odpovědí je

vhodné zredukovat,

pro střední až delší doby nad oporou nebyly nalezeny žádné zjevné

příčiny.

Mezi výslednými pravidly se vyskytovalo několik předpokládaných pravidel,

které potvrzují validitu výsledků analýzy.

Analýza zásahů studenta do adaptivního řízení byla provedena s použitím

metody hledání asociací nad kategorickými atributy. Výsledkem bylo

celkem 57 asociačních pravidel. Atribut značící zásah studenta do řízení je

typu boolean. Pro hodnoty 0 (nedošlo k zásahu do řízení) nebylo vypočteno

žádné pravidlo, všechna pravidla se týkala hodnoty 1 (zasáhl do řízení),

což je pro tuto analýzu podstatná hodnota. Výsledkem analýzy jsou

následující zjištění:

vizuální varianty v hloubce 1 (nejkomplexnější varianta

pro pokročilé studenty) nevyhovují silně auditivním studentům,

což poukazuje na zásadnost nedostatku kinestetických vrstev v této

hloubce v předmětu, které je vhodné doplnit,

studenti s nízkou hodnotou motivace ke studiu manuálně zasahují

do řízení po delší době strávené nad vrstvou, stejně jako studenti

s motivací naopak velmi vysokou. Je vhodné prozkoumat příčiny

dlouhé doby nad vrstvou, která toho může být příčinou,

k manuálnímu zásahu do řízení výuky dochází u slabě vizuálních

variant, nad kterými studenti trávili mnoho času. Je vhodné tyto

varianty přezkoumat co do jejich srozumitelnosti a zpracování.

Rovněž u této analýzy výsledky zahrnovaly množství předpokládaných

pravidel, které potvrzují její validitu.

23

6.2. Předmět Matematika

Pro tento předmět jsou k dispozici záznamy o výuce pro celkem 52 studentů

(uživatelů) a v celkovém počtu 2 117 záznamů v Protokolu 1 (výuka)

a 995 záznamů v Protokolu 2 (testování).

Na základě metadat o výukové opoře byl zpracován a poskytnut autorům

podrobný přehled o struktuře výukové opory (předmětu) na všech jeho

úrovních – předmět, lekce, rámce a jeho varianty, ze kterého je například

patrné, že více rámců existuje pouze ve vizuálních a verbálních variantách.

Vzhledem k tomu, že se jedná o předmět Matematika a navíc v tomto

konkrétním případě zaměřený na adaptivní testování spíše než na výuku,

může být toto rozložení považováno za opodstatněné. Je dále

na rozhodnutí autora zvážit, zda je logicky možné pro tyto rámce připravit

i auditivní a kinestetické varianty.

Dále byly zpracovány základní statistické charakteristiky dat, ze kterých

vyplývá například, že se výuky zúčastnilo 52 studentů, kteří podle mediánu

trávili nad vrstvami přibližně 10 sekund, a to nejčastěji v 1 sezení. Při výuce

bylo použito 132 testovacích otázek a medián hodnot procentuálních

výsledků měření znalostí je 47%. Podle mediánu jsou vrstvy nejčastěji

v hloubce 2 (základní) a otázky byly přibližně ohodnoceny autorem ziskem

3 bodů. Pro vrstvy i testovací vrstvy předmětu, které byly součástí

výukového procesu, byly zpracovány základní statistické charakteristiky

v navrženém formátu, a to včetně detailního přehledu o jednotlivých

odpovědích testovacích otázek, nejen otázkách celkově. Z tohoto přehledu

je patrné, že některé konkrétní odpovědi byly studenty velmi často

nebo i vždy zodpovězeny chybně. Autorovi byla navržena bližší inspekce

těchto odpovědí, co se týče jejich srozumitelnosti a zpracování.

Korelační analýza byla provedena nad 21 reálnými atributy protokolu.

Výsledek korelační analýzy nepřinesl žádné nové zajímavé poznatky. Byly

odhaleny silné korelace mezi hodnotami atributů o charakteristikách

učebních stylů studentů. Tyto korelace však nemají žádný vztah k předmětu

či jeho výuce. V rámci korelační analýzy byly zároveň vypočteny korelace

nad daty Protokolu 2 – detailní záznamy o jednotlivých odpovědích

24

na testovací vrstvy (otázky). Výpočet proběhl nad 33 reálnými atributy

Protokolu 2. Výsledky této analýzy nepřinesly žádné zajímavé výsledky,

pouze potvrdily výsledky očekávané.

Nad stejnými atributy byla provedena analýza hlavních komponent.

Z vypočtených vlastních čísel je patrný prudký propad hned po prvním čísle,

což poukazuje na jednu výraznou hlavní komponentu v datech. Po bližším

prozkoumání a interpretaci komponenty je možno říci, že všechny

významné atributy, které jsou součástí vypočtené hlavní komponenty, mají

jako společnou vlastnost konstantnost jejich hodnot v datovém souboru.

Výsledná komponenta tak nepřináší nové zajímavé skutečnosti.

V návaznosti na korelační analýzu provedenou nad daty Protokolu 2

o jednotlivých odpovědích testovacích vrstev, byla nad těmito daty

provedena i analýza hlavních komponent. Výsledná vlastní čísla prokázala

existenci jedné hlavní komponenty. K této komponentě přispívají téměř

všechny atributy vstupující do analýzy. Její význam je takto nemožné přesně

interpretovat.

Pro předmět byla dále provedena analýza příčin výsledků měření znalostí.

Nad kategorickými atributy proveden výpočet asociací, jehož výsledkem

bylo celkem 5 pravidel s jedinou hodnotou sukcedentu - velmi špatné

výsledky (0%). Analýza poskytla například následující výsledky:

pro velmi dobré, dobré ani částečně dobré výsledky testování

nebyly nalezeny žádné zjevné příčiny;

nulového výsledku při měření znalosti bylo dosahováno u vrstev

typu „úloha“, které studenti vynechávali. Vzhledem k převažující

většině typu vrstev „úloha“ je vhodné prozkoumat příčiny krátkého

času nad vrstvami;

u otázek s tvořenou odpovědí, nad kterými studenti trávili velmi

málo času (0-2 sekundy), bylo dosaženo nulového výsledku

při měření znalostí;

studenti s nízkou charakteristikou „úspěšnost“ při akci ve čtvrtém

sezení, kteří trávili nad vrstvami velmi krátkou dobu, dosahovali

25

výsledku 0%. Je vhodné prozkoumat příčiny krátkého času

nad vrstvou v dalších analýzách;

studenti s nízkou „úspěšností“, kteří trávili nad vrstvami 21-40

sekund v odpoledních hodinách, dosáhli výsledku 0%. Je vhodné

prozkoumat konkrétní vrstvy, které podporují pravidlo z hlediska

jejich motivační složky.

Vzhledem k zaměření předmětu na adaptivní testování, byla provedena

navíc podrobná analýza jednotlivých odpovědí testovacích vrstev

na základě záznamů Protokolu 2. Výsledky zahrnovaly následující zjištění:

příčiny správného zodpovězení otázky nebyly nalezeny v žádných

pravidlech;

studenti s nízkou hodnotou charakteristiky „úspěšnost“ odpovídali

špatně na otázky, je vhodné ověřit motivační složku otázek;

špatné odpovědi na otázky se projevily u vizuálních variant, které je

nutno prověřit z hlediska jejich srozumitelnosti a vhodnosti

zpracování;

silně vizuální studenti odpovídali špatně na otázky, je vhodné

prověřit dostupnost vizuálních variant v systému a v případě, že tyto

varianty jsou dostupné, prověřit jejich zpracování;

jednotlivé odpovědi na otázky byly studenty využity špatně

(pozn. špatné odpovědi považovány za správné a naopak správné

odpovědi považovány za špatné) v případech kdy:

o se jednalo o verbální variantu,

o verbální složka varianty byla vysoká,

o vizuální složka varianty byla nízká.

Tato tři pravidla se vzájemně potvrzují a ve výsledku je možné je

zredukovat a říci, že odpovědi byly využívány špatně u verbálních

variant. Otázky této varianty je nutné prověřit.

Analýza příčin množství času stráveného nad oporou byla provedena

s použitím metody hledání asociací nad kategorickými atributy. Výsledkem

bylo celkem 17 asociačních pravidel. Po odfiltrování pravidel, ve kterých

na obou stranách, jak v antecedentu, tak v sukcedentu, figurovaly atributy

26

týkající se délky času nad oporou (pozn. tento fakt byl zapříčiněn spojením

výpočtu do jednoho s ostatními analýzami, ve kterých je délka času

nad oporou v antecedentu považována za smysluplnou) nezůstala

k dalšímu rozboru žádná asociační pravidla.

Analýza zásahů studenta do adaptivního řízení byla provedena s použitím

metody hledání asociací nad kategorickými atributy. Výpočet asociací

neposkytl v tomto případě žádná asociační pravidla a tedy ani žádné zjevné

příčiny manuálních zásahů studenta do řízení výuky.

6.3. Využití výsledků

Zpracované přehledy o struktuře předmětu, stejně jako základní statistiky

a výsledky korelační analýzy, analýzy hlavních komponent, příčin výsledků

měření znalostí, příčin množství času stráveného nad oporou a zásahů

studenta do adaptivního řízení byly v plném rozsahu prezentovány autorům

zkoumaných opor pro předměty Business English 1 a Matematika.

Autoři tyto výsledky a formu a komplexnost jejich zpracování ocenili

a využili při ověřování částí opory nebo testových otázek, na které výsledky

upozornily. Na základě toho byly některé části opor a některé testové

otázky upraveny a doplněny některé chybějící obsahy, kde to bylo logicky

možné.

27

7. Závěr

7.1. Shrnutí výsledků práce

Hlavním požadavkem kladeným na řešený evaluační systém je při evaluaci

zohlednit veškeré elementy účastnící se vzdělávací interakce a nesčetné

aspekty ovlivňujících proces adaptace výuky. Pro dosažení komplexnosti

evaluace, tedy evaluace takové, která by postihovala kurz po všech jeho

stránkách a na základě různých úhlů pohledu, zahrnuje navrhované řešení

evaluaci ve třech fázích:

• před zahájením výuky prostřednictvím vyhodnocení posudků

studijních opor, tedy výukového obsahu daného kurzu a jeho

pedagogické kvality,

• bezprostředně po ukončení výuky v každém běhu kurzu analýzou

evaluačních dotazníků od studentů,

• po dlouhodobějším provádění výuky analýzou automaticky

pořizovaného protokolu s detailními záznamy studentské činnosti

v kurzu.

Závěrem je celková zpráva o evaluaci kurzu na základě posudků studijních

opor, studentského hodnocení výuky prostřednictvím dotazníků

i protokolu. S ohledem na cíle této disertační práce a návaznost na zmíněný

projekt adaptivního e learningu provozovaného v LMS Barborka, je práce

zvláště zaměřena na adaptivní e learningové kurzy, s evaluací všech dílčích

částí výukového obsahu a aktivit studentů nad těmito.

Byly definovány přístupy k provedení evaluace a tak i dosažení stanovených

cílů disertační práce a navržen evaluační model pro realizaci této systémové

evaluace. Byly ujasněny zdroje vstupních dat evaluace, jejich sběr, struktura

a další formování pro potřeby datových analýz, jež jsou základem pro

formulaci expertních pravidel systému. Rovněž bylo navrženo řešení

evaluace z hlediska datového, analytického i hlediska technické

implementace a struktury systému, jakožto podklad pro provedení

a naplánování samotné realizace celého evaluačního systému. Byla

provedena detailní analýza protokolu o činnosti v LMS Barborka a navrženy

28

a implementovány algoritmy pro jeho zpracování do podoby vhodné

pro další analýzy, které byly následně na datech realizovány.

Navržené řešení evaluačního systému včetně jeho funkcí předzpracování

dat, matematických statistik a analýz data-miningovými metodami bylo

implementováno jako samostatný adherentní model LMS Barborka

a ověřeno v praxi na dvou adaptivních kurzech, jež byly v LMS Barborka

realizovány. Výsledky evaluace byly vyhodnoceny a předloženy autorům

kurzů s návrhy doporučených nápravných opatření. Autoři poskytnuté

výsledky evaluace ocenili jako přínosné a srozumitelné.

Výsledkem této práce je teoretický model komplexního evaluačního

systému, který byl implementován a ověřen v praxi. Tento model umožňuje

detailní a hloubkovou evaluaci e learningových kurzů, se speciálním

zaměřením na adaptivní kurzy, která by bez plné automatizace byla

v takovém rozlišení nerealizovatelná manuálně.

7.2. Náměty na pokračování výzkumu

Evaluační systém, který je řešen v rámci této práce, poskytuje výsledky

ve formě přehledů, statistických charakteristik a asociačních pravidel

(hypotéz). Systém a jeho výstupy mohou být dále použity jako základ pro

dedikovaný expertní systém, který na základě expertních pravidel provede

automatické vyhodnocení či interpretaci získaných hypotéz, které jsou

v současnosti interpretovány autory/hodnotiteli. Vytvořením nástavby

expertního systému nad implementovaným evaluačním systémem by bylo

dosaženo ještě vyšší úrovně automatizace evaluace e-learningových kurzů

a byla by limitována možnost chyby lidského faktoru při interpretaci

výsledků evaluačního systému.

Další možností pokračování je napojení evaluačního systému

na automaticky tvořené sémantické sítě, jež byly řešeny a implementovány

v rámci jiného výzkumu v souvislosti s adaptivní výukou a projektem LMS

Barborka, jehož je evaluační systém součástí. Tyto sémantické sítě jsou

detailním vyjádřením pojmů a jejich vztahů ve výukové opoře a jejich

používání studenty při výuce je detailně protokolováno. Logickým

pokračováním této práce by bylo rozšíření působení evaluačního systému

29

rovněž nad těmito sémantickými sítěmi pojmů, jelikož práce s nimi je

součástí vzdělávacího procesu v adaptivních kurzech.

30

8. Seznam použité literatury ATTWELL, G. Evaluating e-learning : a Guide to the Evaluation of E-learning. California, USA:

Creative Commons, 2006. 46 s. Dostupné z WWW: <http://www.pontydysgu.org/wp-

content/uploads/2007/11/eva_europe_vol2_prefinal.pdf>. ISSN 1610-0875.

CELBOVÁ, I. Úvod do problematiky expertních systémů. Ikaros [online]. 1999,

roč. 3, č. 8 [cit. 2009-06-24]. Dostupný z: <http://www.ikaros.cz/node/393>.

CLARK, R. C., MAYER, R. E. E-learning and the science of instruction: Proven guidelines for

consumers and designers of multimedia learning. 3rd ed. John Wiley & Sons, 2011, ISBN

978-0-470-87430-1

DOLOG, P., HENZEL, N., NEJDL, W., SINTEK, M. (2004) Personalization in distributed e-

learning environments. International World Wide Web Conference. 13. New York, USA.

ACM Press. 170-179. Dostupný z:

<http://www.www2004.org/proceedings/docs/2p170.pdf>.

DURKIN, J. Expert systems: design and development. Macmillan Publishing Company, 1994,

800 s. ISBN 00-233-0970-9.

EGER, L. E-learning, evaluace e-learningu + případová studie z projektu Comenius. Vydání

první. Plzeň: Západočeská univerzita, 2004. 74 s. ISBN 80-7043-265-9.

EHLERS, U. D., PAWLOWSKI, J. M. (ed.). Handbook on Quality and Standardisation in E-

learning. Berlin-Heidelberg: Springer, 2006. 575 s. ISBN: 978-3-540-32787-5.

FITZPATRICK, J. L., SANDERS, J. R., WORTHEN, B. R. Program evaluation: alternative

approaches and practical guidelines. 4th ed. UpperSaddle River, N.J.: PearsonEducation,

2010. ISBN 02-055-7935-3.

GIARRATANO, J., RILEY, G. Expert systems principles and programming. [Ying yin ban]. Bei

jing: Ji xie gong ye chu ban she, 2002. ISBN 71-111-0844-2.

HUGES, G; ATWELL, J. (2003). a framework for the evaluation of e-learning [online]. London

: KnowNet,[cit. 2010-01-10].Dostupný z:

<http://www.theknownet.com/ict_smes_seminars/papers/Hughes_Attwell.html>.

CHEN, Chih-Ming; LEE, Hahn-Ming; CHEN, Ya-Hui. Personalized e-learning system using

Item Response Theory. Computers & Education. Volume 44, Issue 3, April 2005, Pages 237-

255, ISSN 0360-1315.

KALHOUS, Z., OBST, O. a kol. Školní didaktika. 1. vydání. Praha: Portál, 2002. 447s. ISBN 80-

7178-253-X.

KAPOUNOVÁ, J. Přístupy k evaluaci eLearningu. In: KAPOUNOVÁ, J. Přístupy k evaluaci

eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, s. 17-34. ISBN 978-80-

7464-121-3.

KOSTOLÁNYOVÁ, K. Hodnocení adaptovatelnosti studijních opor. In: KAPOUNOVÁ, J.

Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, s. 35-

53. ISBN 978-80-7464-121-3.

31

KOSTOLÁNYOVÁ, K. Nová forma výuky – adaptivní e-learning. 2014 [online]. [cit. 2015-08-

04]. Dostupné z: http://cejsh.icm.edu.pl/cejsh/element/bwmeta1.element.desklight-

7c668c1d-4da9-456d-8ee7-4ee7d24dcbcf/c/041.pdf

KHAN, B. H. Managing e-learning: design, delivery, implementation, and evaluation.

Hershey, PA: Information Science Pub., c2005, 424 s. ISBN 15-914-0636-6.

KIRKPATRICK, J., KIRKPATRICK, W. K. Kirkpatrickův čtyřúrovňový model: Nový pohled po 50

letech [online]. 04/2009 [cit. 2011-09-01]. Dostupné z WWW:

<http://www.develor.cz/develorcz/develorcz_files/File/kirkpatrickovy4urovne-

novypohledpo50%20letech2.pdf>.

KOSTOLÁNYOVÁ, K., ŠARMANOVÁ, J., TAKÁCS, O. Adaptive individualized education in e

learning. Computer Based Learning in Science 2010. Warsaw, Poland: OEliZK, 2010. s. 119-

125. [2010-07-04]. ISBN 978-9963-689-85-9.

NAIDU, S. E-Learning: a Guidebook of Principles, Procedures and Practices. THE

COMMONWEALTH EDUCATIONAL MEDIA CENTER FOR ASIA. 2nd edition. New Delhi:

CEMCA, 2006. ISBN 81-88770-04-3. Dostupné z: <http://www.cemca.org/e-

learning_guidebook.pdf>.

PRŮCHA, J. Učebnice: teorie a analýzy edukačního média: příručka pro studenty, učitele,

autory učebnic a výzkumné pracovníky. Brno: Paido, 1998, 148 s. Edice pedagogické

literatury. ISBN 80-85931-49-4.

PRŮCHA, J. Přehled pedagogiky. Praha: Portál, 2000. 271 s. ISBN 80-7178-944-5.

PRŮCHA, J. Moderní pedagogika. 2., přeprac. a aktualiz. vyd. Praha: Portál, 2002, 481 s.

ISBN 80-7178-631-4.

PRŮCHA, J., WALTEROVÁ, E., MAREŠ, J. Pedagogický slovník. Praha: Portál, 2009. 395 s.

ISBN 978-80-7367-647-6

ŠARMANOVÁ, J., KOSTOLÁNYOVÁ, K. Intelligent individualization of study through E-

learning. Information and Communication Technologies in Education. Ostrava: University

of Ostrava, 2008. s. 136-142. ISBN 978-80-7368-577-5.

ŠARMANOVÁ, J. Životní cyklus evaluace eLearningového projektu. In: KAPOUNOVÁ, J.

Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012a, s.

35-53. ISBN 978-80-7464-121-3.

ŠARMANOVÁ, J. Metody analýzy dat: učební text. Vyd. 1. Ostrava: Vysoká škola báňská -

Technická univerzita Ostrava, 2012b,1 CD-ROM.ISBN 978-80-248-2565-6.

WEINSTEIN, C. E.; MAYER, R. E. The Teaching of Learning Strategies. In WITROCK, M. C.

(Ed.) Handbook of Research on Teaching, 3. vyd. New York: Macmillan Publishing Company,

1986, s. 315 – 327. ISBN 0029003105.

TOLLINGEROVÁ, D., KNĚZŮ, V., KULIČ, V. Programované učení. 1. vyd. Praha: Státní

pedagogické nakladatelství, 1966. 189 s. Pedagogická teorie a praxe.

32

WINFREY, E. C. (1999). Kirkpatrick's Four Levels of Evaluation. In Hoffman, B. (Ed.),

Encyclopedia of Educational Technology. [online] [cit. 2007-02-01]. Dostupné z:

<http://coe.sdsu.edu/eet/Articles/k4levels/start.htm>.

ZLÁMALOVÁ, H. Principy distanční vzdělávací technologie a možnosti jejího využití v

pedagogické praxi na technických vysokých školách. [online]. [cit. 2011-02-20]. Dostupné z:

<http://virtual.cvut.cz/telel/zlamalova.html>.

ZLÁMALOVÁ, H. Kvalita eLearningu jako součásti distančního vzdělávání. In: KAPOUNOVÁ,

J. Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, s.

35-53. ISBN 978-80-7464-121-3.

Seznam publikací KAPOUNOVÁ, J., ŠARMANOVÁ, J., DVOŘÁČKOVÁ, M. Model of eLearning Project

Evaluation. 10th European Conference on e Learning. Brighton, UK: Brighton

Busines School, 2011. s. 37-44. [2011-11-10]. ISBN 978-1-908272-23-2

DVOŘÁČKOVÁ, Markéta a Jana ŠARMANOVÁ. Instructional Objects Evaluation in E

learning. In: E learning innovative models for the integration of education,

technology and research: 5th GUIDE International Conference Proceedings. Rome,

Italy: GUIDE ASSOCIATION, 2011. ISBN 978-88-97772-00-2. Dostupné z:

<http://www.guideassociation.org/proceedings/Guide_2011/>

DVOŘÁČKOVÁ, M., KOSTOLÁNYOVÁ, K., ŠARMANOVÁ, J. Adaptive E Learning

System. In: INTERNATIONAL COMPUTER AND INSTRUCTIONAL TECHNOLOGIES

SYMPOSIUM PROCEEDINGS. Elazig, 2011.

DVOŘÁČKOVÁ, M. Auto-evaluační algoritmy e-learningových kurzů. In: NÝDL, V., J.

KOREŠ a M. ŠERÝ, editoři. Sborník konference ICTE – Junior, Č. Budějovice 25. -26.

června 2011 [CD], Č. Budějovice: Pedagogická fakulta JU, 2011. ISBN 978-80-7394-

323-3.

DVOŘÁČKOVÁ, M. Complex model of e learning evaluation focusing on adaptive

instruction. In: Procedia-Social and Behavioral Sciences. 2012. ISSN 1877-042.

DVOŘÁČKOVÁ, M. Auto-evaluační algoritmy e-learningových kurzů. In: DITECH ´12

Hradec Králové, Mezinárodní studentská vědecká konference. Hradec Králové:

UHK, 2012. ISBN 978-80-7435-178-5.

DVOŘÁČKOVÁ, M. Auto-evaluační algoritmy e learningových kurzů . In: Information

and Communication Technologies in Education ICTE 2013. Rožnov pod Radhoštěm:

OSU, 2013. ISBN 978-80-7464-325-5.

DVOŘÁČKOVÁ, M. Evaluation model for e-learning courses. INTED2016

proceedings, 2016 – přijato k publikaci.

33

Profesní curriculum vitae Osobní údaje

Jméno: Markéta Dvořáčková

Datum/místo narození: 5.7.1983/Ostrava

Bydliště: Kyjovice 149, 747 68 Kyjovice

Email: marketadvorackova.osu@gmail.com

Vzdělání

09/1998 – 06/2002 Management Strojírenství

ISŠ Na Jízdárně 30, Ostrava

09/2005 – 06/2010 Informační technologie ve vzdělávání, bakalářské

a navazující magisterské studium

Ostravská univerzita, Pedagogická fakulta,

Katedra informačních a komunikačních

technologií

09/2010 – dosud Informační technologie ve vzdělávání, doktorské

studium

Jazykové znalosti

Angličtina aktivní znalost, C2, v psaném i mluveném projevu

Italština aktivní znalost, C1, v psaném i mluveném projevu

Němčina pasivní znalost, B1, v psaném projevu