PragoData Consulting, s.r.o.

transcript

Testování a jistota,

nové chování testů Moodle 2.1

Bohumil Havel

Hlavní změny ve verzi 2.1

Vylepšení• Navigace a bloky• Souborový systém• Motivy• Studijní materiály• Workshop• Testy• Administrace • Import kurzů M 1.9

Nové funkce• Repozitáře a portfolia• Podmíněné aktivity• Globální skupiny• Komentáře• Web services• Community Hubs• Podpora mobilních

zařízení

S využitím materiálů Davida Mudráka

Změny testů 2.0 a 2.1

• Navigace v testu, signalizace, vlaječky s stavem

• Uživatelské přenastavení• Skupinová přenastavení• Rozlišení skupin se speciálními

vzdělávacími potřebami2.1• Rozšířené vlastnosti Chování testů• Měření „jistoty“ odpovědi

Navigace

• Navigace v testu, signalizace, vlaječky se stavem

Změny testů 2.0 a 2.1

• Navigace v testu, signalizace, vlaječky s stavem

• Uživatelské přenastavení• Skupinová přenastavení• Rozlišení skupin se speciálními

vzdělávacími potřebami2.1• Rozšířené vlastnosti Chování testů• Měření „jistoty“ odpovědi

Přenastavení

Chování testů

• Adaptivní režim• Adaptivní režim (bez penalizace)• Odložený výsledek s mírou jistoty• Odložený výsledek• Okamžitý výsledek s mírou jistoty• Okamžitý výsledek• Interaktivní s více pokusy• Ruční známkování

Jistota a testy

• Co je míra jistoty (nejistoty, důvěry)

• Zavedení záporného bodování úloh• Penalizace chybných odpovědí• Snaha odstranit hádání (náhodnost)

Jistota a výstup

• Výchozí tabulka dle jistoty

Úroveň jistoty C=3 (vysoká)

C=2 (střední)

C=1 (nízká) Bez odpovědi

Bodování správných odpovědí 3 2 1 0

Bodování chybných odpovědí -6 -2 0 0

Jistota a výstup

• Graf dle jistoty

Příklad - model

• Záporné body snižují celkový počet bodů, ale zvětšují rozdíl mezi těmi, kdo umí a těmi, kdo neumí.

• Příklad je modifikace ze SCIO [2].

25 úloh výběr 1 ze 415 úloh - student zná odpovědi6 úloh - zná nesprávnou odpověď (rozezná distraktor)4 úlohy hádá

Příklad – běžná varianta

• Zisk studenta je 54 bodů

skore Počet Kladné Celkem Zasloužené 15 15 x 3 45 Napůl zasloužené 6 (6 x 1/3 )x3 6 Nezasloužené 4 4x 1/4 x 3 3Celkem bodů 54Maximum 75Výsledek 72%Dolní mez 0Horní mez 75

Příklad – varianta CBM

• Zisk studenta je 12 bodů (je to moc nebo málo?)

skore Počet Varianty Celkem Zasloužené 15 15 x 3 45Napůl zasloužené 6 (6 x 1/3 )x3 6

Penalizace 4x -6 -24Nezasloužené 4 4x 1/4 x 3 3

Penalizace 3x -6 -18Celkem bodů 12Maximum 75Výsledek 72%Dolní mez -150Horní mez 75

Příklad – varianta „nejistý“

• Zisk studenta je 28 bodů

skore Počet Varianty Celkem Zasloužené 15 10x2 + 5x1 25Napůl zasloužené 6 (6 x 1/3 )x1 2

Penalizace 4x-0 0Nezasloužené 4 4x 1/4 x 1 1

Penalizace 3x -0 0Celkem bodů 28Maximum 75Výsledek 79%Dolní mez -150Horní mez 75

Co doporučují jiní

• Záporné body nejsou doporučovány• Pořadí studentů se nemění• Odráží osobnost studenta (riskování)• Není považováno za férové• Nutno dobře vysvětlit důsledky

Jistota v testu

Výsledky testerů

• Záporné výsledky jsou zapsány jako 0

PODĚKOVÁNÍ

Na závěr bych chtěl poděkovat svému testovacímu týmu za spolupráci.

Děkuji za pozornost.

bohumil.havel@pdcon.cz

info@pdcon.cz

www.moodlecon.cz

www.moodlemoot.cz

PragoData Consulting, s.r.o.PragoData Consulting, s.r.o.

PragoData Consulting, s.r.o.

Documents