Metodologie pedagogickeho vyzkumu I

• vyucujıcıHana Vonkova, Katedra pedagogiky a Ustav vyzkumu a rozvojevzdelavanı (zde uveden odborny profil), PedF UK

• emailh.vonkova@gmail.com, hana.vonkova@pedf.cuni.cz

• povinny kurz pro studenty navazujıcıho magisterskeho programuoboru pedagogika

• webove stranky ke kurzuwww.zla− ryba.cz/hanicka/metodologie1www.vonkova.com

• zakoncenı kurzu: zkouska a zapocet

• pozadavky ke zkouscetest a clanek

– vysledek zkousky: 60% znamky tvorı test a 40%znamky tvorı clanek

– Test z metod pedagogickeho vyzkumu a statistiky vyuzıvanev pedagogickem vyzkumu

– zkouska zalozena na latce diskutovane o prednaskach, studijnımaterialy k prednaskam jsou dostupne na internetove strancewww.zla− ryba.cz/hanicka/metodologie1

– v casti testu ze statistiky budete na pocıtaci s vyuzitımstatistickeho softwaru Gretl nebo Excel zpracovavat datapomocı zadanych statististickych metod, jez budou disku-tovany na prednaskach (muzete si prinest vlastnı notebooks jinym statistikym softwarem, ktery umıte ovladat a zpra-covavat data v nem)

– Clanek: Vystizne popsat realizaci vlastnıho vyzkumu

1

– lze pracovat ve skupinkach po max 6 osobach - na konecclanku za Seznam literatury pak napsat, kdo je za jakoucast clanku/vyzkumu zodpovedny (X sbırala data na daneskole a podılela se na statistickem zpracovanı dat, Y sbıraladata na dalsı skole a je zodpovedna za cast o literature, ...);pokud nebude na konci clanku toto uvedeno a autoru budevıce, pak bude clanek oznamkovan pouze jednou znamkou,ktera se zapocıta vsem autorum

– rozsah a format clanku:

∗ bude mozne odvezdat maximalne dva dokumenty =prvnı dokument s vlastnım clankem (format PDF(preferovany)ci DOC, nikoli DOCX) a prıpadne druhy dokument sdatovym souborem (format CSV ci XLS))

∗ vlastnı clanek - max 20 normostran, tj. max 36000znaku (1 normostrana=1800 znaku) a to vcetne liter-atury, tabulek a jejich popisu, popisu obrazku a poznamekpod carou

∗ struktura vlastnıho clanku - zalezı samozrejme na ob-sahu, obecne se lisı teoreticky a empiricky zamereneclanky, vzdy vsak je nutne uvest -a) nazev clanku + autor;b) abstrakt + klıcova slova (alespon v cestine, v an-glictine vıtano, avsak nenı povinne), rozsah abstraktu -1200 znaku, pocet klıcovych slov - max 7;c) uvod s prehledem literatury a vymezenım cılu;d) pro empiricke studie - popis vyzkumneho setrenı avzorku;e) prezentace vysledku;f) zaver, shrnutı, doporucenı, diskuze;g) seznam pouzite literatury

∗ tabulky a grafy vkladejte za seznam pouzite literaturycasti nazvane ”Prıloha”

∗ projdete si pedagogicke casopisy, z nichz lepe pochopıte,jakou strukturu ma clanek mıt

2

Zpusob odevzdanı: na webovych strankach www.vonkova.comnaleznete sve jmeno a vedle nej bude kolonka na nahranı(upload)Vaseho clanku, tam Vas clanek nahrajete, prıpadnou prılohu(datovy soubor, ktery byl pouzit) bude mozne nahrat tezsve clanky odevzdavejte ve formatu PDF(preferovany format)ci DOC (nikoli DOCX)prace NEposılejte emailem, nahravejte je na tuto stranku

– ve vlastnım vyzkumu je mozne vyuzıt diskutovanych metodbehem kurzu, popr. jinych relevantnıch metod, ktere odpovıdajıpovaze zkoumaneho problemu

– tema prace necham na Vas, melo by se vsak jednat o vlastnı,originalnı vyzkumne setrenı

• pozadavky k zapoctunavrh vlastnıho vyzkumu pro Vas clanek

– vyjdete ze sesti kroku provedenı vyzkumu popsanych naPrezentaci s castı prednasek na webu ke kurzu (nazev slajdu”Kroky v provadenı vyzkumu”)

– citace literatury muze odpovıdat pozadavkum na citaci lit-eratury pro casopis Pedagogicka orientacehttp : //www.ped.muni.cz/pedor/index.php?option = com content&view = article&id =

117&Itemid = 96

– priblizne na jednu az dve stranky popiste dle vyse uve-denych sesti kroku navrh vlastnıho vyzkumu

– krok 5 je analyzovanı a interpretovanı dat - zde napr. muzetenapsat, ze hodlate vyuzıt regresnı analyzy pro vysvetlenıvztahu mezi Vami zkoumanymi promennymi

– navrh mohu vratit k prepracovanı

– zpusob odevzdanı: podobny jako u clanku ke zkousce, usveho jmena na webovych strankach www.vonkova.combudete moci nahrat Vas dokument

3

• deadline pro odevzdanı navrhu vyzkumu k zıskanı zapoctupulnoc 1.11.

• deadline pro odevzdanı clanku ke zkouscepulnoc 15.12.

• termıny zkouskyjeste se domluvıme

• vyklad metod pedagogickeho vyzkumu je zalozen predevsım nadvou knihach:

– Gay, L.R., Mills, G.E., Airasian, P. Educational Research.Competencies for Analysis and Application. Upper SaddleRiver, NJ : Pearson Higher Education, 2008.

– Chrastka, M. Metody pedagogickeho vyzkumu. Praha : Grada,2007.

– Hopkins, K. D. Educational and Psychological Measurementand Evaluation. Needham Heights, MA : Allyn and Ba-con,1998.

– Shults, K.S., Whitney, D.J., Measurement Theory in Ac-tion. Thousand Oaks, CA: Sage Publications, 2005.

– Svarıcek, R., Sedova, K. a kol. Kvalitativnı vyzkum v peda-gogickych vedach. Praha : Portal, 2007, 2014.

• vyklad statistiky je zalozen predevsım na knize:

– Hinkle, D.E., Wiersma, W., Jurs, S.G. Applied Statistics forthe Behavioral Sciences. Boston : Houghton Mifflin, 2003.

• Studijnı materialy, na nez se tyto slajdy odkazujı a ktere jsoupovinne ke zkousce lze najıt na internove adresewww.zla− ryba.cz/hanicka/kombinovanametodologie1

– naskenovane tabulky a obrazky z knih Gay (2008) a Chrastka(2009) v souborumetodologie scanner tables graphs.zip (15 jpg souboru)

4

– Cast prednasek tez na prezentace m1.pdf

– mezinarodnı srovnavacı vyzkumy v oblasti vzdelavanı: VONKOVA,H. Vliv vybranych faktoru na matematickou gramotnost zakuv zemıch strednı Evropy: Sekundarnı analyza dat PISA 2003,disertacnı prace.(Disertacnı prace) Praha: Univerzita Karlovav Praze - Pedagogicka fakulta, 2008.

– prıklady dotaznıku v souboru metodologie dotazniky priklad.zip(4 prıklady - dotaznık o kazni, manipulaci, PISA dotaznıka SHARE dotaznık)

– teoreticke a prakticke zaklady pojmoveho mapovanı v souborumetodologie pojmove mapy.pdf

– datove soubory pouzıvane v prıkladech diskutovanych behemkurzu v souboru metodologie data.zip (12 datovych sou-boru, ktere jsou oddelene ulozeny v csv souborech, vsechnydatove soubory jsou v excelovskem souboru data.xls na jed-notlivych listech)

– datovy soubor k analyze didaktickych testu didtest data analyza.xls

• Statistika v pedagogickem vyzkumu je v nasem kurzu vysvetlovanas minimalnım pouzitım vzorecku a s durazem na konkretnı vyuzitıv realnych prıkladech.

• Teorie statistiky je vysvetlena pomocı teoretickych poucek a/nebopomocı prıkladu.

• K porozumenı obsahu (predevsım statistiky) je pro vetsinu stu-dentu velmi vhodne chodit na prednasky a sledovat vyklad.

• Statisticky software, ktery budeme vyuzıvat, se nazyva Gretl. Jeto free software (nic nestojı) a lze si ho stahnout z nasledujıcıinternetove adresy:http://gretl.sourceforge.net/win32/na prvnı radce teto stranky naleznete soubor gretl-1.9.9.exe, stahnete(ulozte) si ho na svuj pocıtac. Nasledne ho otevrete - spustı se

5

tım instalace. Velmi doporucuji si software stahnout a provest vnem vsechny prıklady a cvicenı, ktere budeme diskutovat behemprednasky!

6

1 Metody pedagogickeho vyzkumu

• Jednotlive kroky v empirickem kvalitativnım i kvantitativnımvyzkumu - na prezentace m1.pdf)

• Charakteristika dobre zvoleneho vyzkumneho tematu - na prezen-tace m1.pdf

• Typy kvalitativnıho vyzkumumetodologie scanner tables graphs/Table-1-2-research-qualitative.jpg

• Dotaznık - jak formulovat polozky 1 - prezentace m1.pdf

• Typy skal pro merenı postoju 1 - Likertova skalametodologie scanner tables graphs/Scales1-Likert.jpg

• Typy skal pro merenı postoju 2 - bipolarnı skala, hodnotıcı skalametodologie scanner tables graphs/Scales2-differencial-rating.jpg

• Typy merenı - prezentace m1.pdf

• Prıklady dotaznıkumetodologie dotazniky priklad.zip (dotaznıky PISA, SHARE, kazen,manipulace)

• Pozorovanı - prıklad standardizovaneho pozorovanımetodologie scanner tables graphs/Pozorovani1.jpg., Pozorovani2.jpg,Pozorovani3.jpg a Pozorovani4.jpg

• Pojmove mapovanımetodologie pojmove mapy.pdf

2 Mezinarodnı srovnavacı vyzkumy ve vzdelavanı

z praceVONKOVA, H. Vliv vybranych faktoru na matematickou gramotnostzaku v zemıch strednı Evropy: Sekundarnı analyza dat PISA 2003,

7

disertacnı prace.(Disertacnı prace) Praha: Univerzita Karlova v Praze- Pedagogicka fakulta, 2008.,kterou jsem umıstnila taktez na internetove stranky k tomuto kurzuprostudujete :

• sekci 1.1 Organizace poradajıcı vyzkumy

• sekci 1.2 Prıklady vyzkumu - PISA a TIMSS (pokud davateprednost jine nez matematicke gramotnosti, muzete mısto kriteriırozdelenı uloh z matematiky diskutovat kriteria pro rozdelenıuloh pro Vami vybranou oblast)

• sekci 5.2, pouze cast Vysledky v mezinarodnıch vyzkumech vzdelavanıTIMSS a PISA - strana 52 a 53

• Tabulka 5.1 Vysledky zaku Ceske republiky ve vyzkumech TIMSSa PISA - strana 59

• Prıloha A Vysledky zemı ve vyzkumech PISA a TIMSS (pros-tudovat tabulky s cılem zjistit: Jake zeme dopadajı v urcitychoblastech v PISA ci TIMSS nejlepe? Jake naopak nejhure? Jakdopada Ceska republika? (toto je diskutovano i v tabulce 5.1))

• Prıloha B Ukazky uloh PISA 2003 (prostudovat prıklady s cılemzjistit, jak se lisı od uloh probıranych na konci zakladnı skoly cina zacatku strednı skoly, u zkousky se nebudu ptat presne na tytoulohy, jde spıse o zıskanı orientacnı predstavy uloh pouzıvanychve vyzkumu PISA)

• Prıloha C Zakovsky a skolnı dotaznık PISA 2003 (Na jake castije rozdelen Zakovsky a Skolnı dotaznık?)

Informace o dalsıch vlnach mezinarodnıch srovnavacıch vyzkumu lzenajıt na webovych strankach Ceske skolnı inspekce www.csicr.cz (jednase napr. o vyzkumy PISA 2006, PISA 2009, PISA 2012, TIMSS 2007,TIMSS 2011).

8

3 Statistika v pedagogickem vyzkumu

3.1 Uvod, zakladnı pojmy

• Populace zahrnuje vsechny cleny definovane skupiny.

• Vyber je podmnozina clenu populace.

• Deskriptivnı statistika je kolekce metod pro klasifikovanı asumarizovanı numerickych dat.

• Inferencnı statistika je kolekce metod, ktera umoznuje cinitzavery o charakteristikach populace na zaklade prıslusnych charak-teristik prıslusneho vyberu.

• Proces kodovanı zahrnuje pripisovanı numerickych hodnot kate-gorialnım promennym. (Zopakuj rozdıly mezi kategorialnı, oridinalnı,intervalovou a pomerovou promennou.)

• Data jsou v datovem souboru vetsinou organizovana tak, ze kazdyradek odpovıda jednomu individuu a sloupec obsahuje data formerenou promennou.

3.2 Deskriptivnı statistika

3.2.1 Tabulka absolutnıch, relativnıch a kumulativnıch cetnostı

Prıklad

Ucitel bilogie zadal ve sve trıde test z bilogie, v nemz zaci dopadlinasledujıcım zpusobem (uvedeny znamky z testu):1,2,3,2,2,5,4,2,2,3,2,1,4,5,4,3,1,1,2,2.Sestavte tabulku absolutnıch, relativnıch a kumulativnıch cetnostı prozprehlednenı vysledku zaku z testu.

9

Resenı

cetnosti

znamka absolutnı relativnı (v %) kumulativnı (v %)

1 4 20 202 8 40 603 3 15 754 3 15 905 2 10 100

celkem 20 100

Cvicenı

Sestavte tabulku cetnostı pro nasledujıcı hodnoty:0,1,1,2,2,0,1,1,2,0,1,1,2,0,2,2,2,0,2,1,2,1,1,1,1,1,1,1,1,1

3.2.2 Mıry polohy

Mıry polohy indikujı centralnı tendenci namerenych hodnot promenne.

Prumer

• Prumer(mean) vypocıtame ho tak, ze vsechny hodnoty sectemea tento soucet podelıme poctem hodnot.

• Prumer je nejcastejsı pouzıvanou mırou polohy dat.

10

• Prumer je velmi ovlivnen extremnımi hodnotami, tj. bud extremnemalymi ci extremne velkymi hodnotami. (Prumer nenı robustnıstatistikou.)

• prıklad: prumer z hodnot 1, 2, 1, 1, 2, 1, 1 je roven 1.29; prumerz hodnot 1, 2, 1, 1, 2, 1, 1000 je roven 144 →jedna hodnota vdatech zcela zmenila prumer

• Prumer nema vyznam pocıtat u nominalnıch a ordinalnıch promennych.Vyuzıvame ho u intervalovych a pomerovych promennych.

Median

• Median je bod, pod kterym lezı 50 procent hodnot (z tohovyplyva, ze nad nım lezı taktez 50 procent hodnot). Medianlze take nazvat 50ti procentnım percentilem.

• prıklad: urci median pro skory 1000, 18, 3, 6, 12, 19, 21resenı: data nejprve usporadame podle velikosti od nejmensı ponejvetsı hodnotu 3,6,12,18,19,21,1000 ; prostrednı hodnota je 18(pred nı jsou 3 hodnoty, za nı jsou 3 hodnoty), median je tudızroven 18

• prıklad: urci median pro skory 1000, 18, 3, 6, 1, 12, 19, 21resenı: data nejprve usporadame podle velikosti 1, 3, 6, 12, 18,19, 21, 1000, vzhledem k tomu, ze mame lichy pocet hodnot, takmedian vypocıtame jako prumer dvou prostrednıch hodnot 12 a18. Median je tedy roven (12+18)/2=15

• Median je oproti prumeru robustnı statistikou, tj. nenı citlivyna extremnı hodnoty. Viz prvnı prıklad pro median.

• cvicenı: Porovnej prumerny a medianovy plat v Ceske republice.Je prumerny plat nizsı, stejny, ci vyssı nez medianovy plat?

11

• Median nema vyznam pocıtat u nominalnıch a ordinalnıch promennych.Vyuzıvame ho u intervalovych a pomerovych promennych.

Modus

• Modus je nejcastejsı hodnota v datech.

• prıklad: urci modus pro nasledujıcı data 1,2,1,3,2,7,1000,2,2,6,2resenı: nejcasteji se vyskytuje hodnota 2, modus je tedy roven 2.

• Modus je robustnı statistikou, viz predchozı prıklad (extremnıhodnota nema na modus vliv).

• Modus muzeme urcit pro vsechny typy promennych, tj. nominalnı,ordinalnı, intervalove i pomerove promenne.

Minimum a maximum

• Minimum je nejmensı hodnota, maximum je nejvetsı hodnota.

• prıklad: urci minimum a maximum pro nasledujıcı data 2,-4,3,-50,20,13,-14,23,-41resenı: minimum je -50, maximum je 23.

• Minimum i maximum nema vyznam pocıtat u nominalnıch a or-dinalnıch promennych. Vyuzıvame je u intervalovych a pomerovychpromennych.

3.2.3 Mıry variability

Mıry variability indikujı, jak namerene hodnoty kolısajı, tj. jakou majıvariabilitu.

12

Rozptyl, standardnı odchylka

• Rozptyl je definovan jako prumer ctvercovych odchylek jed-notlivych hodnot od prumerne hodnoty.

• Postup vypoctu rozptylu: Mame-li dane hodnoty, musıme ne-jprve spocıtat prumer z techto hodnot. Nasledne spocıtame rozdılnamerenych hodnot od vypocıtane prumerne hodnoty. Dale kazdyrozdıl vynasobıme sam sebou (je-li rozdıl roven 3, pak spocıtame3*3=9). Z techto hodnot spocıtame prumer.

• prıklad: mejme namerene hodnoty 1,3,5. Spocıtejte rozptyl.resenı: prumer z namerenych hodnot je roven (1+3+5)/3=3rozdıly hodnot od prumeru jsou 1-3,3-3,5-3, tj. -2,0,2kazdy rozdıl vynasobıme sam sebou -2*(-2), 0*0, 2*2, tj. 4,0,4prumer z predchozıch hodnot 4,0,4 je roven (4+0+4)/3 = 2.67rozptyl je roven 2.67

• Rozptyl je citlivy na extremnı hodnoty.

• cvicenı: spocıtej rozptyl z hodnot 1,1,1,10

• cvicenı: spocıtej rozptyl z hodnot 1,1,1,1

Smerodatna odchylka

• Smerodatna odchylka je rovna odmocnine z rozptylu.

• Postup vypoctu: Nejprve spocıtame rozptyl, nasledne z rozptyluspocıtame druhou odmocninu.

13

• prıklad: mejme namerene hodnoty 1,3,5. Spocıtejte smerodatnouodchylku.resenı: rozptyl je roven 2.67 (viz predchozı prıklad)druha odmocnina z 2.67 je rovna

√2.67 = 1.63

smerodatna odchylka je rovna 1.63

• Smerodatna odchylka je oproti rozptylu vyjadrena v puvodnıchjednotkach merenı, tj. na te same skale, na ktere merıme hodnotypromenne.

• Smerodatna odchylka je citliva na extremnı hodnoty.

• cvicenı: spocıtej smerodatnou odchylku z hodnot 1,1,1,10

• cvicenı: spocıtej smerodatnou odchylku z hodnot 1,1,1,1

Variacnı rozpetı

• Variacnı rozpetı je rovno rozdılu maxima a minima, k nemuzpricteme 1.

• prıklad: spocıtej variacnı rozpetı z hodnot -2,3,-10,6,9resenı: variacnı rozpetı je rovno 9 - (-10) +1 =20

• cvicenı: spocıtej variacnı rozpetı z hodnot -4,9,0,63,5,-50,-31,2

Gretl a datove soubory

• Pro splnenı vsech nasledujıcıch prıkladu je nutne vyuzıt nejakystatisticky software. V nasich prednaskach vyuzijeme Gretl.

14

• natahnutı dat do Gretlu: File →Open data Import →Zvolteformat, ve kterem mate data ulozena (napr. .xls pro Excel, .csvpro comma separated soubor)

• Gretl se Vas muze pri natahovanı dat zeptat ”The imported datahave been interpreted as undated (cross-sectional). Do you wantto give the data a time-series or panel interpretation?” Ve vsechdatovych souborech, se kterymi budeme behem hodin pracovat,nejsou data usporadana ani jako casova rada ani jako panel. Jetedy nutno zvolit odpoved ”No”.

• vsechny datove soubory, ktere budeme pouzıvat, lze najıt v ex-celovskem souboru metodologie data.xls na jednotlivych listech;jednotlive datove soubory lze najıt jako .csv soubory (viz zla −ryba.cz/hanicka/kombinovanametodologie1)

Prıklad (data 01 descriptive normal IQ.csv)

V datovem souboru jsou hodnoty IQ pro pet set individuı.

1. Sestavte tabulku cetnostı (absolutnıch, relativnıch a kumula-tivnıch), kde velikost jednoho trıdıcıho intervalu je rovna 5 aminimalnı hodnota je rovna 50. Urcete modus.

2. Sestavte tabulku cetnostı (absolutnıch, relativnıch a kumula-tivnıch), kde je pocet intervalu roven 11.

3. Reprezentujte data graficky pomocı histogramu, v nemz velikostjednoho trıdıcıho intervalu je rovna 5 a minimalnı hodnota jerovna 50.

4. Reprezentujte data graficky pomocı histogramu, v nemz je pocetintervalu roven 11.

5. Znazornete data graficky pomocı boxplot. Urcete minimum,prvnı kvartil (hodnota, po nız lezı 25 % vsech hodnot), median,

15

tretı kvartil (hodnota, pod nız lezı 75 % vsech hodnot) a maxi-mum.

6. Spocıtejte prumer, median, minimum, maximum, standardnı od-chylku a roztyl.

7. Zvonovity tvar histogramu indikuje normalnı rozlozenı zkoumaneveliciny. Na zaklade histogramu pro IQ posudte, zda ma tatovelicina tendenci byt normalne rozlozena.

Resenı

1. Gretl: Variable →Frequency distribution →Minimum value, leftbin zvol 50 a Bin width zvol 5

Frequency distribution for IQ, obs 1-500

number of bins = 20, mean = 99.3317, sd = 14.679

interval midpt frequency rel. cum.

< 55.000 52.500 0 0.00% 0.00%

55.000 - 60.000 57.500 3 0.60% 0.60%

60.000 - 65.000 62.500 2 0.40% 1.00%

65.000 - 70.000 67.500 5 1.00% 2.00%

70.000 - 75.000 72.500 6 1.20% 3.20%

75.000 - 80.000 77.500 29 5.80% 9.00% **

80.000 - 85.000 82.500 38 7.60% 16.60% **

85.000 - 90.000 87.500 52 10.40% 27.00% ***

90.000 - 95.000 92.500 62 12.40% 39.40% ****

95.000 - 100.00 97.500 69 13.80% 53.20% ****

100.00 - 105.00 102.50 65 13.00% 66.20% ****

105.00 - 110.00 107.50 52 10.40% 76.60% ***

110.00 - 115.00 112.50 43 8.60% 85.20% ***

115.00 - 120.00 117.50 36 7.20% 92.40% **

120.00 - 125.00 122.50 16 3.20% 95.60% *

125.00 - 130.00 127.50 14 2.80% 98.40% *

130.00 - 135.00 132.50 2 0.40% 98.80%

135.00 - 140.00 137.50 4 0.80% 99.60%

140.00 - 145.00 142.50 1 0.20% 99.80%

16

>= 145.00 147.50 1 0.20% 100.00%

Modus je roven 97.5 (strednı bod=midpoint intervalu, ktery manejvetsı cetnost).

2. Gretl: Variable →Frequency distribution →Number of bins zvol11

Frequency distribution for IQ, obs 1-500

number of bins = 11, mean = 99.3317, sd = 14.679

interval midpt frequency rel. cum.

< 63.015 58.440 4 0.80% 0.80%

63.015 - 72.165 67.590 9 1.80% 2.60%

72.165 - 81.315 76.740 46 9.20% 11.80% ***

81.315 - 90.465 85.890 80 16.00% 27.80% *****

90.465 - 99.615 95.040 123 24.60% 52.40% ********

99.615 - 108.77 104.19 108 21.60% 74.00% *******

108.77 - 117.92 113.34 78 15.60% 89.60% *****

117.92 - 127.07 122.49 37 7.40% 97.00% **

127.07 - 136.22 131.64 11 2.20% 99.20%

136.22 - 145.37 140.79 3 0.60% 99.80%

>= 145.37 149.94 1 0.20% 100.00%

3. Gretl: Variable →Frequency plot →Minimum value, left bin zvol50 a Bin width zvol 5

17

Figure 1: Histogram IQ 1

4. Gretl: Variable →Frequency plot →Number of bins zvol 11

18

Figure 2: Histogram IQ 2

5. Gretl: View →Graph specified vars →Boxplot

19

Figure 3: Boxplot

IQ

149.9

58.44

104.2

Klikni mysı na obrazek boxplotu, zvol Numerical summary

Numerical summary

mean min Q1 median Q3 max

IQ 99.332 58.44 89.248 98.74 109.41 149.94 (n=500)

6. Gretl: Variable →Summary statistic

Summary Statistics, using the observations 1 - 500

for the variable ’IQ’ (500 valid observations)

20

Mean 99.332

Median 98.740

Minimum 58.440

Maximum 149.94

Standard deviation 14.679

C.V. 0.14778

Skewness 0.11914

Ex. kurtosis -0.010735

7. Histogram IQ ma zvonovity tvar, coz indikuje normalnı rozdelenı.

Cvicenı (data 02 descriptive test oblibenost atd.csv)

Vyzkumnık ma zamer zkoumat vztah mezi skorem v testu z matem-atiky a dalsıch promennych jako je hodnocenı respondentu o jejichoblıbenosti matematiky (skala: 1=velmi oblıbena az 5=zcela neoblıbena),hodnocenı respondentu toho, jak jim prijde matematika obtızna (skala:1=velmi obtızna az 5=velmi snadna), bydliste (1=mesto, 0=vesnice)a pohlavı (1=zena, 0=muz). Vyzkumnık provedl nahodny vyber 33studentu, od kterych sebral vsechny udaje. Zprehlednete data pomocıdeskriptivnı statistiky. Konkretne se muzete zamerit na nasledujıcı:

• Sestavte tabulku cetnostı (absolutnıch, relativnıch a kumula-tivnıch) pro vsechny promenne.

• Spocıtejte prumer, median, minimum, maximum, standardnı od-chylku a roztyl.

• Reprezentujte data pomocı vhodne zvoleneho grafu (histogram,sloupcovy graf atd.)

”Deskriptivnı statistika je deskriptivnı.” Pouzıvej jen takove mırypolohy a variability, ktere slouzı k zprehlednenı dat a ucelu tve studie.

21

3.2.4 Korelacnı koeficient

• Korelacnı koeficient udava mıru linearnıho vztahu mezi dvemapromennami.

• Jeho hodnoty se pohybujı mezi -1 a 1.

• Podle znamenka korelace (”+” ci ”-”) muzeme usoudit, zda je vz-tah mezi promennymi kladny ci zaporny. Negativnı hodnota ko-relacnıho koeficientu naznacuje, ze vztah mezi dvema promennymije zaporny, tj. zvetsıme-li hodnotu jedne promenne, zmensı sehodnoty druhe promenne. Pozitivnı hodnota korelacnıho koefi-cientu naznacuje, ze vztah mezi dvema promennymi je kladny, tj.zvetsıme-li hodnotu jedne promenne, zvetsı se hodnota i druhepromenne.

• Vzdalenost korelacnıho koeficientu od nuly indikuje tesnost linearnıhovztahu mezi dvema promennymi:

– do 0.2 - linearnı vztah je zandebatelny

– od 0.2 do 0.4 - linearnı vztah je neprılis tesny

– od 0.4 do 0.7 - linearnı vztah je stredne tesny

– od 0.7 do 0.9 - linearnı vztah je velmi tesny vztah

– od 0.9 - linearnı vztah je extremne tesny

• Je-li hodnota korelacnıho koeficientu nızka az nulova, neznamenato, ze mezi promennymi nemuze byt zadny vztah. Znamena topouze, ze mezi velicinami je linearnı vztah zanedbatelny.

• Vysoka hodnota korelacnıho koeficientu nemusı znamenat, ze jemezi promennymi kauzalnı vztah. Znamena pouze predikcnı vz-tah.

22

Figure 4: Korelace - zdroj http://cs.wikipedia.org/wiki/Korelace

Prıklad (data 03 korelace vek plat.csv)

Vyzkumnık chtel zjistit mıru linearnıho vztahu mezi vekem a platem.Nahodne vybral 19 respondentu, kterych se dotazal na jejich vek ahodinovy plat. Nasledujıcı tabulka shrnuje zıskane udaje:

23

respondent vek plat

1 30 1162 45 1403 32 1194 56 1525 60 1576 23 1057 25 1108 48 1429 57 15810 63 16611 49 14512 52 14913 61 16114 44 13515 36 12616 53 14717 35 12518 63 16419 49 145

Vypcıtejte korelacnı koeficient. Jaky smer ma vztah mezi vekem aplatem (kladny, zaporny)? Jak tesny je vztah mezi vekem a pohlavım(zanedbatelny, neprılis tesny vztah, stredne tesny vztah, velmi tesnyvztah a extremne tesny vztah)?

ResenıGretl: View →Correlation matrix

corr(vek, plat) = 0.99647103

Under the null hypothesis of no correlation:

t(17) = 48.9478, with two-tailed p-value 0.0000

24

Korelacnı koeficient mezi vekem a platem je v nasem prıkladu roven0.996. Smer vztahu je kladny. Vztah je extremne tesny.

3.3 Inferencnı statistika

3.3.1 Uvod do testovanı hypotez

• opakovany nahodny vyber z normalnıho rozdelenı, viz graf (Normalnırozdelenı a Prıklad nahodnych vyberu z normalnıho rozdelenıN(100,15) o velikosti 225)

• predstavme si, ze si mame vybrat ze dvou alternativ, pricemzmame k dispozici urcita data, co je v kazdem ze trı pripadupravdepodobnejsı?

Normal Distribution and Standardization

70 85 100 115 130

−2 −1 0 1 2

X~N(100,15)

z~N(0,1)z=(X−100)/15

2.28% 13.59% 34.13% 34.13% 13.59% 2.28%

25

Prumer je signifikantne odlisny od nulyyes no yes

2.5% 95% 2.5%

50 60 70 80 90 100 110 120 130 140 150mean=97.05

sd=14.93 p−value=0.0034

50 60 70 80 90 100 110 120 130 140 150mean=100

sd=14.81 p−value=0.996650 60 70 80 90 100 110 120 130 140 150

mean=103.21sd=14.05 p−value=7e−04

• Chyby

– chyba prvnıho druhu = hypotezu H0 zamıtneme, ackoli platıH0

– chyba druheho druhu = hypotezu H0 nezamıtneme, ackoliplatı hypoteza H1

• Statisticky test

– stanovime nulovou hypotezu H0 a alternativni hypotezu H1

– stanovime hladinu spolehlivosti (znacime alpha) = pravde-podobnost, ze hypotezu H0 zamitneme ackoli plati; obvyklevolime alpha=0.05

– vypocitame p-hodnotu = pravdepodobnost, ze testovaci kri-terium (my jsme meli napr. prumer) dosahne sve hodnotya pripadne hodnot jeste vice extremnejsich, tj. svedcicichproti H0 , za predpokladu platnosti H0

– !Je-li p-hodnota mensı nez predem stanovene alpha, nulovouhypotezu zamıtame.

26

3.3.2 Jednovyberovy t-test

Jednovyberovy t-test se pouzıva pro testovanı toho, zda-li je strednıhodnota (prumer) v nejake populaci rovna predem stanovene hodnote.

Prıklad (data 04 ttest pocetzaku.csv)

Vyzkumnık chtel zjistit, zda-li je prumerny pocet zaku v jedne trıdeodlisny od 20. Zameril se na populaci zaku v osmych rocnıcıch nazakladnıch skolach. Aby mohl provest tento test, provedl nahodnyvyber ze vsech trıd osmych rocnıku zakladnıch skol. U techto trıdzjistil pocet zaku ve trıde:

27

trıda pocet

1 302 123 254 205 186 197 148 139 1510 2011 1412 1713 3114 3515 816 1717 1618 1919 2020 721 3222 2023 1424 2525 2626 2427 2228 2329 21

Na hladine vyznamnosti 10 procent testujte, zda-li je prumernypocet zaku ve trıde odlisny od 20.

28

ResenıNulova hypoteza H0 : µ = 20, alternativnı hypoteza H1 : µ 6= 20

Gretl: Tools →Test statistic calculator →mean

Null hypothesis: population mean = 20

Sample size: n = 29

Sample mean = 19.8966, std. deviation = 6.82613

Test statistic: t(28) = (19.8966 - 20)/1.26758 = -0.0816108

Two-tailed p-value = 0.9355

(one-tailed = 0.4678)

Na hladine vyznamnosti 10 procent nemuzeme zamıtnout nulovouhypotezu, protoze p-hodnota 0.9355 je vetsı nez 0.1 (10 procent), tj.nemuzeme rıci, ze prumerny pocet zaku v jedne trıde je odlisny od 20.(Zaky myslıme zaky osmych rocnıku zakladnıch skol.)

Cvicenı (data 05 ttest obtiznost.csv)Vyzkumnık chtel zjistit, jak hodnotı studenti prvnıch rocnıku gymnaziıobtıznost predmetu bilogie. Provedl nahodny vyber techto studentu.Nasledne jim polozil otazku, jak hodnotı obtıznost predmetu bilogie narating skale od 1(velmi snadny predmet) do 10(velmi obtızny predmet).Hodnocenı studentu je shrnuto v nasledujıcı tabulce:

29

zak obtiznost

1 52 93 64 15 26 17 38 29 410 211 212 113 114 3

Na hladine vyznamnosti 5 procent testujte, zda-li se hodnocenıobtıznosti biologie lisı od 5 (ani snadny, ani obtızny predmet).

3.3.3 Dvouvyberovy t-test

Dvouvyberovy t-test se pouzıva (mimo jine) pro porovnanı strednıchhodnot (prumeru) ve dvou zakladnıch populacıch (nezavislych popu-lacıch). Toto porovnanı provadıme na zaklade nahodneho vyberu zjedne a nasledne nahodneho vyberu z druhe populace.Prıklad (data 06 ttest spokojenost pohlavi.csv)

Vyzkumnık chtel zjistit, zda-li se lisı spokojenost se vzdelavacım systememv dane zemi mezi zenami a muzi. Provedl nahodny vyber jedenactizen a osmi muzu a zeptal se jich zda-li jsou spokojeni se vzdelavacımsystemem. Sve hodnocenı meli respondenti uvest na rating skale odjedne do peti, na nız jedna reprezentovuje ”velmi nespokojen” a pet”velmi spokojen”. Data, ktera vyzkumnık zıskal jsou nasledujıcı:

30

zeny muzi

4 55 12 21 25 34 22 13 3212

Na hladine vyznamnosti 5 procent testujte, zda-li je spokojenostmuzu a zen se vzdelavacım systemem odlisna.

Resenı

• Testovanım odlisnosti prumerne spokojenosti muzu a zen musımenejprve provest jiny test, abychom urcili, zda je variance (rozptylenost)spokojenosti muzu a zen odlisna ci nikoli. Zaver testu pro porovnanıdvou variancı pouzijeme jako predpoklad pro testovanı prumernespokojenosti muzu a zen. Test pro porovnanı dvou rozptylunazyvame F-test pro porovnanı dvou rozptylu.

• Provedenı F-testu pro porovnanı rozptylu jedne populace σ21 arozptylu druhe populace σ22 na hladine vyznamnosti 5 procentNulova hypoteza H0: σ1 = σ2, alternativnı hypoteza H1: σ1 6= σ2Gretl: Tools →Test statistic calculator →2 variances

Null hypothesis: The population variances are equal

Sample 1:

n = 11, variance = 2.16364

31

Sample 2:

n = 8, variance = 1.69643

Test statistic: F(10, 7) = 1.27541

Two-tailed p-value = 0.7684

(one-tailed = 0.3842)

P-hodnota je vetsı nez 0.05. Na hladine vyznamnosti 5 pro-cent tudız nemuzeme zamıtnout nulovou hypotezu o shodnostirozptylu. T-test pro porovnanı prumeru dvou populacı provedemes predpokladem, ze rozptyly (standardnı odchylky) v techto dvoupopulacıch jsou shodne.

• Provedenı t-testu pro porovnanı dvou prumeru na hladine vyznamnosti5 procentNulova hypoteza H0: µ1 = µ2, alternativnı hypoteza H1: µ1 6= µ2Gretl: Tools →Test statistic calculator →2 means (Predpoklad:Zaskrtni okenko u ”Assume common population standard devi-ation”)

Null hypothesis: Difference of means = 0

Sample 1:

n = 11, mean = 2.81818, s.d. = 1.47093

standard error of mean = 0.443502

95% confidence interval for mean: 1.83 to 3.80637

Sample 2:

n = 8, mean = 2.375, s.d. = 1.30247

standard error of mean = 0.460493

95% confidence interval for mean: 1.28611 to 3.46389

Test statistic: t(17) = (2.81818 - 2.375)/0.65239 = 0.679321

Two-tailed p-value = 0.5061

(one-tailed = 0.253)

P-hodnota je vetsı nez 0.05. Na hladine vyznamnosti 5 pro-cent tudız nemuzeme zamıtnout nulovou hypotezu o shodnostiprumeru, tj. nemuzeme rıci, ze prumerna spokojenost se vzdelavacımsystemem je muzu a zen odlisna.

32

Cvicenı (data 07 ttest esej mapa.csv)

Vyzkumnık chtel porovnat ucinek dvou vyucovacıch metod (psanı esejua vyuzitı concept mapping) na to, jak studenti na konci kurzu rozumıvyucovane latce. Aby mohl ucinek techto dvou metod porovnat, provedlexperiment. Rozdelil nahodne studenty do dvou skupin. Jedna skupinamela behem kurzu vyuzıvat ke strukturaci uciva eseje (behem kurzumuseli studenti napsat dve eseje) a druha skupina mela vyuzıvat metodupojmoveho mapovanı (behem kurzu museli studenti sestavit dve po-jmove mapy). Studenti tak behem kurzu zıskavali nove vedomosti,zamysleli se nad novymi otazkami a ke strukturaci a shrnutı svychznalostı pouzıvali bud eseje ci mapy. Na konci kurzu sli ke zkousce,kde meli prokazat porozumenı nove naucene latce. (Jako merıtkoporozumenı latce byla zvolena znamka u zkousky.) Vysledky studentuu zkousky (znamka 1 az 5) shrnuje nasledujıcı tabulka:

33

esej mapa

1 21 32 13 13 22 21 33 14 14 23 12 24 13 1

12

Prepokladejte, ze studenti v obou skupinach jsou nahodnym vyberemz populace studentu. Na hladine vyznamnosti 10 procent testujte,zda-li je ucinek techto dvou vyucovacıch metod v populaci studentuodlisny.

3.3.4 T-test pro korelacnı koeficient

Prıklad (data 08 koreltest vzdelani prijem.csv)

Casto zkoumanym vztahem v socialnıch vedach je vztah mezi prıjmema vzdelanım. Abychom tento vztah mohli zkoumat, byl provedennahodny vyber patnacti osob z ekonomicky aktivnıch lidı (populace),kterı byli dotazani na jejich vzdelanı (mereno poctem let vzdelanı) ajejich prıjem (mereno v tisıcıch). Nasledujıcı tabulka shrnuje zıskana

34

data:

individum vzdelanı prıjem

1 9 122 14 303 10 104 13 205 14 286 10 137 12 158 15 339 17 2510 13 2011 14 3012 13 1613 13 2514 17 4515 20 40

1. vypocıtej korelacnı koeficient mezi vzdelanım a prıjmem

2. testuj na hladine vyznamnosti 5 %, zda-li je korelacnı koeficientsignifikantne odlisny od nulynulova hypoteza H0 : ρ = 0, alternativnı hypoteza H1 : ρ 6= 0

ResenıGretl: View →Correlation

corr(vzdelani, prijem) = 0.86691624

Under the null hypothesis of no correlation:

t(13) = 6.27081, with two-tailed p-value 0.0000

1. korelacnı koeficient mezi vzdelanım a prıjmem je roven 0.87

35

2. korelacnı koeficient je signifikantne odlisny od nuly na hladinevyznamosti 5%, protoze p-hodnota 0.0000 je mensı nez 0.05.

Cvicenı

1. Z populace zaku osmych rocnıku byli nahodne vybrani tri zaci,u nichz byla zjistena znamka z ceskeho jazyka na vysvedcenına konci osmeho rocnıku a znamka z testu, kterou dostali zposlednıho pısemneho testu z ceskeho jazyka.

znamkazak vysvedcenı test

1 1 22 2 33 3 7

Vypocıtej korelacnı koeficient a testuj, zda-li je na hladine vyznamnosti5 % signifikantne odlisny od nuly.

2. (data 09 koreltest vysvedceni test.csv) Z populace zaku osmychrocnıku bylo nahodne vybrano patnact zaku, u nichz byla zjistenaznamka z ceskeho jazyka na vysvedcenı na konci osmeho rocnıkua znamka z testu, kterou dostali z poslednıho pısemneho testu zceskeho jazyka.

36

znamkazak vysvedcenı test

1 1 12 2 33 2 14 1 15 3 36 4 47 2 38 3 39 4 410 1 211 1 112 1 113 3 314 3 515 4 4

Vypocıtej korelacnı koeficient a testuj, zda-li je na hladine vyznamnosti5 % signifikantne odlisny od nuly.

3. Porovnej korelacnı koeficienty v predchozıch dvou cvicenıch. Porovnejzavery testu (na hladine vyznamnosti 5 %) o odlisnosti korelacnıhokoeficientu od nuly. Porovnej tyto dva zavery!

3.3.5 Chı-kvadrat test

Prıklad (data 10 chitest nazor pohlavi.csv)

Vyucujıcı chtel zjistit, zda-li souvisı nazor studentu o obtıznosti kurzus pohlavım studenta. Nahodne vybral 166 studentu, u kterych zazna-menal nazor na obtıznost kurzu (obtızne, snadne) a jejich pohlavı (viz

37

datovy soubor nazor pohlavi). Na hladine vyznamnosti 10 % testuj,zda-li nazor ohledne obtıznosti kurzu souvisı s pohlavım studenta.

ResenıNulova hypoteza H0 : nazor a pohlavı navzajem nesouvisı, alternativnıhypoteza H1 : nazor a pohlavı spolu souvisı

Gretl: View →Cross Tabulation

Cross-tabulation of nazor (rows) against pohlavi (columns)

[ 0][ 1] TOT.

[ 0] 42 33 75

[ 1] 27 64 91

TOTAL 69 97 166

Pearson chi-square test = 11.7349 (1 df, p-value = 0.000613377)

Na hladine vyznamnosti 10 %(=0.1) zamıtame nulovou hypotezu, protozep-hodnota je mensı nez 0.1 . Na hladine vyznamnosti 10 %(=0.1) lzerıci, ze nazor ohledne obtıznosti kurzu a pohlavı spolu navzajem sou-visı.

3.3.6 Linearnı regrese

• slouzı k predikci ci odhadu jedne promenne Y na zaklade znalostidalsı promenne X (promennych)

• slovo ”linearnı” oznacuje, ze predpokladame linearnı vztah mezipromennou Y a X, tj. promenne mohou byt reprezentovanygrafem scatterplot, v nemz se body majı tendenci nachazet kolemprımky

• tato prımka je nazyvana prımkou linearnı regrese

• tato prımka reprezentuje, jak souvisı zmena promenne X se zmennoupromenne Y

38

Prıklad (data 11 regrese seminar zkouska.csv)

Vysokoskolsky ucitel chtel zjistit, zda-li souvisı pocet seminaru, kterestudent behem semestru navstıvil, s vyslednym poctem bodu v zkouskovemtestu. U nahodneho vyberu 20 studentu si zaznamenal pocet navstıvenychseminaru behem semestru (rozmezı 0-13) a pocet bodu v zkouskovemtestu (rozmezı 0-100 procent):

student pocet seminaru vysledek zk

1 0 32 13 503 5 404 13 905 13 706 12 1007 11 978 4 209 2 1010 10 5611 9 8012 13 9013 12 7814 14 8315 1 216 4 2417 10 8018 3 3419 0 720 1 2

1. Uvedte popisne statistiky (prumer, median, minimum, maxi-mum a standardnı odchylka) pro obe zkoumane promenne (pocet

39

seminaru, vysledek u zkousky)

2. Reprezentujte data pomocı grafu scatterplot, zakreslete vyberovouregresnı prımku (odhad regresnı prımky)

3. Na hladine vyznamnosti 5 procent testujte, zda-li je koeficientu poctu navstıvenych seminaru signifikantne odlisny od nuly,tj. zda-li pocet navstıvenych seminaru pomaha signifikantnevysvetlit vysledek ve zkouskovem testu

4. Interpretujte koeficient u poctu navstıvenych seminaru.

5. Jaky vysledek (pocet bodu) ve zkouskovem testu muze dle nasehoregresnıho modelu ocekavat student, ktery navstıvil 7 seminaru?Jaky vysledek muze ocekavat student, ktery navstıvil 9 seminaru?

6. Porovnej predikci vysledku v testu pro studenta, ktery navstıvil9 seminaru se sebranymi udaji vysokoskolskeho profesora. (Jepredikce vysledku shodna s daty, ktere ucitel nameril? Proc tomutak je?)

7. Je mezi pocetem navstıvenych seminaru a vysledku v zkouskovemtestu kauzalnı vztah?

Resenı

1. Gretl: View →Summary statistics

Summary Statistics, using the observations 1 - 20

for the variable ’pocet_seminaru’ (20 valid observations)

Mean 7.5000

Median 9.5000

Minimum 0.0000

Maximum 14.000

Standard deviation 5.1759

C.V. 0.69011

40

Skewness -0.21497

Ex. kurtosis -1.6057

Summary Statistics, using the observations 1 - 20

for the variable ’vysledek_zk’ (20 valid observations)

Mean 50.800

Median 53.000

Minimum 2.0000

Maximum 100.00

Standard deviation 35.691

C.V. 0.70258

Skewness -0.11800

Ex. kurtosis -1.5362

2. Gretl: View →Graph specified vars

41

Figure 5: Scatterplot

3. Gretl: Model →Ordinary least squares

Model 1: OLS estimates using the 20 observations 1-20

Dependent variable: vysledek_zk

coefficient std. error t-ratio p-value

--------------------------------------------------------------

const 3.25088 5.77839 0.5626 0.5807

pocet_seminaru 6.33988 0.639287 9.917 1.01E-08 ***

Mean of dependent variable = 50.8

Standard deviation of dep. var. = 35.6911

Sum of squared residuals = 3744.4

Standard error of the regression = 14.423

Unadjusted R-squared = 0.84529

42

Adjusted R-squared = 0.83670

Degrees of freedom = 18

Log-likelihood = -80.7016

Akaike information criterion (AIC) = 165.403

Schwarz Bayesian criterion (BIC) = 167.395

Hannan-Quinn criterion (HQC) = 165.792

• Vyberova regresnı prımka je: V = 3.25 + 6.34S, kde S jepocet seminaru a V je vysledek u zkousky

• Koeficient u poctu seminaru je tedy roven 6.34. Tento koefi-cient je signifikantne odlisny od nuly na hladine vyznamnosti5 procent, protoze p-hodnota 1.01E−08 je mensı nez 0.05 (5procent). (Porovnej tento zaver se zaverem testu o tom, zdaje korelacnı koeficient mezi poctem seminaru a vysledkem uzkousky signifikantne odlisny od nuly na hladine vyznamnosti5 %.)

4. Pokud se pocet navstıvenych seminaru zvysı o jeden, lze ocekavat,ze percentualnı vysledek ve zkouskovem testu v prumeru o 6.34procentnıho bodu.

5. Predikce vysledku testu pro studenta, ktery navstıvil 7 seminaruje roven 3.25+6.37*7=47.84 procent. Predikce vysledku testu prostudenta, ktery navstıvil 9 seminaru je roven 3.25+6.37*9=60.58procent.

6. Vysokoskolsky ucitel ma ve svem vyberu jednoho studenta, kterynavstıvil 9 seminaru. Jeho vysledek ve zkouskovem testu je 80procent. Dle naseho modelu lze pro studenta, ktery navstıvil 9seminaru predikovat vysledek 60.58 procent. Rozdıl mezi temitozavery lze vysvetlit napr. chybou merenı vysledku studenta. Jemozne, ze pri oprave testu ci zaznamenavanı vysledku tohotostudenta udelal ucitel chybu. Dalsım duvodem by mohlo byt, zepouzity model linearnı regrese nenı spravnym modelem pro tutosituaci. Je mozne, ze jiny model vysvetluje vysledek testu nazaklade poctu seminaru presneji.

43

7. Dany vztah mezi pocet seminaru a vysledkem v testu je predikcnımvztahem. Na zaklade poctu seminaru predikujeme vysledek vtestu. O kauzalnım vztahu nelze jednoznacne nic rıci. Nemuzemetedy rıci, ze zvysenı poctu seminaru o jeden je prıcinnou zvysenıvysledku v testu o 6.34 procentnıho bodu. (Prıcinou dobrehovysledku u zkousky muze byt napr. velka pıle studenta. Promennapilnost studenta vsak v nasem regresnım modelu nenı zahrnuta.Tato promenna je vsak korelovana s poctem navstıvenym seminaru,ktery v nasem modelu je zahrnut. Realne tak muze byt vliv poctuseminaru na vysledek u zkousky nesiginifikantnı (nevyznamny;nenı signifikantne odlisny od nuly). Ale vzhledem ke korelaci snepozorovanou promennou pıle studenta vyjde v modelu koefi-cient u poctu navstıvenych seminaru nadhodnoceny a signifikantneodlisny od nuly.)

Cvicenı (data 12 regrese test IQ konzultace.csv)

1. Ucitel chtel zjistit vztah mezi poctem hodin, ktere s nım studentkonzultoval, a vysledkem v testu z matematiky. Provedl nahodnyvyber dvaceti studentu, u kterych si zaznamenal percentualnıvysledek v testu a pocet hodin, ktere student vyuzil pro konzul-tovanı prıkladu, kterym v prubehu semestru mene nerozumel.Promennou, kterou ucitel nepozoroval je vyse IQ. Vsechna data(tj. ta, ktere ucitel mel i nemel k dispozici) shrnuje nasledujıcıtabulka:

44

student test IQ konzultace

1 71.32 89 2.12 78.58 96 1.43 74.50 91 1.54 93.64 116 4.25 75.34 92 2.26 83.06 102 1.87 72.34 89 0.78 79.06 98 1.39 78.30 97 0.010 77.66 97 2.311 84.88 101 2.912 65.20 80 0.513 82.54 101 2.214 94.28 116 3.415 79.78 98 2.416 76.00 93 3.017 80.82 98 2.618 87.18 108 3.419 92.04 112 3.220 77.92 95 1.1

(a) Uvedte popisne statistiky (prumer, median, minimum, max-imum a standardnı odchylka) pro promenne, ktere ucitel meli nemel k dispozici (vysledek v testu, pocet konzultacnıchhodin a IQ).

(b) Reprezentujte data pro vysledek v testu a pocet konzultacnıchhodin pomocı grafu scatterplot, na vodorovnou osu nanestepocet konzultacnıch hodin a na svislou osu vysledek v testu.Zakreslete vyberovou regresnı prımku (odhad regresnı prımky).

(c) Na hladine vyznamnosti 5 procent testujte, zda-li je ko-eficient u poctu konzultacnıch hodin signifikantne odlisny

45

od nuly, tj. zda-li pocet konzultacnıch hodin pomaha sig-nifikantne vysvetlit pocet bodu ve testu

(d) Interpretujte koeficient u poctu konzultacnıch hodin.

(e) Jaky vysledek (pocet bodu) ve zkouskovem testu muze dlenaseho regresnıho modelu ocekavat student, ktery konzul-toval s ucitelem 50 minut?

(f) Nynı se zamerıme na promennou, kterou ucitel nepozoroval,tj. IQ. Znazornete graficky vztah mezi IQ a vysledkem vtestu z matematiky.

• Odhadnete model linearnı regrese pro IQ jako vysvetlujıcıpromennou a vysledek v testu jako vysvetlovanou promennou.

• Je koeficient u vysledku v testu signifikantnı na hladinevyznamnosti 5 procent?

(g) Model linearnı regrese lze pouzıt i v prıpade, kdy mamevıce nez jednu vysvetlujıcı promennou. V nasem prıpadebudeme chtıt vysvetlit vysledek v testu pomocı poctu konzultacnıchhodin i IQ.

• Odhadnete model linearnı regrese, kde jako vysvetlujıcıpromenne (independent variables) pouzijete pocet konzultacnıchhodin a IQ, tj. odhadni parametry a,b,c v rovnici vysledek = a+ b*IQ + c*konzultace.

• Jsou jsou odhadnute koeficienty u IQ a poctu hodinkonzultacı signifikantne odlisne od nuly.

• Jaka je interpretace techto koeficientu?

• Porovnej signifikanci a interpretaci koeficientu u konzultacnıchhodin v dvou regresnıch modelech: modelu, ktery majednu vysvetlujıcı promennou (pocet konzultacnıch hodin),a modelu, ktery ma dve vysvetlujıcı promenne (pocetkonzultacnıch hodin i IQ).

• Je vztah mezi poctem konzultacnıch hodin a vysledkemv testu kauzalnı?

46

4 Testy

4.1 Druhy didaktickych testu

• testy rychlosti

• testy urovne

• testy standardizovane

• testy nestandardizovane

• testy kognitivnı a psychomotoricke

• testy vysledku vyuky a testy studijnıch predpokladu

• testy rozlisujıcı (testy relativnıho vykonu)

• testy overujıcı (testy absolutnıho vykonu)

• testy vstupnı, prubezne a vystupnı

• testy monotematicke a polytematicke

• testy objektivne skorovatelne

• testy subjektivne skorovatelne

4.2 Typy testovych uloh

Nasledujıcı material je kopiı z publikace a je taktez umıstnen na we-bovych strankach k tomuto predmetuCHRASTKA, M. Metody pedagogickeho vyzkumu. Praha: Grada, 2007,s. 188-194.

• sedm naskenovanych obrazku chrastka-typy-uloh1.png, chrastka-typy-uloh2.png, chrastka-typy-uloh3.jpg, chrastka-typy-uloh4.png,chrastka-typy-uloh5.png, chrastka-typy-uloh6.png,chrastka-typy-uloh7.png nebo tez prezentace m1.pdf

47

• poznamky k navrhum polozek Test-items1.jpg

Cvicenı

Ke kazdemu z deseti uvedenych typu uloh uvedte vlastnı prıklad. Disku-tujte:

• Jaky typ uloh bylo pro Vas nejobtıznejsı sestavit?

• Je dany typ ulohy pro testovany obsah vhodny? Nebylo byvhodne zvolit jiny typ ulohy? Pokud ano, jak byste danou ulohyreformulovali?

• Jakym zpusobem byste jednotlive ulohy vyhodnocovaly?

4.3 Postup konstrukce didaktickeho testu urovne

(uvedeno tez na prezentace m1.pdf)

• nezacınat navrhovanım testovych uloh

• zacınat promyslenım ucelu testu a dale stanovenım obsahu testu- viz obrazek fig-4-1-illustration-of-topic-and-process.jpg

• pro uroven osvojenı poznatku je vhodne pouzıt Bloomovu tax-onomii vyukovych cılu (znalost, pochopenı, aplikace, analyza,synteza a hodnocenı)

• stanovıme casovy limit

• dale lze pristoupit k formulaci jednotlivych uloh, pricemz je nutnemıt neustale na pameti, k jakemu ucelu ulohy slouzı a na zakladetoho vybırat i vhodny typ testovych uloh (otevrene, uzavreneatd.)

• test je vhodne nechat posoudit jinym hodnotitelem (posuzovanıobsahove validity)

48

• po sberu dat provedeme analyzu vlastnostı testovych uloh a celehotestu (vypocet obtıznosti a citlivosti polozek, analyza nenormovanychodpovedı a reliability testu - viz dalsı cast)

• vyradıme ulohy, ktere nejsou vhodne (napr. zaporna diskrim-inacnı sıla)

• pokud ma test urovne, u nejz chceme mıt obsahove homogennıulohy, nızkou reliabilitu, pak vysledky zaku zıskanych pomocıtohoto testu nemuzeme povazovat za spolehlive a presne

• nasledne provedeme standardizaci testu (podle poctu bodu ztestu zaradıme zaka do urciteho zebrıcku)

4.3.1 Vlastnosti testovych uloh - obtıznost, citlivost a analyzanenormovanych odpovedı

(uvedeno tez na prezentace m1.pdf)

• zopakovat zakladnı pojmy popisne statistiky - prumer, smerodatnaodchylka, normalnı rozdelenı a korelace na zaklade slajdu z Metodolo-gie pedagogickeho vyzkumu

• Obtıznost polozky - Hodnota obtıznosti polozky

Q = 100nnN

– nn je pocet zaku, kterı NEodpovedeli na polozku spravne

– N celkovy pocet zaku

• Obtıznost polozky - Index obtıznosti polozky

Q = 100nsN

– ns je pocet zaku, kterı odpovedeli na polozku spravne

– N celkovy pocet zaku

49

• Citlivost polozek - Koeficient ciltivosti ULI(upper-lowerindex)

d =nL − nH

0.5N

– nL je pocet zaku z ”lepsı poloviny”, kterı odpovedeli napolozku spravne

– nH je pocet zaku z ”horsı poloviny”, kterı odpovedeli napolozku spravne

– N celkovy pocet zaku

• Pro hodnoty obtıznosti 30-70 se doporucuje, aby d bylo aspon0.25pro hodnoty obtıznosti 20-30 a 70-80 se doporucuje, aby d byloaspon 0.15

• Analyza nenormovanych odpovedı = rozbor vynechanychnebo nespravnych odpovedı

• u otevrenych uloh venujeme pozornost tem, ve kterych vynechaloodpoved vıce nez 30-40% zaku, u uzavrenych uloh je to pak vıcenez 20%

• u uloh uzavrenych s vyberem odpovedi zkontrolujeme atraktivnostdistraktoru - neatraktivnı distraktor nahradıme jinym

• u uzavrenych uloh rozdelıme nespravne odpovedi do dvou kat-egoriı - zakladnı chyby (zpusobene neznalostı uciva) a vedlejsıchyby (zpuosbene nahodnymi vlivy), odstranıme ulohy, kde prevazıvedlejsı chyby nad zakladnımi chybami

4.3.2 Reliabilita testu

• Didakticky test ma dobrou reliabilitu, pokud poskytuje spolehlivea presne vysledky. Pokud bychom test neustale opakovali zastejnych podmınek, meli bychom v prıpade testu s dobrou relia-bilitou zıskat velmi podobne vysledky.

50

• Hodnota se pohybuje od 0 do 1

• test s dobrou reliabilitou ma hodnotu alespon 0.7

• vysoka VALIDITA ⇒ vysoka RELIABILITA

• vysoka VALIDITA : vysoka RELIABILITA

• Kuder-Richardsonuv vzorec pro vypocet reliabilitypro polozky skorovane 0,1vhodny pro testy urovne

rkr =K

K − 1

(1−

∑k pkqks2

)– K pocet uloh v testu

– pk podıl zaku, kterı resili danou ulohu k spravne

– qk podıl zaku, kterı resili danou ulohu k chybne (qk = 1−pk)– s2 vyberovy rozptyl pro celkove vysledky zaku v celem testu

• Reliabilita vypoctena metodou pulenıskorovanı polozek nenı omezenovhodny jak pro testy urovne, tak pro testy rychlosti

rsb =2.rb

1 + rb

– rb korelacnı koeficient mezi vysledekem zaku v sudych alichych ulohach

4.3.3 Standardizace testu

• pocet bodu v testu nerıka, zda je vykon zaka dobry ci slaby;jeden zak muze zıskat v jednom testu relativne hodne bodu a vjinem relativne malo bodu

51

• u standardizovanych testu se vykon zaka provnava s vykonemjinych zaku z reprezentativnıho vzorku dane skupiny (v takovemtovzorku jsou zpravidla stovku zaku)

• standardizovat vysledky testu znamena vyjadrit je vzhledem kvysledkum standardizacnıho vzorku zaku

• Percentilova skala udava, kolik procent zaku dosahlo horsıhovysledku

PR = 100nk − ni

2

N

– nk kumulativnı cetnost daneho vysledku

– ni cetnost daneho vysledku

– N celkovy pocet zaku

• z-skala vychazı z predpokladu normalnıho rozdelenı

• vyjadruje, jak daleko je vysledek od aritmetickeho prumeru, jakojednotka vzdalenost je vzata smerodatna odchylka

z =X − XS

– X urcity testovy vysledek

– X aritmeticky prumer vsech vysledku

– S smerodatna odchylka vsech vysledku

• Z-skala vychazı ze z-skaly

Z = 100 + 10z

• T-skala vychazı ze z-skaly

T = 50 + 10z

52

Cvicenı

Pouzij didtest data analyza.xls s daty o vysledcıch 40 zaku z 10ti polozkovehotestu. Proved analyzu vlastnostı polozek, vypocıtej reliabilitu po-mocı obou vyse diskutovanych metod a proved standardizaci testu(predpokladej, ze se jedna o reprezentativnı vzorek zaku, o jejichzvysledcıch lze predpokladat, ze jsou normalne rozdelene)

4.4 Validita a reliabilita testu - podrobnejsı diskuze

(uvedeno tez na prezentace m1.pdf)

• pri analyze didaktickeho testu jsme hovorili o obsahove validite areliabilite merene pomocı Kuder-Richardsonovy formule a metodoupulenı, ktere se uzıvajı predevsım u ucitelskych testu

• podrobnejsı diskuze k ruznym typum validity a reliability lzenalezt na obrazcıch Table-6-2-validity.jpg a Table-6-3-reliability.jpg

4.5 Modely srovnavanı testu

tato cast je prevzata z webovych stranek organizace Scio z internetoveadresyhttp://www.scio.cz/in/2vs/nsz/vysledek/metodika.asp

Srovnavacı model nahodnych skupin (Random Groups De-sign)

Tento model je vyuzıvan, pokud mame v jednom termınu dve variantystejneho testu (napr. testu OSP). Skupina testovanych je nahodnerozdelena na dve poloviny, z nichz kazda resı jednu variantu testu.Obvykla metoda rozdelenı je tzv. ”spiraling”, kdy jsou obe variantyv jedne mıstnosti rozdeleny strıdave. Prvnı testovany pıse variantuA, druhy variantu B, tretı variantu A atd. Pri takovemto nahodnem

53

rozdelenı muzeme obe podskupiny povazovat za rovnocenne (equiva-lent) a rozdıly ve statistickych parametrech obou variant testu dosazenychprıslusnou podskupinou (prumerna uspesnost, rozptyl skore) prımopovazujeme za rozdıly techto dvou variant (bez vlivu urovne testovaneskupiny). Tato metoda je pouzita pro potreby NSZ.

Srovnavacı model spolecnych uloh pro neekvivalentnı skupiny(Common -Item Nonequivalent Groups Design)

Tento model je uzıvan v prıpadech, kdy dve varianty testu resı dveruzne (neekvivalentnı) skupiny. Typickym prıkladem jsou dva ruznetermıny jednoho testu, kdy ekvivalent skupin nejsme schopni nijakzarucit (napr. hypoteza, ze na prvnı termıny se hlası zodpovednejsıuchazeci nez na poslednı. Dopad tohoto vlivu nenı mozne predemodhadnout). Rozdıly v prumerne uspesnosti a dalsıch statistickychcharakteristikach obou variant jsou ovlivneny nejen rozdılnostı vari-ant, ale take rozdılnostı testovanych skupin. V tomto modelu vari-anta A a varianta B majı spolecnou podmnozinu uloh. Na techtospolecnych ulohach se porovnavajı rozdılne urovne obou testovanychskupin. A pote je mozne provest srovnanı obou variant ocistene odvlivu rozdılnosti skupin. Tato metoda je pouzita pro potreby NSZ.

Dalsı uzıvane srovnavacı modely

Mezi dalsı uzıvane srovnavacı modely patrı Model jedne skupiny(Singel Group Design), kdy obe varianty testu jsou distribuovanystejne skupine testovanych, a Vyvazeny model jedne skupiny (Sin-gel Group Design with Counterbalancing), kdy jsou obe variantyopet testovany na jedne skupine, ale polovina testovanych absolvuje ne-jprve variantu A a pote variantu B, zatımco druha polovina resı testyv opacnem poradı. Tento model eliminuje vliv zkusenosti s testem,ktery ovlivnuje uspesnost druheho testu v poradı. Oba tyto modelynejsou pro NSZ vhodne.

54

Metody srovnavanı testu

Dvema nejuzıvanejsımi metodami srovnavanı testu jsou metoda linearnıa metoda ekvipercentilova. Linearnı metoda je zalozena na srovnavanıprumerne uspesnosti a rozptylu skore obou variant. Ekvipercentilovametoda je zalozena na porovnavanı kumulativnıch distributivnıch krivek.Zjednodusene receno, ekvipercentilova metoda srovnava ucastnıky, kterıv jednotlivych variantach dosahli stejneho percentilu (predstihli stejnemnozstvı ostatnıch ucastnıku dane varianty). Na rozdıl od linearnımetody je ekvipercentilova metoda presnejsı na cele skale skore. Protobyla pro potreby NSZ 2008/2009 zvolena ekvipercentilova metoda a vdalsım textu je podrobne vysvetleno jejı konkretnı uzitı.

4.5.1 Ekvipercentilova metoda (Equipercentile Equating)

Ekvipercentilova metoda je zalozena na pojmu percentil skore, kterypro dane skore uvadı, kolik procent z testovanych dosahlo nizsıho nebostejneho skore (nekdy se v definici uvazuje pouze nizsı skore, coz je zfaktickeho hlediska rovnocenne). Srovnanı skore z jedne varianty seskorem z druhe varianty pak dosahneme tak, ze ke kazdemu skore zprvnı varianty priradıme skore z druhe varianty, ktere ma stejny per-centil. Predpokladem ekvipercentilove metody je, ze skupiny testo-vanych v obou variantach testu jsou rovnocenne, coz platı naprıkladpro model nahodnych skupin, kde se tato metoda hojne vyuzıva. Presnamatematicka definice je pak nasledujıcı ...

4.5.2 Zretezena ekvipercentilova metoda (Chained Equiper-centile Equating)

Pro srovnavacı model spolecnych uloh pro neekvivalentnı skupiny seuzıva zretezena ekvipercentilova metoda. Jak jiz bylo napsano vyse,tento model vyuzıva spolecne mnoziny uloh, ktere se vyskytujı vevariante X i Y (oznacenı X a Y uzıvame, protoze se obecne jednao dve varianty testu pouzite v jinych termınech). Srovnavanı se paksklada ze dvou ekvipercentilovych srovnanı na stejne skupine testo-vanych. Nejprve se skore z varianty X ekvipercentilove srovna se

55

skorem na spolecnych ulohach. Spolecne ulohy se zde uvazujı jakosamostatny test, ktery resila stejna skupina lidı jako variantu X. Tytezspolecne ulohy resila take skupina lidı testovanych variantou Y. Opetmuzeme skore ze spolecnych uloh (tentokrat resenych skupinou lidız varianty Y) ekvipercentilove srovnat se skore z varianty Y. Spo-jenım (zretezenım) techto dvou srovnavanı dostaneme srovnanı skorevarianty X se skorem varianty Y. Presna matematicka definice je paknasledujıcı:

56