Metodologie pedagogick eho v yzkumu I C ast materi al u k p …€¦ · · 2012-10-08statistick...

Metodologie pedagogickeho vyzkumu ICast materialu k prednaskam

Hana Vonkova

Univerzita Karlova v Praze - Pedagogicka fakulta

Vonkova Metodologie pedagogickeho vyzkumu I 1

Kroky v provadenı vyzkumu

Formulace výzkumného problému

Práce s literaturou

Sestavování výzkumného vzorku

Sběr dat

Analýza a interpretace dat

Psaní výzkumné zprávy

Kroky v provádění výzkumuKvantitativní výzkum Kvalitativní výzkum

● orientován na detailní prozkoumání určitého jevu

● orientován na popis a vysvětlení určitého jevu

● podstatná role ● odůvodnění volby výzkumného problému a jeho specifikace pro účely studie

● méně důležitá role● odůvodnění volby výzkumného problému

● velký vzorek● úzce definovaný● obvykle reprezentativní za populaci, k níž je vztažen výzkumný problém

● obvykle menší vzorek● obecně definovaný

● volba metod sběru dat jako např. dotazníky

● numerická data

● volba metod sběru dat ako např. pozorování

● vedení si záznamů

● statistická analýza dat● popis trendů, porovnání skupin, analýza vztahu proměnných

● srovnání s výsledky v literatuře

● analýza a interpretace textů, nahrávek atd.

● interpretace zjištění, posun v porozumění tématu

● standardní formát ● flexibilní formát


Formulace vyzkumneho problemu I

linearnı forma vyzkumneho planu poskytuje je velmi vhodnypro prvnı orientaci pri provadenı vyzkumu, vyzkum vsakobvykle nenı tak prımocary

velmi casto se stava, ze vyzkumny problem, ktery jstedefinovali na zacatku, je v prubehu vyzkumu shledan jakonejasny, prılis siroky ci nemozny zkoumat ⇒ preformulovatproblem


Formulace vyzkumneho problemu II

nenı snadne nalezt relevantnı vyzkumne tema - pouzijte napr.nasledujıcı zdroje

teorie - Piagetova teorie, teorie vzdelavanı dospelych atd.osobnı zkusenost - otazky vyplyvajıcı z pedagogickychcasopisu, kurikularnıch dokumentu atd.studie, ktere mohou byt replikovany - napr. vyuzitıinformacnıch technologiı ve vyuce

zuzenı vyzkumneho problemu:

siroke: Jaky je vztah mezi vyuzitım ruznych prıstupu vevyucovanı a uspechem detı ve skole?uzsı: Jaky je vztah mezi vyuzitım strategie nalezanı podobnostıa rozdılu a vysledkem detı v testu z ceskeho jazyka?


Formulace vyzkumneho problemu III

Volba relevantnıho vyzkumneho problemu:

tema musı byt zajımave - predstavte si, jak dlouho na nembudete pracovat

tema musı byt zkoumatelne - musıte byt schopni ho zkoumatskrz analyzu sebranych dat

tema musı byt vyznamne - meli byste prispet k jizpublikovanym vysledkum

tema musı byt eticke - nesmıte zranit, ani nijak ztrapnitparticipanty vyzkumu

tema musı byt zvladatelne - odpovıda vasim schopnostem,casovemu planu a financnım zdrojum


Formulace vyzkumneho problemu IV

Formulace hypotezy

hypoteza je tvrzenı obsahujıcı vyzkumnıkovo ocekavanı ovztahu mezi promennymi v ramci zkoumaneho tematu

prıklad stanovenı hypotezy v experimentalnıch studiıch:

P ktery dostane X vykona lepe Y nez P, ktery nedostane XP je participant, X je osetrenı, Y je vysledek

promenne v hypoteze ci vyzkumnem problemu musı bytmeritelne - musı byt zcela jasne, co je mereno (vysledek zakuv testu, frekvence vyuzıvanı otazek behem vyucovanı atd.)


Formulace vyzkumneho problemu V

ani jedno z nasledujıcıch tvrzenı neplatıhypoteza nenı sebranymi daty podporena, a tudız studie jeneuspesnahypoteza je sebranymi daty podporena, a tudız studie jeuspesna

nesmesuj “vası hypotezu” s nulovou hypotezoustatistickeho testu jako je napr. t-test, F-test, chı-kvadrattest atd.

nulova hypoteza statistickeho testu ma vzdy stejny tvar, jinaktest nejde odvodit


Skaly merenı

1 nominalnı - udaje muzeme kategorizovatprıklad: pohlavı, barva ocı, zapadnı a vychodnı zeme

2 ordinalnı - udaje ma smysl seradit, vzdalenost mezi udajinema smysl porovnavatprıklad : serazenı zaku podle casu v urcitem behu; rozdıl mezicasem prvnıho a druheho zaka muze byt odlisny od casupateho a sesteho zaka)

3 intervalove - udaje ma smysl seradit, vzdalenost mezi udajima smysl porovnavat, neexistuje prirozeny nulovy bodprıklad : merenı IQ

4 pomerove - udaje ma smysl seradit, vzdalenost mezi udaji masmysl porovnavat, existuje prirozeny nulovy bodprıklad : vaha, vyska


Metody sberu dat I - dotaznıkove setrenı

Nekolik doporucenı

sestav atraktivnı, vystizny a strucny dotaznık

uvedom si jakou informaci potrebujes a z jakeho duvodu(uvedom si cıl dotaznıku a strucne ho popis na uvodnı strance)

zahrn pouze takove polozky, ktere se vztahujı k tvemu cıli

na zacatek se pokus zahrnout zajımave a nekomplikovanepolozky

nedavej velmi dulezite polozky az na konec

pokud je to potreba, zahrn demograficke a socio-ekonomickecharakteristiky


Metody sberu dat II- dotaznıkove setrenı

Doporucenı ohledne formulace polozek I

by mely byt jasne pro danou cılovou skupinunapr. zvolene pojmy by mely byt pro danou populacipochopitelne

by nemely predpokladat fakt, ktery nenı nutne pravdivynapr. “Kdy jsi naposledy cetl nejakou odbornou knihu?”evokuje v respondentovi pocit, ze by mel odbornou knihu cıst

by nemely vyvolat v respondentovi pocit, ze nejakaodpoved’ je vhodnejsı nez jinanapr. “Souhlasıs s vetsinou lidı ze ... ”

by nemely vest k neuprımne odpovedinapr. “Snazıs se sve studenty co nejvıce naucit? ” - vetsinaucitelu by odpovedela ano, ale z toho nevyplyva, kolik casustravı prıpravou na vyuku, diskuzı se studenty atd.


Metody sberu dat III - dotaznıkove setrenı

Doporucenı ohledne formulace polozek II

by mely obsahovat prıklad, pokud se jedna o nejakounebeznou, netrivialnı situaci ci pojem

by mely mıt dostatecny prostor pro odpoved’ (pokudpouzıvas otevrene polozky)

by mely mıt formulaci polozky a nabıdku odpovedı pokudmozno u sebe, na jedne strance

by mely byt specificky formulovanyprıklad: nenı vhodne: “Stravıs prıpravou na vyuku hodnecasu?”, lepe: Kolik casu stravıs v prumeru behem jednohotydne prıpravou na vyuku? - mene nez 1 hodinu, atd.


Didakticky test - strucny popis postupu konstrukce I

nezacınat navrhovanım testovych uloh

zacınat promyslenım ucelu testu a dale stanovenım obsahutestu

pro uroven osvojenı poznatku je vhodne pouzıt Bloomovutaxonomii vyukovych cılu (znalost, pochopenı, aplikace,analyza, synteza a hodnocenı)

stanovıme casovy limit

dale lze pristoupit k formulaci jednotlivych uloh, pricemz jenutne mıt neustale na pameti, k jakemu ucelu ulohy slouzı ana zaklade toho vybırat i vhodny typ testovych uloh(otevrene, uzavrene atd.)


Didakticky test - strucny popis postupu konstrukce II

test je vhodne nechat posoudit jinym hodnotitelem -posuzovanı obsahove validity

po sberu dat provedeme analyzu vlastnostı testovych uloha celeho testu (vypocet obtıznosti a citlivosti polozek,analyza nenormovanych odpovedı a reliability testu)

vyradıme ulohy, ktere nejsou vhodne (napr. zapornadiskriminacnı sıla)

pokud ma test s obsahove homogennımi ulohami nızkoureliabilitu, vysledky zaku zıskanych pomocı tohoto testunemuzeme povazovat za spolehlive a presne

nasledne lze provest standardizaci testu


Didakticky test - testove ulohy I

Testove ulohy delıme dle zpusobu resenı (Chrastka, 2007)1 otevrene ulohy

otevrene siroke ulohyotevrene ulohy se strucnou odpovedı

2 uzavrene

dichotomickes vyberem odpovedi(ı)prirazovacıusporadacı


Didakticky test - testove ulohy II

Otevrene siroke ulohy

od testovaneho vyzadujı rozsahlejsı odpoved’ (1/2 strany,ale i vıce)

Ktere byly hlavnı prıciny vzniku druhe svetove valky?Popiste cinnost jaderne elektrarny.

vhodne pro zkousenı komplexnıch vedomostı, vyssıch urovnıosvojenı uciva

doporucuje se vymezenı struktury pozadovane odpovedi prosnadnejsı vyhodnocovanı

vyhoda: snadno se navrhujı

nevyhoda: nemoznost objektivnıho skorovanı


Didakticky test - testove ulohy III

Otevrene ulohy se strucnou odpovedı

od testovaneho vyzadujı vytvorenı vlastnı kratke odpovedi -napr. uvedenı urciteho slova, cısla, symbolu, vzorce,jednoducheho grafu, nekolik slov ci kratkych vet atp.

delıme je na:

produkcnı ulohyNapiste Archimeduv zakon.doplnovacı testove ulohyDne 6. cervence 1415 byl v Kostnici upalen kazatel. . .Muzi mlcel. . ., zeny hovoril. . ., deti se smal. . . a stenta sihral. . ..

vyhody: snadno se navrhujı a nejde snadno uhodnout odpoved’

spravna odpoved’


Didakticky test - testove ulohy IV

Dichotomicke ulohy

testovanym jsou predkladany dve alternativy odpovedi s tım,ze jedna je spravna

casto oznacovany jako true-false items

Jan Amos Komensky se narodil roku 1592. ano - nePri vyparovanı kapaliny se teplo spotrebovava - uvolnuje

vyhody: snadno se navrhujı a vyhodnocujı

nevyhody: casto testovanı pouze zapamatovanı (1. stupenBloomovy taxonomie), moznost uhodnutı spravne odpovedi je50ti procentnı


Didakticky test - testove ulohy IV

Ulohy s vyberem odpovedı (prıklady dle Chrastka, 2007)testovany vybıra odpoved’ (odpovedi) z nekolika nabıdnutychalternativdelıme je na:

ulohy typu ”jedna spravna odpoved’”Cesta vlakem nam velmi rychle ubehla.Podtrzeny vetny clen je:A podmetB prısudekC predmetD prıslovecne urcenı

vyhody: relativne snadno se navrhujı, snadno se vyhodnocujı

nevyhody: v praxi casto testujı pouze zapamatovanı


Didakticky test - testove ulohy V

ulohy typu ”jedna nejpresnejsı odpoved’” Ktere znasledujıcıch tvrzenı nejlepe odpovıda na otazku “Co jechemicky prvek?”A Prvek je latka, ktera je se sklada z atomu stejneho druhu.B Prvek je latka, kterou jiz dale nejde delit.C Prvek je latka slozena z atomu, ktere majı stejne protonovecıslo.D Zadne z predchozıch tvrzenı nenı spravne.

pro testovane obvykle byvajı obtızne

vyhody: snadne na vyhodnocovanı

nevyhody: casto je obtızne je zkonstruovat


Didakticky test - testove ulohy VI

ulohy typu ”jedna nespravna odpoved’”

Ktery z nasledujıcıch deju nenı formou oxidacnıho procesu?A dychanıB hnitıC destilaceD rezivenı


“nevyhody”: konstrukce distraktoru



ulohy s vıcenasobnou odpovedı

Kterymi staty proteka reka Odra?A NemeckoB RuskoC Ceska republikaD SlovenskoE Polsko

nevyhody: mohou se objevit problemy pri skorovanı - lze zvolitnapr. metodu “vsechno nebo nic”



situacnı ulohy

nabıdky nejsou predkladany ve forme seznamu, vyplyvajı zesituace

Na mısto oznacene hvezdickou napis cıslici, aby vyslednesesticiferne cıslo bylo delitelne sedmi:823*43

nepouzıvajı se casto



Didakticky test - testove ulohy VII

Korekce na hadanı spravnych odpovedı

so = sn −n

y − 1

,

so opravene skore

sn neopravene skore

n pocet nespravnych odpovedı

y pocet nabızenych odpovedı

doporucenı ohledne poctu nabızenych odpovedı: 4-5(mensı pravdepodobnost uhodnutı, unosny pocet pri konstrukci)


Didakticky test - testove ulohy IX

Prirazovacı ulohy

ukolem testovaneho je priradit pojmy z jedne mnoziny kpojmum z mnoziny druhe

K nazvum statu v levem sloupci prirad’te nazvy hlavnıch mestz praveho sloupce.

Svycarsko A Dublin F RejkjavıkNorsko B Oslo G HelsinkyIsland C BonnNizozemsko D BernFinsko E Amsterdam

pocet nabızenych odpovedı v pravem sloupci je zamerne vetsı,aby zamezil ohodnutı spravneho prirazenı na zakladepredchozıch prirazenı

vyhody: omezujı moznost uhodnutı spravne odpovedi

nevyhody: vyuzitı jen v omezenem okruhu uciva


Didakticky test - testove ulohy X

Usporadacı ulohy

ukolem testovaneho je seradit prvky do rady podle zadanehokriteria

Serad’te uvedena mesta podle poctu obyvatel. Serazenıproved’te pomocı poradovych cısel 1 az 6, aby mesto snejvetsım poctem obyvatel melo cıslo 1.Londyn . . .Tokio . . .Kahira . . .New York . . .Sao Paulo . . .Sydney . . .

nevyhoda: obtızne skorovanı


Didakticky test - vlastnosti testovych uloh I

Obtıznost polozky - Hodnota obtıznosti polozky

Q = 100nn

N

nn je pocet zaku, kterı NEodpovedeli na polozku spravne

N celkovy pocet zaku

Obtıznost polozky - Index obtıznosti polozky

Q = 100ns

N

ns je pocet zaku, kterı odpovedeli na polozku spravne



Didakticky test - vlastnosti testovych uloh II

Citlivost polozek - Koeficient ciltivosti ULI (upper-lowerindex)

d =nL − nH

0.5N

nL je pocet zaku z ”lepsı poloviny”, kterı odpovedeli napolozku spravne

nH je pocet zaku z ”horsı poloviny”, kterı odpovedeli napolozku spravne


pro hodnoty obtıznosti 30-70 se doporucuje, aby d bylo aspon0.25

pro hodnoty obtıznosti 20-30 a 70-80 se doporucuje, aby dbylo aspon 0.15


Didakticky test - vlastnosti testovych uloh III

Analyza nenormovanych odpovedı = rozbor vynechanych nebonespravnych odpovedı

u otevrenych uloh venujeme pozornost tem, ve kterychvynechalo odpoved’ vıce nez 30-40% zaku, u uzavrenych ulohje to pak vıce nez 20%

u uloh uzavrenych s vyberem odpovedi zkontrolujemeatraktivnost distraktoru - zvazıme, zda-li nenahradımeneatraktivnı distraktor jinym distraktorem

u uzavrenych uloh rozdelıme nespravne odpovedi do dvoukategoriı - zakladnı chyby (zpusobene neznalostı uciva) avedlejsı chyby (zpuosbene nahodnymi vlivy), odstranımeulohy, kde prevazı vedlejsı chyby nad zakladnımi chybami


Didakticky test - posouzenı vnitrnı konzistence testu

Reliabilita testu

didakticky test ma dobrou reliabilitu, pokud poskytujespolehlive a presne vysledky. Pokud bychom test neustaleopakovali za stejnych podmınek, meli bychom v prıpade testus dobrou reliabilitou zıskat velmi podobne vysledky.

hodnota se pohybuje od 0 do 1

test s dobrou reliabilitou ma hodnotu alespon 0.7

Reliabilita vypoctena metodou pulenı

rsb =2.rb

1 + rb

rb korelacnı koeficient mezi vysledekem zaku v sudych alichych ulohach


Posuzovanı kvality merenı I - Validita

Validita = vystihuje, zda-li merıme skutecne to, co jsmezamysleli merit

Obsahova validita (Content validity) - porovnava se obsahtestu (ci jineho merıcıho nastroje) s domenou, ktera je merena

Kriterialnı validita (Criterion-related validity) - porovnejtestove skory s urcitym kriteriem pokryvajıcı oblast, kteroustudujes

soubezna validita (concurrent validity) - porovnanı skriteriem v tom samem case (napr. jinym testem, jinou mırouoblasti, na nız se zamerujes)predikcnı validita (predictive validity) - porovnanı skriteriem probıha v budoucnu (napr. predikcnı validitatestovych skoru u prijımacıch zkousek se muze porovnavat svysledky na vysoke skole)


Posuzovanı kvality merenı II - Validita

Konstruktova validita (Construct validity) - porovnanıtoho, do jake mıry pokryva konstrukt oblast, kterou ma meritprıklad konstruktu je inteligence, konstruktova validita -pokryva test inteligence oblasti, jez inteligenci definujı

Nasledna validita (Consequential validity) - uvadı do jakemıry zpusobuje merenı nezadoucı, skodlive efektyprıklad - Jake jsou efekty testovanı zaku pomocı testu suzavrenymi polozkami?


Posuzovanı kvality merenı III - Reliabilita

Reliabilita = vystihuje, do jake mıry je nase merenı spolehlivea konzistentnı

Stabilita (Stability) - reliabilita vypocıtana na zakladestability testovych skoruzadej test jedne skupine v dvou ruznych casech a vypocıtejkorelaci techto skoru

Ekvivalence (Equivalence) - reliabilita vypocıtana na zakladeporovnanı dvou verzı testu, ktere lze povazovat za ekvivalentnızadej alternativnı formy testu jedne skupine a koreluj jejichvysledky

Stabilita a evivalence (Stability and equivalence) -reliabilita vypocıtana na zaklade porovnanı dvou verzı testu,jez lze povazovat za ekvivalentnı, ktere jsou zadane v dvouruznych casechzadej testy jedne skupine v dvou ruznych casech


Posuzovanı kvality merenı IV - Reliabilita

Vnitrnı konzistence (Internal consistency) - udava do jakemıry jsou polozky v testu podobne ostatnım polozkam v testu,merıme je pomocı Kuder-Richardsonova vzorce, Cronbachovaalfa, metodou pulenı

Hodnotitel - Scorer/Rater - udava, do jake mıry se nezavislıhodnotitele nebo jeden hodnotitel v ruznem caseshodnou/shodne na skorovanı (napr. skorovanı otevrenychuloh)


Date post:	24-May-2018
Category:	Documents
Upload:	trinhkiet
View:	227 times
Download:	0 times

Metodologie pedagogick eho v yzkumu I C ast materi al u k p …€¦ · · 2012-10-08statistick...

Documents