II
lJI )K 37middotski ISSN 0037-6S4X
snik (asop i s za pedago s ka sko l s k a pitanj a
((ll 54 Broj 1 - 2 Str 1-1 82 Split 2005
v
Skolski UDK 37 ISSN 0037-654X
vjesnik Ca so pis za pedagoska i s kol s ka pitanja
Sk vjesn God 54 Broj 1 - 2 Str 1 - lR4 Split 2 005
SADRZAJ
RASPRAVE I CLANCI
Magda PASALIC Sanja MARINOV (Split) Problem visejezicnosti 1I Europskoj U niji (preglcdni clanak) 7
Siavomir STANKOV Ani G RUBISlC [hanko ZITKO Divna KRPAN (Split) Vrcdnovanje ucinkovitosti procesa lIcenja i pOLicavanja
bull v bull ( h d raquo 1 u sustavlma za e-ucenJe pret 0 no pnopcenJc _
Andrej FLOGIE Gorazd GUMZEJ (Maribor R Siovenija) Ot vo reni kod (strucni clan a k) 33
JlIlija VEJIC (Split) Poznavanje prava djetet a (stru cni C1anak) 39
All1and PAPOTNIK Dane KATALINI C Gorazd GUMZEJ (Maribor R Slovenija) Prirodoslovljc i tchnika na elementarnoll1 stupnjll kroz prizmu lIspjcSnog djetet a (prcthodno priop6 nje ) 51
Helena KORO SEC (Ljubljana R Siovenija) Kazaliste i lutke u skoli (izvorni znanstveni clanak) 59
Gor an sucrc (Split) Forll1alna analiza suit e Odras lo dj e tinjstvo (strucni cla nak) 65
Siobodan 13J- J t (Split) I JI llit i i Spill I ( I V(1111 1 I tll s tvc ni clanak) 73
1lIll n lli burshy
111 1N1 IIHTIA I I I dJIII 1IJ11I (1I o 15000 kn 1111 111 d I) 20000 kn II 111 10000 kn 11111 11 1 I 11 1l1l1 v IJ l lik ~ 6000 kn
11 J111 1I1 ~ tI 50 00 kn III d11III JII 8000 kn
hllil illlulina ~c saljc na ziroracun (fJ(I 1411f1UJ321 s naznakol11
1111 middot1I vis lIi k
IIIIII IUI I] 11 ( 1111 i Ilsalaquo 1111 1 Si l I r
UREDNISTVO
prol dr Bruno BRV[TTI Falkonarl ( Ilalil) dr sc Marina MARASOVIl shy- ALUI[VI Cmiddot pro visokc skok Splil dr sc Ivan MARSIC (Sv ica rska) pro I ltir Milan MTU IVIl Zagreh pro ur Jo~ip M1LAT Splil pro f ur Miljana N ZOR Splil prof ur Alll)ml PPOTNIK Maribor (S lovcniia) pro ur Si mc III~ I( Splil
GLAVNIIODGOVORNI UREDNIK
prof ur Si lllc IILlC
ZAMJENICA GLAVNOG I ODGOVORNOG UREDNIKA
pror dr Miljan NA ZOR
LEKTOR mr Jadranka N[METI-I -JAlIC
TEHNICKI UREDNIK I KOREKTOR
prof Pavao MIJIC Kas lel Gomil ica e-mail pavaomijics thtnethr
01 1 11 (111 NA( Iv() BANO VIC (Split)
Ill II I I Iii tr lI SllOg dd anja u ucenika prvog i drugog razreda osnovne skole
I 11 1111 1I 1 ~t ll - lvLni ( 1anak) 87
1 1 HO(I) A NO VIC (Zagreb)
I i 1 II I ilt i~ki diskurs obrazovanja odraslih - promjena paradigme
J il I d LI i ( J l llak) 101
IJII IO(RAFIJA
II111l1 l t M I ~ NDES (Split)
p ln l tI tliigtliografiju radova Daniee Nola
i 0fl dni rad - bibliogr afija) 109
IIW II(NA 1I()JONICA
OVA( r2Vrc (Split)
119
iUOIINbullbull II~J~J)STAVLJANJE
127
1 10 1 C Mill ( Z il d ar )
1 1 d I pfl Y IJI L ~ I kultura i tradieija 129
II M LM IC A (Split)
II IIII Ul i ~k i lbornik radova 0 povijesti imperijalnih gra niea
h1 Vd (ik it ll p rostorima u ranom novom vijeku 132
il 1 ~()J(SANl)(C (Zagreb)
llill ii II rJ1V ()r ~noj povijesnoj perspektivi 136
igt III F IA NOV IC (Split)
IJ i I Vi W l k sJii cdi uzuse renomiranih casopisa 139
(l( ISKO VJC (S plit)
u Ut I Ill Ill j l i ilil e na koj emu je posvecen 141
middotR1KAZI I OSVRTI
l ll s BLAZEVIC (Split) P Jagogijska istrazivanja vo lume n 1 143
Illes BLAZEVIC (Split)
Pcdagogijska istrazivanja volumen 2 145
VeJimir KARABUVA (Split)
J osi p Danolic Od erta i ureza 147
Prof drDzevdeta Ajanovic prof dr Marko Stevanovic M etodika vannastavnih aktivnosti ucenika 148
D r Marko Stevanovic Skola po mj eri ucenika 150
Napredak br 12005 153
N apredak br 22005 155
M irjana Babic- Siriscevic (Split) Goran Sucic Odraslo djetinjstvo 157
M arina CAPALlJA (Split) Ukopan u sebe i kamen 158
J ad ranka NEMETH-JAllC (Split) Z nanstve ni skup 159
P avao MIlle (Kastel Gomilica)
Cetvrti dani osnovne skole 160
Tomislav NAJEV (Split)
LiDraNo 170
U SPOMEN
Bra nimir MENDES (Split) D anica Nola (1910 - 2005 ) 173
Vladimir ROSIC (Rijeka) KreSimir Bezic (1930 - 2005) 17()
Sime PILlC (Split) Svcmir Toli c profesor psihologije (1946 - 2005) In Upute s ur adnicima 17 l)
()Iski UDK 37 ISSN 0037-654X
~nik Magazine for educational and school issucs
Year 54 No 1 - 2 Puge I - IR4 Split 2005
CONTENTS
dflI Gr r~ s
1111 ( A-iALIC Sanja MARINOV (Split)
1111 11)11 IIlliltilingualizm in the European Union (review article) 7
1 I ~ lI i l STAN KO V Ani GRUBISIC Branko ZITKO I JltPAN (Split)
d ll l t lllg ill fl llcnce of learning and teaching process in
ILIIIWl ~ys l c l1ls (preliminary comunication) 21
II h I ImiddotLOGIE Gorazd GUMZEJ (Maribor R Slovenia) 11 It II I1 ~n (professional article)
1 11 VI JIe (Split)
1i IWI~ ill ( ri l~ hs of the child (professional article) 39
II lid IA IO T N[K Dane KATALINIC
CiIJMtr l (Marihof R Slovenia) tI II ( C II lI d technique on elementary level us seen through
11 1 gt1 I ~II IltCl S~flll child (preliminary comunieution) 51
(J III 1 ( J(OSP ( Ljllhljana R Slovenia)
~rtr l III( 11 11 1[1l l1 I in Scll) (original scielltilili il j l ilIU ~tfttltl 59
H Ili ~aJ ( I (ip iil)
dl l l iI ~ Y~ I Ii ri l 111 middot I dllil ( lliloIIIIIIIltI (II -j lll i ifd iii 1 I(l j 11 1 tiljI 1 11 I j J I J A J ( I 1 II )
S lllli e nts and sport (ori g lnIi in li lli 11 1 1 ) 73 cknko KOSINAC Ivo BANuVl t Ci J1li l )
Posture disorders with the eknlellllry school [irst and second grade pupils (original scientific article) K7
lava BOGDANOVIC (Zagreb) O rganizational discourse of education of adults - change of the paradigm (review article) 10J
BIBLIOGRAPHY
I3 ranimir MENDES (Split) Articles for the bibliography of the literary works hy Danica Nola (review article - bibliography) 109
L1TERAR WORKSHOP
Milijana KOVACEVIC (Split) Poems 119
APP ROPRIATE INTRODUCTION
Sime PILIC (Split) Some notes that comes with thi s introduction 127
Nenad CAMBI (Zadar) Triangle history culture and tradition 129
Ivan MIMICA (Split) Ecohistorical collection of literary works about history of the imperial bounds in Croatian areas in the early new ages 132
Drago ROKSANDIC (Zagreb) Heritage in the open historical perspective 136
Zivko BJELANOVIC (Split) Skolski vjesnik is led by the reputable magazines 139
Ivan BOSKOVIC (Split)
Repertory by the name measure to which is dedicated Iell
II I 11middot V(( (Split) II 1middotI llmiddotal l~ la n h cs volume 1 143
IClt ILIZ I Vl(~ (Split)
J a~(lI ilil l fscarches volume 2 145
l illtl KJ JIBUVA (Split)
) r ~ I I lliliolic Out of lines and indents 147
01 dr tnlvdcta Ajanovic prof dr Marko Stevanovic II H Jd ~logy of pupil activities out of the school 148
I Mllko Sllvanovic School by student taste and suit 150
r1 I IN no 12005 153
f t i g i ll ~ rtCI 22005 155
jilC Jo Il l df ~ Si l i ~ cevic (Split)
ll1I 1i t q t ll Jdlil Child hood 157
158
~ 1J lJtI bull1 NI MET fI-JAJIC (Split)
h~ I II I lil fll tfcnce 159
bull1 MIJl C (Kastel Gomilica)
Hl 111 dn vs of the elementary school 160
Ii ll l tllv NAJE V (Split) 170 IIIN
IH middotVIORIAM
1I111111 MLN DES (Spli t)
) it NI ta (1910 - 2005) 173
di l ll ROSIe (Rijeka) iUOI Ilcz iq 1930 - 2005) 176
1 Ill ( (Sr1it)
111 li ll1 ~ r middot~ylth()logy professor (1946 - 2005) 178
i i) I I II (o lilribulors 179
UDK 812463(4) Pregledni Clanak
Primljeno 20 05 2005 Prihvaceno 15 06 2005
PROBLEM VISEJEZICNOSTI U EUROPSKOJ UNIJI
Magda PASALIC predavac Sanja MARINOV predavac
Ekonomski fakultet Split
Sazetak Dallas se poundI inslilucijama Europske Unije korisli 20 sluibenih jezika S obzirom na to da je jezik bilan elemenl eulillnog idenlilela a eullurna raznolilcoSI vai na baslina Europske Unije poSlivanje jezicne raznolikOSli je ntino lednako tako cjelokupna javnosl Ellropske Unije mom imali mogucnosl uvida u ono slO se dogada na razini njezinih insliluciju kao i prevedene zakone Ellropsee Unije kojih se mora pridriavali Pravna siglllllosl i jednakost prava bili bi ugroieni kada se nacelo viSejezicnoSli ne bi primjenjivalo Provodenje visejezicnosli II inslilllcijama Europske unije prelpostavlja usposlavljanje posebnih Slllibi koje se bave iskljuCivo prevodenjem Ie nosi sa sobom niz pmkliLnih problema i IroSkova
Ovaj rad analizira mzliCile slavove prema visejezicnosli u Europskoj Uniji Ie prednosli i nedostatke kOje donosi upOlreba brojnih sluibenih jezika Icao i melode koje Ellropska Unija korisli pri rjdavanjll lih problema
Kljucne rijeci EllIopska Unija viSejezicnosl prevodenje sluibeni i radni jezici
1 UVOD
Europska Unija je organizacija koju Cine europske zemlje clanice koje su odlucile suradivati na odredenim podrucjima poput zajednickog triista vanjske politike obrazovanja pravosuda i drugih Osnovana je Ugovorom iz Maastrichta u prosincu 1991 los 1957 zapoCelo je udruzivanje pojedinih europskih zemalja kad su Rimskim ugovorima osnovane Europska ekonomska zajednica (EEZ) Europska zajednica za atomsku energiju (EURATOM) a potpisalo ih je sest zemalja clanica Belgija Francuska Njemacka Italija Luksemburg i Nizozemska Od tada se dogodilo pe t prosirenja a posljednjim prosirenjem broj zemalja clanica povecao se s 15 na 25 Svako novo prosirenje znaCilo je i ukljuCivanje novih nacionalnih jezika kao sluzbenih jezika Europske Unije Ovaj rad analizira razlicitt stavove prema visejezicnosti u Europskoj Uniji prednosti i nedostatke kojc d(lno~ i
upotreba brojnih sluzhe nih jezika te metode koje Europska Unija koristi rri rjcsavanju till pllllol l lIla
i
~ I 1 If II IV 11 IIi middot( i middot ~ IIIImiddot 11 Ii 1II II Juj I Jlliji 1 1 I ljI 1 T W
UDC 812463(4) Review article
Accepted 20 05 2005 Confirmed 15 06 2005
PI H IIILGM OF MULTILINGUALISM IN THE EUROPEAN UNION
I ~l l ( s MARINOV (Split) Sk vjesn 54 (2005) 1-2
111111111 Y Nowadays there are 20 official languages in use in the EU institutions 11 I(1111) rill filet that a language is an essential element of a cultural identity and 1111111lilIIIII is all important part of the EU heritage preselving linguistic diversity is
111 11 1( 1~lllwIly the public have a right to know what is being done in their 111 1 111 flll l IIl1 ve the right to have the European law available in their own language I II 11 1 I f j ll is binding on evelyone in the E U Legal certainty and equality of rights II d lit Ilritlllgcred unless the principle of multilingualism is implemented 1I WI I III$ lit e principle of multilingualism in the EU institutions requires IIgt I IIrr Slllcial services which deal with translation and interpretation and it entails 11 11 IJl iltrmiddotthmiddotol problems and costs
IJIII IN analyses various attitudes towards multilingualism in the E U 11111 01 II(I dillldvantages of having so many official languages and the ways the ( llItl ll lam1 1101 with the problem
Will IImiddot llropean Union multilingualism translation and intelpretation I~ficial and working languages
UDK 37 1 Jm 4 II PrcthodJlU pI iop(lt lI ju
Primljeno 20 OS 2()()~
Prihvaceno 15 O(l 2()( lS
VREDNOV ANJE UCINKOVITOSTI PROCESA UCENJA I POUCAVANJA U SUSTAVIMA ZA E-UCENJE
Slavomir STANKOV Ani GRUBISH Branko ZITKO Divna KRPAN
Fakultet prirodoslovno-matematickih znanosti i odgojnih podrucja Sveucilista u Splitu
Sazetak U radu smo se orijentiraii na jedan aspekl e-ucenja na ucenje i poucavanj( II pomoc Web-orijentiranih inteilgenlnih tulorskih suslava B Bloom je u istraiivallill -ovedenom 1984 pokazao da se individuaino i tradiclonaino poucavanje u razredu razlilwju ZIt
vije standardne devijacije Ij Da izmedu njih posloji laquo2-sigma razlikaraquo u korist individualnoj )ucavanja Takoder poucavanje II razredu se ne moie natjecati s individuainlm pOlcavanjl1 I interailtlivnostl I prUagodijivosti UkljuCivanjem racllnaia u obrazovanje i pojavom inleliflenlnih lttorscih sustava otvaraju se nove mogucnosti u ucenju I poucavanju jer su za raziiku od Ijudskil IItora racunaia ipak jeftinija U trenutku kada inleligentni tUlorski suslavi poslaju Webshyorijentirani preiaze se prostoma i vremenska ogranicenja Naravno potrebno je ispillli unnkovitost tih sustava U ovom radu je predstavijeno ~5traiivanje uCinkovitosli Wei)middot orijentiranog inteligentnog lutorskog suslava D TExmiddot Sys uz opis analize dobivenih rezlllala i lIanna ~5pitivanja metricklh karaklelistika testova
Klj ucne rijeci sustavi za e-ucenje inteligentni tulOrski sustavi Web-orijenlirani inieligcnilli tutorski sustavi ucenje i poucavanje vrednovanje uCinkovilOsli pmClIiI
ucenja i poucavanja
I UVODNO RAZMATRANJE
Individualno iIi tutorsko poucavanje je poucavanje tipa laquojedan ucitdj - j(tilll ul(nikraquo za razliku od tradicionalnog poucavanja u razredu gdje na j (Llnl)g lI ~ildj r l Jolai oko 20-30 uccnika iz cega se vidi razlika u vrelllClll knje Il cil lj IIHII
p(1SV(~ t iii svakoIT1 lIceniku Kod tradicionalnog prtdavanja II ra I (W I sva k i II ~C II i k 1
IIHII a izhnrili 71 svojih lt5 millutaraquo pod uvjctol1l cia to ltIi CS I() W II VI ltkllll I 11 itt lillll dlllP cia dn II L lIik 1lsivnn r ra li naslavlI it uCil l lj 1(1 I) ~ 11 illljI III
j I
I
I middot~j( i t-I V II [( 1i 11middot J( Ii ~ ITIII II I~ IAN VI Cdl()VUIIJC I ql II I I fli l J ~~
r~IU IIV IIII III k Ii (IVOIiIIO (il L1ccnik samo bude prisutan tL ltIa lIci tLk kada se 11 1 t middotf II IVill lj l l1 c~l1ik Illora aktivno sudjelovati kako bi znanje i vjeiitine koje
II lli ll rt) kvdilcrniji U situaciji kada jedan ucitelj poucava samo jednog lI il ll 11 1 [lu re hili aktivan ne moze se laquosakritiraquo moze dobiti dodatno 11111 11111 1 ~ I ko 7d i a ne mora se dugo zadrzavati na onome sto je dobro usvojio
1 1 1I1 1 1i~ 1jaJ li c () razlikama izmedu individualnog i tradicionalnog poucavanja I I li d i1dj ucak da individualno poucavanje ima prednosti u odnosu na I li1111 I 1)( 1 1 I(~avanje No isticanje prednosti iii nedostataka nije dovoljno ild 1J III~ 1 tiC Ilvjcrili u vecu iii rnanju uCinkovitost nekog nacina poucavanja treba ) 1 1 I[ lil zivanjc 0 ucinkovitosti toga nacina poucavanja Takvo istrazivanie 0
lil illl HI 7111 tdu individualnog i tradicionalnog nacina poucavanja je provodio 111 11111 11 I3 loolTI (Bloom 1984) Dobivena razlika od dvije standardne devijacije iii
lfi lll i IIzlikaraquo isla je u koris~ individualnog poucavanja (sto se i ocekivalo) To IIIdrI Il IU ck vivalcntno povecanju od 50-og do 98-og centila iii razine postignuca Ii 1 1 ~ Ij( 1J Ilekog ucenika primjerice nalazi izmeau 85-og i 86-og centil a to 11I d1 fl X5 uccnika ostvarilo losiji a 14 bolji rezultat od nj ega Aka neki 1111 11 ( 110 111 uslvari uspjeh koji se nalazi iznad 99-og centila to ne znaci da i e ii I I)I)I ( Ic~ la nego je njegov uspjeh medu 1 najboljih Razlika od dvije
Id IIdill lkvijacije stoga znaCi da je svaki ucenik koji je bio individualno II IVIII qtvario uspjeh koji pripada medu 2 najboljih
I lp lliida svi ucenici ne uce individualnim nacinom Zato sto je 111I1 Ili1I(1 11t lllogllec imati tutora za svakog ucenika Meautim ukljucivanjem 1111 1i1 II lI hr It()vanje i pojavom inteligentnih tutorskih sustava (eng Intelligent 1111 11 -iYlI lc rns kratica ITS) otvaraju se nove mogucnosti u poucavanju II r1l til dc sl tljcea su se brzina racunala te njihovi kapaciteti za spremanje III dl l II dVwlrucavali svakih 18-24 mjeseca (Phipps Merisotis 1999) au isto se
111 1 Hl ~ IIl ivtlla njihova cijena U usporedbi s Ijudskim tutorima racunala su 111 111 ptt III sc uz njihovu pomoc mozda mogao popuniti dio razlike koja postoji dell IIIdivitl llllnog i tradicionalnog poucavanja (Fletcher 2003)
I tI l ie (tng E-Iearning) nova je paradigma ucenja uz pomoe razliCitih 11 - llil SI t( llJcljc na elektronickoj tehnologiji a odnosi se na dostavljanje
111 1 1111110 uccnicima preko svih vrsta elektronickih medija ukljucujuCi 111i1 II 111 1lt1 11 lt satelitsko emitiranje audio- i videovrpce interaktivnu televiziju )I ( 1M (IVlt iii DVD-ove i sl (definicija preuzeta sa httpwww
I(I II lI ll lmiddotltII11aboutelearning) U ovom cerna se radu orijentirati sarno na jedan 1I Wl ll a nCl Web-orijentirano ucenje i poucavanje uz pornoc Webshy1 1111 11 1 iflli ligcntnih tutorskih sustava Web-orijentirani inteligentni tutorski PI I11( n~ra ni cc nja prostora i vremena pa tako postaju sve zanimljiviji U il 1 11 plIdslavljamo istrazivanje 0 ucinkovitosti Wch-orij ll1liranog ITS-a
1 ( P Ll l 1i11I1 cd Tutor Expert System) (Rosie 2()()(j)
I I dlll ) )l ll Jlolilvlju jc ukratko opisana Slrllklilin gtIImiddot llvn 1)IIx-Sys na III I PI 1I1( I I(1 i~ Irmiddot n~ i v (mj L U trece llI j1lIIIVI(l1 I ]11 1111 11 i middot IIrr rt 7ivlnje
j middotI NKIIV A (iIltIIIII I(middot 11
Itid i ll ~lIjll(j planiranje i rCllli Iij u ISIJazivlnja te analizu dobivenih rtzu llilll 1Jl ilivanjc mjcrnih instrumcnata
fl STRUKTURA SUSTAVA DTEX-SYS
Sustav DTEx-Sys ne ovisi 0 platformi vremenu i mjestu pristupa 1111i1
Jldinslven nacin spremanja informacija za razlicita podrucna znanja mogllCn()sl 1(~cnja u hipermedijskoj okolini mogucnost pracenja napretka ucenika rt I1 Hlgllcnost testiranja uz preporuke za nastavak Sustav je zasnovan na oponasanjll IJ udskih ucitelja i omogucuje svakom uceniku ucenje u bilo kojem trenutku onolikn ko liko mu je potrebno kako bi stekao zeljenu razinu znanja
Znanje u sustavu DTEx-Sys je predstavljeno semantickim mreiama s okvirima ciji su osnovni elementi Cvorovi i veze Cvorovi se koriste za predstavljallj ( objckata podrucnog znanja a veze prikazuju odnose medu njima U sustavu DTExshyys se baze podrucnog znanja najjednostavnije receno sastoje od Cvorova i vC7a Vorovi u bazi podrucnog znanja pored naziva i veza prema ostalim Cvorovima
IIi Ogu imati i strukturne atribute tekstualni opis sliku i animaciju te URL adrcsu Korisnici sustava mogu odabrati sljedece usluge pristup bazama podrucI1og
pound-nanja testiranje znanja iii zatraziti rezultate testova Specificnost modula testiranj il jlt u tome sto se nakon svakog ciklusa od dva pitanja generiraju nova pitanja Cija ld ina ovisi 0 rezultatima ucenika te se na kraju uz ocjenu daju i preporuke za dalji rad
DTEx-Sys je implementiran kao 3-slojna klijent-server arhitektura (Rosie i SlIr 2001) koja se sastoji
1) od korisniccog sucelja - sloj korisnickog sucelja sustava DTEx-Sys prua sucelj e za pristup sustavu bazama znanja rjesavanju testa i prcgkdu ocjena koje ucenici postizu
2) od logike aplikacije - srednji sloj generira dokument koji se di stribuir1 korisniku prema njegovu zahtjevu ovisno sto korisnik zeli raditi (llpr uciti rjesavati test)
3) od baze podataka - sloj baza podataka se sastoji od baza podrucnog znanja i baza podataka koje sadrZe podatke 0 korisnicima sustava Balt podataka 0 korisnicima sustava sadrze elementarne podatkt 0
korisnicima njihovu ponasanju pri koristenju sustava i rezullatil1l1 njihova testiranja
III PRISTUP VLASTITOM ISTRAZIVANJU
U ov)m radu se prcdstavlja istrazivanje 0 djdovanju sllsllva O]I x Syli 1)1
PIO(S lIilllja i pOll(aVallja kako hi se pokusalo odgovoril i oa pi Illljl 1(111 il((I IITFxSys lItj l(C 1M IJc nj L i pnllC1Vanj l i knlib jQ llcinknvililsi Dmiddotlh Syi Oll[ iIlt 11 I) 11Il I()ck L ki ]lriIIl L I1ItIIOg iSilaf ivanja ( Ilt]bnl i SIll 11)1)1) ) jllll(1 I lIl i 1 111 1
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
01 1 11 (111 NA( Iv() BANO VIC (Split)
Ill II I I Iii tr lI SllOg dd anja u ucenika prvog i drugog razreda osnovne skole
I 11 1111 1I 1 ~t ll - lvLni ( 1anak) 87
1 1 HO(I) A NO VIC (Zagreb)
I i 1 II I ilt i~ki diskurs obrazovanja odraslih - promjena paradigme
J il I d LI i ( J l llak) 101
IJII IO(RAFIJA
II111l1 l t M I ~ NDES (Split)
p ln l tI tliigtliografiju radova Daniee Nola
i 0fl dni rad - bibliogr afija) 109
IIW II(NA 1I()JONICA
OVA( r2Vrc (Split)
119
iUOIINbullbull II~J~J)STAVLJANJE
127
1 10 1 C Mill ( Z il d ar )
1 1 d I pfl Y IJI L ~ I kultura i tradieija 129
II M LM IC A (Split)
II IIII Ul i ~k i lbornik radova 0 povijesti imperijalnih gra niea
h1 Vd (ik it ll p rostorima u ranom novom vijeku 132
il 1 ~()J(SANl)(C (Zagreb)
llill ii II rJ1V ()r ~noj povijesnoj perspektivi 136
igt III F IA NOV IC (Split)
IJ i I Vi W l k sJii cdi uzuse renomiranih casopisa 139
(l( ISKO VJC (S plit)
u Ut I Ill Ill j l i ilil e na koj emu je posvecen 141
middotR1KAZI I OSVRTI
l ll s BLAZEVIC (Split) P Jagogijska istrazivanja vo lume n 1 143
Illes BLAZEVIC (Split)
Pcdagogijska istrazivanja volumen 2 145
VeJimir KARABUVA (Split)
J osi p Danolic Od erta i ureza 147
Prof drDzevdeta Ajanovic prof dr Marko Stevanovic M etodika vannastavnih aktivnosti ucenika 148
D r Marko Stevanovic Skola po mj eri ucenika 150
Napredak br 12005 153
N apredak br 22005 155
M irjana Babic- Siriscevic (Split) Goran Sucic Odraslo djetinjstvo 157
M arina CAPALlJA (Split) Ukopan u sebe i kamen 158
J ad ranka NEMETH-JAllC (Split) Z nanstve ni skup 159
P avao MIlle (Kastel Gomilica)
Cetvrti dani osnovne skole 160
Tomislav NAJEV (Split)
LiDraNo 170
U SPOMEN
Bra nimir MENDES (Split) D anica Nola (1910 - 2005 ) 173
Vladimir ROSIC (Rijeka) KreSimir Bezic (1930 - 2005) 17()
Sime PILlC (Split) Svcmir Toli c profesor psihologije (1946 - 2005) In Upute s ur adnicima 17 l)
()Iski UDK 37 ISSN 0037-654X
~nik Magazine for educational and school issucs
Year 54 No 1 - 2 Puge I - IR4 Split 2005
CONTENTS
dflI Gr r~ s
1111 ( A-iALIC Sanja MARINOV (Split)
1111 11)11 IIlliltilingualizm in the European Union (review article) 7
1 I ~ lI i l STAN KO V Ani GRUBISIC Branko ZITKO I JltPAN (Split)
d ll l t lllg ill fl llcnce of learning and teaching process in
ILIIIWl ~ys l c l1ls (preliminary comunication) 21
II h I ImiddotLOGIE Gorazd GUMZEJ (Maribor R Slovenia) 11 It II I1 ~n (professional article)
1 11 VI JIe (Split)
1i IWI~ ill ( ri l~ hs of the child (professional article) 39
II lid IA IO T N[K Dane KATALINIC
CiIJMtr l (Marihof R Slovenia) tI II ( C II lI d technique on elementary level us seen through
11 1 gt1 I ~II IltCl S~flll child (preliminary comunieution) 51
(J III 1 ( J(OSP ( Ljllhljana R Slovenia)
~rtr l III( 11 11 1[1l l1 I in Scll) (original scielltilili il j l ilIU ~tfttltl 59
H Ili ~aJ ( I (ip iil)
dl l l iI ~ Y~ I Ii ri l 111 middot I dllil ( lliloIIIIIIIltI (II -j lll i ifd iii 1 I(l j 11 1 tiljI 1 11 I j J I J A J ( I 1 II )
S lllli e nts and sport (ori g lnIi in li lli 11 1 1 ) 73 cknko KOSINAC Ivo BANuVl t Ci J1li l )
Posture disorders with the eknlellllry school [irst and second grade pupils (original scientific article) K7
lava BOGDANOVIC (Zagreb) O rganizational discourse of education of adults - change of the paradigm (review article) 10J
BIBLIOGRAPHY
I3 ranimir MENDES (Split) Articles for the bibliography of the literary works hy Danica Nola (review article - bibliography) 109
L1TERAR WORKSHOP
Milijana KOVACEVIC (Split) Poems 119
APP ROPRIATE INTRODUCTION
Sime PILIC (Split) Some notes that comes with thi s introduction 127
Nenad CAMBI (Zadar) Triangle history culture and tradition 129
Ivan MIMICA (Split) Ecohistorical collection of literary works about history of the imperial bounds in Croatian areas in the early new ages 132
Drago ROKSANDIC (Zagreb) Heritage in the open historical perspective 136
Zivko BJELANOVIC (Split) Skolski vjesnik is led by the reputable magazines 139
Ivan BOSKOVIC (Split)
Repertory by the name measure to which is dedicated Iell
II I 11middot V(( (Split) II 1middotI llmiddotal l~ la n h cs volume 1 143
IClt ILIZ I Vl(~ (Split)
J a~(lI ilil l fscarches volume 2 145
l illtl KJ JIBUVA (Split)
) r ~ I I lliliolic Out of lines and indents 147
01 dr tnlvdcta Ajanovic prof dr Marko Stevanovic II H Jd ~logy of pupil activities out of the school 148
I Mllko Sllvanovic School by student taste and suit 150
r1 I IN no 12005 153
f t i g i ll ~ rtCI 22005 155
jilC Jo Il l df ~ Si l i ~ cevic (Split)
ll1I 1i t q t ll Jdlil Child hood 157
158
~ 1J lJtI bull1 NI MET fI-JAJIC (Split)
h~ I II I lil fll tfcnce 159
bull1 MIJl C (Kastel Gomilica)
Hl 111 dn vs of the elementary school 160
Ii ll l tllv NAJE V (Split) 170 IIIN
IH middotVIORIAM
1I111111 MLN DES (Spli t)
) it NI ta (1910 - 2005) 173
di l ll ROSIe (Rijeka) iUOI Ilcz iq 1930 - 2005) 176
1 Ill ( (Sr1it)
111 li ll1 ~ r middot~ylth()logy professor (1946 - 2005) 178
i i) I I II (o lilribulors 179
UDK 812463(4) Pregledni Clanak
Primljeno 20 05 2005 Prihvaceno 15 06 2005
PROBLEM VISEJEZICNOSTI U EUROPSKOJ UNIJI
Magda PASALIC predavac Sanja MARINOV predavac
Ekonomski fakultet Split
Sazetak Dallas se poundI inslilucijama Europske Unije korisli 20 sluibenih jezika S obzirom na to da je jezik bilan elemenl eulillnog idenlilela a eullurna raznolilcoSI vai na baslina Europske Unije poSlivanje jezicne raznolikOSli je ntino lednako tako cjelokupna javnosl Ellropske Unije mom imali mogucnosl uvida u ono slO se dogada na razini njezinih insliluciju kao i prevedene zakone Ellropsee Unije kojih se mora pridriavali Pravna siglllllosl i jednakost prava bili bi ugroieni kada se nacelo viSejezicnoSli ne bi primjenjivalo Provodenje visejezicnosli II inslilllcijama Europske unije prelpostavlja usposlavljanje posebnih Slllibi koje se bave iskljuCivo prevodenjem Ie nosi sa sobom niz pmkliLnih problema i IroSkova
Ovaj rad analizira mzliCile slavove prema visejezicnosli u Europskoj Uniji Ie prednosli i nedostatke kOje donosi upOlreba brojnih sluibenih jezika Icao i melode koje Ellropska Unija korisli pri rjdavanjll lih problema
Kljucne rijeci EllIopska Unija viSejezicnosl prevodenje sluibeni i radni jezici
1 UVOD
Europska Unija je organizacija koju Cine europske zemlje clanice koje su odlucile suradivati na odredenim podrucjima poput zajednickog triista vanjske politike obrazovanja pravosuda i drugih Osnovana je Ugovorom iz Maastrichta u prosincu 1991 los 1957 zapoCelo je udruzivanje pojedinih europskih zemalja kad su Rimskim ugovorima osnovane Europska ekonomska zajednica (EEZ) Europska zajednica za atomsku energiju (EURATOM) a potpisalo ih je sest zemalja clanica Belgija Francuska Njemacka Italija Luksemburg i Nizozemska Od tada se dogodilo pe t prosirenja a posljednjim prosirenjem broj zemalja clanica povecao se s 15 na 25 Svako novo prosirenje znaCilo je i ukljuCivanje novih nacionalnih jezika kao sluzbenih jezika Europske Unije Ovaj rad analizira razlicitt stavove prema visejezicnosti u Europskoj Uniji prednosti i nedostatke kojc d(lno~ i
upotreba brojnih sluzhe nih jezika te metode koje Europska Unija koristi rri rjcsavanju till pllllol l lIla
i
~ I 1 If II IV 11 IIi middot( i middot ~ IIIImiddot 11 Ii 1II II Juj I Jlliji 1 1 I ljI 1 T W
UDC 812463(4) Review article
Accepted 20 05 2005 Confirmed 15 06 2005
PI H IIILGM OF MULTILINGUALISM IN THE EUROPEAN UNION
I ~l l ( s MARINOV (Split) Sk vjesn 54 (2005) 1-2
111111111 Y Nowadays there are 20 official languages in use in the EU institutions 11 I(1111) rill filet that a language is an essential element of a cultural identity and 1111111lilIIIII is all important part of the EU heritage preselving linguistic diversity is
111 11 1( 1~lllwIly the public have a right to know what is being done in their 111 1 111 flll l IIl1 ve the right to have the European law available in their own language I II 11 1 I f j ll is binding on evelyone in the E U Legal certainty and equality of rights II d lit Ilritlllgcred unless the principle of multilingualism is implemented 1I WI I III$ lit e principle of multilingualism in the EU institutions requires IIgt I IIrr Slllcial services which deal with translation and interpretation and it entails 11 11 IJl iltrmiddotthmiddotol problems and costs
IJIII IN analyses various attitudes towards multilingualism in the E U 11111 01 II(I dillldvantages of having so many official languages and the ways the ( llItl ll lam1 1101 with the problem
Will IImiddot llropean Union multilingualism translation and intelpretation I~ficial and working languages
UDK 37 1 Jm 4 II PrcthodJlU pI iop(lt lI ju
Primljeno 20 OS 2()()~
Prihvaceno 15 O(l 2()( lS
VREDNOV ANJE UCINKOVITOSTI PROCESA UCENJA I POUCAVANJA U SUSTAVIMA ZA E-UCENJE
Slavomir STANKOV Ani GRUBISH Branko ZITKO Divna KRPAN
Fakultet prirodoslovno-matematickih znanosti i odgojnih podrucja Sveucilista u Splitu
Sazetak U radu smo se orijentiraii na jedan aspekl e-ucenja na ucenje i poucavanj( II pomoc Web-orijentiranih inteilgenlnih tulorskih suslava B Bloom je u istraiivallill -ovedenom 1984 pokazao da se individuaino i tradiclonaino poucavanje u razredu razlilwju ZIt
vije standardne devijacije Ij Da izmedu njih posloji laquo2-sigma razlikaraquo u korist individualnoj )ucavanja Takoder poucavanje II razredu se ne moie natjecati s individuainlm pOlcavanjl1 I interailtlivnostl I prUagodijivosti UkljuCivanjem racllnaia u obrazovanje i pojavom inleliflenlnih lttorscih sustava otvaraju se nove mogucnosti u ucenju I poucavanju jer su za raziiku od Ijudskil IItora racunaia ipak jeftinija U trenutku kada inleligentni tUlorski suslavi poslaju Webshyorijentirani preiaze se prostoma i vremenska ogranicenja Naravno potrebno je ispillli unnkovitost tih sustava U ovom radu je predstavijeno ~5traiivanje uCinkovitosli Wei)middot orijentiranog inteligentnog lutorskog suslava D TExmiddot Sys uz opis analize dobivenih rezlllala i lIanna ~5pitivanja metricklh karaklelistika testova
Klj ucne rijeci sustavi za e-ucenje inteligentni tulOrski sustavi Web-orijenlirani inieligcnilli tutorski sustavi ucenje i poucavanje vrednovanje uCinkovilOsli pmClIiI
ucenja i poucavanja
I UVODNO RAZMATRANJE
Individualno iIi tutorsko poucavanje je poucavanje tipa laquojedan ucitdj - j(tilll ul(nikraquo za razliku od tradicionalnog poucavanja u razredu gdje na j (Llnl)g lI ~ildj r l Jolai oko 20-30 uccnika iz cega se vidi razlika u vrelllClll knje Il cil lj IIHII
p(1SV(~ t iii svakoIT1 lIceniku Kod tradicionalnog prtdavanja II ra I (W I sva k i II ~C II i k 1
IIHII a izhnrili 71 svojih lt5 millutaraquo pod uvjctol1l cia to ltIi CS I() W II VI ltkllll I 11 itt lillll dlllP cia dn II L lIik 1lsivnn r ra li naslavlI it uCil l lj 1(1 I) ~ 11 illljI III
j I
I
I middot~j( i t-I V II [( 1i 11middot J( Ii ~ ITIII II I~ IAN VI Cdl()VUIIJC I ql II I I fli l J ~~
r~IU IIV IIII III k Ii (IVOIiIIO (il L1ccnik samo bude prisutan tL ltIa lIci tLk kada se 11 1 t middotf II IVill lj l l1 c~l1ik Illora aktivno sudjelovati kako bi znanje i vjeiitine koje
II lli ll rt) kvdilcrniji U situaciji kada jedan ucitelj poucava samo jednog lI il ll 11 1 [lu re hili aktivan ne moze se laquosakritiraquo moze dobiti dodatno 11111 11111 1 ~ I ko 7d i a ne mora se dugo zadrzavati na onome sto je dobro usvojio
1 1 1I1 1 1i~ 1jaJ li c () razlikama izmedu individualnog i tradicionalnog poucavanja I I li d i1dj ucak da individualno poucavanje ima prednosti u odnosu na I li1111 I 1)( 1 1 I(~avanje No isticanje prednosti iii nedostataka nije dovoljno ild 1J III~ 1 tiC Ilvjcrili u vecu iii rnanju uCinkovitost nekog nacina poucavanja treba ) 1 1 I[ lil zivanjc 0 ucinkovitosti toga nacina poucavanja Takvo istrazivanie 0
lil illl HI 7111 tdu individualnog i tradicionalnog nacina poucavanja je provodio 111 11111 11 I3 loolTI (Bloom 1984) Dobivena razlika od dvije standardne devijacije iii
lfi lll i IIzlikaraquo isla je u koris~ individualnog poucavanja (sto se i ocekivalo) To IIIdrI Il IU ck vivalcntno povecanju od 50-og do 98-og centila iii razine postignuca Ii 1 1 ~ Ij( 1J Ilekog ucenika primjerice nalazi izmeau 85-og i 86-og centil a to 11I d1 fl X5 uccnika ostvarilo losiji a 14 bolji rezultat od nj ega Aka neki 1111 11 ( 110 111 uslvari uspjeh koji se nalazi iznad 99-og centila to ne znaci da i e ii I I)I)I ( Ic~ la nego je njegov uspjeh medu 1 najboljih Razlika od dvije
Id IIdill lkvijacije stoga znaCi da je svaki ucenik koji je bio individualno II IVIII qtvario uspjeh koji pripada medu 2 najboljih
I lp lliida svi ucenici ne uce individualnim nacinom Zato sto je 111I1 Ili1I(1 11t lllogllec imati tutora za svakog ucenika Meautim ukljucivanjem 1111 1i1 II lI hr It()vanje i pojavom inteligentnih tutorskih sustava (eng Intelligent 1111 11 -iYlI lc rns kratica ITS) otvaraju se nove mogucnosti u poucavanju II r1l til dc sl tljcea su se brzina racunala te njihovi kapaciteti za spremanje III dl l II dVwlrucavali svakih 18-24 mjeseca (Phipps Merisotis 1999) au isto se
111 1 Hl ~ IIl ivtlla njihova cijena U usporedbi s Ijudskim tutorima racunala su 111 111 ptt III sc uz njihovu pomoc mozda mogao popuniti dio razlike koja postoji dell IIIdivitl llllnog i tradicionalnog poucavanja (Fletcher 2003)
I tI l ie (tng E-Iearning) nova je paradigma ucenja uz pomoe razliCitih 11 - llil SI t( llJcljc na elektronickoj tehnologiji a odnosi se na dostavljanje
111 1 1111110 uccnicima preko svih vrsta elektronickih medija ukljucujuCi 111i1 II 111 1lt1 11 lt satelitsko emitiranje audio- i videovrpce interaktivnu televiziju )I ( 1M (IVlt iii DVD-ove i sl (definicija preuzeta sa httpwww
I(I II lI ll lmiddotltII11aboutelearning) U ovom cerna se radu orijentirati sarno na jedan 1I Wl ll a nCl Web-orijentirano ucenje i poucavanje uz pornoc Webshy1 1111 11 1 iflli ligcntnih tutorskih sustava Web-orijentirani inteligentni tutorski PI I11( n~ra ni cc nja prostora i vremena pa tako postaju sve zanimljiviji U il 1 11 plIdslavljamo istrazivanje 0 ucinkovitosti Wch-orij ll1liranog ITS-a
1 ( P Ll l 1i11I1 cd Tutor Expert System) (Rosie 2()()(j)
I I dlll ) )l ll Jlolilvlju jc ukratko opisana Slrllklilin gtIImiddot llvn 1)IIx-Sys na III I PI 1I1( I I(1 i~ Irmiddot n~ i v (mj L U trece llI j1lIIIVI(l1 I ]11 1111 11 i middot IIrr rt 7ivlnje
j middotI NKIIV A (iIltIIIII I(middot 11
Itid i ll ~lIjll(j planiranje i rCllli Iij u ISIJazivlnja te analizu dobivenih rtzu llilll 1Jl ilivanjc mjcrnih instrumcnata
fl STRUKTURA SUSTAVA DTEX-SYS
Sustav DTEx-Sys ne ovisi 0 platformi vremenu i mjestu pristupa 1111i1
Jldinslven nacin spremanja informacija za razlicita podrucna znanja mogllCn()sl 1(~cnja u hipermedijskoj okolini mogucnost pracenja napretka ucenika rt I1 Hlgllcnost testiranja uz preporuke za nastavak Sustav je zasnovan na oponasanjll IJ udskih ucitelja i omogucuje svakom uceniku ucenje u bilo kojem trenutku onolikn ko liko mu je potrebno kako bi stekao zeljenu razinu znanja
Znanje u sustavu DTEx-Sys je predstavljeno semantickim mreiama s okvirima ciji su osnovni elementi Cvorovi i veze Cvorovi se koriste za predstavljallj ( objckata podrucnog znanja a veze prikazuju odnose medu njima U sustavu DTExshyys se baze podrucnog znanja najjednostavnije receno sastoje od Cvorova i vC7a Vorovi u bazi podrucnog znanja pored naziva i veza prema ostalim Cvorovima
IIi Ogu imati i strukturne atribute tekstualni opis sliku i animaciju te URL adrcsu Korisnici sustava mogu odabrati sljedece usluge pristup bazama podrucI1og
pound-nanja testiranje znanja iii zatraziti rezultate testova Specificnost modula testiranj il jlt u tome sto se nakon svakog ciklusa od dva pitanja generiraju nova pitanja Cija ld ina ovisi 0 rezultatima ucenika te se na kraju uz ocjenu daju i preporuke za dalji rad
DTEx-Sys je implementiran kao 3-slojna klijent-server arhitektura (Rosie i SlIr 2001) koja se sastoji
1) od korisniccog sucelja - sloj korisnickog sucelja sustava DTEx-Sys prua sucelj e za pristup sustavu bazama znanja rjesavanju testa i prcgkdu ocjena koje ucenici postizu
2) od logike aplikacije - srednji sloj generira dokument koji se di stribuir1 korisniku prema njegovu zahtjevu ovisno sto korisnik zeli raditi (llpr uciti rjesavati test)
3) od baze podataka - sloj baza podataka se sastoji od baza podrucnog znanja i baza podataka koje sadrZe podatke 0 korisnicima sustava Balt podataka 0 korisnicima sustava sadrze elementarne podatkt 0
korisnicima njihovu ponasanju pri koristenju sustava i rezullatil1l1 njihova testiranja
III PRISTUP VLASTITOM ISTRAZIVANJU
U ov)m radu se prcdstavlja istrazivanje 0 djdovanju sllsllva O]I x Syli 1)1
PIO(S lIilllja i pOll(aVallja kako hi se pokusalo odgovoril i oa pi Illljl 1(111 il((I IITFxSys lItj l(C 1M IJc nj L i pnllC1Vanj l i knlib jQ llcinknvililsi Dmiddotlh Syi Oll[ iIlt 11 I) 11Il I()ck L ki ]lriIIl L I1ItIIOg iSilaf ivanja ( Ilt]bnl i SIll 11)1)1) ) jllll(1 I lIl i 1 111 1
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
()Iski UDK 37 ISSN 0037-654X
~nik Magazine for educational and school issucs
Year 54 No 1 - 2 Puge I - IR4 Split 2005
CONTENTS
dflI Gr r~ s
1111 ( A-iALIC Sanja MARINOV (Split)
1111 11)11 IIlliltilingualizm in the European Union (review article) 7
1 I ~ lI i l STAN KO V Ani GRUBISIC Branko ZITKO I JltPAN (Split)
d ll l t lllg ill fl llcnce of learning and teaching process in
ILIIIWl ~ys l c l1ls (preliminary comunication) 21
II h I ImiddotLOGIE Gorazd GUMZEJ (Maribor R Slovenia) 11 It II I1 ~n (professional article)
1 11 VI JIe (Split)
1i IWI~ ill ( ri l~ hs of the child (professional article) 39
II lid IA IO T N[K Dane KATALINIC
CiIJMtr l (Marihof R Slovenia) tI II ( C II lI d technique on elementary level us seen through
11 1 gt1 I ~II IltCl S~flll child (preliminary comunieution) 51
(J III 1 ( J(OSP ( Ljllhljana R Slovenia)
~rtr l III( 11 11 1[1l l1 I in Scll) (original scielltilili il j l ilIU ~tfttltl 59
H Ili ~aJ ( I (ip iil)
dl l l iI ~ Y~ I Ii ri l 111 middot I dllil ( lliloIIIIIIIltI (II -j lll i ifd iii 1 I(l j 11 1 tiljI 1 11 I j J I J A J ( I 1 II )
S lllli e nts and sport (ori g lnIi in li lli 11 1 1 ) 73 cknko KOSINAC Ivo BANuVl t Ci J1li l )
Posture disorders with the eknlellllry school [irst and second grade pupils (original scientific article) K7
lava BOGDANOVIC (Zagreb) O rganizational discourse of education of adults - change of the paradigm (review article) 10J
BIBLIOGRAPHY
I3 ranimir MENDES (Split) Articles for the bibliography of the literary works hy Danica Nola (review article - bibliography) 109
L1TERAR WORKSHOP
Milijana KOVACEVIC (Split) Poems 119
APP ROPRIATE INTRODUCTION
Sime PILIC (Split) Some notes that comes with thi s introduction 127
Nenad CAMBI (Zadar) Triangle history culture and tradition 129
Ivan MIMICA (Split) Ecohistorical collection of literary works about history of the imperial bounds in Croatian areas in the early new ages 132
Drago ROKSANDIC (Zagreb) Heritage in the open historical perspective 136
Zivko BJELANOVIC (Split) Skolski vjesnik is led by the reputable magazines 139
Ivan BOSKOVIC (Split)
Repertory by the name measure to which is dedicated Iell
II I 11middot V(( (Split) II 1middotI llmiddotal l~ la n h cs volume 1 143
IClt ILIZ I Vl(~ (Split)
J a~(lI ilil l fscarches volume 2 145
l illtl KJ JIBUVA (Split)
) r ~ I I lliliolic Out of lines and indents 147
01 dr tnlvdcta Ajanovic prof dr Marko Stevanovic II H Jd ~logy of pupil activities out of the school 148
I Mllko Sllvanovic School by student taste and suit 150
r1 I IN no 12005 153
f t i g i ll ~ rtCI 22005 155
jilC Jo Il l df ~ Si l i ~ cevic (Split)
ll1I 1i t q t ll Jdlil Child hood 157
158
~ 1J lJtI bull1 NI MET fI-JAJIC (Split)
h~ I II I lil fll tfcnce 159
bull1 MIJl C (Kastel Gomilica)
Hl 111 dn vs of the elementary school 160
Ii ll l tllv NAJE V (Split) 170 IIIN
IH middotVIORIAM
1I111111 MLN DES (Spli t)
) it NI ta (1910 - 2005) 173
di l ll ROSIe (Rijeka) iUOI Ilcz iq 1930 - 2005) 176
1 Ill ( (Sr1it)
111 li ll1 ~ r middot~ylth()logy professor (1946 - 2005) 178
i i) I I II (o lilribulors 179
UDK 812463(4) Pregledni Clanak
Primljeno 20 05 2005 Prihvaceno 15 06 2005
PROBLEM VISEJEZICNOSTI U EUROPSKOJ UNIJI
Magda PASALIC predavac Sanja MARINOV predavac
Ekonomski fakultet Split
Sazetak Dallas se poundI inslilucijama Europske Unije korisli 20 sluibenih jezika S obzirom na to da je jezik bilan elemenl eulillnog idenlilela a eullurna raznolilcoSI vai na baslina Europske Unije poSlivanje jezicne raznolikOSli je ntino lednako tako cjelokupna javnosl Ellropske Unije mom imali mogucnosl uvida u ono slO se dogada na razini njezinih insliluciju kao i prevedene zakone Ellropsee Unije kojih se mora pridriavali Pravna siglllllosl i jednakost prava bili bi ugroieni kada se nacelo viSejezicnoSli ne bi primjenjivalo Provodenje visejezicnosli II inslilllcijama Europske unije prelpostavlja usposlavljanje posebnih Slllibi koje se bave iskljuCivo prevodenjem Ie nosi sa sobom niz pmkliLnih problema i IroSkova
Ovaj rad analizira mzliCile slavove prema visejezicnosli u Europskoj Uniji Ie prednosli i nedostatke kOje donosi upOlreba brojnih sluibenih jezika Icao i melode koje Ellropska Unija korisli pri rjdavanjll lih problema
Kljucne rijeci EllIopska Unija viSejezicnosl prevodenje sluibeni i radni jezici
1 UVOD
Europska Unija je organizacija koju Cine europske zemlje clanice koje su odlucile suradivati na odredenim podrucjima poput zajednickog triista vanjske politike obrazovanja pravosuda i drugih Osnovana je Ugovorom iz Maastrichta u prosincu 1991 los 1957 zapoCelo je udruzivanje pojedinih europskih zemalja kad su Rimskim ugovorima osnovane Europska ekonomska zajednica (EEZ) Europska zajednica za atomsku energiju (EURATOM) a potpisalo ih je sest zemalja clanica Belgija Francuska Njemacka Italija Luksemburg i Nizozemska Od tada se dogodilo pe t prosirenja a posljednjim prosirenjem broj zemalja clanica povecao se s 15 na 25 Svako novo prosirenje znaCilo je i ukljuCivanje novih nacionalnih jezika kao sluzbenih jezika Europske Unije Ovaj rad analizira razlicitt stavove prema visejezicnosti u Europskoj Uniji prednosti i nedostatke kojc d(lno~ i
upotreba brojnih sluzhe nih jezika te metode koje Europska Unija koristi rri rjcsavanju till pllllol l lIla
i
~ I 1 If II IV 11 IIi middot( i middot ~ IIIImiddot 11 Ii 1II II Juj I Jlliji 1 1 I ljI 1 T W
UDC 812463(4) Review article
Accepted 20 05 2005 Confirmed 15 06 2005
PI H IIILGM OF MULTILINGUALISM IN THE EUROPEAN UNION
I ~l l ( s MARINOV (Split) Sk vjesn 54 (2005) 1-2
111111111 Y Nowadays there are 20 official languages in use in the EU institutions 11 I(1111) rill filet that a language is an essential element of a cultural identity and 1111111lilIIIII is all important part of the EU heritage preselving linguistic diversity is
111 11 1( 1~lllwIly the public have a right to know what is being done in their 111 1 111 flll l IIl1 ve the right to have the European law available in their own language I II 11 1 I f j ll is binding on evelyone in the E U Legal certainty and equality of rights II d lit Ilritlllgcred unless the principle of multilingualism is implemented 1I WI I III$ lit e principle of multilingualism in the EU institutions requires IIgt I IIrr Slllcial services which deal with translation and interpretation and it entails 11 11 IJl iltrmiddotthmiddotol problems and costs
IJIII IN analyses various attitudes towards multilingualism in the E U 11111 01 II(I dillldvantages of having so many official languages and the ways the ( llItl ll lam1 1101 with the problem
Will IImiddot llropean Union multilingualism translation and intelpretation I~ficial and working languages
UDK 37 1 Jm 4 II PrcthodJlU pI iop(lt lI ju
Primljeno 20 OS 2()()~
Prihvaceno 15 O(l 2()( lS
VREDNOV ANJE UCINKOVITOSTI PROCESA UCENJA I POUCAVANJA U SUSTAVIMA ZA E-UCENJE
Slavomir STANKOV Ani GRUBISH Branko ZITKO Divna KRPAN
Fakultet prirodoslovno-matematickih znanosti i odgojnih podrucja Sveucilista u Splitu
Sazetak U radu smo se orijentiraii na jedan aspekl e-ucenja na ucenje i poucavanj( II pomoc Web-orijentiranih inteilgenlnih tulorskih suslava B Bloom je u istraiivallill -ovedenom 1984 pokazao da se individuaino i tradiclonaino poucavanje u razredu razlilwju ZIt
vije standardne devijacije Ij Da izmedu njih posloji laquo2-sigma razlikaraquo u korist individualnoj )ucavanja Takoder poucavanje II razredu se ne moie natjecati s individuainlm pOlcavanjl1 I interailtlivnostl I prUagodijivosti UkljuCivanjem racllnaia u obrazovanje i pojavom inleliflenlnih lttorscih sustava otvaraju se nove mogucnosti u ucenju I poucavanju jer su za raziiku od Ijudskil IItora racunaia ipak jeftinija U trenutku kada inleligentni tUlorski suslavi poslaju Webshyorijentirani preiaze se prostoma i vremenska ogranicenja Naravno potrebno je ispillli unnkovitost tih sustava U ovom radu je predstavijeno ~5traiivanje uCinkovitosli Wei)middot orijentiranog inteligentnog lutorskog suslava D TExmiddot Sys uz opis analize dobivenih rezlllala i lIanna ~5pitivanja metricklh karaklelistika testova
Klj ucne rijeci sustavi za e-ucenje inteligentni tulOrski sustavi Web-orijenlirani inieligcnilli tutorski sustavi ucenje i poucavanje vrednovanje uCinkovilOsli pmClIiI
ucenja i poucavanja
I UVODNO RAZMATRANJE
Individualno iIi tutorsko poucavanje je poucavanje tipa laquojedan ucitdj - j(tilll ul(nikraquo za razliku od tradicionalnog poucavanja u razredu gdje na j (Llnl)g lI ~ildj r l Jolai oko 20-30 uccnika iz cega se vidi razlika u vrelllClll knje Il cil lj IIHII
p(1SV(~ t iii svakoIT1 lIceniku Kod tradicionalnog prtdavanja II ra I (W I sva k i II ~C II i k 1
IIHII a izhnrili 71 svojih lt5 millutaraquo pod uvjctol1l cia to ltIi CS I() W II VI ltkllll I 11 itt lillll dlllP cia dn II L lIik 1lsivnn r ra li naslavlI it uCil l lj 1(1 I) ~ 11 illljI III
j I
I
I middot~j( i t-I V II [( 1i 11middot J( Ii ~ ITIII II I~ IAN VI Cdl()VUIIJC I ql II I I fli l J ~~
r~IU IIV IIII III k Ii (IVOIiIIO (il L1ccnik samo bude prisutan tL ltIa lIci tLk kada se 11 1 t middotf II IVill lj l l1 c~l1ik Illora aktivno sudjelovati kako bi znanje i vjeiitine koje
II lli ll rt) kvdilcrniji U situaciji kada jedan ucitelj poucava samo jednog lI il ll 11 1 [lu re hili aktivan ne moze se laquosakritiraquo moze dobiti dodatno 11111 11111 1 ~ I ko 7d i a ne mora se dugo zadrzavati na onome sto je dobro usvojio
1 1 1I1 1 1i~ 1jaJ li c () razlikama izmedu individualnog i tradicionalnog poucavanja I I li d i1dj ucak da individualno poucavanje ima prednosti u odnosu na I li1111 I 1)( 1 1 I(~avanje No isticanje prednosti iii nedostataka nije dovoljno ild 1J III~ 1 tiC Ilvjcrili u vecu iii rnanju uCinkovitost nekog nacina poucavanja treba ) 1 1 I[ lil zivanjc 0 ucinkovitosti toga nacina poucavanja Takvo istrazivanie 0
lil illl HI 7111 tdu individualnog i tradicionalnog nacina poucavanja je provodio 111 11111 11 I3 loolTI (Bloom 1984) Dobivena razlika od dvije standardne devijacije iii
lfi lll i IIzlikaraquo isla je u koris~ individualnog poucavanja (sto se i ocekivalo) To IIIdrI Il IU ck vivalcntno povecanju od 50-og do 98-og centila iii razine postignuca Ii 1 1 ~ Ij( 1J Ilekog ucenika primjerice nalazi izmeau 85-og i 86-og centil a to 11I d1 fl X5 uccnika ostvarilo losiji a 14 bolji rezultat od nj ega Aka neki 1111 11 ( 110 111 uslvari uspjeh koji se nalazi iznad 99-og centila to ne znaci da i e ii I I)I)I ( Ic~ la nego je njegov uspjeh medu 1 najboljih Razlika od dvije
Id IIdill lkvijacije stoga znaCi da je svaki ucenik koji je bio individualno II IVIII qtvario uspjeh koji pripada medu 2 najboljih
I lp lliida svi ucenici ne uce individualnim nacinom Zato sto je 111I1 Ili1I(1 11t lllogllec imati tutora za svakog ucenika Meautim ukljucivanjem 1111 1i1 II lI hr It()vanje i pojavom inteligentnih tutorskih sustava (eng Intelligent 1111 11 -iYlI lc rns kratica ITS) otvaraju se nove mogucnosti u poucavanju II r1l til dc sl tljcea su se brzina racunala te njihovi kapaciteti za spremanje III dl l II dVwlrucavali svakih 18-24 mjeseca (Phipps Merisotis 1999) au isto se
111 1 Hl ~ IIl ivtlla njihova cijena U usporedbi s Ijudskim tutorima racunala su 111 111 ptt III sc uz njihovu pomoc mozda mogao popuniti dio razlike koja postoji dell IIIdivitl llllnog i tradicionalnog poucavanja (Fletcher 2003)
I tI l ie (tng E-Iearning) nova je paradigma ucenja uz pomoe razliCitih 11 - llil SI t( llJcljc na elektronickoj tehnologiji a odnosi se na dostavljanje
111 1 1111110 uccnicima preko svih vrsta elektronickih medija ukljucujuCi 111i1 II 111 1lt1 11 lt satelitsko emitiranje audio- i videovrpce interaktivnu televiziju )I ( 1M (IVlt iii DVD-ove i sl (definicija preuzeta sa httpwww
I(I II lI ll lmiddotltII11aboutelearning) U ovom cerna se radu orijentirati sarno na jedan 1I Wl ll a nCl Web-orijentirano ucenje i poucavanje uz pornoc Webshy1 1111 11 1 iflli ligcntnih tutorskih sustava Web-orijentirani inteligentni tutorski PI I11( n~ra ni cc nja prostora i vremena pa tako postaju sve zanimljiviji U il 1 11 plIdslavljamo istrazivanje 0 ucinkovitosti Wch-orij ll1liranog ITS-a
1 ( P Ll l 1i11I1 cd Tutor Expert System) (Rosie 2()()(j)
I I dlll ) )l ll Jlolilvlju jc ukratko opisana Slrllklilin gtIImiddot llvn 1)IIx-Sys na III I PI 1I1( I I(1 i~ Irmiddot n~ i v (mj L U trece llI j1lIIIVI(l1 I ]11 1111 11 i middot IIrr rt 7ivlnje
j middotI NKIIV A (iIltIIIII I(middot 11
Itid i ll ~lIjll(j planiranje i rCllli Iij u ISIJazivlnja te analizu dobivenih rtzu llilll 1Jl ilivanjc mjcrnih instrumcnata
fl STRUKTURA SUSTAVA DTEX-SYS
Sustav DTEx-Sys ne ovisi 0 platformi vremenu i mjestu pristupa 1111i1
Jldinslven nacin spremanja informacija za razlicita podrucna znanja mogllCn()sl 1(~cnja u hipermedijskoj okolini mogucnost pracenja napretka ucenika rt I1 Hlgllcnost testiranja uz preporuke za nastavak Sustav je zasnovan na oponasanjll IJ udskih ucitelja i omogucuje svakom uceniku ucenje u bilo kojem trenutku onolikn ko liko mu je potrebno kako bi stekao zeljenu razinu znanja
Znanje u sustavu DTEx-Sys je predstavljeno semantickim mreiama s okvirima ciji su osnovni elementi Cvorovi i veze Cvorovi se koriste za predstavljallj ( objckata podrucnog znanja a veze prikazuju odnose medu njima U sustavu DTExshyys se baze podrucnog znanja najjednostavnije receno sastoje od Cvorova i vC7a Vorovi u bazi podrucnog znanja pored naziva i veza prema ostalim Cvorovima
IIi Ogu imati i strukturne atribute tekstualni opis sliku i animaciju te URL adrcsu Korisnici sustava mogu odabrati sljedece usluge pristup bazama podrucI1og
pound-nanja testiranje znanja iii zatraziti rezultate testova Specificnost modula testiranj il jlt u tome sto se nakon svakog ciklusa od dva pitanja generiraju nova pitanja Cija ld ina ovisi 0 rezultatima ucenika te se na kraju uz ocjenu daju i preporuke za dalji rad
DTEx-Sys je implementiran kao 3-slojna klijent-server arhitektura (Rosie i SlIr 2001) koja se sastoji
1) od korisniccog sucelja - sloj korisnickog sucelja sustava DTEx-Sys prua sucelj e za pristup sustavu bazama znanja rjesavanju testa i prcgkdu ocjena koje ucenici postizu
2) od logike aplikacije - srednji sloj generira dokument koji se di stribuir1 korisniku prema njegovu zahtjevu ovisno sto korisnik zeli raditi (llpr uciti rjesavati test)
3) od baze podataka - sloj baza podataka se sastoji od baza podrucnog znanja i baza podataka koje sadrZe podatke 0 korisnicima sustava Balt podataka 0 korisnicima sustava sadrze elementarne podatkt 0
korisnicima njihovu ponasanju pri koristenju sustava i rezullatil1l1 njihova testiranja
III PRISTUP VLASTITOM ISTRAZIVANJU
U ov)m radu se prcdstavlja istrazivanje 0 djdovanju sllsllva O]I x Syli 1)1
PIO(S lIilllja i pOll(aVallja kako hi se pokusalo odgovoril i oa pi Illljl 1(111 il((I IITFxSys lItj l(C 1M IJc nj L i pnllC1Vanj l i knlib jQ llcinknvililsi Dmiddotlh Syi Oll[ iIlt 11 I) 11Il I()ck L ki ]lriIIl L I1ItIIOg iSilaf ivanja ( Ilt]bnl i SIll 11)1)1) ) jllll(1 I lIl i 1 111 1
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
II I 11middot V(( (Split) II 1middotI llmiddotal l~ la n h cs volume 1 143
IClt ILIZ I Vl(~ (Split)
J a~(lI ilil l fscarches volume 2 145
l illtl KJ JIBUVA (Split)
) r ~ I I lliliolic Out of lines and indents 147
01 dr tnlvdcta Ajanovic prof dr Marko Stevanovic II H Jd ~logy of pupil activities out of the school 148
I Mllko Sllvanovic School by student taste and suit 150
r1 I IN no 12005 153
f t i g i ll ~ rtCI 22005 155
jilC Jo Il l df ~ Si l i ~ cevic (Split)
ll1I 1i t q t ll Jdlil Child hood 157
158
~ 1J lJtI bull1 NI MET fI-JAJIC (Split)
h~ I II I lil fll tfcnce 159
bull1 MIJl C (Kastel Gomilica)
Hl 111 dn vs of the elementary school 160
Ii ll l tllv NAJE V (Split) 170 IIIN
IH middotVIORIAM
1I111111 MLN DES (Spli t)
) it NI ta (1910 - 2005) 173
di l ll ROSIe (Rijeka) iUOI Ilcz iq 1930 - 2005) 176
1 Ill ( (Sr1it)
111 li ll1 ~ r middot~ylth()logy professor (1946 - 2005) 178
i i) I I II (o lilribulors 179
UDK 812463(4) Pregledni Clanak
Primljeno 20 05 2005 Prihvaceno 15 06 2005
PROBLEM VISEJEZICNOSTI U EUROPSKOJ UNIJI
Magda PASALIC predavac Sanja MARINOV predavac
Ekonomski fakultet Split
Sazetak Dallas se poundI inslilucijama Europske Unije korisli 20 sluibenih jezika S obzirom na to da je jezik bilan elemenl eulillnog idenlilela a eullurna raznolilcoSI vai na baslina Europske Unije poSlivanje jezicne raznolikOSli je ntino lednako tako cjelokupna javnosl Ellropske Unije mom imali mogucnosl uvida u ono slO se dogada na razini njezinih insliluciju kao i prevedene zakone Ellropsee Unije kojih se mora pridriavali Pravna siglllllosl i jednakost prava bili bi ugroieni kada se nacelo viSejezicnoSli ne bi primjenjivalo Provodenje visejezicnosli II inslilllcijama Europske unije prelpostavlja usposlavljanje posebnih Slllibi koje se bave iskljuCivo prevodenjem Ie nosi sa sobom niz pmkliLnih problema i IroSkova
Ovaj rad analizira mzliCile slavove prema visejezicnosli u Europskoj Uniji Ie prednosli i nedostatke kOje donosi upOlreba brojnih sluibenih jezika Icao i melode koje Ellropska Unija korisli pri rjdavanjll lih problema
Kljucne rijeci EllIopska Unija viSejezicnosl prevodenje sluibeni i radni jezici
1 UVOD
Europska Unija je organizacija koju Cine europske zemlje clanice koje su odlucile suradivati na odredenim podrucjima poput zajednickog triista vanjske politike obrazovanja pravosuda i drugih Osnovana je Ugovorom iz Maastrichta u prosincu 1991 los 1957 zapoCelo je udruzivanje pojedinih europskih zemalja kad su Rimskim ugovorima osnovane Europska ekonomska zajednica (EEZ) Europska zajednica za atomsku energiju (EURATOM) a potpisalo ih je sest zemalja clanica Belgija Francuska Njemacka Italija Luksemburg i Nizozemska Od tada se dogodilo pe t prosirenja a posljednjim prosirenjem broj zemalja clanica povecao se s 15 na 25 Svako novo prosirenje znaCilo je i ukljuCivanje novih nacionalnih jezika kao sluzbenih jezika Europske Unije Ovaj rad analizira razlicitt stavove prema visejezicnosti u Europskoj Uniji prednosti i nedostatke kojc d(lno~ i
upotreba brojnih sluzhe nih jezika te metode koje Europska Unija koristi rri rjcsavanju till pllllol l lIla
i
~ I 1 If II IV 11 IIi middot( i middot ~ IIIImiddot 11 Ii 1II II Juj I Jlliji 1 1 I ljI 1 T W
UDC 812463(4) Review article
Accepted 20 05 2005 Confirmed 15 06 2005
PI H IIILGM OF MULTILINGUALISM IN THE EUROPEAN UNION
I ~l l ( s MARINOV (Split) Sk vjesn 54 (2005) 1-2
111111111 Y Nowadays there are 20 official languages in use in the EU institutions 11 I(1111) rill filet that a language is an essential element of a cultural identity and 1111111lilIIIII is all important part of the EU heritage preselving linguistic diversity is
111 11 1( 1~lllwIly the public have a right to know what is being done in their 111 1 111 flll l IIl1 ve the right to have the European law available in their own language I II 11 1 I f j ll is binding on evelyone in the E U Legal certainty and equality of rights II d lit Ilritlllgcred unless the principle of multilingualism is implemented 1I WI I III$ lit e principle of multilingualism in the EU institutions requires IIgt I IIrr Slllcial services which deal with translation and interpretation and it entails 11 11 IJl iltrmiddotthmiddotol problems and costs
IJIII IN analyses various attitudes towards multilingualism in the E U 11111 01 II(I dillldvantages of having so many official languages and the ways the ( llItl ll lam1 1101 with the problem
Will IImiddot llropean Union multilingualism translation and intelpretation I~ficial and working languages
UDK 37 1 Jm 4 II PrcthodJlU pI iop(lt lI ju
Primljeno 20 OS 2()()~
Prihvaceno 15 O(l 2()( lS
VREDNOV ANJE UCINKOVITOSTI PROCESA UCENJA I POUCAVANJA U SUSTAVIMA ZA E-UCENJE
Slavomir STANKOV Ani GRUBISH Branko ZITKO Divna KRPAN
Fakultet prirodoslovno-matematickih znanosti i odgojnih podrucja Sveucilista u Splitu
Sazetak U radu smo se orijentiraii na jedan aspekl e-ucenja na ucenje i poucavanj( II pomoc Web-orijentiranih inteilgenlnih tulorskih suslava B Bloom je u istraiivallill -ovedenom 1984 pokazao da se individuaino i tradiclonaino poucavanje u razredu razlilwju ZIt
vije standardne devijacije Ij Da izmedu njih posloji laquo2-sigma razlikaraquo u korist individualnoj )ucavanja Takoder poucavanje II razredu se ne moie natjecati s individuainlm pOlcavanjl1 I interailtlivnostl I prUagodijivosti UkljuCivanjem racllnaia u obrazovanje i pojavom inleliflenlnih lttorscih sustava otvaraju se nove mogucnosti u ucenju I poucavanju jer su za raziiku od Ijudskil IItora racunaia ipak jeftinija U trenutku kada inleligentni tUlorski suslavi poslaju Webshyorijentirani preiaze se prostoma i vremenska ogranicenja Naravno potrebno je ispillli unnkovitost tih sustava U ovom radu je predstavijeno ~5traiivanje uCinkovitosli Wei)middot orijentiranog inteligentnog lutorskog suslava D TExmiddot Sys uz opis analize dobivenih rezlllala i lIanna ~5pitivanja metricklh karaklelistika testova
Klj ucne rijeci sustavi za e-ucenje inteligentni tulOrski sustavi Web-orijenlirani inieligcnilli tutorski sustavi ucenje i poucavanje vrednovanje uCinkovilOsli pmClIiI
ucenja i poucavanja
I UVODNO RAZMATRANJE
Individualno iIi tutorsko poucavanje je poucavanje tipa laquojedan ucitdj - j(tilll ul(nikraquo za razliku od tradicionalnog poucavanja u razredu gdje na j (Llnl)g lI ~ildj r l Jolai oko 20-30 uccnika iz cega se vidi razlika u vrelllClll knje Il cil lj IIHII
p(1SV(~ t iii svakoIT1 lIceniku Kod tradicionalnog prtdavanja II ra I (W I sva k i II ~C II i k 1
IIHII a izhnrili 71 svojih lt5 millutaraquo pod uvjctol1l cia to ltIi CS I() W II VI ltkllll I 11 itt lillll dlllP cia dn II L lIik 1lsivnn r ra li naslavlI it uCil l lj 1(1 I) ~ 11 illljI III
j I
I
I middot~j( i t-I V II [( 1i 11middot J( Ii ~ ITIII II I~ IAN VI Cdl()VUIIJC I ql II I I fli l J ~~
r~IU IIV IIII III k Ii (IVOIiIIO (il L1ccnik samo bude prisutan tL ltIa lIci tLk kada se 11 1 t middotf II IVill lj l l1 c~l1ik Illora aktivno sudjelovati kako bi znanje i vjeiitine koje
II lli ll rt) kvdilcrniji U situaciji kada jedan ucitelj poucava samo jednog lI il ll 11 1 [lu re hili aktivan ne moze se laquosakritiraquo moze dobiti dodatno 11111 11111 1 ~ I ko 7d i a ne mora se dugo zadrzavati na onome sto je dobro usvojio
1 1 1I1 1 1i~ 1jaJ li c () razlikama izmedu individualnog i tradicionalnog poucavanja I I li d i1dj ucak da individualno poucavanje ima prednosti u odnosu na I li1111 I 1)( 1 1 I(~avanje No isticanje prednosti iii nedostataka nije dovoljno ild 1J III~ 1 tiC Ilvjcrili u vecu iii rnanju uCinkovitost nekog nacina poucavanja treba ) 1 1 I[ lil zivanjc 0 ucinkovitosti toga nacina poucavanja Takvo istrazivanie 0
lil illl HI 7111 tdu individualnog i tradicionalnog nacina poucavanja je provodio 111 11111 11 I3 loolTI (Bloom 1984) Dobivena razlika od dvije standardne devijacije iii
lfi lll i IIzlikaraquo isla je u koris~ individualnog poucavanja (sto se i ocekivalo) To IIIdrI Il IU ck vivalcntno povecanju od 50-og do 98-og centila iii razine postignuca Ii 1 1 ~ Ij( 1J Ilekog ucenika primjerice nalazi izmeau 85-og i 86-og centil a to 11I d1 fl X5 uccnika ostvarilo losiji a 14 bolji rezultat od nj ega Aka neki 1111 11 ( 110 111 uslvari uspjeh koji se nalazi iznad 99-og centila to ne znaci da i e ii I I)I)I ( Ic~ la nego je njegov uspjeh medu 1 najboljih Razlika od dvije
Id IIdill lkvijacije stoga znaCi da je svaki ucenik koji je bio individualno II IVIII qtvario uspjeh koji pripada medu 2 najboljih
I lp lliida svi ucenici ne uce individualnim nacinom Zato sto je 111I1 Ili1I(1 11t lllogllec imati tutora za svakog ucenika Meautim ukljucivanjem 1111 1i1 II lI hr It()vanje i pojavom inteligentnih tutorskih sustava (eng Intelligent 1111 11 -iYlI lc rns kratica ITS) otvaraju se nove mogucnosti u poucavanju II r1l til dc sl tljcea su se brzina racunala te njihovi kapaciteti za spremanje III dl l II dVwlrucavali svakih 18-24 mjeseca (Phipps Merisotis 1999) au isto se
111 1 Hl ~ IIl ivtlla njihova cijena U usporedbi s Ijudskim tutorima racunala su 111 111 ptt III sc uz njihovu pomoc mozda mogao popuniti dio razlike koja postoji dell IIIdivitl llllnog i tradicionalnog poucavanja (Fletcher 2003)
I tI l ie (tng E-Iearning) nova je paradigma ucenja uz pomoe razliCitih 11 - llil SI t( llJcljc na elektronickoj tehnologiji a odnosi se na dostavljanje
111 1 1111110 uccnicima preko svih vrsta elektronickih medija ukljucujuCi 111i1 II 111 1lt1 11 lt satelitsko emitiranje audio- i videovrpce interaktivnu televiziju )I ( 1M (IVlt iii DVD-ove i sl (definicija preuzeta sa httpwww
I(I II lI ll lmiddotltII11aboutelearning) U ovom cerna se radu orijentirati sarno na jedan 1I Wl ll a nCl Web-orijentirano ucenje i poucavanje uz pornoc Webshy1 1111 11 1 iflli ligcntnih tutorskih sustava Web-orijentirani inteligentni tutorski PI I11( n~ra ni cc nja prostora i vremena pa tako postaju sve zanimljiviji U il 1 11 plIdslavljamo istrazivanje 0 ucinkovitosti Wch-orij ll1liranog ITS-a
1 ( P Ll l 1i11I1 cd Tutor Expert System) (Rosie 2()()(j)
I I dlll ) )l ll Jlolilvlju jc ukratko opisana Slrllklilin gtIImiddot llvn 1)IIx-Sys na III I PI 1I1( I I(1 i~ Irmiddot n~ i v (mj L U trece llI j1lIIIVI(l1 I ]11 1111 11 i middot IIrr rt 7ivlnje
j middotI NKIIV A (iIltIIIII I(middot 11
Itid i ll ~lIjll(j planiranje i rCllli Iij u ISIJazivlnja te analizu dobivenih rtzu llilll 1Jl ilivanjc mjcrnih instrumcnata
fl STRUKTURA SUSTAVA DTEX-SYS
Sustav DTEx-Sys ne ovisi 0 platformi vremenu i mjestu pristupa 1111i1
Jldinslven nacin spremanja informacija za razlicita podrucna znanja mogllCn()sl 1(~cnja u hipermedijskoj okolini mogucnost pracenja napretka ucenika rt I1 Hlgllcnost testiranja uz preporuke za nastavak Sustav je zasnovan na oponasanjll IJ udskih ucitelja i omogucuje svakom uceniku ucenje u bilo kojem trenutku onolikn ko liko mu je potrebno kako bi stekao zeljenu razinu znanja
Znanje u sustavu DTEx-Sys je predstavljeno semantickim mreiama s okvirima ciji su osnovni elementi Cvorovi i veze Cvorovi se koriste za predstavljallj ( objckata podrucnog znanja a veze prikazuju odnose medu njima U sustavu DTExshyys se baze podrucnog znanja najjednostavnije receno sastoje od Cvorova i vC7a Vorovi u bazi podrucnog znanja pored naziva i veza prema ostalim Cvorovima
IIi Ogu imati i strukturne atribute tekstualni opis sliku i animaciju te URL adrcsu Korisnici sustava mogu odabrati sljedece usluge pristup bazama podrucI1og
pound-nanja testiranje znanja iii zatraziti rezultate testova Specificnost modula testiranj il jlt u tome sto se nakon svakog ciklusa od dva pitanja generiraju nova pitanja Cija ld ina ovisi 0 rezultatima ucenika te se na kraju uz ocjenu daju i preporuke za dalji rad
DTEx-Sys je implementiran kao 3-slojna klijent-server arhitektura (Rosie i SlIr 2001) koja se sastoji
1) od korisniccog sucelja - sloj korisnickog sucelja sustava DTEx-Sys prua sucelj e za pristup sustavu bazama znanja rjesavanju testa i prcgkdu ocjena koje ucenici postizu
2) od logike aplikacije - srednji sloj generira dokument koji se di stribuir1 korisniku prema njegovu zahtjevu ovisno sto korisnik zeli raditi (llpr uciti rjesavati test)
3) od baze podataka - sloj baza podataka se sastoji od baza podrucnog znanja i baza podataka koje sadrZe podatke 0 korisnicima sustava Balt podataka 0 korisnicima sustava sadrze elementarne podatkt 0
korisnicima njihovu ponasanju pri koristenju sustava i rezullatil1l1 njihova testiranja
III PRISTUP VLASTITOM ISTRAZIVANJU
U ov)m radu se prcdstavlja istrazivanje 0 djdovanju sllsllva O]I x Syli 1)1
PIO(S lIilllja i pOll(aVallja kako hi se pokusalo odgovoril i oa pi Illljl 1(111 il((I IITFxSys lItj l(C 1M IJc nj L i pnllC1Vanj l i knlib jQ llcinknvililsi Dmiddotlh Syi Oll[ iIlt 11 I) 11Il I()ck L ki ]lriIIl L I1ItIIOg iSilaf ivanja ( Ilt]bnl i SIll 11)1)1) ) jllll(1 I lIl i 1 111 1
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
~ I 1 If II IV 11 IIi middot( i middot ~ IIIImiddot 11 Ii 1II II Juj I Jlliji 1 1 I ljI 1 T W
UDC 812463(4) Review article
Accepted 20 05 2005 Confirmed 15 06 2005
PI H IIILGM OF MULTILINGUALISM IN THE EUROPEAN UNION
I ~l l ( s MARINOV (Split) Sk vjesn 54 (2005) 1-2
111111111 Y Nowadays there are 20 official languages in use in the EU institutions 11 I(1111) rill filet that a language is an essential element of a cultural identity and 1111111lilIIIII is all important part of the EU heritage preselving linguistic diversity is
111 11 1( 1~lllwIly the public have a right to know what is being done in their 111 1 111 flll l IIl1 ve the right to have the European law available in their own language I II 11 1 I f j ll is binding on evelyone in the E U Legal certainty and equality of rights II d lit Ilritlllgcred unless the principle of multilingualism is implemented 1I WI I III$ lit e principle of multilingualism in the EU institutions requires IIgt I IIrr Slllcial services which deal with translation and interpretation and it entails 11 11 IJl iltrmiddotthmiddotol problems and costs
IJIII IN analyses various attitudes towards multilingualism in the E U 11111 01 II(I dillldvantages of having so many official languages and the ways the ( llItl ll lam1 1101 with the problem
Will IImiddot llropean Union multilingualism translation and intelpretation I~ficial and working languages
UDK 37 1 Jm 4 II PrcthodJlU pI iop(lt lI ju
Primljeno 20 OS 2()()~
Prihvaceno 15 O(l 2()( lS
VREDNOV ANJE UCINKOVITOSTI PROCESA UCENJA I POUCAVANJA U SUSTAVIMA ZA E-UCENJE
Slavomir STANKOV Ani GRUBISH Branko ZITKO Divna KRPAN
Fakultet prirodoslovno-matematickih znanosti i odgojnih podrucja Sveucilista u Splitu
Sazetak U radu smo se orijentiraii na jedan aspekl e-ucenja na ucenje i poucavanj( II pomoc Web-orijentiranih inteilgenlnih tulorskih suslava B Bloom je u istraiivallill -ovedenom 1984 pokazao da se individuaino i tradiclonaino poucavanje u razredu razlilwju ZIt
vije standardne devijacije Ij Da izmedu njih posloji laquo2-sigma razlikaraquo u korist individualnoj )ucavanja Takoder poucavanje II razredu se ne moie natjecati s individuainlm pOlcavanjl1 I interailtlivnostl I prUagodijivosti UkljuCivanjem racllnaia u obrazovanje i pojavom inleliflenlnih lttorscih sustava otvaraju se nove mogucnosti u ucenju I poucavanju jer su za raziiku od Ijudskil IItora racunaia ipak jeftinija U trenutku kada inleligentni tUlorski suslavi poslaju Webshyorijentirani preiaze se prostoma i vremenska ogranicenja Naravno potrebno je ispillli unnkovitost tih sustava U ovom radu je predstavijeno ~5traiivanje uCinkovitosli Wei)middot orijentiranog inteligentnog lutorskog suslava D TExmiddot Sys uz opis analize dobivenih rezlllala i lIanna ~5pitivanja metricklh karaklelistika testova
Klj ucne rijeci sustavi za e-ucenje inteligentni tulOrski sustavi Web-orijenlirani inieligcnilli tutorski sustavi ucenje i poucavanje vrednovanje uCinkovilOsli pmClIiI
ucenja i poucavanja
I UVODNO RAZMATRANJE
Individualno iIi tutorsko poucavanje je poucavanje tipa laquojedan ucitdj - j(tilll ul(nikraquo za razliku od tradicionalnog poucavanja u razredu gdje na j (Llnl)g lI ~ildj r l Jolai oko 20-30 uccnika iz cega se vidi razlika u vrelllClll knje Il cil lj IIHII
p(1SV(~ t iii svakoIT1 lIceniku Kod tradicionalnog prtdavanja II ra I (W I sva k i II ~C II i k 1
IIHII a izhnrili 71 svojih lt5 millutaraquo pod uvjctol1l cia to ltIi CS I() W II VI ltkllll I 11 itt lillll dlllP cia dn II L lIik 1lsivnn r ra li naslavlI it uCil l lj 1(1 I) ~ 11 illljI III
j I
I
I middot~j( i t-I V II [( 1i 11middot J( Ii ~ ITIII II I~ IAN VI Cdl()VUIIJC I ql II I I fli l J ~~
r~IU IIV IIII III k Ii (IVOIiIIO (il L1ccnik samo bude prisutan tL ltIa lIci tLk kada se 11 1 t middotf II IVill lj l l1 c~l1ik Illora aktivno sudjelovati kako bi znanje i vjeiitine koje
II lli ll rt) kvdilcrniji U situaciji kada jedan ucitelj poucava samo jednog lI il ll 11 1 [lu re hili aktivan ne moze se laquosakritiraquo moze dobiti dodatno 11111 11111 1 ~ I ko 7d i a ne mora se dugo zadrzavati na onome sto je dobro usvojio
1 1 1I1 1 1i~ 1jaJ li c () razlikama izmedu individualnog i tradicionalnog poucavanja I I li d i1dj ucak da individualno poucavanje ima prednosti u odnosu na I li1111 I 1)( 1 1 I(~avanje No isticanje prednosti iii nedostataka nije dovoljno ild 1J III~ 1 tiC Ilvjcrili u vecu iii rnanju uCinkovitost nekog nacina poucavanja treba ) 1 1 I[ lil zivanjc 0 ucinkovitosti toga nacina poucavanja Takvo istrazivanie 0
lil illl HI 7111 tdu individualnog i tradicionalnog nacina poucavanja je provodio 111 11111 11 I3 loolTI (Bloom 1984) Dobivena razlika od dvije standardne devijacije iii
lfi lll i IIzlikaraquo isla je u koris~ individualnog poucavanja (sto se i ocekivalo) To IIIdrI Il IU ck vivalcntno povecanju od 50-og do 98-og centila iii razine postignuca Ii 1 1 ~ Ij( 1J Ilekog ucenika primjerice nalazi izmeau 85-og i 86-og centil a to 11I d1 fl X5 uccnika ostvarilo losiji a 14 bolji rezultat od nj ega Aka neki 1111 11 ( 110 111 uslvari uspjeh koji se nalazi iznad 99-og centila to ne znaci da i e ii I I)I)I ( Ic~ la nego je njegov uspjeh medu 1 najboljih Razlika od dvije
Id IIdill lkvijacije stoga znaCi da je svaki ucenik koji je bio individualno II IVIII qtvario uspjeh koji pripada medu 2 najboljih
I lp lliida svi ucenici ne uce individualnim nacinom Zato sto je 111I1 Ili1I(1 11t lllogllec imati tutora za svakog ucenika Meautim ukljucivanjem 1111 1i1 II lI hr It()vanje i pojavom inteligentnih tutorskih sustava (eng Intelligent 1111 11 -iYlI lc rns kratica ITS) otvaraju se nove mogucnosti u poucavanju II r1l til dc sl tljcea su se brzina racunala te njihovi kapaciteti za spremanje III dl l II dVwlrucavali svakih 18-24 mjeseca (Phipps Merisotis 1999) au isto se
111 1 Hl ~ IIl ivtlla njihova cijena U usporedbi s Ijudskim tutorima racunala su 111 111 ptt III sc uz njihovu pomoc mozda mogao popuniti dio razlike koja postoji dell IIIdivitl llllnog i tradicionalnog poucavanja (Fletcher 2003)
I tI l ie (tng E-Iearning) nova je paradigma ucenja uz pomoe razliCitih 11 - llil SI t( llJcljc na elektronickoj tehnologiji a odnosi se na dostavljanje
111 1 1111110 uccnicima preko svih vrsta elektronickih medija ukljucujuCi 111i1 II 111 1lt1 11 lt satelitsko emitiranje audio- i videovrpce interaktivnu televiziju )I ( 1M (IVlt iii DVD-ove i sl (definicija preuzeta sa httpwww
I(I II lI ll lmiddotltII11aboutelearning) U ovom cerna se radu orijentirati sarno na jedan 1I Wl ll a nCl Web-orijentirano ucenje i poucavanje uz pornoc Webshy1 1111 11 1 iflli ligcntnih tutorskih sustava Web-orijentirani inteligentni tutorski PI I11( n~ra ni cc nja prostora i vremena pa tako postaju sve zanimljiviji U il 1 11 plIdslavljamo istrazivanje 0 ucinkovitosti Wch-orij ll1liranog ITS-a
1 ( P Ll l 1i11I1 cd Tutor Expert System) (Rosie 2()()(j)
I I dlll ) )l ll Jlolilvlju jc ukratko opisana Slrllklilin gtIImiddot llvn 1)IIx-Sys na III I PI 1I1( I I(1 i~ Irmiddot n~ i v (mj L U trece llI j1lIIIVI(l1 I ]11 1111 11 i middot IIrr rt 7ivlnje
j middotI NKIIV A (iIltIIIII I(middot 11
Itid i ll ~lIjll(j planiranje i rCllli Iij u ISIJazivlnja te analizu dobivenih rtzu llilll 1Jl ilivanjc mjcrnih instrumcnata
fl STRUKTURA SUSTAVA DTEX-SYS
Sustav DTEx-Sys ne ovisi 0 platformi vremenu i mjestu pristupa 1111i1
Jldinslven nacin spremanja informacija za razlicita podrucna znanja mogllCn()sl 1(~cnja u hipermedijskoj okolini mogucnost pracenja napretka ucenika rt I1 Hlgllcnost testiranja uz preporuke za nastavak Sustav je zasnovan na oponasanjll IJ udskih ucitelja i omogucuje svakom uceniku ucenje u bilo kojem trenutku onolikn ko liko mu je potrebno kako bi stekao zeljenu razinu znanja
Znanje u sustavu DTEx-Sys je predstavljeno semantickim mreiama s okvirima ciji su osnovni elementi Cvorovi i veze Cvorovi se koriste za predstavljallj ( objckata podrucnog znanja a veze prikazuju odnose medu njima U sustavu DTExshyys se baze podrucnog znanja najjednostavnije receno sastoje od Cvorova i vC7a Vorovi u bazi podrucnog znanja pored naziva i veza prema ostalim Cvorovima
IIi Ogu imati i strukturne atribute tekstualni opis sliku i animaciju te URL adrcsu Korisnici sustava mogu odabrati sljedece usluge pristup bazama podrucI1og
pound-nanja testiranje znanja iii zatraziti rezultate testova Specificnost modula testiranj il jlt u tome sto se nakon svakog ciklusa od dva pitanja generiraju nova pitanja Cija ld ina ovisi 0 rezultatima ucenika te se na kraju uz ocjenu daju i preporuke za dalji rad
DTEx-Sys je implementiran kao 3-slojna klijent-server arhitektura (Rosie i SlIr 2001) koja se sastoji
1) od korisniccog sucelja - sloj korisnickog sucelja sustava DTEx-Sys prua sucelj e za pristup sustavu bazama znanja rjesavanju testa i prcgkdu ocjena koje ucenici postizu
2) od logike aplikacije - srednji sloj generira dokument koji se di stribuir1 korisniku prema njegovu zahtjevu ovisno sto korisnik zeli raditi (llpr uciti rjesavati test)
3) od baze podataka - sloj baza podataka se sastoji od baza podrucnog znanja i baza podataka koje sadrZe podatke 0 korisnicima sustava Balt podataka 0 korisnicima sustava sadrze elementarne podatkt 0
korisnicima njihovu ponasanju pri koristenju sustava i rezullatil1l1 njihova testiranja
III PRISTUP VLASTITOM ISTRAZIVANJU
U ov)m radu se prcdstavlja istrazivanje 0 djdovanju sllsllva O]I x Syli 1)1
PIO(S lIilllja i pOll(aVallja kako hi se pokusalo odgovoril i oa pi Illljl 1(111 il((I IITFxSys lItj l(C 1M IJc nj L i pnllC1Vanj l i knlib jQ llcinknvililsi Dmiddotlh Syi Oll[ iIlt 11 I) 11Il I()ck L ki ]lriIIl L I1ItIIOg iSilaf ivanja ( Ilt]bnl i SIll 11)1)1) ) jllll(1 I lIl i 1 111 1
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
I
I middot~j( i t-I V II [( 1i 11middot J( Ii ~ ITIII II I~ IAN VI Cdl()VUIIJC I ql II I I fli l J ~~
r~IU IIV IIII III k Ii (IVOIiIIO (il L1ccnik samo bude prisutan tL ltIa lIci tLk kada se 11 1 t middotf II IVill lj l l1 c~l1ik Illora aktivno sudjelovati kako bi znanje i vjeiitine koje
II lli ll rt) kvdilcrniji U situaciji kada jedan ucitelj poucava samo jednog lI il ll 11 1 [lu re hili aktivan ne moze se laquosakritiraquo moze dobiti dodatno 11111 11111 1 ~ I ko 7d i a ne mora se dugo zadrzavati na onome sto je dobro usvojio
1 1 1I1 1 1i~ 1jaJ li c () razlikama izmedu individualnog i tradicionalnog poucavanja I I li d i1dj ucak da individualno poucavanje ima prednosti u odnosu na I li1111 I 1)( 1 1 I(~avanje No isticanje prednosti iii nedostataka nije dovoljno ild 1J III~ 1 tiC Ilvjcrili u vecu iii rnanju uCinkovitost nekog nacina poucavanja treba ) 1 1 I[ lil zivanjc 0 ucinkovitosti toga nacina poucavanja Takvo istrazivanie 0
lil illl HI 7111 tdu individualnog i tradicionalnog nacina poucavanja je provodio 111 11111 11 I3 loolTI (Bloom 1984) Dobivena razlika od dvije standardne devijacije iii
lfi lll i IIzlikaraquo isla je u koris~ individualnog poucavanja (sto se i ocekivalo) To IIIdrI Il IU ck vivalcntno povecanju od 50-og do 98-og centila iii razine postignuca Ii 1 1 ~ Ij( 1J Ilekog ucenika primjerice nalazi izmeau 85-og i 86-og centil a to 11I d1 fl X5 uccnika ostvarilo losiji a 14 bolji rezultat od nj ega Aka neki 1111 11 ( 110 111 uslvari uspjeh koji se nalazi iznad 99-og centila to ne znaci da i e ii I I)I)I ( Ic~ la nego je njegov uspjeh medu 1 najboljih Razlika od dvije
Id IIdill lkvijacije stoga znaCi da je svaki ucenik koji je bio individualno II IVIII qtvario uspjeh koji pripada medu 2 najboljih
I lp lliida svi ucenici ne uce individualnim nacinom Zato sto je 111I1 Ili1I(1 11t lllogllec imati tutora za svakog ucenika Meautim ukljucivanjem 1111 1i1 II lI hr It()vanje i pojavom inteligentnih tutorskih sustava (eng Intelligent 1111 11 -iYlI lc rns kratica ITS) otvaraju se nove mogucnosti u poucavanju II r1l til dc sl tljcea su se brzina racunala te njihovi kapaciteti za spremanje III dl l II dVwlrucavali svakih 18-24 mjeseca (Phipps Merisotis 1999) au isto se
111 1 Hl ~ IIl ivtlla njihova cijena U usporedbi s Ijudskim tutorima racunala su 111 111 ptt III sc uz njihovu pomoc mozda mogao popuniti dio razlike koja postoji dell IIIdivitl llllnog i tradicionalnog poucavanja (Fletcher 2003)
I tI l ie (tng E-Iearning) nova je paradigma ucenja uz pomoe razliCitih 11 - llil SI t( llJcljc na elektronickoj tehnologiji a odnosi se na dostavljanje
111 1 1111110 uccnicima preko svih vrsta elektronickih medija ukljucujuCi 111i1 II 111 1lt1 11 lt satelitsko emitiranje audio- i videovrpce interaktivnu televiziju )I ( 1M (IVlt iii DVD-ove i sl (definicija preuzeta sa httpwww
I(I II lI ll lmiddotltII11aboutelearning) U ovom cerna se radu orijentirati sarno na jedan 1I Wl ll a nCl Web-orijentirano ucenje i poucavanje uz pornoc Webshy1 1111 11 1 iflli ligcntnih tutorskih sustava Web-orijentirani inteligentni tutorski PI I11( n~ra ni cc nja prostora i vremena pa tako postaju sve zanimljiviji U il 1 11 plIdslavljamo istrazivanje 0 ucinkovitosti Wch-orij ll1liranog ITS-a
1 ( P Ll l 1i11I1 cd Tutor Expert System) (Rosie 2()()(j)
I I dlll ) )l ll Jlolilvlju jc ukratko opisana Slrllklilin gtIImiddot llvn 1)IIx-Sys na III I PI 1I1( I I(1 i~ Irmiddot n~ i v (mj L U trece llI j1lIIIVI(l1 I ]11 1111 11 i middot IIrr rt 7ivlnje
j middotI NKIIV A (iIltIIIII I(middot 11
Itid i ll ~lIjll(j planiranje i rCllli Iij u ISIJazivlnja te analizu dobivenih rtzu llilll 1Jl ilivanjc mjcrnih instrumcnata
fl STRUKTURA SUSTAVA DTEX-SYS
Sustav DTEx-Sys ne ovisi 0 platformi vremenu i mjestu pristupa 1111i1
Jldinslven nacin spremanja informacija za razlicita podrucna znanja mogllCn()sl 1(~cnja u hipermedijskoj okolini mogucnost pracenja napretka ucenika rt I1 Hlgllcnost testiranja uz preporuke za nastavak Sustav je zasnovan na oponasanjll IJ udskih ucitelja i omogucuje svakom uceniku ucenje u bilo kojem trenutku onolikn ko liko mu je potrebno kako bi stekao zeljenu razinu znanja
Znanje u sustavu DTEx-Sys je predstavljeno semantickim mreiama s okvirima ciji su osnovni elementi Cvorovi i veze Cvorovi se koriste za predstavljallj ( objckata podrucnog znanja a veze prikazuju odnose medu njima U sustavu DTExshyys se baze podrucnog znanja najjednostavnije receno sastoje od Cvorova i vC7a Vorovi u bazi podrucnog znanja pored naziva i veza prema ostalim Cvorovima
IIi Ogu imati i strukturne atribute tekstualni opis sliku i animaciju te URL adrcsu Korisnici sustava mogu odabrati sljedece usluge pristup bazama podrucI1og
pound-nanja testiranje znanja iii zatraziti rezultate testova Specificnost modula testiranj il jlt u tome sto se nakon svakog ciklusa od dva pitanja generiraju nova pitanja Cija ld ina ovisi 0 rezultatima ucenika te se na kraju uz ocjenu daju i preporuke za dalji rad
DTEx-Sys je implementiran kao 3-slojna klijent-server arhitektura (Rosie i SlIr 2001) koja se sastoji
1) od korisniccog sucelja - sloj korisnickog sucelja sustava DTEx-Sys prua sucelj e za pristup sustavu bazama znanja rjesavanju testa i prcgkdu ocjena koje ucenici postizu
2) od logike aplikacije - srednji sloj generira dokument koji se di stribuir1 korisniku prema njegovu zahtjevu ovisno sto korisnik zeli raditi (llpr uciti rjesavati test)
3) od baze podataka - sloj baza podataka se sastoji od baza podrucnog znanja i baza podataka koje sadrZe podatke 0 korisnicima sustava Balt podataka 0 korisnicima sustava sadrze elementarne podatkt 0
korisnicima njihovu ponasanju pri koristenju sustava i rezullatil1l1 njihova testiranja
III PRISTUP VLASTITOM ISTRAZIVANJU
U ov)m radu se prcdstavlja istrazivanje 0 djdovanju sllsllva O]I x Syli 1)1
PIO(S lIilllja i pOll(aVallja kako hi se pokusalo odgovoril i oa pi Illljl 1(111 il((I IITFxSys lItj l(C 1M IJc nj L i pnllC1Vanj l i knlib jQ llcinknvililsi Dmiddotlh Syi Oll[ iIlt 11 I) 11Il I()ck L ki ]lriIIl L I1ItIIOg iSilaf ivanja ( Ilt]bnl i SIll 11)1)1) ) jllll(1 I lIl i 1 111 1
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
1 ~J l l C1 V A lil lllllI Ii 111( I I) I ImiddotI N VIdntJ lil1l1j I l I_middot ~ I ji lIn f ~ ~ IJ I ~~ I I ~
hl doi 111111 Ii hil i pnlloljsanja u postignuCima sludlIIi1I II tiliOSlI na Ill dll() III ~middot ( llvanjt I ksperimcntalno istrazivanje je 1I01licljCllil metoda IIIIIVIIII 1 plo li gnll cll u psihologiji i obrazovanju a prema Marku i Grceru (1993 )
j I middott lIIII lll- llili i 111 inleligentne tutorske sustave
11 11 1111 I lwdizlIcija eksperimenta
i Ill t)lr ll~ ivaJlia je ispitati je Ii DTEx-Sys utjecao na poueavanjc studenata u 111j li P II I jI(HilliCnOm znanju i koliki je taj utjecaj izrazcno u standardnoj mjeri 1middot-11 II II t (~ng cffect size) Velicina ucinka pokazuje je Ii poucavanje na frl i ll I) I F roSy lleinkovitijc od lradicionalnog poucavanja u procesu ucenja i
II jI IIIII
I tI toFak na kojem ce se izvoditi eksperiment je odabrana skllpina od IIJlII O I sl lLQl nla druge godine Fakulteta prirodoslovno-matematickih znanosti i ~ Ilh podr(J(ja Sveucilista u Splitu triju studijskih grupa matcmatikc i ) 1 II 1I del lIIalematike te informatike i tehnicke kulture a svi skupa slusaju c f~ i H ~ III I( t1ni praktikum 1 Podrucno znanje na kojem su studenti testirani je jl 111 10 (II i 1 111 irana paradigma programiranja Studenti su podijcljeni na 1 llI fI lI ldllll (2f) studenata) i kontrolnu skupinu (11 studenata) slucajnim II II I ( Ispitnna je situacija s dvije eksperimentalne skupine ali su dobiveni isti 11 11111 ) II zll im su svi zajedno slusali predavanje 0 tcmeljnim pojmovima
I I II 11 IIIljl llt1 ir it ne paradigme u trajanju od dva skolska sata Studentima je n 1 pi iilllP sadrzaju predavanja u tekstualnom obliku Svi studenti su pisali
11 II II i IIlkiinlni lest koji se sastojao od 20 pitanja iz podrueja objektnoshyII JlIIi lllOg pr()gramiranja koji je ocjenjivan bodovima od 0 do 100 da bi se I II 1111 Ii b kvih razlika u predznanju izmedu kontrolne i eksperimentalne 11(
11 ilcrilll clllulnoj skupini je slijedio jedan tjedan ucenja i poucavanja 0
J l(III I ll ljcllliranom programiranju na sustavu DTEx-Sys Baza podruenog nj1 1 1hJ k lll l ~ ) -orijcntiranog programiranja znanja se sastoji od 202 evora i 189 f 1 l l PVI svi ivOfovi imaju objasnjenje u obliku hiperteksta Neki od evorova I 1 1I1] lIn1 objJ~njenja u obliku slika iii prezentacija (ukupno 45 prezentacija i Id I) Iiliranjc u tom razdoblju nije bilo moguce Kontrolna skupina nije imala
II if1 Imiddot III HI naslavila uciti iz ranije dobivenih tekstualnih materijala NI 1~ laill loga tjulna studenti ekspcrimentalne skupine su se testirali na
i ffil 1)1h middotSy~ t Ialim su nakon toga zajedno sa studentima kontrolne skupine ti iVI 1111 I ~~ I k()ji j( imao 16 pitanja (13 teorijskih pitanja i 3 zadatka) kako bi
11 11 1 1 11 111 Ii znll cajJlC razlike izmedu eksperimentalne i kontrolne skupine 11 I 1 1 VI iJ 1 sustava Test jc takoder ocjenjivan bodovima od 0 do 100
I I i ll tI II IIIfl il
I dl I 11 111111 1 laJl(J ~ illj c S ulvJdivanj l lll da Ii I)(J~I()ji lil i~ l i ~ ki nacapl lt1 j II 1 II I rill 1(111I 1gtln i cks pt llllI vlllaln l slwpilll II 111111111 II v l liml Ij II
) i ~ U II 1 IlI ld I Jll lql ~p j l i v lI j U 1 llilll i II 11 1111111111 1 11 111 1 1I l ili viWj1
I iHII f A 11 111 11 II s l~ l l middot 11 I rl ( )f) L I ~ l I c-~ I
1111111 I(ili( ~(J Zi1a cajll011 (C I1t Nl II( gtI IIul siglliiicanee) vaza n je i Ce NI tl llIill II
IIi HII l ) ~iisk iIII istrazivanjilllil U VC i s Iilll prvi korak je postavljallje J1111 -llip()I IZn II ICIultate iz inicijalnog ispilivanja Hl Nema znacajnih razli(a iW IId
f I JI lI l1l lillune i konlrolne skupine u rezullaLima inicijalnog ispilivanja te za zavr~ I)j PH ivalljc H2 N ema znacajnih razlika izmedu eksperimenlalne i konlrolne ScUpilll V IIim i llla Z(1vrlnog ispiLivanja
Kako bi se odabrao odgovarajuCi test potrebno je razmisliti 0 kakvu se lipll li dnllka raui tj jesu Ii podaci iz nekog intervala (eng interval data) iii se (lunosl 11 (1 poredak (eng ordinal data) (Becker 1999) U nasem istrazivanju se raui 0
po(i I lt irna iz intervala 0-100 koji se odnose na dvije nezavisne skupine kontro1lnu i 1 ld plr imentalnu pa je odabran i nezavisni t-test koji cemo dalje u tekstu zvati t-
I
T-test sc moze izraeunati primjenom nekog statistiekog raeunalilO) JlI q lltlrna Ovdje je koristen program StatSoft Inc STATISTICA 6 (StatSoft Inc JI II )Ii) Kao sto se vidi iz tablice 1 vrijednost p=074 je veea od 005 pa se hipotel II J prihvaca i zakljueuje da nema znaeajnih razlika izmedu eksperimentalne i Illllllfolne sku pine u poeetnim uvjetima
I Ii Ii iLiI I Rezultati t-testa za inicijalno ispitivanje
li k K
~pclimentalna vs 1I110lna
Vrijednosti t-testa t = 034 p = 074
Znacajna razlika
Ne
Rezultati u tablici 2 pokazuju da je pgt005 pa se prihvaca nul-hipoteza H2 i I k lj lJ ~ujc da ncma statistieki znaeajnih razlika izmedu kontrolne i eksperimentalnc
kllpille u rezultatima zavrsnog ispitivanja
I hli c i 2 Rezultati t-testa za zavrsno ispitivanje i postignuce
Ik v~
pclimentalna Kontlolna
t-test ispItivanje) t = 058 p = 056
(zavrsno t-test (postignuce) t = 029 p = 077
Znacajna razlika
Nc
i)lklc prema rczultatima t-testa mozemo zakljuciti da tretnwn plt rilllc nlaine skupinc tj uccnje na sustavu DTEx-Sys nijc imalo znacajnog II I il1Jja lIa nj ihov uspjch Bilo kakva razlika izmedu ekspcrimcnlalne i konl whit J 11pil1 ( jt mo)( llastati kao posljedica greske
Mltrl litim test kojim se utvrdujc znacajnost razlika iZI1l ( cill dviju skupiJl( lIij ( 111 1111111 blt r1llvjerc vcliCine ucinka jer nc mOlclllo villje l i sll ~gu V(ZL i1 l1 n hl Il ilI l11ll1 i p(lslignllca u r orulaciji iz koic SIlIO o(ililrdi II mak i~l1illIlika III lpa I I I110 1 iS li Vlli ~ ill1 l1 C illk
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
N I II II (I I IIIII ~ II 1 1111-1 J I) I I(IAN Vl lti IllIVljl d ~ I II I i II)iI I ~ ~
Vltl I ~ III IIn llka jl opfcnita mjcra velieine utjccaja nckog llovog naCina )II IIYIIIII II ~ksJlcrimlntalnoj skupini u odnosu na kontrolnu koja je koristila 1I11l1l 1l )a lt d lIaCi n poucavanja Postoji vise nacina za racunanje velicine ucinka a P ~Il ~~ koristi formula (1) (Kulik amp Kulik 1989 prema Yaakub 1998)
AS ~ - AS KIS
(1)SDK 1] Adlllll ticka sredina postignuca eksperimentalne skupine ~ AI itm( licka ircdina postignuca kontrolne sku pine )~ SHmdanlna devijalija kontrolne skupine
1nl l iltflUCe (eng gain) izracunano je na nacin da se od rezultata koje su I d ~ lti postigli l1a zavrsnom ispitivanju oduzmu rezultati iz inicijalnog ispitivanja
Sl lI lItiltl rdna devijacija se racuna formulom
so = _II (Xi - M)2 (2)
i N-1
I lIiI i~rcn a vrijednost iIi rezultat 11I 11111tlicka sredina rezultata III oJ lczuitata
1I Iablici 3 su prikazane vrijednosti aritmetickih sredina i standardnih li lj l( lpl 1lt1 lcstove i postignuCe Vrijednosti aritmetickih sredina 1 standardnih wq1will Ie koriste za izracunavanje velieine uCinka
1111 Ar itmcticke sredine i standardne devijacije
Ek~erimentalna Kontrolna Inicijalno AS= 5935 AS= 5618 ispitivanje SD= 2600 SD= 2261 Zavrsno AS= 4605 AS= 4100 ispitivanje SD= 2389 SD= 2161 Po stignuce AS= -133 AS= -1518 (cng gain) SD= 1793 SD= 1512
la ~u nali smo veliCinu ucinka (E5) po formuli (1) za nase istrazivanje
133 - (- 1518) =012HS (3)1512
I IIN I( IV 1
l)klc velicina ucillkil slIslaVII lJll ~ x Sys koja jc dohiwna iSl razivIIi t 111 J ~
) I ~ U k()nacnici Pcdhazur i Schmclkin (PlIZ 2004) veliCinu ucinka manju (Ill () ~
1III1 Iri li u lIIalom veliCinom veliCinu uCinka jednaku 05 srednjom a vdibna lI Cillk li Vllll iIi jtdnaku 08 velikom veliCinom ucinka Nase je istrazivanje rcwltiral() lllahlJll Yih~i IlOITl ucinka a kako smo ocekivali znacajnije rezultate bilo je potrcbno ispital i I p jt llloglo utjecati na istrazivanje U tu svrhu proveli smo provjcru mjcrnih
Illll l i umlnata tj testova koji su se koristili za ispitivanje znanja studenata
M elrike karakteristike testova
Kod ucenja i poucavanja najcesce se ispituju stavovi i postignuca uccnika (i lt ipps i Merisotis 1999) Obicno se za mjerenje stavova (eng attitudes) korislL IIp ilnili a za mjerenje postignuca testovi U nasem istrazivanju je bilo potrcoJlo III lljl riti postignuce ucenika pa smo odabrali testove kao instrumente za mjercnjl T~sl ovi bi trebali tocno mjeriti postignuce ucenika kako bi istrazivanje imalo smisla Dll kk potrebno je ispitati metricke karakteristike testova Muzic (Muzic 1979 dcfi nira sljedece metricke karakteristike testova (i) valjanost (ii) pouzdanost (iii) ohjd(livnost (iv) osjetljivost (v) diskriminativna vrijednost zadataka
Kod nascg istrazivanja nije ispitana objektivnost testova iz prakticnih razloga Ovi su se testovi nairne trebali upotrijebiti sarno jedanput te se ne bi isplatilo Il kupiti veti broj ocjenjivaca koji bi morali poznavati specificno podrucno znanjl i hil i upoznati s istrazivanjem Ta je karakteristika primjerenija ako se testovi Il alliraju koristiti i za neku buducu namjenu Takoder nije ispitana ni osjetljivost JCI osjltJjivost nema smisla ispitivati ako su pouzdanost i objektivnost testa niske iIi IllSII ispitivane (Muzic 1979)
1) Valjanost Valjanost je karakteristika testa koja nam pokazuje da Ii i koliko test mjlri
(1110 slO njime zelimo mjeriti Ne postoji opca valjanost testa tj valjanost se mOZl Ii t n dili sarno u vezi s konkretnom namjenom za koju se test koristi Jedan od kl ilcrija za ispitivanje valjanosti je nastavni program To znaci da bi se sadrzaj i iljlv i nastave trebali slagati sa sadrZajem testa Ako se testom tocno ispitujc OliO
~ I() hi L1ccnik trebao nauciti onda je test valjan Uobicajen postupak je odredivalljc i1j(va nastavc koji se zatim usporeduju sa sadrZajem testa Vccinom se tcstom ne
I~piluie cijcJi nastavni sadrzaj nego sarno jedan dio koji na sto boJji nacin trlba III c(s lavljati cjclinu
Iriliko11 provcdbc naseg istrazivanja nastojalo se da sc sad6aji lcstova 1(l(JlILlaraju sa sadrzajcm predavanja 0 objektno-orijentiranoj paradigrni k()j c jt II tjn lo dva skolska sata Prema tome sadrzaji testova i predavanja se pouudarajll
) (UI Jalost )VI karakl erislika odrcdujt rnnzcrnn Ii ~e i II kojoj mjeri nsl()llili Ila lellll11 k()li
I dllh ijc 1 t~ I(lIII Ij da Ii t t~ 1 l ( 6 )() llljt1i hey lllJ li ra slo S(J I II j( Ii 1I Silll ljll II middot) tivlllh 11y1I 1li1I lJ kad hi s PIlICIZi1() lIa lIsl ovi lIa pi l1l111 t1I11(11l1 1111 1( 1 III ~ I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
11111111 11 II l irl( l I II I IAN V oIlI 1I11 I I IL 1 Ii bull I I tlllrl
--~--
l ll ( HII (llld1 K Il L rli II(lp~~ llogli oslonili na r07ullal c I C~ lll l 1 1 1(lll ldilllost je I II I Ii d llll IJ I I ~n o~ 1 pillIlja jcr ll ccnik koji zna odgovor moi( mlgovurit i llctocno I II Il Ili lI(1I 1I1 laZlllllio pilanjc Ako postoje zadaci s dvoclanim izborom (npr ~1 1 1 11I l) 1I C IlP iii istinullaz) onda postoji i veca mogucnost da ucenik slucajno 11IIdl (l dJ~)v()r Slo nema veze s njegovim znanjem a smanjuje pouzdanost testa
i i~ 1 IWJi sc povczuje s pouzdanosti je duljina tes ta tj broj zadataka iii pitanja I I II ~lI dlli Povccanjem broja zadataka povecava se i pouzdanost testa pod I I 1111 lin SII IInvi zadaci iste kvalitete kao postojeCi Pouzdanost se moze odrediti III nO 11 lcin(l a spomenut cemo dva kojima je ispitana pouzdanost testova iz f l IIIlI ivltll1ja
11v Il ilii n odreuivanja pouzdanosti je metodom izracunavanja koeficijenta IIIJrojrIII1SIi U llusem istrazivanju za svakog studenta posebno smo zbrojili bodove IVIII( IIt 11 1 parn im zadacima (prva varijabla) te bodove ostvarene na neparnim l fl lllla (d ruga varijabla) Izracunavanjem korelacije izmedu parnih i neparnih h ~ 1 dolJije sc pokazatelj pouzdanosti KoristeCi program STATISTICA 6 I II VI Iii II kodicijenti korelacije pola testa za inicij alno ispitivanje 0747 i za 11 IIlti pitivilnjc 0753 Kako se radi 0 pola tes ta potrebno je primijeniti 1lIIIIUI I nrownovu formulu (Siegle 2004)
2 rfola I IJI I (4)
J+ rpola
~ [nlficij cnt korelacije cijelog testa lWJlicijcnt korelacije pola testa
)lIklc iz formule (4) slijedi da je pouzdanost za inicijalno ispitivanje i l 1II) Ispi tivanje priblizno jednaka i iznosi 085 sto je prema Muzicu (Muzic 1 dJv I~j no visok koeficijent
I) I)i Illcin odredivanja pouzdanosti je pomocu Cronbachova ex koeficijenta [)t CI ()l1iJach Coefficient Alpha) (Hempel 2003) Taj se nacin cesto koristi za I I III I POII luanosti jer se njime moze oejenjivati pouzdanost testova ciji se zadaei 111 111 SIIIJO S 0 iIi 1 bod (odnosno tocnonetocno) te testovi ciji se zadaei I d~d l ~ Cl vik oJ jcdnog boda (Siegle 2003) Koefieijent (J daje najnizu proejenu j I fIlqgt I i koja se moze ocekivati Ako je koefieijent visok znaci da je pouzdanost rU M~d ll(iltl ako je koeficijent nizak ne moze se nista zakljuciti 0 pouzdanosti IV 11 I i ispitali na ncki drugi nacin Cronbaehov koefieijent se racuna kao
I I II Ili kll srcdina svi h moguCih podjela testa
I cI jl pouzca n ako je (Jgt070 (Wisher i Olson 2003) ali preveliko hi I Vj ll1l~ I mozc znacili redundanciju tj nepotrebno ponavlljilnje istoga kroz Ii d liidl( kc Pr i izracunavanju Cronbaehova (J koc fi Ci jl llta a lase tcs tovc iUIIII dIll pllI1WII SJATrSfl CA () i dobili (JgtO70
)(11 111 )1 II 1 1 V I II I) i l---~ U
1)11-11 prirnjenolll JVI nI(middot1I11 IIIIII V III FI pllllidanusli dohili ~lIIn IlllZIIVIII II I lI ll lI ll Ij kndicijcnl hOl11ogcnosli - (l OO i 0gt070 sto znaci da se IIImc lIll1 IH (lllll i 111 niwllate tcstnva
1) Diskriminativna vrijednost zadataka Iojcdini zadaci u testu su vise valjani sto se vise slaze uspjch uccnika na ((1I11
Ii llku S uspjehom na citavom testu Prema tome valjani zadaci omoguclllll 1l ltknvanje uspjesnih i neuspjeSnih ucenika Ako uspjesni ucenici dobro rjdavaj ll IIv ki zadatak a ncuspjeSni slabo onda ce stupanj slaganja izmedu uspjeha u [0111
Idatku i ukupnog uspjeha u testu biti visok a diskriminativna vrijednost zadalka vl lIka i pozitivna Moze se dogoditi i da ucenici sa slabijim uspjehom neki zadalak Ii ~ ~ r v ajLJ a uspjeSniji ucenici ne U tom slucaju je diskriminativna vrijednost dd atka ncgativna a takav zadatak ne bi smio biti dio testa
Diskri minativna vrijednost zadataka se odreduje racunanjem point e 1)I IH rijalnog koeficijenta korelacije koji se obicno oznacava s rpo (Petz 2004) ) IJi CI10 se provodi sljedeCi postupak Prvo se numerira dihotomna varijabla lj Ic clfla karakteristika se oznaCi s jednim brojem a druga s drugim npr 0 i 1 te sc 1111 dobije varijabla koja sadrzi samo dvije razliCite vrijednosti
Sljcdeci korak je racunanje Pearsonova koeficijenta korelaeije Taj kl H ricijent korelacije je izracunan na cijelom uzorku Dobiveni su niski koeficijenti kp rd acije za neke od zadataka (zadatak 3 (rpb=019) i zadatak 10 (rpb=OOl) 1I
illl cija inom ispitivanju i zadatak 2 (rpo=012) u zavrsnom ispitivanju) Analizolll 111uilata bez tih zadataka dobije se veliCina uCinka od 018 standard nih devijacija I() jL ncznatno povecanje u odnosu na rizik gubitka pouzdanosti i osjetljivosti ako Ii i s( Ii zadaei izbacili iz testa
II ZAKLJUCAK
Uz Wcb-orijentirane inteligentne tutorske sustave uceniei se vise ne moraju nk upljati u isto vrijeme na odredenom mjestu radi ucenja i poucavanja Ti sustavi uilLCavaju dostupnost kvalitetnog obrazovanja svim osobama kojima jc ono putrchno pod uvjetom da imaju odgovarajucu tehnologiju za pristup Ta II ill]()logija postaje sve bolja i jeftinija ana taj naCin i laksc dostupn a
Iako sc cini da Web-orijentirani ITS-ovi nude mnoge prcdnosti potrcbno jr i I ()I ( sti istrazivanje kojim cc se ispitati njihova ucinkovitos t Svako prow_dcJlo 1 1 rt ~iva nj c pridonosi opcenitoj ocjeni ucinkovitosti Web-orijentiranih ITS-ova
straiivanjc jc potrcbno planirati Kada se odrcdi sto ce sc konkr( IJl t l
Iltlllzivati pOlrcbno jc odabrati uzorak ispitanika VaZan korak jc prirrcrn1 t(s t(lV1 I III l)vj( ra nj11Ovih metrickih karakteristika zato sto 0 njil1la (lVISI IspJavJllIsl II ldlI[1 i~[rai ival1ja Dobiveni rezlIltati iSlrazivanja sc I[ldiiirajll (I(ilil I lll ilil I ll i~ l i kilil Ill t looaJlla
IJ
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I
-- - nAN IIIV bull III 11 111 II ~ II I I J I J hl(I N VIl I
rilknll l pi ovc(J bc lIa~0g istrazivanja sustava DTEx-Sys lliSIIIO uohiJi visoku I I ill lill II I i ll la dli Slllo stdli dragocjcno iskustvo koje nam moze pomoCi pri il dl JII 1 11 i ~ivalljima Smatramo da je nemotiviranost studenata koji su il l( III I 1I 1 II iSllijivanju mogla imati negativnog utjecaja na provedbu i rezultate
1II IVtlll [J Pol rt hno jc prilikom analize istrazivanja uzeti u obzir i koliko vremena j I ill l ni l II t il i on-line na sustavu DTEx-Sys te ispitati imaju Ii svi odgovarajucu I II I l df~l illl Za pristup (pristup internetu racunalo i odgovarajucu programsku
Illd t kI il
I IItlMltJRA
1I I0P ili n S (1984) The Two-Sigma Problem The Search for Me thods of Clh 11lf [nstruction as Effective as One-to-One Tutoring Educational 1 middotlIrrh cJr 134-16
llI flPS R amp Merisotis J (1999) Whats the Difference _ A Review of Pllitillllllra ry Research on the Effectiveness of Distance Learning in Highcr
h ll (al illrI The Institute for Higher Education Policy Washington (URL 1t 1111II JiWihepcomPubs PDFDifferencepdf)
1 1 11 h~ I 1 D (2003) Evidence for Learning From Technology-Assisted 1 1 1 ~ r l ll li on in H F ONeal R S Perez Technology applications in education a ItrI II lIg I(HI Mahwah NJ Lawrence Erlbaum Associates str 79-99 Ii 1~I l M POOO) Zasnivanje sustava obrazovanja na daljinu unutar fllIllItmiddotIIcc infrastrukture magistarski rad Fakultet elektrotehnike i I II JIl l Siva Sveuciliste u Zagrebu Zagreb
l(o IC M Slankov S Glavinic V (2001) DTEx-Sys _ A Web Oriented II I rI 1l 1l 1 T utoring System in Proceedings of Intelligent Conference On Trends III (w lllllunication - EUROCON 2001 Vol 22 str 255-258
hlhi A Oppermann R Patel A and Kinshuk (1999) A Classification of rllmiddot I~l l lr l IJlI Mdhods for Intelligent Tutoring Systems Software Ergonomie 99
111)11 10 11 ~r()rmationswelten (Eds U Arend E EberLeh amp KPitschke) B G I lll W l SIIIl trgart Leipzig str169-181
MIII M A amp Greer 1 (1993) Evaluation Methodologi es for Intelligent 11 11 u l lIll Sysems lournal of Artificial Intelligence and education 4 (23) str I I I ii
III I kr Ibull A (I lt)()9) Testing for Differences Between Two Groups t test r (IN 11l(pl JWh llcsedu lbeckerSPSSttesthtm)
~ 1 f( SI1 [FIC (2004) Electronic Statistics TextbOOk (URL
11I11 I II III ImiddotfMIoicom textbookstathomehtml)
lid orh M N ( 19J8) Meta-Analysis of the Effectiveness of Computer-Assisted 11 1111 111 11 III cchllicol Education and Training doctoral disscrtation Virginia 1lvl l l III II I 11l~i lmiddotI( and State University Blacksoll Villillia
I AN IV A (a(l IIIISH II ~ I l id II Ar oI i I ~k V)CSI I I) I (~()() [ l I ~
I I 1 Il B (2004) Osnovll I1I1111INI I II II tude ZlI nematematicare Naklada SI IP Ias ln barskoIM llzie V (1979) Metodologija pedagovkog istraiivanja Svjetlost Sarajevo
11 Siegle q (2003) Reliability Neag School of Education - University of
IOnecticu t (URL httpwwwgifteduconnedusiegleresearchInstrun7CI Ll Reliability and Validity R eliabilityhtm)
I I I tempel S (2003) Reliability University of Derby (URL httpibsderbyaclIk - susanne PTTlecturesPTTreliability2003pdf)
I ~ Wisher R Aamp Olson T M (2003) The Effectiveness of Web-Based Instruction US Army Research Institute for the Behavioral and Social Sciences Virginia Research Report 1802
UDe 3713 0047385 Preliminary comunication
Accepted 20 05 2005 Confirmed 15 06 2005
E VALUATING INFLUENCE OF LEARNING AND TEACHING PROCESS IN E-LEARNING SYSTEMS
STANKOV GRUBISIC ZITKO KRPAN (Split) Sk vjesn 54 (2005) 1-2
Summary In this paper we have focused on one aspect of e-learning on learning 11( leaching using Web-based intelligent tutoring systems B Bloom in his research in IC)H4 had shown that individualized and traditional instruction in classroom differ in two standard deviation that is there is 2-sigma difference in advantage of illllividualized instruction Also traditional instruction in classroom cannot compete illdividualized instruction in interactivity and adoptability Involving computers in Nlication and development of intelligent tutoring systems give new potential to learnin flllri teaching process because computers are much cheaper than human tutors In a III Oment when intelligent tutoring systems become Web-oriented time and spaOi I)()f(ndaries are completely crossed Evidently educational influence of those systems slloldd be evaluated In this paper we present a research that was conducted to evaltwi tiurC)lional influence of Web-based intelligent tutoring system DTEx-Sys alon wilh tI scription ofresult analyses and metric characteristics of used tests
Keywords E-learning systems intelligent tutoring systems Web-baser inIligCllI tutorinR systems learning and teachin evaluatin inllc I( Ii leamn and teachinR prooss
I