Statistika

STATISTIKAIng. Jan Popelka, Ph.D.odborný asistentKatedra informatiky a geoinformatikyUniverzita Jana Evangelisty Purkyně v Ústí nad Labememail: [email protected]: http://most.ujep.cz/~popelka

http://most.ujep.cz/~popelka





VÍCENÁSOBNÁ REGRESNÍ ANALÝZA

0 1

20 1 i

i i

i i i

b n b x y

b x b x x y

3

VÍCENÁSOBNÁ REGRESNÍ ANALÝZA Korelační analýza s více proměnnými Vícenásobná regresní analýza Multikolinearita Umělé proměnné Volba modelu a volba vhodných vysvětlujících

proměnných Analýza reziduí Předpovědi

4

VÍCENÁSOBNÁ KORELACE A REGRESNÍ ANALÝZA

Popisuje závislost více než dvou číselných proměnných z nichž:o více je nezávislých (vysvětlující proměnné – značíme je x1, x2, ... , xn)

o a jen jedna je závislá (vysvětlovaná proměnná y).

Do analýzy lze zařadit i slovní proměnné, ale ty je nutné převézt na číselné hodnoty (viz dále).

5

VÍCENÁSOBNÁ KORELACE

Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti, věku a pohlaví. Pokuste se odhalit, které faktory na IQ působí a nalezněte vhodný model závislosti. Měření jsou v následující tabulce:

Dítě Lojzík Pepánek Alenka Zdenda Petruška Máňa

IQ 105 110 115 116 125 128

hmotnost (kg) 25 31 34 38 42 55

věk (roky) 8 10 11 13 13 14

pohlaví (žena=1) 0 0 1 0 1 1

!

6


Stejně jako v případě závislosti dvou proměnných je vhodné začínat analýzu elementárními metodami popisu závislostí.

Bodový graf má význam pouze při analýze závislosti tří proměnných (3 osy). Pro více jak 3 proměnné již nelze graf sestrojit.Lze pracovat s klasickými dvourozměrnými grafy a zkoumat dílčí závislosti mezi vysvětlovanou a vybranou vysvětlující proměnnou.

Korelační matici lze sestavit pro libovolný počet proměnných, je tedy velmi vhodným nástrojem pro měření závislostí.MS EXCEL: Nástroje – Doplňky – Analýza – Analýza Dat – Korelace

7


Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ...

Čtyřrozměrný graf bohužel nelze vytvořit, proto budou analyzovány pouze dvojice proměnných (závislá je stále IQ).

!

8



Korelační matice (matice korelačních koeficientů).

MS EXCEL: Nástroje – Doplňky – Analýza – Analýza Dat – Korelace

Podle matice je IQ vysoce korelováno se všemi proměnnými.

Pozor! vysoká korelace však existuje i mezi vysvětlujícími proměnnými (věk a hmotnost) – to je v regresním modelu nežádoucí!!

IQ věk pohlaví hmotnost

IQ 1

věk 0,927691832 1

pohlaví 0,773354875 0,565916458 1

hmotnost 0,950685019 0,909683428 0,651533671 1

!

9


Vícenásobný regresní model

je zjednodušeným zobrazením reality. Závislost se snaží popsat pomocí konkrétní rovnice:

regresní roviny (2 vysvětlující proměnné) nebo regresní nadroviny (3 a více vysvětlujících proměnných).

y = β0 + β1x1 + β2x2 + ...+ βnxn + ε

Deterministická složka – Náhodná složka –vliv vysvětlujících všechny ostatní proměnných (nepopsané) vlivy

10


Rovina nebo nadrovina procházející nejblíže všem bodům je vždy jen jedna! K jejímu nalezení slouží metoda nejmenších čtverců (MNČ).

Je založena na řešení soustavy normálních rovnic a jejím řešením jsou odhady koeficientů b0, b1 , …, bn):

11


Umělé proměnné

Pokud je vhodné zahrnout do modelu i slovní proměnnou se dvěma obměnami, pak se převede na číselnou binární proměnnou (nula-jedničková proměnná).

Příklad: Pohlaví lze zapsat hodnotou 1 pro ženu a hodnotou 0 pro muže (resp. opačně).

Původní proměnná

muž muž žena žena

Umělá proměnná

0 0 1 1

!

12


Umělé proměnné

Pokud má slovní proměnná více než dvě obměny (k > 2), převede se na k-1 binárních proměnných.

Příklad: Vzdělání se třemi různými hodnotami.

Původní proměnná (Vzdělání)

Umělá proměnná(středoškolské)

Umělá proměnná(vysokoškolské)

základní 0 0

základní 0 0

středoškolské 1 0


základní 0 0

vysokoškolské 0 1


vysokoškolské 0 1

Znak má 3 obměny (základní, středoškolské a vysokoškolské vzdělání) takže byly zavedeny dvě umělé proměnné, pokud ani jedna z nich nenabývá hodnoty 1, pak jde o vzdělání základní.

!

13


V regresním modelu nesmí být silná korelace mezi vysvětlujícími (nezávislými proměnnými – xi).

V takovém případě sice lze použít metodu nejmenších čtverců, ale: odhady směrodatných chyb regresních koeficientů s(bi) jsou příliš

veliké, intervaly spolehlivosti pro regresní koeficienty jsou moc široké, t-testy nevedou k zamítnutí hypotézy o nevýznamnosti koeficientů

=> parametry jsou nulové.

14

VÍCENÁSOBNÁ REGRESNÍ ANALÝZAV extrémním případě, kdy je mezi vysvětlujícími proměnnými funkční

závislost (korelační koeficient rxy je 1 nebo -1) nelze parametry modelu pomocí metody nejmenších čtverců vůbec odhadnout!

Příkladem je proměnná x1 hmotnost v kilogramech a x2 hmotnost v tunách.

Nebo chybné zavedení stejného počtu umělých binárních proměnných jako je počet obměn slovní proměnné.

!!

15

VÍCENÁSOBNÁ REGRESNÍ ANALÝZAJde o tzv. multikolinearitu!!

Ta je podle některých autorů nezdravá, pokud je korelační koeficient libovolné dvojice vysvětlujícících proměnných x větší než 0,8.

Multikolinearita v praxi znamená, že jedna z dvojice vysvětlujících proměnných, které jsou vzájemně silně závislé, je v modelu navíc a měla by být z modelu vyřazena.

16

VÍCENÁSOBNÁ REGRESNÍ ANALÝZAV případě odhalení multikolinearity vyřadíme z dvojice korelovaných

vysvětlujících proměnných:

proměnnou, která do úlohy logicky nepatří (IQ není závislé na hmotnosti),

nebo

proměnnou, která má slabší korelaci s vysvětlovanou proměnnou y.

17

VÍCENÁSOBNÁ REGRESNÍ ANALÝZAPříklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ...

Korelační matice.

MS EXCEL: Nástroje – Doplňky – Analýza – Analýza Dat – Korelace

Jedna z proměnných je v modelu navíc => hmotnost bude z modelu vyřazena, protože do modelu logicky nepatří.

IQ věk pohlaví hmotnost

IQ 1

věk 0,927691832 1

pohlaví 0,773354875 0,565916458 1

hmotnost 0,950685019 0,909683428 0,651533671 1

!

18


Příklad: Český hydrometeorologický ústav v Praze měřil ...

MS Excel: Data – Analýza – Analýza Dat – Regrese

Do políčka „Vstupní oblast Y“ zadáváme

závislou proměnnou.

Data byla vložena včetně popisků

proto zaškrtneme „Popisky“.

Do políčka „Vstupní oblast X“ zadáváme všechny nezávislé

proměnné.

!

Pro analýzu reziduí

zaškrtneme „Rezidua“,

„Standardní rezidua“ a „Graf s

rezidui“.

19


Korelační matice po vyřazení proměnné hmotnost.

Po vyřazení proměnné hmotnost se již v modelu multikolinearita nevyskytuje.

IQ je stále vysoce korelováno s proměnnými věk a pohlaví, ale tyto dvě proměnné již mezi sebou silně korelovány nejsou.

IQ věk pohlaví

IQ 1

věk 0,927691832 1

pohlaví 0,773354875 0,565916458 1

!

20


Odhad koeficientů regresní roviny

MS EXCEL: Data – Analýza – Analýza Dat – Regrese

Regresní rovina má tvar:

ŷ = 81,52 + 2,79·x1 + 5,83·x2

neboli:

IQ = 81,52 + 2,79·věk + 5,83·pohlaví

KoeficientyChyba stř. hodnoty t stat Hodnota P Dolní 95% Horní 95%

Hranice 81,51923 6,337877 12,86223 0,001014 61,34928 101,6892

věk 2,788462 0,597393 4,667715 0,018564 0,88729 4,689633

pohlaví 5,826923 2,463115 2,365672 0,098891 -2,01181 13,66566

!

21


Regresní rovina má tvar :

IQ = 81,52 + 2,79·věk + 5,83·pohlaví

Z koeficientů empirického regresního modelu plyne: S každým dalším rokem věku vzroste IQ o 2,79 bodu

(za podmínky, že se ostatní faktory nezmění). Dívky mají v průměru o 5,83 bodu vyšší IQ než chlapci

(za podmínky, že se ostatní faktory nezmění).

!

22





Všechny parametry jsou na hladině významnosti α = 0,1 statisticky významné (tzn. žádný z nich není roven 0).

Parametr proměnné pohlaví je na hladině významnosti α = 0,05 nulový (95% interval spolehlivosti pro tento parametr obsahuje 0).


Hranice 81,51923 6,337877 12,86223 0,001014 61,34928 101,6892

věk 2,788462 0,597393 4,667715 0,018564 0,88729 4,689633

pohlaví 5,826923 2,463115 2,365672 0,098891 -2,01181 13,66566

!

23





Regresní model je statisticky významný, obecný regresní model lze odvodit.

P-hodnota F-testu je 0,01 < α = 0,05, takže zamítáme nulovou hypotézuo nevhodnosti modelu.

ANOVA

Rozdíl SS MS F Významnost F

Regrese 2 362,9423 181,4712 29,33627 0,010729

Rezidua 3 18,55769 6,185897

Celkem 5 381,5

!

24





Hodnota upraveného determinačního indexu I2 je 0,9189.

92% změn hodnot IQ vysvětluje model vlivem věku a pohlaví.

Zbylých 8% je způsobeno jinými vlivy.Pozn.: Protože regresní rovina má tři parametry, je nutné interpretovat právě opravený

determinační index.

Regresní statistika

Násobné R 0,975375

Hodnota spolehlivosti R 0,951356

Nastavená hodnota spolehlivosti R 0,918927

Chyba stř. hodnoty 2,487146

Pozorování 6

!

25



Odhad parametrů regresní nadroviny (včetně hmotnosti)


Pokud by byla do modelu zahrnuta i proměnná hmotnost, byla by v modelu multikolinearita. Směrodatné chyby odhadů jsou příliš veliké, intervaly spolehlivosti široké a obsahují 0.

V tomto případě se všechny koeficienty kromě absolutního členu β0 zdají

být statisticky nevýznamné (nezamítáme H0 u t-testů).


Hranice 83,64017769 5,94391197 14,0715707 0,00501233 58,0655886 109,214766

věk 1,581934847 1,07336951 1,47380266 0,27845689 -3,03640142 6,20027112

pohlaví 4,569595262 2,42278012 1,88609573 0,19992706 -5,85478626 14,9939767

hmotnost 0,330207305 0,25408377 1,29960010 0,32335988 -0,76302696 1,42344157

!

26

VÍCENÁSOBNÁ REGRESNÍ ANALÝZAVOLBA VHODNÉHO MODELU

Volba vhodného modelu

Příliš vysoký počet vysvětlujících proměnných v modelu může vést k závěru o statistické nevýznamnosti některých koeficientů, i když mezi proměnnými není zjevná multikolinerita.

Volba modelu ve vícerozměrné regresní analýza spočívá ve výběru vhodných proměnných a vyřazování nevhodných.

Vyřazení nevhodné proměnné by nemělo mít vliv na kvalitu regresního modelu.

Taková proměnná byla v modelu navíc a model po jejím odstranění neutrpěl významný pokles kvality (např. se významně nesníží upravený determinační index).

27


Volba modelu na základě testuTest pro zjištění, zda je složitější model (více proměnných) vhodnější

než jednodušší

H0: složitější model nepřináší zlepšení

HA: složitější model přináší zlepšení

Testovací statistika:

H0 zamítáme, pokud platí: F > F1- (p2 - p1; n - p2).SR(1) je reziduální součet čtverců jednoduššího modelu, SR(2)reziduální součet čtverců složitějšího modelu, n je počet

pozorování, p1 počet koeficientů jednoduššího modelu a p2 početkoeficientů složitějšího modelu.

2 1

2

(1) (2)

(2)

R R

R

S S

p pF

S

n p

28


Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ...Porovnáme dva modely: model 1 bez proměnné hmotnost a model 2

se všemi vysvětlujícími proměnnými.

H0: složitější model nepřináší zlepšení

HA: složitější model přináší zlepšení

SR(1) = 18,56 (model 1)

SR(2) = 10,06 (model 2)

p1 = 3

p2 = 4

ANOVA – Model 1


Regrese 2 362,9423 181,471 29,3363 0,010729

Rezidua 3 18,55769 6,18589

Celkem 5 381,5

ANOVA – Model 2


Regrese 3 371,4388 123,8129 24,61195 0,039297Rezidua 2 10,0612 5,030602Celkem 5 381,5

!

29

REGRESNÍ ANALÝZAVOLBA VHODNÉHO MODELU

Příklad: Byla analyzována závislost IQ dětí na jejich hmotnosti ...Testovací statistika:

H0 zamítáme, pokud platí: F > F1- (p2 - p1; n - p2),

kde F0,95(1;2) = 18,51.

Protože testovací statistika nepadne do kritického oboru: F < 18,51,

nezamítáme Ho, model s proměnnou hmotnost nepřináší zlepšení.

2 1

2

(1) (2) 18,56 10,064 3 1,69

(2) 10,066 4

R R

R

S S

p pF

S

n p

!

30


Volba modelu na základě testu je bohužel početně náročná. V praxi lze jen těžko určit, kterou proměnnou navrhnout na vyřazení. K vyhodnocení testu se tak používá statistický software, který postupně testuje všechny vysvětlující proměnné a najde nejoptimálnější podmnožinu proměnných.

Proces může probíhat dvěma směry: shora – do modelu se nejprve zařadí všechny vysvětlující

proměnné a ty se pak postupně pomocí testu vyřazují. zdola – postupně se do modelu proměnné přidávají a testuje se,

zda došlo k významnému zlepšení kvality modelu.

31

ANALÝZA REZIDUÍ

Stejně jako u jednoduché regrese by rezidua měla splňovat tři podmínky:

1. Rezidua jsou náhodná a nezávislá.

2. Rezidua mají normální rozdělení N(0;σ2).

3. Rozptyl reziduí σ2 je konstantní.

32

ANALÝZA REZIDUÍ


Podmínka náhodnosti reziduí

Z malého počtu pozorování lze jen stěží určit zda se jedná o náhodná rezidua.

Na ose x je vyneseno jen o jaké pozorování jde. Nejde tedy o hodnoty vysvětlující proměnné x, protože těch je v modelu více a bylo by nutné vytvořit více grafů. Pro každou vysvětlující proměnnou jeden (takový výstup ovšem poskytuje MS Excel).

!

33

ANALÝZA REZIDUÍ


Znaménkový test : H0: rezidua jsou náhodná

HA: rezidua nejsou náhodná

Hodnota testového kritéria U není větší než 1,96, takže nezamítáme nulovou hypotézu.

Rezidua jsou náhodná! Podmínka splněna.

Pozo-rování Rezidua ei

Rozdíl (ei+1 – ei)

1 1,1730769

2 0,5961538 -0,576923

3 -3,019230 -3,615384

4 -1,769230 1,25

5 1,4038461 3,1730769

6 1,6153846 0,2115384

Počet kladných rozdílů S+ je vyšší a je 3, tedy S =3.

1 6 10,5 3 0,5 3,5 2,52 2

1 6 1 1,254 4

0,8944

nS

Un

!

34

ANALÝZA REZIDUÍ


Kolmogorov-Smirnovův testH0: normovaná rezidua mají normální rozdělení N(0;1)HA: normovaná rezidua nemají normální rozdělení N(0;1)

Testovací statistika D = 0,288

Kritický obor pro 6 hodnot D > 0,519.

Nezamítáme H0, rezidua roviny mají normální rozdělení.

!

35

ANALÝZA REZIDUÍ


Testování hypotézy rovnosti rozptylů reziduí.

MS EXCEL = FTEST (první oblast; druhá oblast)

H0: rozptyly v obou polovinách jsou stejné resp. D1(ei) = D2(ei)

HA: rozptyly v obou polovinách nejsou stejné resp. D1(ei) ≠ D2(ei)

p-hodnota testu pro rezidua = 0,82.

Rezidua mají stejný rozptyl, jsou homoskedastická! Podmínka splněna.

!

36

BODOVÁ PŘEDPOVĚĎ


Protože rezidua modelu splňují všechny tři podmínky a jak model, tak i jeho parametry jsou statisticky významné, lze na základě modelu provést předpověď.

Bodová předpověď hodnoty IQ na základě odhadnutého modelu:

Regresní rovina má tvar IQ = 81,52 + 2,79·věk + 5,83·pohlaví

Chlapec ve věku 14 let bude mít podle odhadnutého modelu IQ: (proměnná věk = 14 a proměnná pohlaví = 0)

IQ = 81,52 + 2,79·14 + 5,83·0 = 121.

Dívka ve věku 14 let bude mít podle odhadnutého modelu IQ: IQ = 81,52 + 2,79·14 + 5,83·1 = 126.

!

37

Korelační matice Rovina a nadrovina Umělé proměnné Multikolinearita Volba vhodných proměnných Analýza reziduí Bodová předpověď

ANALÝZA REZIDUÍ A PŘEDPOVĚDI V REGRESNÍ ANALÝZEDŮLEŽITÉ POJMY – 10. PŘEDNÁŠKA

Date post:	02-Jan-2016
Category:	Documents
Upload:	callum-tucker
View:	14 times
Download:	0 times

Statistika

Documents