Korelace a regrese

transcript

Korelace a regrese

• síla (těsnost) závislosti dvou náhodných veličin: korelace

– symetrický vztah obou veličin

– neslouží k předpovědi

• způsob (tvar) závislosti náhodné veličiny na jiné veličině: regrese

– možnost předpovědi

• příklad: výška otce, výška jeho syna (v dospělosti)

– korelace: jak těsně spolu souvisejí ? populace - všechny dvojice (otec, syn)

– regrese: lze z výšky otce odhadnout výšku syna ?

řada populací - synové otců vysokých 170 cm, 171 cm ...

Pearsonův korelační koeficient

• měří sílu lineární závislosti spojitých veličin

• vždy platí: -1 X,Y 1

• v případě normálního rozdělení platí:

nezávislost X, Y X,Y = 0

• odhad pomocí

• nezávislost zamítáme, pokud | t | t1-(n-2), kde

Příklady

30 35 40 45

r=-0,82

30 35 40 45

r=-0,82

65 70 75

r=0,45

30 35 40 45

r=-0,82

latitude

30 35 40 45

r=-0,82

latitude

65 70 75

r=0,45

Spearmanův korelační koeficient

• místo naměřených hodnot (xi, yi) jejich pořadí (Ri, Qi), což vede k

• hypotéza nezávislosti spojitých veličin X, Y se zamítá, je-li

– | rS | r(n) (tabelováno pro n do 30)

• není třeba znát naměřené hodnoty, stačí jejich pořadí• při pochybnosti o normalitě

R QS i ii

1( )( )

Princip regresní závislosti

• zabýváme se dvojicí veličin:

– Y (vysvětlovaná, závisle proměnná)

– X (vysvětlující, nezávisle proměnná, regresor)

– hledáme vysvětlení chování Y při dané hodnotě X=x

– podmíněné rozdělení Y při daném X=x (změní se, když změníme x?)

• lineární regrese (předpoklady):

– populační průměr Y při dané hodnotě X=x je lineární funkcí x

– variabilita (rozptyl) podmíněného rozdělení Y nezávisí na X=x

Porodní hmotnost podle porodní délky

Rozdělení hmotnosti dětí dlouhých 45 - 55 cm výška: 45

2000 2500 3000 3500 4000 4500 5000 5500

výška: 46

2000 2500 3000 3500 4000 4500 5000 5500

výška: 47

2000 2500 3000 3500 4000 4500 5000 5500

výška: 48

2000 2500 3000 3500 4000 4500 5000 5500

výška: 49

2000 2500 3000 3500 4000 4500 5000 5500

výška: 50

2000 2500 3000 3500 4000 4500 5000 5500

výška: 51

2000 2500 3000 3500 4000 4500 5000 5500

výška: 52

2000 2500 3000 3500 4000 4500 5000 5500

výška: 53

2000 2500 3000 3500 4000 4500 5000 5500

výška: 54

2000 2500 3000 3500 4000 4500 5000 5500

výška: 55

2000 2500 3000 3500 4000 4500 5000 5500

Porodní hmotnost a délka

Závislost porodní hmotnosti na porodní délce

délka

44 46 48 50 52 54 56

Matematický popis regresní závislosti

i=1,2,...,n

- neznámé parametry

i - náhodná chyba N2) (normální rozdělení)

2 - neznámý parametr (rozptyl)

• x1, ..., xn - dané hodnoty proměnné X

• y1, ..., yn - naměřené (náhodné) hodnoty proměnné Y

- průměrná změna Y při jednotkové změně X

- průměrná hodnota Y při X=0

iii xy 10

Odhad parametrů

• metoda nejmenších čtverců: zvolit odhady b0, b1 tak, byl minimální součet čtverců odchylek:

• toto minimum se nazývá reziduální součet čtverců (Se)

• odhad rozptylu :

( )y b b xi ii

Modelová představa

0 1 2 3 4

[x i, y i]

y=b 0+b 1 x

Příklad (úmrtnost na melanom)

• pozorování: jednotlivé státy USA

• MORT: úmrtnost na 10 000 000 obyvatel na maligní melanom kůže v letech 1950-1959

• LAT: zeměpisná šířka státu

• LONG: zeměpisná délka státu

• POP: počet obyvatel (v milionech)

• OCEAN: zda na břehu oceánu

• lze nestejnou úmrtnost vysvětlit polohou jednotlivých států ?

Příklad (těsná závislost)

Úmrtnost na melanom

zeměpisná šířka

25 30 35 40 45 50

Příklad (slabá závislost)

Úmrtnost na melanom

zeměpisná délka

-125 -100 -75

Statistické vlastnosti odhadů

• H0 (Y nezávisí na x): (tj. yi=+ei)

• zamítáme, když odhad b1 se dostatečně liší od 0

• použijeme

• H0 zamítneme ve prospěch oboustranné alternativy H1, bude-li | T | t1-(n - 2)

• ekvivalentní testu H0: x,y= 0 , tj. nezávislosti náhodných veličin X,Y

Příklad (závislost na zeměpisné délce)

parametr odhad S.E. t p

abs. 183,5 29,92 6,133 < 0,001

LONG 0,3363 0,3245 1,0363 0,305

• přímka: odhad MORT = 183,5 + 0,3363 • LONG

• závislost není průkazná na hladině =0,05

• změna o 10 stupňů na východ (zem. délka vzroste) (mortalitav průměru o 3 osoby na 10 000 000 větší)

Se=52 439,0 s2 = 1 115,7 R2=0,022

Příklad (závislost na zeměpisné šířce)

abs. 389,2 23,81 16,34 < 0,001

LAT -5,978 0,5984 -9,990 < 0,001

Se=17 173,01 s2 = 365,38 R2=0,680

• přímka: odhad MORT = 389,2 - 5,978 • LAT

• závislost je průkazná na hladině =0,05 (i na menších)

• změna o 10 stupňů na sever (zeměpisná šířka vzroste) mortalitav průměru o 60 osob na 10 000 000 menší

Příklad (tabulka analýzy rozptylu, závislost úmrtnosti na zeměpisné šířce)

Variabilita součetčtverců

st.vol.

podíl F p

regrese 36 464,2 1 36 464,2 99,8 < 0,001

reziduální 17 173,1 47 365,38

celková 53 637,3

• celková variabilita = vysvětlená regresí + reziduální

• koeficient determinace:

68,03,536372,36464

iiiii yyyyyy

222ˆˆ

Mnohonásobná lineární regrese

• lineární závislost na několika regresorech:

yi = xi1 + xi2 + ... + k xik + ei

• j - průměrná změna Y při jednotkové změně Xj a nezměněných hodnotách ostatních regresorů

• H0: j =0 znamená, že můžeme j-tý regresor ze závislosti vyloučit (nevypovídá o chování Y více, než co vypovídají ostatní regresory v modelu – test přidané informace)

• H0: 1 = 2 = ... = k = 0 znamená, že chování Y nezávisí na žádném z regresorů, testuje se pomocí tabulky analýzy rozptylu

• pro k=1 jsou obě hypotézy ekvivalentní

Příklad (závislost na délce i šířce)

abs. 401,17 28,04 14,31 < 0,001

LAT -5,929 0,604 -9,82 < 0,001

LONG 0,153 0,187 0,82 0,418

• neprokázali jsme, že by znalost LONG vylepšila předpověď založenou na LAT (p=41,8 %)

• závislost na LAT byla:

Se=16 927,7 s2 = 367,99 R2=0,684

Se=17 173,01 s2 = 365,38 R2=0,680

Příklad (opravdu na délce nezáleží?)

abs. 760,35 123,33 6,17 < 0,001

LAT -6,584 0,600 -10,98 < 0,001

LONG 7,418 2,445 3,03 0,004 LONG2 0,039 0,013 2,98 0,005

Se=14 139,5 s2 = 314,21 R2=0,736

bez kvadratického členu bylo:

Se=16 927,7 s2 = 367,99 R2=0,684

Příklad (pobřežní státy jsou jiné ?)parametr odhad S.E. t p

abs. 360,690 21,498 16,78 < 0,001

LAT -5,489 0,526 -10,44 < 0,001

OCEAN 20,430 4,825 4,23 < 0,001

Se=12 357,0 s2 = 268,63 R2=0,770

v kvadratickém modelu bylo:

Se=14 139,5 s2 = 314,21 R2=0,736

Příklad ( analýza kovariance)Závislost úmrtnosti na zeměpisné šířce

zeměpisná šířka

30 35 40 45 50

vnitrozemský státpobřežní stát

Umělé proměnné v regresi

• umělá proměnná: nabývá hodnot 0 - 1

• jediný regresor - umělá proměnná dvouvýběrový t test

• několik umělých proměnných k vyjádření několika úrovní nominální veličiny analýza rozptylu jednoduchého třídění

• spojitý regresor, vůči kterému adjustujeme chování Y, ostatní regresory umělé proměnné analýza kovariance

• regresní diagnostika: metody (zejm. grafické) k ověření předpokladů regrese (tvar závislosti, stálý rozptyl, nezávislost pozorování, normální rozdělení)

Statistické modely závislosti

nezávisle závisle proměnná

proměnná (é)spojitá nominální

spojitá regrese, korelacelogistická regrese

(pro 0-1)

nominální analýza rozptylukontingenční

tabulka

Korelace a regrese

Documents