View
222
Download
1
Category
Preview:
Citation preview
Metody prognozowania:Metody prognozowania:
Regresja liniowa i nieliniowaRegresja liniowa i nieliniowa
Dr in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Zmienna losowa X zmienna, ktra w wyniku pewnego dowiadczenia przyjmuje z pewnym prawdopodobiestwem warto z okrelonego zbioru
Zmienn losow X nazywamy dyskretn (skokow), jeeli zbir wartoci zmiennej X jest zbiorem skoczonym lub przeliczalnym (cig liczbowy).
Zmienn losow X nazywamy cig, jeeli zbir wartoci zmiennej X mona przedstawi jako przedzialiczbowy.
Zmienna losowaZmienna losowa
dr. in. Sebastian Skoczypiec
Rozkadem zmiennej losowej skokowej (funkcj rozkadu prawdopodobiestwa) nazywamy funkcj prawdopodobiestwa, ktra kadej realizacji zmiennej X przyporzdkowuje okrelone prawdopodobiestwo:
dla pi>=0
gdzie: P(X=xi) prawdopodobiestwo, e zmienna X przyjmie warto xi,
Dystrybuant zmiennej losowej X nazywamy funkcj F(x) dla wszystkich liczb rzeczywistych o postaci
Zmienna losowa skokowaZmienna losowa skokowa
ii pxXP == )(
11
=
=iip
==xx
i
i
pxXPxF )()(
dr. in. Sebastian Skoczypiec
Funkcj gstoci prawdopodobiestwa zmiennej losowej cigej nazywamy funkcj f(x), okrelon na zbiorze liczb rzeczywistych, speniajc warunki:
dla dla dowolnych a < b
Dystrybuant zmiennej losowej X cigej nazwyamy funkcj:
Zmienna losowa ciZmienna losowa ciggaa
11
=
=iip
0)( xf )()()( bXaPbXaPdxxfb
a
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec 21Metody Prognozowania: Jako prognoz
Wprowadzenie Wprowadzenie
dr. in. Sebastian Skoczypiec
Korelacja:rodzaj zalenoci pomidzy zmiennymi losowymi, z ktrych kada wyznaczona jest przez pewn cech, ze wzgldu na ktr bada si dano populacj.
Regresja:sprowadzenie zagadnienia wspzalenoci zmiennych losowych do zalenoci funkcyjnej.
Na podstawie wynikw bada dowiadczalnych wyznacza si zaleno pomidzy zmiennymi losowymi, najczciej w formie tzw. rwnania regresji, ktre przedstawia charakter zwizkw pomidzy czynnikami wejciowymi i wynikowymi.
Z matematycznego punktu widzenia, regresj nazywamy dowoln metodstatystyczn pozwalajc estymowa warunkow warto oczekiwan zmiennej losowej, zwanej zmienn objanian, dla zadanych wartoci innej zmiennej lub wektora zmiennych losowych (tzw. zmiennych objaniajcych).
WprowadzenieWprowadzenie
22Metody Prognozowania: Jako prognoz
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
W zapisie formalnym model przybiera posta:
Y = f(X,) + lub Y = f(X+ X,) +
gdzie: X wektor zmiennych objaniajcychY zmienna objaniana - wektor wspczynnikw regresjif(X,) funkcja regresji, X - bd losowy
WprowadzenieWprowadzenie
24Metody Prognozowania: Jako prognoz
dr. in. Sebastian Skoczypiec
Celem konstrukcji modelu jest przyblienie nieznanej funkcji f przez jej estymator. Sprowadza si to do takiego wyznaczenia wektora wspczynnikw , aby zminimalizowa w zbiorze uczcym funkcj straty.
L(f ,f) = f((a,b))
Zwykle jako miar bdw stosuje si sum kwadratw rnic (bdw regresji):
(a,b) = (a-b)2
wwczas obliczenia s najprostsze - dopasowanie modelu sprowadza si do zastosowania prostej matematycznie metody najmniejszych kwadratw (MNK).
WprowadzenieWprowadzenie
25Metody Prognozowania: Jako prognoz
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Wspczynnik korelacji r nie jest czuy na zalenoci krzywoliniowe.
Gdy zaleno midzy dwoma zmiennymi jest nieliniowa, wwczas miara koncentracji wynikw pomiarw wzgldem krzywej regresji moe by tzw. stosunek korelacyjny:
gdzie: k liczba przedziaw, - wariancja dla j przedziau, mj ilo punktw w j przedziale
Stosunek korelacyjnyStosunek korelacyjny
56Metody Prognozowania: Jako prognoz
2
2
1
2|
|)1(
)1(
1y
k
j
yxj
yxSn
Smj
=
=
2| jyx
S
dr. in. Sebastian Skoczypiec
Stosunek korelacyjny: okrela stosunek pomidzy dwoma zmiennymi, ktrych zaleno przyczynowo skutkowa jest okrelona (x zaley od y).
Jeeli zaleno ta nie jest znana to naley okreli x|y.
x|y = 0: brak koleralcji midzy badanymi zmiennymi (tzn. brak zalenoci zmiennej y od x)
x|y = 1: zaleno pomidzy x i y jest funkcyjna
x|y = rx|y: zaleno liniowa
Stosunek korelacyjnyStosunek korelacyjny
57Metody Prognozowania: Jako prognoz
dr. in. Sebastian Skoczypiec
Charakter relacjiCharakter relacji
58Metody Prognozowania: Jako prognoz
Wspczynnik korelacji liniowej
Stosunek korelacji
Zaleno midzy zmiennymi x i y
rx|y=1 - funkcyjna liniowa
rx|y=0 x|y=1funkcja
krzywoliniowa
rx|y=0 x|y=0 brak korelacji
rx|y=0 x|y0 x|y
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Estymacja parametrEstymacja parametrw modelu (2)w modelu (2)
gdzie (yi, xi) oznacza elementy prby losowej.
i
dr. in. Sebastian Skoczypiec
Kad obserwacj empiryczn mona zapisa jako:
yi = b + axi +i.
Problem estymacji sprowadza si do wyznaczenia miniumumfunkcji s danej wzorem.
Estymacja parametrEstymacja parametrw modelu (3)w modelu (3)
[ ]==
+==n
iii
n
ii xabybas
1
2
1
2 )(),(
dr. in. Sebastian Skoczypiec
Funkcja s jest funkcj dwch niewiadomych (a i b), aby znaleminimum tej funkcji musimy wyznaczy pochodne czstkowe funkcji s wzgldem obu niewiadomych:
i przyrwna te pochodne do zera.
Estymacja parametrEstymacja parametrw modelu (4)w modelu (4)
=
=
=
=
n
i
iiia
n
i
iib
xabyxs
xabys
1
1
)(2'
)(2'
dr. in. Sebastian Skoczypiec
Otrzymujemy ukad rwna postaci:
Estymacja parametrEstymacja parametr w modelu (5)w modelu (5)
=
=
=
=
0)(
0)(
1
1n
iiii
n
iii
xabyx
xaby
x
xy
xx
xxyya
n
ii
n
iii
var
cov
)(
))((
1
2
1 =
=
=
= xayb =
Rozwizujc mamy:
cov xy (kowariancja ) - liczba okrelajca zaleno liniow midzy zmiennymi losowymi x i y.var x (wariancja) miara zmiennoci zwizana ze zrnicowaniem zbioru
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
LLinearyzacjinearyzacj aa modelumodelu regresjiregresji wielomianowejwielomianowej
xvxu
bxay
1,;
1 ==+
=
yv
xu
bxa
xy
1,
1; ==
+=
)lg(,lg; cyvxucaxy b ==+=
yvxuaxy lg,lg; ===
yvx
uaey xb
lg,1
; ===
yvxuaey bx lg,; ===
yvxubxay ==+= ,lg;lg
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Uycie regresji:
1.konstruowanie modelu - budowa tzw. modelu regresyjnego, czyli funkcji, opisujcej jak zaley wartooczekiwana zmiennej objaniajcej od zmiennych objanianych.
Funkcja ta moe by zadana:
nie tylko czystym wzorem matematycznym, ale take caym algorytmem, np. w postaci drzewa regresyjnego, sieci neuronowej, itp. Model konstruuje si tak, aby jak najlepiej pasowa do danych z prby, zawierajcej zarwno zmienne objaniajce, jak i objaniane (tzw. zbir uczcy).
94Metody Prognozowania: Jako prognoz
dr. in. Sebastian Skoczypiec 95Metody Prognozowania: Jako prognoz
2. Wyliczanie regresji (stosowanie modelu, scoring)
uycie wyliczonego modelu do danych w ktrych znamy tylko zmienne objaniajce (wejciowe), w celu wyznaczenia wartoci oczekiwanej zmiennej objanianej.
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
NaleNaley sprawdziy sprawdzi
1) Adekwatno funkcji - czy funkcja jest odpowiednia dla badania ich zmiennych X,Y
2) Istotno parametrw funkcji - mwi nam, w jakim stopniu, w ilu procentach mona zawierzy ich wiarygodnoci (i czy w ogle).
-3 -2 -1 0 1 2 3
0 .00
0 .05
0 .10
0 .15
0 .20
0 .25
0 .30
0 .35
0 .40
-tn,
tn,
/2 /21-
Poziomem istotnoci nazywamy przyjte prawdopodobiestwo pomyki w trakcie oceny istotnoci parametru
Werykacja adekwatnoci funkcji:test F
weryfikacja istotnoci wspczynnikw funkcji obiektu -test t Studenta .
dr. in. Sebastian Skoczypiec
Weryfikacja adekwatno ci modelu obiektu
Model obiektu opisuje jego waciwoci i zachowanie tylko w przyblieniu.Spowodowane jest to niedokadnoci wyznaczenia parametrw modelu oraznieadekwatnoci struktury modelu.
Na niedokadno wyznaczenia parametrw modelu maj wpyw nastpujce czynniki:- bdy przyjtej metody identyfikacji parametrw modelu,- bdy oblicze numerycznych,- bdy danych uytych do identyfikacji parametrw modelu.
Nieadekwatno struktury modelu wynika natomiast z trzech czynnikw:- pominicia wrd wielkoci modelujcych obiekt, czynnikw istotnych dla przebiegu zjawisk w obiekcie,-niewaciw specyfikacj wielkoci modelujcych obiekt,-przyjciem niewaciwego typu rwnania modelu.
dr. in. Sebastian Skoczypiec
Model obiektu opisuje jego waciwoci i zachowanie tylko w przyblieniu. Spowodowane jest to: niedokadnoci wyznaczenia parametrw modelu nieadekwatnoci struktury modelu.
Na niedokadno wyznaczenia parametrw modelu maj wpyw nastpujce czynniki:- bdy przyjtej metody identyfikacji parametrw modelu,- bdy oblicze numerycznych,- bdy danych uytych do identyfikacji parametrw modelu.
Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu
dr. in. Sebastian Skoczypiec 100Metody Prognozowania: Jako prognoz
Nieadekwatno struktury modelu wynika natomiast z trzech czynnikw:
pominicia wrd wielkoci modelujcych obiekt, czynnikw istotnych dla przebiegu zjawisk w obiekcie,
niewaciw specyfikacj wielkoci modelujcych obiekt
przyjciem niewaciwego typu rwnania modelu.
Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu
dr. in. Sebastian Skoczypiec 101Metody Prognozowania: Jako prognoz
Oceny adekwatnoci modelu dokonuje si na dwa sposoby:
1)Pierwsza metoda polega obliczeniu wartoci bdu aproksymacji wybran funkcj f i porwnaniu jej z pewn arbitralnie wybran wartocidopuszczaln ed. Jeli obliczona warto bdu emax jest mniejsza od edwwczas uznaje si wyznaczony model za adekwatny.
2)Zastosowanie statystycznego testu istotno ci testu F (Snedecora)
Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu
dr. in. Sebastian Skoczypiec 102Metody Prognozowania: Jako prognoz
Definicje bdw aproksymacji:
maksymalny bezwzgldny bd aproksymacji:
maksymalny bd wzgldny:
bd redniokwadratowy:
Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Hipotez statystyczn nazywamy:kade przypuszczenie dotyczce nieznanego rozkadu badanej cechy populacji, o prawdziwoci lub faszywoci ktrego wnioskuje si na podstawie badanej prbki.
Przy weryfikacji hipotez postpuje si w ten sposb, e oprcz weryfikowanej hipotezy zwanej hipotez zerow wyrnia si jeszcze inn hipotez K, ktra najczciej wynika z celu badania statystycznego, zwan hipotez alternatywn.
W celu weryfikacji hipotezy budujemy funkcj opart na prbie (najlepiej prbie losowej prostej) (X1,....,Xn) zwan statystyk testow .
Przy pobieraniu rnych prbek, nawet o tej samej licznoci n funkcja ta przyjmuje na og rne wartoci, z ktrych jedne bd wiadczyy o prawdziwoci weryfikowanej hipotezy a inne bd j odrzucay.
Naturalnym zatem jest podzielenie zbioru wszystkich wartoci, ktre moe przyjstatystyka testowa na dwa dopeniajce si zbiory W i W, takie e:
Zbir W nazywamy zbiorem krytycznym, za zbir W zbiorem przyj.
dr. in. Sebastian Skoczypiec 109Metody Prognozowania: Jako prognoz
Testu istotno ci test F (Snedecora): Weryfikacja si statystycznie hipotezy
poprzez porwnanie wariancj bdw aproksymacji (wariancjadekwatnoci) a2 z wariancj niedokadnoci pomiarw wielkoci wyjciowej 2.
Przyjmuje si nastpujce hipotezy:1) hipoteza zerowa H0: a2 = 2 oznaczajca, i model jest adekwatny,2) hipoteza alternatywna: H1: a2 > 2 oznaczajca, i model nie jest
adekwatny.
Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu
dr. in. Sebastian Skoczypiec 110Metody Prognozowania: Jako prognoz
Procedura weryfikacji statystycznej dla jednakowej liczby powtrze r we wszystkich ukadach planu eksperymentu jest nastpujca:
a)Oblicza si warto funkcji testowej:
b)na podstawie rozkadu F (Snedecora) odczytuje si z tablicy statystycznej warto krytyczn F , f2 , f1 odpowiadajc zaoonemu poziomowi ufnoci .
c) Sprawdza si warunek F F, f2 , f1 . Jeli warunek jest speniony wwczas nie ma podstaw do odrzucenia hipotezy zerowej i przyjmuje si, e model jest adekwatny. W przeciwnym razie prawdziwa jest hipoteza alternatywna, czyli model nie jest adekwatny.
Stwierdzenie na podstawie jednej z wymienionych metod nieadekwatnoci modelu obiektu oznacza konieczno ponownego przeprowadzenia aproksymacji funkcj o innej postaci lub zwikszenie liczby pomiarw dla kadego ukadu planu dowiadczenia.
Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Dotychczas rozpatrywalimy tylko dwie zmienne: Y i X.
Czciej mamy do czynienia z przypadkami w ktrych jestzmienna losow Y oraz k zmiennych X (staych lub losowych).
kkk xbxbbxxmy +++== 1101 ),...(
Regresja wieloraka (1)Regresja wieloraka (1)
Model regresji liniowej mona rwnie rozszerzy w inny sposb, wprowadzajc do niego jako sztucznie stworzone predyktory np. iloczyny dwch lub wikszej liczby zmiennych objaniajcych. Pozwala to na uwzgldnienie tzw. interakcji pomidzy zmiennymi, czyli zmiany siy wpywu jednej ze zmiennych przy rnych wartociach innej zmiennej.
dr. in. Sebastian Skoczypiec
Wspczynnik korelacji wielorakiej:
Regresja wieloraka (2)Regresja wieloraka (2)
( )
( )
=
=
=n
i
i
n
i
i
yy
yy
R
1
2
1
2
yi empiryczna warto i-tego czynnika wynikowego, n ilo pomiarw,
- warto rednia i-tego czynnika wynikowego- warto i-tego czynnika wynikowego obliczona z r. regresjiiy
iy
dr. in. Sebastian Skoczypiec
Wspczynnik R mona te obliczy na podstawie:
Regresja wieloraka (3)Regresja wieloraka (3)
2|
|||2|
2|
1 xy
zxzyxyzyxy
r
rrrrrR
+=
gdzie: ry|x, ry|z, rx|z wspczynniki korelacji liniowej pomidzy poszczeglnymi czynnikami.
Im R blisze 1 tym wierniejsze odwzorowanie zmiennoci cech badanych przez liniowa funkcj regresji wielorakiej.
dr. in. Sebastian Skoczypiec
Wspczynniki modelu b1, ..., bk bdziemy nazywamy czstkowymi wspczynnikami regresji .
Regresja wieloraka (4)Regresja wieloraka (4)
( )s e y b b x b xjj
j j k kjj
= = = 2 0 1 12
min
Kryterium estymacji:
naley tak dobra parametry modelu, aby suma kwadratwodchyle od modelu bya jak najmniejsza:
y b b x b x ej j k kj j= + + + +0 1 1
dr. in. Sebastian Skoczypiec
Hipotez o nieistotnoci regresji wielokrotnej moemy zapisajako:
jej weryfikacja testem F Fishera-Snedecora.
Sumy kwadratw odchyle i rednie kwadraty potrzebne do zweryfikowania hipotezy o istotnoci regresji mog bywyznaczone z niej podanych wzorw:
BadanieBadanie istotnoistotno cici regresjiregresji wielokrotnejwielokrotnej
H b b bk0 1 2 0: = = = =
SS b x y MSSS
kR i iiR
R= = $ cov
SS y b x y MSSS
n kE i i EE
i
= = var
$ cov1
dr. in. Sebastian Skoczypiec
Hipotez
BadanieBadanie istotnoistotnocici regresjiregresji wielokrotnejwielokrotnej
H b b bk0 1 2 0: = = = =
F FR k n k> , , 1
Odrzucenie hipotezy H0 jest rwnoznaczne z tym, eco najmniej jeden wspczynnik regresji jest rny od zera;
tzn. istnieje zwizek funkcyjny liniowy midzy zmienn zalen a zmiennymi niezalenymi.
Problem statystyczny:ktre zmienne niezalene powinny pozosta w modeluregresji.
odrzucamy gdy
dr. in. Sebastian Skoczypiec
Charakteryzujc obiekt bada przyjmuje si okrelon liczbzmiennych wejciowych. Nie ma jednak pewnoci czy wszystkie zdefiniowane zmienne wejciowe maj wpyw na dziaanie obiektu.
Stwierdzenie braku skorelowania okrelonej zmiennej wejciowej xk ze zmienn wyjciow y umoliwia uproszczenie modelu badapoprzez usunicie zmiennej xk.
Dziaanie takie jest uzasadnione gwnie ze wzgldw ekonomicznych, gdy prostszy model oznacza mniejsz ilosprztu technicznego nie-zbdnego do przeprowadzeniapomiarw oraz uproszczenie oblicze matematycznych.
Weryfikacja iWeryfikacja i stotnostotno cici wspwsp czynnikczynnik ww regresjiregresji (2)(2)
dr. in. Sebastian Skoczypiec
Informacja o wpywie kolejnych wielkoci wejciowych xk na wielko wyjciow y jest ukryta w wartociach wspczynnikw funkcji aproksymujcej. Przykadowo:
jeli wszystkie wspczynniki przy x2 wynosz zero tzn. a2 = a22 = a12= 0 wwczas mona stwierdzi, e wielko wyjciowa y nie zaley od wielkoci wejciowej x2.
Gdyby natomiast wspczynniki przy x2 wynosiy: a22 = a12 = 0 oraz a2 0 wwczas mona wycign wniosek, e wielko x2wpywa na wielko wyjciow, ale tylko liniowo.
Weryfikacja iWeryfikacja i stotnostotno cici wspwsp czynnikczynnik ww regresjiregresji (2)(2)
dr. in. Sebastian Skoczypiec
Analiza wspczynnikw funkcji aproksymujcej jest bardzo istotna dla realizatora bada, ktry uzyskuje w ten sposb istotne informacje o sposobie dziaania obiektu.
Analiza ta nosi nazw weryfikacji istotnoci wspczynnikw funkcji aproksymujcej. Realizowana jest w oparciu o test t-Studenta oraz ocen wartoci kowariancji wszystkich par wspczynnikw {ai, aj} funkcji aproksymujcej f().
Wykrycie nieistotnych wspczynnikw funkcji aproksymujcej na podstawie testu t-Studenta lub ich wzajemnego skorelowania(niezerowej wartoci kowariancji) wskazuje na koniecznouproszczenia modelu. Po wyznaczeniu funkcji aproksymujcej naley ponownie przeprowadzi weryfikacj jej adekwatnoci. Dopiero pozytywne przejcie tej weryfikacji jest podstaweliminacji nieistotnych wspczynnikw.
Weryfikacja iWeryfikacja i stotnostotno cici wspwsp czynnikczynnik ww regresjiregresji (2)(2)
dr. in. Sebastian Skoczypiec
Problem sprowadza si do zweryfikowania serii k hipotezzerowych mwicych o tym, e i-ty czstkowy wspczynnikregresji jest rwny zero.
Hipotezy te mog by weryfikowane testem t-Studenta
WeryfikacjaWeryfikacja hipotezhipotez o o istotnoistotno cici czczstkowychstkowychwspwsp czynnikczynnik ww regresjiregresji
dr. in. Sebastian Skoczypiec
Wyraenie
jest oszacowaniem redniego kwadratu odchyle od regresji.Przy prawdziwoci hipotez zerowych tak okrelone statystykimaj rozkad t-Studenta z liczb stopni swobody rwn n-k-1
WeryfikacjaWeryfikacja hipotezhipotez
H bi0 0: =
sy b x y
n ky x xi i
ik/ ,...
var $ cov
1
2
1=
dr. in. Sebastian Skoczypiec
Hipotez
bdziemy odrzuca, jeeli warto statystyki t znajdzie si w obszarze krytycznym.
Jeeli zmienne niezalene s z sob powizaneto oceny istotnoci czstkowych wspczynnikw regresjinie s niezalene.
0:0 =ibH
dr. in. Sebastian Skoczypiec
W przypadku istnienia silnych wspzalenoci midzyzmiennymi niezalenymi analizujc funkcj regresji wielokrotnejdochodzimy do wniosku, e jest ona istotna statystycznie(testem F).
Weryfikujc dalej hipotezy o istotnoci czstkowychwspczynnikw uzyskujemy wartoci testu t Studenta, ktre nieprzecz hipotezom zerowym.
Czyli mamy istotn funkcj regresji ale wszystkie zmienne(analizowane oddzielnie) s nieistotne, powinny wic by usunitez modelu.
Zaczynamy od penego zestawu potencjalnych zmiennychniezalenych, a nastpnie kolejno usuwamy z modelu t zmiennniezalen, ktrej rola w opisywaniu zalenoci midzy zmienn Ya zmiennymi niezalenymi jest najmniejsza. Podejcie takie nosinazw regresji krokowej.
Problem Problem doborudoboru zmiennychzmiennych
dr. in. Sebastian Skoczypiec
W wielu przypadkach interesuje nas nieliniowy zwizek midzyzmienn Y a zmienn X
Waciwie Estymacj nieliniow moemy traktowa jako uoglnienie metod liniowych.
W przypadku Estymacji nieliniowej sami decydujemy o okreleniu natury tego zwizku; na przykad moemy przyj, e zmienna zalena ma by funkcj:
logarytmiczn zmiennej niezalenej (zmiennych niezalenych) funkcj wykadnicz funkcj pewnego zaoonego ilorazu zmiennych niezalenych itd.
RegresjaRegresja nieliniowa (1)nieliniowa (1)
dr. in. Sebastian Skoczypiec
Wspczynniki regresji:i-ty, czstkowy wspczynnik regresji opisuje o ile rednio zmieni si wartozmiennej Y przy wzrocie i-tej wartoci zmiennej X o jednostk przy ustalonychwartociach pozostaych zmiennych niezalenych.
W przypadku wikszoci modeli regresji nieliniowej taka interpretracja nie jest moliwa.
Jeli dopuszczamy dowolny typ zalenoci midzy zmiennymi niezalenymi a zmienn zalen, pojawiaj si dwa pytania, po pierwsze, jakie rodzaje zalenoci "maj sens", to znaczy, jak mona je w znaczcy sposb zinterpretowa?
Zaleno nieliniowa nie daje si zwykle tak atwo zinterpretowai zwerbalizowa. Po drugie, jak dokadnie obliczy zaleno, to znaczy jak wywnioskowa, czy faktycznie wystpuje zalenonieliniowa taka, jakiej oczekiwalimy?
Regresa nieliniowa (2)Regresa nieliniowa (2)
dr. in. Sebastian Skoczypiec
dr. in. Sebastian Skoczypiec
Wyraenie to nazywamy wspczynnikiem determinacji .
r2
Informuje:
jaka cz zmienno ci cakowitej zmiennej losowej Y zostaa wyjaniona regresj liniow wzgldem X.
WspWsp czynnik determinacjiczynnik determinacji
( )
( )
=
=
=n
i
ii
n
i
ii
xy
yyxx
yyxx
r
1
22
2
12|
)(
)(
dr. in. Sebastian Skoczypiec
Zaoymy, e rozkad zmiennych losowych Y i X w populacji generalnej jest normalny. Na podstawie n - elementowej prby chcemy zweryfikowahipotez, e zmienne te s liniowo niezalene:
wobec
Jeeli H0 jest prawdziwa, to statystyka:
ma rozkad t Studenta z liczb stopni swobody v = n 2.
Hipoteza o istotnoci korelacji moe by take zweryfikowana poprzez porwnanie wyznaczonego wspczynnika z prby z wartociami krytycznymi wspczynnika korelacji wielokrotnej Pearsona.
Weryfikacja hipotezy o istotnoWeryfikacja hipotezy o istotno ci korelacjici korelacji
H0 0: = H1 0:
tr
rn=
12
2
1,, > knkRr
dr. in. Sebastian Skoczypiec
WWeryfikacjeryfikacj aa hipotezyhipotezy o o istotnoistotno cici regresjiregresji
( )=
=n
iiR yySS
1
2
( )SS y y yT ii
n
= ==
2
1
var
Zmienno df SS M.S Femp. F
Regresji 1 MSR FR
Odchyle n-2 SSE MSE F,1,n-2
Cakowita n-1
Weryfikacji hipotezy o istotnoci regresji testem F Fishera-Snedecora.
Analiza wariancji ma posta
dr. in. Sebastian Skoczypiec
Dla regresji liniowej statystyka:
ma rozkad t Studenta z liczb stopni swobody n - 2.
Na tej podstawie moemy wyznaczy przedzia ufnoci dla wartoci z modelu:
PrzedziaPrzedzia ufnoufno ci dla wartoci dla warto ci modeluci modelu
tm x m x
Sm x=
$ ( ) ( )
$ ( )
StxmStxmxm xmnxmn >+< )(2,)(2, )(;)()(
Recommended