Embed Size (px)
Citation preview
STK643 PEMODELAN NON-PARAMETRIK
Regresi Nonparametrik
REGRESI NONPARAMETRIK
Model: 𝑦 = 𝑚 𝑥 + 𝜀
dengan 𝑦 = peubah respon
𝑥 = peubah bebas (covariate)
𝜀 = galat dengan ragam 0 dan ragam σ2
REGRESI NONPARAMETRIK
Nadaraya-Watson kernel estimator:
𝑚 𝑥 = 𝐾
(𝑥𝑖 − 𝑥)ℎ
𝑦𝑖𝑛𝑖=1
𝐾(𝑥𝑖 − 𝑥)
ℎ𝑛𝑖=1
= 𝑤𝑖𝑦𝑖
𝑛
𝑖=1
𝑤𝑖 =1
𝑛ℎ
𝐾(𝑥𝑖 − 𝑥)
ℎ
𝑓 (𝑥)
𝑓 (𝑥) =1
𝑛ℎ 𝐾
(𝑥𝑖 − 𝑥)
ℎ
𝑛
𝑖=1
REGRESI NONPARAMETRIK
REGRESI NONPARAMETRIK
REGRESI NONPARAMETRIK
Teknik pemulusan dalam regresi nonparametrik untuk
menduga kurva regresi :
1. Rataan bergerak (running mean);
2. Regresi sederhana (running line);
3. Regresi polinomial (running polynomial);
4. Kernel (Kernel smoothing); dan
5. Spline (spline smoothing).
REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)
Suatu pemulus yang sangat sederhana untuk menduga kurva regresi dengan rataan dari
k titik sekitar xi, disebut sebagai pemulus rataan bergerak atau rataan lokal dengan
pembobot Wni(x) bernilai 1
f k(xi)=1
k yj
{j:xj∈N xj }
di mana N(xi) adalah tetangga terdekat simetrik (symmetric nearest neighborhood)
sekitar xi, yaitu sejumlah (k-1)/2 titik terdekat di bawah xi dan (k-1)/2 titik terdekat di
atas xi.
REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)
Algoritma
1. Urutkan data x dari nilai terkecil sampai dengan terbesar
2. Tentukan k titik data sekitar xi.
3. Pemulus rataan dihitung untuk setiap xi sebagai berikut:
a. Tentukan indeks batas bawah i1=maksimum{(i-(k-1)/2); 1}
b.Tentukan indeks batas atas i2=minimum{(i+(k-1)/2); n}
c. Tentukan pemulusnya:
𝑠 𝑘 𝑥𝑖 =1
𝑖1 − 𝑖2 + 1 𝑌𝑗
𝑖2
𝑗=𝑖1
REGRESI NONPARAMETRIK
𝑓 𝑥 = 𝑥3si n𝑥 + 3.4
2
***
***
*
*
*
*
*
***
**
**
*
*
*
***
*
*
*
*
**
*
*
**
*
*
*
*
*
*
****
***
*
*
*
*
*
**
**
*
*
**
*
*
*
*
***
***
***
**
*
****
*****
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
*
**
*
*
***
*
**
**
*
*
**
**
*
***
*
**
*
*
*****
*
*
*
******
*
***
**
***
****
*
*
**
**
*
*
***
**
*
*
**
*
*
*
***
*
*
**
**
**
**
*
***
**
***
-3 -2 -1 0 1 2 3
-8-6
-4-2
02
4
Data Simulasi
Prediktor
Re
spo
n
REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulusan Rataan Lokal
Prediktor
Re
sp
on
k = 15
k = 25
k = 15
k = 25
REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)
Pemulus garis bergerak pada suatu xi adalah 𝑠 𝑘 𝑥𝑖
= 𝑙𝑖(𝑥𝑖), di mana
li x =y i+βi x−x
dengan y i, x i, dan β i adalah rataan respon, rataan prediktor, dan penduga kemiringan
garis regresi, untuk data dalam N(xi). Persamaan garis regresi sederhana lokal ini diduga
dengan metode kuadrat terkecil.
REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulusan Garis Lokal
Prediktor
Re
spo
n
k = 15
k = 25
REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)
Pemulus polinomial dilakukan berdasarkan fungsi polinomial f(x)
berderajat atau berordo p berikut:
f x =b0+b1x+b2x2+…+bpx
p
Pendugaan fungsinya pada suatu titik tertentu x0 menggunakan metode kuadrat terkecil terboboti dengan pembobotan terhadap pengamatan-pengamatan sekitar titik x0.
REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)
Fungsi pembobot yang digunakan adalah fungsi tricube berikut.
𝑊 𝑧 = 1 − |𝑧|3 3 𝑢𝑛𝑡𝑢𝑘 |𝑧| < 1
0 𝑢𝑛𝑡𝑢𝑘 |𝑧| ≥ 1
Dalam hal ini 𝑧𝑖 = 𝑥𝑖 − 𝑥0 /ℎ, di mana h adalah lebar jendela (jarak terjauh dari xi) yang mencakup pengamatan-pengamatan untuk regresi lokal.
REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulus Polinomial Ordo 2
Prediktor
Re
spo
n
span = 0.1span = 0.2
span = 0.3
REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)
Pemulusan spline akan menghasilkan kurva yang lebih mulus daripada
pemulus-pemulus sebelumnya. Pemulus spline termasuk ke dalam
kategori pemulus linier. Metode pemulusan spline menduga fungsi f (x)
dengan cara meminimumkan 𝑄𝜆(𝑓 ) seperti berikut.
Qλ(f )= Yi−f
xi2
n
i=1
+λ f "(x)2
xn
x1
dx
di mana 𝑓 "(𝑥) adalah turunan kedua dari 𝑓 𝑥 , dengan data yang telah diurutkan dari terkecil (x1) sampai terbesar (xn).
REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)
f adalah potongan polinomial kubik pada setiap selang (xi, xi+1), yaitu
f x = h
λi+hsi(x)
n
i=1
dengan si(x) adalah interpolant dari μi untuk i=1,2,...,n.
REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulusan Spline
Prediktor
Re
sp
on
knot = 5knot = 15
knot = 25
REGRESI NONPARAMETRIK SELANG KEPERCAYAAN
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Polinomial Lokal (Loess - derajat 2)
Prediktor
Re
sp
on
lowess dan loess (locally weighted scatterplot smoother)
