Metode Komputasi 3

Metode Gradient untuk masalah optimasi: Regresi linear dan non

linear

Jumlah Penduduk IndonesiaTahun 2000 2001 2002 2003 2004 2005

Jumlah (dalam ribuan) 205,132.00 207,927.50 210,736.30 213,550.50 216,381.60 219,204.70 Sumber: datastatistik-indonesia.com

Bila jumlah penduduk diasumsikan bertambah secara linear terhadap waktu (tahun), maka jumlah penduduk dapat diprediksi dengan menggunakan persamaan linear

Y = 1x + 0, x menyatakan tahun setelahtahun 2000

Bagaimana menaksir parameter 1 dan 0?

Definisi: Jarak vertikalJarak vertikal antara garis Y = 1x + 0 ke titik Pi(xi, yi)Ji = |yi – (1xi + 0)| = |yi – 1xi –0 |

tahun

Jumlah

Garis Y = 1x + 0 dipilih sehingga jumlah kuadrat jarak vertikal terkecil

Garis Jumlah Kuadrat TerkecilGaris kuadrat terkecil Y = 1x + 0 untuk himpunan titik (x1,y1), (x2,y2),…,(xn,yn) dapat diperoleh dari masalah peminimuman

Bagaimana menentukan nilai 1 dan 0 yang memenuhi masalah optimasi?

1 0

21 0

( , )1

( )N

i ii

Min J y x

Berdasarkan kalkulus, syarat perlu agar J(1, 0) mencapai minimum

0J Atau

1 0

0 0J J

dan

Maka, titik kritis

21 0 1 0

1 1 1 11

2( ) 2 0N N N N

i i i i i i ii i i i

Jy x x x y x x

1 0 1 01 1 10

2( ) 2 0N N N

i i i ii i i

Jy x y x N

Dengan asumsi J fungsi yang terdifferensialkan

21 0

1 1 1

N N N

i i i ii i i

x x x y

1 01 1

N N

i ii i

x N y

Aturan Cramer

1 1

11

2

1 1

1

N N

i i ii i

N

ii

N N

i ii i

N

ii

x y x

y N

x x

x N

2

1 1

1 10

2

1 1

1

N N

i i ii i

N N

i ii i

N N

i ii i

N

ii

x x y

x y

x x

x N

Contoh:Carilah garis kuadrat terkecil untuk himpunan titik (1,2),(3,2),(4,3)

1 3 4 8ix 2 2 2 21 3 4 26ix 2 2 3 7iy 1.2 3.2 4.3 20i ix y

1

3.20 8.7 2

3.26 8.8 7

0

7.26 8.20 11

3.26 8.8 7

Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)

Jika hubungan antara Y dan X diasumsikan

Y = eX lnY = ln +XMakaY = lnY0 = ln

1 =

Nonlinear FittingContoh:Data set: (1,2),(2,4),

(3,9)Y=(2,4,9)Y = ln(2,4,9)XY = … dst

Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)

Jika hubungan antara Y dan X diasumsikan

Y = x lnY = ln +lnXMakaY = lnY X = lnX0 = ln

1 =

Nonlinear FittingJika diasumsikan

XY

X

( )X Y X

Y XY X Y

YX

Grad. Descent utk Reg. Linear

ekivalen dengan1 0

21 0

( , )1

( )N

i ii

Arg Min J y x

Berangkat dari (1(0), 0

(0)) , arah pergerakan yang memberikan penurunan paling besar : -J (1

(0), 0(0))

1 0

21 0

( , )1

1( )

2

N

i ii

Arg Min J y x

Sehingga, iterasi (1

(k+1), 0(k+1))=(1

(k), 0(k)) -J (1

(k), 0(k)) konvergen ke nilai minimum ‘lokal’

dari J untuk suatu nilai yang cukup kecil.

Ulangi proses sampai konvergen1 = 1 +(yi- 1xi - 0)xi

0 = 0 +(yi- 1xi - 0)

Grad. Descent utk Reg. Linear(Perumuman)

Berangkat dariarah pergerakan yang memberikan penurunan paling besar : -J ((0))

2

1

1( )

2

NT

i ii

Arg Min J y x

Sehingga, iterasi

(k+1) = (k) -J(k), konvergen ke nilai minimum ‘lokal’

dari J untuk suatu nilai yang cukup kecil.

Ulangi proses sampai konvergenk = k +(yi- Txi)xik, k=1,2,…,MXi0 = 1 untuk semua i=1,2,…,N

(0)

Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)

Jika Y bernilai biner {0,1} dan diasumsikan

dengan Z = 0 + 1X

Maka nilai 0, 1 diperoleh

Logistic Fitting

Student id Outcome Quantity of Study Hours

1 0 3

2 1 34

3 0 17

4 0 6

5 0 12

6 1 15

7 1 26

8 1 29

9 0 14

10 1 58

11 0 2

12 1 31

13 1 26

14 0 11

1

1 zY

e

0 10 1

2

( ),1

1 1

2 1 i

N

i xi

MinR ye

Gradien Descent:1= 1-R/1

0= 0-R/0

0 1

0 1

0 12

10

1

1

1

i

i

i

xi xN

xi

y eR e

e

0 1

0 1

0 12

11

1

1

1

i

i

i

xi ixN

xi

y x eR e

e

Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)

Jika Y bernilai biner {0,1} dan diasumsikan

dengan Z = TX

Logistic Fitting (Generalization)

1

1 zY

e

Gradien Descent:k= k-R/k

2

( )1

1 1

2 1Ti

N

i xi

Min R ye

21

1

1

1

Ti

Ti

Ti

xi iN x

xik

y x eR e

e