MA 3071 Pengantar Optimisasi Topik 8 Masalah Optimisasi

JJ J N I II 1/43JJ J N I II 1/43

MA 3071 Pengantar Optimisasi

Topik 8Masalah Optimisasi Tanpa Kendala

Agus Yodi Gunawan

FMIPA

Institut Teknologi Bandung, Indonesia


BentukPada bagian ini akan dibahas masalah optimisasi tanpa kendalaa.Masalah optimisasi yang dibahas berbentuk

Minimum f (x)x ∈ Ω,

,

dimana f : Ω→ R adalah fungsi skalar bernilai real dan Ω ⊆ Rn.

Untuk masalah tanpa kendala ini, selama pembahasan Ω = Rn (kecualijika disebutkan secara eksplisit).

Gradien dari f didefinisikan oleh matriks berukuran 1 × n, yaitu∇f (x) =

(∂f∂x1· · · ∂f

∂xn

).

Matriks simetri Hess dari f didefinisikan oleh matriks berukuran n×n,∇2f (x) =

[∂2f (x)

∂xi∂xj

].

aSumber rujukan: D.G. Luenberger dan Y. Ye,"Linear and Nonlinear Programming", Springer,2008.


Titik solusi & arah feasibelDiberikan fungsi kontinu f : Ω→ R pada himpunan kompak Ω. Terda-pat dua jenis titik solusi:

¬ Titik minimum lokal. Titik x∗ dikatakan titik minimum lokal darifungsi f di Ω jika ada ε > 0 sehingga f (x) ≥ f (x∗) untuk setiapx ∈ Ω dimana |x − x∗| < ε. Hal khusus, jika f (x) > f (x∗) untuksetiap x ∈ Ω, 0 < |x−x∗| < ε, maka x∗ disebut titik minimum lokaltegas dari fungsi f di Ω.

Titik minimum global. Titik x∗ dikatakan titik minimum globaldari fungsi f di Ω jika f (x) ≥ f (x∗) untuk setiap x ∈ Ω. Jikaf (x) > f (x∗) untuk setiap x ∈ Ω,x 6= x∗, maka x∗ disebut titikmaksimum global tegas dari fungsi f di Ω.

Arah feasibel. Diberikan titik x0 ∈ Ω. Suatu vektor d dikatakan arahfeasibel di x0 jika ada konstanta α0 > 0 sehingga x0 + αd ∈ Ω, untuksetiap α ∈ [0, α0].


Syarat perlu orde-pertamaMisalkan diberikan fungsi skalar f : Ω → R ∈ C1 pada himpunankompak Ω.

Jika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku∇f (x∗)d ≥ 0.

Hal khusus, jika x∗ merupakan titik interior/dalam dari Ω. Misal ketikaΩ = Rn, yang berkaitan dengan kasus optimisasi tanpa kendala,

Jika x∗ merupakan titik minimum lokal dari fungsi f di Ω danjika x∗ merupakan titik interior di Ω, maka ∇f (x∗) = 0T .

Catatan:

¬ Jika P , maka Q (P ⇒ Q). P merupakan syarat cukup untuk Q; Qmerupakan syarat perlu untuk P .

C1 : himpunan fungsi kontinu dengan turunan parsial pertamanyakontinu di Ω.


BuktiJika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku∇f (x∗)d ≥ 0.

Misalkan d merupakan arah feasibel di titik minimum lokal x∗. Makaada α0 sehingga untuk setiap α ∈ [0, α0], x(α) = x∗ + αd ∈ Ω.

Selanjutnya, definisikan fungsi g : [0, α0]→ R,

g(α) = f (x(α)) = f (x∗ + αd),

yang merupakan fungsi satu peubah terhadap α. Terapkan hampiranTaylor sampai orde linear di sekitar α = 0 pada g(α),

g(α) = g(0) + αg′(0) = f (x∗) + α∇f (x∗)d,

dimana g′(0) merupakan turunan berarah f dalam arah d. Karena x∗

titik minimum lokal, maka

g(α) = f (x∗ + αd) ≥ f (x∗) = g(0)⇒ ∇f (x∗)d ≥ 0.


Optimisasi tanpa kendalaJika x∗ merupakan titik minimum lokal dari fungsi f di Ω danjika x∗ merupakan titik interior di Ω, maka ∇f (x∗) = 0T .

Dalam kasus optimisasi tanpa kendala, Ω = Rn dan x∗ merupakan titikdalam. Maka,

g(α) = f (x∗ + αd) ≥ f (x∗) = g(0)⇒ ∇f (x∗)d ≥ 0,

berlaku untuk setiap arah feasibel d ∈ Rn. Maka ∇f (x∗) = 0T .

Di kalkulus, ∇f (x∗) = 0T merupakan definisi bahwa x∗ adalah titikstasioner.

Karena ini merupakan syarat perlu untuk titik minimum, maka titikstasioner belum tentu merupakan titik minimum.


Contoh1: tanpa kendalaMinimum f (x1, x2) = x2

1 − x1x2 + x22 − 3x2

(x1, x2) ∈ Ω = R2,.

Hitung ∇f (x1, x2) = 0T , diperoleh

2x1 − x2 = 0,−x1 + 2x2 = 3,

diperoleh x1 = 1, x2 = 2, titik stationer tunggal. Apakah (1, 2) meru-pakan titik minimum?


Contoh1: tanpa kendalaMinimum f (x1, x2) = x2

1 − x1x2 + x22 − 3x2

(x1, x2) ∈ Ω = R2,.

Hitung ∇f (x1, x2) = 0T , diperoleh

2x1 − x2 = 0,−x1 + 2x2 = 3,

diperoleh x1 = 1, x2 = 2, titik stationer tunggal. Apakah (1, 2) meru-pakan titik minimum?

Perhatikan:

f (x1, x2) = x21 − x1x2 + x2

2 − 3x2 = (x1 −x2

2)2 +

3

4(x2 − 2)2 − 3,

atau f (x1, x2) > −3 = f (1, 2).

Jadi (1, 2) merupakan titik minimum global.


Contoh2: dengan kendalaMinimum f (x1, x2) = x2

1 − x1 + x2 + x1x2

Kendala x1 ≥ 0, x2 ≥ 0,.

Di titik (1/2, 0), f (1/2, 0) = −1/4.

Perhatikan

f (x1, x2) = x21 − x1 + x2 + x1x2 = (x1 −

1

2)2 + x2(1 + x1)−

1

4,

atau f (x1, x2) > −14

= f (1/2, 0).

Jadi (1/2, 0) merupakan titik minimum global.

Tetapi ∇f (1/2, 0) = (0, 3/2)T 6= 0T ,

Catatan: arah feasibel d harus memuat komponen keduanya (kordinatx2) tak negatif. Maka ∇f (1/2, 0)d ≥ 0 untuk setiap arah feasibel d.


Syarat perlu orde-keduaMisalkan diberikan fungsi skalar f : Ω → R ∈ C2 pada himpunankompak Ω.

Jika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku¬ ∇f (x∗)d ≥ 0, jika ∇f (x∗)d = 0, maka dT∇2f (x∗)d ≥ 0.

Hal khusus, jika x∗ merupakan titik interior/dalam dari Ω. Misal ketikaΩ = Rn, yang berkaitan dengan kasus optimisasi tanpa kendala,

Jika x∗ merupakan titik minimum lokal dari fungsi f di Ωdan jika x∗ merupakan titik interior di Ω, maka¬ ∇f (x∗) = 0T , untuk setiap arah feasibel d, dT∇2f (x∗)d ≥ 0.

Kondisi dapat diinterpretasikan bahwa matriks Hess ∇2f (x∗) bersifatsemidefinit positif.


BuktiJika x∗ merupakan titik minimum lokal dari fungsi f di Ω,maka untuk setiap vektor arah feasibel d ∈ Rn di x∗ berlaku¬ ∇f (x∗)d ≥ 0, jika ∇f (x∗)d = 0, maka dT∇2f (x∗)d ≥ 0.

Kondisi ¬ telah dibahas di slide sebelumnya. Sekarang jika yangterjadi.

Misalkan d merupakan arah feasibel di titik minimum lokal x∗. Makaada α0 sehingga untuk setiap α ∈ [0, α0], x(α) = x∗ + αd ∈ Ω.

Seperti sebelumnya, definisikan fungsi g : [0, α0]→ R,

g(α) = f (x(α)) = f (x∗ + αd),

yang merupakan fungsi satu peubah terhadap α. Dalam kasus sekarang,g′(0) = 0. Terapkan hampiran Taylor sampai orde kuadratik di sekitarα = 0 pada g(α),


BuktiTerapkan hampiran Taylor sampai orde kuadratik di sekitar α = 0 padag(α),

g(α) = g(0) +α2

2g′′(0) = f (x∗) +

α2

2dT∇2f (x∗)d,

Karena x∗ titik minimum lokal, maka

g(α) = f (x∗ + αd) ≥ f (x∗) = g(0)⇒ dT∇2f (x∗)d ≥ 0.

Contoh2: Kondisi terjadi hanya jika komponen kedua d, d2 = 0.Dalam kasus ini dT∇2f (x∗)d = 2d21 ≥ 0, kondisi dipenuhi.

Untuk kasus optimisasi tanpa kendala, analogi dengan pembahasan se-belumnya.


Bentuk kuadratikMisalkan A matriks simetri berorde-n dan x ∈ Rn. Fungsi

QA(x) = xTAx =< Ax,x >,

dinamakan bentuk kuadratik yang terkait dengan matriks A.

Jika P matriks ortogonal sehingga PTAP = D = diag (λ1, · · ·λn) ma-triks diagonal, dan x = Py, maka

xTAx = (Py)TA(Py) = yTDy =n∑

k=1

λky2k,

dimana λk adalah nilai eigen dari matriks A yang berpasangan den-gan vektor eigen pembentuk kolom ke-k matriks P. Formula tersebutdisebut Kaidah Sumbu Utama.


Matriks bentuk kuadratBentuk kuadratik QA(x) = xTAx =< Ax,x >, dikatakan

¬ definit positif (semidefinit positif), jika xTAx > 0 (xTAx ≥ 0) un-tuk x 6= 0;A dikatakan matriks definit positif (semidefinit positif);

definit negatif (semidefinit negatif), jika xTAx < 0 (xTAx ≤ 0) un-tuk x 6= 0;A dikatakan matriks definit negatif (semidefinit negatif);

® tak definit, jika xTAx mempunyai nilai negatif dan positif. Adikatakan matriks tak definit.

Persamaan irisan kerucut: xTAx = 1. JikaAmatriks simetri berukuran2× 2,

¬ xTAx = 1 menyatakan elips jika A matriks definit positif; xTAx = 1 menyatakan hiperbola jika A matriks tak definit;® xTAx = 1 tak memiliki kurva, jika A matriks definit negatif.


Indikator matriks bentuk kuadrat...1Jika A matriks simetri berukuran n× n,

¬ A definit positif (semidefinit positif)⇔ semua nilai eigen A positif(tak negatif);

A definit negatif (semidefinit negatif)⇔ semua nilai eigen A negatif(tak positif);

® A tak definit, jika mempunyai nilai eigen negatif dan nilai eigenpositif.


Indikator matriks bentuk kuadrat...2A matriks simetri berukuran n× n definit positif jika dan hanya jika

¬ A definit positif⇔ nilai determinan setiap submatriks utama adalahpositif;

A definit negatif ⇔ nilai determinan submatriks berganti tanda,dimulai dengan tanda negatif untuk determinan submatriks utamapertama;

® A tak definit, jika tidak memenuhi ¬ atau .a11 a12 a13 a14a21 a22 a23 a24a31 a32 a33 a34a41 a34 a34 a44

Submatrik utama ke−1, ke−2, dst.


Contoh3: dengan kendalaMinimum f (x1, x2) = x3

1 − x21x2 + 2x2

2

Kendala x1 ≥ 0, x2 ≥ 0,.

Jika kita asumsikan solusi merupakan titik dalam, dari syarat perlu ordepertama, ∇f (x1, x2) = 0T ,

3x21 − 2x1x2 = 0,

−x21 + 4x2 = 0,

diperoleh titik stasioner: (0, 0), (6, 9).

Perhatikan untuk f (6, x2), fungsi obyektif satu peubah terhadap x2 men-capai nilai minimum di x2 = 9. Sedangkan untuk f (x1, 9), mencapai ni-lai minimum di x1 = 6. Meskipun demikian, (6, 9) bukan titik minimumlokal, karena matriks Hess di titik tersebut tidak semidefinit positif,

∇2f =

(6x1 − 2x2 −2x1

−2x1 4

)(6,9)

= ∇2f

(18 −12−12 4

).


Syarat cukup orde keduaSyarat cukup orde kedua ini hanya berlaku untuk kasus optimisasi tanpakendala.

Misalkan diberikan fungsi skalar f : Ω → R ∈ C2 pada himpunanΩ ⊆ Rn dan titik x∗ merupakan titik interior di Ω. Misalkan pula:

¬ ∇f (x∗) = 0T ; ∇2f (x∗) matriks definit positif.

Maka titik x∗ merupakan titik minimum lokal tegas dari fungsi f .

Bukti: Terapkan hampiran Taylor sampai orde kuadratik di sekitar x∗,

f (x∗ + αd)− f (x∗) =α2

2dT∇2f (x∗)d > 0.


Fungsi konveksSuatu fungsi f (x) yang terdefinisi di himpunan konveks Ω disebut fungsikonveks, jika untuk setiap x1,x2 ∈ Ω dan untuk setiap α ∈ [0, 1] berlaku

f (αx1 + (1− α)x2) ≤ αf (x1) + (1− α)f (x2).

Sedangkan, jika untuk setiap α ∈ (0, 1) dan x1 6= x2 berlaku

f (αx1 + (1− α)x2) < αf (x1) + (1− α)f (x2),

maka f disebut fungsi konveks tegas.

Fungsi g(x) disebut fungsi konkaf (konkaf tegas) jika (−g)(x) merupakanfungsi konveks (konveks tegas).


Sifat fungsi konveksSifat-sifat fungsi konveks:

¬ Penjumlahan dua fungsi konveks pada daerah konveks adalah fungsikonveks. Perkalian skalar tak nol dari fungsi konveks pada daerahkonveks adalah fungsi konveks.

Misalkan fungsi konveks f (x) terdefinisi pada suatu himpunan kon-veks Ω. Himpunan Γc = x ∈ Ω : f (x) ≤ c adalah himpunankonveks untuk setiap bilangan real c.

® Misalkan fungsi f (x) ∈ C1. Fungsi f bersifat konveks pada daerahkonveks Ω jika dan hanya jika

f (y) ≥ f (x) +∇f (x)(y − x),

untuk setiap x,y ∈ Ω.¯ Misalkan fungsi f (x) ∈ C2. Fungsi f bersifat konveks pada daerah

konveks Ω yang memuat titik interior x∗ jika dan hanya jika matriksHess ∇2f (x∗) bersifat semidefinit positif pada daerah konveks Ω .


Bukti sifat ®

Misalkan fungsi f (x) ∈ C1. Fungsi f bersifat konveks pada daerah kon-veks Ω jika dan hanya jika

f (y) ≥ f (x) +∇f (x)(y − x),

untuk setiap x,y ∈ Ω.

⇒. Diketahui f konveks. Maka untuk setiap α ∈ [0, 1],

f (αy + (1− α)x) ≤ αf (y) + (1− α)f (x).

Untuk α ∈ (0, 1],

f (x + α(y − x))− f (x) ≤ α(f (y)− f (x)),

atauf (x + α(y − x))− f (x)

α≤ (f (y)− f (x)),

dan untuk α→ 0, ∇f (x)(y − x) ≤ f (y)− f (x).


Bukti sifat ®

Misalkan fungsi f (x) ∈ C1. Fungsi f bersifat konveks pada daerah kon-veks Ω jika dan hanya jika

f (y) ≥ f (x) +∇f (x)(y − x),

untuk setiap x,y ∈ Ω.

⇐. Diketahui berlaku pertaksamaan. Misalkan x1,x2 ∈ Ω dan α ∈[0, 1]. Tulis u = αx1 + (1− α)x2 ∈ Ω. Akan diperlihatkan

f (αx1 + (1− α)x2) ≤ αf (x1) + (1− α)f (x2).

Perhatikan

f (x1) ≥ f (u) +∇f (u)(x1 − u) dan f (x2) ≥ f (u) +∇f (u)(x2 − u).

Kalikan pertidaksamaan yang pertam dengan α dan yang kedua dengan(1−α), kemudian jumlahkan kedua pertidaksamaan dan gunakan definisiu, akan didapat bahwa f memenuhi definisi fungsi konveks.


Bukti sifat ¯

Misalkan fungsi f (x) ∈ C2. Fungsi f bersifat konveks pada daerah kon-veks Ω yang memuat titik interior x∗ jika dan hanya jika matriks Hess∇2f (x∗) bersifat semidefinit positif pada daerah konveks Ω .

Perhatikan hampiran Taylor f di sekitar x∗,

f (x) = f (x∗) +∇f (x∗)(x− x∗) +1

2(x− x∗)T∇2f (x∗)(x− x∗).

⇐. Diketahui matriks Hess ∇2f (x∗) bersifat semidefinit positif di titikinterior x∗. Maka,

f (x)− f (x∗)−∇f (x∗)(x− x∗) =1

2(x− x∗)T∇2f (x∗)(x− x∗) ≥ 0,

untuk setiap x,x∗ ∈ Ω. Berdasarkan sifat ®, f fungsi konveks.


Bukti sifat ¯

Misalkan fungsi f (x) ∈ C2. Fungsi f bersifat konveks pada daerah kon-veks Ω yang memuat titik interior x∗ jika dan hanya jika matriks Hess∇2f (x∗) bersifat semidefinit positif pada daerah konveks Ω .

Perhatikan hampiran Taylor f di sekitar x∗,

f (x) = f (x∗) +∇f (x∗)(x− x∗) +1

2(x− x∗)T∇2f (x∗)(x− x∗).

⇒. Diketahui f konveks. Berdasarkan sifat ®, Maka

0 ≤ f (x)− f (x∗)−∇f (x∗)(x− x∗) =1

2(x− x∗)T∇2f (x∗)(x− x∗),

artinya (x− x∗)T∇2f (x∗)(x− x∗) ≥ 0 untuk setiap x ∈ Ω.


Dimensi hyperplaneSuatu hyperplane H di Rn adalah himpunanH = x|pTx = k dimanap suatu vektor tak nol di Rn dan k suatu skalar. Vektor p biasanyadisebut vektor normal dari hyperplane (gradien dari f (x) = pTx).

Misalkan x1 ∈ H. Perhatikan himpunan M = H − x1, translasi H oleh−x1. Elemen y ∈ M artinya y = z − x1 untuk suatu z ∈ H. Lebihjauh,

pTy = pT (z− x1) = pTz− pTx1 = k − k = 0,∀y ∈M.

Berarti M =< p >⊥ himpunan komplemen ortogonal dari subruangyang dibangun vektor p. Dengan demikian dimensi dari subruang Madalah (n− 1), dimensi hyperplane H.


Separating hyperplane...1Misalkan C himpunan konveks dan misalkan y titik luar dari ClosureC (y bukan titik batas C). Maka ada vektor a sehingga aTy < inf

x∈CaTx.

x0

y

x

Bukti: Misalkan δ = infx∈C|x − y| > 0. Maka ada vektor x0 pada titik

batas C sehingga |x0 − y| = δ. Misalkan pula x ∈ C. Untuk α ∈ [0, 1],titik x0 + α(x− x0) ∈ C, dan

|x0 + α(x− x0)− y|2 > |x0 − y|2

atau2α(x0 − y)T (x− x0) + α2|x− x0|2 ≥ 0.


Separating hyperplane...2

x0

y

x

2α(x0 − y)T (x− x0) + α2|x− x0|2 ≥ 0.

Untuk α→ 0,(x0 − y)T (x− x0) ≥ 0,

atau

(x0 − y)Tx ≥ (x0 − y)Tx0 = (x0 − y)Ty + (x0 − y)T (x0 − y)= (x0 − y)Ty + δ2.

Pilih a = (x0 − y)⇒ aTx ≥ aTy.Terdapat hyperplane yang melalui titik luar/eksterior dari C denganhimpunan konveks C di salah satu halfspace-nya.


Supporting hyperplane...1Misalkan C himpunan konveks dan misalkan y titik batas di C. Makaada hyperplane yang memuat vektor y dan memuat C di salah satuhalfspace tutupnya.

y

yk

Bukti: Misalkan yk barisan vektor yang merupakan titik luar dariC yang konvergen ke y. Misalkan pula ak barisan vektor satuan(|ak| = 1) yang terkait dengan teorema separating hyperplane,

aTkyk < inf

x∈CaTkx.


Supporting hyperplane...2

y

yk

aTkyk < inf

x∈CaTkx.

Karena ak adalah barisan terbatas, maka memiliki subbarisanak, k ∈ K yang konvergen ke a. Dengan demikian,

aTy = limk∈K

aTkyk ≤ lim

k∈KaTkx = aTx.

Suatu hyperplane yang memuat himpunan konveks C di salahsatu halfspace tutupnya dan memuat titik batas di C disebutSupporting hyperplane dari C.


Titik ekstrim,titik batas...1Suatu titik x di himpunan konveks X dikatakan titik ekstrim,

jika titik tersebut tidak dapat disajikan sebagai suatu kombinasikonveks tegas dari dua titik berbeda di X .

Dengan kata lain,

jika x = αx1 +(1−α)x2 dengan α ∈ (0, 1) dan x1,x2 ∈ X , makax = x1 = x2.

Misalkan C himpunan konveks, H Supporting hyperplane dari C, danT = H ∩ C. Setiaptitik ekstrim dari T adalahtitik ekstrim C.


Titik ekstrim,titik batas...2Misalkan C himpunan konveks, H Supporting hyperplane dari C, danT = H ∩ C. Setiap titik ekstrim di T adalah titik ekstrim di C.

Bukti: Andaikan x0 ∈ T tetapi bukan titik ekstrim di C. Maka x0 =αx1 + (1 − α)x2 untuk suatu α ∈ (0, 1), x1,x2 ∈ C dengan x1 6= x2.Misalkan H = x : aTx = k dengan C dimuat di salah satu halfspacetutupnya, misalnya di halfspace positif. Maka, aTx1 ≥ 0 dan aTx2 ≥ 0.

Karena x0 ∈ H, maka

k = aTx0 = aT (αx1 + (1− α)x2) = α(aTx1) + (1− α)(aTx2).

Hal ini berarti x1,x2 ∈ H. Lebih jauh lagi, x1,x2 ∈ T maka x0 bukantitik ekstrim di T . Hal ini mustahil, andaikan salah haruslah x0 ∈ Ttitik ekstrim di C.


Maks-min fungsi konveksMisalkan fungsi f (x) adalah fungsi konveks yang terdefinisipada suatu himpunan konveks Ω dimana nilai minimumnyadicapai di c0. Misalkan pula Γ = x : f (x) ≤ c0. Maka,himpunan Γ adalah himpunan konveks, dan setiap titik min-imum lokal dari f merupakan titik minimum global.

Bukti: Untuk Γ, lihat kembali sifat dari fungsi konveks. Misalkanx∗ ∈ Ω titik minimum lokal dari f . Misalkan pula ada titik lain y ∈ Ωdimana f (y) < f (x∗). Untuk vektor αy + (1 − α)x∗, α ∈ (0, 1), kitamemperoleh

f (αy + (1− α)x∗) ≤ αf (y) + (1− α)f (x∗) < f (x∗).

Akan tetapi hal ini bertentangan dengan x∗ ∈ Ω titik minimum lokaldari f .


Maks-min fungsi konveks...1Misalkan fungsi f (x) adalah fungsi konveks yang terdefinisipada suatu himpunan konveks Ω dimana nilai minimumnyadicapai di c0. Misalkan pula Γ = x : f (x) ≤ c0. Maka,himpunan Γ adalah himpunan konveks, dan setiap titik min-imum lokal dari f merupakan titik minimum global.

Bukti: Untuk Γ, lihat kembali sifat dari fungsi konveks. Misalkanx∗ ∈ Ω titik minimum lokal dari f . Misalkan pula ada titik lain y ∈ Ωdimana f (y) < f (x∗). Untuk vektor αy + (1 − α)x∗, α ∈ (0, 1), kitamemperoleh

f (αy + (1− α)x∗) ≤ αf (y) + (1− α)f (x∗) < f (x∗).

Akan tetapi hal ini bertentangan dengan x∗ ∈ Ω titik minimum lokaldari f .

Pernyataan di atas mengindikasikan bahwa untuk fungsi konveks semuatitik minimum berada pada suatu himpunan konveks dan titik minimumlokal sekaligus merupakan titik minimum global.


Maks-min fungsi konveks...2Misalkan fungsi f (x) ∈ C1 adalah fungsi konveks yang terdefinisi padasuatu himpunan konveks Ω. Jika terdapat titik x∗ ∈ Ω sedemikiansehingga untuk setiap y ∈ Ω, ∇f (x∗)(y−x∗) ≥ 0, maka titik x∗ adalahtitik minimum global dari f pada Ω.

Bukti: Lihat sifat ® fungsi konveks.


Maks-min fungsi konveks...3Misalkan fungsi konveks f (x) terdefinisi pada suatu himpunan konvekstutup dan terbatas Ω. Jika f mempunyai titik maksimum pada Ω, makatitik tersebut merupakan titik ekstrim dari Ω.

y1

y2

x∗

Bukti: Misal x∗ ∈ Ω titik maksimum. Tulis x∗ = αy1 + (1 − α)y2,dengan y1 dan y2 merupakan titik batas di Ω. Karena f fungsi konveks,

f (x∗) ≤ αf (y1) + (1− α)f (y2) ≤ maxf (y1), f (y2).

Karena x∗ titik maksimum, maka x∗ adalah salah satu dari y1 atau y2.Artinya titik maksimum ada di titik batas.


Maks-min fungsi konveks...4Andaikan x∗ titik maksimum pada batas ini bukan titik ekstrim. Per-hatikan T1 = H ∩Ω dengan H Supporting hyperplane di x∗. Dimensidari T1 kurang dari sama dengan (n− 1) dan nilai global f di T1 adalahf (x∗) dan harus dicapai di titik batas x1 di T1.

Jika x1 titik ekstrim di T1, maka ia juga titik ekstrim di Ω. Jikabukan, lakukan proses dengan T2 = T1 ∩ H1 dengan H1 ∈ R(n−1)

Supporting hyperplane di x1, dst....sampai paling tidak n kali prosesuntuk memperoleh Tn berdimensi nol yang memuat hanya satu titik.


Syarat perlu orde-nolPerhatikan kembali masalah


.

Misalkan f (x) fungsi konveks di Rn dan Ω suatu himpunan konveks.Jika x∗ solusi, maka ada vektor tak nol λ ∈ Rn sedemikian sehingga x∗

memenuhi dua persamaan berikut:

min f (x) + λTx, x ∈ Rn (1)

danmaxλTx, x ∈ Ω. (2)

Perlu dicatat bahwa (1) merupakan masalah optimisasi tanpa kendaladengan fungsi obyektif tak linear, sedangkan (2) merupakan masalahoptimisasi berkendala tetapi dengan fungsi obyektif linear.


Bukti syarat perlu orde-nol...1

Hyperplane

Γ

x∗ f(x)

Ω

f(x∗)

B

Misalkan Γ = (r,x) : r ∈ R,x ∈ Rn, r ≥ f (x) ⊂ Rn+1, yang disebutepigraph. Fungsi f (x) bersifat konveks ⇔ Γ himpunan konveks.

Misalkan x∗ ∈ Ω titik minimum f dengan nilai f ∗ = f (x∗). Konstruksihimpunan B dengan cara memperluas Ω secara vertikal dari−∞ sampaidengan f ∗. Himpunan B dapat diperlihatkan merupakan himpunankonveks.



Hyperplane

Γ

x∗ f(x)

Ω

f(x∗)

B

Menurut teorema separating hyperplane, maka ada hyperplane Hyang memisahkanB dan Γ; ada vektor tak nol a = (s,λ) dengan s skalardan λ ∈ Rn sehingga H = y : aTy = k, dimana y = (r,x) ∈ Rn+1.Di sini k = sf ∗+λTx∗. Lebih jauh lagi, half space nya diberikan oleh,

sr + λTx ≥ k, x ∈ Rn, f (x) ≤ r,sr + λTx ≤ k, x ∈ Ω, r ≤ f ∗.



Hyperplane

Γ

x∗ f(x)

Ω

f(x∗)

B

Ingat k = sf ∗ + λTx∗, half space di atas dapat dituliskan kembalimenjadi

s(r − f ∗) + λT (x− x∗) ≥ 0, x ∈ Rn, f (x) ≤ r,s(r − f ∗) + λT (x− x∗) ≤ 0, x ∈ Ω, r ≤ f ∗.

Agar kedua kondisi dipenuhi, s > 0; selanjutnya pilih s = 1.



Hyperplane

Γ

x∗ f(x)

Ω

f(x∗)

B

Jadi, half space nya diberikan oleh,r + λTx ≥ k, x ∈ Rn, f (x) ≤ r,r + λTx ≤ k, x ∈ Ω, r ≤ f ∗.

Misalkan (r,x)sol = (f ∗,x∗) solusi minimum dari masalah awal. Kondisiyang pertama akan memberikan

min f (x) + λTx, x ∈ Rn.

Kondisi kedua memberikan

maxλTx, x ∈ Ω.


Syarat cukup orde-nolJika ada λ sedemikian sehingga x∗ ∈ Ω solusi masalah minimum danmaksimum pada slide sebelumnya, maka x∗ solusi


Bukti: Misalkan y ∈ Ω. Dari (1) diperoleh

f (y) + λty ≥ f (x∗) + λtx∗.

Lebih jauh lagi, pertidaksamaan di atas dapat dituliskan menjadi

f (y)− f (x∗) ≥ λTx∗ − λTy = λT (x∗ − y).

Berdasarkan (2),

f (y)− f (x∗) ≥ λT (x∗ − y) ≥ 0.

Jadi,f (y) ≥ f (x∗).


Latihan1. Cari titik stationer, periksa apakah titik tersebut merupakan titik

minimum/maksimum lokal? apakah fungsi tersebut punya titik min-imum/maksimum global?

f (x) = 3x3 + 7x2 − 15x− 3.

2. Tentukan titik minimum/maksimum f (x1, x2) = x41 + x4

2 − 4x1x2.3. Tentukan titik minimum f (x1, x2, x3) = 2x2

1+x1x2+x22+x2x3+x2

3−6x1 − 7x2 − 8x3 + 9.

4. Hampiran fungsi f (x) oleh suku banyak pn berderajat n mengan-tarkan pada masalah meminimumkan

L(a0, a1, · · · , an) =

∫ 1

0

(f (x)− pn(x))2dx.

Cari formula untuk koefisien-koefisien a0, a1, · · · , an.5. Buktikan: Fungsi f (x) bersifat konveks ⇔ Γ himpunan konveks.

Documents

MA 3071 Pengantar Optimisasi Topik 8 Masalah Optimisasi