۱

اول درس

سازی بهینه بندی مسایل معرفی و دسته ۰سازی در طراحی های موجود است. بهینه هنر یافتن بهترین جواب در بین وضعیت ۱سازی بهینهنیمم کردن های مهندسی، اقتصادی و حتی اجتماعی به منظور می داری بسیاری از سیستم و نگه

سازی در علوم هزینه الزم و یا ماکزیمم کردن سود کاربرد دارد. به دلیل کاربرد وسیع بهینهرشد بسیاری کرده است، به طوری که در ریاضیات، مدیریت، صنایع و متفاوت، این مبحث

های متفاوتی از قبیل گیرد و حتی نام میهای علوم مورد مطالعه و بررسی قرار بسیاری از شاخه رود. سازی به کار می " برای اشاره به مباحث بهینه۳" و "تحقیق در عملیات۲ریزی ریاضی "برنامه

شود که مسایل پردازیم و سعی می سازی می الی به معرفی مبحث بهینهدر این درس به طور اجمهای حل را به طور اجمالی معرفی گردد. بسیاری از سازی و انواع آن و همچنین روش بهینه

شوند و های بعد معرفی و بررسی می تر در درس مفاهیم مطرح شده در این درس به طور مفصل باشد. سازی می ارایه یک دید کلی در مباحث بهینهو هدف از این درس صرفا یک معرفی کلی

سازي مدل مسايل بهينه 1.1

سازی، در ابتدا باید آن را مدل نمود. مدل کردن به این معنی برای حل و بررسی یک مساله بهینهسازی را کنیم، به طوری که مساله بهینه توصیفاست که مساله را با متغیرها و روابط ریاضی

شود و مدل ریاضی آن سازی ساده مطرح می سازی کند. در مثال زیر یک مساله بهینه شبیه گردد. استخراج می

سازي مثالي از يك مساله بهينه 1 مثال

1 Optimization 2 Mathematical Programming 3 Operation research

0

2 سازي بهينه مسايل بندي دسته و معرفي :اول درس

ها خریداری کند. لیست اجناس به همراه قیمت آن گاه خودخواهد اجناسی را برای فروش یک فروشنده میکنند نیز در . همچنین حجمی که اجناس اشغال میها در جدول زیر آورده شده است و سود حاصل از آن

جدول آورده شده است.سود حاصل از قيمت هر واحد واحد نام كاال #

فروش هر واحدحجم هر واحد

۲۰ ۱۰ ۱۲۰ کیلو شکر ۱ ٤۰ ۲٥ ۳٥۰ کیلو ایپنیر فله ۲ ٥۲ ۲۷ ٤۱۰ بسته ایپنیر بسته ۳ ٤٥ ۲۰ ٤٥۰ کیلو برنج ٤ ۷٤ ٥۰ ۱۰۰۰ بسته ایچای بسته ٥ ۲ ۱۲۰ ۲۰۰۰ بسته زعفران ٦ ۹۰ ۳۰ ۲۳۰ بسته نوشابه ۷

ای است که سود حاصل از فروش اجناس ماکزیمم شود و در هدف فروشنده، تهیه اقالم فوق به اندازه باید در نظر گرفته شودضمن موارد زیر

a( صدهزارتومان است و لذا هزینه کلیه اقالم خریداری شده نباید از ه صدهزارسرمایه فروشند تومان بیشتر شود.

b( کیلو بیشتر باشد. ۳۰ای نباید از به خاطر مالحظات بهداشتی، مقدار خریداری شده پنیر فله c( بیشتر شود. ٤۰۰۰به علت محدودیت فضای انبار، حجم کاالهای خریداری شده نباید از

باشد. برای حل این مساله ابتدا الزم است سازی می مساله مطرح شده در باال، یک مساله بسیار ساده بهینه

کنیم مدل ریاضی مساله استخراج شود. برای این منظور منغیرهای زیر را تعریف می ix:در جدول فوق iمقدار واحد خریداری شده از کاالی شماره

تعداد بسته خریداری شده پنیر 3xباشد و ای می مقدار کیلوی خریداری شده پنیر فله 2xبه عنوان نمونه اعداد طبیعی 3xباشد، اما دامنه متغیر هر عدد حقیقی نامنفی می 2xتوجه شود که دامنه متغیر باشد. می

. به عبارت دیگر داریمرا داشته باشد 2.3تواند یک مقدار کسری مانند نمی باشد و صفر می

2

3

[0, )

0,1,2,

x

x

∈ ∞∈ …

توان دامنه را تعریف کرد. در مورد متغیرهای دیگر نیز به طور مشابه می

1توان سود را تابعی از متغیرهای ، میixبا در نظر گرفتن تعریف متغیرهای 7, ,x x… .در نظر گرفت باشد این تابع به صورت زیر می

1 7 1 2 3 4 5 6 7, ) 10 25 27 50 120 30( , 20x x x x x xx x xf … = + + + ++ + نیز باید در نظر گرفته شود در فوق (c)تا (a)های باشد. البته محدودیت هدف ماکزیمم کردن تابع فوق می

توان بیان کرد ها را به ترتیب به صورت زیر می این محدودیت 1 2 3 4 5 6 7120 350 410 1000 2000450 230 100000x x x x x xx+ + + + + ≤+

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 3

2 30x ≤ 1 2 3 4 5 6 74520 40 52 74 2 90 4000xx x x x x x+ + + + + ≤+

شود درنهایت مساله فروشنده به صورت زیر مدل می

1 7 1 2 3 4 5 6 7

51 2 3 4 5 6 7

2

1 2 3 4 5 6 7

1 2 4 3 5 6 7

, ) 10 25 27 50 120 30

120 350 410 1000 2000 230 10 ,

30,

20 40 52 74 2 90 4000,

, [0, ), , , , 0,1,2

min ( , 20

450

s.t.45

, ,

x x x x x x x

x x x x x x

x x x

f x x

x

x

x x x

x x x xx x

x

x

… = + + + + +

+ + + + + ≤≤+ + + +

+

⎧⎪ +⎪⎪⎪⎪⎪+ ≤

∈ ∞ ∈ …

⎨⎪ +⎪⎪⎪⎪⎪⎩

. در کل گردد با یک مدل ریاضی توصیف میای تر از مثال فوق نیز به فرم مشابه مسایل پیچیدهکامل مشخص باید چهار مولفه زیر به طورسازی یک مساله بهینهمدل ریاضی برای استخراج

گردد.,1یک مجموعه از متغیرها .۱ , nx x… ٥یا متغیر تصمیم ٤سازی به متغیر بهینهموسوم به.

که روی متغیرهای تصمیم اعمال ۷یا تابع معیار ٦به تابع هدفیک تابع موسوم .۲بهینه) نیمم یا ماکزیمم( گرداند و باید این تابع می شود و یک مقدار حقیقی را برمی می

گردد.

توانند به شوند. این قیود می ای از قیدها که روی متغیرهای تصمیم اعمال می مجموعه .۳ صورت تساوی یا غیرمساوی اعمال شوند.

,1های مجموعه .۴ , n…D D 1های متغیرهای به عنوان دامنه, , nx x… به عبارت دیگر .ix از مجموعهiD گردد انتخاب می)i ix ∈ D.( ای قیود دامنهi ix ∈ D برای اعمال

iaصورت به ۸ای کرانه قیودشرایط خاصی روی متغیرهای از قبیل x b≤ و یا ≥ گیرند. صحیح بودن متغیرها مورد استفاده قرار می

توان به طور کامل توصیف سازی را با مشخص کردن چهار مولفه فوق می تقریبا هر مساله بهینه سازی هیچ قیدی نداشته باشیم و یا مجموعه نمود. البته ممکن است که در یک مساله بهینه

های متغیر کل فضا باشند. دامنه

4 Optimization variable 5 Decision variable ياDesign variable 6 Criterion function 7 Criterion function 8 Boundary constraint

4 سازي بهينه مسايل بندي دسته و معرفي :اول درس

توان به صورت زیر بیان سازی را می مسایل بهینهتوان با مشخص بودن چهار مولفه فوق، می نمود

)۱(

1

1 1

1

1 1

1

1 1

( , , )

( , , ) 0,

( , , ) 0,

( , , ) 0,subject to

( , , ) 0,

,

min

,

n

n

n

k

nm

n n

n

h

h

f x x

g x x

g x x

x x

x x

x x

…

⎧ ⎫⎪ ⎪… ≤⎪ ⎪⎪ ⎪⎪⎪⎪ ⎬⎪ ⎪⎪ ⎪⎪ ⎪… ≤⎪ ⎪⎭⎪⎪⎪⎪⎪⎪ ⎫⎪⎪ … = ⎪⎪ ⎪⎨ ⎪⎪ ⎬⎪ ⎪⎪ ⎪⎪ ⎪… =⎪ ⎪⎪ ⎭⎪⎪⎪⎪⎪⎪ ∈ … ∈⎪⎪⎪⎩

ــابع هــدف ت

ــاوي ــود نامسـ قيـ

ــاوي ــود تسـ قيـ

ــه اي ــود دامن Dقي D⎪⎪

. البته ممکن ۹گیریم سازی در نظر می ی و استاندارد برای مسایل بهینهفرم فوق را یک فرم کانونکردن تر از صفر باشند و یا هدف ماکزیمم سازی قیود به صورت بزرگ یک مساله بهینهاست در های ریاضی مساله را در نهایت توان با دستکاری نیمم کردن باشد. در این گونه موارد می و نه می

تبدیل نمود. مثال زیر را در نظر بگیریدبه فرم کانونی فوق

سازي به فرم كانوني در آوردن يك مساله بهينه 2 مثال

سازی زیر را در نظر بگیرید مساله بهینه

3

1

2 31 1 2 3

1 2

3

31 2

2

max 2

s.t. 3

25

3 4,

,

, .,

30

x x x x

x x

x x

x x x

x

−

⎧⎪⎪⎪⎪ +

+

+ ≥

∈− =⎨⎪⎪⎪⎪⎩

نیمم و همچنین باشد، چرا که تابع هدف باید ماکزیمم شود و نه می نمی )۱( کانونی مساله فوق به فرم قید اول به صورت بزرگتر مساوی و نه کوچکتر مساوی صفر. همچنین سمت راست قیود صفر

توان مساله را به فرم کانونی زیر تبدیل نمود های ساده می باشد. اما با دستکاری نمی

( )2 3

1 1 2 3

1 2

3

1

31 2

32

min 2

4

s.t. 3 30

,

25

3 0,

0,

, .

x

x x x x

x x

x

x x

x

x

+− −

⎧ − +⎪⎪⎪⎪ + − − =⎨⎪⎪⎪⎪⎩

− ≤

∈

شود. در نظر گرفته شود. اما در اين كتاب از اين فرم استفاده مي در منابع ديگر، ممكن است فرم كانوني به شكل ديگري 9

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 5

باشد و از این نکته در تبدیل فوق استفاده می −fنیمم تابع همان می fتوجه شود که ماکزیمم تابع گردیده است.

سازي فرم برداري مسايل بهينه یان کردبتوان به فرم برداری زیر نیز را می )۱(سازی بهینهمساله

)۲( ( )

( ) ,

( ) ,

min

.

f

=

≤∈

xh x 0g x 0x D

که طوری به

1

,

n

x

x

⎡ ⎤⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

x

: باشد. توابع می ۱۰بردار متغیرهای تصمیم یا به طور خالصه بردار تصمیم n k→h و: n m→g باشد به ترتیب متناظر با قیود تساوی و نامساوی به صورت زیر می

1 1 1 1

1 1

, , ) , , )

( ) ,

( (

( )

, , ) , ,( ( )

n n

n k nm

g x h xx x

g x hx xx

⎡ ⎤ ⎡ ⎤… …⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥= =⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥… …⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

g x h x

باشد که می xدامنه بردار تصمیم Dهمچنین 1 2 n= × × ×D D DD

سازي فرم برداري يك مساله بهينه 3 مثال

سازی زیر را در نظر بگیرید مساله بهینه

5

31 2

2 31 1 2 3 1 4 5

12 2 22 3 4

5 3

2 5 3

1 2 3 2 5

1 2 53 5

min 2

4

3s

25

0,

1,

0,

0,

5,

, 0,1 ,

.

.

t.

, ,

xx x x x x

x

x x x x

x

x x

x x x

x

x x x x x

x x x x x

x

− −

⎧ + +⎪⎪⎪⎪⎪⎪⎪⎪ +⎪⎪⎨⎪ + −

+ +

− ≤

+ + ≤≥

+ =∈ ∈

=⎪⎪⎪⎪⎪⎪ ∈⎪⎪⎪⎩

، مجموعه x است و باید بردار تصمیم )۲(به صورت سازی بهینهمساله مساله فوق و هر فرم برداری را برای مساله فوق مشخص کنیم. gو hو توابع Dدامنه

10 Decision vector

6 سازي بهينه مسايل بندي دسته و معرفي :اول درس

به صورت ردار متغیرهای تصمیم ب 1 2 3 4 5, , , ,x x x x x⎡ ⎤= ⎣ ⎦x

T باشد و دامنه آن عبارت است از می

0,1× × ×= ×ND تایی است که مولفه دوم آن یا صفر است و یا یک و مولفه یک بردار پنج Dبه عبارت دیگر هر عضو

تواند باشد.تابع متناظر با قیود ها هر عدد دلخواه حقیقی می پنجم آن یک عدد طبیعی است و بقیه مولفهشوند. دقت شود که در تعریف این توابع در ابتدا تساوی و نا مساوی به ترتیب به صورت زیر تعریف می

س ضابطه این توابع نوشته شده استله به فرم کانونی تبدیل شده و سپمسا

5 2

2 53

1 2 3

1 2 3 2 5

: ,

( )5x

x x

x

x

x

x x

x x

→⎛ ⎞⎟⎜ ⎟⎜= ⎟⎜ ⎟⎜ + ⎟⎜

+

−⎝

−

⎠

h

h x

و

5 3

12 2 2

5

2 3 4

5 3

:

4

3

,

( ) 1

x x

x

x

x x

x

→⎛ ⎞− ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜= + + − ⎟⎜ ⎟⎜ ⎟⎟⎜ −

+

⎝ ⎠− ⎟

+

⎜

g

g x

سازي جواب شدني، جواب بهينه سراسري و موضعي براي مسايل بهينه 2.1

,1، متغیرهای )۱( سازی بهینه در مساله , nx x… کهi ix ∈ Dیا نقطه ۱۱، یک جواب شدنیشوند، هرگاه در تمامی قیود مساله صدق کند. به طور معادل در فرم شدنی برای مساله نامیده می

موسوم مساله شدنی جوابکه در تمامی قیود صدق کند، به یک Dدر عضوهر )۲(برداری یا مجموعه شدنی موسوم ۱۲به ناحیه شدنیشدنی یا نقاط مجموعه تمامی جواب باشد. می و داریم دهیم نشان می Ω باشد. ناحیه شدنی را با می

| ( ) 0, ( )Ω = ∈ ≤ =x g x h x 0D گاه گوییم که مساله نشدنی است. نشدنی شدن تهی باشد، آن Ωسازی اگر در یک مساله بهینه

نهایت یک مجموعه با بی Ωباشد. عموما یک مساله به علت ناسازگار بودن قیود مساله می و باشد.فقط دارای یک یا دو یا چند عض Ωباشد. البته این امکان وجود دارد که عضو می

11 Feasible solution 12 Feasible Region (set)

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 7

باشد می Ωسازی نقطه یا نقاطی در مساله بهینهبرای جواب طور خالصه بهیا ۱۳جواب بهینه ∋تر به عبارت دقیق باشد. می Ωدر که دارای کمترین مقدار تابع هدف Ωx را یک جواب

∋نامیم، هرگاه به ازای هر بهینه برای مساله می Ωx :داشته باشیم (( ).)f f≤x x

۱٤را یک جواب بهینه اکید xگاه اگر در عبارت فوق نامساوی به صورت اکید برقرار باشد، آنمقایسه Ωبا تمامی اعضای xدر fدر تعریف فوق مقدار تابع توجه شود که نامیم. می

به این نابیشتر یا کمتر است، Ωاز تمامی اعضای xدر fگردید. به عبارت دیگر مقدار تابع سازی باشد. ممکن است یک مساله بهینه میموسوم نیز ۱٥جواب بهینه سراسری به xلحاظ

اصال جواب سراسری نداشته باشد و یا ممکن است دارای چندین جواب سراسری باشد.یا ۱٦های بهینه موضعی وم به جوابها موس سازی نوع دیگری از جواب برای مسایل بهینه

شود. جواب بهینه موضعی یا به طور خالصه جواب موضعی یک محلی نیز در نظر گرفته میبه .Ωدر یک ناحیه در اطراف خود بهینه است و نه در کل ناحیه شدنی جواب شدنی است که

0εنامیم هرگاه را یک جواب موضعی می x∗تر عبارت دقیق موجود باشد، به طوری که به <∋ازای هر Ωx که فاصله آن از∗x کمتر ازε باشد، داشته باشیم

)( ( .)f f∗ ≤x x مشابه، هنگامی که نامساوی فوق به صورت اکید برقرار باشد، جواب موضعی را جواب به طور

نامند. موضعی اکید میباشد. باشد. ولی عکس آن درست نمی هر جواب بهینه سراسری یک جواب بهینه موضعی می

نیمم سراسری نداشته باشد. نیمم موضعی داشته باشد ولی می ممکن است یک مساله میسازی، حاالت زیر ممکن که در مورد جواب موضعی یا سراسری یک مساله بهینه توجه شود

است اتفاق بیافتد. ای نداشته باشد. نشدنی باشد و لذا اصال جواب بهینه • شدنی باشد اما جواب نداشته باشد. • یک جواب منحصر به فرد داشته باشد. • به تعداد متناهی جواب داشته باشد. • شد.نهایت جواب داشته با بی •

13 Optimal solution 14 Strict optimal solution 15 Global Optimal solution 16 Local

8 سازي بهينه مسايل بندي دسته و معرفي :اول درس

سازي بندي مسايل بهينه دسته 3.1

سازی از توان مسایل بهینه سازی وجود ندارد. فقط می بندی جامع از مسایل بهینه یک دستهبندی بر مبنای نوع کاربرد و نوع های دسته بندی نمود. دیدگاه های متفاوت دسته دیدگاه باشد. ها می های حل آن روش

غيرخطي بودن توابع هدف و و يا درجه دوم، دسته بندي برحسب خطي قيود

:تابع nf گوییم، هرگاه به فرم زیر باشد ۱۷را یک تابع خطی یا آفینی →

1

1 1

)(n

i ii

n n

f d

c x

c x c x d=

= +

=

= +…+ +

∑

x c x

یک عدد حقیقی باشد. تعبیر هندسی چنین توابعی به dتایی و nیک بردار cطوری که به1nازای 2nعبارت است از یک خط در صفحه دوبعدی و به ازای = عبارت است از =

یک صفحه در فضای سه بعدی.مساوی جملگی خطی سازی تابع هدف و تابع متناظر با قیود تساوی و نا اگر در یک مساله بهینه

باشد. موسوم می ۱۸ریزی خطی سازی خطی یا مساله برنامه گاه مساله به یک مساله بهینه باشند، آنریزی گاه مساله را یک مساله برنامه ولی اگر حداقل یک قید یا تابع هدف خطی نباشد، آن

فرم کلی یک مساله خطی به شکل زیر است نامند. می ۱۹غیرخطی

1 1 2 2

11 1 12 2 1 1

1 1 2 2

11 1 12 2 1 1

1 1 2 2

min

,

,

n n

n n

m m mn n

n n

k k kn n

m

k

x c x c x

x a x a x u

x a x a x u

x b x b x v

x b x b

c d

a

a

b

b x v

+ +…+

+ +…+ ≤

+ +…+ ≤

+ +…+ =

+ +…+

+

=

فرم برداری مسایل خطی به صورت زیر است

17 Affine 18 Linear programming(LP) – Linear optimization 19 NonLinear Programming(NLP)

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 9

,

min

.

d+≤=

c xAx uBx v

سازی غیرخطی که بیشترین نزدیکی را به مسایل خطی دارند، مسایل ای از مسایل بهینه دستهد است و قیو ۲۱درجه دومتابع هدف یک تابع . در این مسایلباشند می ۲۰درجه دومریزی برنامه

:تابع باشند. خطی می nq نامند، هرگاه به فرم زیر باشد می درجه دورا یک تابع →

1 1 1

( )n n n

ij i j i ii j i

d

h x x c x d

q

= = =

+

= + +

= +∑∑ ∑

x x Hx c x

ریزی درجه دوم در حالت برداری به صورت زیر است فرم کلی مسایل برنامه

min

,

.

d+ +≤=

x Hx c xAx uBx v

درجه دومریزی برنامه باشند به مسایل درجه دومها نیز مسایلی که عالوه بر تابع هدف، قیود آن باشند در حالت برداری، این مسایل به فرم زیر می باشد. موسوم می ۲۲درجه دومبا قیود

, 1, ,

min

., 1, ,i i i

j j j

d

u i m

v kj

+ +

+ ≤ = …

+ == …

x Hx c x

x A x e x

x B x f x

کردبندی توان تقسیم سازی را به صورت زیر می بنابراین مسایل بهینه )LP( ریزی خطی مسایل برنامه • )QP(مسایل درجه دوم را با • )QPQC(مسایل درجه دوم با قیود درجه دوم •

)NLP(ریزی غیرخطی مسایل برنامه •

20 Quadratic Programming(QP) 21 Quadratic 22 Quadratic Programming with Quadratic Constraint(QPQC)

10 سازي بهينه مسايل بندي دسته و معرفي :اول درس

متغيرهاي تصميمبندي بر مبناي پيوسته يا گسسته بودن دسته پیوسته باشد، هایی جموعه) مهای متغیرها دامنهها (iDتمامی سازی اگر در مساله بهینه iDآن است iD گوییم. منظور از پیوسته بودن ۲۳سازی پیوسته گاه مساله را یک مساله بهینه آن

]یا یک بازه برابر کل مجموعه اعداد حقیقی , ]a b باشد. می و یا هر مجموعه با 0,1یا مجموعه دودویی برابر مجموعه اعداد صحیح iDاما اگر

نامیم. گاه مساله را یک مساله گسسته می تعداد عضور متناهی باشد، آن

،۲٤ریزی اعداد صحیح گاه مساله را یک مساله برنامه باشد، آن Zها برابر iDدر حالتی که تمامی ها برابر iDنامند. درحالتی که تمامی می، IPیا به اختصار گاه مساله را یک باشد، آن 0,1 نامند. ، میBP، یا به اختصار ۲٥ریزی دودویی مساله برنامه

صورت ترکیبی باشد. یعنی برخی از متغیرهای تصمیم همچنین ممکن است ناحیه شدنی به ۲٦سازی مخلوط . در این حالت مساله را یک مساله بهینهپیوسته و برخی دیگر گسسته باشند

نامیم. می

؟ یک مساله ۳؟ یک مساله پیوسته و مساله مطرح شده در مثال ۲رح شده در مثال مساله مط باشد. مخلوط می

بندي برمبناي وجود يا عدم وجود قيود دسته سازی پیوسته اگر قیود تساوی و نامساوی موجود نباشند و همچنین در یک مساله بهینه

n=Dعبارت دیگر یک باشد. به موسوم می ۲۷سازی نامقید بهینهگاه مساله به مساله ، آن فرم کلی زیر است سازی نامقید پیوسته به مساله بهینه

( ),in

.

mn

f

∈

x

x

، n≠Dکه در صورتی که حداقل یک قید تساوی یا نامساوی وجود داشته باشد و یا اینسازی مقید سه نوع نامیم. لذا در مسایل بهینه می ۲۸سازی مقید هگاه مساله را یک مساله بهین آن

تواند موجود باشد. ای می قید تساوی، نامساوی و کرانه

23 Continuous optimization 24 Integer Programming(IP) 25 Binary Programming(BP) 26 Mixed optimization 27 Unconstraint optimization problem 28 Constrained optimization problem

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 11

توان به مسایل مقید و نامقید میبه طور مشابه ریزی اعداد صحیح را نیز مسایل برنامهصورت زیر درنظر ن بهتوا ریزی صحیح نامقید را می بندی نمود. فرم کلی یک مساله برنامه دسته گرفت

( ),in

.

mn

f

∈

x

x

بندي بر مبناي محدب بودن توابع هدف و قيود مساله دسته داشته باشیم که Sدر yو xگوییم، هرگاه به ازای هر ۲۹را یک مجموعه محدب Sمجموعه

(1 ) Sλ λ+ − ∈x y :تابع nf λ[0,1]را یک تابع محدب گوییم، هرگاه به ازای هر → داشته باشیم ∋

( )(1 ) ( ) (1 ) ( )f ff λ λ λ λ+ − ≤ + −x y x y گردند. بررسی میهای محدب و توابع محدب به طور مفصل در ؟ مجموعه

نامیم، هرگاه ریزی را یک مساله محدب می یک مساله برنامه تابع هدف یک تابع محدب باشد. •

یک مجموعه محدب باشد. Dمجموعه دامنه • توابع متناظر با قیود نامساوی، جملگی محدب باشند. • باشند.توابع متناظر با قیود تساوی، جملگی خطی یا آفینی •

بندی دستهشوند. بندی می سازی به دو دسته محدب و غیرمحدب دسته بنابراین، مسایل بهینهترین بندی یکی از مهم رسد. اما این دسته مسمی به نظر می محدب و غیرمحدب به نظر بی

ها را باشند که آن باشد. چرا که مسایل محدب دارای خواص بسیار مناسبی می ها می بندی دستهسازی بسیار جذاب کرده است. به عنوان یک خاصیت نمونه در مسایل میان مسایل بهینهدر

باشد. نیمم سراسری می موضعی یک می نیمم محدب، میو ۳۰محدب مسایل دیگری موسوم به مسایل شبهو غیرمحدب، البته در بین مسایل محدب

.دوش ها اشاره می شود که در ؟ به آن نیز تعریف می ۳۱محدب نیمه بندي برمبناي طبيعت متغيرهاي تصميم دسته

دو دسته سازی به بسته به طبیعت متغیرهای تصمیم، مسایل بهینه ۳۲سازی ایستا سازی پارامتری یا مسایل بهینه مسایل بهینه •

29 Convex 30 Quasi-convex 31 Semi-convex 32 Parameter or Static optimization problems

12 سازي بهينه مسايل بندي دسته و معرفي :اول درس

۳۳سازی پویا سازی تراجکتوری و یا مسایل بهینه مسایل بهینه •باشند. اما در دسته دوم ارامترهای ثابت میپشوند. در دسته اول متغیرهای تصمیم تقسیم می

عبارت دیگر در باشند. به متغیرهای تصمیم توابعی پیوسته یا گسسته از یک یا چند پارامتر می باشند. مسایل پویا، مجهوالت تابع می

بندي برمبناي تصادفي يا قطعي بودن متغيرهاي تصادفي دسته سازی به دو دسته مسایل بهینه

۳٤سازی قطعی بهینهمسایل • ۳٥سازی تصادفی مسایل بهینه •

سازی تصادفی برخی از متغیرهای تصمیم و یا برخی پارامترهای ظاهر شده در در مسایل بهینه باشند. مساله تصادفی می

بندي براساس تعداد توابع هدف دسته شوند زیر تقسیم می سازی به دو دسته بسته به تعداد توابع هدف موجود، یک مساله بهینه

۳٦هدفه سازی تک مسایل بهینه • ۳۷سازی چندهدفه مسایل بهینه •

پذير بودن توابع هدف و قيود بندي بر مبناي جدايي دسته :تابع nf nصورت مجموع را بتوان به fنامیم، هرگاه می ۳۸پذیر را یک تابع جدایی →

1عبارت دیگر متغیره نوشت. به تابع یک ,, :nff … که طوری موجود باشد، به →

1

( ) ( )n

i ii

f xf=

= ∑x گاه مساله پذیر باشند، آن سازی توابعی جدایی حال اگر تابع هدف و قیود یک مساله بهینه

نامیم. پذیر می سازی را جدایی بهینه

33 Trajectory or Dynamic optimization problems 34 Deterministic programing problem 35 Stochastic programing Problem 36 Single objective function 37 Multi-objective programing problem 38 Seperable

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 13

م بسته بودن تابع هدف و توابع قيود مسالهدسته بندي بر مبناي به فر شوند های مساله به دو دسته زیر تقسیم می سازی را بر مبنای به فرم بسته بودن داده مسایل بهینه

(Boyd & Vandenberghe, 2006) ۳۹مسایل به فرم بسته یا تحلیلی •

٤۱یا اوراکل ٤۰های جعبه سیاه مسایل دارای داده •به صورت تحلیلی یا به فرم بسته سازی ضابطه تابع هدف و یا توابع قیود معموال در مسایل بهینه

اند. ها و یا عبارات ریاضی مشخص شده به عبارت دیگر این توابع با فرمولباشد. مشخص می .باشند این نوع مسایل به مسایل با فرم بسته موسوم می

به صورت جعبه سیاه و یا زیر رند که تابع هدف و یا توابع قیود مساله در مقابل مسایلی وجود داتوان باشد. بلکه می ها به طور کامل مشخص نمی نباشند و یا ضابطه آ های کامپیوتری می برنامه

ها را به ازای هر ورودی دلخواه به دست آورد. این نوع مسایل در بسیاری از کاربردها مقدار آن شوند. مسایل کنترل بهینه ظاهر میاز قبیل حل عددی

سازي هموار و ناهموار مسايل بهينه سازی را یک گاه مساله بهینه پذیر نباشد، آن اگر تابع هدف یا حداقل تابع منتاظر با یک قید مشتق

گاه پذیر باشند، آن اما اگر کلیه توابع هدف و قیود مشتقنامند. می ٤۲سازی ناهموار مساله بهینهدانیم که تابع قدرمطلق یک تابع ناهموار است، لذا نامند. به عنوان مثال می هموار میمساله را

نشانه ناهموار بودن مساله است. وجود تابع قدرمطلق در تابع هدف و یا قیود یک مساله،

مسايل كمترين مربعات صورت زیر است تابع هدف به ٤۳ریزی کمترین مربعات در مسایل برنامه

2

1

m ) ( )in (m

jj

f r=

⎡ ⎤= ⎣ ⎦∑x x ,که طوری به ,: 1 ,j

n jr m=→ موسوم هستند. معموال در این مسایل ٤٤به ماندهm n≥ ها را با نرم توان آن های این نوع توابع هدف این است که می گردد. از مشخصه فرض می

)دو نیز توصیف کرد. با فرض )1( ) ( ), , ( )mr r=r x x x فرم تابع هدف به

39 Closed form or Analytic 40 Back Box 41 Oracle 42 Non-Smooth optimization 43 Least Square Programming(LSP) 44 Residual

14 سازي بهينه مسايل بندي دسته و معرفي :اول درس

2

2( ) ( )f =x r x

شود. توصیف می. در ممکن است با قیود خطی یا غیرخطی نیز همراه باشندتابع هدف شود که این اضافه می

)(داشته باشیم ها خطی یا آفینی باشندirصورتی که )i i idr = −x c x و یا( ) = −r x Cx d

گاه مساله را یک مساله کمترین مربعات و همینطور قیود تساوی و نامساوی نیز آفینی باشند، آن ) فرم کلی یک مساله کمترین مربعات خطی به صورت زیر است به این ترتیب،نامند. می ٤٥خطی

2

2

,

min

.

−≤=

Cx dAx uBx v

گردند. مسایل کمترین مربعات در مدل کردن بسیاری از مسایل اقتصادی و مهندسی ظاهر می سازی کمترین ها از نوع مسایل بهینه در بین مسایل غیرخطی ظاهر شده در کاربردها بیشترین آن

که ابزاری پراستفاده در علوم مهندسی است، ٤٦عنوان نمونه برازش منحنی باشد. به مربعات می شود. سازی کمترین مربعات تبدیل می نهایت به یک مساله بهینهدر

ساختار که تابع هدف آن دارای مسایل کمترین مربعات در حالت کلی یک مساله غیرخطی است .باشد ی میخاص

ها سازي برمبناي نوع آن بهينه نامگذاري مسايل شوند. به عنوان مثال یک می بندی های متفاوتی دسته سازی از دیدگاه دیدیم که هر مساله بهینه

مساله از یک دیدگاه ممکن است خطی باشد و از دیدگاه دیگر یک مساله گسسته اعداد صحیح کنیم. در جدول زیر باشد. در این راستا این مساله را مساله اعداد صحیح خطی نامگذاری می

ها ارایه شده است ها به همراه واژه خالصه آن برخی از این نامگذاری نام مساله به انگلیسی م مساله به فارسینا

نام خالصه

Linear Programming LP ریزی خطی برنامه Quadratic Programming QP ریزی درجه دوم برنامه Qudratic Prog. with Quadratic Constraint QPQC ریزی درجه دوم با قیود درجه دو برنامه Non-Linear Programming NLP یرخطیغریزی برنامه Integer Linear Programming ILP ریزی اعداد صحیح خطی برنامه Binary Linear Programming BLP ریزی دودویی خطی برنامه Mixed Integer Linear Programming MILP ریزی اعداد صحیح مخلوط خطی برنامه Mixed Linear Programming MLP خطیریزی مخلوط برنامه

45 Linear Least Square Programming(LLSP) 46 Curve Fitting

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 15

Mixed Integer Quadratic Programming MIQP درجه دومخلوطاعداد صحیحریزی برنامه Integer Non-Linear Programming INLP ریزی اعداد صحیح غیرخطی برنامه Binary Non-Linear Programming BNLP ریزی دودویی غیرخطی برنامه Mixed Integer Non-Linear Programming MINLP غیرخطیمخلوطاعداد صحیحریزی برنامه Stochastic Linear Programming SLP ریزی خطی تصادفی برنامه Stochastic Quadratic Programming SQP ریزی درجه دوم تصادفی برنامه Multi-Objective Quadratic Programming MOQP ریزی درجه دوم چندهدفه برنامه Convex Programming CP ریزی محدب برنامه Least Square Programming LSP ریزی کمترین مربعات برنامه Linear Least Square Programming LLSP ریزی کمترین مربعات خطی برنامه Non-Linear Least Square Programming NLLSP ریزی کمترین مربعات غیرخطی برنامه

ديگر سازي معادل بهينه لهمسايك مساله بهينه سازي به تبديل 4.1

& Boyd) های یکسان باشند سازی را معادل گوییم هرگاه دارای مجموعه جواب دو مساله بهینه

Vandenberghe, 2006)توان از یک مساله های دیگر می . با کمک تغییر متغیر و دستکاری شود. لی معادل ساخت. در ادامه به چند نمونه اشاره میسازی دیگر و سازی یک مساله بهینه بهینه

هاي تصميم تغيير متغير گیریم سازی زیر را در نظر می مساله بهینه

)۳( ( )

( ) 0, 1, , ,

( )

mi

0, 1, , ,

.

n

i

in

f

h i k

g j m

= = …≤ = …

∈

xxx

x R

:فرض کنید n nφ →R R حال توابع یک نگاشت یک به یک باشد .ˆih وig را به صورت

کنیم زیر تعریف می

( ) ( ( )),

ˆ ( ) ( ( )), 1, , ,ˆ ( ) ( ( )), 1, , .i i

i i

f f

g g i m

h h i k

φφ

φ

== = …

= = …

z zz z

z z

حال مساله

( )

ˆ ( ) 0, 1, , ,

ˆ ( ) 0, 1, , ,

.

min

i

in

f

h i k

g j m

= = …

≤ = …

∈

z

zz

z R

16 سازي بهينه مسايل بندي دسته و معرفي :اول درس

)از طریق تغییر متغیر )۳(با مساله )φ=x z اگر باشد. معادل می∗z ،جواب مساله فوق باشد)گاه آن )φ∗ ∗=x z ۳(جواب مساله( باشد و برعکس، اگر می∗x جواب مساله)باشد، )۳)1گاه آن )φ∗ − ∗=z x باشد. جواب مساله فوق می

تبديل تابع هدف و توابع قود مساله را در نظر بگیرید. فرض کنید )۳(مساله θ:تابع • →R R باشد ٤۷یک تابع صعودی یکنوا،

iψ:توابع • →R R ای باشند که به گونه( ) 0iψ ≤u 0اگر و فقط اگر≤u،

iϕ:توابع • →R R ای باشند که به گونه( ) 0iϕ =u 0اگر و فقط اگر=u،

و اگر

( )( )( )

( ) ( ) ,

ˆ ( ) ( ) , 1, , ,ˆ ( ) ( ) , 1, , .i i i

i i i

f f

g g i m

h h i k

θψϕ

== = …

= = …

x xx x

x x

گاه مساله آن

( )

ˆ ( ) 0, 1, , ,

ˆ ( ) 0, 1, , ,

.

min

i

in

f

h i k

g j m

= = …

≤ = …

∈

z

zz

z R

های دو مساله کامال یکسان معادل است. در واقع ناحیه شدنی و جواب )۳(با مساله اصلی باشند. می

به عنوان یک مثال مساله زیر را در نظر بگیرید

1 2

2 21 2

1 23

,

3

min

0,

1.x x

x x

x x

e +

+− ≤

=

مساله فوق با مساله زیر معادل است

2 21 2

1 2

1 2

,m

3 0,

3 0

in

.

x x

x x

x x

+− ≤+ =

توان آن را بررسی و حل کرد. میتر تر از مساله اولیه است و ساده مساله فوق ساده

47 Monotone increasing

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 17

تبديل قيود نامساوي به قيود تساوي با متغيرهاي اسلك مجددا مساله

)۴( ( )

( ) 0, 1, , ,

( )

mi

0, 1, , ,

.

n

i

in

f

h i k

g j m

= = …≤ = …

∈

xxx

x R

)(هر قید . گیریم را در نظر می 0ig ≤x 0(کمکی) ٤۸را با معرفی متغیر اسلکis توان می ≤(به قید تساوی 0(i ig s+ =x شود تبدیل کرد. بنابراین مساله به فرم زیر تبدیل می

)۵( ( , )

( ) 0, 1, , ,

( ) , 1,

m

, ,

0

.

in

i

i i

in

f

h i k

g s j m

s

= = …

+ == …≥

∈

x sxx

x R

باشند و در واقع مساله نیز جزو متغیرهای تصمیم می isتوجه شود که در مساله جدید فوق nجدید دارای m+ توان به صورت زیر نیز بازنویسی باشد. مساله فوق را می متغیر تصمیم می

کرد

( )0

( , )

( , ) 0, 1, , ,

m

, .

in

inn

f

h i k m

+

= = … +

∈ ∈

x sx s

x sR R

به طوری که ( ), 1, , ,

( , )( ) 1, , .,

ii

k i k i

h i k

gh

s i k m k− −

⎧ = …⎪⎪= ⎨⎪ + = + … +⎪⎩

xx s

x

)گاه باشد، آن )۴(جواب مساله x∗اگر , )∗ ∗x s است به طوری که )۵(جواب مساله( )i is g∗ ∗= x.

حذف قيود تساوي در مساله

)۶( ( )

( ) ,

(

m

.

n

,

i

) 0n

f

=≤

∈

xh x 0g x

x R

48 Slack

18 سازي بهينه مسايل بندي دسته و معرفي :اول درس

mباشد که مجهول می nمعادله و mقیود تساوی به صورت یک دستگاه با n≤ بنابراین .nمتغیر تصمیم را بر حسب mتوان معموال می m− متغیر تصمیم دیگر نوشت. به عبارت

باشند. بلکه دیگر مستقل نمی یک دیگر به دلیل وجود قیود تساوی، تمامی متغیرهای تصمیم ازnفقط m−توان متغیرهای تصمیم را به باشند. بنابراین، می ها از هم مستقل می تای آن

صورت زیر نوشت)۷( ( )φ=x z

nبه طوری که m−∈zرا به صورت )۶(سازی توان مساله بهینه . با لحاظ کردن رابطه فوق می زیر نوشت

( ( ))

( ( )) 0

n

.

i

,

m

n m

f φφ

−

≤

∈

zg z

z R

توجه شود که مساله فوق از نظر تعداد متغیرهای تصمیم و تعداد قیود مساله وضعیت بهتری دارد. به عبارت دیگر هم تعداد متغیرهای تصمیم کاهش یافته است و هم )۶(نسبت به مساله

توان قیود تواند مفید باشد. اما در عمل کمتر می قیود تساوی حذف شده است. لذا تغییر فوق میاز قیود تساوی مساله کار )۷(تساوی را به صورت فوق حذف نمود، چرا که استخراج رابطه

باشد. در موارد تر می سازی مشکل باشد و در برخی موارد، حتی از حل مساله بهینه ای نمی سادهتواند در گاه تکنیک فوق می پذیر باشد، آن به سادگی امکان )۷(خاصی که استخراج رابطه

تر کردن مساله مفید باشد. تر و ساده کوچک حذف قيود تساوي خطي

سازی توضیح داده شد. اگر قیود تساوی خطی(آفینی) نیز حذف قیود تساوی در یک مساله بهینهپذیرد. به عنوان نمونه مساله مندی انجام می به صورت قاعدهگاه حذف قیود تساوی باشند، آن

اند را در نظر بگیرید زیر که تمام قیود تساوی خطی

)۸( ( )

,

( ) 0,

min

.n

f

=≤

∈

xAx bg x

x R

kماتریسی Aبه طوری که n× باشد و میk n< همچنین رتبه .A برابرk شود. فرض میAx=دستگاه b توان به های آن را می و مجموعه جواب باشد نهایت جواب می دارای بی

صورت زیر نوشت)۹( 0= +x Fz x

Ax=تگاه یک جواب دلخواه از دس 0xبه طوری که b باشد و میF ماتریس مولد فضای)باشد که ماتریسی میAپوچ )n n m× )یک بردار دلخواه zاست. همچنین − )n m−

سازي اي بر بهينه مقدمه سازي بهينه مسايل بندي دسته و معرفي :اول درس 19

Ax=دلخواه یک جواب از دستگاه zتایی است. به ازای هر b حاصل )۹(مطابق با رابطه توان به صورت معادل زیر نوشت را می )۸(شود. لذا مساله می

0

0

( )

( ) 0,

m

.

in

n m

f

−

++ ≤

∈

Fz xg Fz x

z R

تر باشد، اما رسیدن به این فرم ساده تر می تر و ساده کوچک )۸(مساله فوق نسبت به مساله باشد. می Fمستلزم استخراج ماتریس

۲۰

درس دوم

سازی مسایل بهینههای حل روش ۱شود، بلکه فقط به معرفی انواع سازی بحث نمی در این درس در مورد نحوه حل مسایل بهینه

شود. هدف از این درس آن است که به خواننده یک ها پرداخته می بندی آن های حل و دسته روشها و سازی داده شود و با برخی نام های حل مسایل بهینه دانش کلی درخصوص روش

نه آشنایی داده شود.زمیاین اصطالحات در

سازي بهينه يلمساهاي حل و روشحل نكاتي در خصوص 5.1در اولین تفسیر شود. های متفاوتی سازی ممکن است به صورت حل یک مساله بهینهجواب و باشد، اما گاهی مواقع بهینه سراسری می سازی یافتن جواب نظور از حل یک مساله بهینهنگاه، م

. همچنین گاهی منظور از حل یافتن یک جواب شود نیز حل گفته میبه یافتن جواب موضعی سازی یافتن تمامی سراسری یا موضعی است. اما برخی موارد منظور از حل یک مساله بهینه

توان فهمید که منظور از حل باشد. البته با توجه به متن می های موضعی و سراسری می جوابثال شود. م تر بیان می حل دقیقجواب و یا هایی منظور از باشد. اما گاهی موارد با واژه چه می

و یا جواب سراسری ٤۹سازی سراسری نیمم سراسری است از واژه بهینه وقتی هدف یافتن میهای موضعی و سراسری است، شود. همچنین، هنگامی که هدف یافتن تمامی جواب استفاده می شود. استفاده می ٥۰سازی چندمودالی از واژه بهینه

)Boyd &Vandenberghe, 2006( باشد سازی دو نکته زیر مطرح می در مورد حل مسایل بهینه

در حالت کلی، حل این مسایل مشکل است •

49 Global optimization 50 Multi-modal optimization

1

سازي اي بر بهينه مقدمه سازي بهينه مسايل حل هاي روش :دوم درس 21

سازی ریاضی ارایه شده ها یا الگوریتم های متفاوتی برای حل مسایل بهینه روش •ها در عمل دارای مشکالتی از قبیل زمان محاسباتی باال و یا عدم است. اما این روش

باشند. توانایی یافتن جواب بهینه می

های کارا و شموارد فوق در حالت کلی درست است. البته استثنائات زیر نیز وجود دارد که رو ها موجود است مناسبی برای حل آن

مسایل کمترین مربعات خطی • ریزی خطی مسایل برنامه • سازی محدب مسایل بهینه •

سازی روبرو شدیم که متعلق به یکی از سه کالس فوق باشد، در صورتی که با یک مساله بهینهکدام اما اگر مساله به در هیچ باشد. های موجود به صورت کارا میسر می گاه حل آن با الگوریتم آن

گاه برای حل آن باید انرژی و مالحظات بیشتری صرف گردد. از سه کالس قرار نگیرد، آن

سازي هاي حل مسايل بهينه روشهاي ويژگي 6.1سازی شده است. هرکدام از این سازی طراحی و پیاده های متفاوتی برای حل مسایل بهینه روشها ملزومات و مالحضاتی باشند و در استفاده از آن خاصی می های های دارای ویژگی روش

شود. ها و ملزومات اشاره می وجود دارد که در ادامه به این ویژگی هاي سراسري و موضعي روش

های موضعی موسوم کنند، به روش های موضعی را استخراج می هایی که جواب یا جواب روشنیمم باشند و یافتن یک می نیمم موضعی از سراسری نمی ها قادر به تمایز می باشند. این روش می

های سراسری، به جستجوی کنند. در مقابل روش موضعی را پایان کار خود حساب می .پردازند های سراسری و نه موضعی می نیمم می

محورهاي محدب روش اشند. به ب های محدب محور موسوم می هایی که به محدب بودن مساله نیاز دارند به روش روش

توان روی مسایل محدب اعمال کرد. ها را فقط می عبارت دیگر این روش

هاي تصادفي و قطعي روش ٥۱های تصادفی کنند به روش هایی که از تصمیمات تصادفی در حل مساله استفاده می روش

کنند و در ها آن است که از اعداد تصادفی استفاده می باشند. نقطه مشترک این روش موسوم می

51 Stochastic methods

22 سازي بهينه مسايل حل هاي روش :دوم درس

های متفاوتی از مساله (درصورت وجود) به ها ممکن است به جواب هر بار اجرای این روشهای تصادفی های تصادفی ربطی به مسایل تصادفی ندارند. روش توجه شود که روش دست آید.

روند. برای حل مسایل غیرتصادفی نیز به کار می هاي گراديان محور هاي بدون مشتق(بدون گراديان) و روش روش

های هایی که از اطالعات مشتق یا گرادیان تابع هدف و توابع قیود استفاده کند به روش روشبندی دسته ٥۳ها خود به دو دسته مرتبه یک و دو باشند. این روش موسوم می ٥۲گرادیان محور

یک، فقط از گرادیان تابع هدف و توابع قیود استفاده های گرادیان محور مرتبه شوند. روش میهای گرادیان محور مرتبه دو عالوه بر گرادیان از هسیان تابع هدف کند، در صورتی که روش می

هایی که گرادیان یا هسیان را به صورت کند. توجه شود که روش و یا توابع قیود نیز استفاده میهای گرادیان زنند نیز روش ها را به صورت عددی تقریب می کنند، بلکه آن تحلیلی استفاده نمی شوند. محور محسوب می

کنند به گرادیان و یا هسیان (چه تحلیلی و چه عددی) استفاده نمیهایی که به هیچ وجه از روش باشند. موسوم می ٥٥های مرتبه صفر یا روش ٥٤های بدون مشتق روشها با نویز همراه است، های آن های گرادیان محور برای مسایل ناهموار و مسایلی که داده روش

گردد. های بدون مشتق استفاده می باشند. برای چنین مسایلی روش قابل استفاده نمی

سازي هاي حل مسايل بهينه روش 7.1بندی برای این باشد. یک دسته سازی مطرح می های متفاوتی برای حل مسایل بهینه روش باشد قرار زیر می ها به روش ٥٦های تصویری روش •

های کالسیک های تحلیلی یا روش روش •

های خاص روش •

های عددی روش •

٥۷ریزی دینامیکی های برنامه روش •

52 Gradiant method 53 first-order and Second order gradiant methods 54 Nongradiant method 55 Zero-order methods 56 Graphical Methods 57 Dynamic programming

سازي اي بر بهينه مقدمه سازي بهينه مسايل حل هاي روش :دوم درس 23

٥۸ریزی دینامیکی های برنامه روش •

٦۰ای(ابتکاری) یا مکاشفه ٥۹های مدرن روش •

هاي تصويري روش سازی را های مساله بهینه ناحیه شدنی و تابع هدف، جوابهای تصویری با کمک رسم روشها برای مسایل با دو تصمیم کاربرد دارد. چرا که تابع هدف و ناحیه شدنی یابند. این روش می

های تصویری به ندرت باشد. روش مسایل با بیشتر از دو متغیر تصمیم قابل رسم و تجسم نمیسازی ها برای آموزش مباحث و مفاهیم بهینه ین روششوند و معموال از ا در عمل استفاده می

شود. استفاده می هاي تحليلي يا كالسيك روش

شرایط الزم بهینگی شرایط باشند. های تحلیلی بر شرایط الزم و کافی بهینگی مبتنی می روشکند. این شرایط به صورت معادالت و یا ها صدق می های موضعی مساله در آن هستند که جواب

یک ∗xدانیم، اگر طور که از حسابان مقدماتی می باشند. به عنوان نمونه، همان عادالت مینامf:نیمم و یا ماکزیمم موضعی برای تابع می )گاه داریم باشد، آن → ) 0f x∗′ . در =

باشد. این شرط به شرط می ∗xنیمم بودن واقع شرط صفر شدن شرط الزم بهینگی برای میباشد، چرا که از مشتق مرتبه اول استفاده کرده است. شرط الزم مرتبه اول موسوم می

) 0(f x∗′ است که از مرتبه دو ∗xنیمم موضعی بودن نیز یک شرط الزم دیگر برای می ′≤ها به ازای باشند، چرا که برقراری آن گردد. این شرایط به شرایط الزم موسوم می محسوب می

جواب مساله باشد. در کنار شرایط الزم، شرایط xتضمین کننده آن نیست که xیک نقطه ها در یک نقطه تضمین کننده آن است که نقطه جواب باشد. کافی وجود دارد که برقراری آن

های برای مسایل چند متغیره و مقید پیوسته نیز شرایط الزم و کافی بهینگی وجود دارد. در روشهای شود که جواب یا جواب ها سعی می شود و با کمک آن تحلیلی این شرایط استخراج می

سازی استخراج گردد. مساله بهینهمعموال با استفاده از شرایط الزم مرتبه اول، یک یا چند نقطه به عنوان کاندید جواب به دست

نیمم بودن و می شوند ها پاالیش می آید. سپس با استفاده از شرایط الزم مرتبه دوم این جواب میشود. در نهایت برای نقاط باقی مانده، شرایط کافی را بررسی کرده و در ها رد می برخی از آن

آید. نیمم موضعی به دست می نهایت نقاط می

58 Dynamic Programming 59 Modern optimization methods 60 Heuristics

24 سازي بهينه مسايل حل هاي روش :دوم درس

توان به موارد زیر اشاره کرد ها می از جمله خصوصیات این روشیابند و ا مینیمم موضعی ر های می باشند. یعنی جواب ها موضعی می این روش •

حساسیتی به یافتن جواب سراسری ندارند. البته در حالتی که مساله محدب باشد، ها شود، لذا در مسایل محدب این روش نیمم موضعی به سراسری تبدیل می می

اند. سراسری

باشند. چرا که در شرایط الزم بهینگی مشتق و های کالسیک گرادیان محور می روش •ها برای مسایل بنابراین این روش شود. قیود ظاهر می گرادیان توابع هدف و

پذیر نباشند) کارایی ندارد. ناهموار(مسایلی که تابع هدف یا قیود مساله مشتق

ها برای مسایل پیوسته کاربرد دارند و برای مسایل گسسته قابل اعمال این روش • باشند. نمی

سازی برای مساله بهینه ها نیاز به استخراج شرایط الزم و کافی اعمال این روش •باید انجام شود. این باعث ٦۱باشد، که معموال توسط انسان و یا محاسبات نمادین می ها چندان ساده نباشد. سازی کدهای کامپیوتری بر مبنای این روش شود که پیاده می

های دیگر حل ها پایه تئوری مناسبی برای روش های فوق، این روش رغم ضعف علی •ها از ملزومات . به همین علت، آشنایی با این روشنماید سازی فراهم می مسایل بهینه باشد. سازی می مبحث بهینه

باشد. شرایط الزم مرتبه اول بهینگی عبارت معموال بررسی شرایط الزم پیچیده می •ها به است از یک دستگاه معادالت و یا یک دستگاه نامعادالت غیرخطی، که حل آن

ها استفاده های عددی برای حل آن باشد و باید از الگوریتم میصورت جبری ممکن نها در عمل دارای مشکالتی از قبیل حدس اولیه و زمان نمود. اعمال این الگوریتم

باشند. محاسباتی می هاي خاص روش

اند. سازی خاص طراحی شده هایی هستند که برای حل یک مساله بهینه های خاص روش روشتوان به روش سیمپلکس اشاره کرد که یک الگوریتم برای حل مسایل یبه عنوان نمونه م

باشد. ریزی خطی می برنامه

61 Symbolic computation

سازي اي بر بهينه مقدمه سازي بهينه مسايل حل هاي روش :دوم درس 25

هاي عددي روش معادالت غیرخطی و های عددی در بسیاری از مسایل از قبیل حل معادالت و دستگاه روش

ایل ها برای حل مس باشد. طبیعی است که این روش معادالت دیفرانسیل، تنها گزینه عملی می سازی نیز به کار بروند. بهینهسازی، نیاز به یک حدس اولیه دارند و سپس این حدس های عددی برای حل مسایل بهینه روش

دهند تا به اندازه کافی به یک جواب مساله نزدیک گردد. را با تکرارهای متوالی مدام بهبود میسازند که این دنباله به ای را می الههای عددی بر مبنای حدس اولیه، دنب تر، روش به عبارت دقیق

های عددی در نحوه ایجاد و ساختن دنباله گردد. تفاوت روش یک جواب مساله همگرا می است.

ای بسازد که با سرعت بیشتری به جواب همگرا شود. آن روش عددی مناسب است که دنبالهبه ازای حدس اولیه همچنین گاهی مواقع یک روش عددی به ازای یک حدس اولیه همگرا و

باشد، چرا که یافتن حدس های عددی می گردد. این نکته ضعف اصلی روش دیگری واگرا می باشد. پذیر نمی ها روش همگرا شود، به آسانی امکان ای که به ازای آن اولیه

توان به موارد زیر اشاره کرد می ی عددیها ازجمله خصوصیات روشممکن است به یک جواب موضعی همگرا شوند باشند و های عددی موضعی می روش •

اند و همچنین از ها سراسری که سراسری نباشد. البته در مسایل محدب این روش همگرایی خوبی برخوردارند.

باشند و از اطالعات گرادیان و یا هسیان های عددی گرادیان محور می اکثر روش •و هسیان به صورت عددی های عددی گرادیان کنند. البته اغلب در روش استفاده می

شوند. تقریب زده می

باشند. نمیستفاده قابل اگسسته برای مسایل ی عددی عموماها روش •

ها باشد. این روش های عددی به حدس اولیه وابسته می در حالت کلی، عملکرد روش • های اولیه نامناسب همگرا نشوند. ممکن است به ازای حدس

های عددی سرراست و ساده ی کامپیوتری روشساز پیادههای فوق، رغم ضعف علی • طوری که به دخالت انسان و محاسبات نمادین احتیاجی ندارند. باشد. به می

های فوق را به حداقل باشد، به طوری که ضعف های عددی بسیار زیاد می امروزه تنوع روشها برای حل ترین روش از رایجهای عددی است. به این لحاظ روش رنگ نموده کمرسانده و

باشند. مسایل پیوسته می ريزي ديناميكي هاي برنامه روش

پروژه اختیاری

26 سازي بهينه مسايل حل هاي روش :دوم درس

اي مكاشفههاي مدرن يا روش موضعی بودن و باشند که عبارتند از اساسی میو عددی دارای دو ضعف کهای کالسی روش

ارایه های متفاوتی روشهای مذکور عدم قابلیت اعمال روی مسایل گسسته. برای رفع ضعفها در دو دهه کنیم. این روش های مدرن نامگذاری می ها را تحت نام روش گردیده است، که آن

های وشاند. ر اخیر، با باال رفتن قدرت و سرعت کامپیوترها، بیشتر مورد استفاده قرار گرفتهالهام باشند که از طبیعت و یا نحوه تکامل موجودات زنده ها می ای از الگوریتم دستهمدرن، توان به ها می اند. از جمله این الگوریتم گرفته )Genetic Algorithmالگوریتم ژنتیک ( • )Simulated Annealingروش انجماد تدریجی ( • )Ant Colonyالگوریتم مورچگان ( •

)Tabu Searchالگوریتم جستجو ممنوع ( •• Particle Swarm • Neural Network

اشاره کرد. توان موارد زیر را برشمرد می ها یتماز مشخصه های این الگور

نیاز پذیری، محدب بودن و غیره از قبیل مشتقمعموال به فرضیاتی روی مساله • توان روی طیف وسیعی از مسایل اعمال نمود. ها را می ندارند. بنابراین این روش

باشند. های مدرن سراسری و بدون مشتق می عموما، روش •

ها باشند. اصوال این روش ته و گسسته قابل استفاده میها برای مسایل پیوس این روش • باشند. تر می برای مسایل گسسته، مناسب

ها به همگرایی این روشعملکرد و برای پشتوانه مبتنی بر ریاضی معموال هیچ • اند. اما در عمل همگرایی خود را نشان داده جواب بهینه وجود ندارد.

سازي هاي بهينه شاخه

باشد. در زیر به می های متفاوتی سازی رشد زیادی کرده است و دارای شاخه بهینهامروزه مبحث . گردد ها اشاره می برخی از این شاخه

Linear Programing سازی خطی بهینه • Nonlinear Programing سازی غیرخطی بهینه • Discrete (Network) Optimization سازی گسسته(شبکه) بهینه •

Quadratic Programing کوادراتیکسازی بهینه •

Convex Programing ریزی محدب برنامه •

سازي اي بر بهينه مقدمه سازي بهينه مسايل حل هاي روش :دوم درس 27

Least Square Programing سازی کمترین مربعات بهینه •

Dynamic Programming ریزی دینامیکی برنامه •

Discrete Optimal Control سازی کنترل بهینه گسسته بهینه •

Sparse Optimization سازی تنک بهینه •

Semidefinite Programing معین ریزی نیمه برنامه •

Semi-infinite Programing متناهی ریزی نیمه برنامه •

Nonsmooth Optimization سازی ناهموار بهینه •

Global Optimization سازی سراسری بهینه •

Vector Optimization سازی برداری بهینه •باشد. ها برای مسایل آن شاخه می الگوریتمای از تئوری و ها شامل گردایه هرکدام از این شاخه

هرکدام باشند. دیگر جدا نمی دیگر اشتراکاتی دارند و به طور کامل از یک ها با یک البته این شاخهشوند. به عنوان مثال شاخه ها در برخی از کاربردها بیشتر مطرح مطرح می از این شاخه

کاربرد دارد.سازی کمترین مربعات در مبحث برازش منحنی بهینه