دانشگاه صنعتی امیرکبیردانشکده مهندسی پزشکی

بین مبتنی بر مدل کنترل پیشتوزیع شده و کاربرد آن

های بندی سیستم آرایشدراستاد:چندعاملی

جناب آقای دکتر توحیدخواهارائه دهنده:

عادله محمدی

1389آذرماه

فهرست مطالب

عاملAgent

ها درك كرده و سنسور را از طري!ق محي:ط ك!ه وجودي!ک كند. ميعمل بر روي آن خودمختاربه صورت

3

عامل در قالب يك سيستم فيدبكي

4

خودمختاريAutonomy

وجود عام!ل هر ي!ا انس!ان مس!تقيم دخال!ت بدون گيري و عم!ل خود داراي استقالل ديگ!ر، در تص!ميم

است.

5

عامل ها خودمختارند :احساس محیط خود و سایر عامل ها رد و بدل اطالعات با سایر عامل هامحاسبه و اجرای اعمال کنترلی الزم

برای رسیدن به سهم خود در تابع هدف

6

7

سیستم های چندعاملیMulti-agent Systems

مفهوم وقت!ي درک با عام:ل تعدادي در کنار ه!م قرار گرفت!ه تا در خودمختاري

فردي، اهداف جمعي كنار عمدتاً هدف كنند، دنبال را راس!!تا همان در واالتري پيدا تجلي چندعامل!ي هاي س!يستم عنوان

کند ميتحقق هدفی در سطح سیستم

7

88

مفاهيم مربوط به سيستم هاي چندعاملي

همکاریCooperation

توافق عامل ها برای داشتن هدفی مشترک با سایر عامل ها، 1(

که این هدف معموال به صورت آفالین مشخص می شود.

به اشتراک گذاشتن اطالعات به صورت 2(آنالین برای تحقق هدف مشترک

9

Distribution

ویژگی ذاتی سیستم های چندعاملی :توزیع شدگی

یعن!ی ه!ر عام!ل توس!ط انتقال اطالعات محلی با سایر عامل ها باید ”مختارانه“ عمل کند.

10

کنترل توزیع شده طبیعت ابعاد وسیع سیستم ها

کاربردهای ابعاد وسیع •سیستم های قدرت• سیستم های توزیع آب• سیستم ترافیک• سیستم های تولید• سیستم های اقتصادی•

11

DMPC vs. CMPC

ورودی کنترلی کل 12

دینامیک کل سیستم

حلیک

مسئلهبهینه سازی

ورودی های کنترلی محلی

دینامیک تک تک عامل ها

حلچند

مسئلهبهینه سازی

کنترل بهینه غیرمتمرکزOptimal Decentralized Control

• Optimal control problem subject to decentralized information structure constraints

که • محل!ی های حال!ت ب!ه فق!ط محل!ی فیدب!ک ه!ر اطالعات آنها کامل است دسترسی دارد

13

Optimal Decentralized Controllers

حالت های هر زیرسیستم و همسایه های آن •در اطالعات انتقال یا گیری اندازه ب!!ا

دسترس استه!ا همخوانی • بی!ن عام!ل اهداف هماهن!گ ب!ا

داردمحاسبات موازی و توزیع شده•

14

MPC توزیع شده هر عامل : متغیرها، تابع هزینه و قیود محلی مسائل بهینه سازی محلی کو!چکتر از مساله بهینه

سازی متمرکزدرجه ای از هماهنگی بین عامل ها نیاز است تامین اطالعات مورد نیاز

15

آرایش بندی در سیستم های چندعاملی

ايجاد تعامل!ي مناس!ب بي!ن تعدادي از عامل ها •در يک فضاي مشخص

های • سیستم در مه!!م مس!!ائل از یک!!ی بين هماهنگ!ي و همكاري مس!ئله چندعامل!ی

عامل از به تعدادي اس!ت قرار ك!ه هاس!ت الگوي خاصي دست يابند.

ه!ر گاه اي!ن تعام!ل در ي!ك فض!ا نمود پيدا كند، •آرايش ) آنگاه عنوان تعبير Formationبندي )

مناسبي براي آن است. 16

بندي در طبيعت آرايشبندي در ط!بيعت ني!ز قاب!ل مشاهده است آرايش

می و ک!ه آسمان در پرندگان حرك!ت ب!ه توان .ه کردها در محيط اشار پخش شدن گونه

17

بندي در طبيعت آرايش

18

انواع هدف در آرایش بندی

19

بندي ثابت آرايشرس!يدن ب!ه آراي!ش مناس!ب ب!ه عنوان ص!ورت مسئله مطرح

شود. ميه!ا در محي!ط پراكنده هس!تند و باي!د ضم!ن تعامل در ابتدا عامل

ه!ا ب!ه س!مت آرايش!ي كه بر ب!ا محي!ط، در حضور س!ایر عاملشود، همگرا شوند. هاي مسئله تعيين مي اساس خواسته

20

بندي متحرك آرايش

21

حفظ يا تغيير هدف اصلي مناسب آرايش حين تغييرات محيط و در حضور ساير

استها عامل

بندي متحرك انواع آرايشدر محي!ط مدنظ!ر قرار گرفته و ره:بر . ي!ك عام!ل ب!ه عنوان1

اتخاذ س!اير ع!امل آ!ن!، تص!ميم! مناسب را ب!ا تعام!ل ه!ا در كنند. مي!

مجازي . 2 شرايط ره:بر و هدف اس!اس بر ك!ه بوده ع!امل س!اير آن محي!ط، ب!ا را خود مجازی ب!ه ص!ورت ه!ا

كنند. تنظيم! مي!

هاي همسايه خود را ب!ا عامل محل:ي: ه!ا ب!ه ص!ورت . عامل3و س!عي مي! به هماهن!گ کرده آراي!ش، كنن!د ض!م!ن حف!ظ تغييرات محيط پاسخ دهند.

22

بندي فضايي/ منطقی آرايشبندي فضايي آرايش

تعريف مي تعامالت مختص!اتي هدف اص!لي شود ص!رفاً عامل س!اير ب!ا تعامالت همين ك!ه ب!ه محدود ني!ز ه!ا

فرض است.

االضالع ه!ا در س!ه گوش!ه ي!ك مثل!ث متساوي آرای!ش عامل

ها هدف: حفظ فاصله مساوی بين همه عامل

23

مثال

بندي منطقي آرايشآرايش مي تعمی!م كه توان دانس!ت بندي فضاي!ي

دیگری پارامترهای فضایی مختص!ات بر عالوه گيري دخیل هستند. نیز در تعیین تصميم

شبكه پدافند موشكي پارامترهاي!ي مث!ل فاص!له ام!ن از يكديگر، ميزان

مراكز هم از فاص!له و اختفاء ميزان پوشان!ي، حساس نيز مورد توجه است.

24

مثال

موانع هوشمند/ غيرهوشمند تأثي!ر محيط حرك!ت عامل تح!ت در محي!ط ه!ا

مي محدوديت محدود اي!ن از يك!ي ها شود. وجود موانع است.

موانع استاتيكدر پارامترهاي هدف تأثيرگذار نيستند.

آنها ب!ا تعام!ل و بوده هوشمن!د غي!ر موان!ع اي!ن آسان است.

25

در مقاب!ل ممك!ن اس!ت موانع!ي وجود داشتهباشن!د ك!ه ابعاد هدف را تغيير داده و بعضاً در

عامل بي!ن رقاب!ت بروز ممكن ص!ورت ه!ا، اس!ت كالً ص!ورت مس!ئله را تغيير دهند.)لزوم

تطبيق و يادگيري(

26

کاربردهاشبكه! سنسورهاي بي سيم در محيط هاي تداخلي•انجام عمليات جستجو )امداد و نجات، مين يابي(•كنترل حركت ماهواره در مدار زمين•روابط بين المللی•امنيت شبكه هاي اينترنتي•مديريت بحران و منابع•سپر دفاع موشكي•محيط نبرد•

27

ارز هاي معادل يا هم واژهكنند تر بررسي مي های خاصي را دقيق هر يك جنبه•

28

ائتالف Coalition

دنبال عامل• را يكساني اهداف الزاماً ه!!ا انجام نمي ادامه در اس!ت ممك!ن ول!ي كنن!د،

به زمان!ي خاص!ي در مقاط!ع وظاي!ف محول!ه يكديگر نياز داشته باشند.

كل!ي • ائتالف در حال!ت هدفدار و موقت ” شكل میان!ی هدف ي!ك اس!اس بر ك!ه بوده

رس!د كه هدف از گرفت!ه و زمان!ي ب!ه پايان ميبي!ن رفت!ه باش!د ي!ا ادام!ه آ!ن ب!ا اهداف اوليه در ائتالف در حضور ادامه اينك!ه ي!ا باش!د تضاد

سودي براي عامل نداشته باشد“ . 29

Flocking behavior حرکت گله ایيكي از انواع رفتارهاي اجتماعي •عامل• از بزرگ!ي ي!ك ‌‌‌گروه ب!ا يكس:ان ه!ا در هدف هم ب!ا

فاصله مشخص ها در يك . در اين رفتار همه عاملاند تعامليكس:ان ب!ا و س:رعت موانع ب!ا برخورد از و كرده حرك!ت

كنند. يكديگر خودداري ميكاربردها:•سنسورهاي • از بزرگ!ي گروه از اس!تفاده ب!ا محي!ط پاي!ش

متحرك تحويل موازي بار به مقصد• انجام عمليات امداد و نجات•

30

Coverage كنترل پوشش Control

:هدف• انجام در مناسب همپوشان!ي! ايجاد يك وظيفه ه!مگاني است

بندي ثابت مشابه آرايش•تفاوت : ه!دف پوشش محيط است و تأكيدي •

بر روي آرايش وجود ندارد

31

Consensusاجماع

رس!يدن هم!ه عامل ه!ا ب!ه ي!ك حال!ت واحد و يكسان و ايجاد هماهنگي بين آنها

32

RHCحل مساله آرایش بندی با Why RHC?- Generality: generic state & control cons.

- Reconfigurability: redefine functions & cons. To reflect changes

Why not RHC?- Computational demand- Theoretical Conservation: proofs of stability

33

RHCتوزیع شده راه حل غیر متمرکز مزایای زیر را دارد:

خودمختاری زیرسیستم ها حفظ می شود.•• scalableخودمختاری عام!ل ه!ا حف!ظ م!ی شود و نتیجه

قابل گسترش به تعداد زیادی عامل است. توزی!ع شده: در تئوری فق!ط یک RHCمشک!ل

راه ح!ل متمرک!ز، پایداری مجانب!ی را تضمین می کند.

34

RHCحل مساله آرایش بندی با یک • و شود م!ی! تعری!ف مناس!بی! هدف تاب!ع

نهایی ه!دف تحق!ق برای بهین!ه کنترل مس!اله در ها ربات هماهنگ!ی! و بندی آرای!ش یعن!ی قال!ب کنترل پی!ش بی!ن مبتن!ی بر مدل ح!ل می

شود.هدف ای!ن اس!ت ک!ه ب!ا اس!تفاده از روش! افق •

سوی ب!ه را ه!ا عام!ل از گروه!ی! بی!ن پی!ش هدف مشترکی هدایت کرده و پایدار کنیم.

•35

قیود در سیستم های چندعاملی ممکن قیود دارند. دینامی!ک ی!ک ه!ر ه!ا عام!ل

اس!ت برای ه!ر ی!ک از عام!ل ه!ا به طور فردی کنترلی محدود ورودی مثال باش!د داشت!ه وجود

برای هر عامل. دس!ته دیگری از قیود وجود دارن!د ک!ه! مربوط به

ذات سیستم هستند. مثال قید نانهولونومیک بس!ته ب!ه هدف!ی ک!ه تعری!ف شده ب!ه وجود می

ب!ا ه!م کوپ!ل م!ی کنند مثال آین!د و عام!ل ه!ا را قیود جلوگیری از تصادم.

36

معرفی سیستم و شرایط مسالهبرای هر عامل

37

حالت ها و کنترل

{1,..., }ai N

2( ) ( ( ), ( )) ni i iz t q t q t

( ) niu t

( ) ( ), 1,...,i i aq t u t i N

دینامیک هر یک به صورت زیر است

دینامیک خطی و همسان برای عامل ها

معرفی سیستم و شرایط مسالههر عامل تحت قیود ورودی و حالت زیر قرار دارد

38

( ) , ( ) , 0i iu t z t t U Z

ای!ن اس!ت ک!ه تمام!ی عام!ل ها هدف کنترل:ی به طور مجانبی و با همکاری یکدیگر به

ک!ه ی!ک نقط!ه تعادل معادل!ه دینامی!ک س!یستم است برسند

1( ,..., ) a

a

Nc c cNz z z Z

RHCمتمرکز همکاری عامل ها با مینیمم کردن تابع هزینه زیر •

تحقق می یابد

39

0

2 2 2 2

( , )( , ) i j ij di jL z u q q d q q q u

E

, , وزن های ثابت و مثبت 2

dq q هزینهTracking1 2 3( ) / 3c c c

dq q q q

1 2 3( ) / 3q q q q

RHCمتمرکز

در ای!ن مرحل!ه الزم اس!ت فرضیات!ی در نظ!ر گرفته شوند.

مثال اینکه تما!م حالت ها قابل اندازه گیری هستند.دینا!میک پیشروی برابر در انجام محاس!بات زما!ن

حلقه بسته قابل صرفنظر کردن است.

40

می توان تابع هزینه جمعی را به صورت 2معادل زیر نیز بنویسیم 2( , ) c

QL z u z z u

centralized open-loop optimalcontrol problem

41

*

( )

2

2

( ( ), ) min ( ( ), ( )) ( ( )),

( ) ( ), ( ) , ( ) , [ , ],( ; ( )) ( ),

( ) , 0

( ) : { : ( ) , 0}

a a

a

t T

ut

N N

c T

P

nN

J z t T L z u d G z t T

subject to

q s u s u s z s s t t Tz t T z t

whereG z z z P P and

z G z

U Z

RHCمتمرکز مسئله کنترل بهینه مورد نظر را در زمان

42

0t مقدار دهی اولیه می کنیم

دوره زمانی به روز شدن افق غلطکی*

0( ) ( ),centq u t سیستم حلقه بسته

قانون کنترل افق پیش بین متمرکز به صورت زیر است

* *( ) ( ; ( )), [ , ],0cent centu u z t t t T

RHCتوزیع شده ه!ر دو عامل!ی ک!ه ب!ا ه!م همکاری م!ی کنن!د همسایه

نامیده می شوند.

Gگراف تعامل بین عامل هاست

iبرای هر عامل

43

Decoupled integrated Cost

44

RHCتوزیع شده ه!ر عام!ل ب!ا دردس!ت داشت!ن حال!ت کنونی خود و •

همس!ایه های!ش مس!اله کنترل بهین!ه حلقه باز خود را حل می کند.

، کنترل مفروض iقب!ل از ه!ر آپدی!ت، ه!ر عامل •برای ه!ر کدام از همس!ایه های خو!د را دریافت

می کند.

45

RHC توزیع شده

46

RHC توزیع شده

47

Local compatibility constraint

این قید تضمین می کند که هیچ عاملی در مساله •بهینه سازی از آنچه که همسایه هایش از آن انتظار

دارند، خیلی فراتر نمی رود.

• Degree of consistency between what a vehicle plans to do and what neighbors believe that vehicle will plan to do

متناظر با توان دوم پریود آپدیت است.•48

Controller

49

پایداریهدف رساندن حالت ها به مبدا •

• Optimal Cost Function as Lyapunov function

• Terminal Constraints Terminal inequality constraint Terminal cost function

50

Dual-Mode RHC• Robustness to model uncertainty in the

presence of generic state constraints by making the constraints more conservative.

51

Centralized

52

Distributed

53

مقایسه روش هامحاسبات • ب!ه نس!بت شده توزی!ع محاس!بات برتری

موازی:بهینه • مس!اله ح!ل هنگام در شده توزی!ع روش در

سازی هیچ انتقال اطالعاتی بین عامل ها نیاز نیستبهینه • تکرار مس!اله در حی!ن بهین!ه س!ازی موازی در

سازی، مسائل با هم در ارتباطند.هزینه ارتباطی پایینتر•

54

مراجع1. Distributed Receding Horizon Control of Multi-agent Systems, William B. Dunbar,

California Institute of Technology Pasadena, California, 20042. Receding Horizon Control of Multi-Vehicle Formations: A Distributed Implementation,

William B. Dunbar, Richard M. Murray, Control and Dynamical Systems 107-81, California Institute of Technology, Pasadena, CA 91125, 2004 IEEE CONFERENCE ON DECISION AND CONTROL

3. Distributed Model Predictive Control By Eduardo Camponogara, Dong Jia, Bruce H. Krogh, and Sarosh Talukdar, Department of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, U.S.A, IEEE Control Systems Magazine

با 4. رقابت:ي محيط هاي در تقويت:ي يادگيري از اس:تفاده ب:ا عامل ه:ا آرايش بندي بازي جن::گ، در رس::اله ، دانشكده مهندس::ي برق، دانشگاه ص!!نعتي اميرك!!بيركاربرد

دكت:ر ، دكت:ر احمدافشار،عل:ي اکرم:ي زاده، دکتراي مهندس:ي برق گراي:ش كنترل.1389، محمدباقر منهاج

55

56

با تشکر از توجه شما

57