بسم ال الرحمن الرحیمبسم ال الرحمن الرحیمداننص ه صنعتی شریف داننص ه مهندسی کام��رت

ن مو ا پیر ت ا ک ن خی ن ب مو ا پیر ت ا ک ن خی بزی ا س شبیه ک ا ب ی ا ن ا ی را ی ه ن ا م ا س بی ا ی ز ر زیا ا س شبیه ک ا ب ی ا ن ا ی را ی ه ن ا م ا س بی ا ی ز ر ا

صادق دری نوگورانیصادق دری نوگورانی

۱۳۹۵ دی ۱۱آزمایشگاه امنیت داده و شبکه –

۲ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

برخی روش های ارزیابی کارایی برخی روش های ارزیابی کارایی ساختن نمونه واقعی

(صوری) تحلیلیمدل سازی ریاضی و محاسبه شاخص های کارایی-

شبیه سازیتقلید (مو به موی سامانه واقعی)-شبیه سازی بر اساس مدل(های ساده شده)-

۳ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

انواع مدل هاانواع مدل ها

۴ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

کجاها شبیه سازی نباید استفاده شود؟کجاها شبیه سازی نباید استفاده شود؟.ارزیابی به صورت شهودی ممکن است

.روش های تحلیلی قابل استفاده است

.آزمایش مستقیم ساده تر است

.شبیه سازی به صرفه نیست

.زمان و منابع کافی موجود نیست

.رفتار سامانه بیش از حد پیچیده است

۵ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

معایب شبیه سازیمعایب شبیه سازیتجربه و تخصص در زمینه مدل سازی

زمان بر و هزینه بر بودن مدل سازی و اجرای شبیه سازی

اطمینان از درستی شبیه سازی و نتایج به دست آمده

۶ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

دسته بندی مدل های شبیه سازیدسته بندی مدل های شبیه سازی

۷ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

گام های شبیه سازیگام های شبیه سازی

۸ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

گام های شبیه سازی (ادامه)گام های شبیه سازی (ادامه)

۱۱ دی ۱۳۹۵ ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی

9

چالش‌های‌ارزیابی‌به‌کمک‌شبیه‌سازیچالش‌های‌ارزیابی‌به‌کمک‌شبیه‌سازی

Do not trust all simulation studies of telecommunication networks, K. Pawlikowski, Invited talk at ICOIN'2003.

۱۰ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

چالش های اصلیچالش های اصلی‌:شبیه سازی مبتنی بر مدل سازی است.مدل‌سازی‌درست

درصد کل کار۳۰-۴۰-ورودی ها، شبکه و بقیه محیط، خود سامانه با جزئیات کافی-

شبیه‌سازی‌(آزمایش)‌درستمنابع مناسب برای مقادیر تصادفی-تحلیل درست خروجی شبیه سازی-

قابل تکرار بودناطلاعات کافی برای صحت سنجی و تکرار مجدد-

۱۱ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

مسأله اعداد تصادفیمسأله اعداد تصادفی) ااعداد شبه تصادفیPRNG(

تولید به کمک الگوریتم ریاضی-

دوره تناوب محدود:۱چالش‌ دوره تناوب باید آنقدر طولنی باشد که تا پایان یک دور -

شبیه سازی به پایان نرسد.در غیر این صورت، ممکن است بین اجزای شبیه سازی -

همبستگی های پنهان و ناخواسته ای به وجود آید!- CPU 2.2GHz, L=231 → Whole cycle in 4.8 min's- 1% of simulation time → Longest run = 8 hours

۱۲ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

))۲۲مسأله اعداد تصادفی (مسأله اعداد تصادفی (یکنواختی توزیع و انواع دیگر خصوصیات آماری:۲چالش‌

اغلب آزمون های یکنواختی، کل دوره تناوب را تأیید نمی کنند.-لل یکنواختی دوبعدی: حداکثر - )۱۶(ضریب ثابت O(3√L)مث

- L=231-1 → only 20,000 usable numbers!- 1% of 8 hours simulation time → min L = 281.

در اعمل یکنواختی در تعداد بیشتری ابعاد مورد نیاز است.-

:استفاده از نتیجه‌گیری PRNGهای مناسب- Mersenne Twister: L=219937-1, good in upto 623 dim's!

‌سریع‌تر‌Cعلی‌رغم‌وجود‌چنین‌گزینه‌هایی‌که‌حتی‌از‌پیاده‌سازی‌پیش‌فرض‌هستند،‌بسیاری‌ابزارها‌و‌کتابخانه‌ها‌همچنان‌از‌پیاده‌سازی‌های‌ضعیف‌استفاده‌

!)‌۱۹۶۹در‌Knuthمی‌کنند!‌(هشدار‌

۱۳ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

مسأله تحلیل درست نتایجمسأله تحلیل درست نتایج آزمایش آماری← فرایندهای تصادفی

باید از روش های آماری برای تحلیل نتایج آن استفاده شود.-

“... computer runs yield a mass of data but this mass may turn into a mess <if the random nature of such output data is ignored, and then> ... instead of an expensive simulation model, a toss of the coin had

better be used.”

۱۴ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

دسته بندی انواع سؤال�تدسته بندی انواع سؤال�تتخمین پارامتر

یکسان بودن

تعیین رتبه

همبستگی

(رگرسیون) برازش

...

نتیجه: پاسخ سؤال + میزان خطا / معناداری

۱۱ دی ۱۳۹۵ ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی 15

مثال: بازه اطمینان تخمینمثال: بازه اطمینان تخمین Confidence Interval

- A well-known indicator of probabilistic uncertainty.- There is an almost general method to calculate them

(bootstrapping).- Is not bound to a specific uncertainty factor.

Definition:- Δ = [ 1, 2] is the confidence interval of if:τ τ τ δ τ

Example: 0.95 confidence interval of [0.4, 0.6]- The real value is in [0.4,0.6] with probability 0.95

)Pr( 21

۱۶ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

اندازه نمونهاندازه نمونهشبیه سازی و نمونه برداری چقدر باید ادامه پیدا کند؟

) fixed-sample-sizeاندازه نمونه ثابت (-sequential simulation (شبیه سازی ترتیبی (-

) شبیه سازی خاتمه یابندهterminating(کافی است شبیه سازی به تعداد کافی تکرار شود.-

) شبیه سازی حالت ایستاsteady-state(در هر بار تکرار نباید در حالت گذرا نمونه جمع شود.-)multiple replications in parallelسراعت بیشتر: اجرای موازی (-

۱۱ دی ۱۳۹۵ ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی

17

P2PP2Pنمونه:‌شبیه‌سازی‌یک‌شبکه‌نمونه:‌شبیه‌سازی‌یک‌شبکه‌

۱۸ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

ارزیابی پخشارزیابی پخش

۱۹ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

اثر فرکانس تصحیح اثر فرکانس تصحیح جدول انگشتی و جدول انگشتی و

پایدارسازیپایدارسازی

۲۰ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

مدیریت درخت افرازمدیریت درخت افراز

۲۱ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

تعیین طول بازه اطمینان با روش تی-استیودنتتعیین طول بازه اطمینان با روش تی-استیودنت

مقدارtk-1,a/2 Student-t که به ازای آن سطح زیر نمودار چگالی احتمال tمقدار -

می شود.a/2برابر با یک منهای لل - است.۰.۰۱ یا ۰.۰۵آلفا معمو

۱۱ دی ۱۳۹۵ ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی 22

تعیین خطای تخمین با روش خود راه اندازتعیین خطای تخمین با روش خود راه انداز The Bootstrap Method

- A resampling-based method to measure accuracy of almost any statistic using a simple Monte Carlo procedure.

23

۱۱ دی ۱۳۹۵ ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی 24

تعیین بازه اطمینانتعیین بازه اطمینان

مزایا و معایب فرضیات کم و قابلیت استفاده در کاربردهای وسیعمزیت:- فرمول بسته نمی دهد.عیب:- باشد.۳۰ حداقل اندازه نمونه باید عیب:-)b سربار متناسب با تعداد تکرار خودراه انداز (عیب:-

۲۵ارزیابی سامانه های رایانه ای با کمک شبیه سازی - صادق دری نوگورانی۱۱ دی ۱۳۹۵

منابع و مراجعمنابع و مراجع J. Banks, J. S. Carson II, B. L. Nelson, and D. M. Nicol, Discrete-Event

System Simulation, 4th ed. NJ, USA: Prentice Hall, 2005. K. Pawlikowski, “Do Not Trust All Simulation Studies of Telecommunication

Networks,” Invited talk at ICOIN'2003. K. Pawlikowski, “Steady-state Simulation of Queueing Processes: Survey of

Problems and Solutions,” ACM Comput. Surv., vol. 22, no. 2, pp. 123–170, Jun. 1990.

B. Efron and R. Tibshirani, “Bootstrap Methods for Standard Errors, Confidence Intervals, and Other Measures of Statistical Accuracy,” Statistical Science, vol. 1, no. 1, pp. 54–75, Feb. 1986.

J. F. Pallant, SPSS Survival Manual: A step by step guide to data analysis using the SPSS program. Crows Nest, NSW: Allen & Unwin, 2011.