تئوری اطلاعات و کدینک بخش 1 - دکتر حسن توکلی

1جلسه 1كدينگ تئوري اطالعات و

دكتر حسن توكلي: مدرس

1

ارزشيابي

نمره 2: انجام تكاليف •

نمره 4: ميان ترم•

نمره 12: امتحان نهايي•

نمره 2: مقاله درس•

د كه باي(مقاله درس با اتكاء به يك يا چند مقاله كليدي

A4صفحه تايپ شده 6حداكثر) ضميمه مقاله ارائه شده باشدو داراي ساختار مقاله

2

مراجع اصلي

• 1. Elements of information theory, By: T.

cover & j .Thomas, 1991

• 2. Information theory, By: R.Ash, 1965

• 3- Other Sources

3

مقدمه

A Mathematicalمقاله اي تحت عنوان 1948شانون در •

Theory of Communication نوشت كه نگرش جديديبه مخابرات داشت در واقع اين مقاله انقالبي در مخابرات

.ميباشد

4

مقدمه

: در اين مقاله مطالبي با موضوعات زير ارائه شده است

نمايش قالبي براي سيستمهاي مخابراتي ارائه ميشود •

مدلهاي ساده رياضي براي بررسي هر يك از قالبها •

كدينگ: چگونگي تطبيق مدلها و قالبها•

در ارسال و هم بازيابي اطالعات "محدوديت "پذيرش واقعيت •

ي تغيير نگرش در مورد امكانات استفاده از تجهيزات مخابرات•براي رسيدن به يك ارتباط خوب

5

صفر يا محدود: نرخ ارسال

قبل از ايده هاي انقالبي شانون•

ديدگاه جديد شانون•

6

مقاالت شانون

ار مقاله در زمينه تئوري اطالعات نوشت كه به اختص 11شانون •

.چند نمونه از آنها را بررسي مي كنيم

رفتار نويز در "با موضوعيت 1949مقاله اول در سال -1•. ارائه شد "سيستمهاي مخابراتي

آنتروپي زبان "با موضوعيت 1951مقاله دوم در سال -2•. ارائه شد "انگليسي

ظرفيت با احتمال "با موضوعيت 1956مقاله سوم در سال -3•. ارائه شد "خطاي صفر روي كانال نويزي

7

ادامه: مقاالت شانون

ظرفيت "با موضوعيت 1957مقاله چهارم در سال -4• كانالهاي گسسته و بي حافظه و يك باند باالي خطا براي

. ارائه شد "كدهاي بهينه كانال

ا مطالعه كانالها ب "با موضوعيت 1958مقاله پنجم در سال -5•. ارائه شد "اطالعات جانبي در فرستنده

پايه نظريه اي "با موضوعيت 1959مقاله ششم در سال -6•. ارائه شد "نرخ اعوجاج

8

ادامه: مقاالت شانون

كانال هاي دو "با موضوعيت 1961مقاله هفتم در سال -7•. ارائه شد "راهه

باندهاي "با موضوعيت 1967مقاله هشتم و نهم در سال -8•. ارائه شد "پاييني خطا

9

تئوري اطالعات

تئوري بررسي آماري و رياضي سيستمهاي: تئوري اطالعات•

مخابراتي حول سه محور

آنتروپي: اندازه گيري اطالعات منابع) الف•

ظرفيت كانالهاي مخابراتي) ب•

كدگذاري و كدبرداري) ج•

10

سيستم مخابراتي نوعي

11

كدينگ منبع و كدينگ كانال

فشرده سازي داده= كدينگ منبع اطالعات•

گسترش داده= كدينگ كانال•

"محدوديت "•

رده فش=كدينگ منبع= چگونگي توصيف يك منبع اطالعات•

سازي داده

گسترش داده=كدينگ اطالعات= چگونگي ارسال•

•

12

13

ري كانال باين: مثال عملي يك سيستم مخابراتيمتقارن

14

15

16

17

18

19

20