محمد صادق رسولي rasooli.ms{AT}gmail.com

سمينار كارشناسي ارشد مهندسي كامپيوتر گرايش هوش مصنوعي و رباتيكدانشگاه علم و صنعت ايران

دكتر بهروز مينايي بيدگلي: استاد راهنما

1389پاييز

بسم اهللا الرحمن الرحيم

پردازش زبان طبيعي

فهرست

زبان چيست؟�

پيچيدگي فهم زبان�

پردازش زبان طبيعي�

پردازش نحوي زبان طبيعي�

دستور زبان�

تعريف تجزية نحوي�

)قطعه يابي(تجزية كم عمق �

تجزيه با روش احتمالي�

استنتاج دستور زبان�

rasooli@comp.iust.ac.ir

2

پردازش زبان طبيعي

)ادامه(فهرست

رويكردهاي اصلي نمايش نحوي زبان طبيعي�

)مبتني بر عبارات(دستور مستقل از متن �

نمايش صوري دستور مستقل از متن�

دستور مبتني بر يكسان سازي�

ساختار ويژگي�

دستور وابستگي�

ظرفيت و دستور وابستگي�

rasooli@comp.iust.ac.ir

3

پردازش زبان طبيعي

)ادامه(فهرست

روش هاي تجزية نحوي�

تجزية نحوي با دستور مستقل از متن�

وابستگيتجزية نحوي با دستور �

نيازمندي هاي امروز زبان فارسي�

جمع بندي و كارهاي آينده�

مراجع اصلي�

rasooli@comp.iust.ac.ir

4

پردازش زبان طبيعي

زبان چيست؟

گفته زبان حرفه، يك يا مليت يك در افراد بين ارتباط براي كار و ساز هر به�.)2008 كمبريج، واژگان فرهنگ( مي شود

است واژه ها و صداها از استفاده با افراد بين ارتباط سامانة يك عنوان به�.)2000 آكسفورد، فرهنگ( زباني دريافت و توليد شامل زبان ،ممكن سطح ساده ترين در زبان شناسي در�

.)2005 ديگران، و كَن( است

rasooli@comp.iust.ac.ir

5

پردازش زبان طبيعي

پيچيدگي فهم زبان

و مي شود آموخته ارثي و فطري صورت به اطالعات از برخي زبان يك فهم براي�.است ناكامل مي شود، ارائه ناآگاه كودك يك به كه زباني اي اطالعات

زبان كودك يك چگونه كه است همين مبهم مسائل از يكي دليل همين به� .مي آموزد تولد از پس را تازه اي

همين زبان شناسي، مسألة اصلي ترين )1986 چامسكي،( چامسكي ديدگاه از�Poverty( تحريك ضعف مسألة آن به كه است مسأله of Stimulus( گويند.

rasooli@comp.iust.ac.ir

6

پردازش زبان طبيعي

پردازش زبان طبيعي

:)2009 مارتين، و جورافسكي( مي شود تقسيم مختلف سطوح به دانش اين�)Phonetics( آواشناسي و )Phonology( واج شناسي�)Morphology( ساخت واژي تحليل�)Syntax( نحو�)Semantics( معنا�)Pragmatics( كاربرد� )Discourse( گفتمان�

هم از زبان پردازش سطوح كامل كردن جدا معناي به ارائه شده، سطح بندي هاي� .نيست

rasooli@comp.iust.ac.ir

7

پردازش زبان طبيعي

پردازش نحوي زبان طبيعي

نحو حوزة در زبان فهم آن ها، در كه هستيم روبرو مسائلي با نحوي پردازش در� .مي گيرد صورت

است كاري زباني متنِ يك در عبارات و جمله ها واژه ها، چينش ترتيب كشف�.بگيرد صورت بايد نحوي پردازش در كه

كاري زبان، از ساده ساختارهاي كشف موجود، ابهام هاي و پيچيدگي ها وجود با�.)2005 ديگران، و كن( است )Parsing( تجزيه همان زبان فهم و است شدني

rasooli@comp.iust.ac.ir

8

پردازش زبان طبيعي

دستور زبان

زباني نظام مند قواعد تبيين و توصيف شناخت، مفهوم، كلي ترين در زبان دستور�.)1382 طباطبايي،( است

اين .دارند تعامل يكديگر با كه است شده ساخته دستگاه چند از دستور� :)1993 كاتامبا،( است ذيل موارد شامل دستگاه ها

)واژه ساختار مورد در دانش( )Inflection( صرف و واژگان�نحو� منطقي دستگاه )4 و ،)مي پردازد گفتار در گفته ها بازنمايي به كه( آوايي دستگاه�)مي پردازد معني به كه(

rasooli@comp.iust.ac.ir

9

پردازش زبان طبيعي

تعريف تجزية نحوي

اين كه است ساده تري ساختارهاي به پيچيده ساختار هر تبديل فرآيند� ديگران، و بونت( مي سازند را نظر مورد پيچيدة ساختار هم، كنارِ در ساختارها

2005(..)2005 بيگرت،( مي شود يافته جمله واژه هاي بين ارتباط نحوي تجزية در� نحوي تجزية دهيم، نشان درختي ساختار با را واژه ها بين ارتباط نحوة اگر�

.)2009 مارتين، و جورافسكي( است جمله هر به ممكن درخت بهترين اختصاص

rasooli@comp.iust.ac.ir

10

پردازش زبان طبيعي

)قطعه يابي(تجزية كم عمق

ارتباط شده، كشف جمله يك در مجاور واژه هاي بين ارتباط كم عمق، تجزية در� .نمي شود كشف هم با مجاور ساختارهاي بين

تجزية در دهيم، نشان درخت صورت به را جمله كلي ساختار بخواهيم اگر� كردن پيدا به تنها و شد نخواهند كشف درخت بااليي گره هاي كم عمق

.)2005 بيگرت،( مي شود بسنده مجاور واژگاني ساختارهاي به علت همين به و مي شود ناميده )Chunk( قطعه مجاور ساختارهاي اين �

.)2003 كَرول،( گويند )Chunking( قطعه يابي كم عمق تجزية

rasooli@comp.iust.ac.ir

11

پردازش زبان طبيعي

تجزيه با روش احتمالي

آوانويسي شده گفتاريِ يا نوشتاري متون از مجموعه اي پيكره زبان، دانش در� برد كار به زباني توصيف و تحليل براي مبنايي عنوان به را آن مي توان كه است

.)1998 كندي،( پيكرة است، شده درج زباني اطالعات آن ها در كه متني اي پيكره هاي به�

Annotated( نشانه گذاري شده Corpus( مي شود گفته )،2009 ويل كوك(. واژه ها بين نحوي ارتباط نشانه گذاري شده، پيكرة از استفاده با احتمالي روش در�

تجزيه جديد جمالت روي بر الگو، اين اساس بر و مي شود آموخته تجزيه الگوي .)2001 كين يون،( مي شود انجام

rasooli@comp.iust.ac.ir

12

پردازش زبان طبيعي

استنتاج دستور زبان

استنتاج فرآيند اين به مي آيد، دست به زباني الگوي پيكره اي روي از وقتي�Grammar( زبان دستور Induction( مي شود گفته )،1993 بريل(.

را آن مي شود محسوب يادگيري فرآيند يك نوعي به فرآيند اين كه آن جايي از� و ثيراموكونگ( مي كنند طبقه بندي نيمه ناظر و بي ناظر باناظر، ردة سه به

.)1995 اوكاروما،

rasooli@comp.iust.ac.ir

13

پردازش زبان طبيعي

رويكردهاي اصلي نمايش نحوي زبان طبيعي

در مجموع دو رويكرد كلي زبان شناسي براي نمايش زبان نحوي زبان طبيعي �. وجود دارد

و رويكرد ) Phrase Structure(رويكرد اول دستور زبان هاي مبتني بر عبارات �. است) Dependency(دوم مبتني بر دستور وابستگي

rasooli@comp.iust.ac.ir

14

پردازش زبان طبيعي

)مبتني بر عبارات(دستور مستقل از متن

شكل )Constituency( سازه اي دستورهاي مبناي بر متن از مستقل دستور� .است گرفته

يك گروه هر كه واژ ه هاست از گرو ه هايي شامل جمله هر سازه اي، دستورهاي در� گفته )Constituent( سازه عبارت، يا گروه اين به كه مي سازد را عبارت يا واحد

.)2009 مارتين، و جورافسكي( مي شود با زبان دستور به و مي شود گفته )Formal( صوري زبان زبان هايي، چنين به�

زبان دستور طبيعي، زبان الگوسازي براي صوري زبان هاي اين از استفادهGenerative( زايشي Grammar( گويند )،1956 چامسكي(.

rasooli@comp.iust.ac.ir

15

پردازش زبان طبيعي

نمايش صوري دستور مستقل از متن

آن در كه است مرتب چهارتايي شامل متن از مستقل دستور� پاياني نمادهاي مجموعة و )Non-Terminal( غيرپاياني نمادهاي مجموعة

(Terminal)، توليد قواعد مجموعة )Production Rules( كه صورت به و پاياني نماد چند يا يك دنبالة از مجموعه اي Α و غيرپاياني نماد يك β آن در

.است آغازين نماد و تهي رشتة يا و غيرپاياني يك ساخت براي استفاده مورد قوانين استخراج معناي به )Derivation( اشتقاق�

اشتقاق درخت به واژه ها از رشته اي نگاشت معناي به تجزيه و است جمله.)2009 مارتين، و جورافسكي( است متناظرش

rasooli@comp.iust.ac.ir

16

S)R,Σ,(N,

پردازش زبان طبيعي

دستور مبتني بر يكسان سازي

عنوان به .است نشده گرفته نظر در مسائلي متن، از مستقل دستورهاي در�.است جمله نحوي اجزاي بين نحوي مطابقت مسائل اين از يكي مثال،

ويژگي ها اين .مي شود اعمال محدوديت زباني ويژگي هاي روي بر صورت اين در�.مي شود گنجانده ويژگي ساختار در

Reductionist( كاهش گري ديدگاه اساس بر� Perspective(، پيچيدة مسألة Feature( ويژگي ها سادة ساختارهاي به جمله يك در مطابقت ها بررسي

Structure( شد خواهد تقسيم )2009 مارتين، و جورافسكي(.

rasooli@comp.iust.ac.ir

17

پردازش زبان طبيعي

ساختار ويژگي

Attribute-Value(ارزش - ساختار ويژگي ها در ماتريسي با نام ماتريس ويژگي�

Matrix (AVM) (ذخيره مي شود .

rasooli@comp.iust.ac.ir

18

پردازش زبان طبيعي

دستور وابستگي

و )Structuralist( ساخت گرا نظريه هاي از يكي وابستگي دستور نظرية� وابستگي روابط بررسي طريق از آن در اساساً كه )Formalist( صورت گراست

زبان هاي در نحوي ساخت هاي توصيف به زبان، در وابسته و هسته عناصر بين.)1385 طبيب زاده،( مي شود پرداخته گوناگون

با نامتقارن دودويي روابط با واژه ها اين كه است واژه هايي شامل نحوي ساختار� مي شود گفته وابستگي يا وابستگي ارتباط روابط، اين به .هستند ارتباط در هم.)2009 ديگران، و كوبلر(

rasooli@comp.iust.ac.ir

19

پردازش زبان طبيعي

)ادامه(دستور وابستگي

جمله هر كه اين نخست .دارد وجود وابستگي دستور نظرية در اساسي فرض دو� و اجباري متمم هاي تعداد و نوع اساس بر كه اين دوم و دارد مركزي فعل يك

رفته كار به آن ها در فعل كه را جمله هايي بنيادين ساخت مي توان اختياري، .)1385 طبيب زاده،( كرد تعيين است،

)Head( رس ديگر واژة و )Dependent( وابسته واژه يك رابطه ها اين همة در�.)2009 ديگران، و كوبلر( است

rasooli@comp.iust.ac.ir

20

پردازش زبان طبيعي

ظرفيت و دستور وابستگي

كه نحوي ظرفيت مسألة از است عبارت وابستگي، دستور در مبحث مهم ترين� بر .مي شود پرداخته صفت و اسم فعل، وابسته هاي مورد در بحث به آن در

.)1385 طبيب زاده،( است فعل جمله ساختاري ثقل مركز نظريه، اين اساس براي واژگاني مقوله هاي كه است متمم هايي تعداد و نوع معناي به ظرفيت�

.دارند نياز جمله نحو شدن كامل اين مبين مي گيرد، صورت آن مركزي فعل حول جمله بنيادين ساخت كه اين�

مشخص كنندة خود بشود، جمله وارد كه آن از پيش فعل هر كه است واقعيت .)1385 طبيب زاده،( است بنيادين ساخت نوع

rasooli@comp.iust.ac.ir

21

پردازش زبان طبيعي

درخت نحوي مبتني بر عبارات

rasooli@comp.iust.ac.ir

22

پردازش زبان طبيعي

درخت نحوي وابستگي

rasooli@comp.iust.ac.ir

23

پردازش زبان طبيعي

تجزية نحوي با دستور مستقل از متن

. معموالً دو روش اصلي در تجزية نحوي وجود دارد�Goal( هدف محور جوي و جست يا پايين به باال صورت به جمله اول روش در�

Directed Search( از جمله روش اين در .مي گيرد قرار نحوي پردازش مورد همة موازي صورت به و تجزيه به شروع )S يعني( زبان دستور آغازين گره

.مي شود ساخته ممكن زيردرخت هايData( داده محور جوي و جست يا باال به پايين روش دوم، روش� Directed

Search( دارد نام )2009 مارتين، و جورافسكي(.

rasooli@comp.iust.ac.ir

24

پردازش زبان طبيعي

)ادامه( تجزية نحوي با دستور مستقل از متن

Dynamic( پويا برنامه سازي روش هاي در� Programming( با دشوار مسألة هر مي شود تقسيم ساده تر زيرمسأله هايي به جدول هايي كردن پر از استفاده

.)2009 مارتين، و جورافسكي(

سه الگوريتم اصلي تجزيه با استفاده از برنامه سازي پويا، الگوريتم هاي سي كي �. و تجزية مبتني بر نمودار هستند) Early(، ارلي )CKY(واي

.در دستور مبتني بر يكسان سازي، همين روش ها تعميم داده مي شوند�

rasooli@comp.iust.ac.ir

25

پردازش زبان طبيعي

تجزية نحوي با دستور وابستگي

:رويكردهاي اصلي�در اين روش ها، از ساختمان دادة پشته ): Transition Based(روش مبتني بر گذار ) 1

و برنامه سازي پويا استفاده مي شودGraph( گراف بر مبتني روش )2 Based(: پيدا به مسأله نگاشت با روش ها، اين در

Maximum( بيشينه پوشاي درخت كردن Spanning Tree(، ممكن تجزية بهترين .مي شود يافت

rasooli@comp.iust.ac.ir

26

پردازش زبان طبيعي

نيازمندي هاي امروز زبان فارسي

تحليل ساخت واژي پيش نياز تحليل نحوي�

بسيار نزديك حوزة تحليل ساخت واژي در زبان فارسي به حوزة نحويدر فارسي �.است

شناخت فعل جمله�

در زبان فارسي يكي از مسائلي )خصوصاً فعل مركب( وجود ابهام در شناخت فعل�. است كه هنوز بر سر آن اتفاق نظر وجود ندارد

ظرفيت و ديدگاه وابستگي�

متأسفانه تمام كارهاي زبان شناسي انجام شده در اين زمينه در زبان فارسي بسيار �.محدود است

rasooli@comp.iust.ac.ir

27

پردازش زبان طبيعي

جمع بندي و كارهاي آينده

آينده در انجام براي مناسبي پروژه هاي مي توانند نگارنده، نظر از كه كارهايي�:باشند

توليد پيكره هاي نشانه گذاري شدة نحوي�

خطايابي نحوي بر اساس ظرفيت با ديدگاه وابستگي�

استنتاج بي ناظر افعال پيشوندي، مركب و مركب پيشوندي�

استنتاج بي ناظر دستور زبان�

استنتاج بي ناظر ظرفيت�

rasooli@comp.iust.ac.ir

28

پردازش زبان طبيعي

مراجع اصلي

[1] R. Canne, R. Kempson, and L. Marten, The Dynamics of Language:Elsevier Academic Press, 2005.

[2] A. S. Clark, “Unsupervised Language Acquisition: Theory andPractice,” University of Sussex, 2001.

[3] D. Jurafsky, and J. H. Martin, Speech and Language Processing: AnIntroduction to Natural Language Processing, ComputationalLinguistics, and Speech Recognition, 2 ed., Upper Saddle River, NewJersey: Pearson, Prentice Hall, 2009.

[4] G. Wilcock, Introduction to Linguistic Annotation and Text Analytics:Morgan & Claypool publishers, 2009.

rasooli@comp.iust.ac.ir

29

پردازش زبان طبيعي

)ادامه(مراجع اصلي

[5] H. Bunt, J. Carroll, and G. Satta, New Developments in ParsingTechnology: Kluwer Academic Publishers, 2005.

[6] J. Bigert, “Automatic and Unsupervised Methods in Natural LanguageProcessing,” Numerical Analysis and Computer Science, KTH,Stockholm, Sweden, 2005.

[7] J. Carrol, "Parsing," Oxford Handbook of Computational Linguistics:Oxford University Press, 2003.

[8] S. Kübler, R. McDonald, and J. Nivre, Dependency Parsing: Morgan &Claypool, 2009.

[9] D. J. Allerton, Valency and the English Verb, London: Academic Press,1982.

.

rasooli@comp.iust.ac.ir

30

پردازش زبان طبيعي

)ادامه(مراجع اصلي

[10] E. F. T. K. Sang, and H. Déjean, “Introduction to the CoNLL-2001Shared Task: Clause Identification,” in Proceedings of CoNLL-2001,Toulouse, France, 2001.

[11] S. Abney, “Statistical Methods in Language Processing,” WileyInterdisciplinary Reviews: Cognitive Science 2010.

[12] A. Clark, and S. Lappin, "Unsupervised Learning and GrammarInduction," Computational Linguistics and Natural LanguageProcessing Handbook, A. Clark, C. Fox and S. Lappin, eds.: Blackwell,2009.

[13] M. Dabir-Moghaddam, “Compound verbs in Persian,” Studies in theLinguistic Sciences, 1997.

rasooli@comp.iust.ac.ir

31

پردازش زبان طبيعي

)ادامه(مراجع اصلي

[14] E. F. T. K. Sang, and S. Buchholz, “Introduction to CoNLL-2000Shared Task: Chunking,” in CoNLL-2000 Shared Task, Lisbon,Portugal, 2000, pp. 127-132.

[15] S. P. Abney, “Parsing by Chunks,” Principle-based parsing, 1991.

ويژه نامة( فرهنگستان نامة “رايانه، با فارسي زبان دستوري پردازش” عاصي، .م ]16[.1383 ،52-29 .صص ،1 شمارة ،1 جلد ،)دستور

“رو، پيش چالشهاي گذشته، دستاوردهاي :فارسي متون پردازش” شمس فرد، .م ]17[.1384 رايانه، و فارسي زبان پژوهشي كارگاه دومين

مركز، نشر :امروز فارسي در جمله بنيادين ساختهاي و فعل ظرفيت طبيب زاده، .ا ]18[1385.

rasooli@comp.iust.ac.ir

32

پردازش زبان طبيعي

)ادامه(مراجع اصلي

مركز نشر : طباطبايي، اسم و صفت مركب در زبان فارسي، تهران. ع] 19[�.1382دانشگاهي،

rasooli@comp.iust.ac.ir

33

پردازش زبان طبيعي

با تشكر از توجه شما

34

rasooli@comp.iust.ac.ir