استاد درس: دکتر محسن کاهانی ارائه دهنده

: سید محمد اصغری

92اردیبهشت

یادآوریهدف

/PRP من/JD ترجیح/VB میدهم/TO تا/IN در/DT یک/NN کتابخانه/JJ دانشگاهی/JD مطالعه/VBکنم

روشها

100ارزیابیكلمات كل تعداد

صحيح برچسب با كلمات تعدادAcc

2

فهرست مطالب

3

مشکالت برچسب گذاریساختواژه فارسي و كلمات

وندها مانند نشانه جمع، ضمایر ملکی، کسره اضافهو ...

میـــهــاکتابــ ساختواژه افعالابهام در ساختواژه

نکره ، شناسه دوم شخصیمرد : تشخيص كران كلمات

»کتابها«، »کتاب ها«، »کتاب ها«

4

تحلیلگر ساختواژی

ابهام زدایی از هم نگاره

تشخیص برچسب کلمه

ناشناخته

مدلی از پیاده سازی

5

کارهای انجام شده اولين كار براي برچسب گذاري زبان فارسي

2000آسی و حاجی عبدالحسینیMegerdoomian 2004Raja et al 2007 2007 و 2006ارومچیان ،( 1383)مرادزاده ،(1383 )بي جن خان و مرادزاده

6

پیکره متنی زبان فارسیچند نمونه پیکره

پیکره موازی زبان فارسیهمشهری*پیکره بی جن خان

2.6میلیون تگ دستی 4300 ،موضوع: حقوقي، سياسي، حسابداري

اقتصادي و ...76706واژه

7

برچسب های پیکرهدو نسخه برچسب600 تا 500حدود برچسبها در سه دسته

1برچسب هاي نحوي –ساختواژي اسم، فعل، صفت، قيد، حرف ربط، حرف اضافه، حرف

2برچسب هاي خاص ،ادات شرط، كيفيت نما، كلمه پرسشي، جمله واره

حرف ندا، منادي،3برچسب هاي متفرقه

.جداكننده، عالمت رياضي

8

نمونه برچسبها

9

بخشی از پیکره

10

تحلیلگر ساختواژیوجود انواع تکواژها در زبانهای خاص مثل فارسیتكواژهاي تصريفي1.

معموال براي ساخت كلماتي استفاده مي شوند كهحامل مفاهيم دستوري در جمله باشند

تكواژهاي اشتقاقي2. كلمات جديد را مي سازند كه بار مفهومي خاصي را

منتقل مي كنند.

تکواژهای ترکیبی3.

11

تحلیلگر ساختواژی )ادامه(مشکل

تعداد برچسب هاي متمايز پيكره زیاد و فراوانی کمتفسيرهاي متفاوت كلمات با بن واژه يكسان

دخترمN,COM,SIM,1 دخترN,COM خوبم ADJ,CMPR,SIM,1

راه حل تکواژهای تصریفی سيستم برچسب گذاري را به يك تحليل گر

ساختواژي مجهز كرد.

12

تحلیلگر ساختواژی )ادامه(ابتدا بعضی از برچسبهای خاص را حذف میکنیم1.برچسبهای تکواژ تصریفی و تکواژهای منتسب2.

13

تحلیلگر ساختواژی )ادامه(حال با توجه به جدول بخش قبل کلمه و برچسب 3.

آن هر دو تجزیه می شوندمثال

کتابها(N,COM,PL) کتاب + ها(N,COM) + (PL)

انجام برچسب گذاری4.

14

کلمات ناشناخته اطالعات واژگانی راجع به آنها و نیز توزیع احتمالی

وجود نداردراههای مقابله

15

غلبه بر کلمات ناشناختهروش ساده: بر چسب با بیشترین وقوع1.

16

غلبه بر کلمات ناشناخته )ادامه(توزیع احتمالی کلمات ناشناخته2.

مقادير احتمالي توزيع مي تواند در برچسب گذارهايآماري به طور مستقيم استفاده شود

:روشهای پیدا کردن توزیعپیکره دو بخشی

کلمات ناشناخته = کلماتی که در مجموعه آموزشنیستند

نیاز به پیکره بزرگکلمات کم تکرار

کلماتی که یک در کل پیکره ظاهر شدند

17

غلبه بر کلمات ناشناخته )ادامه(توجه به وندها3.

الگوی نمونه

کلمه بیگانگان= ناشناخته بیگانهN,COM,SING بیگانگانN COM PL

... استخراج قوانین، امتیاز دهی قوانین و

18

هم نگاره هانوشتاری یکسان و گفتاری متفاوتعلل هم نگارگی در زبان فارسیعدم بازنمايي واكه هاي كوتاه در خط فارسي: مرد1(عدم تناظر يك به يك ميان واج ها و حروف فارسي2(

19

هم نگاره ها )ادامه(يكساني تظاهر واجي و نوشتاري تكواژها:3(

/ja'vaani . /ياء نكره: جواني را ديدم/javaa'ni . /ياء اسم ساز: جواني نعمتي است/ja'vaani . /ياء شناسه: تو هنوز جواني /javaa'ni .... /ياء نسبت: مشكالت جواني

رابطه بين وزن كلمات عربي و بعضي پسوندهاي 4(فارسي

منزلت

20

هم نگاره ها )ادامه(راه حل : لیست تصمیم گیری

جمع آوري و برچسب گذاري مجموعه آموزشي1.

به دست آوردن توزيع هاي باهم آيي2.کلمات قبل و بعد

محاسبه نرخ درست نمايي3.

21

هم نگاره ها )ادامه(مرتب سازی بر اساس نرخ درست نمایی4.

استفاده از لیست تصمیم گیری5. با فرض حضور يك هم نگاره در يك زمينه جديد باالترين

پيشامد

22

23