Click here to load reader

W1: Lingwistyka

  • View
    45

  • Download
    0

Embed Size (px)

DESCRIPTION

W1: Lingwistyka. Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006. Plan. W1: Lingwistyka W2: Gramatyki W3: Gramatyki, Statystyka W4: Zastosowania. Tematyka wykładów. - PowerPoint PPT Presentation

Text of W1: Lingwistyka

  • W1: LingwistykaInynieria JzykaNina Suszczaska, Politechnika lska, 2006

    INYNIERIA JZYKA

    PlanW1: LingwistykaW2: GramatykiW3: Gramatyki, Statystyka W4: Zastosowania

    INYNIERIA JZYKA

    Tematyka wykadwczego dotycz terminy: przetwarzanie jzyka naturalnego, lingwistyka komputerowa, inynieria lingwistyczna, inynieria jzyka dziedziny NLP: fonetyka/ortografia, fonologia, morfologia, skadnia, semantyka, pragmatykarodzaje danych lingwistycznych i moliwo ich wykorzystania (sowniki, korpusy)tradycyjne (formalne) podejcie do analizy i syntezy jzyka, statystyczne metody przetwarzania jzykazastosowania: wyszukiwanie informacji tekstowych,organizacja danych tekstowych,automatyczne streszczanie tekstw,systemy pyta i odpowiedzi,tumaczenie, wspomaganie tumaczenia.

    INYNIERIA JZYKA

    Literatura Zygmunt Vetulani, Komunikacja czowieka z maszyn. Komputerowe modelowanie kompetencji jzykowej. Warszawa 2004, Akademicka oficyna Wydawnicza EXITJurafsky Daniel, Martin James H. Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Upper Saddle River 2000 Prentice Hall. http://www.cs.colorado.edu/~martin/slp.html Inne, przykadowe:Haji, Jan, materiay do wykadu Introduction to Natural Language Processing CS Dept., Johns Hopkins Univ. http://www.cs.jhu.edu/~hajic Manning Christopher D., Schutze Hinrich. Foundations of Statistical Natural Language Processing. Cambridge 1999 The MIT Press. Advances in Automatic Text Summarization. Eds. Inderjeet Mani, Mark T. Maybury. Cambridge 1999 MIT Press. Jelinek Frederick. Statistical Methods for Speech Recognition. Cambridge 1999 MIT Press.

    INYNIERIA JZYKA

    Jzykoznawstwo Jzykoznawstwo (lingwistyka) jest nauk o jzyku. powstawanie, rozwj i funkcjonowanie jzykazalenoci midzy poszczeglnymi jzykami Trzy przeciwstawne pary kierunkw bada jzykoznawczych : synchroniczne zajmuje si form jzyka w danym momencie; diachroniczne odkrywa histori jzyka (grupy jzykw) i zmiany jego struktury na przestrzeni czasuteoretyczne modelowanie suce opisywaniu poszczeglnych jzykw oraz teorie dotyczce uniwersalnych aspektw jzyka; stosowane usiuje wdraa te teorie w praktyceMakrolingwistyka lub jzykoznawstwo kontekstualne bada dopasowanie jzyka do otaczajcego wiata, funkcje spoeczne jzyka, proces nauki i wzbogacania jzyka, procesy wytwarzania i odbioru jzyka. Mikrolingwistyka lub jzykoznawstwo niezalene rozwaa jzyk jako byt niezaleny od otaczajcego wiata lingwistyka oglna lub lingwistyka bez dodatkowych okrele, naley rozumie jako jzykoznawstwo synchroniczne, teoretyczne i niezalene jednoczenie. Dziedzina ta jest uwaana za jdro jzykoznawstwa

    INYNIERIA JZYKA

    Dziay jzykoznawstwa Jzykoznawstwo zajmuje si wszelkimi aspektami jzyka i zawiera w sobie liczne dziay. Nale do nich midzy innymi: - fonetyka - fonologia - lingwistyka tekstu - morfologia - pragmatyka - semantyka - semiotyka - sowotwrstwo - syntaktyka itd.

    INYNIERIA JZYKA

    Interdyscyplinarne kierunki bada lingwistycznych Na pograniczu lingwistyki i innych nauk wyodrbniy si kilkadziesit dziedzin bada, w tym: Geolingwistyka (geografia lingwistyczna, geografia jzyka) KryptografiaKrytyczna Analiza Dyskursu ( dyskurs) Juryslingwistyka (ligwistyka prawnicza) Lingwistyka matematyczna Lingwistyka stosowana Lingwistyka kognitywna Lingwistyka komputerowa identyfikacja rozmwcyprzetwarzanie jzyka naturalnegoprzetwarzanie mowyrozpoznawanie mowysynteza mowyitd.

    INYNIERIA JZYKA

    Gdzie jest potrzebna wiedza lingwistyczna?Dziedziny dziaalnoci czowieka, w ktrych wiedza lingwistyczna jest potrzebna to:translatoryka - teoria i praktyka przekadu, dydaktyka, obejmujca take nauczanie jzyka ojczystego dzieci i modziey, komunikacja masowa, problematyka grup spoecznych posugujcych si wasnymi jzykami, informatyka, teoria i praktyka sztucznego intelektu i in.

    INYNIERIA JZYKA

    Elementy terminologiiNLP (Natural Language Processing) przetwarzanie jzyka naturalnegoKompetencja jzykowa (kompetencja komunikacyjna)Komputerowe modelowanie (emulowanie) kompetencji jzykowej czowiekaSystem z emulowan kompetencj czowieka = system z kompetencj jzykow dorwnujc ludzkiejRozumienie jzykaInynieria jzyka naturalnego (Natural Language Engineering), technologie jzyka ludzkiego (Human Language Technologies), inynieria lingwistyczna (Linguistic Engineering)

    INYNIERIA JZYKA

    Przetwarzanie jzyka naturalnego -rne aspektylingwistyka formalna i komputerowa (Computational Linguistics)przetwarzanie jzyka naturalnego (Natural Language Processing)inynieria lingwistyczna (Linguistic Engineering) psycholingwistyka komputerowa (Computational Psycholinguistics)rozpoznawanie sygnau mowy (Speech Recognition)

    INYNIERIA JZYKA

    Cele NLPpoznawcze (jak jest zbudowany jzyk, na czym polega posugiwanie si jzykiem jego rozumienie nauka ...), gromadzenie danych lingwistycznych (sowniki oglne i specjalistyczne, korpusy tekstw, gramatyki, ...)wykorzystywanie jzyka naturalnego w systemach komputerowych:wyszukiwanie informacji, automatyczne streszczanie tekstw, systemy pyta i odpowiedzi, organizacja danych tekstowych, wspomaganie tumaczeniaitd.

    INYNIERIA JZYKA

    Dziedzina lingwistyki komputerowej Wszystko, co jest powizano z rozpoznawaniem mowy i przetwarzaniem danych powizanych z tym zagadnieniem Zadanie lingwistyki komputerowej polega w tym, eby rozwija oprogramowanie, ktre daje moliwo rozwiza problemy powstajce w zwizku z opracowaniem jzykowych danych

    INYNIERIA JZYKA

    Gdzie jest potrzebna lingwistyka komputerowa (1)Wspomaganie przy opracowaniu tekstw, w tym poprawianie typowych bdw oraz bdw ortograficznych, sprawdzanie poprawnoci zdania, np. skadniowej Podzia sw na sylaby w programach automatycznego przenoszenia sw Pomoc przy napisaniu tekstw, np. poszukiwanie prawidowej terminologii lub synonimw Poszukiwanie kontekstw, w tym wedug regu zwizkw midzy poszukiwanymi wyrazami lub wedug ich znaczenia Pomoc przy tumaczeniu tekstw na obce jzyki

    INYNIERIA JZYKA

    Gdzie jest potrzebna lingwistyka komputerowa (2)Dialog z komputerem w jzyku naturalnym Przetwarzanie jzyka mwionego czy migowego w pisany i na odwrt Opracowanie danych tekstowych, np. bibliografii wykorzystanej przy napisaniu tekstu, automatyczne ukadanie konspektu lub streszczenia tekstu Dostarczanie informacji na du skale od poszukiwania odpowiedniej literatury w bazie danych biblioteki do odpowiedzi na zapytanie generowanej przez system ekspertowy bazujcy si na duych bazach wiedzy Programy nauczania jzyka, multimedialne sowniki, np. sowniki z dostpem fonicznym (mwice), sowniki migajce oraz inne programy wiczeniowe

    INYNIERIA JZYKA

    Czym zajmuje si inynieria lingwistyczna Inynieria lingwistyczna to opracowywanie metod i konstruowanie narzdzi umoliwiajcych automatyczne przetwarzanie jzyka naturalnego. NLP to cig przeksztace:

    INYNIERIA JZYKA

    Zadania inynierii lingwistycznejrozpoznawanie mowy rozpoznawanie sygnau mowy w otoczeniu szumukorekcja bdw wymowyczytanie z ust(?)rozumienie jzykagenerowanie wypowiedzi w jzyku naturalnymwyszukiwanie informacji (information retrieval)selekcja informacji (information extraction)wnioskowanie

    INYNIERIA JZYKA

    Inynieria jzykaTeoria i praktyka s rwnie wane w lingwistyce komputerowej. Rozwizania teoretyczne powinny by sprawdzone w eksperymentach komputerowych. Z tego powodu z lingwistyki komputerowej wyodrbnia si cz nazywana inynieri jzykow, ktrej zadaniem jest konstruowanie modeli i ich implementacja. Inynieria jzykowa jest szczegln czci lingwistyki komputerowej, i jej rola jest bardzo wana.

    INYNIERIA JZYKA

    Wiedza o jzyku a realizacja wyznaczonego celuZrozumienie poleceniaanaliza jzykowa (identyfikacja sw, ich form, zwizkw midzy nimi)odniesienie do rzeczywistociWybr odpowiedzi ew. odrzucenie polecenia mimo moliwoci wykonania goSformuowanie odpowiedziwybr sw, ich form, porzdkupragmatyka: uprzejma odmowa, podzikowanieodniesienie do poprzedniej czci dialogu (np. ten, to, on)

    INYNIERIA JZYKA

    Model lingwistycznyPunkt wyjcia teorie utworzone przez lingwistwAktualizacja modelu do konkretnego projektu:Uzupenienie i sprecyzowanie wykorzystywanych teorii jzykaRozszerzenie wyjciowego modelu o zjawiska do tej pory pomijaneUjednolicenie opisu teoretycznego uwzgldnionych zjawisk w przypadku kompilacji kilku modeli teoretycznych

    INYNIERIA JZYKA

    Zadania inyniera jzyka (1)Bardzo skomplikowane W wielu przypadkach inynier jzykowy musi sam zgromadzi dane z interesujcej go dziedziny jzyka ludzkiego. Zgromadzone dane su do wyboru odpowiedniej teorii opracowanej przez lingwistw, ale wymagaj opracowania wasnej teorii przetwarzania takiej, ktra pozwoliaby w miar atw implementacj. Innymi sowy, informatyk wystpujcy w roli inyniera jzyka opracowuje opis teoretyczny modelowanego fragmentu jzyka, czyli tworzy model lingwistyczny, jednoczenie wystpujc w roli twrczej badaczy jzyka. Wieloletnie dowiadczenie pokazao, e niewiedza szczegw budowy jzyka, rozwizanie problemw ad-hoc nie moe doprowadzi do sukcesu

    INYNIERIA JZYKA

    Zadania inyniera jzyka (2)Uytkownik uczy si obcowa si z komputeremLingwista-teoretyk szlifuje opisy poszczeglnych zjawisk jzykowychInynier jzyka (informatyk!) powinien skonstruowa algorytmy, ktre doprowadziyby do podanych wynikw. Do te mona przytoczy miarkowania o tym, e zdarza si tak, e inynierowi czasami take przychodz do gowy genialne idee

    INYNIERIA JZYKA

    Cele modelowaniaTest Turinga: maszyna naladuje czowieka w sposb nieodrnialny dla suchacza (czytelnika) (poza problemami czysto jzykowymi take np. psychologiczne, zwizane z indywidualnymi moliwociami czowieka)przepowiednia Turinga - pod koniec XX w. maszyna dysponujca pamici 10GB bdzie miaa 30% szans na oszukanie, e jest czowiekiem w cigu 5-minutowej rozmowy (NIESTETY? NIE, ale np. zaskakujco sprawne s chatterboty suce do konwersacji z czowiekiem, pierwszy - ELIZA,Weizenbaum, 1966)Ogromna prz