Агляд сучасных тэм і сэрвісаў, якія закранае тэрмін "Natural Language Processing"

Агляд сучасных тэм і сэрвісаў, якія закранае тэрмін

"Natural Language Processing"

Юрась Гецэвіч

Лабараторыя распазнавання і сінтэзу маўленняАІПІ НАН Беларусі

Бібліяграфія• Сэт Граймз / MARCH 4, 2013 All About Natural Language Processing

• Гецэвіч, Ю.С. РАСПРАЦОЎКА КАМПАНЕНТА РАСПАЗНАВАННЯ МАЎЛЕННЯ ДЛЯ НАТУРАЛЬНА МАЎЛЕНЧАГА ІНТЭРФЕЙСУ / Ю.С. Гецэвіч, К.А. Нікалаенка, Л.І. Kайгародава // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2015) : материалы V междунар. науч.-техн. конф. (Минск, 19 – 21 февраля 2015 года) / пад рэд. В. В. Голенков (отв. ред.) [и др.]. Минск : БГУИР, 2015. — C. 507-512.

• Гецэвіч, Ю.С. Фанетычная і алафонная апрацоўка тэксту ў сінтэзатары беларускага і рускага маўлення для мабільных платформаў / Ю.С. Гецэвіч, Б.М. Лабанаў, Д.А. Пакладок // Інфарматыка. — 2014. — №2(42). — C. 25-35

• Taylor, P. Text-to-Speech Synthesis / P. Taylor. New York – Cambridge University Press, 2009. – 642 p.

• NooJ resourses // NooJ [Electronic resourse]. – 2002 . – Mode of access : http://www.nooj4nlp.net/pages/resources.html. – Date of access : 17.03.2012.

• Etc.

2Для суполкі NLProc.by

Што такое Natural Language Processing?

???3Для суполкі NLProc.by

• Апрацоўка натуральнай мовы, АНМ (па-англійску: Natural Language Processing, NLP) — гэта машыннае пераўтварэнне вуснай і/ці пісьмовай разнавіднасцяў чалавечай камунікацыі.

• Методыка, апорай якой з’яўляюцца лінгвістыка і статыстыка ў спалучэнні з машынным навучаннем, імкнецца мадэляваць мову на службе аўтаматызацыі.


Якую карысць можа прынесці Апрацоўка Натуральнай Мовы?• Хуткая апрацоўка выгляду Т-Т, Т-М, М-Т, М-М. (так, як апрацоўвае

машына-камп’ютар)• Т – пісьмовая натуральная мова• М – вусная натуральная мова

• Колькі заўгоднае паўтарэньне апрацовак, дзе чалавеку стала б проста складана ці нецікава працаваць (напрыклад, пастаяннае адсочваньне новых ключавых слоў на новых інтэрнэт-сайтах)

• Эталанізацыю праз фармалізацыю ведаў (напрыклад, сінтэзатар маўленьня, інтэлектуальныя справачныя сістэмы)

• Дапамога трэцім асобам, якія ня ведаюць мовы ці не спецыялісты ў лінгвістыцы, праз пабудову прыкладных лінгвістычных прыстасаваньняў

• ?


Агульная схема Апрацоўкі Натуральнай Мовы

Прыклады:TTS : тэкст -> маўленьне / для слабабачачых, для робататэхнікіASR : маўленьне -> тэкст / для журналістаўTranscription : тэкст -> тэкст / для замежнікаўSTS : маўленьне -> маўленьне / для хуткай камунікацыіITS : выява -> маўленьне / для кіроўцаў…

Распазна - ваньне …

Генерава -ньнне …


Выманне і пошук інфармацыі• Пошукавыя сістэмы Google, Bing

• выманьне тэрмінаў з тэксту• парсінг пошукавых запытаў

(людзі, назвы кампаній, сімвалы акцый і месцы)• выманьне заканамернасцяў• выманьне атрыбутаў, звязаных з тэрмінамі

(дарагі гадзіннік, чорны аўтамабіль, 4,6 кг рыбы.)• выяўленне адносін між канцэптамі (Apple Siri, Wolfram Alpha і Google

Now)


Канцэпцыі, тэмы, танальнасць і падабенства, а таксама заўвагі па метадах • класіфікацыя (групоўка выразаў і дакументаў)• выманне канцэпта (сістэма камп’ютарнай мовы Карпарацыя

Цыцэрон)• вызначэнне тэмы• выяўленьне танальнасці (ажыццяўляецца па звычайных

катэгорыях (станоўчай, адмоўнай ці нейтральнай) ці па больш вытанчаных эмацыйных катэгорыях, або сігналах намераў (CrowdFlower))

• распазнаванне плагіяту (ацэнка параграфаў вынятага тэксту па прынцыпе падабенства)


Арфаграфія, Граматыка і Стыль• праверка арфаграфіі (JSpell, SpellCheck.net) • стварэння дыяграмы сказа• разметка па часцінах мовы (дэмаверсія ўніверсітэта Іллінойса)• вывучэнне сінтаксічных адносін (Connexor).


Пераклад

• машынны пераклад (Google Translate, Promt, ABBY Lingvo, Multitran, Language Tool)

• аўтаматычная ідэнтыфікацыя мовы


Гібрыдны сінтэзатар выразнага маўлення «ЭТАП-МУЛЬТЫФОН» Машынны пераклад і агучка


Рэферыраванне тэксту (разуменне і генерацыя натуральнай мовы)


Пытальна-адказныя сістэмыАгульная схема :

Прыклады : •IBM Watson•START•www.OSTIS.net


Распазнаванне і сінтэз маўлення• распазнаванне маўлення

• генерацыя, або сінтэз маўлення

• транскрыбаванне вуснай мовы : M004,O113,J'013,/,R032,O022,D001,N004,Y322,/,K001,U032,T000,/,#C3, -> [мо̀й] [ро́дны] [ку́т]

• галасавы пошук

• сінтэз маўлення па тэксце.


«Будаўнічыя блокі» ці настройвальныя лінгвістычныя

працэсары• Apache OpenNLP і Mallet - інструментар машыннага навучання

• The Apicultur service і Веб API для Python NLTK Якоба Перкінса

для элементнага аналізу тэкста


NooJ (Нудж)


nooj4nlp.net

настройваецца для больш за 20 моў, улічваючы беларускую

Апрацоўка натуральнага маўленьня

сorpus.by


Сэрвіс “Інфармацыя аб сімвалах”,

карысны для лінгвістаў


Сэрвіс «Частотнасць слоў»


Частата «слоў» у любым тэксце

Адвольная настройка слова: пасьлядоўнасьць лікаў, сімвалаў алфавітаў ці інш.


Схема сінтэзу маўленьня па тэксце


Сінтэзатар беларускага і рускага маўлення па тэксце для стацыянарных, мабільных і інтэрнэт платформ


сorpus.by/tts3 сінтэзатар маўленьня па тэксце on-

line


Выкарыстанне алгарытмаў СМТ для вырашэння лінгвістычных задач



Запісы словаформаў да і пасля генерацыі транскрыпцый



Запісы словаформаў да генерацыі транскрыпцый


Запісы словаформаў пасля генерацыі транскрыпцый


Плануемы выгляд запісу ў электронным арфаэпічным слоўнікус гмаі ́ [с' γма ] (назва літары)і ́ж. Р с гмы [с' γмы ],і ́ і ́ ДМ с гме [с' γм'эі ́ і ́ ],с гму [с' γму ],і ́ і ́ с гмай [с' γмай ] (-аю)і ́ і ́(сума) ж. Р с гмы [с' γмы ],і ́ і ́ДМ с гме [с' γм'э ], с гму [с' γму ],і ́ і ́ і ́ і ́с гмай [с' γмай ] (-аю)і ́ і ́ мн. НВ с гмы [с' γмы ],і ́ і ́сігм [с' γм ] (-маў), с гмам [і ́ і ́ с' γмамі ́ ],с гмамі [і ́ с' γмам'іі ́ ], с гмах [і ́ с' γмахі ́ ]


Праверка “у” і “ў”



Генератар спасылкі на публікацыю



Спецыялізаваны слоўнік


Спецыялізаваны слоўнік



Апрацоўка гука on-line


Апрацоўка гука on-line

Выбар гука

Выбар тыпу дыяграмы-Асцылаграма-Спектраграма


Апрацоўка алафона on-lineасцылаграма спектраграма


Апрацоўка алафоннага радка on-line: асцылаграма


Апрацоўка алафоннага радка

on-line: спектраграма


Генератар тэматычных даменаў


Генератар тэматычных даменаў мінімальных набораў слоў,які пакрываюць усе алафоны і дыфоныбеларускай мовыхаця б 1 раз


Запіс гуку ў Інтэрнэт


Запіс гуку ў Інтэрнэт


Робат, які ўмее гаварыць :)

Для суполкі NLProc.by 47

Нашыя распрацоўкі (2)srlab.by


Нашыя распрацоўкі (3)

nooj2015.ssrlab.by


Узроўні мовы (А)


Узроўні мовы (B)

крыніца


Узроўні мовы (C,1)


Узроўні мовы (C,2)

крыніца


Дзякую за ўвагу!Тэл.:

+375 (17) 284-27-73 (пакой 422)+375 (17) 284-25-22 (пакой 430)

E-mail:[email protected]

[email protected]

Education

Агляд сучасных тэм і сэрвісаў, якія закранае тэрмін "Natural Language Processing"