Автоматическая обработка ЕЯ(обработка текста)
2 курс
План
• Примеры интеграции NLP в различные системы обработки контента
• Этапы лингвистической обработки• Примеры лингвистических платформ
Примеры
• Яндекс• OpenCalais http://viewer.opencalais.com/• News360.com• http://translate.google.cn/?hl=en#en/ru/ • Что еще???
Этапы• Распознавание языка• Графематический анализ• Разбиение на предложения• Токенизация• Морфологический анализ• Частичный синтаксический / синтаксический анализ• Приписывание семантических ролей (semantic role labeling)• Распознавание анафоры (установление кореференции)• Дискурсивный анализ• Распознавание именованных сущностей
Графематический анализ
• Лектор: канд. физ.-мат. наук Турдаков Денис Юрьевич.• Технические вопросы: Бабаков Александр Валентинович.• Спецкурс будет проходить по пятницам в 18.00 в ауд. П-6
во 2-м учебном корпусе МГУ.• Аннотация• Спецкурс предназначен для студентов 3-5 курсов,
желающих получить знания и практические навыки в области обработки текстовой информации. Курс знакомит слушателей с основными проблемами компьютерной обработки текстов и современными подходами к их решению.
Графематический анализ АОТ
• Разделение входного текста на слова, разделители и т.д.
• Сборка слов, написанных в разрядку; • Выделение устойчивых оборотов, не имеющих
словоизменительных вариантов; • Выделение ФИО (фамилия, имя, отчество), когда
имя и отчество написаны инициалами; • Выделение электронных адресов и имен файлов; • Выделение предложений из входного текста; • Выделение абзацев, заголовков, примечаний.
Морфологический анализ
• ruscorpora.ru• aot.ru• http://cst.dk/online/pos_tagger/uk/
Морфологический анализ
• Лемматизация• Частеречная разметка• Морфологический анализ• Снятие омонимии
Синтаксический анализ
• testsynt.soiza.com• Connexor• VISL• http://nlp.stanford.edu:8080/parser/
Semantic role labeling
• http://cogcomp.cs.illinois.edu/demo/srl/• aot.ru
Некоторые NLP ресурсы
• http://nlpub.ru/wiki/%D0%97%D0%B0%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0
• http://beta.visl.sdu.dk/• http://www.connexor.com/nlplib/?q=demo• http://www-nlp.stanford.edu/links/statnlp.ht
ml
Recommended
