Опыт применения ДСМ-метода для определения тональности текста

Доклад по статье

Е.В. Котельникова

Выполнил студент группы К8-223

Костяев Дмитрий

Анализ тональности - это область

компьютерной лингвистики,

которая занимается изучением

эмоциональной окраски текстов

Позитив Негатив

Одномерное эмотивное пространство

Двухзначная шкала

Применения анализа тональности:

1. Маркетинговые исследования

2. Финансовые рынки

3. Рекомендательные системы

4. Политологические исследования

5. Социологические исследования

6. Поддержка поисковых систем

7. Анализ экстремистских ресурсов

8. Психологические исследования

Основные методы классификации тональности

Методы, основанные на правилах и словарях

Машинное обучение

“Эта книга настолько хороша,

что еѐ хочется перечитывать

снова и снова”

“В этой книге хороша

только обложка”

ДСМ-метод(Джон Стюарт Милль)

• Метод автоматического порождения гипотез

• Предложен В. К. Финном (конец 1970-х г.г.)

• Синтез (эмпирической индукции, структурной аналогии и абдукции)

Примеры задач решаемых

ДСМ-системами:• Выявление причинно-следственных

закономерностей вида структура-

активность в фармакологии

(прогнозирование рецидива

аденомы гипофиза)

• Техническая диагностика и

исследование детерминант

социологического поведения.

ДСМ-метод для анализа тональности

1. Составление коллекции

обучающих текстов

2. Этап индукции –

формирование гипотез

3. Этап аналогии – сравнение

гипотез с t-текстами

4. Вывод

Основные этапы

Поиск всех общих фрагментов

объектов

Этап индукции

Алгоритм Норриса

1. Суммарное количество гипотез

2. Суммарное количество

характеристик во всех

гипотезах

3. Суммарное количество

родителей всех гипотез

4. Прочие методы…

Разрешение конфликтов

n-кратный скользящий контроль

Перекрестная проверка

TP (true positives)

TN (true negative)

FP (false positive)

FN (false negative)

Метрики качества

Правильность

Ошибочность

Точность

Полнота

F1-мера

Влияние словаря

Влияние выбора функции

разрешения конфликтов

Улучшение оценок при

использовании ручного

словаря

Количество

сформированных гипотез

Зависимость времени работы

метода от количества текстов

Время работы программы-

анализатора

Заключение

Прозрачность и корректность

процесса логического вывода

Хорошая интерпретируемость

генерируемых гипотез

Отсутствие необходимости большого

числа примеров для обучения

Высокие требования к вычислительным

ресурсам

Литература

1. ДСМ-метод автоматического порождения гипотез

/ под ред. О. М. Аншакова. – М.: Либроком, 2009.

– 432 с.

2. Котельников Е.В. Опыт применения ДСМ-метода

для определения тональности текста.

Тринадцатая Национальная Конференция по

искусственному интеллекту с международным

участием. Том 4.

3. Liu B. Sentiment Analysis and Opinion Mining.

Morgan & Claypool Publishers, 2012.

Спасибо за внимание!