Методика автоматизированной расшифровки знаменных песнопений

Актуальность:

· необходимость представления рукописей в электронном виде для обеспечения их

доступности более широкому кругу людей

· необходимость получения словарей, которые будут использоваться для перевода

знаменных песнопений в нотолинейную нотацию

· необходимость не только визуального контроля, но и с помощью прослушивания

мелодии

· необходимость получения справочной информации о знаменных песнопениях

Цель:

· Разработка компонентной методики расшифровки знаменных песнопений

Задачи:

· изучение особенностей знаменных песнопений

· анализ существующих методов расшифровки и перевода

· разработка методов обработки знаменных песнопений

· разработка методов проверки правильности введенных двоезнаменников

· разработка методики автоматизированной расшифровки знаменных песнопений

· проектирование и реализация программного комплекса АСНИ АЭ

Исследуемые рукописи:

1) Круг древнего знаменного пения 1884 г - 1367 страниц

2) Ирмологий 17 в. - 68 страниц

3) Сборник попевок Соловецкого собрания - 213 страниц

Особенности знамен

Пример беспометной рукописиПример пометной рукописи

Пример двоезнаменникаПример азбуки

1

Методы исследования и перевода

знаменных песнопенийИсследование древних безлинейных певческих нотаций:

1. Ретроспективный подход – от известного к неизвестному (путем сравнения, сопоставления)

2. Прогрессивный подход – от древнейших к более поздним формам (логика, сравнение с византийской

нотацией)

Типы систем машинного перевода:

· Основанные на правилах (грамматики)

· Семантические

· Память перевода

· Основанные на примерах (корпус текста во время перевода используется как база знаний - словари попевок, системы продукций с приоритетами)

· Статистические (используется модель Шеннона)

Аналогии структур с точки зрения перевода в музыке

и языке

Сложность перевода знаменных песнопений в нотолинейную нотацию

Века

Нотации

Столповая

С

В

А

Линейная

Квадратная

Круглая

XI-XII XIII XIV XV XVI XVII XVIII XIX XX

Употребление в практике различных

типов столповой нотаций

A. Знамена + «киноварные пометы» (определяют

высоту) + признаки

B. Знамена + «киноварные пометы»

C. Беспометная нотация

Знамя – графическое изображение ноты

Особенности знамен

· Перевод, представленный в азбуках,

неоднозначен

· Одно знамя может представляться

несколькими нотами

· Не все знамена представлены в азбуках

Особенности попевок

· Большое количество попевок (>2 000)

· Попевки объединялись в сборники

· Зависимость перевода от текста

Попевка – последовательность знамен с

особенные значением (переводом).

2

Методика расшифровки знаменных песнопений 3

АС

Расшифровки

знаменных

песнопений

База знаний

Словарь(.xml)

Песнопение

(.xml)

АС

Исследования

знаменных

песнопений

Модуль

ввода

песнопений

Песнопение в нотной

нотации(.xml)

Словарь(.xml)

Эксперт

База данных

Песнопение

(.xml)

Эксперт

Оператор

Словарь

(.xml)

Песнопение

(.xml)

Модуль воспроизведения

песнопений

Словарь(.xml)

Песнопение

в нотной нотации

(.xml)

Песнопение в нотной нотации

(.xml)

Эксперт

Структурная схема перевода

Используемые методы:

1. Расшифровка.

1) Статистический машинный перевод.

N-граммная языковая модель

2) Продукционная модель

3) Смешанная модель (N-граммы + правила

продукционной модели)

Методы перевода

2.Исследование знаменных песнопений

1) Представление песнопений в формате XML

2) Разработка формата, позволяющего учитывать

«перекрытия» структур (одно знамя может входить в

несколько попевок)

Кодирование знамен

Кодирование нот

Всего закодировано 202 знамени

4

Ввод песнопений в БД в программе IPSM

С помощью веб-приложения

· Для ввода нот предусмотрены специальные подсказки

· Текущая страница для ввода отображается на экране

· Сохранение дополнительной информации о песнопении (название, страница)

Загрузка XML-Файла

· Добавление песнопений, набранных в MS Word

· Специальный формат XML-файла

· Выделено 202 знамени

· Знамена разделены на 6 групп (максимум 7 подгрупп)

· От 10 до 66 знамен в группе

Кодирование знамен

В результате БД содержит:

· 29376 записей из «Круга…»

· 234 записи приложения к «Кругу..»

· 10897 записей двоезнаменника

· 16914 записей сборника попевок

5

Статистический машинный перевод

Модель языка

Статистическая модель (1)

Модель языка (Language Model/LM) – это набор n-грамм моноязычного корпуса с их вероятностными характеристиками.

Методы сглаживания вероятностных параметров языковых моделей (для редких n-грамм)

1) Метод Лапласа 2) Адаптивный метод

Модель языка со сглаживанием

3) Откат (backoff)

Модель языка

6

Статистическая модель (2)

Построение модели перевода

Пример перевода

Выделенные триграммыПример крюковой рукописи

Использованные правила модели перевода

Итоговый вариант перевода

Выбор лучшего варианта перевода

Модель перевода

количество раз, когда

последовательность знамен z

переводится нотами n

Алгоритм декодирования

где z – триграмма знамен, n – перевод триграммы (ноты), p(z|n) —

условная вероятность того, что переводу n соответствовал

исходный фрагмент z

где C(n,z) -

7

Музыкальный редактор

Вывод песнопения в крюковой нотации

Вывод песнопения в нотолинейной нотации Функции:

1. Вывод на экран исходного файла в крюковой нотации и перекодированного файла в линейной нотации, просмотра исходных песнопений и азбук

2. Перевод песнопения из крюковой нотации в линейную, формирование кода, который используется компонентом вывода для отображения полученного результата

3. Проигрывание мелодии

Новые требования:

1. Возможность остановить, поставить на паузу проигрываемую мелодию.

2. Подсветка проигрываемого знамени и ноты

3. Возможность редактирования словаря и перевода песнопения

4. Интерфейс для эксперта, который позволяет понимать какое правило было применено и почему.

Пример песнопений в xml-формате

Пример азбуки в xml-формате

8

Сборник попевок

Описание структуры песнопения XML

Древнерусскую музыкальную рукопись можно описать с

помощью теории множеств следующим образом:

В={P}, где P={G}, G={C}, C={S}, S={p,Z},

Z={<T,k,w>}, T=[t1,t2,…,t3]

Где B – рукопись, P – часть, G – глас, C – раздел,

S – песнопение, p – попевка, Z – знамя, t – помета, k – код,

w – слог.

<xsl:key name='popevka-search'

match="popevka" use="@name"/>

<xsl:for-each select="key('popevka-search',

'popevka-name')">

</xsl:for-each>

Знамена

Двознаменник «Ирмологий»

«Круг древнего знаменного пения»

«Сборник Соловецкого собрания»

Сборник попевок

Знамена сборника попевок

Словарь с правилами перевода

Перевод рукописи с помощью словаря

9

Статистика по знаменам и нотам

Знаменный частотный словарь

Наиболее частотные комбинацииГруппировка по знаменам

10

Алгоритмы

Начало

Определить букву и стиль

Курсивный стиль?

Отобразить букву курсивным шрифтом

ДаНет

Отобразить буквы шрифтом Andrew Semio

Конец

Жирный стиль?Да

Отобразить букву жирным шрифтом

Нет

Алгоритм вывода знамени на экран

Да

Нет

Да

Выбрать все символы из базы

Разделить знаменана 6 групп

Все группы просмотрели ?

Записать деревья групп в итоговый массив

Конец

Нет

Записать первый символ

Все дочерние узлы просмотрели ?

Построить дерево для дочерней вершины

Алгоритм группировки знамен

Авторизация в системе

Выбрать рукопись

Ввести знамена

Выбрать страницу

Сохранить

Ввести доп. информацию

о знамени

Алгоритм ввода рукописей в БД

Алгоритм перевода крюковой рукописи с помощью

продукционного словаря

ДаНет

Да

Считать символы

рукописи

Все знамена перевели?

Конец

Нет

Все правила словаря применили?

Применить правилоВсе правила

азбуки

применили?

Применить правило

Нет

Да

Конец

11

Алгоритм декодирования знаменных

песнопений

Создать таблицу для

перевода

Разбить рукопись

на N-граммы (триграммы)

Определить вероятность N-граммы в

соответствии с моделью перевода

Все N-граммы обработали?

Найти первое непереведенное знамя

Все знамена

переведены?

Определить все N-граммы, в которые

входит текущее знамя

Выбрать максимальную вероятность

Записать перевод знамен в таблицу

перевода

Начало

Конец

Нет

Да

Нет

Да

Проигрывание динамически составленной музыкальной

последовательности

все звуки проиграли?да

нет

Запись в файл vars.txt нотного кода

Получение кода знамени

Запись в файл vrem.txt временного кода

Считывание нотного и временного кода

Конец

12

13Экранные формы

Страница сайта проекта «Компьютерная семиография» - «Песнопения»

Страница сайта проекта «Компьютерная семиография» - «Сервисы»

Страница сайта проекта «Компьютерная семиография» - «Двоезнаменник»