22
Филиппович Андрей Юрьевич Партенит - 11 мая 2013 г.

Компьютерная семиография 2013

Embed Size (px)

Citation preview

Page 1: Компьютерная семиография 2013

Филиппович Андрей Юрьевич Партенит - 11 мая 2013 г.

Page 2: Компьютерная семиография 2013

Древние музыкальные рукописи

2

• Синодальное собрание славянских

рукописей - 1172 фолианта.

• Рукописей Соловецкого монастыря -

202 рукописи

• Общество любителей древней

письменности - 624 славяно-русских и

нескольких греческих рукописей

Сборники песнопений из собраний

Д.В.Разумовского и В.Ф. Одоевского

крюковые (знаменные) – 83 рукописи

Нотолинейные – 43 рукописи

двузнаменные – 3 рукописи

Более 3000 рукописей XI-XIX вв. хранятся в библиотеках России

Page 3: Компьютерная семиография 2013

КЛЮЧ К РАСШИФРОВКЕ ДРЕВНЕЙШИХ ПЕСНОПЕНИЙ УТЕРЯН

Знамена –

комбинации звуков

различной высоты

и длительности

В рукописях

содержится более

500 знамен

Одна страница

рукописи - более

N100 вариантов

расшифровки

Более двух веков ученые пытаются

расшифровать семиографические

(знаменные) песнопения

Page 4: Компьютерная семиография 2013

Сложности дешифровки (1) 1. Общее количество знамен (их вариаций)

неизвестно (200-500)

2. Одному знамени может соответствовать

последовательность нот различной

высоты и длительности

3. Имеющиеся азбуки неполны и

противоречивы (дают различные

трактовки)

4. Пометные (признаковые) подсказки

недостаточно информативны

5. Рукописи XI-XVI вв. не имеют помет

6. Двузнаменники немногочислены и трудны

для ручного анализа

--------------------------------------------------------------------

7. Источники труднодоступны и рукописны

8. Отсутствуют средства и технологии для

удобного и эффективного ввода данных

9. Отсутствуют общепринятые форматы для

хранения / ввода данных

10. Нет доступных инструментов для

компьютерного анализа

Page 5: Компьютерная семиография 2013

Исследуемые рукописи

5

5

Круг древнего

знаменного пения 1884г. Ирмологий 17 в.

Сборник попевок

Соловецкого собрания

1367 страниц (6 томов) 68 страниц 213 страниц

V V рпо V http://compsemiografy.ru/chants.html

Page 6: Компьютерная семиография 2013

Sign Plain Bold Italic

L L L L M M M M N N N N O O O O P P P P Q Q Q Q R R R R S S S S T T T T U U U U V V V V

! # $ % . / * 4 5 6 7 ; < =

> ? @ 0 0 0 1 1 2 2 3 3 8 '

A B 9 C D E F G : a b c " Z A B 9 C D E F G a b c & Z

A B 9 C D E F G a b Z

d e K L M N O P Q R

d e K L M N O P Q R d e K L M N O P Q R H I J S T U V ( ) W X Y

H I J S T U V ( ) W X Y

H I J S T U V ( ) W X Y

(в, г, м, н, п, р, с, х, ц)

(б, к, л, т, у)

Разработка компьютерных шрифтов

http://compsemiografy.ru/fonts.html

Page 7: Компьютерная семиография 2013

Ввод песнопений в MS Word

Page 8: Компьютерная семиография 2013

Системы распознавания песнопений

http://compsemiografy.ru/service.html

Page 9: Компьютерная семиография 2013

Ввод песнопений через веб-сервис

9

С помощью веб-приложения

•Для ввода нот предусмотрены специальные подсказки

•Текущая страница для ввода отображается на экране

•Сохранение дополнительной информации о песнопении (название, страница)

Загрузка XML-файла

•Добавление песнопений, набранных

в MS Word

•Специальный формат XML-файла

Кодирование знамен

•Выделено 202 знамени

•Знамена разделены на 6

групп (максимум 7 подгрупп)

•От 10 до 66 знамен в группе

БД проекта содержит:

•29376 записей из «Круга…»

• 234 записи приложения к «Круга..»

•10897 записей двоезнаменника

•16914 записей сборника попевок

http://compsemiografy.ru/project/ipsm/

Page 10: Компьютерная семиография 2013

Сложности дешифровки (2) 1. Специфика осмогласия (старинных ладов)

2. Тайнозамкненность, наличие типовых

мелодических оборотов (попевок, кокиз,

фит, лиц).

3. Контекстная зависимость интерпретации

знамен:

- Размер контекста (окна) неизвестен и

может варьироваться

- Контекст связан с попевками

4. Попевки не достаточно изучены, а методы

их построения точно не известны

8. Попевки имеют сложную структуру, могут

иметь ядра, диапазоны вариаций знамен

--------------------------------------------------------------------

9. Необходимо исследовать структуру

знаменного (шире- музыкального) «языка»

10. Требуется разработка сложных

формальных моделей и программных

инструментов

11. Нехватка экспертных знаний в

предметной области

Попевка – последовательность знамен

с особенным значением (переводом).

Известно более 2000 попевок!!!

Page 11: Компьютерная семиография 2013

Знаменные песнопения как семиотическая система

Исследование синтаксиса песнопений • Исследование структуры знаменных

песнопений, выявление закономерностей

• Выявление попевок и поиск механизмов их формирования

• Выявление правил построения семиографических конструкций

• Исследование типологии связей знамен, оценка меры связанности

Page 12: Компьютерная семиография 2013

Первичный статистический анализ

1. Частотный анализ знамен

2. Проверка наличия синтаксических связей

Распределение знамен на 4 частотные группы

Page 13: Компьютерная семиография 2013

Построение модели музыкальных произведений

Отношение Обозначение Модель

𝜶-отношение 𝑍1𝛼 𝑍2

𝜷-отношение 𝑍1𝛽 𝑍2

𝜸-отношение 𝑍1𝛾 𝑍2

Типы отношений между знаменами: Правила для образования производных знамен:

Page 14: Компьютерная семиография 2013

Статистические модели знаменной нотации

14

Page 15: Компьютерная семиография 2013

Статистические модели знаменной нотации (2)

15

Page 16: Компьютерная семиография 2013

Статистические модели знаменной нотации (3)

Page 17: Компьютерная семиография 2013

Статистический машинный перевод

17

Модель языка

Модель перевода

Алгоритм декодирования

𝑃 𝑤1, 𝑤2, … , 𝑤𝑚 ≅ 𝑃 𝑤𝑖|𝑤𝑖−𝑛+1, 𝑤𝑖−𝑛+2…𝑤𝑖−1

𝑚

𝑖=1

, 𝑛 > 1

𝑃 𝑤𝑖|𝑤𝑖−1, 𝑤𝑖−2 =𝐶(𝑤𝑖−2, 𝑤𝑖−1, 𝑤𝑖)

𝐶(𝑤𝑖−2, 𝑤𝑖−1)

𝑃 𝑤3 𝑤1, 𝑤2 =∙𝐶 𝑤1, 𝑤2, 𝑤3 + 1

𝐶 𝑤1, 𝑤2 + 𝑉

𝑃 𝑛 𝑧 =𝐶(𝑛, 𝑧)

𝐶(𝑧),

где C(n,z) – количество раз, когда

последовательность знамен z

переводится нотами n

arg max𝑧𝑝(𝑧|𝑛) = argmax

𝑧𝑝(𝑧) ∙ 𝑝(𝑛|𝑧) ,

где z – триграмма знамен, n – перевод

триграммы (ноты), p(z|n) — условная

вероятность того, что переводу n соответствовал

исходный фрагмент z

Page 18: Компьютерная семиография 2013

Пример модели языка

Page 19: Компьютерная семиография 2013

Онлайн-проигрыватель песнопений

http://compsemiografy.ru/project/semio_muz/

Page 20: Компьютерная семиография 2013

НАШИ ПОБЕДЫ

Конкурс IT-прорыв 2010

Номинация «ЛУЧШИЙ IT-ПРОЕКТ ПО СОХРАНЕНИЮ

КУЛЬТУРНЫХ ЦЕННОСТЕЙ»

Page 21: Компьютерная семиография 2013

http://www.it-claim.ru/semio

НАШИ ПОБЕДЫ

Грант Российского гуманитарного научного фонда (РГНФ) - 2011

Автоматизированная система научных исследований в области компьютерной

семиографии (АСНИ КС)

Page 22: Компьютерная семиография 2013

Спасибо за внимание!

22