Корпусная лингвистика:компиляция корпуса устной речи

Наталья Карлова-Бурбонусnatali.karlova-bourbonus@zmi.uni-giessen.deУниверситет имени Юстуса Либиха

(г. Гиссен, Германия)

План лекции

Что такое корпус? Корпус устной речи? Виды Корпусы устной речи (фокус: слявянские языки) Компиляция корпуса устной речи: основные этапы,

принципы, инструменты

2Компиляция корпуса устной речи Наталья Карлова-Бурбонус 26.08.2015

Что такое корпус? Корпус устной речи?

Корпус = совокупность текстов (письменных и устных) в электронной форме.

Корпус устной речи = коллекция аудиозаписей устной речи включая транскрипты к ним.

Корпус устной речи обычно дополняет – информация о словах и частоте их употребления– метаданные (основная информация о корпусе)

Зачем нужен корпус устной речи?

Основной материал для анализа устной речи Примеры использования

– Сравнение произношений в различных диалектах– Сравнение произношения мужчин и женщин– Анализ спонтанной речи– Разработка систем для автоматического распознавания и

синтеза речи (заказ авиабилета)

Виды корпусов устной речи (1)

Начитанная речь– Список слов– Отрывки из книг– Новостная лента– Последовательность чисел

Спонтанная речь– Диалоги и встречи (свободная беседа между 2-мя и более

собеседниками)– Стимулированные нарративы (один человек рассказывает

историю)– Задание назначить встречу (день и место)– Симуляция естественных ситуаций

Виды корпусов устной речи (2)

Готовый корпус– Datenbank Gesprochenes Deutsch (DGD) (немецкий язык)– CHILDES database, CMU Pittsburgh (английский язык)– CLAPI: Corpus des langues parlées en interaction

(французский язык)– CGN: Corpus Gesproken Nederlands (голландский язык)– Multimedia Corpus of Spoken Bulgarian (болгарский язык)– Pražský mluvený korpus (Cesky národni korpus (CNC))

(чешский язык) Собственный корпус

Корпуса устной речи (фокус: славянские языки)

Multimedia Corpus of Spoken Bulgarian Pražský mluvený korpus (Český národní korpus (ČNK))

Национальный корпус чешского языка

Пражский речевой корпус (1)

Под руководством František Čermák (Карлов университет в Праге)

Корпус создан в 2001 304 аудиозаписи (анонимные), 1988-1996 675 000 слов

Пражский речевой корпус (2)

Сбалансированный корпус 4 переменные и их комбинации (MIBF, MIAF и т.д.)

– пол M-F (male/female)– возраст I-V (junior- vetus)– образование (basis-altus)– формальный/неформальнй тип беседы (formal/non-formal)

• Формальный тип: монолог, секвенция ответов на заранее подготовленные вопросы, сами вопросы не записываются и не транскрибируются; темы: школа, работа, молодежные темы

• Неформальный тип: диалог между двумя собеседниками, темы не были заданы

Многомедийный речевой корпус болгарского языка (1)

Многомедийный речевой корпус болгарского языка(2)

2013-2014 Аудио- и видеозаписи с соответствующими транскриптами Аутентичные диалоги Орфографический тип транскрипции Транскрипты также содержат информацию о

невербальных средствах (паузы, смех, шум, мимика, жесты).

Синхронизация видео- и аудиозаписей с транскриптами была осуществлена с помощью EXMARaLDA

Доступ: онлайн

Многомедийный речевой корпус болгарского языка(3)

Компиляция корпуса

Появление новых технологий за последние 10 лет открыло многочисленные возможности для сбора данных, а также обработки и анализа устной речи.

Комплексная задача Четкое планирование

Основные этапы компиляции корпуса устной речи

Сбор данных (первичные данные) Транскрибирование Аннотация и метаданные Доступ к данным

Сбор данных (1)

Составление заявлений о согласии автора / интервьюируемого о последующем использовании записи

Заявление о согласии д.б. подписано интервьюируемыми Выбор форматов для записей, оборудования, места и

условий, где будет сделана запись и т.д. Процесс сбора данных:

– В лабораторных условиях– В естественных условиях

Выбор фокуса: количество или деталь Данные д.б. релевантны и репрезентативны

Технические рекомендации*:– Данные в цифровом формате

• Flash mobile recorder• Ноутбук (звуковая карта высокого качества, внешний микрофон,

ноутбук в хорошем техническом состоянии, качественная программа для записи – напр. Audicity)

• Для видеозаписей подходят обычые камеры (MPEG2 или MPEG4/H.264 с высоким битрейтом)

– Условия и инструменты для аудио- и видеозаписи высокого качества

* Рекомендации Немецкого научно-исследовательского института (DFG)18Компиляция корпуса устной речи Наталья Карлова-Бурбонус 26.08.2015

Технические рекомендации:– Записи без потери качества из-за сжатия файла– Конвертация форматов для использования записей в

выбранных инструментах для машинной обработки– Форматы:

• Аудио: несжатый линейный формат PCM (.WAV) (при отсутствии посторонних звуков 16бит/22kHz – 16бит/48kHz )

• Видео:– Стандартное качество: 720px x 576px или 704px x 480px с сжатием

MPEG-2 до 9Mbit/s (3.5 Mbit/s)– Высокое качество (подходит для анализа жестов и мимики): 1280px

x 720px или 1920px x 1080px с сжатием H.264/MPEG-4 AVC до 48Mbit/s (9Mbit/s)

– Резервное сохранение оригинальных записей

Транскрибирование (1)

Сложность работы с записями устной речи– Представление устной речи с помощью символов

(орфография, интонация, сбои речи, невербальные средства)

Синхронизация аудио-/видеозаписи с транскрипцией Выбор типа транскрипции:

• Орфографическая• Фонетическая

Орфографический вид транскрипции

Ориентир:– Орфографический словарь (нормированная

орфография слов) Как кодировать в транскрипции „не“, „че“?

Нормированная орфографическая передача? Xарактериcтика речи интервьюируемого.

Иностранные слова:– Твит(т)ер, фе(э)йсбук или twitter и facebook

Орфографический вид транскрипции

Представление невербальной информации (контекстуальная информация, жесты, паузы, частичное наложение) в транскрипте:– Паузы:

• Главное отличие устной речи от письменной• Колебания, паузы-хезитации(мэканье)• Короткие паузы vs. долгие паузы сколько по времени длятся? • Обычно варьируются от < 0.2 сек до < 0.5 сек в зависимости от

функции паузы– Самоисправления– Наложение речи– Смех– Шум

Нормы

Для орфографического типа транскрипции:– CHAT– GAT (Selting et al. 1998)– HIAT (Ehlich/Rehbein 1976) [3]

Для фонетического типа транскрипции:– IPA (International Phonetic Association)

IPA для русского языка

*Источник http://russisch.urz.uni-leipzig.de/online-woerterbuch/ipadescr.htm

Рекомендации для транскрибирования

Ориентация на аудио- и видеозапись, а не на собственные языковые представления

Единые правила для составления транскрипции консистенция в процессе

Транскрипции должны быть четкими и удобочитаемыми Выбор программы, которая

– основана на UNICODE– с достаточной документацией– позволяет синхронизацию аудио-/видеозаписи с транскрипцией– работает с форматами (XML), которые совместимы с другими

программами

Стандарты для аннотирования

Морфосинтаксический тип аннотации– STTS

Синтаксический тип аннотации– Tiger

Семантический тип аннотации– SALSA

Грамматические отношения и одушевленность имен существительных в дискурсе– GRAID

Просодия и интонация– ToBi

Метаданные

Сфера функционирования: публичная, непубличная, кино

Тип: беседа, интервью, микродиалог и пр. Тематика: частная жизнь, медицина и здоровье,

политика и общественная жизнь и пр. Место и время записи Характеристики говорящих: возраст, пол,

национальность

Стандарты для метаданных

Dublin Core Metadata Initiative (DCMI) Open Language Archives Community (OLAC) Component MetaData Infrastructure (CMDI) Data Category Registry (ISOcat) ISLE Meta Data Initiative (IMDI)

Инструменты

ANVIL ELAN FOLKER EXMARaLDA* Praat Phon

• Workshop “Компиляция и транскрибирование корпуса устной речи с EXMARaLDA“ (ул.Сурганова 6, каб.100, 14:00-16:00)

Что такое EXMARaLDA?

Extensible Markup Language for Discourse Annotation Набор инструментов для работы с видео и

аудиофайлами Разработан в Университете Гамбурга (Universität

Hamburg) Написан в Java Поддерживается Windows, Mac OS, Linux

Почему EXMARaLDA?

Доступен для бесплатного (законного) скачивания и использования (некоммерческая лицензия)

Основан на стандарте UNICODE (многоязычность) Отличная документация +

обучающие уроки (на англ. и нем. языках) Все необходимые инструменты для компиляции

корпуса устной речи и работы с ним– Partitur-Editor: инструмент для многоуровневого

транскрибирования и аннотирования аудио- и видеофайлов– COMA: инструмент для организации/компиляции корпуса и

его управления– Exakt: инструмент для поиска и анализа корпуса

Проекты и EXMARaLDA

Бесплатный инструмент для детального фонетического анализа

Аспекты анализа:– duration– vowel formants– fundamental frequency – pitch– intensity – loudness

Обучающее видео / руководство

Доступ

Виды– Оффлайн (возможность скачивания)– Онлайн– Платный / бесплатный– Необходимость регистрации

Весь корпус целиком? Отдельные элементы. Только транскрипции или аудиозаписи также?

Формат? HTML, SGML

Вопросы?

Компиляция корпуса устной речи Наталья Карлова-Бурбонус 26.08.2015

Основные источники DFG-Handreichung "Empfehlungen zu datentechnischen Standards

und Tools bei der Erhebung von Sprachkorpora".

DFG-Handreichung "Informationen zu rechtlichen Aspekten bei der Handhabung von Sprachkorpora".

Leech, Geoffrey, Greg Myers & Jenny Thomas, eds. (1995). Spoken English on Computer. London: Longman.

Корпусная лингвистика:компиляция корпуса устной речи

Technology

Deutschland (обучение устной речи)

Технический каталог...2017/07/12 · 5 ТЕХНИЧЕСКАЯ ИНФОРМАЦИЯ Длина корпуса,L,(мм) Диаметр корпуса,D,(мм) Расход

Корпусная лингвистика: Проект открытый корпус и применение в народном хозяйстве

гутор а. е. оборона корпуса на широком фронте. действия 7 русского корпуса с 3 по 6 сентября 1915 г

КОРПУСА ЦИЛИНДРИЧЕСКИЕ ... · УДК 61-113: 66.01Э.1: 006.354 rpynne Г47 rосУДАРСТВЕННЫй СТАНДАРТ СОЮЗА ССР КОРПУСА ЦИЛИНДРИЧЕСКИЕ

Семантические роли и сеть конструкций в ... · 2017-06-26 · семантические переходы, лексикография, корпусная

Предварительная обработка и разметка корпуса текстов

МЕБЕЛЬ КОРПУСНАЯ и › wp-content › uploads › 2017 › 09 › GOST-19882-91... · 2017-09-12 · МЕБЕЛЬ КОРПУСНАЯ МЕТОДЫ ИСПЫТАНИЯ

КОРПУСА - fulcrum.ru · КОРПУСА teko КОМАНДА РАЗРАБОТКА ... Корпуса из алюминиевого листа с крышкой и основанием

М.В. Вербицкая: «Новая концепция устной части ЕГЭ по английскому языку»

модульная корпусная мебель_002

Вопросы, изложенные в лекции Корпуса агрегатов и корпусные детали

Корпуса Ensto Cubo · Корпуса Ensto Cubo сертифицированы по EN 62208 (SGS Fimko). Корпуса нашего производства прошли

Презентация по устной части ОГЭ

Дорога Уральского добровольческого танкового корпуса

белой выход 19 го корпуса из окружения

Корпуса щкафов из металла

Jазвитие устной связной речи младших ...2 Цель опыта: развитие устной связной речи младших школьников

ОТЧЕТ Института В · 2017-06-26 · фундаментальных исследований Президиума РАН «Корпусная лингвистика»

Презентация Всероссийского волонтерского корпуса в Санкт-Петербурге