Интерактивный звук (АГВЗ'15:3)

 Интерактивный звук

с/к Анализ и генерация видео и звука

в реальном времени

Денис Перевалов, весна 2015 г., УрФУ-ИММ, г. Екатеринбург

http://uralvision.blogspot.com

http://vk.com/lections_media_processing

https://www.facebook.com/LectionsMediaProcessing

Цифровой звукПрименения звукаТипы микрофоновЗапись звука в AudacityСведение дорожек в Ableton LiveПульты и контроллерыОбработка звука в Max/MSPАнализ звука

Что такое звукЗвук, в широком смысле — упругие волны, продольно распространяющиеся в среде и создающие в ней механические колебания; в узком смысле — субъективное восприятие этих колебаний специальными органами чувств животных или человека.Как и любая волна, звук характеризуется амплитудой и частотой.         (Википедия)

http://blog.modernmechanix.com/mags/qf/c/PopularScience/9-1950/med_sound.jpg

Представление звука в цифровом видеРеальный звук захватывается микрофоном, затем подвергается аналого-цифровому преобразованию.

Разрешение по времени - частота дискретизации,   [процедура - дискретизация]Разрешение по амплитуде - разрядность.                   [процедура - квантование]

Амплитуда

http://upload.wikimedia.org/wikipedia/commons/thumb/9/9a/Digital.signal.svg/567px-Digital.signal.svg.png

Время

Применения звука

Создание звукового фонаВоспроизведение готовых звуков и аудиотреков

КомпьютерОбработка звукаМанипуляции со звуком, захватываемым прямо во время выступления (музыка, вокал, стихи)

Компьютер

Анализ звукаВычисление параметров звука (громкость, содержимое по частотам, темп, тон) и использования для визуализации

Компьютер

КомпьютерСинтез звукаПревращение параметров, изображений, движений, запахов в звуки и музыку (сонификация, транскодинг)

Создание звукового фона

Подготовка звуков

1) Готовые звуковые файлы

freesound.org

2) СинтезCubase, Reason

3) Запись в микрофонAudacity

Сведение дорожек

Ableton Live

Микрофоны

Конденсаторный микрофон

Студийный

http://novotroitsk-rap.my1.ru/img/a4e6156c10.gif

http://harmonica.ru/content/study/articles/amplification_mics/condenser.gif

Динамический микрофон

Концертный

Запись звука в Audacity

Запись, подрезка, нормализация, сохранение в файл (AIFF, WAV)

Сведение дорожек в Ableton Live

Пульты и контроллеры

Пульты и контроллеры

Обработка звука в Ableton Live

Обработка звука в Ableton Live

Обработка звука в Max/MSP

ekazha.wordpress.com/projects/line/

Перформанс “Одной линией”, Екатерина Жаринова и Ольга Севостьянова, 2013г.

Обработка звука в Max/MSP

Анализ звукаВычисление мгновенной громкостиАнализ спектраПреобразования звука в изображение

https://masteringof.wordpress.com/examples/sounds/

Анализ звукаЗвук обрабатывается блоками(типичное значение - по 256 отсчётов)44100 / 256 = 172,3 раза в секунду0.0058 сек один блок

Чаще всего звуковые алгоритмы обрабатывают полученный блок без задержки блоков, и суммарная задержка между записью и воспроизведением равна сумме двух блоков (запись + воспроизведение).В нашем примере это 0.012 сек.

В то же время, сложные алгоритмы анализа звука могут аккумулировать буферы для обработки; в этом случае, итоговая задержка увеличивается.

Синтез звукаИсточники входных данных:ПультыДатчикиДвижения человекаИзображенияВидео

Звук также подаётся в звуковую карту блоками (типичное значение - 256 отсчётов)

Пример - маятник; пусть его положение задаёт параметры звука