Мультимедиа · Мультимедиа Задание 4. ... понятие –спектр частот. ... •В результате в мозг поступает информация

Мультимедиа

Задание 4

Задание 4

• Сгенерировать массив из 100 значений, которые представляют собой выборку из нормального распределения с мат.ожиданием = 0 и дисперсией = 1.

• Проквантовать равномерным скалярным квантователем с переменной скоростью. Количество квантов: от 7 до 9 на выбор студента.

• Найти среднеквадратичную ошибку и энтропию

Задание 4

• Реализовать оптимальный вариант (с меньшей среднеквадратичной ошибкой) квантователя. Количество квантов: такое же как в предыдущей части задания.

• Использовать неравномерный скалярный квантователь построенный по алгоритму Ллойда-Макса

• Найти среднеквадратичную ошибку и энтропию. Сравнить с равномерным скалярным квантователем.

• Интерпретировать результат сравнения.

http://en.wikipedia.org/wiki/Lloyd%27s_algorithm

Задание 4

• (Дополнительное задание оценивается бонусными баллами).

• Проквантовать сгенерированную последовательность векторным квантователем. Параметры кодовой книги - 8 слов по 2 элемента.

• Оптимальная кодовая книга строится при помощи алгоритма Линде-Бузо-Грея (Linde-Buzo-Grayalgorithm) – обобщение алгоритма Ллойда.

• Аналог этого алгоритма: k-means.

Звук

Общие понятия

Звук – определение

• Звук, это ощущения, воспринимаемые нашим ухом и интерпретируемые мозгом определенным образом.

• Звук это колебание среды. Звук распространяется в среде с помощью волн давления посредством колебания атомов и молекул.

Звуковая волна

Атрибуты звуковой волны

• Как и любая волна звук имеет три важных атрибута: скорость, амплитуду и период.

• Частота волны не является независимым атрибутом, она равна числу периодов волны за единицу времени (одну секунду). Единицей частоты служит герц (Гц). Важное понятие – спектр частот.

Диапазон слышимых частот

• Человеческое ухо способно воспринимать звук в широком диапазоне частот, обычно, от 20 Гц до 22000 Гц, что зависит от возраста и состояния здоровья человека.

• Некоторые животные, например, собаки и летучие мыши, могут слышать звук более высокой частоты (ультразвук).

• Простое вычисление дает периоды слышимых звуков. При частоте 22000 Гц период равен около 1.56 см., а при 20 Гц он равен 17.19 м.

Скорость звука

• Скорость звука зависит от свойств среды, в которой он распространяется, а также от температуры.

• В воздухе на уровне моря (при давлении в одну атмосферу) и при температуре 20° по Цельсию скорость звука равна 343.8 метров в секунду.

Звуковые колебания

• Обычно мы слышим звук, который распространяется в воздухе и колеблет наши барабанные перепонки.

• Однако звук может распространятся и во многих других средах. • Морские животные способны издавать звуки в воде и

откликаться на них. • Если ударить молотком по концу металлического

рельса, то в нем возникнут звуковые колебания, которые можно обнаружить на другом конце.

• Наилучшим изолятором служит вакуум, в котором отсутствуют частицы, способные колебаться и передавать возмущения.

Амплитуда звука

• Амплитуда звука воспринимается как громкость.

• Амплитуда определяет максимальную интенсивность колебаний – громкость (volume) или силу звука.

• На графике амплитуда представляется размахом сигнала - наибольшим и наименьшим относительно среднего значения уровнями.

Интенсивность звука

• Сложности с измерением интенсивности звука связаны с тем, что наше ухо чувствительно к весьма широкому диапазону уровней громкости звука. Уровень грохота пушки и уровень комариного писка может различаться на 11-12 порядков.

• Широкий размах измеряемой величины. Если обозначить уровень наименьшего слышимого звука (порог слышимости) за 1, то уровень грохота пушки будет равен 1011

• Для измерения громкости звука используется логарифмическая шкала.

Интенсивность звука

• Логарифм 1 равен 0, а десятичный логарифм 1011

равен 11. Используя логарифмы, можно иметь дело с числами в интервале от 1 до 11. На самом деле, такой интервал маловат, поэтому его принято умножать на 10, чтобы работать с числами от 0 до 110.

• В этом заключается хорошо известный метод измерения с помощью децибел.

• Единица измерения в 1 децибел (дБ) определяется как десятичный логарифм частного между двумя физическими величинами, для которых единицей измерения служит мощность (энергия в единицу времени).

• Если не умножить на 10, то получится «бел».

Децибел

• Итак, получаем

уровень = 10log10(P1/P2) дБ,

• где Р1 и Р2 - величины, измеренные в единицах мощности, то есть, ватт, джоуль/сек, грамм-см/сек или лошадиная сила. Это может быть мощность молекулы, электрическая мощность или еще что-то.

• При измерении громкости звука применяется единица акустической мощности. Поскольку громкий звук можно произвести с помощью малой энергии, то обычно используется единица микроватт (10-6).

Децибел

• Децибел – это логарифм частного двух величин. В числителе стоит мощность P1 звука, чей уровень громкости мы желаем измерить.

• В качестве знаменателя принято использовать мощность самого слабого различимого звука (порога слышимости).

• Из экспериментов было получено, что мощность порога слышимости составляет 10-12

ватт.

Децибел

• Таким образом, стерео устройство, производящее 1 ватт акустической мощности, имеет уровень громкости

• 10log10(106/10-6) = 10log10(1012) = 10 * 12 = 120 дБ

• (это где-то в районе порога болевого ощущения), а наушники, вырабатывающие 3 * 10-4 микроватт имеют уровень

• 10log10 (3 * 10-4 / 10-6) = 10log10 (3 * 102) = 10log103 + 2) = 24.77 дБ.

Задача

• Трубач играет на трубе, извлекая звуки в 70дБ, а затем к нему присоединяется второй музыкант, играя на тромбоне с таким же уровнем звука.

• Каков суммарный уровень звука?

Решение

• Если 10log10(P1/P2) = 70, то

10log10(2P1/P2) = 10(log102+log10 (P1/P2)) = 73.

• Удвоение интенсивности шума приводит к увеличению уровня на 3 единицы

Звук

• Мы слышим звук, когда молекулы начинают ударять по барабанным перепонкам в ушах и оказывают на них определенное давление. Молекулы перемещаются вперед-назад на крошечное расстояние, которое соотносится с амплитудой. Молекулы при этом смещаются на миллионные доли сантиметра в своих колебаниях.

• Устройство регистрации звуков должно иметь весьма чувствительную диафрагму, чтобы улавливать давление звуковой волны и переводить их в электромагнитные колебания, которые затем будут преобразовываться в цифровую форму.

Представление звука

• Как уже отмечалось, любое изображение можно оцифровать разбив его на пикселы, а каждому пикселу приписать некоторое число.

• Точно также звук можно оцифровать, разбив его на фрагменты и присвоив им некоторые числовые значения. Если записывать звук через микрофон, то он переводится в электрический сигнал, напряжение которого непрерывно зависит от времени.


• Это напряжение называется аналоговым представлением звука.

• Оцифровка звука делается с помощью измерения напряжения сигнала во многих точках оси времени, перевода каждого измерения в числовую форму и записи полученных чисел в файл.


• Этот процесс называется сэмплированием или отбором фрагментов.

• Звуковая волна сэмплируется, а сэмплы (звуковые фрагменты) становятся оцифрованным звуком.

• Устройство сэмплирования звука называется аналого-цифровым преобразователем (АЦП или, по-английски, ADC, analog-to-digital converter).


• Поскольку звуковые сэмплы являются числами, их легко редактировать. Однако, основное назначение звуковых файлов состоит в их проигрывании и в прослушивании. Это делается с помощью перевода числовых сэмплов в электрическое напряжение, которое непрерывно подается на динамики.

• Устройство для выполнения этой процедуры называется цифро-аналоговым преобразователем (ЦАП или DAC, digital-to-analog converter).

Сэмплирование

• Оцифровка звука делается с помощью измерения напряжения сигнала во многих точках оси времени, перевода каждого измерения в числовую форму и записи полученных чисел в файл. Этот процесс называется сэмплированием или отбором фрагментов.


• Звуковая волна сэмплируется, а сэмплы(звуковые фрагменты) становятся оцифрованным звуком.

• Очевидно, более высокая скорость сэмплирования дает лучшее представление звука, но это же приводит к увеличению числа сэмплов (звуковых фрагментов) и к росту объема звукового файла. Следовательно, основная проблема сэмплирования состоит в определении оптимальной скорости отбора сэмплов.



• Решение задачи сэмплирования состоит в отборе звуковых фрагментов со скоростью чуть выше скорости Найквиста (теорема Котельникова), которая равна удвоенному максимуму частоты волн данного звука.

• Такое сэмплирование гарантирует весьма близкое восстановление звуковой волны.

• Отметим, что сэмплы не обязательно отбираются от минимума до максимума волны; их можно брать в любых точках.


• Диапазон слышимых частот лежит в интервале от 16-20 Гц до 20000-22000 Гц. Он зависит от возраста и других физических особенностей человека. Если необходимо оцифровывать звук с высокой точностью, то скорость сэмплирования должна быть выше скорости Найквиста, которая равна 2 * 22000 = 44000 Гц.

• Поэтому высококачественный оцифрованный звук основан на скорости сэмплирования 44100 Гц. Скорость ниже этого значения приводит к искажениям, а большая скорость сэмплирования не даст улучшение реконструкции звука. Поэтому на практике можно использовать фильтры пропускания до 44100 Гц для эффективного удаления частот выше 22000 Гц.


• Система телефонии, изначально разработанная для переговоров, но не для цифровых коммуникаций, сэмплирует звук с частотой всего в 8 кГц. Значит, любой звук с частотой выше 4 кГц будет искажаться при передаче по телефону. По этой же причине бывает трудно различить по телефону звуки «с» и «ф». Поэтому часто при сообщении по телефону имен, фамилий и адресов приходится диктовать первые буквы слов вроде «Михаил», «Ольга», «Семен», «Константин», «Виктория», «Анна».


• Другая проблема сэмплирования заключается в размере звукового фрагмента, то есть, сэмпла. Каждый сэмпл -это число, но насколько большим может оно быть? Обычно на практике сэмплы состоят из 8 или 16 бит, но высококачественные звуковые карты допускают использование 32 бит.

Звуковой сигнал

• Традиционно в цифровой звукозаписи аудиодорожка представляется в виде осциллограммы, отображающей форму звуковой волны (waveform), то есть зависимость амплитуды звука от времени.

• Такое представление достаточно наглядно: осциллограмма позволяет увидеть основные события в звуке, такие как изменения громкости, паузы между частями произведения и зачастую даже отдельные ноты в сольной записи инструмента.




• Одновременное звучание нескольких инструментов (а также голосов, шумов) на осциллограмме «смешивается» и визуальный анализ сигнала становится затруднительным.

• Тем не менее, наше ухо без труда различает отдельные инструменты в небольшом ансамбле.

Свойства органа слуха

• Когда сложное звуковое колебание попадает на барабанную перепонку уха, оно с помощью серии слуховых косточек передаётся на орган, называемый улиткой.

• Улитка представляет собой закрученную в спираль эластичную трубочку. Толщина и жёсткость улитки плавно меняются от края к центру спирали.


• Когда сложное колебание поступает на край улитки, это вызывает ответные колебания разных частей улитки.

При этом резонансная

частота у каждой части

улитки своя. Таким

образом улитка

раскладывает сложное

звуковое колебание на

отдельные частотные

составляющие.


• К каждой части улитки подходят отдельные группы слуховых нервов, передающие информацию о колебаниях улитки в головной мозг.

• В результате в мозг поступает информация о звуке, уже разложенная по частотам, и человек легко отличает высокие звуки от низких. Кроме того разложение звука на частоты помогает различить отдельные инструменты в полифонической записи, что значительно расширяет возможности редактирования.


• Математически звуковой сигнал длительностью T секунд является некоторой функцией f(x), заданной на отрезке {0, T}. Такую функцию всегда можно представить в виде суммы гармонических функций (синусоид или косинусоид) вида:

где:k —номер гармоники (обертон)T — отрезок, где функция определена (длительность сигнала)Ak — амплитуда k-ой гармонической составляющей,θk- начальная фаза k-ой гармонической составляющей

Получение спектра

• Что значит «представить функцию в виде суммы ряда»? Это значит, что, сложив в каждой точке значения гармонических составляющих ряда Фурье, мы получим значение нашей функции в этой точке.

• Таким образом, математической основой спектрального анализа сигналов является преобразование Фурье.

Получение спектра

• Преобразование Фурье позволяет представить непрерывную функцию f(x) (сигнал), определенную на отрезке {0, T} в виде суммы бесконечного числа (бесконечного ряда) тригонометрических функций с определёнными амплитудами и фазами, также рассматриваемых на отрезке {0, T}. Такой ряд называется рядом Фурье.


• Cформируем массив отсчетов как сумму двух синусоид sin(10*2*pi*x)+0,5*sin(5*2*pi*x)


• График спектра для sin(10*2*pi*x)+0,5*sin(5*2*pi*x)


Частоты нот

Спектр

• FFT (fast Fourier transform) – алгоритм быстрого вычисления дискретного преобразования Фурье. Благодаря ему стало возможным анализировать спектр звуковых сигналов в реальном времени.

• На вход FFT поступает цифровой аудиосигнал. Анализатор выбирает из сигнала последовательные интервалы («окна»), на которых будет вычисляться спектр, и считает FFT в каждом окне для получения амплитудного спектра Xk. Вычисленный спектр отображается в виде графика зависимости амплитуды от частоты

Спектр

• FFT раскладывает сигнал не по тем частотам, которые на самом деле присутствуют в сигнале, а по фиксированной равномерной сетке частот.

• Например, если частота дискретизации равна 48 кГц и размер окна FFT выбран 4096 отсчётов, то FFT раскладывает сигнал по 2049 частотам: 0 Гц, 11.72 Гц, 23.44 Гц, ..., 24000 Гц.

Спектр

• Если частота тона совпадает с одной из частот сетки FFT, то спектр будет выглядеть "идеально": единственный острый пик укажет на частоту и амплитуду тона.

• Если же частота тона не совпадает ни с одной из частот сетки FFT, то FFT «соберёт» тон из имеющихся в сетке частот, скомбинированных с различными весами. График спектра при этом размывается по частоте.

• Такое размытие обычно нежелательно, так как оно может закрыть собой более слабые звуки на соседних частотах.

Спектр

• Чтобы уменьшить эффект размытия спектра, сигнал перед вычислением FFT умножается на весовые окна – гладкие функции, похожие на гауссиан, спадающие к краям интервала.

• Окна уменьшают размытие спектра за счёт некоторого ухудшения частотного разрешения.

• Если рассматривать FFT как набор полосовых фильтров, то весовые окна регулируют взаимное проникновение частотных полос.

Спектр

• Простейшее окно – прямоугольное: это константа 1, не меняющая сигнала. Оно эквивалентно отсутствию весового окна. Одно из популярных окон – окно Хэмминга. Оно уменьшает уровень размытия спектра примерно на 40 дБ относительно главного пика.

• Для большинства задач не очень важно, какой именно вид весового окна использовать.

Спектрограмма

• Часто возникает необходимость проследить, как спектр сигнала меняется во времени. FFT-анализаторы помогают сделать это в реальном времени при воспроизведении сигнала.

• В ряде случаев оказывается удобна визуализация изменения спектра во всём звуковом отрывке сразу. Такое представление сигнала называется спектрограммой. Для её построения применяется оконное преобразование Фурье: спектр вычисляется от последовательных окон сигнала, и каждый из этих спектров образует столбец в спектрограмме.

• По горизонтальной оси спектрограммы откладывается время, по вертикальной – частота, а амплитуда отображается яркостью или цветом.

Спектрограмма (речь)

• I grew up a blue nose as …

Спектрограмма (Aphex Twin)

Спектрограмма (Aphex Twin)

• Widowlicker

Спектрограмма (помеха)


• Человеческое ухо способно воспринять звуки с частотой от 20 до 22000 Гц, но его чувствительность не является одинаковой в этом интервале. Она зависит от частоты звука. Эксперименты указывают на то, что в тихой окружающей обстановке чувствительность уха максимальна при частотах от 2 до 4 кГц.

• Частотный диапазон человеческого голоса также весьма ограничен. Он располагается в интервале от 500 Гц до 4 кГц.

• Проверка слуха https://www.youtube.com/watch?v=TzCZMBwFT98

https://www.youtube.com/watch?v=TzCZMBwFT98


• Существование порога слышимости дает основу для построения методов сжатия звука с потерями.

• Можно удалять все сэмплы, величина которых лежит ниже этого порога. Поскольку порог слышимости зависит от частоты, кодер должен знать спектр сжимаемого звука в каждый момент времени.


• Кроме того, для эффективного сжатия звука применяются еще два свойства органов слуха человека. Эти свойства называются частотное маскирование и временное маскирование.


• Частотное маскирование (его еще называют слуховое маскирование) происходит тогда, когда нормально слышимый звук накрывается другим громким звуком с близкой частотой.

• Временное маскирование происходит, когда громкому звуку А частоты / по времени предшествует или за ним следует более слабый звук В близкой частоты. Если интервал времени между этими звуками не велик, то звук В будет не слышен.

Звук


Обработка звука

• Под обработкой звука следует понимать различные преобразования звуковой информации с целью изменения каких-то характеристик звучания. К обработке звука относятся способы создания различных звуковых эффектов, фильтрация, а также методы очистки звука от нежелательных шумов, изменения тембра и т.д. Все это огромное множество преобразований сводится, в конечном счете, к следующим основным типам:

• Амплитудные преобразования.

• Частотные преобразования

• Фазовые преобразования

• Временные преобразования


• Амплитудные преобразования. Выполняются над амплитудой сигнала и приводят к ее усилению/ослаблению или изменению по какому-либо закону на определенных участках сигнала.

• Частотные преобразования. Выполняются над частотными составляющими звука: сигнал представляется в виде спектра частот через определенные промежутки времени, производится обработка необходимых частотных составляющих, например, фильтрация, и обратное «сворачивание» сигнала из спектра в волну.


• Фазовые преобразования. Сдвиг фазы сигнала тем или иным способом; например, такие преобразования стерео сигнала, позволяют реализовать эффект вращения или «объёмности» звука.

• Временные преобразования. Реализуются путем наложения, растягивания/сжатия сигналов; позволяют создать, например, эффекты эха или хора, а также повлиять на пространственные характеристики звука.


• Несколько практических примеров использования указанных видов преобразований при создании реальных звуковых эффектов:

• Echo (эхо). Реализуется с помощью временных преобразований. Фактически для получения эха необходимо на оригинальный входной сигнал наложить его задержанную во времени копию. Для того, чтобы человеческое ухо воспринимало вторую копию сигнала как повторение, а не как отзвук основного сигнала, необходимо время задержки установить равным примерно 50 мс. На основной сигнал можно наложить не одну его копию, а несколько, что позволит на выходе получить эффект многократного повторения звука (многоголосного эха). Чтобы эхо казалось затухающим, необходимо на исходный сигнал накладывать не просто задержанные копии сигнала, а приглушенные по амплитуде.


• Reverberation (повторение, отражение). Эффект заключается в придании звучанию объемности, характерной для большого зала, где каждый звук порождает соответствующий, медленно угасающий отзвук. Практически, с помощью реверберации можно «оживить», например, фонограмму, сделанную в заглушенном помещении. От эффекта «эхо» реверберация отличается тем, что на входной сигнал накладывается задержанный во времени выходной сигнал, а не задержанная копия входного. Иными словами, блок реверберации упрощенно представляет собой петлю, где выход блока подключен к его входу, таким образом уже обработанный сигнал каждый цикл снова подается на вход смешиваясь с оригинальным сигналом.


• Chorus (хор). В результате его применения звучание сигнала превращается как бы в звучание хора или в одновременное звучание нескольких инструментов. Схема получения такого эффекта аналогична схеме создания эффекта эха с той лишь разницей, что задержанные копии входного сигнала подвергаются слабой частотной модуляции (в среднем от 0.1 до 5 Гц) перед смешиванием со входным сигналом. Увеличение количества голосов в хоре достигается путем добавления копий сигнала с различными временами задержки.


• Практическую обработку сигналов можно разделить на два типа: обработка «на лету» и пост-обработка.

• Обработка «на лету» подразумевает мгновенное преобразование сигнала (то есть с возможностью осуществлять вывод обработанного сигнала почти одновременно с его вводом). Простой пример – гитарные «примочки» или реверберация во время живого исполнения на сцене.

• Такая обработка происходит мгновенно, то есть, скажем, исполнитель поет в микрофон, а эффект-процессор преобразует его голос и слушатель слышит уже обработанный вариант голоса.


• Пост-обработка – это обработка уже записанного сигнала. Скорость такой обработки может быть сильно ниже скорости воспроизведения. Такая обработка преследует те же цели, то есть придание звуку определенного характера, либо изменение характеристик, однако применяется на стадии мастеринга или подготовки звука к тиражированию, когда не требуется спешка, а важнее качество и скрупулезная проработка всех нюансов звучания.

• Существует множество различных операций над звуком, которые вследствие недостаточной производительности сегодняшних процессоров нельзя реализовать «на лету», поэтому такие преобразования проводят лишь в пост-режиме.


• Механизмы для обработки сигналов существуют как в программном, так и в аппаратном исполнениях (так называемые эффект-процессоры). Например, вокодеры и гитарные процессоры, хорусы и ревербераторы существуют в виде аппаратуры, а также в виде программ.

• Обработка звука также является начальным этапом анализа звука.

Синтез звука

• В процессе развития электроники совершенствовались методы и устройства генерации и обработки звуковых колебаний в электронных органах и в подобных им электронных музыкальных инструментах.

• Все больше внимания уделялось вопросам темброобразования как для более точной имитации звучания традиционных инструментов, так и в целях получения новых, необычных тембров. Основным методом темброобразованияоставался аддитивный метод, применявшийся еще в органе Хаммонда (1935 год).

• Этот метод заключается в том, что результирующий тембр формируется путем сложения нескольких исходных колебаний. Например, sin(10*2*pi*x)+0,5*sin(5*2*pi*x)


• При использовании в качестве исходных колебаний синусоидальных сигналов с кратными (отличающимися в целое число раз) частотами и регулируемыми амплитудами отдельных составляющих можно получить большое количество самых разнообразных тембров. Такая разновидность аддитивного метода называется гармоническим синтезом тембра.

• Другой разновидностью аддитивного метода является регистровый синтез. В этом случае в качестве исходных используют колебания более сложной формы, например, пилообразные или прямоугольные.

Формы волн


• Для точного воспроизведения звучания заданного музыкального инструмента требуется очень большое (теоретически бесконечно большое) число исходных колебаний. Чем меньше исходных колебаний, тем сильнее отличается синтезированный звук от звучания имитируемого инструмента.

• На практике оказывается, что даже при полутора-двух десятках исходных колебаний звучание синтезатора лишь в основном напоминает то, что хотелось получить.

• Наша психика устроена так, что если нами будут опознаны хоть какие-нибудь характерные признаки знакомого музыкального инструмента, то в сознании произойдет подмена фактического звучания на воображаемое и на проявляющиеся в дальнейшем огрехи имитации реагировать мы будем значительно слабее, чем они того заслуживают.

Синтез звука• Наряду с рассмотренным аддитивным методом, для

синтеза широко применяется субтрактивный метод.

• Сущность этого метода заключается в том, что новый тембр создается путем изменения соотношений между отдельными составляющими в спектре первоначального колебания.

• Реализуется этот метод в два этапа. Сначала формируются колебания имеющие как можно более богато развитый тембр (иметь большое количество спектральных составляющих). На втором этапе с помощью частотных фильтров из первоначального колебания выделяют частотные составляющие, характерные для имитируемого музыкального инструмента.

Синтез звука• «FM-аддитивный метод». Frequency Modulation (FM)

• Метод основан на частотной модуляции: изменении частоты сигнала в соответствии с законом изменения некоторого управляющего напряжения.

• При FM-методе синтез звука с необходимым тембром производится на основе использования нескольких генераторов звуковых частот при их взаимной модуляции. Совокупность генератора и схемы, управляющей этим генератором, принято называть оператором. В операторе следует выделять два структурных элемента: частотный модулятор и генератор огибающей. Частотный модулятор определяет высоту тона, а генератор огибающей определяет относительно медленное изменение амплитуды колебания во времени и, тем самым, тембр звука.

Синтез звука• Звуковые колебания, формируемые различными

музыкальными инструментами, имеют различные огибающие.

• Например, при нажатии на клавишу фортепиано, действительно, сначала амплитуда колебаний быстро возрастает до максимального значения, затем несколько спадает, потом в течение некоторого времени остается практически постоянной и, наконец, колебания медленно затухают.

Синтез звука• Любую огибающую

можно условно расчленить на несколько характерных фаз, которые принято называть: attack (атака), decay (спад), sustain(поддержка), release(освобождение). В более совершенных синтезаторах элементарный процесс извлечения звука состоит не из четырех, а из шести фаз.

Работа со звуком (Python)

• https://docs.python.org/3/library/wave.html

• https://habr.com/post/113239/

• https://habr.com/post/252937/

• https://freecx.github.io/blog/2016/12/26/python-music-synth

https://habr.com/post/113239/



https://freecx.github.io/blog/2016/12/26/python-music-synth


Задание 5

Задание 5

• Создать музыкальный фрагмент продолжительность –около 30 секунд.

• В этом фрагменте должна быть какая-то мелодия. Не обязательно очень красивая, но хотя бы такая, чтобы было понятно, что это не случайный набор звуков.

• Звук генерируется как сумма синусоид на разной частоте и с разной амплитудой.

• Звук постепенно вступает, а в конце постепенно затухает. (Т.е. меняется громкость).

Задание 5

• Обязательно нужно использовать фрагменты чужих записей (они должны быть прочитаны из файла).

• Музыкальный фрагмент сохранить в формате wav.

• Для итогового фрагмента построить спектрограмму.

• В отчете прокомментировать полученную спектрограмму.

• Загрузить отчёт в формате pdf и музыкальныйфрагмент в формате wav.

Звук


Кодирование речевых сигналов

• Известно, что многие аналоговые источники характеризуются высокой корреляцией (или зависимостью) между отсчётами.

• В теории информации такие источники принято называть источниками с памятью.

• Речевой сигнал, изображение – примеры источников с памятью.


• Использование скалярного квантования для таких источников неэффективно.

• Векторное квантование может учитывать зависимость между отчётами, но его практическое применение ограничено из-за высокой вычислительной сложности.


• Альтернативой векторному квантованию служит подход, основанный на предварительной линейной обработке с последующим скалярным квантованием.

• Идея этих методов состоит в том, чтобы повысить эффективность скалярного квантования за счёт удаления избыточности из данных на стадии предварительной обработки.


• Основной принцип метода линейного предсказания состоит в том, что текущий отсчет речевого сигнала можно аппроксимировать линейной комбинацией предшествующих отсчетов.

• Коэффициенты предсказания – это весовые коэффициенты, используемые в линейной комбинации. Коэффициенты предсказания определяются однозначно из условия минимизации среднего квадрата разности между отсчетами речевого сигнала и их предсказанными значениями (на конечном интервале).


• Основные положения метода линейного предсказания хорошо согласуются с моделью речеобразования, где речевой сигнал представляется в виде сигнала на выходе линейной системы с переменными во времени параметрами, возбуждаемой импульсами или случайным шумом.

• Метод линейного предсказания позволяет точно и надежно оценить параметры этой линейной системы с переменными коэффициентами.


• Линейный предсказатель с коэффициентами определяется как система, на выходе которой в момент времени n имеем:


• Погрешность предсказания определяется как


• Основная задача анализа на основе линейного предсказания заключается в определении параметров k по речевому сигналу.

• Вследствие изменения свойств речевого сигнала во времени коэффициенты предсказания должны оцениваться на коротких сегментах речи – кадрах.


• Пусть [n0, n1] – некоторый интервал. Сумма квадратов погрешностей линейного предсказания определяется следующим образом:

• Параметры k можно получить, минимизируя E.


• В результате получаем систему уравнений Юла-Уокера.


• В матричном виде.


• Матрица R в автокорреляционном методе обладает двумя важными свойствами. Она симметрическая (ее элементы, симметричные относительно главной диагонали, равны) и теплицева (каждая следующая строка получается из предыдущей сдвигом вправо).

• Структура теплицевой матрицы позволяет решить систему особенно просто: для определения решения по алгоритму Левинсона–Дарбинатребуется порядка p2 операций (решение произвольной системы p уравнений с pнеизвестными потребовало бы порядка p3

операций).

Задача 1

• Пусть оптимальные коэффициенты линейного предсказания, найденные с помощью процедуры Левинсона-Дарбина равны: 1.69, -1.59, 0.67, -0.13.

• Запишем уравнение предсказывающего фильтра

)4(13.0)3(67.0)2(59.1)1(69.1)()( nxnxnxnxnxne

Задача 2

• Дан фильтр первого порядка с коэффициентом предсказания 0.963. Фильтр применяется к следующей последовательности:654,652,560,364,225,112,52,5,-21,-93

• Уравнение предсказывающего фильтра:

)1(963.0)()( nxnxne

Задача 2

• Исходная последовательность:

654,652,560,364,225,112,52,5,-21,-93

• Последовательность ошибок предсказания:

654, 22, 68…

Задача 2

• Скалярно проквантуйте коэффициент предсказания с шагом step=0.02

• Восстановите коэффициент.

• round(0.963 / 0.02) = 48

• 48 * 0.02 = 0.960

Задача 2

• Скалярно проквантуйте ошибку предсказания step=200

• Восстановите последовательность

654, 22, 68…

3, 0, 0…

600, 0, 0 …

Задача 2

• Запишите реконструированный сигнал.

• 600, 0, 0 …

• 600

• 600 * 0.960 + 0 = 576.0

• 576.0 * 0.960 + 0 = 553.0

• И т.д.

Задача 2

• Найдите среднеквадратичную ошибку:

[(600 – 654)2 + (576 – 652)2 + (553-560)2 +…]/n

Задача 3

• Нормализованные коэффициенты системы уравнений Юла-Уокера порядка m=2 равны:

R(0)=1, R(1)=0.75, R(2)=0.17

• Запишите систему уравнений:

75.075.0 21 aa

17.075.0 21 aa

Задача 3

• Решите систему уравнений:

• Тут Левинсон и Дарбин не нужны.

• a1 = 1.43, a2 = -0.90

75.075.0 21 aa

17.075.0 21 aa

Задача 3

• Запишите уравнение предсказывающего фильтра

).2(90.0)1(43.1)()( nxnxnxne

Задача 3

• Проквантуйте с коэффициентом step=0.05.

• Восстановите.

• 29,18

• 1.45, 0.90

Documents

Мультимедиа · Мультимедиа Задание 4. ... понятие –спектр частот. ... •В результате в мозг поступает информация