Макет помехоустойчивого нейрофильтра границ для обработки видеоинформации

С.А. Чернышев

Санкт-Петербургский государственный университет аэрокосмического приборостроения

2012

Постановка задачиГлавной задачей проекта:

“Макет помехоустойчивого нейрофильтра границ для обработки видеоинформации” является аппаратная реализация нейрофильтра для выделения границы на зашумленном видеоизображении в реальном масштабе времени.

Решение задачи разбито на этапы:

1.Освоение: САПР Quartus II, NIOS II, Altera SOPC Builder;

2.Перенос готовой модели нейрофильтра (обученного по одношаговой процедуре обучения) из Matlab на ПЛИС;

3.Реализация нейрофильтра в виде IP-Core на языке Verilog HDL;

4.Конфигурация параметров нейрофильтра по JTAG UART;

5.Создание демонстрационного стенда.

ТЕРМИНОЛОГИЯТЕРМИНОЛОГИЯ

- “ - “ ОБУЧЕНИЕОБУЧЕНИЕ” ” процедура определения вектора процедура определения вектора WW и порогов и порогов активационной активационной функциифункции ; ;

““ОБУЧЕНИЕ ЧЕРЕЗ ПОКАЗОБУЧЕНИЕ ЧЕРЕЗ ПОКАЗ“ “ - - “ “ОБУЧЕНИЕОБУЧЕНИЕ” c ” c помощью помощью набора набора ““ПРИМЕРОВПРИМЕРОВ” ; ” ;

- “ПРИМЕР” – пара изображений “ИСХОДНОЕ ИЗОБРАЖЕНИЕ” и “РЕЗУЛЬТИРУЮЩЕЕ ИЗОБРАЖЕНИЕ”;

S1

S2

SNSEN

1

(S,W)

RESi,j

S1 S2 S5

S 6 S7 S10

S20 .. S25

Изображение

Фильтр 5*6

THmin THmax

КОНЦЕПЦИЯ ФИЛЬТРА ГРАНИЦ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ (1)КОНЦЕПЦИЯ ФИЛЬТРА ГРАНИЦ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ (1)

Кусочно- линейная активационная функция

F(x)

ОДНОШАГОВАЯ ПРОЦЕДУРА ОБУЧЕНИЯ (2)ОДНОШАГОВАЯ ПРОЦЕДУРА ОБУЧЕНИЯ (2)

S1(0,0) S2(0,0)

S1(0,1) S2(0,1) ................. 1……………………………….. S1(i,j) S2(i,j ) Snsen(i,j) 1

…………………………………

w1

w2

wnsen+1

F(0,0)

F(0,1)

…..

………F( i,j)………

* =

min F(w) = (SW - F, SW – F) + (W,W) w

Регуляризация по Тихонову обеспечивает устойчивое решение

W = (ST S + E) –1 ST F

Процедура обучения без учета порогов

S * W = F - некорректная по Адамару задача для определения W

S - прямоугольная матрица, сформированная из исходного изображения;

F - вектор, сформированный из результирующего изображения;

ОБУЧЕНИЕ ПО НАБОРУ ПРИМЕРОВОБУЧЕНИЕ ПО НАБОРУ ПРИМЕРОВ

ПРОЦЕДУРА ОДНОШАГОВОГО ОБУЧЕНИЯ W = (ST S + E) –1 ST F

Пример_1 : S1 F1

Пример_2 : S2 F2

S =

S1

S2 F =

F1

F2

ПРОЦЕДУРА ДООБУЧЕНИЯ Введем :

Sek = ∑ SkTSk - матрица предыдущего опыта с k примерами

Fek = ∑ SkTFk – вектор опыта с k примерами

Wk+1 = (Sek + S k+1T Sk+1 + E) –1 * (Fek+Sk+1

T Fk+1)

W1 = (S1T S1 + E) –1 * S1 T F1

W2 = (S1T S1 + S 2

T S2 + E) –1 * (S1T F1+S2

T F2)

Обучение по одному примеру

Обучение по двум примерам

СЛУЧАЙ ДВУХ ПРИМЕРОВ

КЛЮЧЕВЫЕ ВОПРОСЫКЛЮЧЕВЫЕ ВОПРОСЫ ПРИ СИНТЕЗЕ ФИЛЬТРАПРИ СИНТЕЗЕ ФИЛЬТРА

КАКАЯ ДЛИНА ФИЛЬТРА ДОЛЖНА БЫТЬ ИСПОЛЬЗОВАНА ?

Условие симметрии ограничивает к-во коэффициентов (весов): - 3*3 = > 3 - 5*5 3+3 => 6 - 7*7 6+4 => 10

КАКОГО ТИПА ПРИМЕРЫ ДОЛЖНЫ БЫТЬ ИСПОЛЬЗОВАНЫ ?

КАК МНОГО ПРИМЕРОВ НАДО ?

- ГРАНИЦЫ ЗАДАВАЕМЫЕ ВРУЧНУЮ

С РЕГУЛИРУЕМОЙ ТОЛЩИНОЙ

(на изображении толщина 2) ?

- ЛАПЛАС, SOBEL, CANNY ?

CLEAN_REC1 BORDER_REC1 NOISY_REC1

CLEAN_BAL1 BORDER_BAL1 NOISY_BAL1

- ПРЯМОУГОЛЬНИКИ, КРУГИ , ТИП ШУМА…?;

- СМЕШАНЫЙ НАБОР …..?

0,23-101,6930,23-

101,6841101,684

0,23-101,6930,23-

326-

6-6-

-6

Н

1210706,1-:_32 CONSTН

H52

0.105

0.086

0.018

0.084

0.101

0.071

0.023

0.146

0.019

0.064

2.54 103

ґ

0.149

0.533

0.136

3.808 103

ґ

0.075

0.027

0.15

0.013

0.071

0.099

0.085

9.57 103

ґ

0.097

0.095

жзззззззи

цчччччччш

H52_CONST 2.265

Веса нейрофильтра и их преобразование для представления на аппаратном уровне

Веса нейрофильтра 3х3+1, обучение на по двум примерам. Границы на изображении, которое хотим получить задавались вручную.

Веса нейрофильтра 5х5+1, обучение: по двум примерам.Границы на изображении, которое хотим получить задавались вручную.

Ниже приведем пример перевода вещественных значений весовых коэффициентов в целочисленный вид, для их использования в аппаратной реализации.

Допустим Х – некоторое вещественное число (-1,2365). Х умножаем на 10 000, после чего осуществляем сдвиг влево на 12, что эквивалентно умножению на 4096, и делим на 10 000. Получаем число -5064 или EC38 в шестнадцатеричной системе счисления. Получившийся результат умножаем на значение пикселя (например 138) и получаем -698832 или F55630, после чего осуществляем сдвиг вправо на 12. Итоговое значение будет -171 или F55. Теперь осуществим простое умножение (-1,2365*138)= -170,637. Как видим результаты вполне идентичные. Для сокращения времени расчетов был написан скрипт в MATLAB, который производит необходимые вычисления и выводит результат в шестнадцатеричном виде.

Реализация умножения значения пикселя на весовой коэффициент нейрофильтра

Использован модуль (MULT_ADD из Altera MegaWizard) для умножения одной пары значений, поэтому сумматор на выходе не используется. Если перемножается больше одной пары значений, то на выходе модуля имеется сумматор (макс. число перемножаемых пар, которое можно сконфигурировать в одном модуле, значений равно 4).

По шине dataa_0 передается весовой коэффициент нейрофильтра, поскольку он может быть как отрицательным, так и положительным то тип данных передаваемый по этой шине сконфигурирован, как Signed. Разрядность шины выбиралась в соответствии с разрядностью весовых коэффициентов, полученных в Matlab, при их переводе из вещественных в целочисленные.

По шине datab_0 передается значение пикселя, поэтому тип данных передаваемых по этой шине сконфигурирован, как Unsigned. А разрядность данной шины равна 8 (от 0 до 255 соответственно).

Выходная шина в 28 бит выбрана не случайно, поскольку после умножения значения пикселя и весового коэффициента нейрофильтра осуществляется сдвиг вправо на 12 (см. слайд выше), то на следующий за модулями MUTL_ADD параллельный сумматор подаются 16 битные значения.

Умножение происходитс приходом сигнала разрешения ena0, по фронту синхросигнала clock0.

Концепция аппаратной реализации нейрона 3х3+1

Каждый элемент MULT_ADD сконфигурирован для перемножения 3-х пар значений на входе модуля и сложения полученных результатов умножения на выходе. После чего с каждого блока MULT_ADD данные подаются на параллельный сумматор ADD, а в последующем на блок функции активации (порогового значения). Значение Wсв (десятый весовой коэффициент нейрофильтра) сразу подается на параллельный сумматор.

MULT_AD 1D

Значение пикселя и веса нейрона

WсвMULT_ADD 3

MULT_ADD 1

ADD- - - - - - - - - -

3х3

3х3

Функцияактивации

Концепция аппаратной реализации нейрона 5х5+1

В данном случае в модуль MULT_ADD отвечает за перемножение 4-х пар значений (максимально возможное число перемножаемых значений, которое можно сконфигурировать). Поскольку необходимо перемножить 25 пар значений, а одним модулем перемножается 4 пары, то используется 6 модулей по 4 и один модуль для перемножения одной пары (значение пикселя и весового коэффициента нейрофильтра) . Wсв – 26-й весовой коэффициент нейрофильтра.

MULT_AD 1D

Значение пикселя и веса нейрона

WсвMULT_ADD 6

MULT_ADD 1

MULT_ADD

ADD

- - - - - - - - - -

4х4

4х4

Функцияактивации

Структура IP-Core

Top-level

Neuron-level

Сдвиговые регистры

Умножитель-сумматор

Параллельный сумматор

Входной видеопоток

Выходной видеопоток

IP-Core описывался на Verilog, умножитель, сдвиговый регистр, сумматор - сгенерировали при помощи MegaWizard и подключили в описываемое ядро.

Интеграция на шину Avalon

Компоновка проекта в Altera SOPC Builder

Используемые ресурсы ПЛИС

А Б

А - необходимые ресурсы для реализации нейрофильтра 3х3+1;Б - необходимые ресурсы для реализации нейрофильтра 5х5+1.

Из приведенных выше данных видно, что в структуре 5х5+1 число блоков DSP увеличилось почти в 2,5 раза.

Проделанная работа

При аппаратной реализации нейрона были решены следующие проблемы:

1.Разработка концепции аппаратной реализации нейрона;

2.Описание арифметики посредством подключения сгенерированных модулей из Altera MegaWizard;

3.Описание Top-level IP-Core нейрона, интеграция на шину Avalon и его конфигурация через софт-процессор NIOS II в составе SOPC (System on a Programmable Chip);

4.Удобное представление весов нейрона при их переносе из Matlab;

5.Регулирование при помощи функции активации выходного состояния нейрона.

Демонстрация рабочего стенда

Инверсия выходного видеопотока, при пороговом значении = 15

Используемые публикации

1.1. Астапкович А.М. Синтез адаптивного помехоустойчивого фильтраАстапкович А.М. Синтез адаптивного помехоустойчивого фильтра границ границ на основе нейронной сети. СПб, 2010на основе нейронной сети. СПб, 2010

2. 2. Astapkovitch A.M. Оne step learning procedure for neural net control system. Proc. International forum “Information systems. Problems, perspectives , innovation approaches” , p.3-9,SUAI Saint-Petersburg, 2007