Обработка изображений в задаче распознавания номерных знаков автомобилей

Ярославский государственный университет им. П.Г. Демидова

физический факультет, лаборатория «Цифровые цепи и сигналы»

Петров В.А., студент гр. РФ-51 Кралин А. Е., студент гр. ТК-31

научный руководительк.т.н., доцентПриоров А.Л.

Актуальность решаемой задачи

2

Безопасность дорожного движения является достаточно важным элементом современного общества

ФЦП «Повышение безопасности дорожного движения на 2006-2012 годы в Российской Федерации»

Основные этапы работы

• Детектирование номерного знака

• Сегментация символов на детектированной номерной пластине

• Распознавание символов

3

Детектирование номерной пластины Обработка градиентными операторами

4

,,или, 22yxyx IIyxEIIyxE

где Ix и Iy представляют изображения, вычисленные на основе использования операции свертки исходного сигнала с дифференциальными масками (Превитт, Собеля, Робертса)

(1)

Детектирование номерной пластины Анализ графика вертикальной проекции градиентного изображения

5

Анализ графика горизонтальной проекции градиентного изображения

0 100 200 300 400 5000

5

10

15x 104

0 200 400 6000

5

10x 104

Сегментация номерной пластины

6

Анализ графика горизонтальной проекции выделенного номерного знака

20 40 60 80 100 120 140 160

10

20

30

20 40 60 80 100 120 140 1602000

3000

4000

5000

6000

7000

Сегментация номерной пластины

7

Бинаризация отсегментированных областей номерной пластины (метод Оцу)

Нахождение связных областей в сегментах выделенной номерной пластины

Признаки используемые для решения задачи распознавания

8

Площадь – количество пикселей в области:

Rcr

A),(

1

Центр тяжести: ,1

),(

Rcrr

Ar

Rcrс

Aс

),(

1

Горизонтальные и вертикальные проекции символов:

…

(2)

(3)

Решение задачи распознавания символов методами машинного обучения

?

Данные Ответ!

Алгоритм обучения

Обученная машина

Вопрос 9

Бинарное решающее дерево (CART)

Двоичное дерево Узлы: Помечены некоторой функцией выбора решения

Связи: Помечены

Листья: Помечены ответами

false

true

?6x

?3x 1y

1y 1y

t rue

false

false

t rue

5x

1)( xa

10

11

Случайный лес (Random Forest)

?6x

?3x 1y

1y 1y

t rue

false

false

t rue

5x

?4x

?3x 1y

1y 1y

t rue

false

false

t rue

5x

?6x

?7x 1y

1y 1y

t rue

false

false

t rue

5x

1)( xa1)( xa

1)( xa

Ответ:1)( xa

Плюсы: 1) Применимо для высоких размерностей пространства 2) Высокая скорость обучения и тестирования 3) Простота реализации Минусы: Чувствительно к множеству входных данных используемых на этапе обучения

Бинарное решающее дерево (CART)

Случайный лес (Random Forest) Использование комитета классификаторов, случайный выбор данных и признаков на этапе обучения позволяет значительно снизить чувствительность к множеству входных данных используемых на этапе обучения

12

Результаты работы рассматриваемого алгоритма. Детектирование номерной пластины

13

Результаты работы рассматриваемого алгоритма. Распознавание символов детектированной номерной пластины

14

с060ом199

e635рм199

а163хх90

Удачные попытки

Неудачные попытки

р141мо

е2т107

т479тут77

15

Общее число

номеров

Распознано полностью,

%

Распознан только

номер, %

Не распознано,

%

91 10 39 51

Результаты работы рассматриваемого алгоритма

Всего примеров

Корректно детектировано,

%

Ошибки, %

91 47 53

Результаты детектирования номерной пластины

Результаты распознавания детектированных символов

Открытый конкурс-тест систем распознавания

16

Задачи систем распознавания

• Подсчет ТС и анализ загруженности автомобильных дорог

• Автоматический розыск ТС

• Фиксация нарушений ПДД (в том числе контроль скоростного режима)

17

Варианты реализации

• Стационарные комплексы

• Передвижные комплексы

• Мобильные комплексы

18

Стационарные комплексы

• Достоинства: 1). относительная простота реализации;

2). достаточно высокая эффективность;

• Недостатки: информация об их местоположении быстро распространяется и появляется на всевозможных электронных картах и навигаторах.

19

Передвижные комплексы

• Достоинства: 1). мобильность;

2). невозможность наносить их расположение на электронные карты;

• Недостатки: сильные геометрические искажения

20

Мобильные комплексы

• Достоинства: 1). Оперативное решение задач распознавания;

2). Возможность использования в движении;

• Недостатки: сложная техническая реализация

21

Направления развития

• Адаптация к неблагоприятным условиям съёмки

• Расширение круга решаемых задач

• Повышение эффективности работы

22

Обработка изображений в задаче распознавания номерных знаков автомобилей

Ярославский государственный университет им. П.Г. Демидова

физический факультет, лаборатория «Цифровые цепи и сигналы»

Петров В.А., студент гр. РФ-51 Кралин А. Е., студент гр. ТК-31

научный руководительк.т.н., доцентПриоров А.Л.