Алгоритм многокамерного сопровождения человека используя данные от видеокамеры и тепловизора

Алгоритм многокамерного сопровождения человека

используя данные от видеокамеры и тепловизора

В.В. Терехов, И.Е. Ермолаев, Н.В. ПтицынООО «Синезис», www.synesis.ru

http://www.synesis.ru/





Общая информация

Цифровые системы видеонаблюдения представлены в большинстве общественных мест для увеличения охраны и анализа ситуаций. Видео данные используются

операторами слежения, но по сути дела мало информативны. Желательно использовать автоматические системы охраны и анализа ситуаций с целью увеличить эффективность работы операторов и фильтрации излишних данных. Многокамерное сопровождение является обязательным для огромных пространств, где происходят

события приводящие к дублированию или избытку информации поступающей к оператору. В этой презентации мы представляем алгоритм и систему для обработки

видео и тепло информации поступающей от множественных источников.

ВведениеВ соответствии с многочисленными требованиями

обеспечения безопасности, многие системы оборудованы системами видеонаблюдения. Они генерируют огромное количество информации которая должна быть отфильтрована для обнаружения опасных ситуация или для последующего извлечения информации из записанного архива данных. В настоящее время эти задачи исполняются человеком оператором и количество таких операторов довольно велико для обслуживания большого количества точек снятия информации. Большинство данных обрабатывается оператором без анализа происходящего, что дает эффект потери от систем наблюдения реального времени. Тем не менее желательно иметь систему для автоматического анализа, дающую систему принятия решений для человека оператора. Это не простая задача, так как система сталкивается с огромным количеством посторонних объектов мешающих точно отследить искомый объект, сложные и быстро меняющиеся погодные условия и слишком узкие или слишком широкие поля обозрения. Наблюдение больших пространств обычно исполняется с помощью группы видеокамер для обработки движения нескольких людей или движения человека рядом с мешающим объектом или зданием.

3D проекция для Модели системы и сцены

Монитороператора

Видео сервер

Видеокамера 1


Тепловизор

Видеокамеры и тепловизор имеют поля обозрения которые пересекаются между собой. Данные от источников поступают на видео-сервер где обрабатываются с помощью разработанного алгоритма. Алгоритм подавляет избыточную информацию от источников и выводит обработанный результат на монитор для человека оператора

Линия горизонт

а

Поле обозрения видеокамеры 1


Поле обозрения тепловизора

Объект наблюдени

я

2D проекция для Модели системы и сцены

Монитороператора

Видео сервер



Тепловизор

Данная проекция показывает 2D сцену спроектированную с бесконечной вертикальной точки. Объект наблюдения может находится в пересечении нескольких полей обозрения или находится в одном поле обозрения.



Поле обозрения тепловизора

Объект наблюдени

я

Траектория объекта

наблюдения

Информация отображаемая на мониторе оператора


наблюдения На вход алгоритма поступает поток метаданных от видеоаналитики, встроенной в телевизионную или тепловизионную камеру, содержащий признаки целей в поле зрений данной камеры. Признаки целей включают пространственные и временные координаты цели, а так же характеристики ее формы. Результатом работы алгоритма являются обобщение координаты цели в глобальной системе координат на карте.

Возможности и особенности алгоритма позволяют

1) повысить точность детектирования целей и уменьшить число ложных срабатываний за счет корреляции метаданных видеоаналитики смежных телевизионных и тепловизионных камер;

2) сопоставить образ сопровождаемой цели, наблюдаемый одновременно на телевизионной и тепловизионных камерах;

3) исключить повторные срабатывания видеоаналитики при переходе цели из зоны наблюдения одной камеры в зону наблюдения другой камеры;

4) отобразить цельную траекторию движения человека на карте охраняемого объекта по результатам видеоанализа сразу по всем камерам;

5) применять правила к многокамерной траектории на карте для более точного распознавания поведения человека и поиска событий в архиве;

6) автоматически выбирать оптимальный ракурс наблюдения за человека по мере его перемещения от камеры к камере.

Система калибровки камер

Поле зрения камеры N1 в

3D пространстве

Поле зрения тепловизора в


Матрицы перехода из 3-мерного в 2-мерное

пространство

Y

X







Поле зрения тепловизора в


Y

XZ

Глобальная карта местности в 2D пространстве


В процессе первоначальной калибровки системы многокамерного сопровождения производится привязка расположения камеры к карте. Наиболее оптимально это осуществлять при помощи точечной калибровки (на сцене, отображаемой камерой, выбирается набор точек с известными глобальными координатами). В процессе этой калибровки для каждой камеры определяется матрицей преобразования A, которая позволяет однозначно осуществлять преобразование экранных координат r объекта в глобальные R.


На изображении приведен пример расстановки на экране точек с известными глобальными координатами.

Алгоритм многокамерного сопровождения включает шаги 1. Предполагается, что выборочная функция для

каждой камеры имеет нормальный закон распределения пространственной и временной координаты объекта в глобальной системе координаты, привязанной к карте:

где параметры описывают наиболее вероятные пространственные и временные координаты объекта, параметры – дисперсию данных пространственных (вдоль и поперек луча зрения камеры) и временных координат, а - угол между направлением на север, и осью ориентации камеры. Дисперсия вдоль оптической оси камеры зависит от угла наклона камеры к горизонту и обычно существенно больше дисперсии по перпендикулярному направлению. Дисперсия по времени определяется точностью синхронизации часов, встроенных в камеру

Алгоритм многокамерного сопровождения включает шаги 2. Рассчитывается перекрытие выборочных функций распределения по всем камерам:

3. Производиться поиск локального экстремума, полученной функции перекрытия, в окрестности сопровождаемой цели.



Ожидаемая область

перемещения объекта


Так как проанализировать поведение объекта во всех возможных вариантах поведения невозможно (прыжки, длительная остановка, падение, кружение, появление сильно заслоняющих объектов), предполагается что объект находится в пределах полигона который вычисляется из данных приходящих от камеры в заданном временном интервале. Данная гипотеза верна для объекта постоянно находящегося в поле зрения камеры. Гипотеза позволяет исключить такие факторы как: нестабильность по времени скорости обработки информации на аппаратном уровне, нестабильность работы программного обеспечения при определении положения объекта и его характеристик.

Поле зрения камеры






Так как объект не может находится в поле зрения камеры постоянно, предполагается вычислить ожидаемое положение объекта вне заданного временного интервала. Эта гипотеза критически важна для объекта входящего и выходящего из поля зрения камеры.

Поле зрения камеры

Ожидаемая область перемещения объекта наблюдения вне заданного временного

интервала

Определение местоположения объекта на карте для одной видеокамеры

Формулы вероятностного расчетаместоположения объекта на карте для одной видеокамеры/тепловизора






Ожидаемая область перемещения объекта

наблюдения вне заданного временного интервала

Y0

Y3

X0

X1

X2-X1=F(time),Y2-Y1=F(time),гдеF – функция времени; time – размер временного интервала;

X1-X0=F(time*kh),Y2-Y1=F(time*ky),гдеF – функция времени; time – размер временного интервала;kh – коэффициент аппроксимации по горизонтали;ky – коэффициент аппроксимации по вертикали;

P=F(X0, X1, X2, X3, Y0, Y1, Y2, Y3, f(v)),гдеF – функция вероятности положения объекта на карте;f(v) – функция скорости перемещения объекта;P – вероятность обнаружения объекта единственным источником;

X2 X3

Y1

Y2

Y

X

Формула вероятностного расчетаместоположения объекта на карте для нескольких видеокамер/тепловизоров

P=F(P1,P2,…Pn)>=alphaгдеF – функция обработки вероятностей от всех источников данных; Alpha – порог срабатывания, который позволяет говорить об одинаковой целиот нескольких источников данных;P – вероятность обнаружения объекта множественными источниками;

Y

X

Ожидаемая область перемещения

объекта от источника N1

Ожидаемая область перемещения

объекта от источника N2



Количество положительных срабатываний зависит от следующих параметров1. Время суток или степень адаптации сенсора к изменению освещения критически влияет на все последующие алгоритмы, а именно авто-контраст и отношение сигнала к шуму;2. Количество камер или тепловизоров (критически влияет на весь алгоритм в случае неправильной установки и калибровки источников);3. Сложность сцены или количество мешающих объектов полностью или сильно заслоняющие объект;4. Сложность поведения объекта (возможно постоянное появление и пропадание на краях поля обозрения);5. Временное запаздывание между источниками;6. Временное аппаратное или программное запаздывание при обработке сигнала видеоаналитикой;

Положительное срабатывание алгоритма для нескольких видеокамер/тепловизоров

Позитивное ложное срабатывание









Траектория объекта N1 в








В случае одинаковой скорости и одинаковой точки входа велика вероятность ошибки срабатывания как для одной камеры так и для системы камер. В случае получения тепловизором разных температур, возможно понизить вероятность этой ошибки

В случае множественного пересечения траекторий от нескольких объектов велика вероятность ошибки срабатывания как для одной камеры так и для системы камер. В случае получения тепловизором разных температур, возможно понизить вероятность этой ошибки

Результаты и выводы

В ходе проведенных исследований создана опытная зона многокамерного сопровождения из 9 камер. Получена обобщенная траектория движения цели по данным нескольким камера. Задачей будущих исследований является оценка эффективности и точности разработанного алгоритма.

Technology

Алгоритм многокамерного сопровождения человека используя данные от видеокамеры и тепловизора