Контакты
Подписка
МЕНЮ
Контакты
Подписка

Мегапиксельные архивы. Хранение и поиск в больших массивах видеоданных

В рубрику "IP-security" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Мегапиксельные архивыХранение и поиск в больших массивах видеоданных

Системы видеонаблюдения устанавливают повсеместно: в частных домах, банках, на заводах. Видеокамеры следят за нами повсюду. С каждым днем увеличивается не только количество цифровых шпионов, но и качество записанной ими картинки, а значит, и объем получаемой видеоинформации

Александр Коробков
Директор по разработкам MACROSCOP

Приходит эра мегапиксельных IP-видеокамер. Для работы одной такой IP-камеры не самого большого разрешения в 5 Мпкс со скоростью видеопотока 25 кадр/с и форматом сжатия Н.264 требуется ширина канала не менее 10 Мбит/с. Теперь представьте себе объект, на котором работают сотни видеокамер. Нагрузка на сеть, на сервер, принимающий видеопоток, на процессор, производящий обработку информации с камер, просто колоссальная. При необходимости найти какое-то событие в мегапиксельном архиве нагрузки увеличиваются в десятки раз, а для полноценной обработки архива необходимо время, соизмеримое с длительностью записанного видео.


При работе с мегапиксельными архивами возникает ряд вопросов.

  1. Как искать в терабайтах данных быстро и эффективно, минимально загружая сервер?
  2. Как и где хранить огромные объемы видеоинформации максимально экономично?
  3. Как снизить риск потери видеоданных в случае выхода из строя частей системы?

Поиск

Проблема: поиск в огромных видеоархивах в случае их полного анализа занимает существенное количество времени и ресурсов процессора

Решение 1.
База данных событий и поиск по ней

Вместе с записью видеоархива высокого разрешения записывается база данных. Происходит разбиение поступающего в архив видеопотока на фрагменты некоторого размера Каждому фрагменту присваивается определенная метка, и эта метка заносится в базу данных. При поисковом запросе событий определенного момента времени сначала осуществляется обращение к этой базе данных. Затем выделяется метка ближайшего к интересующему времени фрагмента - поиск искомого момента видео происходит уже обращением к этому фрагменту. В результате получаем двухуровневый поиск: сначала определяем приблизительное место через базу данных, затем точное расположение нужного кадра в видеоархиве. Это ведет к экономии вычислительных ресурсов серверного оборудования - база данных меток занимает гораздо меньший объем, чем видеоархив, обработать ее гораздо проще и быстрее.

Если система использует интеллектуальные модули при записи в архив, то метки происходящих в кадре событий записываются в базу данных в соответствии с работающими модулями. Для различных модулей создаются различные базы данных: лиц, автономеров, траекторий (для трекинга) и оставленных предметов, пересечения контрольных линий и зон (для "тревожных" событий). В случае работы модуля поиска по приметам (оператор может искать объект по цветам) для поиска осуществляется индексирование поступающего видеопотока - составляется база данных индексов примет одежды и размера объекта В это же время записывается видеоархив. При поиске обращение происходит к базам данных, система анализирует записанные индексы и метки и выдает оператору набор разных кадров, каждый из которых отвечает критериям поиска и соответствует определенному отрезку видео. Оператор просматривает данные кадры, выбирает интересующий, и только тогда программа обращается к видеоархиву. Интересующий отрезок видео извлекается из архива. Таким образом, не происходит ресурсоемкого и долгого анализа записанного видео. Вместо нескольких часов получаем необходимый результат в считанные секунды. И вместо анализа терабайт видео работа производится с несколькими мегабайтами базы данных. Данное решение существенно облегчает нагрузку на вычислительные ресурсы.

Решение 2.
Зоны детекции

Для уменьшения веса базы данных мы можем осуществлять анализ не всего обозримого камерой кадра, а лишь интересующей зоны детекции. Тогда в базе будут оказываться не все метки подключенной аналитики, а лишь попавшие в интересующую зону.

Решение 3.
Программное кэширование видеоархива

Еще одно решение - программное кэширование видеоданных. Последнее записанное видео попадает в быстродоступную кэшпамять программы, поэтому при поиске недавних событий или фрагментов видео система срабатывает оперативнее.

Надежность жестких дисков

Проблема: при записи больших объемов данных довольно часто возникает проблема выхода из строя серверов. Ломаются жесткие диски. Обусловлено это несовершенным механизмом записи видеоданных

Решение 1.
Последовательная запись видео на жесткий диск

Вообще существуют два способа записи видеоархива. В обоих случаях происходит разбиение допустимой памяти жесткого диска на несколько секторов.

1. Первый способ предполагает параллельную запись видеопотока внутри выделенного сектора - данные записываются сразу в несколько файлов, расположенных в разных местах. Головка жесткого диска позиционируется между этими файлами. Частые перескоки приводят к износу пишущей головки.

2. Второй способ позволяет вести запись видеоданных последовательно в одно и то же место сектора: данные со всех видеокамер в один момент времени записываются в единый файл. Головка жесткого диска перемещается плавно, исключая частые перескоки. Этот упорядоченный режим записи более щадящий и удобный, а поиск в таком архиве занимает меньше времени и ресурсов.

Задача: поиск в больших видеоархивах

  • Решение 1. Создание базы данных событий и поиск по ней.
  • Решение 2. Анализ интересующей зоны детекции.
  • Решение 3. Запись видео в кэш-память программы для поиска недавних событий.

Задача: обеспечение надежности хранения видеоархива

  • Решение 1. Последовательная запись видео на жесткий диск.
  • Решение 2. Использование технологий RAID 1 и 5.

Задача: обеспечение длительного хранения видеоархива

  • Решение 1. Выбор оптимального формата сжатия (Н.264).
  • Решение 2. Организация циклической записи видеоданных.
  • Решение 3. Организация архивов - оперативных и длительного хранения.
  • Решение 4. Применение систем централизованного хранения данных DAS, NAS, SAN

Решение 2.
Технологии RAID
Для повышения надежности дисковых массивов используется ряд технологий.

1.  Технология RAID 1 обеспечивает запись информации сразу на два жестких диска В случае выхода из строя одного жесткого диска вся информация сохраняется на втором.

2.  Существует аналогичная, но более сложная технология RAID 5 - в массив из нескольких жестких дисков добавляется дополнительный, видеоархив записывается так, что при выходе из строя одного диска системы информация восстанавливается с помощью остальных дисков. При выходе из строя одного жесткого диска скорость работы системы существенно снижается, кроме того, в этом случае желательно остановить всю систему. Заменить вышедший из строя диск можно только на аналогичный. К недостаткам данного подхода также можно отнести необходимость постоянной проверки и технического обслуживания системы, повышение стоимости хранения видеоданных (следует использовать минимум два жестких диска + RAID-контроллер, стоимость которого составляет 3-4 стоимости жесткого диска).

Хранение видеоданных

Решение 1.
Оптимальный формат сжатия

До недавнего времени сжатие видеофайлов осуществлялось форматом MJPEG. В этом случае видеопоток представляет собой последовательность отдельных кадров - изображений JPEG. Каждое изображение сжимается индивидуально (внутрикадровое сжатие) и обеспечивает хорошее качество видеоархива при воспроизведении. Для формата сжатия MJPEG не требуется высокой производительности процессора, но видеоархив занимает большие объемы памяти и сильно нагружает сеть.

Далее появился формат MPEG-4, в котором сжатие осуществляется не только индивидуально для каждого кадра, но и для серии кадров (межкадровое сжатие), поскольку большие объемы данных в серии кадров часто остаются неизменными.

Относительно новый формат Н.264 (оптимизированный MPEG-4 или MPEG-4 part 10) работает с последовательностью видеокадров, позволяет формировать высококачественный видеосигнал (с меньшим цифровым потоком, чем MPEG-4, но при этом требования к производительности процессора гораздо выше).

Формат Н.264 позволяет уменьшить размер файла с цифровым видео более чем на 80% по сравнению с форматом MJPEG, а также максимально снижает загрузку сети.

Не утихают споры о том, какой формат оптимален для использования в системах видеослежения, но если рассматривать вопрос с точки зрения облегчения хранения данных и снижения нагрузки на сетевые ресурсы, лидирует Н.264.


Решение 2.
Циклическая запись видеоданных

Для записи архива возможна организация последовательной записи на несколько заданных жестких дисков. При этом на первый диск осуществляется запись видеоархива объемом, соответствующим выделенному свободному месту на диске. При заполнении первого жесткого диска запись переносится на следующий и т.д. При заполнении последнего свободного жесткого диска запись архива переносится на первый, и процесс повторяется Таким образом, когда заканчивается все свободное место на выделенных носителях, система удаляет самые старые записи. Данная циклическая схема заполнения носителей позволяет решать проблему хранения больших архивов.

Решение 3.
Архивы оперативные и длительного хранения

Оперативные архивы служат для постоянной записи и обработки видео в режиме реального времени. Объем таких архивов рассчитывается индивидуально под каждую задачу и достигает нескольких месяцев. Если же информацию необходимо просто записывать в течение длительного времени, есть смысл обратиться к архиву длительного хранения. Такие архивы работают в режиме "заполнение-хранение". Управление осуществляется оперативным архивом, при этом одним оперативным архивом могут обслуживаться несколько архивов длительного хранения. Такое решение позволяет значительно сократить нагрузку на жесткие диски.

Решение 4.
Системы DAS, NAS, SAN

Когда объемы записываемой видеоинформации превышают возможности жестких дисков сервера, на помощь приходят системы хранения данных DAS, NAS, SAN. Они удобны для организации централизованного хранения видеоинформации, обеспечивают дополнительную надежность хранения, высокопроизводительны, но имеют высокую стоимость.

Существует три основных типа таких систем:

  • DAS - система, присоединенная к серверу,
  • NAS - система, присоединенная к сети,
  • SAN - сеть хранения данных.

Богатство выбора

Когда мы улучшаем один параметр системы, неизбежно возникают сопутствующие сложности. Но при знании предлагаемых решений грамотный специалист без труда сможет выбрать оптимальный вариант для конкретной системы. И выбирать есть из чего:

  • для оптимизации процесса поиска - создание баз данных, зонирование детекции, программное кэширование,
  • для повышения надежности хранения - последовательная запись на диск, технологии RAID;
  • для снижения стоимости хранения - уменьшение веса архива, механизм циклической записи и различные системы хранения данных.

Опубликовано: Журнал "Системы безопасности" #4, 2012
Посещений: 9635

  Автор

Александр Коробков

Александр Коробков

Директор по разработкам компании MACROSCOP

Всего статей:  47

В рубрику "IP-security" | К списку рубрик  |  К списку авторов  |  К списку публикаций