«Глаза в небе»: Автоматизация наблюдения и выявления преступлений

Преобразование кадра с видео в модель скелета

Исследователи из Великобритании и Индии разработали систему на основе дрона, которая может выявлять насильственные действия среди людей, например, драки.

Мультикоптер в реальном времени передает данные с камеры на облачный сервер, на котором алгоритмы машинного обучения распознают на кадрах позы людей, характерные для насильственных действий.

Поскольку алгоритмы компьютерного зрения уже достаточно точны, их стали применять для автоматизации наблюдения и выявления преступлений.

Несмотря на то, что сами по себе алгоритмы компьютерного зрения хорошо развиты, как правило они при анализе используют довольно неудобный источник данных – статично закрепленные камеры видеонаблюдения. Группа исследователей из Великобритании и Индии решила использовать для сбора данных дрон, который может летать над людьми.

Eye in the Sky: Real-time Drone Surveillance System (DSS) for Violent Individuals Identification

Стоит отметить, что авторы уже представляли подобную систему в 2014 году, но она имела гораздо меньшую точность, а распознавание велось не в реальном времени. Разработчики выбрали квадракоптер Parrot AR, оснащенный камерой, записывающей видео с разрешением 720p и частотой 30 кадров в секунду. Поскольку анализ такого видеопотока в реальном времени невозможно проводить на бортовом компьютере, данные пересылаются через интернет на облачный сервер с гораздо большей вычислительной мощностью.

Обработка изображения происходит в три этапа. Сначала кадры видео передаются разработанной в Facebook нейросети FPN, которая использует пирамиды изображений и созданные на их основе пирамиды признаков для эффективного распознавания людей на кадре независимо от их размера и фона.

Затем части изображения, на которых система распознала людей, передаются сверточной нейросети, которая определяет на изображении человека 14 точек, из которых составляется упрощенная модель скелета. После этого алгоритм, использующий метод опорных векторов, анализирует вычисленное на предыдущем этапе положение частей тела и сопоставляет его с положениями, соответствующими насильственному поведению.

Сравнение точности распознавания с предыдущим алгоритмом

Для того чтобы нейросеть научилась определять положение частей тела и понимать, что на кадре происходит насилие, исследователи создали датасет, состоящий из двух тысяч размеченных снимков, снятых с дрона. На снимках изображены несколько людей, примерно половина из которых вовлечены в насильственные действия: бьют или душат другого человека или направляют на него пистолет или нож. У каждого человека на снимке размечена модель скелета и подписано совершаемое им действие.

Исследователи разбили датасет на три части – 60 процентов снимков использовались для тренировки, и по 20 для проверки и тестирования. В результате средняя точность распознавания насилия оказалась сравнима с наземными аналогами – 88,8 процента. Кроме того, это значительно превосходит точность, полученную в предыдущей работе авторов.