«Очі в небі»: Автоматизація спостереження та виявлення злочинів

Перетворення кадру з відео на модель скелета

Дослідники з Великобританії та Індії розробили систему на основі дрона, яка може виявляти насильницькі дії серед людей, наприклад, бійки.

Мультикоптер у реальному часі передає дані з камери на хмарний сервер, де алгоритми машинного навчання розпізнають на кадрах пози людей, що характерні для насильницьких дій.

Оскільки алгоритми комп'ютерного зору вже досить точні, їх стали застосовувати для автоматизації спостереження і виявлення злочинів.

Незважаючи на те, що самі алгоритми комп'ютерного зору вже добре розвинені, при аналізі вони використовують досить незручне джерело даних – статично закріплені камери відеоспостереження. Група дослідників з Великобританії та Індії вирішила використовувати для збирання даних дрон, який може літати над людьми.

Eye in the Sky: Real-time Drone Surveillance System (DSS) for Violent Individuals Identification

Варто зауважити, що автори вже представляли схожу систему в 2014 році, але вона мала значно меншу точність, а розпізнавання велося не в реальному часі. Розробники вибрали квадракоптер Parrot AR із камерою, що записує відео з роздільною здатністю 720p і частотою 30 кадрів за секунду. Оскільки аналіз такого відеопотоку в реальному часі неможливо проводити на бортовому комп'ютері, дані пересилаються через інтернет на хмарний сервер, який має набагато більшу обчислювальну потужність.

Аналіз зображення відбувається в три етапи. Спочатку кадри відео передаються нейромережі FPN, яку розробили в Facebook. Вона використовує піраміди зображень і створені на їхній основі піраміди ознак для ефективного розпізнавання людей на кадрі незалежно від їх розміру і фону.

Потім частини зображення, на яких система розпізнала людей, передаються згортковій нейронній мережі, яка визначає на зображенні людини 14 точок, з яких складається спрощена модель скелета. Після цього алгоритм, який використовує метод опорних векторів, аналізує положення частин тіла, які були обчислені на попередньому етапі, і зіставляє їх з положеннями «насильницької поведінки».

Порівняння точності розпізнавання із попереднім алгоритмом

Для того щоб нейромережа навчилася визначати положення частин тіла і розуміти, що на кадрі відбувається насильство, дослідники створили датасет, який налічує дві тисячі розмічених знімків, знятих з дрона. На знімках зображені кілька людей, приблизно половина з яких утягнені в насильницькі дії: б'ють або душать іншу людину або направляють на когось пістолет або ніж. У кожної людини на знімку розмічена модель скелета і підписаний вчинок.

Дослідники розбили датасет на три частини – 60 відсотків знімків використовувалися для тренування, і по 20 для перевірки та випробувань. У результаті пересічна точність розпізнавання насильства, порівняно із наземними аналогами, становила – 88,8%. Окрім того, це значно перевершує точність, яку автори отримали в попередній роботі.