MTS AI сообщает о создании видеобота, способного находить необходимые моменты и события на длительных видеозаписях по текстовому описанию. Чтобы найти фрагмент в фильме, пользователю достаточно загрузить видеофайл и сформулировать запрос вроде «Найди сцены с желтыми такси» или «Покажи момент, когда человек входит в комнату». Бот обработает запрос за считанные секунды и предоставит найденные фрагменты.
Решение уже протестировано на обширном наборе видео различной тематики. Бот находит до 80% событий на кадрах по запросу пользователя.
Для создания видеобота использовался новый подход к видеоаналитике. В то время как существующие системы либо сфокусированы на решении узких задач – поиск предметов или детекция движения, либо могут анализировать лишь небольшой фрагмент видео, видеобот от MTS AI способен искать любые визуальные сцены по их текстовому описанию на записях различной длины.
Это решение разрабатывалось на основе нейросетевой модели CLIP, которая способна проецировать изображения и текстовые описания в единое векторное пространство. Пользовательский запрос преобразуется в вектор и сравнивается с векторами отдельных кадров видео. Далее ИИ определяет наиболее релевантные кадры и выдает итоговый результат.
«Мы считаем, что технология, использованная в этом проекте, найдет широкое применение для обработки видеопотоков в различных индустриях, от безопасности до логистики, ритейла и онлайн-кинотеатров. Она позволит существенно ускорить аналитику длительных видеопотоков, сэкономить ресурсы и деньги компаний. В будущем MTS A планирует развивать эту технологию, включая расширенную поддержку видео в режиме реального времени», – рассказал Дмитрий Буланцев, технический директор MTS AI.
Видеобот уже доступен для использования. Чтобы протестировать его работу, переходите по адресу @CamerOn_Video_Search_Bot в Телеграме, загрузите видео и запросите интересующие кадры.
