Обнаружение сцен поцелуев в базе данных голливудских фильмов

Шнобелевская премия - архив

Обнаружение сцен поцелуев в базе данных голливудских фильмов

определение типов сцен в кинофильмах может быть крайне полезным

голливудские поцелуи

Амир Зиаи (Amir Ziai), Стэнфордский университет, США, "Обнаружение сцен поцелуев в базе данных голливудских фильмов", ArXiv 1906.01843, 2019.

Амир Зиаи (Amir Ziai)

1 Аннотация
Определение типов сцен в кинофильмах может быть крайне полезным для таких задач, как монтаж видео, присвоение возрастных рейтингов и персонализация контента. В данной работе мы предлагаем систему для обнаружения сцен поцелуев в фильмах. Система состоит из двух компонентов. Первый — это бинарный классификатор, который на основе признаков, извлеченных из отдельных кадров и аудиодорожек односекундных фрагментов видео, определяет наличие или отсутствие поцелуя. Второй компонент объединяет результаты классификации для последовательных неперекрывающихся фрагментов, формируя итоговый набор сцен с поцелуями. Мы протестировали различные архитектуры 2D- и 3D-сверточных нейронных сетей, включая ResNet, DenseNet и VGGish, и разработали высокоточный детектор сцен поцелуев. На проверочной выборке, состоящей из разнообразных голливудских фильмов различных жанров и десятилетий, модель достигла показателя F1-меры, равного 0,95. Исходный код проекта доступен по адресу: github.com/amirziai/kissing-detector.

2 Введение
Задача обнаружения сцен в видео пока не получила такого же успешного решения, как другие важные задачи компьютерного зрения, например, классификация объектов. Точные детекторы сцен позволяют обогатить метаданные видеоинформацией о типах сцен и отдельных фрагментах, что упрощает их поиск и извлечение пользователями. Подобная разметка играет ключевую роль в таких процессах, как монтаж видео, определение возрастных рейтингов фильмов и персонализация контента. Большинство существующих систем либо классифицируют отдельные кадры, либо распознают действия в рамках всего видео (при этом само действие может присутствовать не в каждой сцене). В данной работе мы предлагаем систему для обнаружения и извлечения сцен поцелуев из кинофильмов.

Актуальность этой задачи обусловлена исследованием, проведенным Помсом (Poms) и соавторами. В своей работе авторы разработали систему для масштабного синтеза видео на основе комбинаций пространственно-временных меток. Эти метки извлекаются с помощью различных инструментов: детекторов ограничивающих рамок лиц (bounding boxes), векторов признаков лиц (face embeddings), классификаторов пола и других средств. Используя эти данные, авторы создали язык запросов, позволяющий извлекать из видео фрагменты, соответствующие заданным эвристическим критериям. Например, процесс поцелуя можно описать как ситуацию, при которой лица людей находятся в непосредственной близости друг от друга. Однако такой подход оказался неэффективным для обнаружения поцелуев: лица могут быть частично перекрыты, а их близость вовсе не обязательно означает, что происходит поцелуй.

На вход нашей системе подается видеофильм, а на выходе она выдает непересекающиеся временные интервалы, в течение которых происходят поцелуи. Так, если в 60-минутном фильме присутствуют две одноминутные сцены поцелуев (на 5-й и 55-й минутах), система должна выдать два сегмента — $K_1$ и $K_2$, соответствующие этим сценам.

На первом этапе видео разбивается на непересекающиеся сегменты длительностью в одну секунду. Для каждого такого сегмента извлекаются два набора признаков. Первый набор извлекается из последнего кадра и подается в нейросеть ResNet-18; при этом последний полносвязный слой исключается, а на выходе формируется вектор размерностью 512. Второй набор извлекается из аудиодорожки и подается в архитектуру типа VGG (называемую VGGish), которая генерирует векторное представление (эмбеддинг) размерностью 128. Затем эти два вектора (размерностью 512 и 128) объединяются в единый тензор размерностью 640. Этот тензор подается на полносвязный линейный слой, который классифицирует фрагмент, определяя, происходит ли в нем поцелуй (бинарная классификация: «поцелуй» или «отсутствие поцелуя»).

Полученные для каждого секундного интервала результаты передаются в алгоритм сегментации, задача которого — выделить более продолжительные, непересекающиеся фрагменты, состоящие преимущественно из секундных интервалов, классифицированных как «поцелуй».

4 Методы
4.1 Входные и выходные данные
На вход подается видеозапись, а на выходе формируется набор непересекающихся сцен поцелуев, обнаруженных в этом видео. Предлагаемая нами система решает эту задачу с помощью двух компонентов.

Первый компонент — это модель бинарной классификации, которая анализирует последовательные, непересекающиеся односекундные фрагменты видео и присваивает каждому из них бинарную метку (например, «есть поцелуй» или «нет поцелуя»). Второй компонент объединяет результаты классификации этих фрагментов в набор сцен с поцелуями. Общая схема этого процесса представлена на рисунке 1. Далее мы подробно рассмотрим каждый из этих компонентов.

4.2 Бинарный классификатор
Компонент бинарной классификации включает в себя две архитектуры. Первая — это 18-слойная сверточная нейронная сеть (CNN) типа ResNet, которая обрабатывает последний кадр односекундного фрагмента, представленный в виде трехканального тензора размером 224x224. Мы исключили последний полносвязный слой и используем 512-мерный выходной вектор, полученный с предыдущего слоя. При этом применяются предобученные веса модели ResNet-18, обученной на наборе данных ImageNet (доступны через PyTorch Hub).

Вторая архитектура — VGGish (подобная VGG) — работает с преобразованным аудиосигналом, соответствующим последним 960 мс односекундного фрагмента. Это преобразование представляет собой одноканальный тензор размером 96x64. VGGish — это сверточная сеть, которая фактически обрабатывает преобразованные аудиоданные как изображение, формируя семантически значимое 128-мерное векторное представление (эмбеддинг). Мы использовали предобученные веса для VGGish, полученные в результате обучения этой архитектуры на наборе данных AudioSet.

Подробная информация об извлечении признаков из видеокадров и аудиоданных, а также о логике их преобразования, приведена в разделе «Набор данных и признаки».

Выходные векторы размерности 512 (от ResNet) и 128 (от VGGish) объединяются (конкатенируются) в 640-мерный тензор, который затем подается на линейный слой для получения бинарных меток.

5 Набор данных и признаки
Используемые нами данные представляют собой базу объемом 2,3 ТБ, содержащую 600 голливудских фильмов, выпущенных в период с 1915 по 2016 год и охватывающих широкий спектр жанров и разрешений. Размер отдельных файлов варьируется от 200 МБ до 12 ГБ.

5.1 Конвейер предварительной обработки
Мы вручную отобрали 100 фильмов и разметили в них фрагменты, содержащие сцены поцелуев. Фрагменты, для которых не была выполнена разметка, классифицируются как сцены без поцелуев и соответствующим образом помечены в наборе данных (см. рис. 4). В общей сложности мы выделили 263 фрагмента со сценами поцелуев и 363 фрагмента без них; продолжительность каждого сегмента составляет от 10 до 120 секунд. Набор данных разделен на обучающую, валидационную и тестовую выборки в пропорции 80%, 10% и 10% соответственно.

5.2 Признаки
Для каждого аннотированного сегмента видео мы извлекаем два набора признаков. На рисунке 3 показан процесс параллельного извлечения визуальных кадров и аудиоданных для условного видеофрагмента продолжительностью N секунд.

5.2.1 Визуальные признаки
Визуальные признаки извлекаются в конце каждого односекундного сегмента. В процессе обучения мы случайным образом вырезаем из кадра фрагмент размером 224x224 пикселя. Размер этого фрагмента выбирается случайным образом в диапазоне от 8% до 100% площади исходного изображения, а соотношение сторон — в диапазоне от 3/4 до 4/3 (аналогично подходу, описанному в работе). Затем выполняется случайное горизонтальное отражение, после чего каждый канал нормализуется с использованием среднего значения и стандартного отклонения, вычисленных по всему набору данных. На этапе тестирования применяются те же преобразования, за исключением случайного горизонтального отражения.

5.2.2 Аудиопризнаки
Аудиопризнаки извлекаются из последнего 960-миллисекундного фрагмента аудиосигнала. На первом этапе монофонический аудиосигнал передискретизируется с частотой 16 кГц. Затем вычисляется кратковременное преобразование Фурье с использованием окна длительностью 25 мс и шагом 10 мс. Полученная спектрограмма преобразуется в 64 частотных диапазона, распределенных по шкале мел (в диапазоне 125–7500 Гц), после чего к амплитудам этих диапазонов применяется логарифмическое преобразование, в результате чего формируется матрица (патч) размерности 96x64.

7 Обсуждение и дальнейшая работа
Мы разработали систему для обнаружения сцен поцелуев в кинофильмах. В основе системы лежит бинарный классификатор, который использует аудио- и визуальные признаки для принятия решения (выдачи бинарной метки). Наши эксперименты показывают, что как аудио-, так и визуальные признаки полезны для данной задачи классификации. Мы также заметили, что модель, по-видимому, научилась фокусироваться на тех пикселях изображения, которые с высокой вероятностью указывают на наличие поцелуя (например, на лицах).

Кроме того, мы обнаружили, что неточности в разметке сцен могут сбивать модель с толку. Стандартные преобразования данных, обычно применяемые в задачах классификации изображений, могут быть не вполне подходящими для этой цели. В частности, целесообразно было бы выполнять сегментацию объектов (instance segmentation) на отдельных кадрах и ограничивать область анализа найденными объектами, либо подавать результаты сегментации непосредственно на вход классификатору.

06.11.2026